Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

в 10:05, , рубрики: crawling, ru tld, активные домены, домены, открытые данные, статистика рунета, метки:

crawljob

Целью исследования являлось получение актуального списка всех активных доменов в зоне .RU, к 01.01.2016 зарегистрировано в которой было 5040277 имён. Приняли решение пройтись по каждому имени краулером и проанализировать результат.

Ответы серверов распределились следующим образом:

rc

Полная таблица c кодами ответов

rc cnt %
200 2670175 53.0
IPFAIL 826869 34.9
TIMEOUT 486924 7.4
301 444719 7.3
404 191831 3.4
302 176133 3.2
403 108624 2.1
503 43330 0.8
CHARSETFAIL 32606 0.6
500 19603 0.4
401 6847 0.1
303 5919 0.1
429 5501 0.1
502 5340 0.1
402 4232 0.1
0 2954 0.1
NONHTML 1796 0.0
423 1688 0.0
400 1654 0.0
409 1125 0.0
307 1014 0.0
521 273 0.0
999 203 0.0
410 191 0.0
523 150 0.0
504 138 0.0
509 98 0.0
508 93 0.0
204 46 0.0
520 45 0.0
434 32 0.0
CLEX 32 0.0
406 20 0.0
501 14 0.0
479 8 0.0
407 8 0.0
418 7 0.0
405 7 0.0
451 4 0.0
435 4 0.0
304 4 0.0
201 3 0.0
300 2 0.0
456 2 0.0
3 1 0.0
507 1 0.0
101 1 0.0
126 1 0.0
422 1 0.0
557 1 0.0
412 1 0.0
413 1 0.0
420 1 0.0
Total: 5040277 100.0

IPFAIL — отрезолвить домен не получилось (не делегирован, не указаны сервера имен и т.д.).
TIMEOUT — IP был получен, но не отдал ничего и отвалился по таймауту.
CHARSETFAIL — кодировку контента распознать не удалось.
NONHTML — сайты, веб-сервера которых не интерпретировали скрипты, а отдали их текстом вместе с реквизитами подключения к базам и прочими прелестями.
CLEX — исключения краулера по размеру ответа > 10мб.

301 редирект (постоянный):

301-redirect
bulk — зоопарк из сеток сателлитов, альтернативные адреса сайтов, прочее.

cnt %
http:// www.domain 215289 48.4
bulk 144275 32.4
http:// domain/page 76417 17.2
https:// domain 7617 1.7
https:// www.domain 1121 0.3
Total: 444719 100.0

302 редирект (временный):

302-redirect

bulk — всё те же сетки, ошибки, установщики различных cms, прочее.

cnt %
bulk 135464 76.9
http:// domain/page 22658 12.9
http:// www.domain 10660 6.1
https:// domain 7168 4.1
https:// www.domain 183 0.1
Total: 176133 100.0

В редирект через meta refresh мы тоже заглядываем, но в этот раз ничего интересного там не наблюдается. Самый популярный сопособ отправить пользователя на связку эксплойтов.

Все 2670175 доменов, отдавших 200 ОК крутятся на 192213 IP адресах, top 10:

ip cnt example_url
109.206.190.54 180983 http://ksimelin.ru
188.166.49.110 40199 http://samoobsluga.ru
81.177.141.15 15040 http://plusheviy-buket.ru
89.111.167.3 11887 http://ipoezd.ru
94.76.205.132 11774 http://mediatr.ru
78.108.80.238 10937 http://bikesurfing.ru
78.108.86.63 10883 http://asp-v.ru
185.32.57.224 10157 http://salgroup.ru
188.120.232.174 9431 http://moscowspa.ru
199.59.243.120 9057 http://asolutbank.ru

Вот тут мы встречаем по-настоящему интересных ребят: 180983 домена на ip 109.206.190.54 (6,77% от всех активных) являются зеркалами www.homes.ru (сверяли не только по ip, естественно). С огромным отрывом уходят даже от парковок. Работают с размахом.

Немного средних значений контентной составляющей главных страниц рунета:

Средняя длина тайтла 47
Средняя длина кейвордов 220
Среднее количество слов на странице 515
Средний вес страницы (в октетах) 42320

На 262 доменах в тексте встречается слово ‘хабрахабр'.

Ссылки с главных страниц на профили пользователей хабра

user anchor cnt
@WildGreyPlus WildGreyPlus 17
@DaryaKorsak DaryaKorsak 17
@ptsecurity ptsecurity 17
@DenisIzmaylov DenisIzmaylov 17
@pkruglov pkruglov 17
@maisvendoo maisvendoo 17
@alexsoft alexsoft 17
@SmartEngines SmartEngines 17
@DrMefistO DrMefistO 17
@DenisVasilyev DenisVasilyev 17
@yourdestiny 4
@anatoly_rr Хабр 2
@taxi5mblog 2
@gurylyov habr 2
@kzotov Хабрахабр 1
@couragic couragic 1
@nProfessor habrahabr.ru 1
@efimich habrahabr.ru/users/efimich/ 1
@nektodev   1
@alexchernyy Habrahabr 1
@ftp27 1
@constructive На Хабре 1
@ilusha_sergeevich Полезности (от ilusha_sergeevich) 1
@pas 1
@rock 1
@payonline Habrahabr 1
@softlink Softlink 1
@blv Борисом Вольфсоном 1
@ilusha_sergeevich дискуссии в группах, подкасты на тему интернета 1
@teaminds Habrahabr 1
@nikmelnikov хабре 1
@jaloveast1k 1
@Sacret 1
@bredun 1
@omegicus Блог 1
@xnim 1
@nkochnev Habrahabr 1
@brntsrs хабр 1
@splurov Хабрахабр 1
@batazor 1
@heath автор статей на Хабрахабре 1
@kriptomen Habrahabr (один из…) 1
@sil1999 1
@Advertone Хабрахабр 1
@mwsoft 1
@superalesha habrahabr 1
@iserdmi хабрахабре 1
@cadmy link 1
@ksdaemon Хабрахабр 1
@invizory Habr 1
@yegorf1 H 1
@zoriko Zoriko 1
@nickurs 1
@asommer 1
@d530 HABR.RU 1
@polar Polar 1
@DataArt Habrahabr 1
@silvansky silvansky 1
@jokerov jokerov 1
@grachevamari grachevamari 1
@andruekonst Habrahabr 1
@artoodetoo Habrahabr 1
@ihhabr Habrahabr 1
@ustas 1
@alizar alizar 1
@wilelf 1
@rebirther23 1
@ordos Хабрахабр 1
@shukshinivan 1
@falula falula 1
@Dobrii habrahabr 1
@denxc 1
@garstelecom 1
@shlom HabrahabrHabrahabr.ru 1
@PavlovM пишу на хабр 1
@iley iley 1
@noldo32 Я на Хабре 1
@valerasergeevich H 1
@kachkaev мой аккаунт на Хабрахабре 1
@icw82 Хабрахабр 1
@skutin Habrahabr 1
@genixg 1
@sirus sirus 1
@codefucker Хабр 1
@divan0 divan0 1
@devpreview 1

Список доменов отдавших 200 OK dataoperator.ru/ru_domains_200_ok.zip

Автор: daocrawler

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js