Если прочитать главные страницы 17 642 сайтов одним и тем же кодом и у каждой сохранить протокол, кодировку, платформу и дату регистрации домена, получается так: 93% сайтов на HTTPS, 2,7% до сих пор в windows-1251 и koi8-r, 39% доменов старше 2010 года, а среди сайтов с определимой платформой Битрикс вдвое обгоняет WordPress.
Рубрика «веб-краулер»
Я обошёл 17 тысяч сайтов рунета одним обходчиком. Вот что в них внутри
2026-10-14 в 9:41, admin, рубрики: веб-краулер, каталог сайтов, обход сайтов, рунет, статистика рунетаТихая смерть robots.txt
2026-01-26 в 13:01, admin, рубрики: crawling, OpenAI, robots.txt, ruvds_перевод, веб-краулерДесятки лет robots.txt управлял поведением веб-краулеров. Но сегодня, когда беспринципные ИИ-компании стремятся к получению всё больших объёмов данных, базовый общественный договор веба начинает разваливаться на части.
