Частотный словарь запрещенных сайтов

в 15:22, , рубрики: data mining, визуализация данных, запрещенные сайты, корпус слов, открытые данные, Роскомнадзор, Семантика

Частотный словарь запрещенных сайтов - 1

Исследование проводилось в целях создания корпуса слов сайтов, заблокированных государственными органами Российской Федерации.

Из открытых источников был получен список ссылок, находящихся в реестре на момент проведения исследования. Всего в списке 24515 ссылок.

По каждому url мы делали get-запрос из страны, не имеющей законодательных ограничений на подобные деяния.

Ответы серверов распределились следующим образом:

Частотный словарь запрещенных сайтов - 2

Большинство сайтов вполне себе функционируют и переоценивать собственные взгляды на жизнь не собираются. Многие используют фаерволы, отсекая потенциально опасных (по их мнению) посетителей. Значительное количество просто ставит редирект на свежий белый домен.

Пара слов об «абузоустойчивости». Взглянем на распределение по tld (только 200 OK):

Частотный словарь запрещенных сайтов - 3

Не менее интересно распределение по странам, в которых физически находятся заблокированные ресурсы:

Частотный словарь запрещенных сайтов - 4

Частотный словарь запрещенных сайтов - 5

Скачать полный частотный словарь (436898 элементов)

Статья не направлена на пропаганду чего-либо, а лишь отражает существующую реальность. Полученный материал, возможно, окажется полезным кому-либо для проведения собственных исследований.

Автор: daocrawler

Источник

Поделиться новостью

* - обязательные к заполнению поля