Сколько сайтов деиндексируется в результате Google апдейтов? Моё исследование на основе открытых данных

Это исследование родилось, когда я готовилась к докладу на конференции ITSConf со своим материалом по трендам в IT-маркетинге в конце декабря 2024 года. Один из блоков естественным образом был посвящён волатильности выдачи Google и его апдейтам. И в процессе сбора и анализа информации у меня в очередной раз возник вопрос: а каков же на самом деле масштаб деиндексации?

В этой небольшой статье не будет чётких и выверенных ответов на данный вопрос. Но будут интересные цифры, которые могут навести каждого из нас на определённые мысли или обратить внимание на источники, позволяющие извлекать дополнительную информацию из стандартных отчётов.

Шаг №1. Отчёт originality.ai

Во время сбора информации первым делом, конечно, на глаза попалось громкое исследование от сервиса originality.ai, которое было проведено в период мартовского апдейта Google в 2024 году. Исследований такого характера и масштаба в принципе немного, поэтому материал получился заметным и обсуждаемым. Команда сервиса зафиксировала трафик 79 000 сайтов до апдейта (в феврале 2024 года), а затем — повторно проверила их наличие в выдаче после обновления.

Оказалось, что около 1 500 сайтов были деиндексированы, что составляет примерно 2% от общего количества попавших в эксперимент сайтов.

Полторы тысячи в рамках Google — немного. Но если масштабировать эту долю на всё информационное поле интернета, которое насчитывает миллиарды сайтов, то в гипотетической пропорции речь может идти о миллионах ресурсов.

По словам Гэри Иллиса, в декабрьском выпуске подкаста Search Off The Record за 2023 год он сообщил, что поисковая система ежедневно проверяла около четырёх миллиардов хостов на наличие файла robots.txt.

Шаг №2. Анализ отчётов Netcraft

В процессе своего анализа я наткнулась на ежемесячные отчёты Netcraft — компании, занимающейся системным мониторингом, SSL, DNS и аналитикой угроз. Уже много лет они публикуют два показателя:

• Active Sites — сайты, которые содержат уникальный и актуальный контент. Конкретная методика определения того, что именно попадает под категорию «уникальный актуальный сайт», в отчётах Netcraft не раскрывается. Тем не менее, я буду исходить из разумного допущения, что речь идёт о сайтах с достаточно уникальным контентом и регулярным обновлением материалов.

• Total Sites — все сайты, давшие HTTP-ответ.

Очевидно, что в метрике “все сайты” присутствует значительное количество мусора, парковок и временных доменов, поэтому в качестве опоры для анализа я взяла именно Active Sites.

Также я заметила, что отчёты публикуются преимущественно в 20-х числах каждого месяца. Это позволяет предположить, что данные в них были собраны в начале месяца — примерно 1–2 числа. Этот нюанс оказался важным при дальнейшем сопоставлении с датами апдейтов Google.

Какова связь между деиндексацией и «живыми» сайтами?

Возникает логичный вопрос — а какая вообще связь между деиндексацией Google и показателями активных сайтов по версии Netcraft, основанной на серверных ответах?

Связь, которую я наблюдаю, следующая: после того как сайт исключён из индекса Google, владелец сайта, особенно если это не крупный бренд, с высокой вероятностью не будет заниматься возвратом ресурса в индекс. Процесс восстановления требует времени, компетенций и усилий. Гораздо проще — создать новый домен, новый сайт и начать всё заново.

В результате, после потери индексации:

• сайт может быть заброшен,

• хостинг не продлён,

• домен не продлён,

• сайт отключён — и в итоге он перестаёт давать HTTP-ответ и исчезает из статистики активных сайтов.

📌 Восстанавливать упавший сайт будут только крупные, корпоративные или институциональные проекты, для которых важна история, SEO-репутация и доверие поисковиков. А среднестатистический лендинг, блог или небольшой бизнес-сайт просто забудет про домен и запустит новый проект.

Таким образом, динамика падений активных сайтов может быть косвенным отражением деиндексации Google — не как прямая метрика, а как цепная реакция, следующая за алгоритмическими санкциями.

Апдейты Google 2022–2024 гг.

На графике ниже жёлтым цветом я отметила Core Updates, подтверждённые Google в период с 2022 по 2024 годы. Эти обновления алгоритмов могли значительно повлиять на поведение сайтов в выдаче и привести к их деиндексации.

Рисунок получился довольно неровным.

Во многих случаях видно, что в течение месяца после апдейта фиксируется заметное падение количества активных сайтов. Это может быть как прямым следствием апдейта, так и совпадением — но тренд наблюдается.

К ним я отнесла те, которые, по реакции SEO-сообщества, можно считать наиболее жёсткими — повлекшими за собой заметные изменения в выдаче:

Серым цветом обозначены неподтверждённые апдейты — периоды нестабильности, о которых сообщали SEO-эксперты, но которые Google официально не комментировал. Хотя мы не можем точно утверждать, что в эти периоды происходили технические апдейты, их влияние на флуктуации в выдаче и индекс Google может быть значительным.

Также стоит отметить, что в апреле 2023 года происходил апдейт обзоров (Reviews Update), который разворачивался в период с 12 по 25 апреля. Хотя его влияние не было столь масштабным, как у Core Updates, многие специалисты отмечали повышенную волатильность в выдаче в этот период.

Цифры: как менялось количество активных сайтов до и после апдейтов

Значения округлены. В зависимости от дат и продолжительности апдейта я брала цифры на момент его начала и через месяц после

Эти значения не означают, что именно Google вызвал падения,

но он по всем признакам явно отразился.

Влияние оказывали также и естественные циклы жизни сайтов, а также другие факторы:

• автоматическое удаление старых или неактивных сайтов;

• прекращение хостинга;

• технические сбои или смена инфраструктуры.

Тем не менее, обратите внимание: наиболее крупное падение совпадает именно с августовским апдейтом 2023 года, который был отмечен своей жёсткостью.

👉 Начиная с 2024 года Google сообщил, что не будет уведомлять о каждом отдельном апдейте, поэтому, к сожалению, конец 2024 года и начало 2025 на графике остаются без подписей — хотя движение продолжается.

Иные резкие перепады

Помимо явно отмеченных на графике Core Updates, можно увидеть и другие периоды заметного снижения количества активных сайтов. Некоторые из них совпадают с менее очевидными или неподтверждёнными обновлениями алгоритмов.

Ноябрь 2022 года: значительное снижение без официального анонса. Возможные причины — внутренние корректировки, инфраструктурные сбои или геополитический контекст.

Февраль 2023 года: зафиксировано заметное падение, хотя официальных обновлений не было. Возможно, это связано с сезонными изменениями или техническими сбоями.

Декабрь 2022 — январь 2023 года: в этот период проходили сразу два официальных обновления:

• Helpful Content Update (5 декабря 2022 – 12 января 2023)

• Link Spam Update (14 декабря 2022 – 12 января 2023)

📈 Отдельные резкие скачки вверх на графике, к сожалению, пояснить сложно — для этого потребуется дополнительное исследование. Однако глядя на рост даже после крупных падений, можно предположить, что прирост количества сайтов всё же перекрывает естественный отток.

Геополитические события: влияние войны в Украине

❗ Февраль 2022 года — на графике это высокая точка. Но уже в марте и последующих месяцах фиксируется устойчивое и заметное падение. Одним из возможных факторов может быть начало войны России с Украиной (24 февраля 2022 года).

Как это могло повлиять на индекс Google:

• массовые блокировки и цензура в интернете (отключение СМИ, VPN и соцсетей);

• прекращение обслуживания сайтов западными хостингами и регистраторами;

• уход международных компаний и, как следствие, закрытие или удаление локальных сайтов;

• кибератаки и DDoS, добровольное или вынужденное закрытие сайтов;

• блокировки в поиске и недоступность по геолокации или в связи с санкциями.

📉 Всё это могло привести к фактическому исчезновению десятков или сотен тысяч сайтов из индекса — даже если не напрямую по инициативе Google.

Это подчёркивает, что деиндексация — это не всегда вопрос качества, а также вопрос инфраструктуры и внешних обстоятельств.

Общие выводы

Глядя на график и наложенные на него апдейты, можно увидеть определённую корреляцию между периодами обновлений и последующим снижением количества активных сайтов.

В дополнение к визуальному анализу я рассчитала примерные цифры, показывающие динамику падений в течение месяца после крупных апдейтов:

• Общее снижение количества активных сайтов после ключевых обновлений Google составило примерно 14,98 млн сайтов;

• В среднем, каждый такой апдейт сопровождался изменением количества активных сайтов на 1–2 млн сайтов в течение 1–1,5 месяца после его запуска.

📎 Какова доля естественного оттока сайтов? Точно сказать нельзя.

Эти значения не являются универсальными, но они дают ориентир масштабов возможного влияния обновлений Google на структуру веба.

Является ли это совпадением или закономерностью?

Можно, конечно, назвать всю картину немного «подтянутой за уши».

Но в то же время, если понимать, что ключевые апдейты действительно вели к выпадению из индекса большого количества сайтов, то можно сделать предположение:
уменьшение числа сайтов, дающих HTTP-ответ, через месяц после апдейта — это косвенный индикатор масштабов пострадавших сайтов.

Причём, как показывает картина падений во второй половине 2023 года (особенно после августовского и октябрьского апдейтов), масштаб может варьироваться очень сильно. Плюс буду честна, в данном исследования я не трогала Яндекс и его апдейты, сфокусировав свое внимание только на штормах от Google.

❗ Поэтому такие предположения нельзя считать универсальными или использовать для прогнозирования.

Но когда такие совпадения происходят систематически — это интересная отправная точка для дальнейших исследований.

Это исследование — не окончательный вердикт, а приглашение подумать шире: о масштабах влияния алгоритмов на структуру и судьбу сайтов в сети.

Жиед Эмилия

Head of Marketing | Digital Strategist