Кто и зачем «шпионит» за Яндексом?

Мы продолжаем раскрывать секреты тайной кухни поисковиков. Сегодня заглянем в зазеркалье на предмет того, как происходит «утечка» информации о новых апдейтах – в частности, например, раскроем карты и честно признаемся, откуда мы смогли первыми узнать, что в выдаче Яндекса появилась ротация.

Любая поисковая система проводит апдейты выдачи, поискового алгоритма и прочих аспектов. Объединяет их всех одно: апдейты стараются не раскрывать и даже, по возможности, не афишировать как раз чтобы всякие черные SEO под новый алгоритм свои методы не затачивали. Для простого пользователя это не очень заметно – невидимая борьба, как правило, ведётся по так называемым «коммерческим запросам» – например, «пластиковые окна» — часто ли вы будете набирать это в поиске? Один, два раза в жизни – вряд ли вы заметите, что что-то поменялось. Разве что иногда бывает невозможно найти сайт, который раньше легко искался и был «под рукой» — только так и можно заметить, что, вероятнее всего, это и был очередной «апдейт».

Всё, что известно об апдейтах широкой аудитории – это определённая предположительная их периодичность. Так, например, обновление поисковой выдачи Яндекса производится в среднем раз в 6 дней. Сами угадайте, кто ждёт этого каждый раз с трепетом и почему.

На этот раз «зазеркалье» интернет-индустрии «отзеркалило» интересную картину: за два последних апдейта, 12 и 21 июня ряд сайтов исчез из выдачи по коммерческим запросам и их место заняло молодое новое поколение. Скатертью дорога, не сильно жалко – подумаете вы. Однако речь идёт здесь об утечке информации, анализ которой позволил сделать выводы о том, что Яндекс включил в новый алгоритм систему ротации сайтов – и это скоро станет широкоизвестной сенсацией (в узких кругах).

Как происходит «утечка»?

Информация правит миром. А поисковая система – это клондайк информации о пользователях и сайтах. Поэтому у кого есть эта информация, тот и Яндекс (или Гугл). Однако сбор этой информации не запрещён законом, поэтому существуют инструменты, которые сканируют поисковик на предмет его изменений. В чем-то это похоже на котировки акций и валют – такой же интересный «пейзаж» получается. Поисковики «закрываются» от подобных инициатив, например, заставляя вас вводить капчу (Никт оне замечал? – а ведь это верный признак того, что где-то рядом с вами завёлся сеошник. Ну или что у компании один IP и пара десятков сотрудников одновременно ушла что-то гуглить).

Однако на каждый хитрый лабиринт найдётся новый способ с винтом: так называемые SERP трекеры, собирающие информацию о рейтинге сайтов по запросам в выдаче используют средства обхода капчи, зачастую очень эффективные, потому что в них используется дешевый труд наёмных дроидов и Каребелизии и Крабленьяна (по многочисленным просьбам школьников этих стран, их названия изменены).

Примерно так это работает:

Создание подобной базы запросов в динамике – удовольствие не из дешевых: даже несмотря на невысокую стоимость разгадывания капчи. В случае большого количества крупных проектов один только сбор информации данного рода может выливаться в месячный бюджет 9-12 тысяч рублей.

Крупных систем не так уж и много, но поскольку у нас есть доступ к колоссальной базе MegaIndex, то именно с помощью неё нам и удалось провести достаточно простые и точные наблюдения (помните – информация правит миром?). Рассмотрим пример с изменением выдачи по запросу «пластиковые окна» в регионе Москва за 21 и 12 июня. Вот что выдаёт система:

Полный анализ можно посмотреть при помощи MegaIndex здесь ^[1], однако, чтобы вам не приходилось долго вглядываться в мелкие буквы, мы уже провели сравнение и вот что заметили:

1. Сайты, которые были на первых позициях, остались на своих местах
2. Часть сайтов, которые были в середине первой сотни, заметно поднялись. Это произошло в результате выпадения из ТОП100 сайтов перед ними.
3. Сайты, которые были ниже определенной позиции (в среднем ниже 40-ого места), выпали из ТОП100. На их местах появились новые проекты.

Таким образом, обновление алгоритма, которое произвело столь масштабные изменения явно содержит в себе «что-то ещё». Этим «чем-то» является введение ротации сайтов в выдаче.

Если вы захотите удостовериться в происходящем, вот вам ещё статистика по запросам "грузовые перевозки ^[2]" и "туры ^[3]".

Что такое ротация сайта в выдаче?

По-сути безобидное нововведение, дающее шанс сайтам, которых пользователи вообще не находили раньше – появиться в поиске. Казалось бы, при чем здесь слово «поведенческие»? А при том, что поскольку это своего рода «тренд года», то вполне допустимо предположить, что подобный шаг даст возможность показать пользователю сайты потенциально не «засеошенные» ссылками и ключами и дать возможность пользователю побродить по такому сайту и выяснить степень его (пользователя) активности на нём. Исходя из этого, сайт можно либо оставить в выдаче, либо вновь «выкинуть» его и пробовать дальше, пытаясь убрать из выдачи сайты, о которых один из спикеров MOZ отзывается так:

Уважаемые вебсайты, которые вяглядят погано, но обещают много на словах – вот вы кто:

Таким образом, есть шанс, что благодаря этой ротации «поганые» сайты куда-то денутся, а их место займут более приличные — вот вероятная суть изменений.

Хотя Яндекс и не афиширует, что он делает этим летом, тем не менее, аналитика данных о текущей ситуации может давать информацию «из первых рук» о целой индустрии. Как пользоваться этой информацией каждый решает сам. Надеемся, что в ваши руки она попала для создания и улучшения толковых сайтов. Если это так, то помните: да, у вас есть шанс. Но капитан очевидность не устаёт напоминать: постоянно держите в голове, что по вашему сайту будут ходить люди – им решать, кто вы и где вы будете в ближайшем будущем. По крайней мере, новые изменения вполне укладываются в объявленную в начале года политику Яндекса по поводу учета поведенческих факторов ^[4].

Сама бизнес-аналитика для интернет-индустрии находится в широком доступе, и умение делать правильные выводы позволяет видеть всю картину целиком, даже там, где информация по другим источникам не разглашается. Мы будем продолжать держать вас в курсе о том, что происходит этим летом — оставайтесь с нами.

Автор: MPalma

Источник ^[5]