Билайн показывает рекламу боту Google. Бот недоволен

Расскажу свою маленькую историю в копилку бесчинств мобильных операторов:

Дано:

1) Самый обычный лендинг. Только странички с версткой и все.
2) Размещен на серверах крайне известного хостера. Последняя версия популярной(не wordpress) CMS
3) Включены как http, так и https. Но редирект с 80 на 443 не настроен
4) Сайт рекламируется в контекстной рекламе Google.

Казалось бы, все под контролем, что может пойти не так?
А прилетает откуда и не ждали: получаем блокировку в контекстной рекламе. Обращаемся в техподдержку:

Первая мысль: взломали!!! Однако, беглая проверка показывает, что никаких подозрительных скриптов на сайте нет. Проверка служебных endpointов CMS также ничего не дает — все закрыты хостингом ^[1]. В исходниках сайта, ожидаемо, ничего подозрительного.

Ну что ж, посмотрим тогда внимательнее на виновницу торжества:

ssp1.rtb.beeline.ru/userbind?src=rpb&id=4bae2cff-817d-4fda-816e-10effdf6d956 ^[2]

Тот факт, что домен принадлежит Beeline ^[3], сомнений ни у кого, кажется, не вызывает. Разберем ссылку по частям:

Sell Side Platform (SSP) — это технологическая платформа, которая представляет интересы продавца и торгует рекламным инвентарем. Задачей SSP является продажа рекламного инвентаря по максимальной стоимости. SSP находится в постоянном взаимодействии с DSP, которая передает SSP ставки рекламодателей и требования к целевой аудитории, в результате чего определяется победитель RTB-аукциона с учетом интересов двух сторон.

RTB (Real Time Bidding) – это рекламная технология, которая позволяет организовать аукцион между продавцами и покупателями рекламы в реальном времени. Объектом торга на онлайн-аукционе является право показа объявления конкретному пользователю.

В конце ссылки рекламный идентификатор клиента. В нашем случае — гугл бота.

Быстрым поиском находим анонс: rb.ru/news/beeline_programmatic ^[4]

Восстановим цепочку событий:

1) Google Bot пытается проверить мобильную версию сайта
2) В цепочке серверов до сайта попадается система билайна, вставляющая ссылку на свой рекламный блок. Правильно: гугл бот — идеальный кандидат для показа рекламы!
3) Google Bot обижается, и определяет ссылку как вредоносную

Выводы:

Если Вы еще не перешли на https — самое время это сделать

P.S. В статье специально отсутствует ссылка на пострадавший сайт. Я готов поделиться ей с представителями Beeline ^[3], но публиковать в открытом доступе не вижу смысла.
P.P.S. Отключенная реклама — потенциально недополученная прибыль. Если клиенты, привлеченные с сайта — основной источник дохода — то это очень и очень плохо

Автор: Вячеслав Поцелуйко

Источник ^[5]