Новый агент пользователя Googlebot для смартфонов

Уровень подготовки веб-мастера: высокий

Google индексирует контент, оптимизированный для обычных мобильных телефонов и смартфонов с широким набором функций и возможностей, с помощью разных поисковых роботов. Но мы заметили, что, так как они оба называются Googlebot-Mobile, это нередко вызывает путаницу. Например, веб-мастера, намереваясь запретить сканирование и индексацию сайта для простых мобильных телефонов с ограниченными техническими возможностями, по ошибке запрещают сканирование сайта для всех устройств. Конечно, все это отрицательно сказывается на посещаемости веб-сайта.

Новый Googlebot для смартфонов

Чтобы веб-мастерам было проще разобраться в настройках, через 3–4 недели мы переименуем агент пользователя в нашем поисковом роботе для смартфонов. Название Googlebot-Mobile будет заменено на Googlebot с добавлением слова mobile в строку агента пользователя. Вы можете сравнить отличия ниже.

Googlebot – новый агент пользователя для смартфонов:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;<b>Googlebot</b>/2.1; +http://www.google.com/bot.html)

Googlebot-Mobile – старый агент пользователя для смартфонов, который вскоре будет заменен:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Эти изменения касаются только Googlebot-Mobile для смартфонов. У обычного робота Googlebot останется тот же агент пользователя, а у двух оставшихся поисковых роботов Googlebot-Mobile в строке агента пользователя по-прежнему будут указаны телефоны среднего класса. Как это выглядит, смотрите ниже.

Агент пользователя у обычного поискового робота Googlebot:

Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)

Агенты пользователя у двух поисковых роботов Googlebot-Mobile для телефонов среднего класса:

• SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
• DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Проверить, смогут ли эти поисковые роботы проиндексировать ваш сайт, можно с помощью функции "Просмотреть как Googlebot ^[1]" в Инструментах для веб-мастеров ^[2]. Полный список наших поисковых роботов опубликован в Справочном центре ^[3].

Сканирование и индексирование

Обратите внимание, что после смены поискового агента новый Googlebot для смартфонов будет руководствоваться правилами в robots.txt, метатеге robots и HTTP-заголовках, которые касаются Googlebot, а не Googlebot-Mobile. Вот, например, правило в robots.txt, запрещающее сканировать сайт как обычному роботу Googlebot, так и новому роботу Googlebot для смартфонов:

User-agent: Googlebot
Disallow: /

А такое правило в robots.txt запретит сканирование поисковым роботам Google для простых мобильных телефонов:

User-agent: Googlebot-Mobile
Disallow: /

По нашим подсчетам, это обновление затронет менее 0,001% веб-страниц, но при этом позволит веб-мастерам точнее управлять сканированием и индексацией их контента. Если у вас возникнут вопросы, вы можете:

• ознакомиться с рекомендациями по оптимизации сайтов для смартфонов ^[4];
• узнать, как управлять разрешениями поисковых роботов Googlebot на сканирование и индексирование ^[5];
• задать вопрос здесь в комментариях, на форуме для веб-мастеров ^[6], в сообществе для веб-мастеров ^[7] или принять участие в регулярных видеовстречах с веб-мастерами ^[8].

Автор: HabrAndrey

Источник ^[9]