Выявляем заблокированные ресурсы при помощи инструментов Google для веб-мастеров

Привет! Так уже получилось, что современный web-контент буквально стоит на трёх китах: HTML5, CSS3 и Javascript. Тесная интеграция этих трёх инструментов позволяет создавать поистине впечатляющие результаты, но сегодня речь не о достижениях современной веб-инсдустрии, а о том, как эти достижения правильно донести до пользователей.

За отображение вашего сайта у пользователей, само собой, отвечают браузеры. Но как видит сайт поисковая система? Что она увидит, если часть контента (картинки, таблицы стиля, скрипты) будуе закрыта от сканирования? Что увидят пользователи в результатах поиска, если Google не сможет проиндексировать весь необходимый контент? Специально для ответа на эти вопросы (а также для исправления некоторых недоразумений, мешающих вам находить своих пользователей в Google) мы создали инструмент «Отчёт о заблокированных ресурсах» ^[1].

Сегодня мы представляем его широкой аудитории разработчиков и веб-мастеров, и вы можете познакомиться с ним и опробовать возможности нового инструмента одними из первых.

Вот так выглядит отчёт о проверке:


Внутри отчёта вы найдёте список недоступных для Googlebot’а хостов, на которые ссылается ваш сайт. Это могуть быть ссылки на изображения, CSS, библиотеки и модули JavaScript.

Каждая строка кликабельна и содержит список ресурсов, которые находятся на данном хосте, а также страниц вашего сайта, на которых они находятся. Система предложит вам некоторые возможные решения проблем, связанных с индексированием контента.

Посмотреть как Googlebot: теперь два скриншота вместо одного

Мы также обновили режим «Получить и отобразить» (Fetch and Render): если раньше он показывал ваш сайт только с точки зрения Googlebot’а, то теперь вы будете получать сразу два скриншота, один — с результатом рендеринга страницы для поискового робота Google, другой — для посетителей сайта. Сопоставив эти изображения, вы сможете легко выявить возможные проблемы.

Мы прекрасно понимаем, что у веб-мастеров не всегда есть возможность повлиять на поведение внешних ресурсов. В Инструментах для веб-мастеров мы стараемся отображать только те хосты, настройки сканирования которых вы можете изменить. В списке «проблемных мест» вы не увидите URL-адреса, связанные с некоторыми внешними ресурсами, например, популярными сервисами веб-аналитики.

Мы постарались исключить из списка наиболее очевидные ресурсы, но если вам всё же попадётся что-то, чему, как вам кажется, там не место, дайте нам знать ^[2]. Мы внимательно следим за отзывами веб-мастеров и разработчиков о наших инструментах и стараемся оперативно реагировать на все замечания и предложения, поступающие к нам на форум.

В силу различных (и необязательно технических) причин обновление всех файлов robots.txt может занять много времени, поэтому мы рекомендуем начать с ресурсов, блокировка которых сильнее всего влияет на отображение страницы. Подробные инструкции вы найдете в этой статье ^[1].

Мы надеемся, что наши новые инструменты помогут вам быстрее обнаруживать заблокированные ресурсы на сайте и исправлять их. Если у вас есть вопросы — задавайте их в комментариях, у нас на форуме ^[3] или в сообществе для веб-мастеров ^[4].

Автор: HabrAndrey

Источник ^[5]