Совершенствуем понимание веб-страниц

Уровень подготовки веб-мастера: для всех

В 1998 ^[1] году, когда все наши серверы умещались в гараже Сьюзан Войчицки ^[2] (Susan Wojcicki), мало кто задумывался о том, как JavaScript или CSS взаимодействуют с поисковым роботом: эти технологии применялись нечасто. Разве что создатели некоторых страниц с помощью JavaScript заставляли элементы оформления… мигать. Однако с тех пор многое изменилось. Сейчас в Интернете можно найти множество красочных сайтов с интерактивным дизайном, на которых широко используется JavaScript. И сегодня мы поговорим об индексации ресурсов со сложным интерфейсом и структурой:

• о том, почему Google обрабатывает их так, как это делают современные браузеры;
• зачем нужно обращаться к внешним ресурсам;
• как наша система анализирует код JavaScript и CSS.

Ранее мы обрабатывали только текстовое содержание в теле ответа HTTP и не анализировали, как страница выглядит в браузере с поддержкой JavaScript. Однако из-за этого нам не удавалось включать в результаты поиска страницы, на которых важный контент отображается только с помощью JavaScript. Это не нравилось ни пользователям, ни веб-мастерам.

Чтобы решить эту проблему, мы стали при анализе страниц обрабатывать также и код JavaScript. Это нелегко, однако игра стоит свеч. За последние несколько месяцев наша система успела просканировать немало сайтов как обыкновенный браузер, использующий JavaScript.
К сожалению, индексация не всегда проходит гладко. Давайте рассмотрим несколько проблем, влияющих на позицию вашего сайта в результатах поиска, и способы их предотвращения:

• Если доступ к ресурсам JavaScript и CSS заблокирован (например, с помощью файла robots.txt) и робот Googlebot не может их обработать, то наша система будет воспринимать страницы не так, как пользователи. Чтобы индексация была более эффективной, разрешите нашим роботам сканировать такие данные. Это особенно важно, если у вас мобильный сайт. По структуре кода JavaScript и CSS мы можем определить, оптимизированы ли страницы для смартфонов и планшетов ^[3].
• Если ваш веб-сервер не в состоянии справиться с запросами на сканирование ресурсов, это также может помешать правильной обработке контента. Проверьте, могут ли ваши серверы обрабатывать такие запросы в нужном объеме.
• Рекомендуем также создать упрощенную версию сайта. Тогда пользователи смогут просматривать ваши материалы даже в браузере, который не поддерживает JavaScript. Упрощенная версия пригодится и тем, у кого эта функция отключена. Наконец, далеко не все поисковые системы в настоящее время могут обрабатывать JavaScript.
• Если код JavaScript слишком сложный или запутанный, Google может проанализировать его некорректно. Стоит задуматься, нельзя ли упростить код без ущерба для функциональности.
• Иногда JavaScript удаляет контент со страницы, а не добавляет его, что также затрудняет индексацию. Если этот контент в целом доступен для пользователей, необходимо обеспечить и его доступность для робота Googlebot.

Сейчас мы работаем над новым инструментом, который упростит поиск ошибок в коде и поможет веб-мастерам понять, как Google обрабатывает их сайты. В ближайшие дни он появится в Инструментах для веб-мастеров ^[4].
Если у вас есть вопросы, задавайте их на нашем справочном форуме и продолжайте обусждение в нашем сообществе для веб-мастеров ^[5].

Автор: HabrAndrey

Источник ^[6]