Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть)

в 13:54, , рубрики: Без рубрики

В марте прошлого года мы неожиданно получили письмо от команды Google по борьбе со спамом.

В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса.

image

Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации.

Изучение проблемы

Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры.

Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать.

В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google.

Чего делать точно не стоит

Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы.

Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье.

Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту?

Ваш сайт попал под спам-фильтры?

Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную».Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот.

Если меры не применялись, то сообщение будет таким:

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Первый шаг: ищем причину

Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками.

Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья».

Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан:

  1. SEO-статьи и вечные ссылки
  2. Ссылки в SEO –каталогах и SEO-закладки
  3. Большое количество сквозных ссылок на сторонних не тематических ресурсах
  4. Спам-ссылки, в т.ч. форум-спам
  5. Дорвеи

Второй шаг: Выгружаем внешние ссылки

Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут.

Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterTools
Как выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google».

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке.

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Третий шаг: Создание таблицы ссылок

Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»).

Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню):

  • C – Needs to be removed? (Нужно удалить?)
  • D – Disavow? (Отклонить?)
  • E — Contact e-mail found on site (Контактный e-mail, найденный на сайте)
  • F – First name of contact (Контактное лицо)
  • G – Whois e-mail (e-mail, найденный в whois)
  • H — First name of Whois contact (Имя владельца e-mail, найденного в whois)
  • I – E-mail reference # (порядковый №, указывающий на отправленный e-mail)
  • J – Url of contact form (Ссылка на контактную форму, найденную на сайте)
  • K – Contact form reference # (порядковый №, указывающий на отправленное письмо через контактную форму)
  • L – Comments (Комментарии).

В итоге у вас должна получиться такая таблица:

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Четвертый шаг: Создание списка статусов

У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» — «Needs to be removed» нужно присвоить один из следующих статусов:

  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
  • NO – Nofollowed (НЕТ – не индексируемая)
  • NO – Page not found (НЕТ – Страница не найдена)
  • NO – Link not found (НЕТ – ссылка не найдена)
  • NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)
  • NO – Valid directory (НЕТ – Полноценный каталог)
  • NO – Natural link (НЕТ – Естественная ссылка)

Следующему столбцу «D» — «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы:

  • YES (ДА) – если хотим отклонить весь домен целиком
  • NO (НЕТ) – отклонять не нужно
  • YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.

О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться.

Шаг пятый: Подготовка браузера

Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок.

Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки.

Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью.

Шаг шестой. Работа со ссылками

Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице.

Итак, открываем первую ссылку.

Как искать ваши ссылки на странице
Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много.

Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» — «Needs to be removed». А в столбце «D» — «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url).

Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» — NO (НЕТ).

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ.

Если страница не найдена

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» — «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url).
Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны.

Найдена неестественная ссылка

Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С»,

  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)

ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»).

Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru.

Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin — contact»).

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J»)Столбец «D» — «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми.

Шаг седьмой: письма веб-мастерам

Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг).

Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению.
Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик.

Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д.

Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу.

Здравствуйте!

Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru

Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок.
На данный момент мы проводим работу по выявлению таких ссылок и их устранению.

У меня большая к вам просьба.
Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru ).

Вот страницы с вашего сайта, где есть ссылки на нас:

………

Заранее спасибо!

Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом.
Будем вам очень благодарны и признательны за оказанную помощь!

С уважением,

Мой e-mail на домене rusonyx.ru:

-------------------------------------

Как задокументировать доказательство отправки писем

Все просто. Создайте 2 новых документа в Google Docs:

  1. Первый назовите «Оригинальные коды отправленных писем»
  2. Второй — «Скриншоты запросов, отправленных с контактных форм»

В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» — «E-mail reference #» (№ Ссылки на отправленный e-mail). Выглядеть это будет так:

В документе «Оригинальные коды, отправленных писем»

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

В Google таблице

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал».

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так:

В документе «Скриншоты запросов, отправленных с контактных форм»

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

В Google таблице

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Шаг восьмой: Работа с ответами на запросы

Есть 3 варианта развития событий, после того, как письма с запросами отправлены:

Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае:

  • В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;
  • помечаете строку зеленым цветом;
  • в столбце «D» — Disavow ставьте статус «NO».

Вот так это выглядит в таблице

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Второй вариант. Вам пришло письмо с отказом удалить ссылку.

  • Помечаете в комментариях к таблице в столбце «L» факт отказа;
  • копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;
  • даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;
  • Всю строку помечаете красным цветом;
  • в столбце «D» — Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Третий вариант. Вы не получили ответа.

  • В комментариях к таблице в столбце «L» укажите этот факт;
  • В столбце «D» — Disavow ставьте статус YES или YES – url;
  • Всю строку помечаете красным цветом.

Борьба за трафик. Как вывести сайт из под спам фильтра Google (Первая Часть)

Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым.

Автор: alebedeva

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js