Интернет-сервис для отслеживания изменений на сайтах

в 5:55, , рубрики: анализ, аналитика, Блог компании Иэмбиси, интернет, ит-инфраструктура, контроль, Поисковые машины и технологии, разработка, Софт

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru, о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

image

Основные функции Websvodka.ru:
— Отслеживание и отображение изменений на веб-страницах.
— Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
— Оповещение об изменениях результатов по поисковым запросам.
— Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru:

image

Изменения на habrahabr.ru/posts/software/:

image

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com:

image

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

image

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru. Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».

Автор: bqvpd

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js