Трубопровод избавит вас от дублей в ленте

в 10:19, , рубрики: rss

Super Mario, the great pipeliner

Привет.

Недавно andorro писал о мерзких дублях постов, которые с некоторой вероятностью появятся в ленте если подписаться на Хабр и GT. Есть отличный способ решить эту проблему, используя rss и yahoo, а за одно — подписаться на пересекающиеся хабы.

Yahoo Pipes

Pipes is a powerful composition tool to aggregate, manipulate, and mashup content from around the web.

Pipes это такой сервис, который получает что-то на входе, делает что-то с этим внутри себя и отдаёт то что получилось. На вход можно пустить csv, rss xml или даже dsdjl другого pipe. На выход можно получить rss, json, email или виджет.

Например, можно получить rss лету канала в Tumblr, регуляркой заменить во всех img ссылку на маленькую картинку ссылкой на большую и вернуть полученный rss.

Строим трубопровод

Регистрируемся на Yahoo (если нужно), заходим на http://pipes.yahoo.com/ и открываем конструктор.

Screenshot 1 Конструктор

Слева список блоков, в центре собственно конструктор, внизу отладчик. Для каждого блока есть описание и пример использования. Вариантов много, но нам нужен Fetch Feed.

Добавим его и, для примера, добавим в него хабы Windows и Ноутбуки с GT и ещё Разработка с Хабра.

Screenshot  2 Fetch Feed

В логе видно, что данные получаются. Теперь можно их отсортировать по дате (блок Sort).

Screenshot  3 Sort

После сортировки стало видно, что посты из хабов Windows и Ноутбуки вполне себе повторяются. Это легко решается фильтрацией по заголовкам (блок Unique).

Screenshot  4 Unique

Соединяем выход блока Unique, сохраняем и можно запускать.

Screenshot  5 Готово

Надеюсь, этот рецепт будет вам полезен.

Yahoo Pipes
Демо из примера

Автор: ErBlack

Источник

Поделиться

* - обязательные к заполнению поля