Трубопровод избавит вас от дублей в ленте

Привет.

Недавно andorro ^[1] писал ^[2] о мерзких дублях постов, которые с некоторой вероятностью появятся в ленте если подписаться на Хабр и GT. Есть отличный способ решить эту проблему, используя rss и yahoo, а за одно — подписаться на пересекающиеся хабы.

Yahoo Pipes

Pipes is a powerful composition tool to aggregate, manipulate, and mashup content from around the web.

Pipes это такой сервис, который получает что-то на входе, делает что-то с этим внутри себя и отдаёт то что получилось. На вход можно пустить csv, rss xml или даже dsdjl другого pipe. На выход можно получить rss, json, email или виджет.

Например, можно получить rss лету канала в Tumblr, регуляркой заменить во всех img ссылку на маленькую картинку ссылкой на большую и вернуть полученный rss.

Строим трубопровод

Регистрируемся на Yahoo (если нужно), заходим на http://pipes.yahoo.com/ ^[3] и открываем конструктор.

Слева список блоков, в центре собственно конструктор, внизу отладчик. Для каждого блока есть описание и пример использования. Вариантов много, но нам нужен Fetch Feed.

Добавим его и, для примера, добавим в него хабы Windows ^[4] и Ноутбуки ^[5] с GT и ещё Разработка ^[6] с Хабра.

В логе видно, что данные получаются. Теперь можно их отсортировать по дате (блок Sort).

После сортировки стало видно, что посты из хабов Windows ^[4] и Ноутбуки ^[5] вполне себе повторяются. Это легко решается фильтрацией по заголовкам (блок Unique).

Соединяем выход блока Unique, сохраняем и можно запускать ^[7].

Надеюсь, этот рецепт будет вам полезен.

Yahoo Pipes ^[3]
Демо из примера ^[7]

Автор: ErBlack

Источник ^[8]