Хабраутилита для сбора хабрастатистики в хабраблогах

в 7:49, , рубрики: java, open source, opensource, открытый исходный код, парсинг контента, Статистика в IT, унылое отсутствие API, хабрахабр, Хабрахабр API

Новый год — время подводить итоги. И если вы ведёте блог на хабре, или вам интересно посмотреть статистику по чьему-нибудь чужому блогу — то вам может пригодиться моя опенсорсная утилитка.

Хабраутилита для сбора хабрастатистики в хабраблогах - 1

Какую статистику выдаёт?

CSV-файл с базовой информацией о всех статьях:

  • название
  • рейтинг статьи
  • число добавлений в закладки
  • число просмотров
  • число комментариев
  • автор
  • ссылка на статью

Хабраутилита для сбора хабрастатистики в хабраблогах - 2
(более крупная версия скриншота доступна по клику)

CSV-файл c информацией, какой автор в блоге несёт ответственность за какое число просмотров/комментариев/плюсов/добавлений в закладки.

Хабраутилита для сбора хабрастатистики в хабраблогах - 3

CSV-файл с аналогичной информацией, но сгруппированной по хабам.

Хабраутилита для сбора хабрастатистики в хабраблогах - 4

CSV-файл с аналогичной информацией, но сгруппированной по тегам. Для скачивания тегов приходится грузить не только список статей, но и каждую статью в отдельности, так что если вам оно не надо — то флаг -skipTags нехило ускорить процесс скачивания данных.

Хабраутилита для сбора хабрастатистики в хабраблогах - 5

Ну и в качестве бонуса — JSON-файл с этой же информацией.

Хабраутилита для сбора хабрастатистики в хабраблогах - 6

Где взять?

Исходники лежат на GitHub, написана утилита на Java 10, и. Уже собранный JAR, инструкция по использованию и примеры – там же, в разделе релизов.

Как работает и как использовать?

Поскольку Хабрахабр API — миф*, то утилитка просто и уныло разбирает HTML через jsoup. Натравливать утилитку можно как на личные, так и на корпоративные блоги — ей всё едино.

Для корпоративных блогов — передаём программе ссылку на сам блог, например https://habr.com/company/JetBrains/

Для личных блогов нужно указывать страничку с постами, например: https://habr.com/users/milfgard/posts/

Более подробная справка встроена в приложение, плюс есть readme файл в репозитории.

* может и нет, но я такой информации найти не смог

Я нашёл баг / хочу ещё фичу

Не вопрос — баги или пожелания оставляйте в гитхабовские issues, предложения и доработки — туда же в виде pull-request’ов. Ну или прямо здесь в комментариях!

Автор: Newbilius

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js