- PVSM.RU - https://www.pvsm.ru -
Почти неделя прошла с исполнения хабрахабру 6 лет. Было бы очень интересно посмотреть на графики роста показателей сайта. Т.к. стандартная статистика малоинформативная, решено было собрать всю информацию своими руками и проанализировать. И так, почти неделя парсинга и сбора информации и получены следующие интересные данные(скрытые/удаленные посты/пользователи и их комментарии не учтены):
Красивые графики, методы измерения, база с полученными данными, «хаброаномалии» — все это под катом.
y — количество публикуемых топиков в месяц; x — временная шкала, 1 деление — месяц
y — количество публикуемых комментариев в месяц; x — временная шкала, 1 деление — месяц
y — количество регистраций пользователей в месяц; x — временная шкала, 1 деление — месяц
Ответ на вопрос, чем обусловлен такой провал по количеству регистраций начавшийся в августе 2008 и достигший минимума в сентябре (1 регистрация за месяц), я не нашел. Возможно пользователей, зарегистрированных в этот период массово забанили/перевели в read-only.
y — усредненное количество публикуемых в данное время топиков; x — временная шкала, 1 деление — час
Данный график был получен путем подсчета количества опубликованных топиков в данный час за 6 лет. Если брать меньшие рамки, возможно сдвижения графика.
y — усредненное количество публикуемых в данное время топиков; x — временная шкала, 1 деление — сутки
y — средняя итоговая оценка топиков за все время; x — временная шкала, 1 деление — сутки
Как оказалось, больше плюсов набирают топики опубликованные на выходных. Возможно это связано с тем, что на выходных их публикуют в два раза меньше.
y — количество пользователей с количеством топиков, указанных в х шкале; x — количество топиков пользователя
Как ни грустно, но чуть больше половины пользователей не опубликовало ни одного топика.
y — количество пользователей с количеством комментариев, указанных в х шкале; x — количество комментариев пользователя
Как видно из графика, около 15% пользователей постят 1-5 комментария и прекращают свою активность.
y — количество пользователей с количеством кармы, указанной в х шкале; x — количество кармы пользователя
20% пользователей имеют нулевую карму. Радует перевес количества пользователей в положительной части.
Т.к. прямого доступа к БД хабры нет, то пришлось искать обходные пути. Если вы замечали, то у каждого топика есть его номер в адресной строке, т.е. мы можем просмотреть самую первую запись на хабре habrahabr.ru/post/1/ [5]. Решение пришло быстро, надо перебрать все опубликованные топики, начиная с 1 и заканчивая 144 400 номером(на тот момент последний топик, у которого уже истек срок голосования). Из них существуют 121 641 топика, из которых 25 949 перемещены в черновики и еще несколько сотен оказались пустыми, наподобие этого: habrahabr.ru/company/muk/blog/119653/ [6]. Все топики были сохранены в файлы для дальнейшего парсинга, заняли почти 10Гб. Далее каждый топик парсился следующим образом: брался автор топика, рейтинг, дата публикации, после этого парсились комментарии, из них брался автор, рейтинг комментария и дата. У нас получилось три таблицы. После получения всех пользователей необходимо было получить для каждого значение его кармы и рейтинг. При таком подходе посчитались все, кто хотя бы раз запостил пост или оставил комментарий.
Структура БД:
Скачать дамп базы (MSSQL) можно здесь (132Мб):
Во время парсинга обнаружилась целая куча аномалий:
P.S. Принимаю предложения по построению интересных графиков на основе полученной информации.
Автор: vyacheslav_ka
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/statistika/8748
Ссылки в тексте:
[1] alizar: http://habrahabr.ru/users/alizar/
[2] VolCh: http://habrahabr.ru/users/volch/
[3] freetonik: http://habrahabr.ru/users/freetonik/
[4] habrahabr.ru/post/123157/: http://habrahabr.ru/post/123157/
[5] habrahabr.ru/post/1/: http://habrahabr.ru/post/1/
[6] habrahabr.ru/company/muk/blog/119653/: http://habrahabr.ru/company/muk/blog/119653/
[7] tinyurl.com/bqy5g7c: http://tinyurl.com/bqy5g7c
[8] narod.ru/disk/51378386001.7a6c403f0422f2ca2edbaba1275c3ffd/backup.sql.html: http://narod.ru/disk/51378386001.7a6c403f0422f2ca2edbaba1275c3ffd/backup.sql.html
[9] habrahabr.ru/post/1453/: http://habrahabr.ru/post/1453/
[10] habrahabr.ru/post/1455/: http://habrahabr.ru/post/1455/
[11] Nks: http://habrahabr.ru/users/nks/
[12] PeterParker: http://habrahabr.ru/users/peterparker/
[13] habrahabr.ru/post/100012/#comment_3089391: http://habrahabr.ru/post/100012/#comment_3089391
[14] netrider: http://habrahabr.ru/users/netrider/
Нажмите здесь для печати.