Исследование: Кому достался микрофон в рубрике «Стартапы» на vc.ru

В конце прошлого года мы с alinatestova ^[1] проанализировали 604 публикации в рубрике «Стартапы ^[2]» (бывшая «Трибуна») на vc.ru и выяснили, какие проекты можно причислить к рекордсменам, что можно сказать о распределении стартапов по рынкам и о различных особенностях компаний, рассказывающих о себе на страницах издания.

В нашу выборку попали все материалы, выходившие в рубрике с момента ее возникновения в марте 2014 года — вплоть до августа 2016 года (включительно). Что мы собирали:

• дату публикации;
• данные о проекте (для его классификации);
• количество просмотров комментариев и шеров в соцсетях;
• а еще мы посчитали длину каждого текста в символах.

Тех, кто хотел бы узнать, что из всего этого получилось, приглашаю под кат.

^[3]

Для классификации проектов по рынкам мы взяли в качестве референса ^[4] материал «Российской Венчурной Компании» и PWC (их обзор венчурной индустрии России). Агрегированный показатель вовлеченности мы считали по методу, предложенному здесь ^[5] (блок Calculating Engagement Rate For Your Posts with Insight Data).

Если точнее, мы разделили сумму комментариев и шеров в соцсетях на общее количество просмотров по каждому проекту и перевели полученный результат в проценты. Это относительный показатель, он полезен для сравнения разных питчей: в частности, у проекта-победителя в этой категории значение показателя вовлеченности (9,74%) больше среднего по всем проектам (1,34%) почти в 7,3 раза.

По количеству просмотров самыми популярными проектами стали:

• FindFace — сервис знакомств по фотографии;
• MSQRD — сервис для изменения внешности во время видеочатов в режиме реального времени;
• RealSpeaker — инструмент для преобразования речи в текст.

По индексу вовлеченности топ-3 питчей выглядит так:

• Happn — приложение для знакомств на основе гипергеолокации;
• Welltory — приложение для контроля состояния здоровья;
• Coddy — курсы по программированию для детей.

Мы разделили все проекты на цифровые и нецифровые: в цифровые попали онлайновые продукты и сервисы (например, мессенджеры), в нецифровые — те продукты и сервисы, которые имеют сильную «физическую» (офлайн) составляющую и чей конечный продукт поставляется в офлайне (например, устройства).

Поскольку любой проект сочетает в себе различные характеристики (например «образовательное медиа» или «медицинский гаджет»), для каждого из стартапов мы стремились определить сразу несколько основных рынков (до трёх). В итоге мы получили следующее распределение:

Когда мы высчитывали индекс вовлеченности для каждой из публикаций, то заметили интересную особенность: наиболее популярные (по данному индексу) проекты концентрировались во второй половине списка, ближе к концу.

Такое резкое увеличение интереса можно было бы связать с тем, что материалов в «Стартапах» на vc.ru в последнее время стало больше, а проекты питчатся там более активно, чем раньше. Однако это не так — в среднем в месяц в этой рубрике выходит около 20 публикаций, и ситуация не менялась с момента ее возникновения. «Провалы» на графике приходятся только на январские праздники, и со дня старта рубрики новые выпуски выходят каждый рабочий день без исключения.

Интересен тот факт, что тенденция к росту индекса вовлеченности наметилась примерно в тот момент (сентябрь 2015), когда издатель провел ребрендинг ^[6] («Цукерберг позвонит» >> vc.ru). Это хорошо видно на графике, который расположен выше.

Еще один момент, показавшийся нам любопытным — сравнение количества шеров в соцсетях:

Как видите, среднее количество шеров что у Facebook, что у «ВКонтакте» невелико (хотя и тут Facebook заметно лидирует). Однако максимальное количество шеров оказалось просто несопоставимо — 870 против 131. Аудитория гораздо охотнее делится материалами из рубрики «Стартапы» в Facebook. Если, конечно, питч не касается проекта, связанного с «ВКонтакте», — напомним, рекордные для соцсети 131 шер набрал сервис FindFace, который ищет профили пользователей vk.com по фото.

Корреляции и некоторые неочевидные зависимости

Мы решили выяснить, коррелирует ли число просмотров материалов с другими количественными показателями. Мы построили линейную регрессию, в качестве зависимой переменной выбрали число просмотров, в качестве объясняющих — количество комментариев, шеров в соцсетях и дату публикации.

Логика в такой постановке задачи есть: в соответствии с нашей гипотезой, больше просмотров получают те статьи, которые активно комментируют (комментирующие могут рассказать о материале близким и друзьям и в целом подогревают интерес к публикации) и шерят в соцсетях. Дата публикации в такой постановке вопроса тоже должна быть важна (помните экспоненциально растущий график вовлеченности?). Что получилось:

Что означают цифры: модель адекватна (логика нас не подвела), при этом число просмотров на 27% определяется набором тех переменных, которые мы выбрали в качестве объясняющих (то есть количеством комментариев, шеров в соцсетях и датой публикации) — об этом свидетельствует значение Adjusted R2 (в верхнем правом углу). Процент, конечно, небольшой, но для «полевых» данных, собранных в реальных условиях, вполне достойный. И реалистичный.

Если построить уравнение регрессии, результат получится следующий (округляем столбец «Коэффициенты» до целых):

Views = 77Comments + 17Fb + 125Vk — 8DMY + 155459

Что это значит: каждый комментарий добавляет материалу 77 просмотров, каждый шер в Facebook — еще плюс 17 просмотров, каждый шер во «ВКонтакте» дает (внимание!) дополнительных 125 просмотров.

При этом если сравнивать две «среднестатистические» публикации, одна из которых будет сделана вчера, а вторая — сегодня, вчерашняя наберет на 8 просмотров больше (как видите, показатель даты — DMY — в уравнение попал со знаком «минус»).

Страшное число в конце (константа) показывает количество просмотров, которое набрала бы статья, если бы все остальные переменные равнялись нулю. С математической точки зрения это замечание верно, однако в нашей модели равенства всех коэффициентов нулю не происходит (дата у публикации всегда «ненулевая»), поэтому давать константе рациональное объяснение в нашем случае некорректно (подробнее об этом тут ^[7]).

В шапке материала — график просмотров «Стартапов». Серый пунктир показывает среднее число просмотров (оно сравнительно невелико). И вот что интересно: несмотря на то, что «бомбические» по просмотрам публикации про MSQRD и FindFace прошли относительно недавно, в левой части графика (зеленый овал) «проектов-хорошистов», превысивших среднюю отметку, намного больше, чем в правой (красный овал).

Да, пиковые значения в первые месяцы существования «Стартапов» (тогда еще «Трибуны») выглядят скромнее, но в целом приходится признать — модель нас не обманула, и с течением времени рубрику действительно стали читать меньше. Чуть-чуть.

Из чего сделаны комменты и шеры

Мы не стали останавливаться на одной корреляционной зависимости и решили посмотреть, есть ли у нашего набора данных еще какие-то интересные неявные характеристики. Поэтому, разобравшись с просмотрами, мы перешли к шерам и комментариям. Получилось следующее (начнем с комментариев):

Итак, мы исходили из гипотезы о том, что число комментариев может зависеть от количества просмотров, числа шеров в соцсетях (логично) и чего-то еще. Методом подбора определили те параметры из нашей базы, которые были действительно значимыми — ими оказались (внезапно): объем текста и принадлежность к теме digital. Еще раз повторимся, это полевые данные и неочевидные зависимости, поэтому значение Adjusted R2 весьма скромное — всего 13,7%.

Но это вполне объяснимо — на количество комментариев могут влиять самые разные факторы — начиная от автора текста (чем известнее и одиознее, тем активнее идет дискуссия) и заканчивая тональностью обсуждения (читатель раскритиковал проект, представители компании отреагировали излишне резко, и «понеслась») — такие моменты остались за рамками нашего исследования.

Строим уравнение регрессии (снова округляем значения в столбце «Коэффициенты» — теперь до третьего знака после запятой):

Comments = 0,002Views + 0,001Symbols — 5,655Digital + 27,717

Как выясняется, наша первоначальная гипотеза оправдалась только на треть — число комментариев действительно зависит от просмотров. И не зависит от шеров в Facebook и во «ВКонтакте» — обе эти переменные оказались статистически незначимыми (здесь и далее используем уровень значимости =0,1). Оказывается, сколько текст ни «шерь», комментариев от этого не прибавится.

Что означает то, что осталось: каждая тысяча просмотров «добавляет» материалу два комментария, а каждая тысяча символов текста — еще один (про константу мы уже говорили). При этом цифровые проекты в среднем «зарабатывают» почти на 6 комментариев меньше, чем не-цифровые (можем предположить только, что non-digital в отличие от цифровых проектов «берет за живое»).

Теперь посмотрим, от чего зависят шеры в соцсетях. Начнем с Facebook:

Что проверяем: зависимость числа шеров на Facebook от количества шеров во «ВКонтакте», объема текста, даты публикации, просмотров и комментариев.

Что получаем: значение Adjusted R2 оказывается в районе 20% — наша модель на 20% объясняет изменчивость зависимой переменной (количество шеров на Facebook). Это, опять же немного, но, как говорят иллюзионисты, запомните эту цифру, в будущем она нам пригодится.

Уравнение регрессии будет выглядеть так:

Fb = 0,635Vk + 0,005Symbols + 0,043DMY + 0,002Views — 889,651

Коэффициент перед переменной Vk показывает, что связь между соцсетями есть: с ростом числа шеров во «ВКонтакте» растет и их количество в Facebook, например, 10 шеров в отечественной соцсети прибавят материалу еще 6 шеров в Facebook. При этом большие тексты «шерят» в Facebook активнее — каждая тысяча знаков добавляет публикации еще 5 кликов по кнопке «поделиться». Каждая новая тысяча просмотров также обеспечивает материалу дополнительную пару шеров.

Что касается даты публикации — вспоминаем график с коэффициентом вовлеченности: сегодня наша публикация получит на 4 шера больше, чем могла бы набрать 3 с лишним месяца назад (на 100 дней раньше). Кстати, число комментариев оказалось в модели статистически незначимым.

И, наконец, «ВКонтакте»:

Проверяем все то же самое, что и в Facebook: зависимость от другой соцсети, объем текста, дату публикации, просмотры и комментарии. И удивляемся: если в случае в Facebook этот набор факторов объяснял всего 20% изменчивости зависимой переменной, то здесь показатель Adjusted R2 достигает 45%. При этом комментарии (в отличие от предыдущей модели) оказываются значимыми.

Уравнение регрессии:

Vk=0,048Fb — 0,001Symbols + 0,037DMY + 0,001Views — 0,049Comments — 736,406

Итак, связь между соцсетями, опять же, подтверждается, однако в случае с «ВКонтакте» она намного слабее: только 100 шеров в Facebook обеспечат 4 шера во «ВКонтакте» (как мы помним, там материалы вообще шерят менее активно). При этом длинные тексты пользователи «ВКонтакте» не особенно жалуют — дополнительная тысяча символов текста будет означать «минус один» шер.

Дата публикации также играет роль: сегодня наша публикация получит на 3 шера больше, чем 100 дней назад. Дополнительная тысяча просмотров также добавит в нашу копилку один шер. А вот комментарии почему-то демотивируют пользователей делиться материалами: чем больше комментариев, тем меньше шеров. Но сильно переживать не стоит — чтобы заработать «минус 5» шеров, публикации надо набрать минимум сотню комментариев.

В итоге

Рубрика «Стартапы» («Трибуна») на vc.ru — интересная площадка для российских проектов, нацеленных на локальный рынок (и не только — взять, например, MSQRD). Судя по нашей статистике, наиболее активно питчатся в ней проекты, связанные с социальными сетями, электронной коммерцией, облачными сервисами, коммуникациями и управлением задачами.

При этом у аудитории социальные сети и коммуникационные проекты вызывают определенно больше интереса, чем облака или таск-менеджеры. Финтех, медиа и hardware традиционно замыкают этот список. Однако не стоит переживать: стабильный рост уровня вовлеченности для этой площадки говорит о том, что у нее и у участников рубрики «Стартапы» все еще впереди.

Вот еще несколько «занимательных выводов», к которым мы пришли, анализируя рубрику:

• Активность аудитории серьезно добавляет тексту просмотров. При этом один комментарий прибавит в копилку 77 просмотров, а один шер в Facebook — еще 17.
• Тексты во «ВКонтакте» шерят неохотно и редко. Однако один такой шер добавит материалу сразу 125 просмотров.
• Сейчас новые материалы в рубрике «Стартапы» читает (в среднем) чуть меньше людей, чем в первые месяцы существования рубрики. Однако текущая аудитория «Стартапов» намного активнее комментирует и распространяет тексты в соцсетях.
• Шеры в соцсетях связаны между собой: чем больше текст распространяют во «ВКонтакте», тем выше этот показатель и в Facebook (10 шеров во «ВКонтакте» тянут за собой еще 6 в Facebook). В обратную сторону этот механизм тоже работает, но на порядок слабее (сотня шеров в Facebook добавит материалу всего 4 шера во «ВКонтакте»).
• В Facebook активнее шерят более длинные тексты, во «ВКонтакте» — более короткие.
• Между собой количество комментариев и шеров в соцсетях практически никак не связано
• Нецифровые проекты аудитория комментирует более охотно.

Почему это не «универсальный калькулятор успеха»

Закономерный вопрос, который возникает под конец повествования — а стоила ли игра свеч (иначе говоря: можно ли доверять результатам исследования, когда коэффициент Adjusted R2 оказывается ниже 50%)? Тут все зависит от того, с какими целями эти результаты использовать. Если вы хотите получить универсальный счетчик популярности — скормили ему длину текста и пару других параметров, на выходе получили прогнозируемое число шеров и просмотров — то его, конечно, на основе наших выводов построить нереально.

Как и на основе многих других — все-таки создание интересных материалов — процесс творческий, и в рамки статистики его, а также реакцию читателей просто так не загонишь. Кстати, эта «творческая/эмоциональная» составляющая — одна из главных причин, ограничивающих в данном случае рост коэффициента детерминации: исследования с выраженным «человеческим фактором» действительно характеризуются довольно скромными показателями Adjusted R2 (еще пару доводов в пользу того, что статистические исследования не стоит сводить к значению данного показателя, можно прочесть тут ^[8]).

Когда могут пригодиться результаты этой работы

Во-первых, мы показали (и не «на словах»), что восприятие материала действительно зависит от даты публикации и длины текста, вероятность, что ваш текст расшарят в Facebook коррелирует с аналогичной вероятностью для «ВКонтакте» и так далее — все эти зависимости реально существуют, пусть эффект от них для «сферической публикации в вакууме» и не получится точно спрогнозировать заранее.

Во-вторых, взять, например, факт корреляции длины текста с количеством комментариев и шеров в Facebook — еще одно доказательство того, что читатели ценят подробные рассказы о том, как устроен ваш проект. Не ленитесь рассказывать о том, какие подводные камни ожидали вас на пути к успеху (или неудаче), что вам удалось реализовать, а что не вышло.

История — эмоциональная и жизненная — ценится выше, чем, например, подробности технической реализации (с таким рассказом лучше сразу заявиться на Хабре).

Еще одно косвенное подтверждение тому — популярность «не-цифровых» проектов у аудитории — их создатели обычно оказываются ближе к народу, потому что рассказывают истории о «реальном»: физических объектах или услугах. «Очеловечить» такой рассказ основателю non-digital-проекта обычно проще, чем создателю очередного интернет-магазина.

Еще один вывод, который можно сделать из наших результатов: не ленитесь делиться публикацией в соцсетях — это действительно добавит материалу просмотров. Целиком и полностью уповать на «ВКонтакте» в данном случае не стоит – все-таки пользователи Facebook распространяют материалы гораздо активнее. Однако если ваш проект так или иначе связан с отечественной соцсетью, стоит ожидать закономерного прилива читателей из ВК.

Не откладывайте публикацию «на потом»: если у вас уже есть материал, шлифуйте его и отправляйте в редакцию, если нет — самое время взяться за эту задачу. Чем раньше вы опубликуете материал, тем больше можете получить просмотров — хотя бы потому, что площадки, в том числе и VC.ru, постоянно развиваются и с каждым днем предлагают потенциальному читателю все больше спецпроектов, интервью и других текстов, с которыми придется конкурировать вашей статье (помните про график вовлеченности и зависимость числа просмотров от даты).

Не стоит переживать по поводу того, в какой именно день недели вы отправите в редакцию свой рассказ: как правило, желающих опубликоваться в подобных рубриках достаточно много, поэтому редакция формирует очередь, и предсказать заранее, будет ли ваш материал опубликован в начале недели (когда аудитория наиболее активна) или в конце, сложно.

И даже если ваш текст вышел в не самый удачный с точки зрения активности день недели, расстраиваться не стоит: повторимся — жизненная история и честный рассказ о взлетах и падениях проекта всегда найдут своих благодарных читателей.

Автор: dmitrykabanov

Источник ^[9]