Про рейтинги: Ху из ху на рынке digital-аналитики?

Среди компаний веб-разработки принято мериться «показателями успешности». Кроме первичных признаков, вроде количества именитых клиентов и толщины портфолио, были придуманы и вторичные — рейтинги.

Со временем дошло до измерения фолловеров и лайков — стеб, воспринимаемый многими слишком серьезно. Однако есть и традиционные рейтинги «по делу», о которых все, кто в отрасли, знают.

Кстати, сегодня запускает голосование Tagline ^[1], один из самых крупных российских рейтингов студий веб-разработки и интернет-агентств.

В свете актуальности вопроса, небольшое исследование. По порядку:

Кто есть в рейтинговой сети Рунета?

Навскидку припоминается:

— Тэглайн ^[2]. Проводится с 2005-го года. Один из самых влиятельных.
— Рейтинг Рунета ^[3] (CMS Magazine). Проводится с 2009-го. Тоже популярный.
— 1С-Битрикс ^[4]. Внутренний, для партнеров Битрикса, без комментариев.
— UMI.CMS ^[5]Аналогично, для UMI.
— NetCat ^[6]. Аналогично, для NetCat.
— Рейтинг SEO-компаний ^[7] (CMS Magazine).
— Рейтинг SEO News ^[8].
— Это только глобальные. Есть еще региональные, коих много больше. Можете полистать ^[9] результаты поиска.
— Ruward ^[10]. Самообъявленный «рейтинг рейтингов», сводный рейтинг из 52 других.

«Междусобойные» рейтинги коммерческих CMS в исследовании использовать не будем. Также не будем учитывать слишком специфичные рейтинги (например, для разработчиков flash-сайтов). Те, рейтинги, где около 20 участников — не репрезентативны, тоже не берем.

Итак, поехали.

Исследование

Сузим круг до рейтингов веб-разработчиков. Финальный список:

• Tagline ^[11];
• Рейтинг Рунета ^[12];
• Рейтинг ^[12] Восточно-европейской гильдии веб-разработчиков;
• Рейтинг ^[13] Wwwrating;
• Рейтинг ^[14] BestWebDevs.

В основе любого рейтинга — его критерии. Ясно, что критерии для веб-студии должны отличаться от таковых для SEO-агентства. Это, к слову, первый камень в огород «сводных рейтингов», о чем позже.

Гипотеза: Показатели успешности для компаний с одинаковой сферой деятельности должны быть очень близкими для разных рейтингов. Следовательно — разброс мест должен быть несущественным.

Берем за основу верхнюю двадцатку «Рейтинга Рунета». Первая (и, в целом, ожидаемая новость) — только 15 компаний из 20 представлены более, чем в одном рейтинге. Это несколько искажает картину, но самое интересное впереди. Кликайте на графике.

^[15]

Эффект такой, как будто в рейтинговую систему Рунета вбросили гранату. Слишком уж большой разброс мнений. Как вести себя заказчику, который впервые встал перед выбором подрядчика — вообще не понятно.

Давайте к причинам. То есть к критериям оценки.

Во-первых, три рейтинга из пяти выше означенных имеют закрытую систему оценки. То есть подвергать их какой-либо критике — физически невозможно, разве что указывать на эту самую закрытость.

Во-вторых, «прозрачная» система оценки Тэглайна и Рейтинга Рунета на деле не такая уж прозрачная. Подробная методология ^[16] есть, например, на сайте первого.

Анализ

Но непрозрачность — это полбеды. Допустим, что можно довериться аналитическим отделам составителей рейтингов. И будем считать, что «выравнивающие» коэффициенты помогают создать нужную объективность.

Причина несостоятельности рейтингов номер два: их много. Если некоторые громко объявляют о себе в СМИ и привлекают по своим каналам как можно больше участников, то вторые дремлют на дне морском, как Великий Ктулху, а потом внезапно публикуют результаты. Принцип «кто успел — того и тапочки» в действии. Студия-подрядчик физически не может (да и не хочет) успеть везде. А разброс тем временем увеличивается.

Добровольность участия в рейтингах порождает неполноту информации. Неполнота порождает недостоверность общей картины. Недостоверность порождает заблуждение заказчика. Заблуждение ведет к Темной стороне.

Еще причина: стремление все объять. Зачастую узконаправленные рейтинги публикуются «по-тихому», а больше всего внимания (и сил пиарщиков) уходит на проталкивание «общих сводных рейтингов». За места в которых потом и разгорается битва. А по факту — это винегрет из подрядчиков совершенно разной специализации. Клиент идет, естественно, в самый раскрученный рейтинг — и получает искаженную картину.

Пожалуй, имеет место и такая причина, как фанатизм участников. Хотя, в то же время все понимают, что зная критерии можно «оптимизировать метрику». Да так, что вы проберетесь в топы. Только вот толку от этого будет — одно зашкаливающее ЧСВ и возросший поток потенциальных заказчиков. Которых может отрезвить уровень портфолио компании — он-то не вырос, пока вы занимались оптимизацией метрик.

Простые выводы

• Зависимость вероятности успешного завершения проекта от места в том или ином рейтинге — слабая.
• Рационально пользоваться только «узконаправленными» рейтингами с целью составить список подрядчиков, которым вы можете доверить разработку. И выбирать затем среди них. Любые совокупные рейтинги (веб-студий, интернет-агентств и дизайн-студий в куче) — не имеют ценности.
• Самые верные критерии выбора — это по-прежнему рекомендации коллег и уровень работ студии. О чем, кстати, как-то писал Рейтинг Рунета, подкрепляя своим же исследованием ^[17].
• Чем больше рейтингов — тем менее ценным становится участие в них. Чем меньше желающих участвовать — тем менее достоверны сами рейтинги.

Вот такие выводы. Предлагаю обсудить в комментариях.

Автор: zevvssibirix

Источник ^[18]