24 миллиона оценок внешности: что мы нашли в собственной базе за 12 лет

Мы делаем приложение, в котором люди загружают своё фото и получают оценки от незнакомцев со всего мира по шкале от 1 до 10. Оно живёт с 2014 года. За это время в базе накопилось 24 097 993 выставленных балла от 109 821 человека из 232 стран — и ещё 8,4 миллиона отказов, когда человек посмотрел на фото и пролистнул, не оценив.

Это не научная выборка, и про ограничения будет отдельно. Но таких данных почти нигде нет: в академических работах по восприятию привлекательности выборка обычно измеряется сотнями участников и десятками фотографий. Здесь — двенадцать лет непрерывных наблюдений за тем, как люди судят чужие лица. Мы залезли в собственный PostgreSQL и нашли четыре вещи, которых не ожидали.

Сразу про ограничения

Это данные одного приложения, а не человечества. Сюда приходят те, кто сам захотел, чтобы его оценили, — очень особенная выборка. Страна определяется по городу в профиле, а не по геолокации. Пол — самоназванный. Мы не знаем, кто на фото на самом деле.

Поэтому всё ниже — про поведение оценивающих, а не про то, кто в мире красивее. Вопрос «в какой стране люди привлекательнее» в этих данных не имеет смысла, и мы его не задаём.

Находка 1. Девятку почти не ставят

Первое, что бросается в глаза в распределении, — провал на девятке. Десятку ставят в 3,4 раза чаще, чем девятку: 14,6% против 4,3%. Между «восемь» и «десять» люди почти не задерживаются.

Самый частый ответ вообще пятёрка — 24,45%. Это позиция ползунка по умолчанию, и четверть оценивающих его просто не двигает. Крайне низкие оценки редки: на баллы с 1 по 4 вместе приходится 12,4%.

Похоже, десятка работает не как деление шкалы, а как отдельный жест — «вау», а не «девять с плюсом». Девятка требует взвешивания, десятка — нет. Тот же эффект знаком всем, кто собирал NPS и пятизвёздочные отзывы: люди тянутся к краям и круглым числам, а не распределяются по шкале.

Находка 2. Мужчины наказывают мужчин

Здесь самый резкий разрыв во всём массиве. Женщины ставят мужчинам и женщинам практически одинаково — 6,45 и 6,32. Мужчины ставят женщинам 6,54, а другим мужчинам — 5,40.

Разрыв в 1,14 балла между тем, как мужчина оценивает женщину и как он же оценивает мужчину. У женщин аналогичный разрыв — 0,13 балла, почти нулевой.

Эффект держится все двенадцать лет и не объясняется объёмом выборки. Мы не можем сказать из данных, что это: конкуренция, незаинтересованность или просто то, что мужчина, глядя на мужчину, отвечает на другой вопрос — не «красив ли он», а «лучше ли он меня». Но масштаб разрыва трудно списать на шум.

Находка 3. Разброс по странам — 2,4 балла

Одно и то же фото получит заметно разный балл в зависимости от того, кто на него смотрит.

Здесь важна методическая деталь. Первый прогон дал в топе щедрости Восточный Тимор, Ангилью и Сенегал — и это оказался чистый артефакт: у Восточного Тимора все 5 942 оценки поставил один пользователь, у Ангильи и Сенегала — по три человека. После порога «не менее 100 уникальных оценивающих» картина стала осмысленной:

И отдельная деталь, которая ломает интуицию: своих оценивают строже. Когда оценивающий и оцениваемый из одной страны, средний балл 6,34, когда из разных — 6,48. Разница небольшая, но устойчивая на четырёх миллионах оценок и направлена не туда, куда ждёшь. Землячество здесь работает в минус: к своим придираются.

Находка 4. Первые десять оценок — самые добрые

Мы разложили оценки по порядку внутри дня: первая за день, вторая, десятая, сотая. Человек начинает щедро и довольно быстро черствеет.

Первый десяток оценок за день в среднем 6,98. К пятидесятой–сотой средний балл падает до 6,27 — минус 0,71. Дальше кривая разворачивается: те, кто дошёл до трёхсот оценок за день, снова ставят выше, но это уже другая аудитория, малочисленная и увлечённая самим процессом.

Практический вывод для всех, кто собирает оценки чего угодно — резюме, работ на конкурсе, товаров: порядок показа влияет на результат сильнее, чем кажется. Разница между тем, чтобы попасть человеку пятым и пятидесятым, — примерно семь десятых балла из десяти. Если вы не рандомизируете порядок, вы измеряете не качество, а позицию в очереди.

Что со всем этим делать

Ни одна из этих цифр не говорит о том, кто как выглядит. Все четыре находки — про оценивающего: про его усталость, его пол, его культуру и его отношения со шкалой. Человек, который видит ваше фото, приносит с собой гораздо больше, чем вы думаете, глядя на полученный балл.

Возраст тоже играет: самые строгие — те, кому 18–24 (6,14), к 35–44 щедрость растёт до 6,64. Эффект есть, но он слабее остальных, поэтому в отдельный раздел не выносим.

Все агрегаты посчитаны напрямую в PostgreSQL на проде, персональные данные не использовались и не публикуются. Приложение называется Rate Me. Но самое полезное, что можно вынести из этих 24 миллионов оценок, — это здоровый скепсис к любому единственному числу, которое кто-то поставил вам или вашей работе.