Первая проверка «шести рукопожатий» насчитала девять. Дошли 3 письма из 60

в 16:06, , рубрики: исследования, ошибка выжившего, социальные графы, социальные сети, статистика, Стэнли Милгрэм, теория шести рукопожатий, эксперимент Милгрэма
Первая проверка «шести рукопожатий» насчитала девять. Дошли 3 письма из 60 - 1

Про шесть рукопожатий знают все, и почти все знают, что это как-то связано с Милгрэмом и письмами где-то в шестидесятых. Но на этом знание обычно заканчивается: есть цифра шесть, есть фамилия, а между ними пустота, которую заполняют пересказы пересказов. Мне стало интересно, что именно Милгрэм проверял, на скольких людях и что у него получилось в действительности, поэтому я окунулся в первоисточники и в работы тех, кто уже успел побывать в его архиве.

Самая первая попытка выглядела так: в Уичито, штат Канзас, по объявлению в газете набрали 60 добровольцев, и до адресата в Кембридже дошли 3 письма, каждое из которых прошло в среднем через восемь человек, то есть девять рукопожатий. Эти цифры Милгрэм так и не опубликовал, а в популярную статью попала ровно одна цепочка из трех, и, как мы дальше увидим, самая короткая.

Дальше расскажу, как был устроен тот эксперимент, куда деваются письма, почему потери портят не только процент успеха, но и саму измеренную длину цепочки, и что получилось у тех, кто перепроверял Милгрэма уже на миллионах людей.

Откуда вообще взялась шестерка

Самое раннее появление этой идеи, которое мне удалось найти, вообще не научное. В 1929 году венгерский писатель Фридьеш Каринти выпустил сборник рассказов, и в одном из них, «Звенья цепи», герои развлекаются игрой: один спорит, что доберется до любого человека на Земле через цепочку максимум из пяти людей, причем первый из них должен быть его личным знакомым. Считается ли сам адресат шестым звеном, из текста до конца не понятно, так что при желании там можно вычитать и пять, и шесть, и люди, которые потом считали, отдельно разбирали эту двусмысленность в сноске.

Дальше за задачу взялись люди с формулами. Итиэль де Сола Пул из MIT и Манфред Кохен из IBM начиная с пятидесятых пытались посчитать, с какой вероятностью два случайных человека связаны через одного, двух или трех посредников, и два десятка лет рассылали черновики по узкому кругу коллег, не решаясь их публиковать. Кохен потом объяснял это тем, что у них так и не появилось ощущения, будто задача решена. Статья вышла только в 1978 году в первом номере журнала Social Networks, и эксперименты Милгрэма там упомянуты в одной сноске с довольно кислым замечанием: найти такие цепочки на практике часто оказывается очень трудно.

А само выражение «шесть степеней разделения» прилипло еще позже, после пьесы Джона Гуэра Six Degrees of Separation 1990 года и фильма по ней, где снялся молодой Уилл Смит. Героиня там говорит, что где-то прочитала, будто всех на планете разделяют всего шесть человек. Насколько я смог найти, у самого Милгрэма такого словосочетания нет, он писал про small world problem и про среднее число посредников. Получается, что к моменту, когда цифра шесть стала общеизвестной, она успела пройти через рассказ, неопубликованные расчеты, одну статью в популярном журнале и театральную сцену, и проверкой из всего этого была только статья.

Где-то там, на Великих равнинах

Стартовый город Милгрэм выбирал без всякой методики. Ему, человеку из Кембриджа, штат Массачусетс, нужно было место, которое ощущается максимально далеким, и в статье для Psychology Today он пишет, что Канзас представлялся ему чем-то расплывчатым, находящимся где-то там, на Великих равнинах. Никакой оценки географической или социальной дистанции за этим выбором не стояло, и для первого прогона я бы, наверное, сделал так же, потому что сначала хочется понять, работает ли схема вообще, а уже потом подбирать параметры.

Участников набирали через объявление в местной газете. Клейнфельд нашла его в архиве, и составлено оно так, чтобы отозвались люди общительные и уверенные в своих связях: читателю предлагали проверить, сможет ли он «как типичный американец связаться с другим гражданином, кем бы тот ни был». Откликнулись 60 человек, и уже здесь выборка перекошена в сторону тех, кому нравится идея дотянуться до незнакомца, но про перекосы выборки у нас с вами будет отдельный разговор.

Правила пересылки простые. Каждый стартер получал папку с именем адресата и парой фактов о нем, и если он знал адресата лично, то отправлял папку прямо ему, а если нет, то пересылал одному своему знакомому, с которым общается по имени, и который, по его мнению, скорее доберется до цели. Получатель вписывал себя в список внутри папки и повторял то же самое. Пропустить шаг, написать адресату напрямую или разослать папку сразу десятку знакомых было нельзя, так что каждая цепочка представляет собой одну ниточку, которая может оборваться на любом звене.

Адресатом Милгрэм назначил жену студента богословской школы в Кембридже, человека совершенно непубличного. Для проверки гипотезы это правильный выбор, потому что до знаменитости дотянуться проще, и она бы испортила эксперимент. Но как мы потом увидем, именно на этом адресате схема и забуксовала.

Три конверта

В Psychology Today Милгрэм рассказывает про этот эксперимент одну историю, и она действительно хороша. Через четыре дня после рассылки преподаватель Епископальной богословской семинарии остановил адресата на улице и протянул ей коричневую папку. По списку внутри выяснилось, что начал цепочку фермер, выращивающий пшеницу в Канзасе, он передал папку священнику в своем городке, тот отправил ее знакомому священнику, преподававшему в Кембридже, а уже этот вручил ее адресату, так что между стартером и целью оказалось всего два посредника. Милгрэм там же оговаривается, что это была одна из самых коротких цепочек, которые им вообще попадались, но общих результатов первого эксперимента он не приводит ни в этой статье, ни в техническом отчете 1969 года.

Общие результаты нашла в Йельском архиве психолог Джудит Клейнфельд. В недатированной записке «Results of Communication Project» сказано, что из 60 набранных стартеров цепочки запустили 50, до адресата дошли 3, и папка по дороге проходила в среднем через руки восьми человек. Клейнфельд считает эти восемь посредниками и получает девять степеней разделения, отсюда и девятка в заголовке. Если же предположить, что стартер в эти восемь входит, выйдет семь посредников и восемь рукопожатий, но шестерки не получается ни при каком прочтении.

Теперь немного арифметики, которую я проделал сам, потому что она объясняет, почему в журнал попала именно история с фермером. Три цепочки со средней длиной восемь дают в сумме 3 × 8 = 24 человека. Цепочка фермера содержит двух посредников (или трех человек, если считать его самого), значит, на две оставшиеся приходится 22 или 21, то есть в среднем около одиннадцати на каждую. Иначе говоря, из трех дошедших писем опубликовано одно, и оно раз в пять короче двух других.

С процентами в той же записке тоже не все гладко. Там написано, что дошли 3 цепочки, или 7,5%. От 60 стартеров это 5%, от 50 запущенных цепочек это 6%, а 7,5% получается, только если делить на 40. Откуда взялся такой знаменатель, я так и не понял, в тексте Клейнфельд объяснения нет. В заявке на финансирование следующего эксперимента, которую Милгрэм отправил Роберту Бейлсу в Гарвардскую лабораторию социальных отношений, стоит уже 10% завершенных цепочек и упоминание, что еще несколько вот-вот дойдут. Клейнфельд (надо отдать ей должное), относит это к обычному для грантовых заявок приукрашиванию и обвинять Милгрэма в подлоге не спешит.

И последняя деталь из той же записки, которая мне кажется самой важной. Две из трех дошедших цепочек прошли через одних и тех же людей, жен деканов Гарвардской школы богословия и Епископальной богословской семинарии. Письма сходились к паре хорошо связанных людей рядом с целью, и такой эффект воронки Клейнфельд отмечает и в других экспериментах этого типа.

Второй заход Милгрэм подготовил гораздо тщательнее, и выводы из Уичито, насколько можно судить по результату, сделал в основном инженерные: поменял цель, посылку и способ набора участников. Целью стал биржевой брокер, работавший в Бостоне и живший в пригороде Шэрон, то есть человек с понятной профессией и понятной географией, до которого проще нащупать путь. Бюджет эксперимента, по документам, которые нашла Клейнфельд, составил 680 долларов.

Поменялась и сама посылка. Вместо папки участники получали «паспорт» из плотного королевско-синего картона с золотым тиснением Harvard University на обложке. Гарвард, кстати, использовать свое имя не разрешил, и Милгрэм обошел запрет, вписав название университета на обложку как часть адреса. Выбросить такую вещь рука поднимается заметно хуже, чем обычное письмо счастья, и в переписке Милгрэм прекрасно понимает, насколько солидно она выглядит.

Стартеров набрали 296 человек в трех группах, и вот как они отработали по данным технического отчета Трэверса и Милгрэма 1969 года в журнале Sociometry (разбивку по группам привожу в пересказе Клейнфельд):

Группа

Как набирали

Получили паспорт

Отправили дальше

Дошло до брокера

Доля от отправивших

Небраска, держатели акций

инвесторы, подобранные под профессию цели

100

78

24

31%

Небраска, «случайные»

купленный список рассылки

96

76

18

24%

Бостон, «случайные»

объявление в газете

100

63

22

35%

Всего

296

217

64

29%

Кавычки у слова «случайные» стоят в самом отчете, и они там по делу. Список рассылки, купленный у коммерческой фирмы, состоит из людей, чьи адреса кому-то выгодно продавать, а это в основном люди с доходом и связями. Бостонцы жили в одном городе с целью и откликнулись на объявление, рассчитанное на общительных. А держателей акций подбирали как раз затем, чтобы у них был профессиональный мостик к брокеру.

Заметьте еще знаменатель в последней колонке. Процент успеха Милгрэм считает только от тех, кто отправил паспорт дальше. Оба способа имеют право на жизнь, но если делить на всех 296 получивших, выйдет 22%, и в пересказах встречаются обе цифры, 22% и 29%, причем разница между ними как раз в знаменателе, про который обычно молчат.

Средняя длина 64 дошедших цепочек получилась 5,2 посредника. У бостонцев 4,4, у «случайных» жителей Небраски 5,7, и если округлить последнюю цифру вверх, как раз выходит та самая шестерка. Еще из отчета видно, что почти половина (48%) дошедших цепочек перед финалом прошла через одних и тех же трех человек, а один человек, обозначенный в отчете как мистер G., в одиночку вручил брокеру 16 паспортов из 64, так что воронка из Уичито здесь видна уже на нормальной статистике.

Ошибка выжившего конверта

Потерянные письма обычно обсуждают как проблему процента успеха: дошло мало, значит, выборка маленькая и выводы шаткие. Но у потерь есть второй эффект, который гораздо неприятнее, потому что он незаметно сдвигает саму измеренную длину цепочки, и сдвигает всегда в одну сторону.

Можно посчитать на простой модели, в которой каждый участник пересылает письмо дальше с вероятностью q, и цепочке нужно k посредников. Тогда до адресата она доходит с вероятностью q в степени k, то есть вероятность успеха падает с длиной экспоненциально. Приложим это к Уичито: из 50 запущенных цепочек дошли 3, это 6%, и если типичной цепочке нужно около восьми посредников, то q⁸ = 0,06, откуда q ≈ 0,70. Выходит, что семь человек из десяти честно пересылали папку дальше, и даже при такой вполне приличной дисциплине до цели добиралось одно письмо из семнадцати. При том же q цепочка из пяти посредников дошла бы с вероятностью 0,7⁵ ≈ 17%, а из одиннадцати уже примерно 2%.

Теперь игрушечная модель, на которой хорошо видно, что происходит со средним. Возьмем 2000 цепочек, половине из которых на самом деле нужно 4 посредника, а другой половине 10, так что истинная средняя длина равна 7. При q = 0,7 из коротких дойдет 1000 × 0,7⁴ ≈ 240, из длинных 1000 × 0,7¹⁰ ≈ 28, и средняя длина по дошедшим получится (240 × 4 + 28 × 10) / 268 ≈ 4,6. Если взять q = 0,37 (такая средняя доля пересылок была в email-эксперименте 2003 года, о котором ниже), дойдут около 19 коротких и 0,05 длинной цепочки, и измеренное среднее окажется 4,0 при тех же истинных семи. Получается забавный парадокс: чем хуже люди участвуют в эксперименте, тем меньше кажется мир.

Милгрэм эту проблему понимал и, по словам Клейнфельд, сразу пошел за помощью к математикам. Харрисон Уайт в 1970 году опубликовал в Social Forces модель, которая по наблюдаемым длинам и доле потерь оценивает, какими были бы цепочки без обрывов, а потом похожие поправки делали и другие авторы. Клейнфельд к этим поправкам относится скептически, и ее довод мне кажется резонным: любая такая модель предполагает, что письма теряются случайно, из-за лени или забывчивости. Если же значительная часть цепочек обрывается потому, что человек действительно не знает, кому отправить дальше, то поправка дорисовывает короткий путь там, где его просто нет, и маленький мир получается из собственного допущения. Отличить одно от другого по данным Милгрэма нельзя, у него просто не было информации о том, почему люди бросали паспорт, так что к этому вопросу мы еще вернемся, когда дойдем до экспериментов на миллионах.

Рукописи не горят, они лежат в коробках 48 и 49

Сама история того, как Клейнфельд туда попала, мне нравится. Она преподавала методы социальных исследований в Университете Аляски в Фэрбенксе, студенты-историки считали, что соцопросы только подтверждают очевидное, и она решила показать им контринтуитивный результат, повторив эксперимент Милгрэма в эпоху интернета. Для повторения нужны детали методики, а в статьях их не хватало, даже про то, как выглядела посылка, пишут то «письмо», то «паспорт», то «документ в папке». Вдова Милгрэма передала его бумаги в Йельский архив в 1985 году, материалы по тесному миру оказались открыты, и лежат они, если кому-то захочется проверить, в коробках 48 и 49. Ее текст вышел в 2002 году в журнале Society, а более ранняя версия, которую я читал, до сих пор висит на сайте Колумбийского университета.

Кроме записки про Уичито, в коробках нашлись две попытки повторить эксперимент, сделанные сразу после публикации и так и не напечатанные. В мае 1968 года Майкл Бек и Пол Кадаманьяни из Университета Джона Кэрролла набрали 151 добровольца в городке Крестлайн, штат Огайо, разделили их по уровню дохода и отправили цепочки к бедному, среднему и богатому адресату в Лос-Анджелесе. Дошло меньше 18%, и авторы написали, что статистически значимых выводов из этого не сделать, но одно наблюдение у них все равно получилось: отправители с низким доходом не смогли довести ни одной цепочки до кого-то, кроме таких же малообеспеченных адресатов, а богатые охотнее участвовали и чаще добивались успеха. Вторая попытка, из Массачусетского университета в Бостоне примерно 1969–1970 годов, вела цепочки из Бостона, канадского Шарлоттауна и городка Спрингвейл в Мэне к адресатам в маленьких городах Массачусетса, и из 58 цепочек дошли 4. Правда, у этих исследователей не было денег даже на марки и конверты для участников, так что всерьез опираться на их цифры я бы не стал.

Опубликованные работы рисуют похожую картину. Корте и Милгрэм в 1970 году отправили цепочки от белых жителей Лос-Анджелеса к адресатам в Нью-Йорке, и из 270 цепочек, направленных чернокожим адресатам, дошли 13%, а из 270 цепочек к белым адресатам 33%. Раса адресата в паспорте не указывалась, и сами авторы объясняли разницу социальным расслоением, то есть тем, что общих знакомых через эту границу просто меньше. Исследование Лина, Дейтона и Гринвальда 1978 года внутри одного городского района на северо-востоке США дало 30% успеха и тот же вывод: сообщения в основном текут внутри своей расовой группы, а через границу их реже пытаются отправить и реже доводят.

Итоговая метафора Клейнфельд мне понравилась больше всего. По ее мнению, данные не подтверждают ни маленький мир, где все связаны, ни большой, где каждый заперт в своем кругу, и больше всего это похоже на плохо сваренную овсянку с комками: внутри комка все рядом, а между комками пусто. При этом Милгрэма она в подлоге не обвиняет. По ее впечатлению от переписки, он был дотошным человеком, который подкручивал условия эксперимента в свою пользу всеми способами, какие мог придумать, но опубликованные результаты не искажал, а неудачный первый эксперимент мог искренне считать пилотным. Клейнфельд, кстати, нашла в архиве имена обоих адресатов, жены богослова и бостонского брокера, и попыталась их разыскать через справочные службы и телефонные книги, но не нашла ни одного, что для статьи про тесный мир выглядит особенно иронично.

Мир тесен, но искать в нем долго

Первый известный мне повтор в масштабе, где статистика перестает быть анекдотом, сделали Питер Доддс, Роби Мухамад и Дункан Уоттс из Колумбийского университета. Их работа вышла в Science в 2003 году. На сайте проекта зарегистрировались 98 847 человек, примерно четверть из них запустили цепочки, и с учетом всех пересылок набралось 61 168 участников из 166 стран и 24 163 цепочки к 18 адресатам в 13 странах, среди которых были профессор университета Лиги плюща, архивный инспектор из Эстонии, полицейский из Австралии и ветеринар норвежской армии. Дошли 384 цепочки, то есть 1,6%, и это хуже, чем в Уичито.

Зато у них были данные, которых не хватало Милгрэму. Тех, кто неделю не пересылал письмо, спрашивали о причине, и меньше 0,3% ответили, что не смогли придумать, кому его отправить. Кроме того, доля потерь почти не менялась от шага к шагу (кроме самого первого, где отправитель сам регистрируется на сайте). Оба факта говорят о том, что цепочки обрываются в основном из-за равнодушия, и тупики тут почти ни при чем, так что возражение Клейнфельд против поправок, по крайней мере для этой аудитории, снимается. Средняя длина дошедших цепочек у них вышла 4,05, и авторы прямо пишут, что эта цифра вводит в заблуждение, потому что короткие цепочки доходят чаще. После поправки на потери медиана получилась 7 шагов для цепочек между разными странами и 5 внутри одной страны. Это ровно тот эффект, который я показывал на игрушечной модели выше, только теперь измеренный, и совпадение моих 4,0 с их 4,05 чистая случайность, моя модель слишком грубая, чтобы на нее опираться.

Еще две находки оттуда мне кажутся важными. Воронки, как у Милгрэма, не обнаружилось: через любого одного знакомого адресата прошло не больше 5% сообщений, а до людей с огромным числом друзей успешные цепочки добирались даже реже неуспешных. Зато один адресат, профессор известного американского университета, собрал 44% всех дошедших цепочек, хотя по оценке авторов добраться до него было не проще, чем до остальных. Просто 85% участников имели высшее образование, больше половины были американцами, и отправители, видимо, верили в успех, поэтому потери на его цепочках были 54% на шаг против 60–68% у остальных. Авторы посчитали, что снижение потерь на 15% при типичной длине в 6 шагов может увеличить долю дошедших цепочек в девять раз, и это хорошо показывает, насколько результат такого эксперимента зависит от мотивации участников не меньше, чем от устройства сети.

В 2009 году Шарад Гоэль, Мухамад и Уоттс вернулись к теме уже на 162 328 цепочках к 30 адресатам в 19 странах и сделали более аккуратную оценку. Примерно половину цепочек, по их расчетам, можно довести за 6–7 шагов, что вполне соответствует шести рукопожатиям, но среднее выходит намного больше медианы, то есть для заметной части людей мир в смысле поиска остается довольно большим.

Отдельная история с гигантскими графами. В 2006 году Юре Лесковец и Эрик Хорвиц взяли месяц переписки в MSN Messenger, построили граф на 180 миллионов пользователей и 1,3 миллиарда связей и получили среднюю длину пути 6,6 шага. В 2011 году граф одной соцсети на 721 миллион человек и 69 миллиардов дружб дал среднее расстояние 4,74, то есть 3,74 посредника, а в 2016 году на 1,59 миллиарда аккаунтов вышло 3,57 посредника. Эти цифры часто подают как опровержение шестерки, но меряют они другую величину. Алгоритм видит весь граф и находит кратчайший путь, а человек с письмом видит только своих знакомых и выбирает следующего по косвенным признакам вроде города и профессии. К тому же друг в соцсети связан с вами гораздо слабее, чем знакомый, которого вы зовете по имени, и полтора миллиарда аккаунтов все-таки не все население Земли.

Исследование

Публикация

Масштаб

Что мерили

Результат

Милгрэм, Уичито

не опубликовано

60 стартеров

поиск письмом

3 цепочки, в среднем 8 человек

Трэверс и Милгрэм

1969

296 стартеров

поиск письмом

64 цепочки, 5,2 посредника

Доддс, Мухамад, Уоттс

2003

24 163 цепочки

поиск по email

384 цепочки, 4,05 по дошедшим, медиана с поправкой 5–7 шагов

Гоэль, Мухамад, Уоттс

2009

162 328 цепочек

поиск, данные двух экспериментов

половина цепочек укладывается в 6–7 шагов, среднее намного больше

Лесковец и Хорвиц, MSN Messenger

2008

180 млн пользователей

кратчайший путь в графе переписки

6,6 шага

Бэкстром и соавторы, соцсеть

2012

721 млн пользователей

кратчайший путь в графе дружбы

3,74 посредника

Исследовательская группа соцсети

2016

1,59 млрд аккаунтов

кратчайший путь в графе дружбы

3,57 посредника

Так сколько же рукопожатий

Милгрэм получил 5,2 посредника на выборке, которая такого обобщения толком не выдерживала, и эта цифра была занижена потерями ровно так, как я считал выше. Потом в пересказах ее округлили вверх (до шести как раз округляется результат самой медленной группы, 5,7), и через тридцать с лишним лет поправленные на потери оценки Доддса и Гоэля легли как раз в район 5–7 шагов. Похоже, занижение из-за выживших конвертов и щедрое округление в популярной версии отчасти скомпенсировали друг друга, и народная цифра оказалась ближе к правде, чем исходные данные, на которых она стояла.

А из архивных деталей мне больше всего запомнилась одна, которую Клейнфельд приводит почти мимоходом, когда рассуждает о том, как часто людям мерещится тесный мир там, где работает обычная статистика совпадений.

Автор: inkedsymon

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js