Технологическая сингулярность и судьба человечества

Предлагаю немного помедитировать о ближайшем будущем нашей цивилизации. Данный мини-обзор я рассматриваю как некую подводку к опросу на тему сабжа в конце. Если кто-то считает, что историю вопроса он и так знает, может переходить прямо к опросу.

Итак, похоже, что первым, кто всерьез задумался о том, что наша цивилизация стремительно приближается к какой-то точке бифуркации, после которой все может резко измениться, был американский историк и писатель Генри Адамс ^[1]. Человек он был не простой. Будучи правнуком второго президента США, и внуком шестого президента США, выпускник Гарварда активно интересовался многими вопросами, в частности, издал за свой счет брошюру, в которой пытался ввести в историю понятие энтропии, а сам исторический процесс во многом объяснить в терминах законов термодинамики.

Но нас интересуют две другие его статьи - "Закон ускорения" (1904 год) и "Правило фаз, примененное к истории" (1909 год). В них он выдвигает идею, что по мере развития цивилизации она проходит через ряд фаз своего развития, причем, энергопотребление при этом на каждой фазе увеличивается в процентном отношении от уже достигнутого, а длительность фаз пропорционально уменьшается, что, в принципе, эквивалентно развитию по гиперболическому закону (грубо говоря - произведение продолжительности фазы на ее характерное энергопотребление остается постоянным). Адамс выделял четыре фазы развития человечества:

• религиозную (человечество движимо инстинктами, эмоциями, духовностью), длившуюся несколько тысячи лет

• механическую (компас, печатный станок, паровой двигатель и т.д.), длившуюся примерно три столетия c 17 по 19 век

• электрическую (динамо-машина, индустриализация и т.д.) начавшуюся около 1900 года, которая, по его мнению, будет продолжаться несколько десятилетий

• финальную (он называл ее эфирная, или математическая), когда развитие становится настолько быстрым и сложным, что мысль переходит в абстрактную форму, как бы уходит чистую математику и энергию

Таким образом, в русле аналогий своей любимой термодинамики, он представлял этапы технологического развития цивилизации как череду фазовых переходов. При этом, на мой взгляд, описание финальной стадии в современных терминах чем-то напоминает пришествие ИИ. Адамс считал, что финальная стадия наступит не позже 2025 года, то есть, в принципе, получается неплохое попадание по срокам.)

Если верить отцу водородной бомбы Станиславу Уламу ^[2], явно термин сингулярность по отношению к близкому будущему нашей цивилизации впервые употребил фон Нейман, который, по его воспоминаниям, как то в их совместной беседе предположил, что ускоряющийся прогресс в технологиях и быстрые изменения в жизни людей создают ощущение приближения к какой-то существенной сингулярности в истории нашего рода, за пределами которой существование человечества в том виде, которое мы сейчас его знаем, будет уже невозможно.

Но все же изобретателем термина "технологическая сингулярность" в более-менее современном смысле принято считать американского математика и, по совместительству, писателя - фантаста Вернора Винджа ^[3]. Вначале он в 1983 году опубликовал в широко известном в то время в США научно-популярном журнале Omni ^[4]свое мнение о том, что когда человечество создаст искусственный интеллект, превосходящий его собственный, произойдет технологический и социальный переход, подобный, в некотором смысле, пересечению границы черной дыры.

А в 1993 году вышло его эссе ^[5], известное под названием "Технологическая сингулярность: Как выжить в эру пост-человечества". Автор берет быка за рога уже в первом же предложении - "В течении ближайших тридцати лет мы будем иметь технологическую возможность создать сверхчеловеческий интеллект. Вскоре после этого, эра людей подойдет к концу". На всякий случай напоминаю, что ChatGPT 3.5 вышел в свет аккурат в конце 2022 года. В другом месте этого же эссе Виндж указывает и доверительный интервал предсказанного им события. Он считал, что оно случится между 2005 и 2030 годами.

Любопытны так же рассуждения на тему ИИ и судьбы человечества известного террориста, анархиста, и, по совместительству, достаточно сильного математика Теодора Качинского ^[6], которые он изложил в своем манифесте, опубликованном в 1995 году. Вот характерный отрывок из него:

В случае, если машинам будет позволено самим принимать решения, мы не можем сделать никаких предположений в отношении последствий, потому что невозможно догадаться, как такие машины будут себя вести. Мы лишь укажем, что судьба человеческой расы окажется отданной на милость машин. Можно привести доводы, что человеческая раса никогда не будет настолько безрассудной, чтобы отдать им всю власть. Но мы не будем предполагать ни того, что человеческая раса не передаст добровольно власть машинам, ни того, что они своевольно захватят её. Что мы предположим, так это то, что человеческая раса может легко позволить себе втянуться в такую зависимость от машин, что у неё практически не будет никакого выбора, кроме как принимать все их решения.

Так как общество и все проблемы, с которым оно сталкивается, становится всё более и более сложным, а машины становятся всё более и более разумными, люди позволят им принимать большинство решений за них, просто потому, что решения, принятые машинами, принесут лучший результат, чем принятые людьми. В конце концов дело может вступить в такую стадию, что решения, необходимые для сохранения работоспособности системы, будут настолько сложными, что люди окажутся просто неспособными благоразумно разрешить их. На этой стадии фактически будут управлять машины. Люди же просто не смогут выключить их, потому что они будут уже настолько зависеть от них, что их отключение будет равносильно самоубийству.

Качинского вскоре после опубликования в газетах вышеупомянутого манифеста (это было сделано по его же собственному требованию во избежание продолжения им террористических актов) вскоре вычислили и упекли до конца жизни в тюрьму. Но, декабристы, как известно, разбудили Герцена, а Качинский, похоже, разбудил достаточно известного в США айтишника Билла Джоя ^[7], написавшего в 2000 году для журнала Wired ^[8] свое ставшее впоследствии очень известным эссе с названием Почему мы не нужны будущему ^[9].

Текст данного эссе достаточно пессимистичен. Он беспокоится, в том числе, о том, что роботы, сравнимые по своим возможностям с людьми, на свободном рынке очень быстро вытеснят последних из большинства рабочих мест, и человечество останется не у дел. Обосновывая этот тезис, он, в частности, приводит такой характерный пример, позаимствованный из книги одного из главных энтузиастов робототехники того времени, Ганса Моравека ^[10].

Вскоре после того, как континент Северная Америка около трех миллионов лет назад соединился с Южной Америкой, по образовавшемуся перешейку из северной его части в южную стали проникать плацентарные ^[11] млекопитающие. В это время в Южной Америке обитали лишь сумчатые млеки типа кенгуру и коал в современной Австралии. В результате, почти все сумчатые практически мгновенно по геологическим меркам вымерли, так как не смогли конкурировать на равных с более продвинутыми плацентарными млекопитающими из Северной Америки. Джой, как и Моравек, считает, что нечто подобное может в перспективе произойти и с людьми. По его оценкам на момент публикации статьи, компьютерные системы с умственными способностями, сравнимыми с человеческим мозгом ^[12], могут появиться уже в районе 2030 года. Похоже, Джой даже несколько недооценил скорость прогресса.

Кроме того, в своем эссе Джой предупреждал об опасности двух других активно развивающихся направлений - нанотехнологий и манипуляций с генами, включая геномы людей. Он призывал заморозить все три указанных направления, или, как минимум, ограничить распространение информации о них в сети интернет. По его мнению, степень секретности и контроль в этих областях должны быть сравнимы с соответствующими стандартами, применяемыми к информации о методах создания ядерного и термоядерного оружия. Похоже, больше всего Джоя пугала возможность появления систем, способных реплицироваться автономно, то есть, вообще без участия человека. Более подробно обсуждаемое эссе разобрано в статье одного из под ником Кarell. Она называется Если мы нужны будущему, то как? ^[13]

Гораздо более оптимистический взгляд на будущее у двух других авторов, пишущих на темы искусственного разума. Уже упомянутый выше Ганс Моравек написал сразу две книги о предстоящем неизбежном пришествии машинного интеллекта, превосходящего человеческий, и появлении в период от 2030 до 2040 года целого семейства быстро эволюционирующих роботов, которые будут следующим, более продвинутым этапом развития нашей цивилизации. Одна из основных его мыслей - эволюция компьютеров и роботов повторяет эволюцию видов в живой природе, но за счет гораздо более осмысленных "мутаций" она идет примерно в десять миллионов раз быстрее (см. рисунок ниже).

По мнению Моравека вскоре после появления компьютерных систем и роботов, превосходящих способности людей, человечество выйдет на своеобразную "комфортную пенсию", посвящая все свое время хобби, путешествиям и и т.д. Он не исключает, что часть населения захочет "переселиться" в кремниевое тело и получить кремниевые мозги ^[12], но, даже если это будет возможно, вряд ли они останутся при этом людьми в нашем понимании этого слова. В общем и целом, как считает Моравек, человечество в конце концов постепенно исчезнет, но процесс будет достаточно долгим и мягким.

Другим оптимистом, ожидающим прихода сингулярности, является известный изобретатель, разработчик систем распознавания речи и печатного текста, а так же, по совместительству, ученый - футуролог Рэймонд Курцвейл ^[14]. Он так же является автором так называемого Закона ускоряющейся отдачи ^[15], объясняющего наблюдаемое ускорение научно-технического прогресса тем, что как только мы получаем очередное новое достижение в технологиях, оно тут же используется, что бы еще более усовершенствовать технологии, замыкая, тем самым, петлю положительной обратной связи в автокаталитический процесс. В вышедшей пару лет назад своей последней книге "Сингулярность ближе: Когда мы сольемся с ИИ" Курцвейл предсказывает, что системы ИИ достигнут уровня среднего человека к 2029 году, а к 2045 году вангует некое слияние людей с "машинами".

Наконец, совсем недавно, в 2023 году, группа энтузиастов, имеющих отношение к ИИ, включая Маска и Возняка, обратилась к правительствам и общественности с открытым письмом ^[16], в котором, в частности, предлагала установить шестимесячный мораторий на обучение LLM моделей более мощных, чем GPT-4, и инициировать создание систем независимого аудита всех новых моделей. Письмо наделало много шума, на на практике выхлоп от него был нулевой.

Как видим, почти все оценки наступления сингулярности (что бы под этим не понимать) отсылают нас к точке во времени до 2045 года, то есть, по любому, уже при жизни большинства читателей данной статьи. При этом, хотя авторы обычно едины в том, что в этом интервале времени произойдет что-то очень уникальное и существенное для человечества, конкретные сценарии данного события у них в значительной степени расходятся. Одни предполагают объединение, некий симбиоз людей и вычислительных устройств, возможно, включая "переселение" сознания людей в компьютеры или роботов, другие - быстрое или медленное, в зависимости от сценария, исчезновение человеческой расы и переход переднего фронта эволюции на кремниевую основу.

Наконец, в силу принципиальной неустойчивости процессов в области точки сингулярности, вообще говоря, нельзя априори исключать и гибели всей цивилизации на Земле, то есть, в итоге не выживут ни роботы, ни люди, и хорошо еще, если на нашем планете вообще останется жизнь. Сценарий совсем не радужный, но, по крайней мере, легко объясняющий известный парадокс Ферми.