- PVSM.RU - https://www.pvsm.ru -
[1]Слева: древнеримский мост через реку Тахо в испанском городе Алькантара, построенный в 106 году. Справа: отряд муравьёв, формирующих мост. Источник: статья Ха и Танга [2] про коллективный интеллект ИИ-агентов (doi: 10.48550/arXiv.2111.14377)
Влияние ИИ на человеческое общество ощущается уже сейчас [3]. Во-первых, дата-майнинг и нейросети всё активнее используются в сфере управления. Обычному человеку не очень приятно осознавать, что его босс — алгоритм [4], который оценивает качество работы, выписывает премии и может уволить в любой момент. Но такова жизнь.
Во-вторых, внедрение алгоритмических рекомендаций. Алгоритмы по сути определяют, какие новости читать, какое видео смотреть и т.д. Они уже влияют на человеческую культуру и поведение [5]. Конечно, эти алгоритмы написаны людьми — и корпорации пока теоретически могут ими управлять и корректировать на своё усмотрение. Но мы близки к тому моменту, когда некоторые из этих систем начнут работать по принципу «чёрного ящика» [6]. То есть разработчики не смогут их понимать и корректировать.

Понятно, что ИИ радикально изменит общество [7]. Вопрос, как именно это произойдёт и когда.
Есть мнение, что технологии развиваются как живой организм [8]. Они хотят того же, что и живые существа (жить, размножаться), эволюционируя и сопротивляясь своему уничтожению. Это практически закон природы. Таким образом, ИИ распространится и будет везде [9], как воздух, компьютеры и интернет. Остановить этот процесс практически невозможно.
К каким результатам это приведёт? Давайте рассуждать логически. Мы знаем, что умные люди добиваются больших успехов в жизни, чем глупые. Умные превосходят глупых практически во всём: в науке, бизнесе, культуре, философии, строительстве, транспорте, этике и морали, романтических делах, на войне. Применение IQ напрямую коррелирует с качеством жизни.
Никто не будет спорить, что за последние несколько тысяч лет благодаря научно-техническому прогрессу уровень и стандарты жизни выросли на порядок. Сейчас темпы ещё ускорились. Там, где внедряются технологические инновации — цены падают [10] (то есть блага становятся более доступными), где нет — цены растут.

Это прямая взаимосвязь между инновациями (как производной от IQ) и качеством жизни.
Конечно, с повышением жизненного комфорта растёт количество психических заболеваний, самоубийств, ожирения и т. д. Лёгкая жизнь — не всегда синоним счастливой жизни [11], а часто наоборот. Тем не менее, прогресс идёт именно в том направлении, чтобы избавлять человека от любых трудностей.
Какой из этого вывод? Появление в нашем распоряжении в тысячу раз более умного инструмента должно ускорить развитие цивилизации — и, соответственно, многократно улучшить качество жизни. Всё логично. Вот лишь некоторые очевидные прогнозы [12] того, как изменится жизнь после небольшой доработки существующих технологий, по мнению Марка Андрессена:
Одним словом, практически все существующие сферы деятельности станут лучше. Более того, мы сможем решать новые задачи, которые раньше было невозможно решить без ИИ.
Речь не только о повышении IQ человечества, но также о повышении гуманизма, эмпатии. Мы видим, что чатботы-компаньоны (консультанты, романтические партнёры, врачи) способны проявить к людям гораздо больше сочувствия, чем их человеческие коллеги. Возможно, программы ИИ сделают мир теплее и добрее.
И такие изменения произойдут повсеместно. Проблема в том, что людям свойственно оставлять без особого внимания положительные события и изменения вокруг — и остро реагировать на негатив, неприятные события, мысли и др. (т. н. селективное внимание к негативной информации [14]). Поэтому вполне логично, что внимание специалистов и общества больше сконцентрировано на потенциальной опасности применения ИИ, а не на преимуществах. Такая же моральная паника [15] происходила после изобретения электричества, радио, телевидения, интернета и т. д.
Страх новых технологий вынуждает некоторых технофобов призывать к запрету на разработку ИИ [16], вплоть до ядерных ударов по дата-центрам [17], если обычная бомбардировка не даст результат:

Вероятно, бомбить будут ДЦ с ИИ, который не приведён в соответствие с человеческими ценностями [18]. Выравнивать ИИ хотят по четырём уровням ценностей [19].
Четыре уровня «воспитания» ИИ в соответствии с человеческими ценностями (AI Alignment), из документа [19]
Такой подход предполагает, что ИИ заведомо не соответствует человеческим ценностям, поощряя моральную панику. Негативный биас усиливается в СМИ, которые эксплуатируют это когнитивное искажение — и фокусируются на негативных новостях. Устрашающие картинки сильнее всего привлекают внимание:
Пугающая иллюстрация из статьи WSJ о технологиях машинного обучения
Чем больше страха у читателей, тем больше переходов по ссылкам, больше просмотров и рекламных доходов СМИ.
По мнению некоторых военных специалистов, внедрение сильного ИИ в различные виды вооружения повлечёт катастрофические последствия. Дистанционно управляемые и автономные боевые системы ИИ найдут широкое применение: «В конце концов, люди всё равно будут принимать ключевые решения о вступлении в войну, об оперативном плане, но нам необходимо найти другой баланс в отношениях с этими автономными системами… Они будут присутствовать во всех областях. Станут вездесущими. И нам предстоит разобраться с этим, — говорит [20] бывший генерал австралийских ВС Мик Райан (Mick Ryan). Он считает наиболее вероятным сценарий роботизированной агрессии со стороны Китая, который в последнее десятилетие активно инвестирует в разработку ИИ и наращивает вооружение.
Вышеупомянутый Марк Андрессен считает, что внедрение ИИ на войне станет благом, ибо резко уменьшит смертность. Грубо говоря, воевать будут роботы против роботов, а не люди.
Разведывательный беспилотник Black Hornet 3 весом 33 г
Впрочем, из истории напрашивается скорее обратный вывод: благодаря техническим инновациям количество жертв в современных войнах растёт (40 млн [21] в первую мировую, 70–85 млн [22] во вторую).
Есть позитивный сценарий, что благодаря внедрению сильного ИИ и коллективного интеллекта [23] необходимость войн можно свести на нет. Любая война характеризуется ужасными решениями, принимаемыми под сильным давлением в условиях резко ограниченной информации лидерами с ограниченным IQ. В будущем у военных командиров и политических лидеров появятся ИИ-советники, которые помогут принимать гораздо более правильные стратегические и тактические решения, сводя к минимуму риск, ошибки и ненужное кровопролитие.
В негативном сценарии кровожадные диктаторы, конечно, используют любое новое изобретение для агрессии против «врагов» (враги у такого режима есть всегда [24]).
У разработчиков появился новый эффективный инструмент, который уже сейчас в некоторых узких областях генерирует на 100% валидный код [25], а в целом может использоваться также для генерации тестов, поиска ошибок, рефакторинга, поиска уязвимостей и десятков других задач [26].
Конечно, синтез программ [27] был активной областью исследований со стародавних времён. Даже синтез программ из спецификаций на естественном языке не является чем-то новым [28], также как нейронный синтез программ [29] и синтез программ по поведению других программ без примеров кода [30]. Все эти исследования велись до появления LLM.
С другой стороны, ИИ — это фундаментальная технология. Сегодня любой желающий может скачать обученную модель [31] LLaMA 2, Falcon, StableLM, Vicuna, LongChat или другую, снять верхний слой и настроить её на собственном датасете [32], запустив локально на своём ПК [33]. Это принципиально новые возможности, недоступные ранее.
Что глобально ожидает человечество в далёком будущем через несколько десятилетий или столетий? Это не обязательно апокалипсис и война против роботов, как показывают в кино. Скорее наоборот. Возможно, только ИИ способен спасти нашу планету от ядерной войны и глобального потепления. Может быть, это вообще единственный выход для нас.
По сценарию AGI Simulator [34], через несколько десятилетий программы ИИ будут избираться на управляющие посты корпораций и стран, что резко повысит эффективность управления обществом, уровень благосостояния, счастья населения и научно-технического прогресса.
Прогресс в сфере ИИ с первой работы Мак-Каллока 1943 года [35] идёт по экспоненте — сейчас за один год у нас столько открытий, как раньше за десятилетие. Так что в этом смысле наступление технологической сингулярности [36] опять кажется вероятным исходом.
По нынешнему вектору развития цивилизации (с агрессивными лидерами, животными инстинктами, конкуренцией, борьбой за ресурсы) вероятность самоуничтожения кажется довольно высокой. Если на Часах Судного дня [37] до полуночи осталось полторы минуты, глобальное потепление входит в необратимую фазу, а люди всерьёз обсуждают вероятность ядерной войны и выживания в бункерах [38], то что мы теряем?
Автор: Анатолий Ализар
Источник [39]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/ii/386771
Ссылки в тексте:
[1] Image: https://habr.com/ru/companies/ruvds/articles/755278/
[2] статья Ха и Танга: https://arxiv.org/abs/2111.14377v3
[3] ощущается уже сейчас: https://www.vice.com/en/article/pkp7y7/human-culture-to-increasingly-come-from-unexplainable-ai-sociologists-find
[4] его босс — алгоритм: https://tribunemag.co.uk/2022/01/amazon-algorithm-human-resource-management-tech-worker-surveillance
[5] влияют на человеческую культуру и поведение: https://royalsocietypublishing.org/doi/10.1098/rsta.2020.0426
[6] начнут работать по принципу «чёрного ящика»: https://www.bbc.com/future/article/20230405-why-ai-is-becoming-impossible-for-humans-to-understand
[7] радикально изменит общество: https://www.independent.co.uk/voices/ai-artificial-intelligence-automation-tech-b2317900.html
[8] развиваются как живой организм: https://en.wikipedia.org/wiki/What_Technology_Wants
[9] будет везде: https://www.darkreading.com/vulnerabilities-threats/ai-is-about-to-be-everywhere-where-will-regulators-be
[10] Там, где внедряются технологические инновации — цены падают: https://www.aei.org/carpe-diem/chart-of-the-day-or-century-8/
[11] Лёгкая жизнь — не всегда синоним счастливой жизни: https://theconvivialsociety.substack.com/p/why-an-easier-life-is-not-necessarily
[12] некоторые очевидные прогнозы: https://pmarca.substack.com/p/why-ai-will-save-the-world
[13] меняет индустрию образования: https://www.ft.com/content/47fd20c6-240d-4ffa-a0de-70717712ed1c
[14] селективное внимание к негативной информации: https://en.wikipedia.org/wiki/Negativity_bias
[15] моральная паника: https://en.wikipedia.org/wiki/Moral_panic
[16] запрету на разработку ИИ: https://www.nytimes.com/2023/03/29/technology/ai-artificial-intelligence-musk-risks.html
[17] ядерных ударов по дата-центрам: https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
[18] не приведён в соответствие с человеческими ценностями: https://futureoflife.org/translation/align-artificial-intelligence-human-values-russian/
[19] четырём уровням ценностей: https://arxiv.org/pdf/2301.03740.pdf
[20] говорит: https://www.businessinsider.nl/future-wars-are-going-to-be-catastrophic-and-robotic-and-militaries-have-to-come-to-grips-with-that-former-general-says/
[21] 40 млн: https://en.m.wikipedia.org/wiki/World_War_I_casualties
[22] 70–85 млн: https://en.m.wikipedia.org/wiki/World_War_II_casualties
[23] коллективного интеллекта: https://arxiv.org/abs/2111.14377
[24] есть всегда: https://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D1%88%D0%B8%D0%B7%D0%BC#:~:text=%D0%B6%D0%B8%D0%B7%D0%BD%D1%8C%20%D0%BF%D0%BE%D0%BD%D0%B8%D0%BC%D0%B0%D0%B5%D1%82%D1%81%D1%8F%20%D0%BA%D0%B0%D0%BA%20%D0%BD%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%B0%D1%8F%20%D0%B2%D0%BE%D0%B9%D0%BD%D0%B0
[25] генерирует на 100% валидный код: https://github.com/normal-computing/outlines
[26] десятков других задач: https://habr.com/ru/companies/ruvds/articles/728512/
[27] синтез программ : https://people.csail.mit.edu/asolar/SynthesisCourse/index.htm
[28] не является чем-то новым: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/07/NLPSynthesis.pdf
[29] нейронный синтез программ: https://sunblaze-ucb.github.io/program-synthesis/index.html
[30] синтез программ по поведению других программ без примеров кода: https://link.springer.com/referenceworkentry/10.1007/978-0-387-30164-8_399
[31] скачать обученную модель: https://huggingface.co/
[32] настроить её на собственном датасете: https://lightning.ai/blog/how-to-finetune-gpt-like-large-language-models-on-a-custom-dataset/
[33] локально на своём ПК: https://ollama.ai/blog/run-llama2-uncensored-locally
[34] AGI Simulator: https://agi.aitida.com/
[35] первой работы Мак-Каллока 1943 года: https://www.cs.cmu.edu/~./epxing/Class/10715/reading/McCulloch.and.Pitts.pdf
[36] технологической сингулярности: https://en.wikipedia.org/wiki/Technological_singularity
[37] Часах Судного дня: https://en.wikipedia.org/wiki/Doomsday_Clock
[38] выживания в бункерах: https://habr.com/ru/companies/ruvds/articles/735960/
[39] Источник: https://habr.com/ru/companies/ruvds/articles/755278/?utm_source=habrahabr&utm_medium=rss&utm_campaign=755278
Нажмите здесь для печати.