Риски ИИ от LessWrong.com, часть 1: интервью с Шейном Леггом из DeepMind

в 8:43, , рубрики: интервью, искусственный интеллект, Исследования и прогнозы в IT, перевод, метки: , ,

image Привет читателям Хабрахабра! Недавно я узнал, что компания DeepMind, занимающаяся разработкой искусственного интеллекта (ИИ), была приобретена корпорацией Google за 500 млн. долларов. Я стал искать в интернете что-нибудь об исследователях компании DeepMind, интервью с ними и нашел Q&A с западными экспертами, в том числе с Шейном Леггом (Shane Legg) из DeepMind, собранными на сайте LessWrong.com. Ниже я приведу перевод интервью c Шейном Леггом, показавшееся мне интересным. В второй части статьи будут приведены интервью с десятью другими исследователями ИИ.

Шейн Легг (Shane Legg) — ученый Computer Science и исследователь ИИ, который работает над теоретическими моделями сверх-интеллектуальных машин (super intelligent machines, AIXI). Его кандидатская диссертация «Сверх-интеллект машины» была закончена в 2008. Он был удостоин премии «Искусcтвенный интеллект» и $10.000 Канадского Института Сингулярности. Список работ Шейна можно найти по ссылке.

Интервью с Шейном Леггом, 17 июля 2011

Оригинал статьи

Используемые аббревиатуры:

ЧИИ: ИИ человеческого уровня (далее — человеческий ИИ, ЧИИ, также Artificial Generic Intelligence, human-level AI)
СЧИИ: ИИ сверх-человеческого уровня

Q1: Если предположить, что исследования ЧИИ не будут приостановлены глобальной катастрофой, как вы считаете, в каком году будет разработан ЧИИ с вероятностью 10%/50%/90%?

Пояснение:

P(ЧИИ (год) | без войн ∧ без катастроф ∧ политическая и экономическая поддержка) = 10%/50%/90%

Shane Legg: 2018, 2028, 2050.

Q2: С какой вероятностью результат разработки ИИ будет провальным и абсолютно провальным?

Пояснение:

P(Ужасные последствия | неудачный ИИ) = ?                   # Исчезновение человечества
P(Абсолютно ужасные последствия | неудачный ИИ) = ?         # Мучение человечества

Shane Legg: Это сильно зависит от того, как вы определяете термины. Правда, мне кажется, исчезновение человечества все-таки наступит, и технология сыграет в этом свою роль. (вероятно, имеется в виду исчезновние вида homo sapience, а не разумной жизни вообще — прим. переводчика). Но есть большая разница, когда это произойдет — через год после изобретения ЧИИ или через миллион лет после него. Насчет вероятности, не знаю. Может 5%, может 50%. Не думаю, что кто-нибудь может дать хорошую оценку.

Если под мучением вы имеете в виду продолжительные муки, думаю, это маловероятно. Если сверх-интеллектуальная машина захочет избавиться от нас, она сделает это довольно эффективно. Не думаю, что мы добровольно станем создавать машину для максимизации страданий человечества.

Q3: С какой вероятностью ЧИИ перестроит себя до массивной сверхчеловеческой интеллектуальной машины (СЧИИ) в течение часов/дней/< 5 лет?

Пояснение:

P(СЧИИ в течение часов    | ЧИИ, работающий со скоростью человека, 100 Gb подключение к сети) = ?
P(СЧИИ в течение дней     | ЧИИ, работающий со скоростью человека, 100 Gb подключение к сети) = ?
P(СЧИИ в течение < 5 лет  | ЧИИ, работающий со скоростью человека, 100 Gb подключение к сети) = ?

Shane Legg: «скорость ЧИИ уровня человека» довольно расплывчатый термин. Вне всяких сомнений, машина будет в чем-то лучше человека, а в чем-то хуже. То, в чем она может быть лучше — это может привести как большой разнице в результатах.

В любом случае, я подозреваю, что, создав ЧИИ, разработчики самостоятельно будут его масштабировать до СЧИИ, этим не будет заниматься сама машина. После этого машина будет заниматься самоулучшением, скорее всего.

Как быстро это получится сделать? Возможно, очень быстро, но также возможно что и никогда — могут быть ограничения нелинейной сложности, которые означают, что даже теоретически оптимальные алгоритмы дают убывающую прибавку к интеллекту при добавлении вычислительной мощности.

Q4: Важно ли выяснить и доказать, как сделать ИИ дружелюбным для нас и наших ценностей (безопасным), перед тем, как решать задачу ИИ?

Shane Legg: Мне кажется, это похоже на вопрос о цыпленке и яйце. В настоящий момент мы не можем придти к общему мнению о том, что такое интеллект и как его измерить, и мы тем более не можем придти к общему мнению от том, как должен работать ЧИИ. Как же мы можем сделать что-то безопасным, если мы толком не знаем, как оно будет работать? Может оказаться полезным рассмотреть некоторые теоретические вопросы. Но без конкретного и базового понимания ИИ, думаю, что абстрактный анализ этих вопросов станет очень вариативным.

Q5: Как много денег сейчас необходимо, чтобы исключить возможные риски от ИИ (способствующих достижению ваших личных далеких целей, например, пережить это столетие), меньше/хватает/чуть больше/много больше/несоизмеримо больше.

Shane Legg: Много больше. Однако, как это бывает с благотворительностью, вряд ли делу способствует накачка проблемы деньгами, да и вообще это может ухудшить положение. Я правда думаю, что главный вопрос не финансовый, это вопрос культуры (выдел. перев.). Я думаю, что здесь в обществе начнут происходить изменения, когда будет прогресс с ИИ и люди начнут принимать возможность возникновения ЧИИ в течение их жизни более серьезно. Думаю, до этого момента серьезное изучение рисков ИИ будет оставаться необязательным.

Q6: Приоритетнее ли риски AI, чем другие экзистенциальные риски, например связанные с возможностями продвинутых нанотехнологий? Пояснение: какие экзистенциальные риски (вроде исчезновения человечества) наиболее вероятно будут иметь самый большое негативное воздействие на ваши личные долгосрочные цели, в случае если ничего не будет сделано для уменьшения риска.

Shane Legg: Для меня это риск номер 1 в этом столетии, рядом с этим, но на втором месте — создание биологического патогена.

Q7: Какой сейчас уровень осведомленности о рисках ИИ, относительно идеального?

Shane Legg: Слишком низкий… но это палка о двух концах: к тому времени, как основное сообщество исследователей начнет беспокоиться о проблеме, мы можем столкнуться с какой-то гонкой вооружения, если крупные компании и/или правительства начнут втайне паниковать. В этом случае, скорее всего, всем будет плохо.

Q8: Можете ли вы сказать об этапе, майлстоуне, после которого мы вероятно достигнем ЧИИ в течение пяти лет?

Shane Legg: Это сложный вопрос! Когда машина сможет играть в достаточно обширный набор игр, имея на входе и выходе поток восприятия, и также сможет переиспользовать опыт между разными играми. Думаю, в этом случае, мы начнем приближаться.

17 июля 2011


Примечание переводчика: я позволил себе выделить мнение Шейна Легга о культуре — он считает проблему ресурсов для изобретения ИИ менее важной, чем вопрос культурного обмена. Когда я пробую перенести это мнение в российскую реальность, у меня возникают разные мысли — негативные, связанные с тем, что внутри всей, большой России почти отсутствует культурный обмен, и скорее позитивные, связанные с тем, что разработчики, всерьез оценивающие вероятность создание ИИ при их жизни, будут или уезжать из страны, или способствовать развитию социальной сферы.

Автор: chaschev

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js