Как я, специалист по ИИ, на ИИ-текст купился

Захожу я сегодня на Хабр, и, под чашку чая, пролистываю статью «GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin ^[1]».

Если не читали – почитайте. Конец вызывает прямо-таки сильные эмоции. У меня они усугубились тем, что я относительно профессионально занимаюсь ИИ, генерацией текстов и проблемой смыслов – так что я небезосновательно считал, что легко распознаю текст, сгенерированный машиной…

Да-да, я купился. Текст статьи «GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin» был (возможно) создан ИИ, но я этого не увидел, при том, что я, в общем-то занимаюсь этим профессионально и знаю основные приемы, используемые в машинной генерации текста.

После того, как у меня спал первый лёгкий шок, я хотел бы поделиться рядом соображений.

Это не машинный текст, а текст, обработанный человеком

Пожалуй, первой реакцией на текст было отрицание, нежелание принимать, что этот текст сделан машиной. Мой мозг ^[2] начал в бешеном темпе подыскивать подходящее под это аргументы. Вообще говоря, я их сам считаю довольно слабыми, но всё равно хочу их привести:

• Неизвестно, сколько процентов текста и как отредактировал автор. Примеры текста, вроде как сделанного машиной, но поправленного человеком есть – например, когда-то была история про сценарий фильма/книги, сделанный ИИ. Тонкость всегда заключалась в деталях – если вчитываться в обзор, всегда было сказано что-то в том духе, что ИИ сделал завязку истории, а потом группа писателей её доработала. Я всегда списывал качество результата на то, что писатели просто привнесли уже какой-то свой смысл при доработке, поскольку и в абстрактных картинах при большом желании можно что-то найти. Возможно, тут этот аргумент не проходит, поскольку, по заверениям автора, он поправил только форматирование текста.
• Это перевод. При переводе, очевидно, переводчик добавляет в текст собственные смыслы и связность. Кроме того, фразы в духе «Вас обслужили?» можно списать на некачественный перевод или особенность подачи текстов в западном стиле. Кстати, на проблемы перевода я также списал отсутствие скриншотов, о которых говорится в статье.
• Это выборка материала человеком. Автор сам говорит о том, что получил этот результат не с первого раза, а сделав несколько прогонов сети. Я сам экспериментировал несколько раз с GPT-2 ^[3], и у мне также требовалось несколько запусков, чтобы получить что-то достаточно осмысленное. Всё-таки машина генерирует только набор символов, и лишь человек оценивает, осмысленный он, или нет. Радует это хотя бы тем, что нельзя полностью «выливать» весь выход GPT-3 в Интернет, засоряя его с почти бесконечной скоростью…

Тем не менее, я также готов признать, что эти аргументы довольно слабые, и машина действительно сейчас может создавать относительно длинные новостные тексты, похожие на человеческие.

Я отставил чашку с чаем в сторону и подумал: «Что это означает? Какой урок я могу вынести для себя из этой истории? Могу ли теперь я дать хоть какие-то рекомендации относительно умения отличать хорошие тексты от плохих или бессмысленных?»

Институт репутации и проверка фактов

Вернувшись к эмоциям, которые у меня возникли в процессе чтения, я вспомнил, что фрагментом статьи, после которого я начал «верить» в происходящее было описание эксперимента на форуме bitcointalk. Начало статьи меня не задело – оно посвящено фактам о создании GPT-3, и я уже привык, что такого рода факты ничего не говорят ни об авторе, ни о его понимании предмета, поскольку могут быть заимствованы откуда угодно.

Но описание эксперимента было интересно. Собственно, оно и создало «содержание» статьи – правила постинга, реакция других людей с форума…

… и в результате мы понимаем, что никакого эксперимента не было.

Это навело меня на интересные мысли. Когда-то давно я писал о моделировании экономических циклов на основе роста доверия ^[4]. Суть заключается в том, что рост идёт только пока исполняются обязательства сторон – или, проще говоря, если я вам говорю «я вам отгружу этот товар через неделю по цене X», вы доверитесь мне, и я действительно это сделаю. Всё базируется исключительно на доверии – если вы не доверяете мне, или я вас обману, мы, конечно, можем попробовать решить дело через суд, но это будет сопровождаться АДСКИМИ издержками. Представьте, что было бы, если бы каждая покупка йогурта в магазине сопровождалась серьезной возможностью судебного разбирательства…

И здесь мы приходим к, на мой взгляд, серьезной проблеме современного мира. В каком-то смысле у нас почти не осталось институтов репутации применительно к словам и текстам, а значит, мы не очень знаем, кому вообще можно доверять.

Представьте, что вам звонит представитель сотового оператора. Или банка. С новым, уникальным, выгодным для вас предложением. Вы поверите, что оно для вас выгодно?

СМИ могут случайно поставить «не ту» фотографию. Могут однобоко рассмотреть ситуацию. Вывесить на главной странице провокационную статью с маленькой надписью внизу «Это авторская колонка. Мнение автора может не совпадать с мнением редакции». Могут сослаться на неизвестного профессора Всемирного института г. Кукуево со словами «Ученые узнали…» И им ничего за это не будет. В самом крайнем случае они посокрушаются о недостаточной проверке фактов, и, может, выложат в каком-нибудь углу, в котором вы его никогда не найдете, опровержение спустя пару месяцев.

Не спасает даже наличие «компетентных» людей. Пожалуй, мне лучше всего вспоминается история компании Theranos (на Хабре ^[5]), обещавшую практически медицинскую революцию и собравшую внушительный совет директоров (в совет директоров компании вошли такие известные личности, как экс-госсекретари США Генри Киссинджер и Джордж Шульц). Всем казалось, что такие люди не могут ошибаться – но на самом деле они тоже опирались на словесные заверения, в то время как технология, по факту, не работала. Не думайте, что вы можете доверять чему-то, даже если туда вложили 700 миллионов долларов.

К сожалению, смысл в том, что сейчас мы уже не можем доверять чьему-то мнению. Репутация стоит очень мало и с удовольствием меняется на деньги. По сути, единственным неплохим пространством доверия остаются наши семья и близкие – и к счастью, идеи сетевого маркетинга (Орифлейм и пр.), эксплуатирующие личное доверие, более-менее исчезли из нашей жизни.

Но возвратимся к статье… Я для себя сделал два вывода:

• Я не проверил факты. И я себе неожиданно честно признался – видимо, я читаю подобные статьи/новости не ради фактов. А ради развлечения. Мне на самом деле неинтересно, правда это или нет, я не полезу это проверять. А значит, надо честно себе признаться – всё это не стоит принимать всерьёз. Оно может оказаться фейком. (Справедливости ради, я так делаю не всегда. Когда была зарелизена GPT-2, я полез, поэкспериментировал с ней, и написал о результатах ^[3])
• Увы, я не могу доверять автору оригинальной статьи. Никто мне не даст гарантии, что через год он не напишет что-то в духе «Эта статья была написана мной, а не ИИ; но мировая ситуация была такова, что нам очень нужны были средства на дальнейшие исследования…». Нет, вообще говоря, никаких доказательств генерации этой статьи с помощью ИИ – кроме, разумеется, репутации автора.

Гладкость текста и диалог

Я собираю свою коллекцию сгенерированных текстов и их генераторов. Но мне не очень интересно обсуждать, как сгенерированные тексты и фейки повлияют на социум – хотя эта тема, возможно, хорошо оплачиваема. Для меня каждый пример сгенерированного текста – вопросы: «какую часть человеческого мышления ^[2] мы смогли формализовать?» И «что осталось неучтенным и по-прежнему является прерогативой человека?»

GPT-3 и современные нейронные сети, поскольку тренируются на текстах, а не на входящих в эти тексты смыслах, являются далекими потомками порождения текстов за счет N-грамм или сетей Маркова, которые, предположительно используются в Яндекс.Рефератах ^[6]. Если посмотреть на исходные принципы и примеры сгенерированных текстов, можно вчвести несколько важных правил:

• Локальная гладкость текста. Текст от подобного рода генераторов опирается на другие фрагменты текста, которые всегда локально имеют смысл. Если в ранних примерах (Яндекс.Рефераты) связны 4-7 слов в предложении, то GPT-3, конечно, демонстрирует совершенно иной масштаб гладкости изложения, на уровне абзацев и их наборов. Тем не менее, важно одно – гладкий, приятный для чтения текст вовсе не гарантирует то, что он написан человеком.
• Общеизвестные факты. Поскольку подобные сети тренируются на большом массиве текстов, они, как и множество журналистов, обожают расширять текст общеизвестными фактами или выражениями. Что-то вроде, «Солнце, как ближайшая к Земле звезда» или «компания Apple, которая основана в Калифорнии Стивом Джобсом, Рональдом Уэйном и Стивом Возняком». Обычно подобное перечисление фактов создает у читателя ощущение, что автор разбирается в описываемой теме. Не покупайтесь на это!
• Общие фразы. Фразы в духе «мнения разделились, некоторые участники поддержали данное предложение, некоторые высказались против» или «данное предложение было тепло принято, хотя некоторые сомнения остались» по сути могут быть применены почти к любой ситуации.

Кроме того, отдельно бы хотелось сказать про диалог с ИИ. В частности, любой преподаватель знает, что по предоставленному студентом реферату ничего сказать о его знаниях нельзя. А вот если пообщаться с ним минут 5-10, то легко понять, «шарит» он, или нет.

В моей статье про чат-ботов ^[7] я упоминаю, что основной проблемой для ИИ сейчас является учет контекста диалога и понимание собеседника. Несложно себе представить ИИ, который неплохо реагирует на конкретную фразу – но он похож на человека, услышавшего обо всем понемногу, но не понимающего сути. Среди студентов тоже такие бывают – реагирующие на ключевые фразы. Если не затрагивать сложные темы, не оценивать личные знания и понимание, может сложиться ощущение, что собеседник является интеллектуалом и знает, о чём говорит, хотя на самом деле он лишь повторяет услышанные где-то истины.

Человек, очевидно, определяется не тем, что он говорит. Человек определяется тем, что он может действовать, опираясь на свои убеждения. Он может проанализировать свой опыт или же воспринять опыт другого человека.

Он НЕ занимается исключительно разговорами, не неся никакой ответственности за свои слова.

Автор: Январев Владислав

Источник ^[8]