L в аббревиатуре LLM означает «ложь»

Если верить хайпу, та отрасль разработки ПО, к которой мы привыкли, уже мертва. Однако странно, что, несмотря на годы работы с ИИ-инструментарием, результаты выглядят, ощущаются и работают примерно так же, как и в начале: невзрачно.

Невозможно спорить, что эту технологию окружает огромный ажиотаж. В неё вливаются сотни миллиардов долларов и создаётся масштабная инфраструктура, что, в свою очередь, требует ещё большего ажиотажа, чтобы оправдать инвестиции. Уже очевидно, что всё построено на преувеличениях — новые модели продолжают обучать для достижения целей, которых должны были, судя по обещаниям, достичь уже вышедшие в тираж модели.

Поэтому позвольте мне сказать фразу, которая повергнет бывалого резидента Кремниевой долины в больший шок, чем дефекация на Маркет-стрит: не использовать ИИ совершенно нормально.

Это не превратит вас в троглодита. Из-за этого вы не останетесь на обочине прогресса, который якобы несут самопровозглашённые техноволшебники и их агенты. На самом деле, такое решение выглядит гораздо менее трудным и гораздо более радостным, чем альтернатива ему.

Синтетические ароматизаторы

Во всех обсуждениях того, что могут и чего не могут LLM, формулировать происходящее можно по-разному. Если смотреть под одним углом, то хорошая сторона заключается в полезности, умности, креативности и продуктивности. Вред кроется в лени, одноразовости, краже информации и разложении знаний. Но в этом дискурсе особо примечательно отсутствие упоминания одного слова. И это слово — подделка.

• Если кто-то нарисует картину в стиле Винсента ван Гога, выдаст её за созданную ван Гогом, поставив на ней его подпись, то такая картина будет подделкой.

• Если кто-то изготовит юридический документ, имитировав формат, выдав себя за участвующие стороны и фальсифицировав их согласие, то этот документ будет подделкой.

• Если кто-то проведёт исследование, имитировав или изменив данные, придумав цитируемые источники и подобрав результаты так, чтобы они подходили под конкретный вывод, то это исследование будет подделкой.

Фальсификация становится неотъемлемым свойством предмета и способов его производства. Неважно, что никто никогда не увидит подделанную картину или что она будет висеть только в личной коллекции. Это подделка, потому что это не подлинник.

С этой точки зрения, LLM выполняют нечто вполне конкретное: они позволяют людям генерировать подделки их собственных или чьих-то ещё потенциальных результатов быстрее, чем люди смогут создать их сами.

Акт подделывания — это акт имитации. Строго говоря, сам по себе он вполне законен, например, в виде вымысла или самовыражения. Он создаёт проблемы только тогда, когда кто-то пытается использовать подделку в качестве замены подлинника. Влияние этого на практике зависит от обстоятельств, и в основном от того, что подразумевается под подлинностью.

Иными словами, никого не арестуют за «подделывание» письма от Деда Мороза, но ни в одной юрисдикции не разрешается хранить крайне похожие на оригинал «имитации денег», даже как предмета для коллекционирования.

Подобные меры защиты также применяются в сфере так называемых пищевых продуктов с контролируемым происхождением, например, изготавливаемых вручную сыров ^[1] или вяленой ветчины. Они требуют не только традиционных способов изготовления и высококачественных ингредиентов, но и конкретного географического происхождения. И на то есть веская причина.

Производство французского сыра Бри де Мо запрещено за пределами Франции, потому что в противном случае рынок был бы неизбежно завален более дешёвыми имитациями. Это повредило бы бренду подлинного продукта и поставило бы под угрозу необходимый для производства уникальный местный опыт, передаваемый от поколения к поколению, .

Для правильной работы рынка в данном случае недостаточно было бы простого мнения конечного потребителя. Спектр продуктов, которые вы можете приобрести в магазине и из которых вы можете выбирать, заранее определён независящими от вас факторами. Качество сыра с контролируемым происхождением определяет всю цепочку поставок, часто основанную на современных методиках, которую просто невозможно перенести в другое место без огромных инвестиций в человеческий капитал, инфраструктуру и сельское хозяйство. Это не просто какая-то романтика.

Каждое общество должно провести черту где-то в спектре от «традиционного, изготавливаемого вручную сыра» и «поддельными яйцами, производимыми из промышленных химикатов», если оно не хочет, чтобы люди умирали от недоедания или отравления. Но те общества, которые понимают и поддерживают ценность искусства производства еды, не оказываются в ситуации, когда 70%+ их членов страдают от ожирения ^[2].

Недоверие и верификация

Тут несложно провести параллели с кодингом ПО при помощи LLM. Ремесло написания ПО находится под угрозой буквального затопления дешёвыми имитациями.

Одними из первых недостатки этого ощутили на себе мейнтейнеры опенсорсного ПО. У них и так были огромные сложности с поиском мотивированных контрибьюторов и с введением их в курс дела относительно целей проекта и ментальной модели разработки. Последнее, что им было нужно, так это получать нагенерированные пул-реквесты от контрибьюторов, которые просто желают хитростью создать себе красивое GitHub-резюме.

Получать такие пул-реквесты и унизительно, и абсурдно, потому что единственное, что вайб-кодер может сделать с данной ему обратной связью — скопипастить её в инструмент, который и сгенерировал ошибки изначально.

В результате проекты отказываются от участия сторонних контрибьюторов ^[3] и закрывают программы баг-баунти ^[4]. Некоторые просто насмехаются над имитаторами ^[5] и надеются, что те отставят их в покое. И всё это определённо не похоже на полезное, умное, креативное и продуктивное.

В повседневном кодинге работа вместе с коллегами-вайбкодерами оказывает похожее влияние. Хоть и может казаться, что новые сотрудники гораздо быстрее осваиваются, на самом деле они скидывают все трудности первых недель на бота, надеясь, что никто этого не заметит.

В процессе этого они внедряют в код посредственность, хотя вы надеялись на их личную точку зрения. Если в году 2026-м от Рождества Христова сотрудник создаёт крайне подробный PR с кучей объяснений и комментариев, то следует сомневаться в каждом его слове.

Говорят, что у опытных ветеранов, начавших использовать ИИ, ситуация лучше: они выпускают в 10 или даже 100 раз больше кода, чем раньше. Когда я слышу такое, то задаюсь вопросом: что это за сениор-разработчик, который не понимает, что каждая строка кода, которую он выполняет и от которой зависит — это ответственность.

Одно из самых примечательных утверждений, услышанных мной ^[6]: ИИ-кодинг — это замечательная область применения технологии, ведь всё, что необходимо знать агенту, уже объяснено в кодовой базе. Это катастрофически ошибочно и абсурдно, потому что если бы это было так, то никакого кодинга и не потребовалось бы.

Это ещё и важный показатель, определяющий разницу между разработчиком, в основном занимавшимся решением проблем, созданных другим ПО, или решением проблем, которые были у людей ещё до появления самой концепции ПО. Только второй тип разработчика сможет научить вас думать о реальных рамках проблемы и о потребностях решающих её пользователей; это всегда запутаннее, чем может подумать новичок.

Когда ПО рассматривается как самоцель, то в результате получается крайне переусложнённое инфраструктурное облако, хотя на самом деле система могла бы работать на VPS ^[7] ценой 10 долларов в месяц, а на резервное копирование и пиво осталось бы ещё куча денег.

Инструменты для инструментов

Разработчики, которые знают своё ремесло, могут учуять слоп за километры при ревью кода, несмотря на весь достигнутый «прогресс». Он проявляется в чрезмерно повторяющемся коде, необязательной сложности и нежелании рефакторить, даже если код очевидно устарел.

Кроме того, я уже много раз видел, что звание «сениор» и годы опыта не спасают разработчиков от создаваемых при помощи вайб-кодинга постыдных перлов.

Если попытаться представить мыслительный процесс, приведший к изучаемому результату, то быстро становится понятно, что его попросту не было. Кодинг-агент здесь не второй пилот, а автопилот.

То же самое относится и к самим вайб-кодерам, а их реакции во многом предсказуемы. Слоп-код ощущается плохим и переполненным багами; это заметно и в том, что на Discord-сервере Microsoft Co-pilot недавно запретили ^[8] использовать оскорбление «Microslop». Негативную реакцию пользователей назвали «спамом» и «вредом»; это доказывает, что обещания часто стоят больше реального результата и что у Вселенной всё ещё есть чувство юмора.

Менее обнадеживает то, что эти инструменты называют «вызывающими зависимость» или даже «лучшим другом, который только может быть». Да, гики совершенно очарованы компьютерами, ещё со времён революции ПК, однако, похоже, сопутствующий кембрийский взрыв творчества и достижений не возник.

Я могу понять, почему этим впечатлены сторонние люди, но я не понимаю, почему об этом не задумывается так много посвящённых.

На самом деле, при помощи ИИ разрабатывается весь тот «клей», который стал необходим после вышеупомянутой революции PC, когда приложения стали более закрытыми, более распределёнными и более корпоративными. Все варианты, которые есть у конечных пользователей, ужасны. HTTP API не делает системы более открытыми, если каждая конечная точка требует слабо задокументированный JSON-объект, схема которого меняется по прихоти разработчика. Сбрасывать сырые дампы базы данных — тоже не вариант, это используется только для аварийного восстановления. По большей мере, ПО заржавело намертво.

Вспомним, что многие компании в основном зависят от Excel. Какая программа стала аналогом Excel для JSON? Таких нет. Поэтому да, разумеется, пользователи считают, что нужна машина, которая бы превратила их задумки в запускаемый код. Но даже если так, то где аналоги Jupyter notebook для JSON?

Разумеется, есть jq, но стоит помнить, что изначально это был SQL, который позиционировали как решение, способное освободить компании их сотрудников от необходимости пользоваться специализированными инструментами. И посмотрите, к чему всё пришло... чем больше всё меняется, тем больше остаётся тем же. Есть ли уже стандартный протокол в стиле CRDT для синхронизации редактируемых графов?

Как ни удивительно, мы не стали и свидетелями возвращения к нативным приложениям. Оказывается вайб-кодинг приложения Electron всё же предпочтительнее, чем вайб-кодинг для множества платформ с использованием всех их особенностей. Так где же это восхваляемое 100x-улучшение? Даже Apple уже не может поддерживать единообразную форму и иконографику в своей новой операционной системе, так какова вероятность, что с этим справится обученный на веб-слопе ИИ?

Это многое говорит о нашей отрасли, но не особо много — о разработке.

И бутылка рома

Большинство разработчиков ПО наперегонки осваивают новую технологию, но не все отрасли сдалась столь охотно. Видимость неизбежности — это всё-таки видимость, и её следует подвергать сомнению.

Видеоигры — пример рынка, на котором потребители активно противятся слопу. Многие проекты уже извинилось за ИИ-контент и удалили его. У платформ наподобие Steam есть чётко обозначенные политики ^[9] о нём, и существуют инструменты ^[10] для его фильтрации.

Впрочем, политика Steam была недавно обновлена ^[11]: в ней сделано исключение для инструментов разработчика, используемых с целью «повышения эффективности», но не применяемых для генерации доступного игрокам контента.

Это не так уж удивительно по двум причинам.

Во-первых, видеоигры — это рынок прямой цифровой доставки к потребителю. У геймеров есть все возможности выбирать. Если им не нравится игра или её модель ценообразования, то это результат решений, принятых конкретными производителями. Существуют другие проекты без подобных изъянов, поэтому они получают популярность и продаются вместо неудачных. Стиль задают сами игроки, которые требуют прозрачности.

Во-вторых, большинство видеоигр — это художественные произведения, и их покупают из-за художественной привлекательности. В искусстве копирование не приветствуется, потому что оно ценность оригинала и крадёт славу. Художники очень чувствительны к этому, и имеют на это полное право, потому что привлекательность искусства отчасти вызвана уникальным видением творца. Произведение искусства должно быть личным подтверждением выполненной работы, ценность которого необходимо сохранить. Допустимой формой имитации здесь становится оммаж, который уважает оригинал и одновременно развивает его идеи.

Это резко контрастирует с принципом использования кода, который обычно совершенно не страдает от многократного использования и даже выигрывает от него, если это инфраструктура. Также это объясняет, почему опенсорсные проекты так плохо подходят для привлечения талантливых, художественных творцов. Этика обмена с нулевыми затратами означает, что любой художественный замысел может быть мгновенно позаимствован и переделан без его исходного контекста.

Здесь в качестве прецедента можно рассмотреть классическую процедурную генерацию, с которой уже знакомы геймеры. По большому счёту, она не оправдала надежд. Перспектива экспоненциального роста контента из ограниченных исходников быстро исчерпывает себя ^[12], потому что основная работа, выполняемая процедурным генератором, делает всё разнообразие его собственных результатов бесполезным.

Поэтому неудивительно, что после появления генеративного ИИ художники заклеймили его, как массовый плагиат. Неудивительно и то, что горстка технологических предпринимателей и собирателей данных совершенно этого не понимает; они приветствуют плагиат, обучая свои модели ^[13] на любых пиратских библиотеках, которые смогут достать. Или на всех существующих репозиториях кода.

Если генеририруемый на основе этого результат оказывается заурядным, отвратительным и подозрительным, на то есть веская причина. Разные обучающие выборки в исходном материале сами по себе становятся для машины просто слопом. Подойдёт всё, что прокачивает веса при обучении.

Просто так получилось, что теперь невозможно сказать, что является цитатой, что — галлюцинацией, а что можно считать новым и творческим. Именно поэтому пиратские библиотеки контента незаконны, но ChatGPT «законен».

Таким образом, пометка ИИ-контента как сгенерированного ИИ или добавление на него водяных знаков — это по сути, прикрывание своей задницы, а ни в коей мере не ответственное раскрытие.

Кроме того, это даёт многим разработчикам фиговый листок, позволяющий им каждый день раньше уходить на обед и ужин, сохраняя рост показателей и не задаваясь вопросами о том, по-прежнему ли имеют какой-нибудь смысл пункты об интеллектуальной собственности в их договорах.

Однако при этом такие разработчики оказываются в неприятном положении. Чтобы вайб-кодинг был приемлем и оправдан, они вынуждены считать собственные результаты работы одноразовыми, крайне нетворческими и не стоящими указания авторства.

* * *

На мой взгляд, ни один суд не должен принимать решения о том, следует ли расценивать результаты работы ИИ в категориях «законности» или «защищённости авторским правом», потому что у них нет первоисточников. Такое решение просто невозможно принять, и результаты работы ИИ нужно считать подделкой, только если не доказано иное.

Следовательно, выход из парадоксальной ситуации с LLM и очевиден, и иллюзорен: единственный способ отделения золота от слопа заключается в том, чтобы вместе с инференсом LLM корректно указывали источники.

Это не только поможет с художественной точки зрения, но и продемонстрирует, что вайб-кодинг во многом оказывается простым копипастингом из существующей кодовой базы, при котором удобно забывается указание автора, лицензии и ссылки.

Для современных моделей реальное указание авторства технические невозможно. То, что LLM может даже упоминать и цитировать источники — следствие свойств потребляемых ею данных и выполняемого промпта. Она может делать это, только когда это уместно согласно текущей позиции в тексте.

Нет причин думать, что в этом есть какая-то система; гораздо выше вероятность того, что LLM просто справляются c цитированием того, что часто и корректно цитируется в обучающих данных. Это ролевая игра в цитирование.

Обязательное требование указывать источники влечёт за собой масштабные последствия. Как вообще будет выглядеть обратное распространение, если для весов обязательно нужно указывать источник, а для прямого прохода обязательна возможность аудита? Понятно только, что всё это не уместишь в int4.

Тем не менее, я думаю, это будет очень показательно: такую задачу пытаются решать «инструменты для распознавания вмешательства ИИ», только в обратном порядке. Безумно то, что следующей крупной технологией после World Wide Web и поисковых движков уровня Google стал ИИ, который по природе своей не может сказать, откуда взялась информация.

Чтобы машины перестали лгать, они обязаны должным образом ссылаться на источники. То же самое относится и к ИИ-компаниям.