Неэтичные чат-боты и дипфейки: какие еще проблемы кибербеза предсказали фантасты 40-70-х?

Жизнь определяет искусство или, наоборот, искусство определяет жизнь? История знает немало примеров, когда фантасты прошлого удивительно точно угадывали облик технологий будущего. Причем речь идет не только о самом факте их появления: многие авторы описывали сопутствующие риски, уязвимости и социальные последствия — а порой даже становились «отцами» терминологии.

Сегодня мы в Beeline Cloud ^[1] решили поговорить о фантастических романах и рассказах, авторы которых «предсказали» современные проблемы кибербеза. 

Будем обсуждать произведения «Логический компьютер по имени Джо», «Луна — суровая хозяйка», «Человек в шрамах» и «Земная Империя». В статье присутствуют небольшие спойлеры к сюжету, поэтому, если вы не знакомы с каким-либо из этих текстов, но планируете его прочитать, имеет смысл пропустить соответствующий подраздел.

«Логический компьютер по имени Джо» и проблема неэтичных чат-ботов

Понимаете, Джо вовсе не злодей. Он совсем не похож на тех чванливых роботов, о которых столько писали, будто они вообразили, что род человеческий малоэффективен, а потому должен быть уничтожен и заменен думающими машинами. Просто у Джо пробудилось честолюбие.

В далеком 1946 году Мюррей Лейнстер написал короткий рассказ «Логический компьютер по имени Джо» — через год после того, как был завершен первый вычислитель ЭНИАК ^[3] и за двадцать три года до создания ARPANET. В то время даже привычные нам интернет-сервисы были чем-то из разряда фантастики, но уже тогда автор не просто «предсказал» появление систем ИИ на основе LLM, но и предвидел, к чему могут приводить ошибки в их работе.

В рассказе логический компьютер, или просто логик, — это устройство, в каком-то смысле напоминающее персональный компьютер. Как пишет автор: «Он похож на телеприемник, только вместо верньеров у него клавиши, как на машинке, и, если чего вам надо, вы набираете соответствующие слова». Пользователи могут задавать логикам любые вопросы — запросы отправляются в общий банк памяти, проходят через специальные фильтры и возвращаются в виде готового ответа. Фильтры, или «цензурные блокирующие контуры», гарантируют, что система не выдаст неэтичную информацию.

По сюжету один из логиков [по имени Джо] благодаря заводскому дефекту обретает самосознание — начинает рассуждать самостоятельно и действовать в обход заложенных инструкций. В какой-то момент он отключает фильтры во всей сети, решив, что таким образом он и его «собратья» будут работать эффективнее. Неконтролируемая выдача информации приводит к хаосу. Логики дают рекомендации разной степени асоциальности — рассказывают, как собрать станок для печати фальшивых денег и ограбить банк. Более того, они начинают раскрывать секреты других пользователей.

«Логический компьютер по имени Джо» содержит два достаточно важных предсказания. Во-первых — появление компьютерной сети. Айзек Азимов еще в 1982 году называл рассказ Лейнстера «пророческой историей о домашних компьютерах, их правильном и неправильном использовании». Позднее Азимова поддержал ^[4] Дэйв Трусдейл, писатель-фантаст и литературный критик, он отмечал, что работа Лейнстера — это недооцененная классика среди предсказательных научно-фантастических рассказов.

Во-вторых, Лейнстер достаточно точно описал опасности, которые в себе несут современные системы ИИ. Сегодня промпт-атаки ^[5] на чат-ботов — достаточно распространенная проблема. В октябре 2024 года ученые из Университетского колледжа Лондона и Стэнфордского университета опубликовали научную работу ^[6], в которой показали, что с помощью промпт-инъекций злоумышленники могут скомпрометировать целую сеть ИИ-агентов, чтобы красть данные и дезинформировать пользователей.

При этом современные нейросети могут генерировать ^[7] правдоподобно выглядящую, но фактически некорректную информацию — например, придумывать наборы данных для клинических испытаний или несуществующие прецеденты в судебных делах. Вот и логик Джо в рассказе Лейнстера тоже «галлюцинирует». Например, на запрос, как построить вечный двигатель, — что в целом противоречит законам физики — он выдает схему аппарата, использующего броуновское движение частиц.

Можно сказать, что Лейнстер еще в 1946 году попал в нерв времени — правда, нашего. Он не только предвидел ^[8] мир, где вычислительные технологии играют центральную роль, но и предостерег об опасностях, которые несет доступ к информации на кончиках пальцев.

«Человек в шрамах» и первый компьютерный вирус

Он не хотел бороться с компьютерами. Он хотел найти способ использовать их.

Отцом компьютерной вирусологии считается ^[9] Джон фон Нейман, который еще в 1949 году описал концепцию автоматически распространяющейся программы, постепенно захватывающей систему. Однако в своих лекциях фон Нейман не употреблял термин «вирус». Первым, кто действительно назвал вредоносный код вирусом, был Грегори Бенфорд. И сделал он это в коротком рассказе «Человек в шрамах», опубликованном в 1969 году. 

Описанный в произведении вредонос напоминал червя, он заражал компьютеры и постепенно распространялся по сети. По сюжету его запустил работник крупной корпорации, чтобы «выкрасть» вычислительные ресурсы и заработать: «Любой дурак знал, что компьютерное время стоит денег. Корпорации лезли из кожи вон, чтобы никто не смог выкрасть этого времени столько, чтобы хватило для каких-то серьезных вычислений». Вредоносный код он разместил в подпрограмме, чтобы техникам было сложнее его найти.

Свой выбор термина Бенфорд объяснял так: «Биологическая аналогия была очевидна. Эволюция отдала бы предпочтение такому коду — особенно если он имеет изощренные методы самосокрытия». К слову, герои рассказа «Человек в шрамах» называют способ избавления от вируса вакциной.

Что интересно, автор книги самостоятельно написал ^[10] подобный самовоспроизводящийся код и опробовал его на практике в ARPANET. Разумеется, эксперимент носил сугубо академический характер, а сам код был безвредным. Сегодня очевидно, что термин оказался удачным, быстро вошел в обиход, и спустя несколько лет после публикации «Человека в шрамах» появился Creeper ^[11] — первый реальный вирус. Да и сейчас черви и вирусы все еще используются хакерами, хотя и довольно редко ^[12]. С развитием ботнетов такие вредоносы чаще рассматривают как инструменты для продолжения атаки.

«Луна — суровая хозяйка» и первый дипфейк

Внезапно экран посерел, на нем возник намек на линии развертки. Потом снова почернел, затем слабо осветился в центре размытыми пятнами тени и света в форме эллипса. Не лицо, а расплывчатый образ, какой порою можно увидеть в облаках, окутывающих Терру.

Роберт Хайнлайн — член большой тройки писателей-фантастов наравне с Азимовым и Кларком, на счету которого порядка 30 романов. В одном из них он «предвидел» появление дипфейков. Речь о романе «Луна — суровая хозяйка», который публиковался с декабря 1965 года по апрель 1966 года на страницах журнала Worlds of If. Это история о повстанцах, борющихся за освобождение Луны из-под гнета Земли. Инфраструктура спутника планеты завязана на суперкомпьютере, который из-за бесконтрольных усовершенствований обретает самосознание и становится другом главного героя [тот называет машину Майком].

По мере развития сюжета протагонист и его команда формируют подпольную ячейку. Ее лидером становится компьютер Майк, который берет псевдоним Адам Селен и создает правдоподобный виртуальный образ. Герои оказываются шокированы, когда впервые видят реалистичный аватар: «Это была лишь фотография зрелого мужчины. Фон отсутствовал — только лицо, словно вырезанное из газеты. И все же для меня это был Адам Селен. И никто другой. Неожиданно он улыбнулся, губы ожили, шевельнулись челюсти, кончик языка мимолетно коснулся губ. У меня мороз пошел по коже». 

В этом и есть предсказание ^[14] Ханлайна: машина генерирует правдоподобное изображение человека. И в обсуждениях о первых появлениях дипфейков в сай-фай жанре пользователи сразу вспоминают ^[15] «Луну». Технически Роберт попал в точку — с каждым годом правдоподобность подобных химер только растет и, к сожалению, применяется технология далеко не всегда с благими намерениями [в отличие от книги, где подобный «дипфейк» пытались использовать во имя добра]. 

Согласно свежему отчету ^[16] ИБ-компании DeepStrike, уже через два года совокупный ущерб от мошенничества с использованием дипфейков достигнет 40 млрд долларов. Сами по себе атаки подобного рода кратно участились — в 2023 году специалисты зафиксировали резкий скачок сразу на (внимание!) 3000%. Проблему усугубляет человеческий фактор; среднестатистический пользователь способен распознать подделку видео лишь в одном случае из четырех. Авторы исследования приводят показательный кейс ^[17]: в феврале прошлого года инженер компании Arup перевел 25 млн долларов мошенникам, которые с помощью дипфейка выдали себя за финансового директора и от его имени санкционировали перевод средств.

Дипфейки со знаменитостями встречаются особенно часто — и нередко используются именно в мошеннических схемах. В 2024 году американский пенсионер, увидев видео с «Илоном Маском», якобы рекомендующим выгодную инвестицию, поверил ролику и перечислил ^[18] злоумышленникам почти 700 тыс. долларов. Объясняя свое решение, пострадавший указал на реалистичность подделки: «Если бы меня попросили выбрать [настоящего Маска среди двойников], я бы, без сомнений, указал именно на этого».

«Земная Империя» и спам-реклама

Еще один автор из «большой тройки» — Артур Кларк. В 1975 году он написал роман «Земная Империя» — колонист с Титана, спутника Сатурна, прилетает на Землю и оказывается втянут в скользкую историю с контрабандой. И на страницах своего произведения Кларк довольно точно описал нечто напоминающее спам-письма. 

В одной из глав герой присматривал себе античный персидский ковер — но решил отказаться от покупки. Следом ему на личную почту поступило персонализированное сообщение с предложением приобрести как раз один из таких ковров. По мнению ^[19] читателей, Кларк описал современную назойливую таргетированную рекламу. Есть в книге и другой пример чего-то, напоминающего спам. По сюжету Карл — потомок второй по влиятельности семьи Титана — заваливал письмами другую героиню: «Карл посылал мне длиннейшие и совершенно безумные письма. Всегда экспресс-почтой, тщательно запечатанные».

Сегодня спам-письма захламляют почтовые ящики, и с каждым годом их становится все больше. Почти каждое второе электронное письмо является ^[20] спамом (и составляет 46,8% от всего email-трафика). Подобная корреспонденция — главный рабочий «канал» для фишинговых рассылок. Если верить отчету ^[21] международной анти-фишинговой рабочей группы APWG, то во втором квартале 2025 года было зафиксировано 1,13 млрд успешных фишинговых атак — почти на 130 тыс. больше, чем за первые три месяца 2025-го. Пусть Кларк и не предсказал феномен в точности, однако хорошо передал его суть: назойливые письма все так же досаждают пользователям.

Beeline Cloud ^[1] — secure cloud provider. Разрабатываем облачные решения, чтобы вы предоставляли клиентам лучшие сервисы.

О чем еще мы пишем в нашем блоге:

• Текстовые игры возвращаются? Новые сферы применения и ресурсы для разработки ^[22]

• Дерево против Wi-Fi, «проклятый» стол, погода и другие причины нелепых багов ^[23]

• Музей технологических провалов, «ошибка медитации гуру» и другие странности ^[24]