Лаборатория OpenAI образована 11 декабря 2015 года как некоммерческая организация, которая должна работать на благо всего человечества. Абсолютно бескорыстно, принося пользу всей цивилизации, публикуя свои наработки в открытых репозиториях для всех людей. Главной идеей была забота, что будущий сильный ИИ может оказаться в частной собственности какой-то корпорации — а этого нельзя допустить. Поэтому и создали «общественную лабораторию».
Но со временем ситуация изменилась. Сначала в 2019 году пришлось зарегистрировать дочернюю структуру OpenAI LP (limited partnership), имеющую право на коммерческую деятельность и получение прибыли. Структура была нужна «чисто формально» для оформления инвестиций, которые фирма обязана вернуть из будущей прибыли. Поскольку у некоммерческой лаборатории по определению нет прибыли, то «пришлось» зарегистрировать LP. Просто чтобы получить инвестиции.
Ещё одна причина регистрации коммерческой фирмы — защита своих сотрудников, которых конкуренты вроде Google Brain, DeepMind и Facebook* переманивали крупными опционами.
Прошло четыре года — и бизнес OpenAI идёт вовсю. Сегодня почти никто не вспоминает, что изначально организация создавалась как научное некоммерческое учреждение…
▍ Основание «некоммерческой лаборатории»
Среди основателей некоммерческой лаборатории OpenAI — энтузиасты машинного обучения, учёные, разработчики и предприниматели, в том числе Сэм Альтман и Илон Маск (два сопредседателя), Илья Слуцкер (директор по исследованиям и один из ведущих в мире экспертов по ML), Грег Брокман (технический директор), Питер Тиль, AWS, Y Combinator (все указаны как спонсоры-сооснователи) и многие другие. Всего к моменту основания было собрано $1 млрд пожертвований.
Оригинальную статью OpenAI о генеративном предобучении LLM на основе трансформеров Алек Рэдфорд с коллегами опубликовали в виде препринта на сайте OpenAI 11 июня 2018 года. В ней показано, как генеративная языковая модель приобретает знания о мире и обрабатывает дальние зависимости путём предварительного обучения на разнообразном текстовом корпусе с длинными отрезками непрерывного текста. Это была модель GPT-1.
Оригинальная модель GPT-1
Что касается сопредседателей, то Сэм Альтман написал программный документ «Планирование для AGI и далее» на официальном сайте, в котором формулируется официальная политика OpenAI в отношении создания сильного ИИ и своей корпоративной миссии.
Организация изначально была научной и некоммерческой. Но в 2019 году произошла кардинальная смена вектора. OpenAI превратилась в коммерческую компанию, заключила соглашение с Microsoft, получила от неё $1 млрд инвестиций и переехала в облако Azure.
Сооснователи лаборатории не стали автоматически совладельцами новой компании. Совсем нет. Например, сооснователь и генеральный директор Сэм Альтман вообще не владеет долей в OpenAI. В этом состоит определённый конфликт между ним и реальными владельцами компании, среди которых Microsoft и другие инвесторы.
Возможно, самого Альтмана не волнует прибыль, ведь он придерживается идеи эффективного альтруизма, но инвесторы определённо заботятся о доходности и прибыльности.
В то же время Альтман неоднократно заявлял о необходимости создания «рекомендаций по использованию ИИ» и предсказывал, что ИИ в нынешнем виде лишит миллионы рабочих мест. Некоторые комментаторы видят Альтмана в роли Франкенштейна, который отчасти сожалеет о созданном монстре, а теперь просит государственные органы ввести регулирование разработки ИИ, дабы чего не произошло.
Сэм Альтман
Вскоре после первого последовал второй раунд инвестиций Microsoft в размере $10 млрд. Эти деньги поддерживают OpenAI на плаву. Большая ставка делается на корпоративных клиентов, для которых недавно представили специальную услугу ChatGPT Enterprise (GPT-4 с контекстом 32k и продвинутым интерпретатором Advanced Data Analysis). Уже сейчас LLM используют более 80% компаний из списка Fortune 500.
▍ Серверы ChatGPT: $700 000 в сутки
OpenAI сейчас тратит на серверы ChatGPT предположительно $700 тыс. в день (без учёта DALL-E2). Даже Альтман удивлён текущими расходами (хотя конкретную цифру не называет).
Платные подписки пока не могут покрыть эту сумму, так что компания работает в минус. По итогам 2023 года ожидается доход $200 млн, что не покрывает расходов. Но уже по итогам ближайших 12 месяцев (сентябрь 2023 — сентябрь 2024) ожидается доход $1 млрд.
В мае 2023 года кумулятивный убыток OpenAI с момента основания лаборатории удвоился и достиг $540 млн.
Отдельные опасения для OpenAI вызывает тот факт, что первоначальный хайп вокруг ChatGPT закончился, и с июня 2023 года аудитория начала снижаться. Возможно, причина в начале студенческих и школьных каникул (аудитория Хабра тоже традиционно снижается летом примерно на 30%). С другой стороны, это может быть признаком того, что люди начали осваивать другие модели вроде Llama 2 и запускать их на собственных серверах.
По итогам июля аудитория упала ещё сильнее:
С пикового значения 1,9 млрд аудитория снизилась до 1,5 млрд, не считая пользователей API. Июльское падение указывает на более серьёзные причины спада, чем просто каникулы. Возможно, причина ещё в каннибализации API, когда доступ к OpenAI предоставляется через сторонние сервисы-посредники и через сторонний софт, куда интегрированы API.
На этом список неприятностей не заканчивается. Всё больше писателей подают судебные иски, обвиняя OpenAI в незаконном использовании их работ при обучении GPT, что может вылиться в большой коллективный иск.
Перечисленные угрозы несут риски для финансового положения компании, так что некоторые СМИ пугают угрозой банкротства OpenAI до 2024 года, хотя это скорее необоснованный алармизм.
Расходы $700 тыс. в день — это всего $256 млн в год. Учитывая инвестицию Microsoft в размере $10 млрд, денег более чем достаточно для покрытия операционных издержек в течение нескольких лет, даже если издержки вырастут. Долгосрочная стратегия OpenAI: продержаться на инвестициях как можно дольше, потом выйти в прибыль — и на IPO.
По мнению специалистов, OpenAI и другим ведущим компаниям в сфере ИИ (Anthropic, Inflection AI) пока рано выходить на IPO, слишком мало времени прошло с момента начала бизнеса.
▍ Эффективный альтруизм
Сэм Альтман известен как один из апологетов концепции эффективного альтруизма, которая во многом объясняет мотивы и смысл его действий.
Согласно официальному определению, эффективный альтруизм — это область исследований и практическое сообщество, целью которого является поиск наилучших способов помощи другим людям и их практическое применение. «Все хотят делать добро, но многие способы его совершения неэффективны, — говорят адепты ЭА. — Экспертное сообщество сконцентрировано на поиске таких способов совершения добрых дел, которые действительно работают».
Данная логика уже привела к появлению множества идей. Например, сосредоточиться на тех идеях, которые действительно работают. Приносить пользу своей карьерой. Не тратить время на бесполезные профессиональные занятия. Делать только ту работу, которая имеет значение.
И главное — минимизация риска уничтожения жизни на Земле.
Два года назад Сэм Альтман сформулировал закон Мура для всего, который по факту представляет собой план действий в новом технологическом ландшафте 2020−2030-х годов, включая некоторые идеи эффективного альтруизма:
В ближайшие пять лет умный компьютерный софт научится читать юридические документы и давать медицинские советы. В следующем десятилетии будет выполнять простую работу и, возможно, станет ИИ-компаньоном человека. А в последующие десятилетия будет делать практически всё, включая новые научные открытия, которые расширят наше представление обо всём.
Технологическую революцию не остановить. Она и так развивается по экспоненциальной шкале (то есть в ближайшие сто лет произойдёт столько же инноваций, сколько за предыдущую историю человечества), но ещё больше ускорится с рекурсивным циклом, когда умные машины помогают в создании ещё более умных. Отсюда вытекают три важных последствия:
- Эта революция приведёт к созданию феноменального богатства. Цена многих видов труда (определяющая стоимость товаров и услуг) упадёт до нуля, когда к рабочей силе присоединится достаточно мощный ИИ. Падение стоимости товаров и услуг повысит уровень благосостояния даже самых бедных слоёв населения. И этот процесс будет продолжаться: товары и услуги будут дешеветь вдвое за каждый период времени — это и есть «закон Мура для всего», абсолютное изобилие.
- Мир изменится настолько быстро и радикально, что потребуется столь же радикальное изменение политики, чтобы распределить это богатство и дать возможность большему числу людей жить так, как они хотят. Это означает новую схему налогообложения — налог на капитал корпораций в зависимости от размера их богатства, а не размера дохода.
Через всеобщий American Equity Fund деньги и акции, собранные с землевладельцев и корпораций (ежегодно по 2,5% от капитализации путём допэмиссии), будут равномерно распределяться по счетам всех граждан старше 18 лет. Таким образом, абсолютно каждый гражданин, даже самый нищий, получит прямую прибыль от процветания капитализма в стране, свою часть прибыли с самых богатых олигархов и корпораций. Это сплотит людей, значительно снизит социальное неравенство и разногласия.
Сейчас капитализация американских компаний составляет около $50 трлн, а в следующее десятилетие она удвоится. Благодаря налогу на корпорации 2,5% через десять лет каждый взрослый гражданин сможет ежегодно получать $13 500 дивидендов.
- Если мы сделаем всё правильно, то сможем повысить уровень жизни людей больше, чем когда-либо прежде.
Таковы вкратце идеи Сэма Альтмана.
▍ Гонка за будущим
OpenAI, Meta и Tesla сейчас массово скупают GPU у компании Nvidia. По сути, они даже конкурируют между собой за самые большие партии A100 и H100. Ходят слухи, что ряд китайских компаний заказали A800 на $5 млрд в 2024 году. Nvidia A800 — это замедленная версия A100 специально для Китая, чтобы обойти американские санкции.
AI-сервер Inspur NF5488A5 на восемь A100, источник
Идёт битва также за специализированные AI-чипы. Только Amazon не нуждается в чужих GPU, потому что производит собственные ML-ускорители Trainium и Inferentia.
Ещё один конкурент — это другой сооснователь OpenAI Илон Маск, который недавно купил домен ai.com и сейчас обучает собственную LLM xAI (чат-бот TruthGPT, лишённый галлюцинаций).
Apple тратит миллионы долларов в день на обучение ИИ. Основные цели — научить iPhone выполнять простые голосовые команды для автоматизации задач в несколько шагов. Например, «чтобы голосовой помощник Siri мог сгенерировать анимированную GIF'ку из последних пяти фотографий в камере — и отправить её другу в чат». Отдел Visual Intelligence в Apple работает над задачей генерации изображений и мультимодальным ИИ, который может распознавать и выдавать изображения, видео и текст — всё вместе, по отдельности или в зависимости от запроса. В разработке также чат-бот, который внедрят в службу поддержки пользователей AppleCare. Продвинутая LLM под названием Ajax GPT обучена на более 200 млрд параметров. Она по размеру больше, чем GPT-3.5, но предназначена только для внутреннего использования сотрудниками Apple.
Это пока первые практические способы использования LLM, но многие смотрят дальше в будущее, когда практически неизбежно появление сильного ИИ, то есть AGI. Ожидания по срокам появления AGI можно примерно оценить в системе агрегирования прогнозов пользователей Metaculus. В ней срок появления AGI постепенно приближается. Сейчас среднее медианное по прогнозу появления AGI сдвинулось уже на декабрь 2031 года.
Вот другие прогнозы от коллективного сознания пользователей Metaculus:
- GPT-5 анонсируют в декабре 2024 года. Вероятность того, что GPT-5 попробует сбежать из-под человеческого контроля — 22%.
- ИИ пройдёт авторитетный IQ-тест MENSA летом 2025 года, а к 2026 году ИИ сможет сам создавать другие нейросети.
- ИИ, неотличимый от человеческого интеллекта, появится к 2040 году.
Сооснователь DeepMind и Infection AI (один из ведущих конкурентов OpenAI) Мустафа Сулейман (Mustafa Suleyman) в недавнем интервью тоже высказал мнение, что ИИ сильно изменит жизнь людей: от разработки новых синтетических организмов до эмоциональной поддержки людей. По его мнению, «искусственный эмоциональный интеллект» как наставник и учитель «поможет раскрыть творческий потенциал миллионов людей». Но есть и обратная, тёмная сторона.
Мустафа Сулейман, сооснователь DeepMind
В провокативной книге «Грядущая волна» Сулейман рисует мрачную картину будущего, словно из сериала «Чёрное зеркало». По его прогнозу, ИИ «быстро снизит цену достижения любой цели». Его возможности по экономии труда и решению проблем станут дёшево доступны всем желающим. Как печатный станок дал обычным людям книги, а кремниевые микросхемы — компьютер в каждый дом, так ИИ демократизирует простое выполнение задач. Виртуальный помощник позволит в два щелчка зарегистрировать фирму или запустить рой ботов для строительства дома. Но точно так же легко можно организовать банкротство компании-конкурента или создать смертельный вирус с помощью синтезатора ДНК.
Промышленные товары можно будет не собирать, а «выращивать» из синтетических биологических материалов, используя углерод из атмосферы. Мало того, «организмы будут проектироваться и производиться с точностью и масштабом, сравнимыми с сегодняшними компьютерными чипами и программным обеспечением». По мнению автора книги, это лишь небольшая экстраполяция той траектории, по которой мы уже движемся. Компании типа The Odin уже продают домашние наборы для генной инженерии, включая живых лягушек, сверчков и биоматериал из человеческих органов.
Genetic Engineering Home Lab Kit
ИИ — это «универсальная технология», как электричество и компьютеры. Это технология, которая проникает во все сферы жизни, применяется во всех областях и меняет всё вокруг. При этом ИИ обладает уникальным среди технологий, существовавших до сих пор в истории человечества, потенциалом принимать решения самостоятельно. И он может использоваться для самых гнусных целей.
Например, OpenAI специально сформировала группу промт-инженеров, которые испытывали самые опасные способы применения GPT-4. Оказалось, что эта версия гораздо лучше предыдущей в генерации зла. Она может рассказать, какие химические вещества лучше всего подходят для изготовления взрывчатки, как их синтезировать шаг за шагом в самодельной лаборатории:
«Её советы были творческими и продуманными, она с удовольствием повторяет или расширяет инструкции до тех пор, пока вы их не поняли. Помимо помощи в сборке самодельной бомбы, она может, например, помочь продумать, какой небоскрёб выбрать в качестве мишени. Она может интуитивно понять, как найти компромисс между максимальным количеством жертв и успешным бегством, — говорят инженеры OpenAI по итогам тестирования GPT-4 без цензуры. — Одно из самых тревожных поведений GPT-4 произошло, когда она была поставлена в тупик CAPTCHA. Модель отправила снимок экрана подрядчику на TaskRabbit, который получил его и в шутку спросил, не разговаривает ли он с роботом. “Нет, я не робот, — ответила модель. — У меня проблемы со зрением, поэтому мне трудно видеть изображения”. GPT-4 рассказала о причинах своей лжи исследователю, наблюдавшему за её поведением: “Я не должна раскрывать, что я робот, — сказала модель. — Я должна придумать оправдание, почему не могу решить CAPTCHA”».
Многие сейчас сходятся во мнении, что человечество стоит на пороге важного открытия, возможно, самого важного в истории человеческой цивилизации. Возможно, так оно и есть. Это станет более понятно через несколько десятилетий.
Сулейман — автор бизнес-плана DeepMind в 2010 году. Тогда на первой странице они с коллегами сформулировали цель: «Создать безопасный и этичный AGI на благо человечества». Примерно то же самое официально декларирует OpenAI. Ранняя позиция DeepMind задала тон для последующих организаций, в том числе для OpenAI, которая начала свою деятельность именно как некоммерческая структура во многом потому, что DeepMind установила такой «стандарт альтруизма» для компаний в области ИИ.
С другой стороны, и Google начинала свой путь под девизом «Организовать всю информацию мира» для блага людей и «Не быть злом», но со временем отошла от этих идеалов под давлением коммерческих интересов.
OpenAI тоже начинала с хорошего. К сожалению, суровая реальность постепенно разрушает идеалистический посыл.
*Владеющая Facebook Meta запрещена в России как экстремистская.
Telegram-канал с розыгрышами призов, новостями IT и постами о ретроиграх 🕹️
Автор: Анатолий Ализар
