Рубрика «OpenAI»

Я уже некоторое время играюсь с новой моделью GPT-3 от OpenAI. Когда я только получил доступ к бета-версии, то первое, что мне пришло в голову, было: насколько GPT-3 похожа на человека? Близка ли она к тому, чтобы пройти тест Тьюринга?

Как это работает

Позвольте объяснить, как я генерировал эти диалоги. GPT-3 – это модель генерации обычного языка, обученная на большом количестве неразмеченного текста, взятого из интернета. Она не предназначена специально для диалогов, и не обучена отвечать на конкретные вопросы. Она умеет только одно – получив на вход текст, догадаться, что идёт далее.

Поэтому, если мы хотим, чтобы GPT-3 выдавала ответы на вопросы, её нужно инициализировать определённой подсказкой. Я использую такую подсказку для инициализации всех сессий вопросов и ответов:
Читать полностью »

image

OpenAI объявила, что при реализации будущих проектов перейдет на платформу машинного обучения PyTorch от Facebook, отказавшись от платформы TensorFlow от Google.

В качестве причины для перехода OpenAI сослалась на эффективность, масштабы и адаптивность PyTorch. Читать полностью »

OpenAI выпустила генератор текста GPT-2, который сама считает опасным - 1

OpenAI опубликовала финальную модель генератора текста GPT-2 — «жуткого» ИИ, которого исследователи считали слишком опасным для выпуска. Его анонсировали в феврале, но тогда тогда OpenAI ограничилась выпуском менее мощной его версии: в компании опасались, что модель может превратиться в средство распространения дезинформации. Вместо этого компания решила выпустить его в четырёх частях в течение восьми месяцев.
Читать полностью »

OpenAI научила нейросеть собирать кубик Рубика одной роборукой - 1
Источник: OpenAI

OpenAI обучила нейронную сеть собирать кубик Рубика с помощью смоделированной руки-робота, похожей на человеческую. Нейронную сеть обучили при помощи новой техники, которая называется рандомизацией доменов (ADR). Эта техника позволяет системе обрабатывать ситуации, с которыми она никогда не сталкивалась во время тренировок.

«Это не просто инструмент для виртуальных задач, он может решать проблемы реального мира, требующие беспрецедентной ловкости», — утверждают в OpenAI.
Читать полностью »

image

Не успели отшуметь новости о нейросети BERT от Google, показавшей state-of-the-art результаты на целом ряде разговорных (NLP) задач в машинном обучении, как OpenAI выкатили новую разработку: GPT-2. Это нейронная сеть с рекордным на данный момент числом параметров (1.5 млрд, против обычно используемых в таких случаях 100-300 млн) оказалась способна генерировать целые страницы связного текста.

Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.

Тем не менее, в OpenAI выложили в общий доступ уменьшенную версию нейросети GPT-2, со 117 млн параметров. Именно ее мы запустим через сервис Google Colab и поэкспериментруем с ней.

Читать полностью »

Мы в OpenAI обнаружили, что масштаб градиентного шума [gradient noise scale], простой статистический метод, предсказывает параллелизуемость обучения нейтральной сети на широком спектре задач. Поскольку у более сложных задач градиент обычно становится более шумным, то увеличение размера пакетов, доступных для одновременной обработки, в будущем окажется полезным, и устранит одно из потенциальных ограничений ИИ-систем. В общем случае эти результаты показывают, что обучение нейросетей надо рассматривать не как загадочное искусство, и что ей можно придать точность и систематизировать.

За последние несколько лет исследователи ИИ достигали всё больше успеха в ускорении обучения нейросети при помощи распараллеливания данных, разбивающего большие пакеты данных на несколько компьютеров. Исследователи успешно использовали пакеты размером в десятки тысяч единиц для классификации изображений и моделирования языка, и даже в миллионы агентов обучения с подкреплением, игравших в Dota 2. Такие большие пакеты позволяют увеличивать объёмы вычислительных мощностей, которые эффективно участвуют в обучении одной модели, и являются одной из сил, движущих рост в области обучения ИИ. Однако со слишком большими пакетами данных происходит быстрое уменьшение алгоритмической отдачи, и непонятно, почему эти ограничения оказываются крупнее для одних задач и мельче для других.
Читать полностью »

Сегодня пройдет первый матч между OpenAI и профессионалами Dota 2. Разбираемся, как работает бот - 1

[UPD]

Сегодня вечером, 22 августа, перед началом очередного дня плей-офф The International, в рамках шоу-активностей пройдет первый показательный матч между профессиональными игроками и ботом OpenAI Five. Информация о матчах появилась на официальном сайте Dota 2 в разделе с расписанием игр плей-офф The International. Всего OpenAI сыграет три матча за три дня с про-игроками. Первая игра состоится примерно в 18:30-19:00 по МСК (точное время пока не указано). Проследить за противостоянием ботов и профессионалов можно на официальной русскоязычной и англоязычной трансляции на Twitch.

Знаменательно это событие тем, что год назад бот уже «расправился» Даниилом Ишутиным в противостоянии 1x1 solo mid mirror SF, а несколько недель назад одолел «сборную солянку» из комментаторов и бывших про-игроков.

На этот раз разработке компании, которая спонсируется Илоном Маском и другими видными бизнесменами из IT-сектора предстоит встретиться с более серьезным противником: The International ежегодно собирает лучшие команды мира, так что ботам будет непросто. Пока команда разработчиков не сообщала, будут ли действовать все старые ограничения по пикам и механикам, которые были актуальны в игре против людей в начале месяца, но о них стоит напомнить.

Итак, старые правила выглядят следующим образом:

  • пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
  • без Divine Rapier, Bottle;
  • без подконтрольных существ и иллюзий;
  • матч с пятью курьерами (ими нельзя скаутить и танковать);
  • без использования скана.

В комментариях к нашей прошлой публикации на эту тему разгорелось множество споров о методах обучения нейросетей. На этот раз мы принесли немного наглядных материалов о том, как работает бот OpenAI и как это выглядит с точки зрения людей.
Читать полностью »

Победит ли OpenAI Five профессиональную команду на The International - 1

Прогресс искусственного интеллекта от OpenAI в освоении Dota 2 — лучшая иллюстрация мема «вот … тогда и посмотрим». Сейчас мы находимся в месте, где ИИ уже обыграл топовых игроков один на один, научился играть командой с обычными игроками, преодолел значительные ограничения, обыграл полупрофессиональную команду.

Следующий шаг — «вот обыграет лучшую команду в мире, тогда и посмотрим». Получится ли? Кто как считает.
Читать полностью »

Подробный разбор матча по Dota 2 между OpenAI и людьми в формате 5x5. Люди проиграли - 1

Вчера, 5 августа, в Сан-Франциско состоялся шоу-матч между людьми и ботами OpenAI в дисциплине Dota 2. Еще в 2017 году в рамках шоу-матчей The International 2017 люди сражались с OpenAI в формате «1х1 mirror mid» и с целым рядом ограничений в пользу ботов (запрет на использование ряда предметов и механик), что закончилось поражением профессиональных игроков-мидеров.

Так как Dota 2 — дисциплина крайне разносторонняя и сложная для освоения, встреча между людьми и ИИ вновь проводилась с целым рядом ограничений, которые, однако, не слишком радикально влияли на игровой процесс:

  • пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
  • без Divine Rapier, Bottle;
  • без подконтрольных существ и иллюзий;
  • матч с пятью курьерами (ими нельзя скаутить и танковать);
  • без использования скана.

Самое серьезное ограничение: крайне малый пул героев для обеих сторон. Сейчас в Dota 2 существует 115 персонажей с различными способностями и механиками их применения. OpenAI пока может совладать лишь с 18 из них. Встреча была максимально приближена к «реальным» условиям и проводилась в формате 5х5. Против ИИ играли обычные люди, в прошлом когда-то причастные к киберспорту, но сейчас не являющиеся киберспортсменами. Единственная поблажка для людей заключалась в том, что реакция ботов была ограничена 200 мс, чтобы избежать ситуаций с мгновенным «прожатием» кнопок. Итог: команда ИИ выиграла у людей со счетом 2-0 по картам. Выиграть у OpenAI удалось только после того, как героев для ИИ выбрал зрительный зал (Slark, Sven, Axe, Riki и Queen of Pain), по оценкам OpenAI шанс на победу с таким драфтом составлял всего 2,9%. Кроме этого, до начала главного матча, с ботами могли сыграть рядовые гости мероприятия, и в этих встречах доминирование ИИ было еще более наглядно, что впечатляет.
Читать полностью »

Вчера в Сан-Франциско прошел показательный матч между искусственным интеллектом OpenAI Five и полупрофессиональной командой игроков в Dota 2. Среди людей были бывшие профессионалы, комментаторы и один действующий профи. В любом случае, это самая сильная команда, с которой ИИ играл с момента своего запуска в июне.

OpenAI Five разгромил команду людей в показательном матче Dota 2 - 1
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js