Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.
Рубрика «GPT-2»
Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ
2020-10-22 в 7:00, admin, рубрики: AIJourney, GPT-2, gpt-3, natural language processing, Блог компании SberDevices, Блог компании Сбер, генеративные модели, искусственный интеллект, машинное обучение, нейронные сети, трансформерыКак я, специалист по ИИ, на ИИ-текст купился
2020-07-20 в 13:34, admin, рубрики: GPT-2, будущее здесь, генерация текстов, искусственный интеллектЗахожу я сегодня на Хабр, и, под чашку чая, пролистываю статью «GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin».
Если не читали – почитайте. Конец вызывает прямо-таки сильные эмоции. У меня они усугубились тем, что я относительно профессионально занимаюсь ИИ, генерацией текстов и проблемой смыслов – так что я небезосновательно считал, что легко распознаю текст, сгенерированный машиной…
Читать полностью »
Программист создал текстовый квест с нейросетью вместо гейм-мастера
2019-12-12 в 13:36, admin, рубрики: GPT-2, Дизайн игр, Игры и игровые приставки, машинное обучение, нейронные сети, текстовые игры, текстовый квест
Иллюстрация: Precision, Control, Cognition
Ник Уолтон выложил на Github свою игру AIDungeon 2, стилизованную под классическую текстовую ролевую игру. Отличие AIDungeon 2 от других игр такого жанра в том, что игровой мир, сюжет и события генерируются нейросетью, основанной на GPT-2. По словам разработчика, потенциально AIDungeon 2 может создать бесконечное количество неповторяющихся миров.
Читать полностью »
OpenAI выпустила генератор текста GPT-2, который сама считает опасным
2019-11-11 в 11:57, admin, рубрики: GPT-2, OpenAI, Алгоритмы, генераторы текстов, искусственный интеллект, машинное обучение
OpenAI опубликовала финальную модель генератора текста GPT-2 — «жуткого» ИИ, которого исследователи считали слишком опасным для выпуска. Его анонсировали в феврале, но тогда тогда OpenAI ограничилась выпуском менее мощной его версии: в компании опасались, что модель может превратиться в средство распространения дезинформации. Вместо этого компания решила выпустить его в четырёх частях в течение восьми месяцев.
Читать полностью »
GPT-2 нейросеть от OpenAI. Быстрый старт
2019-02-16 в 21:04, admin, рубрики: gpt, GPT-2, nlp, OpenAI, искусственный интеллект, машинное обучение, нейронные сети, обработка естественного языка
Не успели отшуметь новости о нейросети BERT от Google, показавшей state-of-the-art результаты на целом ряде разговорных (NLP) задач в машинном обучении, как OpenAI выкатили новую разработку: GPT-2. Это нейронная сеть с рекордным на данный момент числом параметров (1.5 млрд, против обычно используемых в таких случаях 100-300 млн) оказалась способна генерировать целые страницы связного текста.
Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.
Тем не менее, в OpenAI выложили в общий доступ уменьшенную версию нейросети GPT-2, со 117 млн параметров. Именно ее мы запустим через сервис Google Colab и поэкспериментруем с ней.