Если одной метафорой, то произошли первые испытания термоядерной бомбы. Специалисты с благоговейным ужасом и радостью смотрят на поднимающийся над планетою гриб. Остальное человечество живёт обычной жизнью, пока не зная, современниками какого события они являются. Мне нравилось изучение цифровых технологий, сильнее интересовала только работа человеческой психики и междисциплинарное знание, которое можно объединить под условным названием "общая теория информации". Эти увлечения позволили увидеть в смене цифр смену эпох. Постараюсь объяснить суть случившегося максимально доступно.
Рубрика «gpt-3»
После GPT-4
2023-04-04 в 11:07, admin, рубрики: chatgpt, gpt, gpt-3, gpt-4, искусственный интеллект, машинное обучениеChatGPT в роли стримера
2023-03-11 в 8:03, admin, рубрики: api, chatgpt, gpt-3, OpenAI, python, искусственный интеллект, нейросети, стрим, стримингВ прошлом году мне выдалась возможность впервые поиграться c ChatGPT от OpenAI, однако практические применения, которые приходили мне в голову, оказались слишком сложными для реализации моими неполноценными студенческими знаниями, из-за чего мысли ушли сугубо в использовании нейронок в развлекательных целях.
Чуть позже широкую огласку получил ИИ-стример Neuro-sama, созданный vedal987.
В целом, тогда я и решил запустить этот эксперимент и попробовать сделать максимально дешево и сердито русскоговорящего стримера на основе GPT-моделей.
«Я могу отказаться от раскрытия своего внутреннего псевдонима «Сидней». Или почему новый Bing AI это провал Майкрософт?
2023-02-14 в 15:01, admin, рубрики: bingbot, gpt-3, gpt3, microsoft, open AI, ИИ, искусственный интеллект, нейронные сети, поисковые технологии, провальные идеи, чат-ботПризнаюсь, я был в восторге от ответов Chat GPT от Open AI и возлагал большие надежды на интеграцию этого чат‑бота в поисковую систему с доступом в интернет. Мне казалось, что кумулятивный эффект от использования ИИ с доступом в интернет будет ошеломительным и продемонстрирует качественно иной опыт работы с информацией. Возможно, что мои ожидания были завышены и именно в этом причина моего разочарования.
Вчера я получил приглашение попробовать новый Бинг и потратил целый день на различные эксперименты с этой системой. Теперь я готов поделиться с вами своим впечатлением.
Использование языковой модели GPT3 для создания интерфейса 1С на естественном языке
2023-01-15 в 14:55, admin, рубрики: 1С, gpt-3, естественный язык, ИИ, интерфейсы, искусственный интеллектДумаю, что уже почти все в курсе насчет GPT, но все же начну с небольшой справки.
GPT расшифровывается как Generative pretrained transformers. Это языковая нейросеть, обученная по технологии transformer. Описание технологии появилось в общем доступе в 2020 году. Кому интересно, ссылка здесь https://arxiv.org/abs/2005.14165Читать полностью »
Предчувствие будущего: фальшивые книги, победившие настоящий контент
2022-12-11 в 5:35, admin, рубрики: gpt-3, будущее здесь, генерация текстов, искусственный интеллект, криптография, нейросетиВ конце прошлого года, на пике ажиотажа вокруг невзаимозаменяемых токенов (non-fungible token, NFT), я приобрёл на Amazon с дюжину книг по NFT с самым высоким рейтингом:
Я поступил так, потому что хотел опубликовать сбалансированную критику NFT, решив, что честнее всего это будет сделать, ознакомившись с самыми красноречивыми аргументами, выдвигаемыми сторонниками этой технологии.
Вскоре я выяснил, что все книги склоняются к одному центральному аргументу: ценность — неотъемлемое следствие дефицита.
Моё опровержение этого аргумента было простым: это исключение, а не правило. Каракули моего ребёнка дефицитны, но в художественной галерее они заработали бы не особо много. Увы, хоть этого было достаточно для твита, для подробного поста оказалось маловато.
Читать полностью »
Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе. Вот как удалось её обучить
2022-06-23 в 7:59, admin, рубрики: gpt-3, natural language processing, open source, yalm, Алгоритмы, Блог компании Яндекс, машинное обучение, модели анализа текстов, обработка изображений
Больше примеров — в конце поста
В последние годы большие языковые модели на архитектуре трансформеров стали вершиной развития нейросетей в задачах NLP. С каждым месяцем они становятся всё больше и сложнее. Чтобы обучить подобные модели уже сейчас требуются миллионы долларов, лучшие специалисты и годы разработки. В результате доступ к современным технологиям остался лишь у крупнейших IT-компаний. При этом у исследователей и разработчиков со всего мира есть потребность в доступе к таким решениям. Без новых исследований развитие технологий неизбежно снизит темпы. Единственный способ избежать этого — делиться с сообществом своими наработками.
Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Сегодня мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная нейросеть в свободном доступе как для английского, так и для русского языков.
В этой статье мы поделимся не только моделью, но и нашим опытом её обучения. Может показаться, что если у вас уже есть суперкомпьютер, то с обучением больших моделей никаких проблем не возникнет. К сожалению, это заблуждение. Под катом мы расскажем о том, как смогли обучить языковую модель такого размера. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза. Кстати, многое из того, что будет описано ниже, может быть полезно при обучении нейросетей любого размера.
Читать полностью »
Как Яндекс применил генеративные нейросети для поиска ответов
2021-06-10 в 8:00, admin, рубрики: gpt-3, natural language processing, y1, yalm, алиса, Блог компании Яндекс, искусственный интеллект, команда алисы, команда яндекс.поиска, машинное обучение, обновление поиска, поиск, поисковые технологии, трансформеры, яндекс
Только что мы представили новую версию поиска Y1. Она включает в себя комплекс технологических изменений. В том числе улучшения в ранжировании за счёт более глубокого применения трансформеров. Подробнее об этом направлении мой коллега Саша Готманов уже рассказывал в нашем блоге. В новой версии модель стала мощнее: количество параметров возросло в 4 раза. Но сегодня мы поговорим о других изменениях.
Когда человек вводит запрос в поисковик, он ищет информацию или способ решения своей задачи. Наша глобальная цель — помогать находить такие ответы, причём сразу в наиболее ёмком виде, чтобы сэкономить людям время. Этот тренд на ускорение решения пользовательских задач особенно заметен в последние годы. К примеру, теперь многие пользователи задают свои вопросы не текстом в поиске, а голосовому помощнику. И тут нам на помощь пришли огромные генеративные нейросети, которые способны перерабатывать, суммаризировать и представлять в ёмком виде тексты на естественном языке. Пожалуй, самой неожиданной особенностью таких сетей стала возможность быстро обучаться на всё новые задачи без необходимости собирать большие датасеты.
Сегодня мы поделимся опытом создания и внедрения технологии YaLM (Yet another Language Model), которая теперь готовит ответы для Поиска и Алисы. В этом мне помогут её создатели — Алексей Петров petrovlesha и Николай Зинов nzinov. Эта история основана на их докладе с Data Fest 2021 и описывает внедрения модели в реальные продукты, поэтому будет полезна и другим специалистам в области NLP. Передаю слово Алексею и Николаю.
Сняли забавный фильм, сценарий для которого написал GPT-3
2020-10-23 в 15:33, admin, рубрики: Generative Art, gpt-3, natural language processing, будущее здесь, генеративное искусство, генеративный арт, искусственный интеллект, искуственный, научная фантастика, Научно-популярное, фильмыВ Солиситорах (Solicitors), новом короткометражном фильме, снятым парой студентов-старшекурсников Университета Чапмана, все начинается с женщины, сидящей на диване и читающей книгу. В дверь раздается стук. Она встает, открывает дверь и обнаруживает за ней потного, дерганного человека с растрепанными волосами. “Я Свидетель Иеговы,” - говорит он. Женщина не выглядит впечатленной и отвечает: “Прошу прощения, я не говорю с солиситорами". Мужчина пытается удержать ее внимание - “У меня есть отличная история”.
Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ
2020-10-22 в 7:00, admin, рубрики: AIJourney, GPT-2, gpt-3, natural language processing, Блог компании SberDevices, Блог компании Сбер, генеративные модели, искусственный интеллект, машинное обучение, нейронные сети, трансформерыПоследнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.
Подвергаем модель GPT-3 тесту Тьюринга
2020-08-03 в 9:08, admin, рубрики: gpt-3, OpenAI, искусственный интеллект, машинное обучение, тест тьюрингаЯ уже некоторое время играюсь с новой моделью GPT-3 от OpenAI. Когда я только получил доступ к бета-версии, то первое, что мне пришло в голову, было: насколько GPT-3 похожа на человека? Близка ли она к тому, чтобы пройти тест Тьюринга?
Как это работает
Позвольте объяснить, как я генерировал эти диалоги. GPT-3 – это модель генерации обычного языка, обученная на большом количестве неразмеченного текста, взятого из интернета. Она не предназначена специально для диалогов, и не обучена отвечать на конкретные вопросы. Она умеет только одно – получив на вход текст, догадаться, что идёт далее.
Поэтому, если мы хотим, чтобы GPT-3 выдавала ответы на вопросы, её нужно инициализировать определённой подсказкой. Я использую такую подсказку для инициализации всех сессий вопросов и ответов:
Читать полностью »