Рубрика «трансформеры»

Как Яндекс применил генеративные нейросети для поиска ответов - 1

Только что мы представили новую версию поиска Y1. Она включает в себя комплекс технологических изменений. В том числе улучшения в ранжировании за счёт более глубокого применения трансформеров. Подробнее об этом направлении мой коллега Саша Готманов уже рассказывал в нашем блоге. В новой версии модель стала мощнее: количество параметров возросло в 4 раза. Но сегодня мы поговорим о других изменениях.

Когда человек вводит запрос в поисковик, он ищет информацию или способ решения своей задачи. Наша глобальная цель — помогать находить такие ответы, причём сразу в наиболее ёмком виде, чтобы сэкономить людям время. Этот тренд на ускорение решения пользовательских задач особенно заметен в последние годы. К примеру, теперь многие пользователи задают свои вопросы не текстом в поиске, а голосовому помощнику. И тут нам на помощь пришли огромные генеративные нейросети, которые способны перерабатывать, суммаризировать и представлять в ёмком виде тексты на естественном языке. Пожалуй, самой неожиданной особенностью таких сетей стала возможность быстро обучаться на всё новые задачи без необходимости собирать большие датасеты.

Сегодня мы поделимся опытом создания и внедрения технологии YaLM (Yet another Language Model), которая теперь готовит ответы для Поиска и Алисы. В этом мне помогут её создатели — Алексей Петров petrovlesha и Николай Зинов nzinov. Эта история основана на их докладе с Data Fest 2021 и описывает внедрения модели в реальные продукты, поэтому будет полезна и другим специалистам в области NLP. Передаю слово Алексею и Николаю.

Читать полностью »

Привет. Меня зовут Саша Готманов, я руковожу группой нейросетевых технологий в поиске Яндекса. На YaC 2020 мы впервые рассказали о внедрении трансформера — новой нейросетевой архитектуры для ранжирования веб-страниц. Это наиболее значимое событие в нашем поиске за последние 10 лет. 

Сегодня я расскажу читателям Хабра, в чём заключается иллюзия «поиска по смыслу», какой путь прошли алгоритмы и нейросети в ранжировании и какие основные сложности стоят перед теми, кто хочет применить для этой задачи трансформеры и даже заставить их работать в рантайме. 

Читать полностью »

Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ - 1
Источник изображения
Читать полностью »

Рекомендуется прочитать первую статью, если вы еще этого не сделали. Эта статья будет покороче, меньше сконцентрирована на деталях и больше — на возможностях.

Согласно Стивену Дилю, наряду с зависимыми типами, ускорением компиляции и уменьшением порогом вхождения; алгебраические эффекты являются одной из самых главных задач, которые будут решены в будущем для Haskell.

Будущее не за горами, поэтому приступать нужно уже сейчас.
Читать полностью »

Что может китайский планшет на Atom на примере Chuwi Hi10 Plus - 1

У меня часто спрашивают, что приобрести в качестве портативного компьютера для простой офисной работы, фильмов и серфинга. После пары десятков устройств разных марок я советую посмотреть в сторону планшетов или «ноутбуков» Chuwi: по китайским меркам они выполнены качественно, обладают большим коммьюнити и значительно дешевле ноутбуков той же производительности из оффлайн-магазинов. Примером послужит мой текущий Hi10 Plus.

Эта статья появилась для того, чтобы каждый раз не отвечать на одни и те же вопросы, разобрать основные проблемы подобных устройств, и обсудить достаточность таких устройств для обычного пользователя. Кажется, Atom + IPS-дисплей и док-клавиатура лучше связки AMD-E1 + TN в обычном формате. Или нет?

Читать полностью »

Прикладное введение в монадные трансформеры, от проблемы к решению

Представьте, что вы сидите за рабочим столом, допиваете кофе и готовитесь к написанию кода на Scala. Функциональное программирование оказалось не так страшно, как его малюют, жизнь прекрасна, вы усаживаетесь поудобнее, сосредотачиваетесь и начинаете писать новый функционал, который нужно сдать на этой неделе.

Всё как обычно: несколько лаконичных однострочных выражений (да, детка, это Scala!), несколько странных ошибок компилятора (о, нет, Scala, нет!), лёгкое сожаление о том, что вы написали такой запутанный код… И вдруг вы сталкиваетесь со странной проблемой: выражение for не компилируется. «Ничего страшного», — думаете вы: «сейчас гляну на StackOverflow», как вы это делаете ежедневно. Как все мы это делаем ежедневно.

Но сегодня, похоже, неудачный день.

Читать полностью »

Массовая битва бульдозеров-погрузчиков в Китае - 1

Адское сражение тяжёлой строительной техники произошло в одном из китайских городов и было записано на видео прохожими. В сражении приняли участие шесть бульдозеров-погрузчиков с обеих сторон. Два из них оказались перевёрнутыми после атаки с фланга.
Читать полностью »

В этом году на MWC в Барселоне две компании выпустили свои первые гибридные планшеты — Alcatel и Huawei. Но если Alcatel Plus 10 с точки зрения железа весьма средний, хотя может раздавать 4G LTE по Wi-Fi 15 пользователям, то 12-дюймовый Huawei MateBook — это мощный гаджет массой 635 граммов на Intel Core M 3,1ГГц, с 8ГБ оперативной памяти и SSD на 512 ГБ.

image
Читать полностью »

image

В этой статье я покажу вам на своём опыте, что GNU/Linux и графические оболочки для него уже дозрели до уровня планшетов и вовсе не нужно бояться покупать трансформерпланшет только из-за того, что вы приверженный линуксоид. Здесь описывается сравнение и выбор оптимальной среды рабочего стола (далее DE) для планшета или трансформера, её установка и доработка для сенсорного управления.
Читать полностью »

Китайская компания Lenovo накануне в Лондоне устроила ежегодный смотр новинок, показав новые поколения ноутбуков Yoga и ThinkPad Yoga, а также новый планшет Yoga Tablet 2. Все новинки я собрал в один большой обзор.

Новый сезон Lenovo: ThinkPad мощнее, Yoga 3 тоньше и Yoga Tablet с проектором
Lenovo Yoga 3 Pro можно узнать по блестящему браслету в месте изгиба
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js