Рубрика «языковая модель»

FRED-T5 расшифровывается как Full-scale Russian Enhanced Denoisers based on T5 architecture

FRED-T5 расшифровывается как Full-scale Russian Enhanced Denoisers based on T5 architecture

Мы так давно ждали, и, наконец, свершилось! В русском языке появилась новая, по-настоящему "понимающая" модель. По результатам тестов Russian SuperGLUEЧитать полностью »

Аrt художника DOFRESH

Аrt художника DOFRESH

Читая с утра новостную ленту – я обнаружил в ней очередное апокалипсическое предсказание. На этот раз от Элиезера Юдковского – известного рационального блогера, сооснователя Института Исследования Искусственного Интеллекта, более известного на Хабре как автор научно-популярного фанфика «Гарри Поттер и методы рационализма».

Читать полностью »

Недавно натолкнулся на вопрос в чате ODS: почему алгоритм, генерирующий текст буква-за-буквой, сэмплит буквы не из p (вектор вероятностей следующей буквы, предсказанный языковой моделью), а из p'=softmax(log(p)/t) (где t — это ещё какой-то непонятный положительный скаляр)?

Быстрый и непонятный ответ: t — это "температура", и она позволяет управлять разнообразием генерируемых текстов. А ради длинного и детального ответа, собственно, и написан этот пост.
Сэмплирование с температурой - 1

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js