Мы так давно ждали, и, наконец, свершилось! В русском языке появилась новая, по-настоящему "понимающая" модель. По результатам тестов Russian SuperGLUEЧитать полностью »
Рубрика «языковая модель»
Делаем анализатор ников на новой FRED-T5. Тотальный разнос
2023-05-08 в 21:12, admin, рубрики: chaosgpt, chatgpt, fred, fred-t5, python, sberai, sberdevices, анализ ников, машинное обучение, нейросети, ники, языковая модельGPT-апокалипсис отменяется
2023-04-03 в 14:12, admin, рубрики: chatgpt, апокалипсис, искусственный интеллект, Юдковский, языковая модельЧитая с утра новостную ленту – я обнаружил в ней очередное апокалипсическое предсказание. На этот раз от Элиезера Юдковского – известного рационального блогера, сооснователя Института Исследования Искусственного Интеллекта, более известного на Хабре как автор научно-популярного фанфика «Гарри Поттер и методы рационализма».
Сэмплирование с температурой
2019-09-12 в 14:26, admin, рубрики: natural language processing, математика, машинное обучение, семплирование, Статистика в IT, языковая модельНедавно натолкнулся на вопрос в чате ODS: почему алгоритм, генерирующий текст буква-за-буквой, сэмплит буквы не из p
(вектор вероятностей следующей буквы, предсказанный языковой моделью), а из p'=softmax(log(p)/t)
(где t
— это ещё какой-то непонятный положительный скаляр)?
Быстрый и непонятный ответ: t
— это "температура", и она позволяет управлять разнообразием генерируемых текстов. А ради длинного и детального ответа, собственно, и написан этот пост.