Рубрика «языковые модели» - 3

T-Pro 2.0 — открытая гибридно-ризонинговая русскоязычная LLM - 1

Всем привет! На связи Толя Потапов, MLE в Т-Банке. Мы продолжаем развивать собственную линейку моделей GEN-TЧитать полностью »

Современные языковые модели (large language models) стали ключевым элементом в развитии искусственного интеллекта и обработки естественного языка. 

Модели, основанные на глубоком обучении и архитектуре трансформеров, способны генерировать текст, отвечать на вопросы, писать код, создавать художественные произведения и даже участвовать в логических рассуждениях. 

Читать полностью »

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.

В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio.

Итак, что же такое Data Studio ?

Data StudioЧитать полностью »

«Тупой ИИ» с нами надолго. Почему в новых моделях больше галлюцинаций - 1


В последние несколько месяцев ведущие модели обновились с функцией «рассуждений» (reasoning). Предполагалось, что качество ответов улучшится. Но последующие тесты показали, что уровень галлюцинаций сильно вырос. И это не какая-то случайная недоработка разработчиков, а фундаментальное свойство. Сейчас становится очевидным, что от галлюцинаций мы не избавимся никогда. Читать полностью »

Привет!

Меня зовут Алексей Рудак, я основатель компании Lingvanex, которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf.

Читать полностью »

Всем привет! Меня зовут Алексей Рудак, и я – основатель компании Lingvanex, которая уже 8 лет занимается решениями в области машинного перевода и транскрипции речи. 

В этой статье рассматриваются несколько подходов, которые помогают повысить эффективность и качество языковых моделей для перевода. В качестве основы для тренировки моделей мы используем OpenNMT-tf.

Читать полностью »

OpenAI готовит релиз ChatGPT-5 — разбор утечек и ожиданий - 1

На прошедшей неделе Google выпустилаЧитать полностью »

Большие языковые модели (LLM) звучат впечатляюще, но всегда ли нужно их использовать? Разберемся, в каких случаях стоит использовать LLM, а когда использование малых языковых моделей (SLM) окажется более разумным и экономичным решением без потери качества.

В последние годы технологии искусственного интеллекта и обработки естественного языка (NLP) уверенно вошли в бизнес-практику. Их используют повсеместно — от анализа поведения клиентов до поддержки пользователей с помощью чат-ботов, автоматизированного маркетинга и многого другого.

Читать полностью »

После громкого дебюта ChatGPT и Midjourney в 2022 году нейросети стали появляться как грибы после дождя. Интернет наполнился большим количеством сервисов, предлагающих генерацию текста, кода, изображений, видео и аудио по текстовым запросам.

Разумеется, многие из таких сервисов существовали и раньше, однако именно на 2022 и 2023 годы пришелся их рассвет — настолько стремительный и яркий, что неподготовленный пользователь может легко заблудиться в этом новом направлении.

Читать полностью »

Часто, сталкиваясь с нестабильностью LLM, компании ошибочно пытаются «задавить» проблему, переходя на более дорогие модели. Это распространённое, но крайне неэффективное решение. Даже самая продвинутая LLM будет давать непредсказуемый результат, если ей «скормить» сложный промпт.

Я хочу поделиться фреймворком того, как смотреть на промпт, чтобы добиваться стабильности и качества без лишних затрат.

Что же такое промпт? Кратко

Промпт — это набор идей. Эти идеи несут в себе информацию о:

  • том, что есть;

  • том, что с этим делать.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js