На связи группа фундаментальных исследований MTS AI. В этой статье мы расскажем про дроп трех маленьких моделей Cotype-Nano, Cotype-Nano-4bit и Cotype-Nano-CPU. Расскажем, как нам удалось достичь 1 места на RuGeneralArena в своей весовой категории.
Рубрика «обработка естественного языка» - 2
Как мы создали LLM-модель Cotype Nano
2024-11-26 в 8:24, admin, рубрики: llm, nlp, opensource, ИИ, искусственный интеллект, нейрон, нейросеть, обработка естественного языка, открытый код, языковые моделиНаш опыт создания контекстного переводчика
2024-10-19 в 7:16, admin, рубрики: изучение языков, контекстный поиск, обработка естественного языка, переводчик, стартапыВыбор проекта
Все началось осенью 2017 года, тогда у нас уже был опыт разработки веб-приложений. Искали проект, удовлетворяющий следующим условиям:
-
Можно сделать небольшой командой.
-
Проверенная идея и большой потенциал роста.
-
Понимание как сделать лучше.
-
Оптимальное время разработки и выход на самоокупаемость.
-
Отсутствие проблем с правообладателями и законом.
Остановились на выборе проекта по созданию контекстного переводчика, потому что в тот момент он подходил нам по всем параметрам:
-
Команда у нас тогда уже была.
Гайд по работе языковых моделей для начинающих
2024-08-20 в 15:32, admin, рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые моделиДля того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.
Семантический поиск (homemade)
2024-08-07 в 5:15, admin, рубрики: AI, BERT, deep learning, machine learning, nlp, sentence transformer, Transformers, обработка естественного языка, семантический поиск
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему, но тут давайте по порядку.
RuGPT3. Исследование вариантов циклическим перебором
2023-07-02 в 5:32, admin, рубрики: deep learning, gpt, machine learning, natural language processing, nlp, rugpt3, генеративные модели, искусственные нейронные сети, искусственный интеллект, машинное обучение, обработка естественного языка, языковые моделиRuGPT3 - коллекция генеративных моделей от Сбер
Проводим автоматическое тестирование циклическим перебором вариантов
Работаем в Colab, тестируем Small, Mediub, Large.
Параметры генерации совершенно неоптимизированы - это первый заход, чтобы посмотреть исходную ситуацию и сравнивать по мере улучшения.
Читать полностью »
Анализ различий подачи новостей в Telegram-каналах
2022-08-27 в 11:19, admin, рубрики: data mining, natural language processing, python, агрегатор новостей, анализ данных, визуализация данных, машинное обучение, Новости, обработка естественного языка, тегиниктонечитаетПривет. Прошло уже почти полгода как я сделал новостной агрегатор каналов в Телеграме с открытым исходным кодом. Краткую статью про него можно прочитать на VC. Здесь же я бы хотел поделиться некоторыми интересными вещами, которые я нашёл в данных за всё время работы агрегатора.
Вычисление стихотворного размера
2022-02-14 в 10:33, admin, рубрики: .net, C#, natural language processing, Алгоритмы, обработка естественного языка, поэзия, ПрограммированиеПривет. Я последние пару лет играюсь с естественной речью на русском языке. Решил поделиться своим опытом по работе с поэзией. Будет две статьи: вот эта и про рифму (когда дойдут руки всё доделать).
Половина программистов, прочитав заголовок, скорее всего подумала, что задача очень простая: сравнить две маски. Но есть нюансы, которые сильно влияют на результат, и о них то я и расскажу.
Немного теории
Речь пойдёт о так называемом силлабо-тоническом стихосложенииЧитать полностью »
Нейросети для Natural Language Inference: логические умозаключения на русском языке
2021-10-10 в 12:35, admin, рубрики: BERT, natural language inference, natural language processing, natural language understanding, nli, nlp, nlu, python, Transformers, zero-shot classification, машинное обучение, обработка естественного языка, Программирование, СемантикаNLI (natural language inference) – это задача автоматического определения логической связи между текстами. Обычно она формулируется так: для двух утверждений A и B надо выяснить, следует ли B из A. Эта задача сложная, потому что она требует хорошо понимать смысл текстов. Эта задача полезная, потому что "понимательную" способность модели можно эксплуатировать для прикладных задач типа классификации текстов. Иногда такая классификация неплохо работает даже без обучающей выборки!
До сих пор в открытом доступе не было нейросетей, специализированных на задаче NLI для русского языка, но теперь я обучил целых три: Читать полностью »
Трансформеры как графовые нейронные сети
2020-03-11 в 11:14, admin, рубрики: data mining, deep learning, graph neural networks, natural language processing, transformer, глубокое обучение, машинное обучение, обработка естественного языкаTL;DR: перевод поста Chaitanya Joshi "Transformers are Graph Neural Networks": схемы, формулы, идеи, важные ссылки. Публикуется с любезного разрешения автора.
Друзья-датасаентисты часто задают один и тот же вопрос: графовые нейронные сети (Graph Neural Networks) — прекрасная идея, но были ли у них хоть какие-то настоящие истории успеха? Есть ли у них какие-нибудь полезные на практике приложения?
Можно привести в пример и без того известные варианты — рекомендательные системы в Pinterest, Alibaba и Twitter. Но есть и более хитрая история успеха: штурмом взявшая промышленную обработку естественного языка архитектура Transformer.
В этом посте мне бы хотелось установить связи между графовыми нейронными сетями и трансформерами (Transformers). Мы поговорим об интуитивном обосновании архитектур моделей в NLP- и GNN-сообществах, покажем их связь на языке формул и уравнений и порассуждаем, как оба "мира" могут объединить усилия, чтобы продвинуть прогресс.