Привет!
В прошлом году одним из направлений работы R&D команды в AI VK были энкодеры текстов:Читать полностью »
Рубрика «BERT»
RuModernBERT и USER2: эволюция русскоязычных энкодеров
2025-07-24 в 9:05, admin, рубрики: BERT, modernbert, rumodernbert, user2, энкодерыГлубокое обучение в науке вредно без глубокой проверки фактов
2025-06-13 в 6:10, admin, рубрики: BERT, биоинформатика, трансформеры, ферменты, энзимыГлубокое обучение гламурно и ажиотажно. Если обучить трансформер (современную языковую модель) на датасете из 22 миллионов ферментов, а затем использовать его для прогнозирования функции 450 неизвестных ферментов, то можно опубликовать свои результаты Nature Communications (уважаемом научном издании). Вашу статью прочитают 22 тысяч раз и она будет в верхних 5% из всех результатов исследований по оценке Altmetric (рейтингу внимания к онлайн-статьям).
История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима
2025-05-13 в 15:14, admin, рубрики: BERT, chatgpt, t5, word2vec, токенизация
Преемник BERT: ModernBERT
2025-02-09 в 9:14, admin, рубрики: BERT, Fine-tuning, искусственный интеллект, кодерModernBERT — новое поколение двунаправленного кодировщика, сочетающее в себе обработку длинных последовательностей, понимание кода и эффективные вычисления. 🌟
Введение 📜
BERT был выпущен в 2018 году, но он до сих пор широко используется. Фактически, это вторая по популярности модель на Hugging Face Hub с ежемесячными загрузками более 68 миллионов раз! 🚀 Это связано с тем, что его архитектура, предназначенная только для кодирования, делает его идеальным для множества реальных задач, таких как:
-
Поиск (например, RAG)
-
КлассификацияЧитать полностью »
Русский Маскарад — применение NER для защиты персональных данных
2025-01-28 в 6:58, admin, рубрики: BERT, Gliner, ner, qwen, spacy
Всем привет!
На связи команда хакатонщиков “Старые Бауманцы” и я - Саша Зазнобин.
Под микроскопом: AI Product Hack
2024-10-29 в 19:57, admin, рубрики: AI Security, BERT, llm, lora, mlops, nlp (natural language processing)Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.
Сегодня мы посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.
В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”.
Гайд по работе языковых моделей для начинающих
2024-08-20 в 15:32, admin, рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые моделиДля того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.
Семантический поиск (homemade)
2024-08-07 в 5:15, admin, рубрики: AI, BERT, deep learning, machine learning, nlp, sentence transformer, Transformers, обработка естественного языка, семантический поиск
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему, но тут давайте по порядку.
Обучение Russian SuperGLUE моделей с помощью библиотеки DeepPavlov
2022-12-03 в 19:53, admin, рубрики: AI, BERT, deep learning, deeppavlov, natural language processing, nlp (natural language processing), open source, python, pytorch, transfer learning, искусственный интеллект, машинное обучение, нейронные сети, обработка текстов
Умные субтитры
2022-11-06 в 13:27, admin, рубрики: BERT, LaBSE, moviepy, natural language processing, nlp, python, английский, аудирование, видео, изучение языков, машинное обучение, Работа с видео, субтитры, языки
Сегодня я вам расскажу о своем методе для изучения иностранных языков.
С чего начать изучение нового языка? Чаще всего люди на раннем этапе используют стандартный лексико-грамматический метод с доминированием письменного языка, который показал себя медленным и весьма скучным — вам чаще всего нужна зашкаливающая мотивация, чтобы не бросить где-то посередине.
Я предлагаю начать сразу с видео: