Рубрика «Transformers»
Как работают трансформеры: разбираем математику
2024-01-18 в 7:16, admin, рубрики: chatgpt, Transformers, матрицы, трансформеры
Infinityformer: новый подход к обработке длинных последовательностей большими языковыми моделями
2023-04-08 в 21:09, admin, рубрики: kandinsky art, llm, Transformers, искусственный интеллект, машинное обучение, нейронные сети, нейросеть
Inductive bias и нейронные сети
2021-11-26 в 9:21, admin, рубрики: inductive bias, Transformers, искусственный интеллект, машинное обучение, нейросети, обработка изображений, обучение нейронных сетей, теория нейронных сетейВ этой статье я расскажу, что такое inductive bias, зачем он нужен и где встречается в машинном обучении. Спойлер: везде. Любая нейросеть имеет inductive bias (даже та, что в человеческом мозге, хе-хе)
Также вы узнаете:
-
почему inductive bias — это очень хорошо
-
способы внедрить inductive bias в модели машинного обучения
-
какой inductive bias в сверточных нейросетях и как успех архитектуры Image Transformer связан с inductive bias
Ну что, поехали:
Нейросети для Natural Language Inference: логические умозаключения на русском языке
2021-10-10 в 12:35, admin, рубрики: BERT, natural language inference, natural language processing, natural language understanding, nli, nlp, nlu, python, Transformers, zero-shot classification, машинное обучение, обработка естественного языка, Программирование, СемантикаNLI (natural language inference) – это задача автоматического определения логической связи между текстами. Обычно она формулируется так: для двух утверждений A и B надо выяснить, следует ли B из A. Эта задача сложная, потому что она требует хорошо понимать смысл текстов. Эта задача полезная, потому что "понимательную" способность модели можно эксплуатировать для прикладных задач типа классификации текстов. Иногда такая классификация неплохо работает даже без обучающей выборки!
До сих пор в открытом доступе не было нейросетей, специализированных на задаче NLI для русского языка, но теперь я обучил целых три: Читать полностью »
BERT для классификации русскоязычных текстов
2021-07-10 в 9:09, admin, рубрики: BERT, huggingface, natural language processing, pytorch, Transformers, машинное обучениеЗачем
В интернете полно прекрасных статей про BERT. Но часто они слишком подробны для человека, который хочет просто дообучить модель для своей задачи. Данный туториал поможет максимально быстро и просто зафайнтюнить русскоязычный BERT для задачи классификации. Полный код и описание доступны в репозитории на github, есть возможность запустить все в google colab одной кнопкой.
Workflow
-
Данные для обучения
-
Модель
-
Helpers
-
Train
-
Inference
Данные для обучения
Для обучения использовались очищенные данные русскоязычного твиттера из датасета Читать полностью »
Тихая революция и новый дикий запад в ComputerVision
2021-04-20 в 23:14, admin, рубрики: CLIP, cnn, Deit, DETR, Pose3d, RANSAC, SWIN, Transformers, Visual transformer, VIT, Алгоритмы, Анализ и проектирование систем, Блог компании Recognitor, машинное обучение, обработка изображений
Казалось бы, революция с Computer Vision уже была. В 2012 году выстрелили алгоритмы основанные на сверточных нейронных сетях. Года с 2014 они дошли до продакшна, а года с 2016 заполонили всеЧитать полностью »
Natural Language Processing. Итоги 2019 и тренды на 2020
2020-02-11 в 14:04, admin, рубрики: data mining, data science, deep learning, machine learning, machine translation, natural language processing, neural networks, nlp, ods, recurrent neural network, Transformers, Блог компании Huawei, искусственный интеллект, машинное обучениеВсем привет. С некоторым запозданием я решил опубликовать эту статью. Каждый год я стараюсь подвести итоги произошедшего в области обработки естественного языка (natural language processing). Не стал исключением и этот год.
BERTs, BERTs are everywhere
Начнем по порядку. Если вы не уехали в глухую Сибирскую тайгу или отпуск на Гоа на последние полтора года, то вы наверняка слышали слово BERT. Появившись в самом конце 2018-ого за прошедшее время эта модель завоевала такую популярность, что в самый раз будет вот такая картинка:
Инструменты для разработчиков ПО: открытые фреймворки и библиотеки машинного обучения
2019-10-13 в 13:46, admin, рубрики: 1cloud, Accord.Net, mlflow, Transformers, библиотеки машинного обучения, Блог компании 1cloud.ru, машинное обучениеПродолжаем нашу серию материалов, посвященных открытым инструментам для разработчиков. Сегодня рассказываем о фреймворках и библиотеках для МО — Transformers, Accord.NET и MLflow.
