Рубрика «nlp» - 2
Telegram бот с языковой моделью, обученной на 2ch
2022-06-11 в 21:52, admin, рубрики: 2ch, data mining, dataset, huggingface, natural language processing, nlp, python, pytorch, telegram, telegrambot, машинное обучениеЕсли вам хочется разбавить общение в telegram чате нелепыми, но зачастую меткими и смешными комментариями, или вы ищете информацию по интеграции языковой модели в бота, или хотите сами обучить языковые модели на данных с 2ch, то в этой статье описаны шаги, как это сделать.
Бот
Запустил бота, которого можно добавлять в чаты, и он будет отвечать на сообщения, как на посты на 2ch.hk/b/.
Для этого:
-
Был собран датасет постов с 2ch
-
Была обучена Читать полностью »
Что такое компьютерная лингвистика и как технологии на её основе помогают людям с ограниченными возможностями здоровья
2022-03-19 в 16:19, admin, рубрики: data engineering, natural language processing, nlp, nlp (natural language processing), Блог компании Нетология, голосовые интерфейсы, искусственный интеллект, Компьютерная лингвистика, лингвистика, лингвистическое поМногие из нас ежедневно пользуются поисковыми системами, голосовыми помощниками и переводчиками текстов. Появление этих технологий стало возможным благодаря компьютерной лингвистике — области искусственного интеллекта, которая занимается описанием естественных языков при помощи математических моделей. Рассказываем, что такое компьютерная лингвистика и обработка естественного языка, какие задачи они решают и как помогают расширять возможности людей с инвалидностью.
Благодарим Елену Герасимову, руководителя отдела дополнительного профессионального образования в Нетологии, ранее руководившую направлением «Читать полностью »
Классификация кассовых чеков
2021-11-01 в 8:15, admin, рубрики: big data, deeplearning, FastText, machinelearning, nlp, python, искусственный интеллект, машинное обучение, ОФД, Хакатоны, чекиНейросети для Natural Language Inference: логические умозаключения на русском языке
2021-10-10 в 12:35, admin, рубрики: BERT, natural language inference, natural language processing, natural language understanding, nli, nlp, nlu, python, Transformers, zero-shot classification, машинное обучение, обработка естественного языка, Программирование, СемантикаNLI (natural language inference) – это задача автоматического определения логической связи между текстами. Обычно она формулируется так: для двух утверждений A и B надо выяснить, следует ли B из A. Эта задача сложная, потому что она требует хорошо понимать смысл текстов. Эта задача полезная, потому что "понимательную" способность модели можно эксплуатировать для прикладных задач типа классификации текстов. Иногда такая классификация неплохо работает даже без обучающей выборки!
До сих пор в открытом доступе не было нейросетей, специализированных на задаче NLI для русского языка, но теперь я обучил целых три: Читать полностью »
Сделай себе книгу для изучения языка с нейросетевыми иллюстрациями
2021-09-02 в 7:21, admin, рубрики: GAN, LaBSE, natural language processing, nlp, изучение языков, искусственный интеллект, книги, лингвистика, машинное обучение, обработка изображений
Статья будет интересна все любителям программирования, иностранных языков и красивых книг. Сначала мы сделаем параллельную книгу, имея на руках два обычных текста. Затем мы проиллюстрируем ее картинками в стиле pixel art на основе лишь текстовых подсказок.
Книгу можно сделать более чем на сотне языков с восстановлением и подсветкой связей между предложениями:
А теперь давайте сделаем такую книгу сами.
Извлечение троих: Как найти пасхалки в книгах Стивена Кинга с помощью NLP алгоритмов
2021-07-03 в 21:09, admin, рубрики: ner, nlp, python, Алгоритмы, Занимательные задачки, Лайфхаки для гиков, мультивселенная, Пасхалки, стивен кинг, Читальный залПредыстория
Которую вы можете пропустить, но не станете, верно?
Дело было за последней прочитанной мной книгой Стивена Кинга - "Томминокеры". В очередной раз скользнув по "еще одному американскому имени не очень-то главного героя", я вдруг задумалась: "А что, если имя, которое я даже толком не прочитала, было важным? Что, если это имя персонажа другой уже прочитанной мной истории? Что, если из-за того что я, среднестатистический человек в пятницу вечером, не держу в голове целый город (или даже штат) имен всех персонажей, я упускаю детали мира дядюшки Кинга?" Стало немного-невыносимо больно за возможные утраченные пасхалки.
Конфуций и Маргарита
2020-08-16 в 14:50, admin, рубрики: nlp, pyhton, python, китайский язык, машинное обучение, машинный перевод, русский язык, соревнование, Спортивное программирование
Вступление
Соревнований по машинному обучению как и платформ, на которых они проводятся, существует немало и на любой вкус. Но не так часто темой контеста является человеческий язык и его обработка, еще реже такое соревнование связано с русским языком. Недавно я принимал участие в соревновании по машинному переводу с китайского на русский, прошедшего на платформе ML Boot Camp от Mail.ru. Не обладая большим опытом в соревновательном программировании, и проведя, благодаря карантину, все майские праздники дома, удалось занять первое место. Про это, а также про языки и подмену одной задачи другой я постараюсь рассказать в статье.
Читать полностью »
Как понять, что нейросеть решит вашу проблему. Прагматичное руководство
2020-06-19 в 7:00, admin, рубрики: Mail.Ru Cloud Solutions, nlp, PAC learning, Алгоритмы, Блог компании Mail.Ru Group, ВПК-обучение, детерминированные проблемы, искусственный интеллект, машинное обучение, нейросеть, обработка изображений, предикативное обслуживание, решение проблем, Фолдинг белковHaystacks at Sunset Reimagined by AshnoAlice
Инженер по машинному обучению Джордж Хосу задает вопрос: «Какие проблемы решает машинное обучение?». Или конкретнее, с учетом современного развития отрасли: «Какие проблемы нейросеть способна решить на практике?». Команда Mail.ru Cloud Solutions перевела статью, так как рассуждения на эту тему, как нам кажется, встречаются редко.
Читать полностью »