Рубрика «лингвистика» - 6

в 10:55, , рубрики: Алгоритмы, Бернард Вокуа, Блог компании Lokalise, лингвистика, машинное обучение, машинный перевод, нейронный перевод, нейросети, перевод, перевод на базе слов, перевод на базе фраз, Семантика

Описание процессов машинного перевода основанного на базе правил (Rule-Based), машинного перевода на базе фраз (Phrase-Based) и нейронного перевода

image

В этой публикации нашего цикла step-by-step статей мы объясним, как работает нейронный машинный перевод и сравним его с другими методами: технологией перевода на базе правил и технологией фреймового перевода (PBMT, наиболее популярным подмножеством которого является статистический машинный перевод — SMT).

Результаты исследования, полученные Neural Machine Translation, удивительны в части того, что касается расшифровки нейросети. Создается впечатление, что сеть на самом деле «понимает» предложение, когда переводит его. В этой статье мы разберем вопрос семантического подхода, который используют нейронные сети для перевода.

Давайте начнем с того, что рассмотрим методы работы всех трех технологий на различных этапах процесса перевода, а также методы, которые используются в каждом из случаев. Далее мы познакомимся с некоторыми примерами и сравним, что каждая из технологий делает для того, чтобы выдать максимально правильный перевод.
Читать полностью »

в 12:12, , рубрики: Компиляторы, лингвистика, лингвистический анализ, лингвистическое по, метки:

Компиляторы, интерпретаторы… Сколько им посвещено книг и проектов! Баста, надоело!
А вот сунешся в область анализа естественных языков, и никакой информации! А все что есть как-то очень сложно, непонятно и не универсально.
Была у меня идея создать средневековую лингвистическую новеллу. Чтобы можно было разговаривать с персонажами на каком нибудь древнем естественном или вымышленном языке. На Латыни например? И на Квенья. И чтобы они понимали. А почему бы и нет?
Читать полностью »

в 12:30, , рубрики: Алгоритмы, Блог компании Яндекс, лингвистика, машинное обучение, машинный перевод, нейронные сети, поисковые технологии, яндекс

В одной только России насчитывается более сотни языков, многие из которых являются родными для десятков и сотен тысяч человек. Причем часть из них ограничена в употреблении или даже находится на грани исчезновения. Машинный перевод мог бы помочь в сохранении этих языков, но для этого надо решить главную проблему всех подобных систем – отсутствие примеров для обучения.

Яндекс работает над технологией машинного перевода с 2011 года, и сегодня я расскажу о нашем новом подходе, благодаря которому становится возможным создать переводчик для тех языков, для которых ранее это было сделать затруднительно.

Как Яндекс научил машину самостоятельно создавать переводы для редких языков - 1

Правила против статистики

Машинный перевод, то есть автоматический перевод с одного человеческого языка на другой, зародился в середине прошлого века. Точкой отсчета принято считать Джорджтаунский эксперимент, проведенный 7 января 1954 года, в рамках которого более 60 фраз на русском языке были переведены компьютером на английский. По сути, это был вовсе и не эксперимент, а хорошо спланированная демонстрация: словарь включал не более 250 записей и работал с учетом лишь 6 правил. Тем не менее результаты впечатлили публику и подстегнули развитие машинного перевода.Читать полностью »

в 15:05, , рубрики: tex, Wolfram Alpha, wolfram language, wolfram mathematica, аристотель, Блог компании Wolfram Research, бэбидж, вавилон, виет, Древняя Греция, евклид, Занимательные задачки, лейбниц, лингвистика, лопиталь, математика, математическая нотация, математические обозначения, Программирование, Профессиональная литература, римские цифры, системы счисления, Стивен Вольфрам, тьюринг, эйлер
Математические обозначения: Прошлое и будущее - 1

Перевод поста Стивена Вольфрама (Stephen Wolfram) "Mathematical Notation: Past and Future (2000)".
Выражаю огромную благодарность Кириллу Гузенко KirillGuzenko за помощь в переводе и подготовке публикации

Содержание

Резюме
Введение
История
Компьютеры
Будущее
Примечания
— Эмпирические законы для математических обозначений
— Печатные обозначения против экранных
— Письменные обозначения
— Шрифты и символы
— Поиск математических формул
— Невизуальные обозначения
— Доказательства
— Отбор символов
— Частотное распределение символов
— Части речи в математической нотации

Стенограмма речи, представленной на секции «MathML и математика в сети» первой Международной Конференции MathML в 2000-м году.

Резюме

Большинство математических обозначений существуют уже более пятисот лет. Я рассмотрю, как они разрабатывались, что было в античные и средневековые времена, какие обозначения вводили Лейбниц, Эйлер, Пеано и другие, как они получили распространение в 19 и 20 веках. Будет рассмотрен вопрос о схожести математических обозначений с тем, что объединяет обычные человеческие языки. Я расскажу об основных принципах, которые были обнаружены для обычных человеческих языков, какие из них применяются в математических обозначениях и какие нет.

Согласно историческим тенденциям, математическая нотация, как и естественный язык, могла бы оказаться невероятно сложной для понимания компьютером. Но за последние пять лет мы внедрили в Mathematica возможности к пониманию чего-то очень близкого к стандартной математической нотации. Я расскажу о ключевых идеях, которые сделали это возможным, а также о тех особенностях в математических обозначениях, которые мы попутно обнаружили.

Большие математические выражения — в отличии от фрагментов обычного текста — часто представляют собой результаты вычислений и создаются автоматически. Я расскажу об обработке подобных выражений и о том, что мы предприняли для того, чтобы сделать их более понятными для людей.

Традиционная математическая нотация представляет математические объекты, а не математические процессы. Я расскажу о попытках разработать нотацию для алгоритмов, об опыте реализации этого в APL, Mathematica, в программах для автоматических доказательств и других системах.

Обычный язык состоит их строк текста; математическая нотация часто также содержит двумерные структуры. Будет обсуждён вопрос о применении в математической нотации более общих структур и как они соотносятся с пределом познавательных возможностей людей.

Сфера приложения конкретного естественного языка обычно ограничивает сферу мышления тех, кто его использует. Я рассмотрю то, как традиционная математическая нотация ограничивает возможности математики, а также то, на что могут быть похожи обобщения математики.
Читать полностью »

в 9:01, , рубрики: javascript, JS, Алгоритмы, классификация, конкурс, контест, лингвистика, Программирование, Спортивное программирование, эвристики

Увидел пост о конкурсе, когда прошло уже две недели после начала. Но задача показалась крайне увлекательной, и я не ошибся в этом, нырнув в решение с головой. Хочу поделиться решением на 80+% и своими впечатлениями в этом посте.

Всё моё участие прошло под вопросом «где взять ещё один процент?», но в ответ я чаще получал сотые доли процента или ничего. Итак, обо всём по порядку.
Читать полностью »

в 21:21, , рубрики: big data, data mining, лингвистика, Читальный зал

По просьбе хабрачан продолжим публикации об исследовании обсценной лексики. (Если кто не читал первую часть, то можете ознакомиться).
Начнем сразу с картинок.
Итак, картинка первая.
Четыре слова, которые нельзя (часть 2) - 1
Рис.1. Распределение обсценной лексики по источникам.
Читать полностью »

в 13:37, , рубрики: social media, анализ данных, Блог компании PalitrumLab, интернет-маркетинг, контент-маркетинг, лингвистика, Медиа, Управление сообществом

Хорошая статья, заслуживающая перевода для ознакомления что нам ждать от ближайщего будущего. Небольшие неточности, которые будут заметны экспертам, никак не влияют на крепкую базу собранных в одном месте тенденций и трендов развития нового «социального общества», черты которого все явственнее проявляются в рельности: и чат-боты, и эмодзи, и самоуничтожающаяся информация, сдвиг инфо-потребления и инфо-генерации в сторону видео, лингвистическая обработка и выявления фактов в гигантских объемах неструктурированного контента… Так что почитать настоятельно советуем. Почитать и сравнить с собственным видением развития окружающего вас мира.

Краткий вывод: «Общий тренд – данных все больше, используются они более эффективно – для создания умной „автоматики“, которая и будет формировать информационный образ будущего.»
Десять трендов аналитики социальных медиа в 2016 году - 1
[Картинка с сайта Sostav.ru]
Читать полностью »

в 9:40, , рубрики: Grumpy Cat, Not Face, выражение лица, когнитивистика, коммуникация, лингвистика, лицевая морфология, мимические признаки, мозг, Научно-популярное, распознавание речи, метки: , ,

Определено новое универсальное выражение лица, понятное всем людям на Земле - 1
Визуальные маркеры, соответствующие негативной моральной оценке: гнев (A), отвращение (B), презрение (С), а также комбинация маркеров этих трёх эмоций (D) — выражение "Not Face" («Не-а»)

Мимика играет важную роль в человеческой коммуникации, без слов передавая собеседнику информацию о конкретных эмоциях: радость, удивление, презрение и т.д.

Многие выражения лиц понятны всем людям на Земле, независимо от культуры и расы: улыбка есть улыбка в любом уголке Земли. Теперь же американские учёные из университета штата Огайо впервые экспериментально доказали существование выражения лица, которое заменяет конкретную словесную фразу из любого языка на планете. Выражение "Not Face" сочетает визуальные маркеры трёх известных эмоций: гнев, отвращение и презрение. Это сведённые брови (код AU 4 в лицевой морфологии), поднятый подбородок (AU 17), сжатые губы (AU 24) и напряжение одного или двух уголков губ за счёт щёчной мышцы (AU 14). В совокупности такое универсальное выражение заменяет фразу «Нет, я не согласен» или, кратко, междометие «Не-а» (Nope).
Читать полностью »

в 12:07, , рубрики: information extraction, nlp, извлечение информации, извлечение фактов, лингвистика, поисковые технологии, Семантика, метки: , ,

Реализация семантического новостного агрегатора с широкими поисковыми возможностями - 1Цель этой статьи — поделиться опытом и идеями реализации проекта, основанного на полном преобразовании текстов в семантическое представление и организации семантического (смыслового) поиска по полученной базе знаний. Речь пойдет об основных принципах функционирования этой системы, используемых технологиях, и проблемах, возникающих при ее реализации.

Зачем это нужно?

В идеале, семантическая система «понимает» содержание обрабатываемых статей в виде системы смысловых понятий и выделяет из них главные («о чем» текст). Это дает огромные возможности по более точной кластеризации, автоматическому реферированию и семантическому поиску, когда система ищет не по словам запроса, а по смыслу, который стоит за этими словами.

Семантический поиск – это не только ответ по смыслу на набранную в поисковой строке фразу, а в целом способ взаимодействия пользователя с системой. Семантическим запросом может быть не только простое понятие или фраза, но и документ — система при этом выдает семантически связанные документы. Профиль интересов пользователя – это тоже семантический запрос и может действовать в «фоновом режиме» параллельно с другими запросами. Читать полностью »

в 10:29, , рубрики: Блог компании Яндекс, Занимательные задачки, лекция, лингвистика, Малый ШАД, Профессиональная литература

В лингвистике сосуществуют две традиции описания языка: одна из них, до сих пор продолжающая традицию шумеров и древних греков, описывает язык фрагментарно — отдельно фонетику и фонологию, отдельно морфологию, отдельно синтаксис и т. д. Другая, идущая с четвертого — пятого веков до н. э. от индийского монаха Панини, описывает язык как интегральное целое — описание фонетики, морфологии, синтаксиса, семантики строится в виде взаимно ориентированных правил, с помощью которых из элементарных языковых единиц строятся тексты.

Именно последний способ описания языка используется в сложнейших инженерно-лингвистических моделях, позволяющих автоматически переводить тексты одного языка на другой. О них и об их развитии и пойдёт речь на лекции.

Лектор Александр Николаевич Барулин — сотрудник Института языкознания РАН. Закончил отделение структурной и прикладной лингвистики филологического факультета МГУ им. М. В. Ломоносова. Учился в аспирантуре Института востоковедения АН СССР, защитил диссертацию на тему «Теоретические проблемы описания турецкой именной словоформы» (1984). Проработал в Институте востоковедения 12 лет. В 1991 году совместно с В. К. Финном и Д. Г. Лахути организовал факультет информатики РГГУ и возглавил созданное на этом факультете отделение теоретической и прикладной лингвистики. В 1992 по проекту Барулина был организован факультет теоретической и прикладной лингвистики — он стал деканом этого факультета, а также заведующим кафедрой теоретической и прикладной лингвистики.

Под катом — подробная расшифровка лекции.
Читать полностью »

1...567...10...10
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js