В прошлом посте я предложил концепцию «Паспорта бана»: любая блокировка должна сопровождаться чёткими фактами, указанием причин и фиксацией ответственного лица.
Мне возразили:
«Без жёсткой модерации любой цифровой сад сгниёт. Пацифизм губит ухоженные пространства, сорняки нужно пропалывать без лишних разговоров» (мне ответили не именно так, но по тому с чем мне предложили ознакомиться я это так понял)
Модерацию невозможно сделать правильно. Но без неё ваше сообщество точно умрёт.
Представьте: вас уволили с работы. Причина в приказе: «Вы нарушили правила компании». Вы спрашиваете: «Какие именно? Что я сделал?» Ответ: «Не скажем. Внутренняя информация. Обжалованию не подлежит».
Абсурд? Да. Но в цифровой среде это давно стало нормой. YouTube, ВК, Telegram, профильные форумы, магазины приложений — все они блокируют аккаунты, каналы и софт с одной дежурной формулировкой: «Нарушение правил сообщества». Каких? Где? Когда? В ответ — тишина.
Я много работаю с проектами на веб-стеке и параллельно активно использую нейросети.
Со временем стало ясно: чтобы ИИ помогал не «вообще по PHP», а по конкретному проекту, ему нужен нормальный контекст. Не один файл, не случайный фрагмент, а полноценный срез кода.
В какой-то момент меня это достало настолько, что я сел и сделал отдельный инструмент — scan2json.
Это маленький PHP-репозиторий, который:
в одну сторону: сканирует проект и превращает его в JSON/JSONL;
в другую: по этому JSONL умеет собрать обратно структуру папок и файлов.
Репозиторий лежит на GitHub: Читать полностью »
АНО «Диалог», специализирующаяся на выстраивании коммуникации власти и общества в интернете, подготовилаЧитать полностью »
Сначала оказалось, что простые эвристики не работают. Ну вот совсем. То есть тупой чат-бот, который умеет распознавать с десяток жёстких тематик или показывать клавиатуру вроде «Нажмите 1, чтобы узнать свой баланс», несильно экономит время контакт-центру. Люди как не читали инструкции, так и не читают, а при виде такого сразу стремятся выйти на живого оператора.
То есть бот должен быть реально полезным. Таким, чтобы пользователь чувствовал, что диалог с ним — это не конкурс «обойти железного идиота», а что-то всё же даёт.
Здесь ждут следующие грабли: предположим, вы собрали всю базу диалогов контакт-центра с 2002 года. Разметили её и даже обучили на ней бота. Дальше произойдёт следующее:
Речь идёт про то, что если обучать базу на всех диалогах без исключения так, как это подразумевает философия полной автоматизации, то очень быстро база начнёт забиваться откровенным мусором, снижающим точность классификации. Про это вендоры вам не скажут, но нужно либо постоянно что-то подкручивать, либо чистить выборку для обучения, либо обучать не на всех диалогах, которые закончились каким-то удовлетворительным ответом. Иначе очень быстро у вас перепутаются ответы для кредитных и дебетовых карт, например, потому, что клиенты либо путают их в своих стартовых запросах тоже, либо вообще не видят между ними разницы.
Ниже я хочу рассказать про те не совсем очевидные вещи в поддержке чат-бота, которые могут очень сильно уронить качество его работы. Ну или не дать до этого качества дорасти вообще, если архитектура не совсем правильная.
Читать полностью »
На конференции «Mobile 360» в Москве обсудили вопрос радиофобии: боятся ли граждане 5G и нужны ли им сети нового поколения. Представитель «Билайна» рассказал, что количество атак на их вышки выросло в 16 раз за последние три года, «а 22% россиян уверены, что мобильная связь может быть опасной для здоровья».
В свою очередь,Читать полностью »
Компания «Диалог», разработчик одноимённого мессенджера для безопасной корпоративной коммуникации, выиграла грант Российского фонда развития информационных технологий. Он должен был пойти на разработку «федеративной многоконтурной платформы унифицированных коммуникаций с поддержкой ботов и микроприложений».
Но компания была вынуждена от него тказатьсяЧитать полностью »
Каждый год в Москве проходит конференция "Диалог", в которой участвуют лингвисты и специалисты по анализу данных. Они обсуждают, что такое естественный язык, как научить машину его понимать и обрабатывать. В рамках конференции традиционно проводятся соревнования (дорожки) Dialogue Evaluation. В них могут участвовать как представители крупных компаний, создающих решения в области обработки естественного языка (Natural Language Processing, NLP), так и отдельные исследователи. Может показаться, что если ты простой студент, то тебе ли тягаться с системами, которые крупные специалисты больших компаний создают годами. Dialogue Evaluation — это как раз тот случай, когда в итоговой турнирной таблице простой студент может оказаться выше именитой компании.
Этот год станет уже 9-ым по счету, когда на «Диалоге» проводится Dialogue Evaluation. Каждый год количество соревнований разное. Темами для дорожек уже становились такие задачи NLP, как анализ тональности (Sentiment Analysis), разрешение лексической многозначности (Word Sense Induction), нахождение опечаток (Automatic Spelling Correction), выделение сущностей (Named Entity Recognition) и другие.
В этом году четыре группы организаторов подготовили такие дорожки:
Сегодня мы расскажем про последнюю из них: что такое эллипсис и зачем учить машину восстанавливать его в тексте, как мы создавали новый корпус, на котором можно решить эту задачу, как проходили сами соревнования и каких результатов смогли добиться участники.
Читать полностью »
С 30 мая по 2 июня в Российском государственном гуманитарном университете (РГГУ) пройдет 24-ая международная научная конференция по компьютерной лингвистике «Диалог». Мы уже рассказывали о том, что такое «Диалог» и почему ABBYY его основной организатор. В этом посте мы анонсируем основные темы конференции, ключевых спикеров и их доклады, публикуем информацию о соревнованиях по разрешению лексической многозначности на русском языке Dialogue Evaluation и другие подробности о конференции. Читать полностью »
Итак, как и обещали, рассказываем: недавно были подведены итоги соревнований по автоматическому разрешению анафоры и кореферентности. Такие соревнования для русского языка проводились впервые а организовала их команда из ВШЭ-МГУ.
Мы уверены, что среди наших читателей много лингвистов, которые и без нас отлично знают, что такое анафора и кореференция, остальным рассказываем. Один и тот же объект реального мира может упоминаться в тексте несколько раз разными способами. «Вася – миллионер, он хочет купить остров». В этой фразе местоимение «он» и существительное «Вася» относятся к одному человеку (т.е. имеют одного и того же референта). Если система анализа текста понимает, что «он» – это и есть «Вася», значит, она умеет разрешать анафору.
Сложнее, когда Вася появляется в тексте еще несколько раз – например, как «Иванов», «клиент», «глава компании» или «футболист». Тогда речь идет уже не о местоименной анафоре, а о кореферентности именных групп. Задача системы в этом случае – объединить все слова, за которыми скрывается этот человек, в одну кореферентную цепочку. Приведем несколько примеров, а заодно покажем, как это делает наша технология Compreno.Читать полностью »
