Google Поиск на базе ИИ с технологией BERT теперь работает на русском языке

Поисковый запрос на русском языке, обработанный с применением технологии BERT, наиболее точно отвечает на запрос пользователя.

В официальном блоге Google Россия появилась информация ^[1], что теперь Google понимает поисковые запросы лучше, чем когда-либо. Таким образом, с 9 декабря 2019 года технология предварительного обучения анализу текста на естественном языке BERT (Bidirectional Encoder Representations from Transformers) теперь стала использоваться в поисковой выдаче Google Поиск и для запросов на русском языке.

В 2018 году Google представила технологию ^[2] предварительного обучения обработке текста на естественном языке (NLP), разработанную на базе нейронных сетей, и назвала ее BERT (Bidirectional Encoder Representations from Transformers).

При использовании технологии BERT, работа которой основана на применении искусственного интеллекта, Google Поиск лучше понимает пользователей, так как анализирует не отдельные слова, а запросы целиком. Так как алгоритм BERT может учитывать полный контекст, рассматривая слова, которые идут до и после ключевого, что особенно полезно для понимания более точной цели поисковых запросов.

Интеграция технологии BERT в Google Поиск на английском языке была проведена ^[3] в октябре 2019 года. Сейчас BERT помогает Google Поиску лучше понимать каждый десятый англоязычный запрос в США. Причем Google также начала с внедрением технологии BERT использовать в Google Поиск тензорные процессоры Google (Google Tensor Processing Unit, Google TPU ^[4]), с помощью которых более быстро подбирается наиболее актуальная информация для пользователя.

С начала декабря 2019 года технология BERT начинает применяться и для обработки запросов на русском языке. Google для организации такого обновления использовала модели для BERT, ранее уже специально обученные на базе английского языка, и применила их для других языков, включая и русский. По заверению представителя Google, теперь поисковый ответ на запрос пользователя на русском языке, обработанный с применением технологии BERT, будет наиболее точным и понятным для пользователя, особенно это касается длинных и разговорных запросов, а также запросов с предлогами.

После проведения глобального обновления Google Поиск стал более эффективен для длинных и разговорных запросов, а также запросов с предлогами. Это значит, что естественные запросы пользователей будут пониматься в контексте с показом соответствующих результатов, а не на основе ключевых слов.

Например, запрос «Памятник строителям коммунизма у Цимлянского водохранилища». Раньше технологии Поиска ориентировались на ключевые слова и выдавали, например, страницу Цимлянской ГЭС на Википедии. Технология BERT помогает выстроить поисковую выдачу таким образом, чтобы пользователь получил информацию именно о монументе.

«Понимание языка — это актуальная задача, которая мотивирует нас постоянно улучшать Google Поиск. Мы развиваемся, стараясь понять суть каждого отправленного запроса и найти ресурсы, которые смогут вам помочь», — резюмировал Панду Найак, вице-президент Google Поиск.

Автор: denis-19

Источник ^[5]