Яндекс выпустил новую версию поиска под названием «Вега». В большое обновление вошли более 1500 улучшений, которые накопились у компании за последний год. С точки зрения пользователя поиск стал быстрее и точнее, а кроме того стал сильнее опираться на контекст и учитывать рекомендации экспертов.Читать полностью »
Мы часто рассказываем о технологиях и библиотеках, которые зародились и сформировались в Яндексе. На самом деле мы ничуть не реже применяем и развиваем сторонние решения.
Сегодня я расскажу сообществу Хабра об одном из таких примеров. Вы узнаете, зачем мы научили нейросеть BERT находить опечатки в заголовках новостей, а не воспользовались готовой моделью, почему нельзя взять и запустить BERT на нескольких видеокартах и как мы использовали ключевую особенность этой технологии — механизм attention.
При извлечении информации часто возникает задача поиска подобных фрагментов текста. В контексте поиска запрос может быть сгенерирован пользователем (например, текст, который пользователь вводит в поисковом движке) или самой системой. Часто нам нужно сопоставлять входящий запрос с уже проиндексированными запросами. В этой статье мы рассмотрим, как можно построить систему, решающую эту задачу применительно к миллиардам запросов без траты целого состояния на серверную инфраструктуру.
Читать полностью »
Поисковый запрос на русском языке, обработанный с применением технологии BERT, наиболее точно отвечает на запрос пользователя.
В официальном блоге Google Россия появилась информация, что теперь Google понимает поисковые запросы лучше, чем когда-либо. Таким образом, с 9 декабря 2019 года технология предварительного обучения анализу текста на естественном языке BERT (Bidirectional Encoder Representations from Transformers) теперь стала использоваться в поисковой выдаче Google Поиск и для запросов на русском языке.
Читать полностью »
Согласно информации издания Wired, специалисты в области информационной безопасности Винни Троя (Vinny Troia) и Боб Дьяченко (Bob Diachenko) обнаружили в сети открытый Elasticsearch-сервер, содержащий 1,2 млрд записей общим размером четыре терабайта. Сервер был расположен на площадке Google Cloud Service (у него был IP-адрес 35.199.58.125).
Читать полностью »
Эта статья описание небольшой идеи возникшей после прочтения недавней статьи «Обыскать 314 км² за 10 часов — финальное сражение инженеров-поисковиков против леса»
Сразу предупрежу, что у меня маловато опыта в радиотехнике, и совсем нет оного в поиске пропавших людей, так что вполне возможно, что мои выводы основаны на ложных предпосылках. Я размышлял стоит ли в таком случае вообще писать эту статью? Но все же «промолчать» было бы неправильно. Возможно, и не в таком виде, но, если предложенные мысли наведут на идею, которая сможет помочь кому-то вернуться домой – это того стоит.
Итак, кратко для тех, кто не читал статью по ссылке выше. Есть задача – найти человека в лесу используя современные технологии. В той статье рассматривается работа нескольких команд и я буду опираться на некоторые примеры их работы в своих рассуждениях.
По сути, есть два пути поисков – с учетом активной помощи пострадавшего (рассыпав по лесу маячки, один из которых пострадавший должен активировать), или без такой помощи (например, прочесывая лес квадрокоптерами). Я буду рассматривать только первый подход. Хотя потенциально, я думаю, вариант поисков роботами более предпочтителен (как минимум тем, что он позволяет найти неподвижных людей), но в этом варианте нужно работать над повышением чувствительности сенсоров, разработкой сложных роботов, обучением нейросетей и др. А в этих вопросах мне предложить нечего.
Итак, вернемся к маякам.
Читать полностью »
Изобрести нечто, что будет искать пропавших в лесу людей — это не только инженерная задача. Сейчас любая, даже самая продвинутая технология, будет лишь инструментом в руках людей, которые должны уметь искать хоть с беспилотниками, хоть с деревянными факелами.
Когда на конкурсе «Одиссея» инженеры искали людей с тепловизором, они все равно долго изучали окрестности и пытались понять, как в них будет вести себя пропавший. Когда искали с помощью звуковых маяков, еще больше полагались не на их звук, а на правильную, выработанную годами тактику расстановки.
Одним из экспертов конкурса был Григорий Сергеев, основатель поискового отряда «Лиза Алерт». Во время финала я расспросил его о решениях команд и применении технологий не в конкурсных условиях, а в реальных поисках.
Читать полностью »
Несколько дней назад завершился конкурс «Одиссея», в котором инженерные команды искали самую лучшую технологию для поиска пропавших в лесу людей. Летом я рассказывал о полуфинале, а вчера выложил большой репортаж с финала.
Организаторы поставили колоссально сложную задачу — найти двух человек на территории в 314 км2 за 10 часов. Идеи были разные, но (спойлер) не справился никто. Одним из технических экспертов конкурса выступил Никита Калиновский. Я обсудил с ним участников, их решения, а также расспросил, какие еще идеи запомнились на протяжении всех этапов конкурса.
Если вы уже прочитали репортаж о финале, некоторые реплики встретятся вам и здесь. Это просто полное интервью с минимальным редактированием.
Читать полностью »
Представьте задачу — в лесу пропали два человека. Один из них еще подвижен, другой лежит на месте и не может пошевелиться. Известна точка, где их видели последний раз. Радиус поиска вокруг нее — 10 километров. Получается территория площадью 314 км2. У вас есть десять часов на поиск с помощью новейших технологий.
Услышав условие в первый раз, я подумал: «пфф, подержите мое пиво». Но потом увидел, как передовые решения спотыкаются обо все, что возможно и невозможно учесть. Летом я писал, как около 20 инженерных команд пытались решить задачу в десятки раз проще, но делали это на пределе возможностей, и только четыре команды справились. Лес оказался территорией скрытых подвохов, где современные технологии бессильны.
Тогда это был лишь полуфинал конкурса «Одиссея», организованного благотворительным фондом «Система» — цель которого придумать, как модернизировать поиск пропавших в дикой природе людей. В начале октября в Вологодской области прошел его финал. Четыре команды столкнулись с той самой задачей. Я отправился на место, чтобы понаблюдать за одним из конкурсных дней. И в этот раз ехал с мыслью, что задача — нерешаемая. Но я никак не ждал увидеть «Настоящий детектив» для любителей DIY-электроники.
Читать полностью »
Дальняя кривая меня привела к написанию этого поста. Перечитываю шедевральный труд про историю зарождения интернета, начиная с лейденской банки, в большей степени шедевральный конечно — с точки зрения усилий автора, но не умоляя и труда переводчика (тот же М. Лозинский с его Божественной комедией — яркий пример того, что переводчик внес не меньший вклад чем сам автор, вечная ему память и слава). Но не об этом речь.
В комментариях к статье вижу годные комментарии, ну дай думаю поглажу по спинке человека, пытаюсь поставить плюс в карму — и вижу достаточно весомый минус по карме. Заинтересовался. Смотрю историю — «прокололся» человек на том, что решил похвалить поисковик Спутник.
И вот стал размышлять, конформизм это или глупость. Тут дисклеймер — прошу не путать личность и поступки личности. Личность может быть гениальной, и совершать глупые поступки, а может быть и наоборот. Но опять же, не в этом суть.
И я решил сравнить эффективность различных поисков — а именно Google, Яндекс и Спутник.
Как это сделать — тут уж кто на что горазд. Можно об этом написать целую диссертацию, про эффективность поисковых механизмов и ключевых показателях для их сравнения, но я выбрал такой, немножко «программистский подход», с изрядной долей упрощения.
Читать полностью »
