Меня зовут Павел Пархоменко, я ML-разработчик. В этой статье я хотел бы рассказать об устройстве сервиса Яндекс.Дзен и поделиться техническими улучшениями, внедрение которых позволило увеличить качество рекомендаций. Из поста вы узнаете, как всего за несколько миллисекунд находить среди миллионов документов наиболее релевантные для пользователя; как делать непрерывное разложение большой матрицы (состоящей из миллионов столбцов и десятков миллионов строк), чтобы новые документы получали свой вектор за десятки минут; как переиспользовать разложение матрицы пользователь-статья, чтобы получить хорошее векторное представление для видео.
Рубрика «als»
Как мы работаем над качеством и скоростью подбора рекомендаций
2020-02-27 в 8:59, admin, рубрики: als, Алгоритмы, Блог компании Яндекс, дзен, коллаборативная фильтрация, машинное обучение, отбор кандидатов, распределенные системы, рекомендательные системы
Как управлять электроприборами, радиоуправляемыми моделями, моторизованной коляской при помощи взгляда
2018-11-16 в 9:15, admin, рубрики: accessibility, als, eytracker, Tobii, бас, Здоровье гика, СМА
В своих предыдущих статьях я рассказывал о том, как помочь парализованным людям общаться с внешним миром: сообщать о своих желаниях, писать письма, лазить по интернету, используя лишь свои глаза и устройство, отслеживающее направление взгляда (айтрекер). При этом физически человек всё равно остаётся ограничен миром компьютера и постели.
Здесь я расскажу о простейших (на мой взгляд) способах самому менять что-то во внешнем мире: включить свет или гирлянду на новогодней ёлке, поуправлять вездеходом на радиоуправлении, заставить моторизованную коляску двигаться в нужном направлении.
Читать полностью »
Массовый стекинг моделей ML в production: реально или нет?
2018-07-26 в 11:30, admin, рубрики: als, data science, feature, feature selection, ml, production, stacking, Алгоритмы, Блог компании HeadHunter, логистическая регрессия, машинное обучение, нейросети, поисковые технологии, признаки, продакшн, стекинг, факторизационные машиныДовольно часто нас спрашивают, почему мы не устраиваем соревнований дата-сайентистов. Дело в том, что по опыту мы знаем: решения в них совсем не применимы к prod. Да и нанимать тех, кто окажется на ведущих местах, не всегда имеет смысл.
Такие соревнования часто выигрывают с помощью так называемого китайского стекинга, когда комбинаторным способом берут все возможные алгоритмы и значения гиперпараметров, и полученные модели в несколько уровней используют сигнал друг от друга. Обычные спутники этих решений — сложность, нестабильность, трудность при отладке и поддержке, очень большая ресурсоёмкость при обучении и прогнозировании, необходимость внимательного надзора человека в каждом цикле повторного обучения моделей. Смысл делать это есть только на соревнованиях — ради десятитысячных в локальных метриках и позиций в турнирной таблице.
Как вирусное видео захватило мир: в главных ролях Сергей Брин, Билл Гейтс, Марк Цукерберг, Тим Кук, Майкл Делл, Марисса Майер и другие
2014-08-25 в 6:52, admin, рубрики: als, Facebook, liveinternet, witget, брин, вирусный эффект, пейдж, флешмоб, Цукерберг 
Флешмоб ALS Ice Bucket Challenge захватил весь мир за считанные дни и заслужил звание pr-акции года. Условия флешмоба: если вам бросили вызов, вы должны окатить себя ледяной водой из ведра, и заснять процесс на видео, а в конце передать эстафету нескольким друзьям. Если вы выполнили задание, сумма пожертвований на исследования заболевания БАС (боковой амиотрофический склероз) для вас — $10, если не решились — $100. На сегодня в нем уже приняли участие такие звезды мировой IT-индустрии, как Сергей Брин, Билл Гейтс, Марк Цукерберг, Тим Кук, Майкл Делл, Марисса Майер и многие-многие другие. Мы хотим поделиться мыслями Аарона Фридмана на тему того, почему именно эта кампания захватила мир, фактически став вирусом №1. Статья написана от первого лица. Ко мнению эксперта по маркетингу и SEO мы добавили несколько видео российских участников флешмоба. Наслаждайтесь!