Меня зовут Павел Пархоменко, я ML-разработчик. В этой статье я хотел бы рассказать об устройстве сервиса Яндекс.Дзен и поделиться техническими улучшениями, внедрение которых позволило увеличить качество рекомендаций. Из поста вы узнаете, как всего за несколько миллисекунд находить среди миллионов документов наиболее релевантные для пользователя; как делать непрерывное разложение большой матрицы (состоящей из миллионов столбцов и десятков миллионов строк), чтобы новые документы получали свой вектор за десятки минут; как переиспользовать разложение матрицы пользователь-статья, чтобы получить хорошее векторное представление для видео.
Рубрика «дзен» - 2
Как мы работаем над качеством и скоростью подбора рекомендаций
2020-02-27 в 8:59, admin, рубрики: als, Алгоритмы, Блог компании Яндекс, дзен, коллаборативная фильтрация, машинное обучение, отбор кандидатов, распределенные системы, рекомендательные системы
«Никаких деплоев в пятницу» и ещё три негласных правила разработки
2019-03-22 в 11:18, admin, рубрики: дзен, негласные законы, непродуктивные дискуссии, Программирование, Управление продуктом, управление проектами, философия
Всё старое в один прекрасный день снова становится новым. Наступает время, когда даже опытные программисты наступают на те же грабли. Невозможно перечислить все «неписаные правила» любой дисциплины, отчасти потому, что многие из них — даже не правила. Зачастую это способ перефразировать абстрактные и вечные истины.
Мари Кондо сделала карьеру, применив универсальные принципы эффективности, чистоты и красоты к бытовой задаче ведения домашнего хозяйства. Оказывается, многим людям нужен просто переводчик между вечной мудростью и их повседневной жизнью, чтобы действительно «понять» смысл происходящего вокруг (см. также «Дзен и искусство обслуживания мотоциклов»). Мы искренне надеемся, что вам понравится наша попытка сделать то же самое для программирования.
Читать полностью »
Автороцентричное ранжирование. Доклад Яндекса о поиске релевантной аудитории для авторов Дзена
2019-03-17 в 7:53, admin, рубрики: CTR, Алгоритмы, Блог компании Яндекс, дзен, машинное обучение, Промышленное программирование, ранжирование, ранжирование контента, рекомендательные системыВажнее всего для сервиса Яндекс.Дзен — развивать и поддерживать платформу, которая соединяет аудитории с авторами. Чтобы быть привлекательной платформой для хороших авторов, Дзен должен уметь находить релевантную аудиторию для каналов, пишущих на любые темы, в том числе на самые узкие. Руководитель группы счастья авторов Борис Шарчилев рассказал про автороцентричное ранжирование, которое подбирает для авторов наиболее релевантных пользователей. Из доклада можно узнать о том, чем такой подход отличается от подбора релевантных айтемов — более популярного в рекомендательных системах.
Балансируя пользователецентричное и автороцентричное ранжирование, мы можем добиваться правильного соотношения счастья пользователей и счастья авторов.
Data Science meetup в офисе Avito 24 июня
2017-06-16 в 10:46, admin, рубрики: big data, data mining, ozon.ru, Блог компании Avito, дзен, машинное обучение, рекомендательные системы, рекомендательный сервис, рекомендации
24 июня мы собираем специалистов по Data Science в нашем офисе, чтобы обменяться опытом в создании рекомендательных сервисов. На встрече мы подведём итоги проходившего на площадке Dataring.ru конкурса Avito на построение рекомендательной системы для объявлений: наградим победителей и попросим их подробнее рассказать о своих решениях. Кроме того, в программе интересные доклады от представителей Яндекс.Дзена, OZON.ru и, конечно же, Avito. Подробности под катом!
Читать полностью »
Будущее браузеров и искусственный интеллект. Дзен в Яндекс.Браузере
2016-06-08 в 10:00, admin, рубрики: Блог компании Яндекс, браузеры, дзен, диско, искусственный интеллект, Компьютерное зрение, матрикснет, машинное обучение, обработка естественного языка, яндекс, яндекс.браузерВ будущем, как нам кажется, все популярные браузеры выйдут за рамки программ для открытия веб-страниц и научатся лучше понимать людей, которые ими пользуются. Сегодня я расскажу вам, каким мы видим это будущее на примере персональной ленты Дзен в Яндекс.Браузере, которая теперь доступна пользователям Windows, Android и iOS.
Несмотря на кажущуюся простоту, в основе Дзена лежат довольно сложные технологии. Я расскажу немного о том, как это реализовано у нас, где и почему мы использовали традиционное машинное обучение, а где — нейронные сети и искусственный интеллект, и буду благодарен за ваше мнение об этом подходе.
Чем плохо быть full stack enterprise-администратором
2016-03-03 в 12:41, admin, рубрики: дзен, о жизни, работа, разработка, Серверное администрирование, Сетевые технологии, системное администрирование, метки: о жизни Disclamer: jehy опубликовал интересную статью — Чем плохо быть full stack разработчиком.
Проблема, которую затрагивает автор, на самом деле гораздо шире чем мир разработки. Мы, скромные администраторы, испытываем такие же проблемы. Прочитав ее я не удержался, чтобы не сделать маленькую пародию, спроецировав, порою дословно, ее на мир системного администрирования.
Введение
Прежде всего определимся с терминами. Есть много разных представлений о том, кто же такой full stack администратор, кто-то даже обоснованно считает, что такой администратор – это миф, но в этой статье будет иметься в виду администратор, который обладает знаниями и умениями, позволяющими разобраться в ИТ-инфраструктуре «от» и «до» и при необходимости обслужить любую систему. Идеальный enterprise администратор это тот, кто владеет в какой-то мере как сетевой составляющей, так и системами хранения данных, платформами виртуализации и другими продуктами, может сам диагностировать, на каком уровне возникла неисправность или что потребуется для запуска нового сервера.
Возможно, по заголовку кому-то покажется, что это жалобный пост о том, как плохо живется вчерашнему студенту, а сегодняшнему эникею в одноранговой сети с 1С-кой, который понахватал всего из разных статей в интернете. Нет, пост не жалобный. И мы будем рассматривать не вчерашнего студента, а матерого админа, с бородой и опытом работы в пять лет и более. Просто посмотрим, какие минусы есть в таком развитии.
Читать полностью »
Насколько я могу судить, по статистике многие пишут свою первую статью по принципу «я-то знаю как правильно жить», а те, кто поопытнее — с позиции «ух-ты, смотрите, что я тут накопал». В общем — постараюсь не сильно портить статистику.
Я хочу просто оставить маленькую пометку на полях: вы все правы. Но, зачастую, этого никто не замечает. Но так как пост в одну строчку слишком мал, то придётся его немного развернуть.
Читать полностью »
Смысл — это иллюзия
2015-03-14 в 2:20, admin, рубрики: 42, дао суслика, дзен, мозг, Научно-популярное, свобода воли, смысл жизни, философия сознания, метки: свобода воли, философия сознанияЭто перевод статьи, которая очень странно на меня повлияла. Оригинал
Поля Α и B — одного и того же цвета
Скорее всего это самая важное, что я когда-либо писал, т.к. я считаю, что нашёл ни что иное, как смысл жизни, или его отсутствие. Если вы умны/образованны, начало этого эссе может показаться вам достаточно стандартным. Тем не менее следите за мыслью.
Основной аргумент
Смысл << Эмоция << Химия << Физика
"Смысл" жизни исходит исключительно из эмоционального опыта, который базируется на химии. Мы знаем, что эмоция, и даже духовный опыт, по своей природе химические события. В наше время с помощью науки возможно, используя препараты и/или прямые манипуляции с мозгом индуцировать "духовный" опыт.Читать полностью »