Рубрика «Блог компании Яндекс» - 61

Анализ неявных предпочтений пользователей, выраженных в переходах по ссылкам и длительности просмотра страниц, — важнейший фактор в ранжировании документов в результатах поиска или, например, показе рекламы и рекомендации новостей. Алгоритмы анализа кликов хорошо изучены. Но можно ли узнать что-то ещё об индивидуальных предпочтениях человека, используя больше информации о его поведении на сайте? Оказывается, траектория движения мыши позволяет узнать, какие фрагменты просматриваемого документа заинтересовали пользователя.

Этому вопросу и было посвящено исследование, проведенное мной, Михаилом Агеевым, совместно с Дмитрием Лагуном и Евгением Агиштейном в Emory Intelligent Information Access Lab Университета Эмори.

Мы изучали методы сбора данных и алгоритмы анализа поведения пользователя по движениям мыши, а также возможности применения этих методов на практике. Они позволяют существенно улучшить формирование сниппетов (аннотаций) документов в результатах поиска. Работа с описанием этих алгоритмов была отмечена дипломом «Best Paper Shortlisted Nominee» на международной конференции ACM SIGIR в 2013 году. Позже я представил доклад о результатах проделанной работы в рамках научно-технических семинаров в Яндексе. Его конспект вы найдете под катом.
Читать полностью »

Мы в Яндекс.Почте совместно с командой Nginx провели исследование, в котором мы на живом примере с подробностями попробовали расставить точки над «ё» в вопросе о том, насколько и за счет чего SPDY ускоряет интернет.

Про сам SPDY вы, конечно, знаете. В 2011 году несколько разработчиков компании Google опубликовали черновик нового протокола, призванного стать заменой привычному HTTP. Его основные отличия заключались в мультиплексировании ответов, сжатии заголовков и приоритезации трафика. Первые несколько версий были не вполне удачными, но к 2012 году спецификация устоялась, появились первые альтернативные (не из Google) реализации, доля поддержки в браузерах достигла 80%, вышла стабильная версия nginx с поддержкий SPDY.

Совместный эксперимент команд Яндекс.Почты и Nginx: действительно ли SPDY ускорит интернет?

Мы поняли, что, судя по всему, протокол из многообещающей перспективы превращается в хорошее отлаженное решение и начали полноценный цикл работ по внедрению. Начали, естественно, с тестирования. Очень хотелось без него поверить в дифирамбы, опубликованные в блогосфере, но этого в проектах с миллионами пользователей делать нельзя. Мы должны были получить подтверждение, что SPDY действительно даёт ускоряющий эффект.

Есть много интересных исследований вокруг SPDY, в том числе самого Google. Компания-автор протокола показывала, что в их случае SPDY ускоряет загрузку на 40%. Исследование протокола SPDY проводила и компания Opera. Но ни методик подсчета, ни примеров страниц, на которых были достигнуты столь впечатляющие результаты, в этих исследованиях не было.
Читать полностью »

Информационные технологии развиваются настолько стремительно, что не оставляют традиционной системе образования шанса на то, чтобы своевременно готовить специалистов под актуальные потребности сферы IT. За несколько лет платформы и инструменты успевают кардинальным образом измениться, в отличие от учебных планов.

В лекции, которую мы представляем в этом посте, Виктор Ашик из Школы анализа данных Яндекса постарался использовать опыт Яндекса, чтобы рассказать старшеклассникам о существующих на данный момент специальностях и знаниях, нужных для работы. А также объяснить, почему фундаментальное образование так важно и необходимо для будущего в этой индустрии.

Читать полностью »

Время менять паролиСегодня на главной Яндекса мы будем показывать всем пользователям ссылку на страницу с нашими советами о том, как важно следить за своими паролями и регулярно менять их.

Вы, вероятно, догадываетесь, почему мы так делаем. CVE-2014-0160 — одна из самых серьезных уязвимостей, найденных за последние годы. Нельзя сказать, что она касается только отдельных сервисов и сайтов — уязвимость затронула практически весь интернет. OpenSSL — одна из самых распространённых криптобиблиотек. По разным оценкам, до двух третей всех HTTPS-соединений в интернете организуются с помощью этой библиотеки.

В этом посте я расскажу, как мы реагировали на информацию об уязвимости, что, когда и почему делали.
Читать полностью »

Сегодня мы опубликовали своё ежегодное исследование о развитии интернета в регионах России. Вот некоторые интересные факты из него, собранные по данным Яндекса.

  • За прошедший год средняя скорость фиксированного широкополосного доступа, заявленная провайдерами, выросла на 38%.
  • На фоне повсеместного снижения тарифов заметная разница между регионами по ценам на широкополосный доступ по‑прежнему сохраняется. Например, за один Мбит/с жители Дальнего Востока платят почти в десять раз больше, чем москвичи. По индексу доступности, учитывающему доходы населения, эта разница ещё больше — примерно 14 раз.

Яндекс исследовал, как развивался интернет в регионах России в 2013 году

  • По оценке Яндекса, стоимость одного гигабайта мобильного трафика снизилась в 2013 году на 59%, а разница между регионами по ценовой доступности мобильного интернета сократилась почти вдвое.
  • По данным Яндекс.Метрики, активнее всего мобильным интернетом пользуются в столичных регионах и в Уральском федеральном округе.
  • 55% российских организаций, зарегистрированных в Яндекс.Справочнике, указали, что они имеют свой собственный сайт. Самая высокая доля таких организаций в столицах и в Центральной России, но быстрее всего число таких организаций растет на Северном Кавказе.

Яндекс исследовал, как развивался интернет в регионах России в 2013 году

  • По данным Яндекс.Метрики на февраль 2014 года, 86% российских пользователей мобильного интернета выходят в сеть со смартфонов и коммуникаторов на базе Android и iOS. Доля альтернативных платформ среди мобильных устройств, используемых для выхода в интернет в разных регионах, не превышала 10‑20%.

Читать полностью »

В этом посте мы хотим рассказать об одном из сложных случаев заражения пользователей, который нам довелось расследовать, и в котором были использованы многие из популярных техник.

Злоумышленники постоянно совершенствуют методы внедрения вредоносного кода на веб-страницы зараженных сайтов. Если раньше это бывала модификация статического контента или php-скриптов CMS, то сейчас прибегают к использованию более сложных техник.

Расследование об информационной безопасности в Яндексе. Rdomn – скрытая угроза

В наши дни чаще всего заражению подвергается веб-сервер: устанавливаются вредоносные модули, внедряются вредоносные shared objects, либо же исполняемый файл перекомпилируется с вредоносной функциональностью. Для внедрения вредоносного JavaScript активно используется, например, Flash.
Читать полностью »

У вас бывает так, что вы пытаетесь найти в письме из какой-то рассылки ссылку «отписаться» и не можете это сделать? Или нажимаете на такую ссылку только для того, чтобы получить требование авторизоваться на сайте, которого не помните? Я уж не говорю о случаях, когда непонятно, стоит ли вообще верить ссылке «отписаться». Может, это лишь очередной трюк спамеров, прикидывающихся приличной рассылкой.

Мы в Яндекс.Почте хотим защитить наших пользователей от ненужных им писем. В конце мая у них появится возможность отписаться от рассылки, даже если её отправители этого не предусмотрели. Пользователю достаточно будет один раз отказаться от рассылки, и он больше не будет её получать. Так что тем, кто пока не добавил в рассылки возможность отписаться, рекомендуем сделать это до конца мая.

Яндекс.Почта позволит отписываться от рассылок
Процент писем без возможности отписаться в разных типах рассылок

В Яндекс.Почту каждый день приходят сотни миллионов писем, и около 90% — это рассылки и уведомления, от которых даже не всегда можно отписаться. Мы считаем, что наличие инструмента для отписки должно стать обязательным требованием ко всем массовым рассылкам. Это принятая практика во многих странах мира, где такие требования регулируются законом или крупными игроками рынка.
Читать полностью »

Ещё из школьного курса алгебры все знают, как определить количество корней в квадратном уравнении. Оказывается, на аналогичный вопрос о кубическом уравнении проще всего ответить, перейдя от алгебры к геометрии, а решать само уравнение для этого вовсе не обязательно. Важная геометрическая конструкция, о которой пойдет речь на лекции, используется в математике и для других целей.

Начнем мы издалека, с квадратных уравнений. Возьмем простое уравнение: x2+px+q=0. Теперь определим, сколько у него корней в зависимости от p и q. Два корня у нас будет в том случае, если p2-4q>0. Если же p2-4q<0, то у нашего уравнения будет 0 корней. Ну и в промежуточном варианте p2-4q=0 будет один корень.

Теперь рассмотрим подобное кубическое уравнение: x3+ax2+bx+c=0. И поставим такой же вопрос: сколько корней будет у уравнения, в зависимости от a, b и c. Формула для корней кубического уравнения была открыта еще в XVI веке, однако понять с ее помощью, сколько у уравнения может быть корней, достаточно затруднительно, и сегодня мы ей пользоваться не будем. Мы постараемся узнать, сколько у уравнения корней, формулы для них не находя.
Читать полностью »

В отличие от окружающего нас мира, в котором всё конечно, в математике мы часто сталкиваемся с бесконечными объектами. Например, бесконечны множества целых, рациональных, алгебраических, конструктивных или действительных чисел. На лекции мы рассмотрим задачи, в которых проявляются некоторые принципы работы с бесконечными множествами. Иногда эти принципы сильно отличаются от тех, к которым мы привыкли в случае «конечного» мира.

Читать полностью »

Сегодня мы поговорим об одной из первых задач теории больших сетей, которая может быть решена полностью на самом простом базовом уровне, но которая от этого не становится менее интересной. Это задача о кратчайшей системе дорог или задача Штейнера.

Впервые она появилась, когда еще никаких практических надобностей для больших сетей не было: в тридцатые годы XX века. На самом деле Штейнер начал ее изучать еще раньше, в XIX веке. Это была чисто геометрическая задача, практические приложения которой стали известны только несколько десятилетий спустя.

Разговор пойдет о той области математики, которая впоследствии выросла в теорию больших сетей и разбилась на несколько областей. Это прикладная отрасль, которая задействует очень много методов из других математических дисциплин: дискретной математики, теории графов, функционального анализа, теории чисел и т.д. Бурное развитие теории больших сетей пришлось на конец девяностых и начало двухтысячных годов. Связано это конечно, с прикладными задачами: развитием интернета, мобильной связи, транспортных задач для больших городов. Кроме того теория сетей используется в биологии (нейронные сети), при построении больших электронных плат и т.п.

Сама задача формулируется очень просто. Есть несколько точек на плоскости, которые нужно связать системой дорог наименьшей суммарной длины таким образом, чтобы по этим дорогам можно было из каждой точки добраться в любую другую. Число точек конечно.

Начать рассказ стоит с истории о том, как на Малом мехмате двум группам учеников – восьмиклассникам и одиннадцатиклассникам дали решать одну и ту же задачу. Четыре деревни расположены в вершинах квадрата со стороной четыре километра. Существует ли система дорог, которая связывала бы все эти деревни между собой и имела бы суммарную длину не превосходящую 11 километров.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js