Доброго времени суток! Пора вновь вернуться к задачам оптимизации. На этот раз мы займемся линейной регрессией и разберемся, кто же такие коты — только пушистые домашние мерзавцы животные или еще и неплохой инструмент для решения прикладных задач.
Рубрика «Программирование» - 497
Умеют ли коты строить регрессию?
2017-06-20 в 14:04, admin, рубрики: scala, Алгоритмы, линейная регрессия, математика, машинное обучение, методы оптимизации, Программирование, эвристические алгоритмыHTTP-2 Server Push не так прост, как я думал
2017-06-20 в 8:56, admin, рубрики: html, http2, javascript, server push, Блог компании Badoo, Программирование, Разработка веб-сайтов
Фото найдено на просторах Википедии
Привет! Меня зовут Макс Матюхин, я работаю PHP-программистом в Badoo. Мы постоянно изучаем различные возможности по ускорению работы нашего приложения и самыми интересными находками, конечно, делимся в нашем блоге на Хабре.
Вторая версия протокола HTTP обещает нам много улучшений, и одной из любопытных особенностей HTTP/2 является поддержка push. Теоретически эта возможность позволяет ускорить загрузку приложения. Недавно Jake Archibald написал большую статью, в которой проанализировал особенности реализации push в различных браузерах, и оказалось, что таких особенностей довольно много.
Мы уже публиковали пост, описывающий базовый функционал HTTP/2 Server Push, а этот будет хорошим дополнением, рассказывающим, как в реальности обстоят дела с поддержкой HTTP/2 Server Push в различных браузерах.
Почему стоит полностью переходить на Ceylon или Kotlin (часть 2)
2017-06-20 в 7:17, admin, рубрики: ceylon, java, kotlin, ПрограммированиеПродолжаем рассказ о языке цейлон. В первой части статьи Сeylon выступал как гость на поле Kotlin. То есть брались сильные стороны и пытались их сравнить с Ceylon.
В этой части Ceylon выступит как хозяин, и перечислим те вещи, которые близки к уникальным и которые являются сильными сторонами Ceylon.
Поехали:
Архитектура и алгоритмы индексации аудиозаписей ВКонтакте
2017-06-19 в 14:30, admin, рубрики: Go, Алгоритмы, Блог компании ВКонтакте, Вконтакте, Программирование
Расскажем о том, как устроен поиск похожих треков среди всех аудиозаписей ВКонтакте.
Зачем всё это надо?
У нас действительно много музыки. Много — это больше 400 миллионов треков, которые весят примерно 4 ПБ. Если загрузить всю музыку из ВКонтакте на 64 ГБ айфоны, и положить их друг на друга, получится башня выше Эйфелевой. Каждый день в эту стопку нужно добавлять еще 25 айфонов — или 150 тысяч новых аудиозаписей объёмом 1.5 ТБ.
Конечно, далеко не все эти файлы уникальны. У каждого аудио есть данные об исполнителе и названии (опционально — текст и жанр), которые пользователь заполняет при загрузке песни на сайт. Премодерации нет. В результате мы получаем одинаковые песни под разными названиями, ремиксы, концертные и студийные записи одних и тех же композиций, и, конечно, совсем неверно названные треки.
Если научиться достаточно точно находить одинаковые (или очень похожие) аудиозаписи, можно применять это с пользой, например:
- не дублировать в поиске один трек под разными названиями;
- предлагать прослушать любимую композицию в более высоком качестве;
- добавлять обложки и текст ко всем вариантам песни;
- усовершенствовать механизм рекомендаций;
- улучшить работу с жалобами владельцев контента.
Эволюция подхода к развертыванию кода в Reddit
2017-06-19 в 14:30, admin, рубрики: reddit, Wirex, Блог компании Wirex, код, Программирование, Статистика в IT, эволюция
Нам, в команде платежного блокчейн-сервиса Wirex, на собственном опыте знакома необходимость постоянной доработки и совершенствования существующего технологического решения. Автор материала, приведенного ниже, рассказывает об истории эволюции развертывания кода известной социальной новостной платформы Reddit.
«Важно следить за направлением своего развития, чтобы иметь возможность вовремя направить его в полезное русло».
Команда Reddit постоянно развертывает код. Все члены команды разработки регулярно пишут код, который перепроверяется самим автором, проходит проверку со стороны, чтобы после отправиться в «продакшн». Еженедельно мы делаем не менее 200 «деплоев», каждый из которых обычно занимает в общей сложности менее 10 минут.
Система, которая обеспечивает все это, развивалась на протяжении многих лет. Давайте посмотрим, что изменилось в ней за все это время, а что осталось неизменным.
Начало истории: стабильные и повторяющиеся деплои (2007-2010)
Вся имеющаяся у нас сегодня система выросла из одного зернышка — Perl-скрипта под названием push. Он был написан давно, в совсем другие для Reddit времена. Вся наша техническая команда тогда была настолько мала, что спокойно помещалась в одну небольшую «переговорку». Мы тогда еще не пользовались AWS. Сайт работал на конечном количестве серверов, и любые дополнительные мощности надо было добавлять вручную. Все работало на одном крупном, монолитном Python-приложении под названием r2.
Читать полностью »
Компетентность не имеет пола: о гендерном балансе и тренде развития женского кодинга
2017-06-19 в 12:44, admin, рубрики: IT-стандарты, Блог компании Программа «Единая фронтальная система», девушки в it, девушки-гики, девушки-программисты, единая фронтальная система, женский кодинг, программа ефс, Программирование, Совершенный код, Тестирование IT-систем, метки: девушки в it, девушки-гики, девушки-программисты, единая фронтальная система, женский кодинг, программа ЕФСС развитием общества и технологий влияние гендерных стереотипов становится все меньше: например, больше нельзя сказать, что традиционно мужская сфера ИТ «не для девочек». В этой статье мы не ставили перед собой задачу написать о сложностях и различиях в ИТ–индустрии или раскрыть 10 лайфхаков построения успешной карьеры девушки-кодера. Об этом написано много, кстати, одна из авторских статей, которая нас вдохновила на эту публикацию. Прекрасная половина все больше вовлекается в индустрию технологий и добивается там значительных успехов – можно спорить и сравнивать цифры, но тренд отрицать бессмысленно.
В этой статье мы хотим вместе с вами поразмышлять о том, каким будет вектор развития этого тренда в ближайшем будущем.
Читать полностью »
Шел 2017 год. Где UDP фрагментация?
2017-06-19 в 10:11, admin, рубрики: sip, voip, voximplant, Блог компании Voximplant, Программирование, Разработка систем передачи данных, Разработка систем связи, системное программирование
VoIP — это термин-зонтик. Набор технологий, протоколов и просто buzzword'ов, которые относятся к передаче голоса (и видео!) по компьютерным сетям (локальным или интернет) вместо телефонных. И да, большая часть телеком-провайдеров всё ещё использует для передачи голоса собственные сети вместо интернет. С недешевыми коробочками, куда втыкаются T1 и E1 провода.
Чаще всего, для айтишников, не работающих в телекоме, VoIP – это связка RTP/RTCP для передачи голоса/видео плюс SIP – для договориться, кому и как передавать. Именно это связка позволяет подключить офисные «SIP телефоны» к Bitrix24 или Asterisk. Оба протокола могут работать как по TCP, так и по UDP. С передачей голоса по RTP вопросов нет: за редчайшим исключением используется UDP протокол, а кодеки компенсируют потерянные пакеты, так что собеседник почти не «квакает» даже не на самом лучшем канале связи. А вот с SIP история более печальная.
Pygest #11. Релизы, статьи, интересные проекты из мира Python [6 июня 2017 — 19 июня 2017]
2017-06-19 в 5:14, admin, рубрики: digest, django, flask, machine learning, pygest, python, web, дайджест, машинное обучение, Программирование, Разработка веб-сайтов
Всем привет! Это уже одиннадцатый выпуск дайджеста на Хабрахабр о новостях из мира Python.
В сегодняшнем выпуске вы найдёте интересные материалы, касающиеся устройства Python, машинного обучения, перехода на Python 3, Django и многого другого. Присылайте свои актуальные материалы, а также любые замечания и предложения, которые будут добавлены в ближайший дайджест.
А теперь к делу!
Читать полностью »
Нечеткий поиск по названиям
2017-06-18 в 21:18, admin, рубрики: C#, Алгоритмы, алгоритмы поиска, анализ данных, Программирование, метки: Алгоритмы поискаДобрый день.
Проблема с поиска, услуг или продукта, возникает на подавляющем большинстве сайтов. И в основной свой массе реализация подобной возможности ограничиваются поиском по точному слову, которое ввели в поисковой строке.
Если есть время, и заказчик хочет чуть большего, то гуглят реализацию наиболее популярного алгоритма (коим является «расстояние Левенштейна») и вписывают его.
В данной статье, я опишу сильно доработанный алгоритм, основанный, правда, на расстояния Левенштейна, и приведу примеры кода на C# нечеткого поиска по названиям, например: кафе, ресторанов или неких сервисов… В общем всё, что можно перечислить и имеет от одного до нескольких слов в своем составе:
«Яндекс», «Mail», «ProjectArmata», «world of tanks», «world of warships», «world of warplanes» и т.д.
Читать полностью »
Игры на Scheme(Lisp) в среде DrRacket
2017-06-18 в 15:47, admin, рубрики: drRacket, HtDP, htdw, Scheme, Программирование, создание игр, функциональное программированиеВ данной статье используется среда разработки DrRacket.
Для начала рассмотрим связь конечного автомата и игрового процесса.
Объект управления в игре можно представить в виде конечного автомата.
Рассмотрим программу, моделирующую светофор.
Этот пример был описан в предыдущей статье.
Переходом в другое устойчивое состояние является переключение сигнала светофора.
Диаграмму состояний можно изобразить в следующем виде.
Читать полностью »