Рубрика «big data» - 83

в 9:55, , рубрики: big data, Hadoop, java, open source, spark, xargs, Блог компании Badoo, Программирование

enter image description here

Привет! Меня зовут Александр Крашенинников, я руковожу DataTeam в Badoo. Сегодня я поделюсь с вами простой и элегантной утилитой для распределённого выполнения команд в стиле xargs, а заодно расскажу историю её возникновения.

Наш отдел BI работает с объёмами данных, для обработки которых требуются ресурсы более чем одной машины. В наших процессах ETL (Extract Transform Load) в ход идут привычные миру Big Data распределённые системы Hadoop и Spark в связке с OLAP-базой Exasol. Использование этих инструментов позволяет нам горизонтально масштабироваться как по дисковому пространству, так и по CPU/ RAM.

Безусловно, в наших процессах ETL существуют не только тяжеловесные задачи на кластере, но и машинерия попроще. Широкий пласт задач решается одиночными PHP/ Python-скриптами без привлечения гигабайтов оперативной памяти и дюжины жёстких дисков. Но в один прекрасный день нам потребовалось адаптировать одну CPU-bound задачу для выполнения в 250 параллельных инстансов. Настала пора маленькому Python-скрипту покинуть пределы родного хоста и устремиться в большой кластер!

Читать полностью »

в 11:04, , рубрики: big data, BigData, data mining, data science, deep learning, FlyElephant, gpu, HPC, machine learning, mpi, singularity, xeon phi, Блог компании FlyElephant, вебинар, высокая производительность, машинное обучение

Вебинар: Введение в Singularity - 1

Команда FlyElephant приглашает всех на вебинар "Введение в Singularity", который проведет
Gregory Kurtzer (HPC Systems Architect и Technical Lead в Lawrence Berkeley National Laboratory).
Вебинар будет проходить завтра, 15 февраля, в 19:00 (EET) / 9:00 am (PST). Язык — английский.
Читать полностью »

в 13:52, , рубрики: big data, Google, Google Play, безопасность, мобильные приложения, персональные данные, статистика, Текучка, метки: , , , , , , ,

Google предупредила разработчиков приложений для Android, что программы, которые скрывают политику конфиденциальности возможно будут стёрты из магазина Google Play после 15 мая 2017. Как пишет The Next Web, в магазине недовольны, что владельцы приложений не сообщают, с какой целью они запрашивают разрешение на доступ к персональной информации и не объясняют,Читать полностью »

в 14:43, , рубрики: AWS, big data, highload, mongodb, php, базы данных, Блог компании FunCorp, высокая производительность, мобильные приложения, Программирование, разработка мобильных приложений

Это — не статья, это — фейлбук. То, что вы прочтете под катом, — выжимка наших нелепых техно-промахов за все 5 лет работы над флагманским продуктом — iFunny. Возможно, наша фейловая история поможет вам избежать ошибок, а возможно, вызовет смех. Что тоже хорошо. Смешить людей — призвание FunCorp уже 13 лет.

Остроумие и отвага: как мы много раз ошибались, создавая iFunny - 1

Читать полностью »

в 15:35, , рубрики: big data, data mining, машинное обучение, стратегии для инженеров, Эндрю Ын, метки:

В декабре прошлого года в переписке американских коллег по data science прокатилась волна обсуждения долгожданного черновика новой книги гуру машинного обучения Эндрю Ына (Andrew Ng) «Жажда машинного обучения: стратегии для инженеров в эпоху глубинного обучения». Долгожданного, потому что книга была анонсирована ещё летом 2016 года, и вот, наконец, появилось несколько глав.

image

Представляю вниманию Хабра-сообщества перевод первых семи глав из доступных в настоящий момент четырнадцати. Замечу, что это не финальный вариант книги, а черновик. В нем есть ряд неточностей. Эндрю Ын предлагает писать свои комментарии и замечания сюда. Начинает автор с вещей, которые кажутся очевидными. Дальше ожидаются более сложные концепции.
Читать полностью »

в 11:45, , рубрики: big data, data mining, mail.ru, Блог компании Mail.Ru Group, машинное обучение, разработка, Техносфера, учебные материалы
Техносфере Mail.Ru — три года - 1

Сегодня исполнилось три года с момента запуска одного из наших образовательных проектов — Техносферы Mail.Ru, появившийся совместно с факультетом ВМК МГУ им. Ломоносова. Программа Техносферы рассчитана на подготовку специалистов в сфере больших данных. Изначально она была рассчитана на один год и состояла из шести дисциплин. Однако спустя год мы пересмотрели программу и сделали её двухгодичной. В течение четырёх семестров студенты изучают 12 дисциплин, выполняя большой объём практических работ. Заодно был разработан подготовительный курс «Алгоритмы и структуры данных».

В Техносферу принимают студентов 2—4-х курсов. Несмотря на то что схема вступительных экзаменов во все наши образовательные проекты одинакова (студенты сдают онлайн-тест и проходят очное собеседование), в Техносфере мы больше ориентируемся на базовые знания по высшей математике. Помимо чтения лекций мы создали лабораторию, где студенты работают с реальными задачами, с которыми мы сталкиваемся в Mail.Ru Group. Например, пытаются улучшить аналитические алгоритмы, создать определённые эвристики. То есть делают всё то же самое, что они делали бы во время обычной стажировки в компании. С осени 2015 года в лаборатории начали проводить и научные исследования. Например, изучаются возможности применения нейронных сетей для решения тех или иных бизнес-задач.

И в честь дня рождения мы выкладываем список учебных материалов, которые рекомендованы к изучению нашим студентам на протяжении всего двухлетнего курса.
Читать полностью »

в 14:59, , рубрики: big data, highload, latency, MOEX, stocks, trading, twime, биржа, Блог компании Московская Биржа, Московская Биржа, Разработка систем передачи данных, трейдинг

В этом хабе мы расскажем вам о своем уникальном опыте разработки высокоскоростного интерфейса TWIME для Московской биржи, объясним, почему нам так важна низкая latency (время отклика) и как ее сократить. Надеемся, в заключении вам станет немного понятнее, почему Московская биржа более технологична в некоторых областях, чем, к примеру, такие гиганты High Load как Nginx, VK или MailRu.
Читать полностью »

в 14:23, , рубрики: big data, big data технологии, hana, sap, SAP HANA, архитектура, Блог компании SAP

Привет! В прошлой статье мы рассказали про решение для малого бизнеса SAP Business One и кратко упомянули про возможности SAP HANA в области вычислений и аналитики. Сегодня мы подробнее остановимся на том, как платформа SAP HANA может работать с большими данными и на сценариях применения этих технологий в бизнесе.

SAP HANA: как это работает

Читать полностью »

в 12:28, , рубрики: big data, mail.ru group, инвестиции, Текучка, метки: , , ,

По данным Kartoteka.ru, ООО «Мэйл.ру» приобрело 10% в ООО «ДатаДрайв» в октябре 2016. При этом сама компания была создана всего за месяц до этого. Остальные 90% компании равными долями принадлежат основателям — Дмитрию Желтову и Михаилу Дудалеву (оба выпускники МФТИ). Беглый гуглёж не выдаёт никакой ценной информации о них. Что это за стартап?

Комментарий «Роем!»:Читать полностью »

в 7:29, , рубрики: big data, боты, внедрение ИТ, опрос, подбор персонала, прогрессивные технологии, рекрутинг, российский рынок, управление персоналом

image
Изображение сайта vedomosti.ru

В июле 2016 года электронный бот «Связного», работающий в приложении Telegram, отобрал около 100 кандидатов из 800 в менеджеры по продажам и еще 20 кандидатов в программисты, рассказывала «Ведомостям» начальник отдела подбора и адаптации персонала «Связного» Марина Таран. В режиме онлайн он задавал кандидатам 7–9 вопросов и проводил первичный отбор, оценивая базовые компетенции соискателей. Бот не только спрашивал, но и эмоционально реагировал на ответы собеседника.

Каковы перспективы внедрения ботов в сфере подбора персонала? Описанный случай является исключением или отправной точки для повсеместного использования HR-ботов? Безусловно не все готовы к этому повороту. Более того, скептики сомневаются в реалистичности такого внедрения.

Мы пообщались с представителями российского бизнеса и попросили высказать свое отношение к этой теме.Читать полностью »

1...1020...828384...90100...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js