На сегодняшний день технологии Big Data нашли свое применение практически в любых отраслях: ритейл, банкинг, здравоохранение, и, в свою очередь, сфера производства не стала исключением. Оптимизация производственной цепочки, выявление дефектов и контроль качества продукции, улучшение удобства использования продукта на основе поведения потребителей – неполный список результатов, которых можно достичь в производственной сфере благодаря Big Data. Рассмотрим несколько кейсов зарубежных и отечественных компаний, внедривших технологии больших данных в свою деятельность.
Читать полностью »
Рубрика «big data» - 77
7 кейсов использования технологий Big Data в сфере производства
2017-04-03 в 12:39, admin, рубрики: apple, big data, data mining, general electric, intel, sap naha, sas, teradata, Yandex Data Factory, Блог компании New Professions Lab, газпром нефть, машинное обучение, ммк, сургутнефтьгазMail.ru Group, «Яндекс» и операторы опередят государство в регулировке Big Data
2017-04-03 в 6:41, admin, рубрики: big data, mail.ru group, вымпелком, Госвеб, законотворчество, Игорь Щеголев, инвестиции, Мегафон, Минкомсвязи, МТС, Россия, Ростелеком, Текучка, яндекс, метки: big data, mail.ru group, вымпелком, Госвеб, законотворчество, Игорь Щеголев, инвестиции, Мегафон, Минкомсвязи, МТС, Россия, Ростелеком, Текучка, яндекс«Ростелеком», «МегаФон», МТС, «Вымпелком» и Mail.Ru Group и «Яндекс» займутся созданием саморегулируемой организации (СРО) в области Big Data под рабочим названием Ассоциация больших данных (АБД). Об этом сообщил «Коммерсантъ» со ссылкой на представителей нескольких компаний, которые принимали участие в переговорах операторов и интернет-компаний.
Интеграция XML данных — другой путь
2017-03-29 в 15:00, admin, рубрики: big data, data warehouse, olap, sql server, XML, xpath, xslt, Анализ и проектирование системВ данной статье описывается «нетрадиционная», но достаточно мощная технология обработки XML, позволяющая импортировать любые XML-данные и преобразовывать их структуру эффективно и просто, при этом один и тот же процесс обработки позволяет трансформировать исходные данные любой структуры без какого-либо изменения программного кода.
Читать полностью »
Frontera: архитектура фреймворка для обхода веба и текущие проблемы
2017-03-29 в 12:16, admin, рубрики: big data, frontera, Hbase, information retrieval, python, Анализ и проектирование систем, высокая производительность, метки: fronteraВсем привет, я занимаюсь разработкой Frontera, первым в истории фреймворком для масштабного обхода интернета сделанным на Python-е, с открытым исходным кодом. С помощью Фронтеры можно легко сделать робота который сможет выкачивать контент со скоростью тысяч страниц в секунду, при этом следуя вашей стратегии обхода и используя обычную реляционную БД или KV-хранилище для хранения базы ссылок и очереди.
Разработка Фронтеры финансируется компанией Scrapinghub Ltd., имеет полностью открытый исходный код (находится на GitHub, BSD 3-clause лицензия) и модульную архитектуру. Мы стараемся чтобы и процесс разработки тоже был максимально прозрачным и открытым.
В этой статье я собираюсь рассказать о проблемах с которыми мы столкнулись при разработке Фронтеры и эксплуатации роботов на ее основе.
Читать полностью »
«Мегафон» стал использовать данные Mail.ru Group для индивидуальных тарифов
2017-03-27 в 9:31, admin, рубрики: B2B, big data, mail.ru, mail.ru group, Вконтакте, Доверие к соцсетям, инвестиции, Мегафон, одноклассники, персональные данные, сотовые операторы, соцсети, Текучка, телеком, Цены / Тарифы, эффективность бизнеса, метки: b2b, big data, mail.ru, mail.ru group, Вконтакте, Доверие к соцсетям, инвестиции, Мегафон, одноклассники, персональные данные, сотовые операторы, соцсети, Текучка, телеком, Цены / Тарифы, эффективность бизнеса«Мегафон» нашёл применение данным Mail.ru Group, в котором оператор приобрёл контроль по итогам 2016 года. С 4 четвертого квартала 2016 года оператор начал предлагать абонентам индивидуальные тарифы, пишут «Ведомости» со ссылкой на коммерческого директора компании Влада Вольфсона.
Индивидуальные тарифы будут рассчитаны с учетом показателя customer lifetime value (Читать полностью »
Зашифрованные почтовые сервисы: что выбрать?
2017-03-22 в 15:47, admin, рубрики: big data, BigData, ProtonMail, tutanota, Блог компании Нетология: университет интернет-профессий, зашифровать email, защита данных, защита информации, информационная безопасность, криптография, письма, почта, почтовые рассылки, почтовый клиент, почтовый сервер, сервисы, Системы обмена сообщениямиКонстантин Докучаев, автора блога All-in-One Person и телеграм-канала @themarfa, рассказал специально для «Нетологии» о двух почтовых сервисах: Tutanota и ProtonMail и объяснил, какой из них выбрать и почему.
Сегодня уже не так часто услышишь о важности частной переписки, о методах её защиты и шифровании переписки. Но я всё равно решил взглянуть на два популярных почтовых сервиса с end-to-end шифрованием: Tutanota и ProtonMail. Они предлагают безопасную переписку с шифрованием всех писем. Давайте разберём подробно, что дают оба сервиса, и стоит ли прятать свою переписку от ФСБ или других спецслужб и конкурентов.
«Сложную архитектуру очень просто сделать» — интервью с Олегом Анастасьевым из Одноклассников
2017-03-21 в 13:16, admin, рубрики: big data, java, Анализ и проектирование систем, архитектура, Блог компании JUG.ru Group, высокая производительность, одноклассники, отказоустойчивость, распределенные системы
Знакомьтесь, Олег Анастасьев — ведущий разработчик Одноклассников, спикер на конференциях по Java и Cassandra, эксперт в области распределенных и отказоустойчивых систем. С Олегом мы поговорили о следующем:
- Что не так с термином «архитектор»
- Зачем Одноклассникам 11 000 серверов
- Как выглядят учения по ликвидации аварий
- Что такое «Правило большого З»
- Как в Одноклассниках используют Cassandra
- В чём для современной компании сложности с размещением кода в Open Source
- Как в Одноклассниках работают с Big Data
Как всегда, под катом — полная текстовая расшифровка беседы.
Читать полностью »
Использование ArcGIS API for Python в Jupyter Notebook
2017-03-21 в 8:47, admin, рубрики: big data, gis, python, pythonic, Блог компании ТЕХНОСЕРВ, визуализация данных, Геоинформационные сервисы
Всем привет! Это блог компании "Техносерв". В процессе производства на проектах, которые мы выполняем, рождаются интересные технологические кейсы. Их скопилось такое количество, что мы решили начать делиться ими с миром. И да, это наша первая публикация.
Честь начать блог выпала мне, и я пишу о том, что мне близко и любимо: о геоинформационных технологиях. Я работаю в департаменте Больших Данных, где занимаюсь разработкой высоконагруженных геоинформационных систем и сервисов на базе движков для распределенных вычислений. О высоких материях мы еще поговорим, а сегодня плавно начнем погружение в ГИС.
Все чаще и чаще у аналитиков данных (или как еще их называют — Data Scientist) появляется потребность в визуализации данных на карте. Какой инструмент сейчас считается наиболее удобным для работы аналитика? Конечно же, тетрадки! До последнего времени возможностей по визуализации геоданных было не так много. Можно было делать статические растры в matplotlib, иногда можно было добавлять даже базовые карты. Интересной оказалась библиотека для работы с Leaflet, где можно открывать geojson-файлы. Сегодня же я хочу рассказать об ArcGIS API for Python от компании Esri.
Эта статья будет полезна как аналитикам, желающим изучить примеры работы с ГИС, так и картографам и ГИС-специалистам, которым интересно попробовать себя в написании кода.
«Ъ»: Управляющая РЕН ТВ и «Известиями» компания купила платформу управления данными от выходцев из Vi
2017-03-20 в 7:08, admin, рубрики: big data, IMHO VI, News Media, VI, Известия, Национальная Медиа Группа, онлайн-медиа, Покупка / Продажа, Спорт-Экспресс, Текучка, метки: big data, IMHO VI, News Media, Vi, Известия, Национальная Медиа Группа, Онлайн-медиа, Покупка / Продажа, Рен-тв, Спорт-Экспресс, ТекучкаМедихолдинг «Национальная медиа группа» (НМГ), который управляет «Пятым каналом», РЕН ТВ, News Media, газетой «Известия» и другими, приобрел 100% платформы управления обезличенными данными AmberData. Об этом сообщилЧитать полностью »
Big Data Дептранса Москвы уменьшила потенциальную аудиторию такси на полмиллиона человек в день
2017-03-16 в 10:46, admin, рубрики: big data, gett, uber, аналитика, Госвеб, Департамент транспорта Москвы, Москва, общественный транспорт, открытые данные, статистика, такси, Текучка, эффективность бизнеса, метки: big data, gett, uber, аналитика, Госвеб, Департамент транспорта Москвы, Москва, общественный транспорт, открытые данные, статистика, такси, Текучка, эффективность бизнеса, яндекс таксиМосковская маршрутная сеть «Магистраль» увеличила пассажиропоток на 30%, что составляет около полумиллиона человек в будний день, сообщил столичный департамент транспорта. Новая сеть запустилась в октябре 2016 года. «Магистраль» построена на основе анализа разнородных городских данных: собранных у сотовых операторов, датчиков ГЛОНАСС, с систем проверки билетов,Читать полностью »