Пятого июня Apache Software Foundation впервые за два года выпустила обновление фреймворка для разработки и выполнения распределённых программ Apache Hadoop. Версия Apache Hadoop 2.8 получила ряд улучшений, связанных с облачными технологиями и безопасностью.
Рубрика «big data» - 76
Вышло обновление Apache Hadoop впервые за два года
2017-06-07 в 5:04, admin, рубрики: Apache, big data, Hadoop, Блог компании ИТ-ГРАД, ИТ-ГРАД
По дороге с облаками. Реляционные базы данных в новом технологическом контексте
2017-06-06 в 13:40, admin, рубрики: azure sql, big data, cloud computing, cloud storage, Microsoft Azure, базы данных, Блог компании Издательский дом «Питер», книги, Профессиональная литератураПривет! Мы задумываемся об издании не совсем обычной книги, автор которой желает изложить очень интересную трактовку современного технологического ландшафта, охватывающего базы данных и технологии обработки Big Data. Автор полагает, что без активного использования облаков никуда не деться, и рассказывает об этом ландшафте именно в таком ракурсе.
Об авторе:
Александр Васильевич Сенько, кандидат физико-математических наук в области компьютерного моделирования и оптимизации мощных сверхвысокочастотных приборов.
Автор имеет сертификаты Microsoft в области создания приложений в среде Microsoft Azure: Microsoft Certified Professional и Microsoft Specialist: Developing Microsoft Azure Solutions. В 2008 году закончил Белорусский Государственный Университет Информатики и Радиоэлектроники (БГУИР) по специальности “Моделирование и компьютерное проектирование радиоэлектронных средств”. С 2007 по 2012-й годы автор работает в научно-исследовательском институте ядерных проблем БГУ на должностях техника, лаборанта, инженера. С 2013 года по настоящее время автор работает в компании ISSoft Solutions на должности разработчика ПО и DevOps с специализацией в области создания облачных приложений на базе стека Microsoft
Под катом вы сможете оценить идеи и стиль автора. Не стесняйтесь голосовать и комментировать — и добро пожаловать под кат!
Читать полностью »
Яндекс.Навигатор начал показывать свободные места на парковках
2017-06-06 в 10:45, admin, рубрики: big data, Текучка, яндекс, Яндекс.Навигатор, метки: big data, Текучка, яндекс, яндекс.навигаторЯндекс.Навигатор начал в режиме реального времен показывать свободные парковочные места, расположенные на наземных парковках, говорится в сообщении компании. Как только место освобождается, приложение выделяет его меткой, и пользователь может сразу построить до него маршрут. Метки сохраняются пять минут.
Освободившиеся места на парковках «Читать полностью »
«Никаких новых инструментов». Как использовать Big Data, чтобы экономить
2017-06-04 в 13:27, admin, рубрики: big data, кейсы, колонка, Нам пишут, советы, Стратегия, эффективность бизнеса, метки: big data, кейсы, колонка, Нам пишут, советы, Стратегия, эффективность бизнесаЕще пять лет назад Big Data воспринималась как экзотика, что было обусловлено, в основном использованием технологий с открытым кодом. Для создания моделей по работе с данными требовалось приложить немало усилий. И это логично приводило к ряду сложностей, как при внедрении, так и при эксплуатации, Читать полностью »
Наука о нейронных сетях. Прямой эфир
2017-06-01 в 6:36, admin, рубрики: Azure Notebooks, big data, CNTK, microsoft, Блог компании Microsoft, глубокое обучение, машинное обучение, нейронные сетиДо конца года остаётся 213 дней, так что самое время начать изучать что-то новое, например, погрузиться в науку о нейронных сетях. Сегодня за один день мы познакомимся с устройством нейросетей в прямом эфире, начиная с простых архитектур и заканчивая глубоким обучением — сетями, в которых десятки и сотни слоев. Также рассмотрим сверточные сети, применяемые для распознавания изображений, и рекуррентные сети для анализа последовательностей. Причем вы сможете вместе с нами обучить нейронную сеть для решения нетривиальных задач — от распознавания рукописных цифр до узнавания котиков на фотографиях.
О чем говорят женщины? (Text mining of beauty blogs)
2017-05-31 в 11:00, admin, рубрики: big data, data mining, анализ данных, Блог компании ГК ЛАНИТ, визуализация данных, датасеты, краулинг, ЛанитВ руках нашей команды из CleverDATA оказался уникальный материал – около 100 тыс. страниц англоязычных блогов, посвященных бьюти-сфере. Этот корпус к нам попал благодаря желанию одной косметической корпорации узнать законы, по которым «работает» блогосфера. Компания хотела эффективнее взаимодействовать с бьюти-блогерами – получать больший рекламный эффект, отдавая свои продукты в добрые руки лояльных авторов.
Источник
Читать полностью »
Оценка качества алгоритмов распознавания лиц
2017-05-30 в 14:52, admin, рубрики: big data, Алгоритмы, Блог компании NtechLab, машинное обучение, обработка изображений, распознавание лиц, тестирование алгоритмовПривет!
Мы, в компании NtechLab, занимаемся исследованиями и разработкой продуктов в области распознавания лиц. В процессе внедрения наших решений мы часто сталкиваемся с тем, что заказчики не очень ясно представляют себе требования к точности алгоритма, поэтому и тестирование того или иного решения для их задачи даётся с трудом. Чтобы исправить ситуацию, мы разработали краткое пособие, описывающее основные метрики и подходы к тестированию, которыми хотелось бы поделиться с сообществом Хабра.
Как можно применять «большие данные» в страховании: проекты Университета ИТМО
2017-05-30 в 9:25, admin, рубрики: big data, Блог компании Университет ИТМО, Разработка для интернета вещей, телематика, Университет ИТМОСогласно данным аналитического агентства IDC, всего через 3 года объем рынка специализированного ПО, работающего с Big Data, может составить 203 миллиарда долларов. Сейчас он оценивается в 130 миллиардов, но спрос со стороны банковского сектора, страховых и телекоммуникационных компаний только растет.
Сегодня мы расскажем о том, какие аналитические задачи на стыке сфер страхования и «больших данных» решают проекты Университета ИТМО.
Apache Ignite 2.0 — Machine Learning, новая модель хранения данных, DDL
2017-05-29 в 9:21, admin, рубрики: .net, Apache Ignite, big data, compute grid, data grid, distributed computing, java, Блог компании GridGain, машинное обучение, релизыВ мае вышла новая мажорная версия Apache Ignite — распределенной платформы, оптимизированной для работы с оперативной памятью, которая объединяет в себе хранилище вида ключ-значение с SQL99-совместимой базой данных, предлагая полную ACID-совместимость, высокую доступность, а также близкое к линейному масштабирование с нескольких узлов до тысяч, которые могут размещаться на собственном оборудовании либо в облаке. Ядро Apache Ignite написано на Java, но платформа, помимо экосистемы Java, поддерживает нативную интеграцию с приложениями на .NET и C++.
Apache Ignite эластично масштабируется в рамках одного или нескольких геораспределенных кластеров, предоставляя гибко настраиваемое шардирование и автоматическую ребалансировку при динамическом добавлении или удалении узлов, обеспечивая прозрачный и быстрый доступ к данным и вычислениям путем использования собственного API либо классического SQL.
В версии 2.0 были значительно переработаны многие вещи «под капотом», следствием стала возможность реализации ряда значительных функциональных изменений, часть из которых заметна уже сейчас, а часть появится в ближайших версиях.
Забегая вперед, мы будем проводить 2 мероприятия, которые связаны с Apache Ignite, подробнее о них можно прочитать в конце статьи.
Открытка компании: цены на Яндекс.Такси разные на разных телефонах?
2017-05-25 в 13:20, admin, рубрики: big data, uber, кейсы, мобильные приложения, персональные данные, Рекомендательные сервисы, Стратегия, такси, Текучка, Цены / Тарифы, метки: big data, uber, кейсы, мобильные приложения, персональные данные, Рекомендательные сервисы, Стратегия, такси, Текучка, Цены / Тарифы, яндекс таксиПара пассажиров Яндекс.Такси рассказала через Facebook, что у них различается цена на одинаковую поездку. Пассажиры наткнулись на метод, по которому, при сохранении времени поездки и расстояния, они смогут сделать своё путешествие дороже на 100 рублей. В комментариях к наблюдениям потенциальных пассажиров, Читать полностью »