Spark – проект Apache, предназначенный для кластерных вычислений, представляет собой быструю и универсальную среду для обработки данных, в том числе и для машинного обучения. Spark также имеет API и для R(пакет SparkR), который входит в сам дистрибутив Spark. Но, помимо работы с данным API, имеется еще два альтернативных способа работы со Spark в R. Итого, мы имеем три различных способа взаимодействия с кластером Spark. В данном посте приводиться обзор основных возможностей каждого из способов, а также, используя один из вариантов, построим простейшую модель машинного обучения на небольшом объеме текстовых файлов (3,5 ГБ, 14 млн. строк) на кластере Spark развернутого в Azure HDInsight.
Читать полностью »
Рубрика «Microsoft Azure» - 20
R и Spark
2016-08-25 в 13:54, admin, рубрики: big data, Microsoft Azure, R, spark, машинное обучениеПервая встреча Moscow IoT Community: как мы нашли баг в Visual Studio
2016-08-17 в 8:20, admin, рубрики: azure, C#, community, internet of things, microsoft, Microsoft Azure, Visual Studio, Windows 10, Интернет вещей, Разработка для интернета вещей
Недавно прошла первая встреча Московского сообщества Интернета Вещей, целью которой было пройти путь от создания простого устройства на Raspberry Pi до визуализации данных, полученных в облаке от этого устройства. Было интересно и весело, а еще мы нашли баг в Visual Studio. Подробности под катом (много фото).
Пишем мультиплатформенного бота для перевода денег с карты на карту с помощью Microsoft Bot Framework V1
2016-08-10 в 11:13, admin, рубрики: .net, C#, Microsoft Azure, Microsoft Bot Framework, ПрограммированиеВо время конференции Microsoft Build 2016 был анонсирован Microsoft Bot Framework (сессия с Build 2016: видео). С его помощью можно создать бота (на C# или Node.js), которого потом можно подключить к различным каналам / приложениям: СМС, Skype, Telegram, Slack и т.д. Мы пишем бота, используя Bot Builder SDK от Microsoft, а все проблемы взаимодействия с третьесторонними API берет на себя Bot Connector (см. изображение). Звучит красиво, попробуем создать простого бота, который мог бы переводить деньги с карты на карту (логику перевода возьмем у Альфа Банка — тестовый стенд, описание API: Альфа Банк), испытав все прелести продукта, находящегося в альфа-версии.
Disclaimer: во время написания статьи Microsoft выпустил новую версию фреймворка, так что ждите вторую серию: мигрируем бота с v1 на V3.
Azure Service Fabric: вторые шаги
2016-08-05 в 6:30, admin, рубрики: .net, adc, azure, C#, Microsoft Azure, p2p, Service Fabric, Системы обмена сообщениями
Снова Чарли Чаплин на фабрике в фильме «Новые времена»
Продолжаем разговор про Azure Service Fabric. В предыдущей статье я упомянул о планах написать сначала про stateful сервисы, а затем уже перейти к модели акторов в ASF. Концепция изменилась — подумалось мне, что неплохо бы для примеров использовать если уж не production-решение, то что-то близкое, чтобы была теоретическая польза и практический смысл. Можно объединить все компоненты ASF в одном флаконе — чтобы и корованы набигали, и лунапарк, и Винни-Пух и все-все-все. Вот с такими мыслями я и пошел на кладбище домашних проектов в поисках кандидата на оживление.
Настраиваем public preview VNET Peering в Azure
2016-08-04 в 16:28, admin, рубрики: cloud services, microsoft, Microsoft Azure, vnet, vnet peering, Блог компании ICL ServicesКак и обещал, протестировав VNET peering, выкладываю небольшую инструкцию, как вы можете опробовать его в своей подписке Microsoft Azure.
Июльское обновление Microsoft Azure и VNET peering
2016-07-31 в 21:38, admin, рубрики: microsoft, Microsoft Azure, облачные сервисыОтличные новости для тех, кто уже использует Microsoft Azure и тех, кто только планирует это делать. В июле вышло большое обновление платформы Azure. Уверен, в обширном списке нововведений каждый найдёт для себя что-то особенно важное. Для меня это, без сомнения VNET Peering.
Наконец-то, появилась возможность связывать VNET непосредственно между собой. Это открывает новые возможности для построения виртуальной инфраструктуры на базе облака Microsoft. Подробности под катом.
Читать полностью »
Oracle объявил о крупнейшей сделке за последние 12 лет
2016-07-30 в 1:17, admin, рубрики: Amazon Web Services, Microsoft Azure, oracle, акции, бизнес-модели, биржа, облачные сервисы, поглощение, покупка акций, сделка, Управление продуктом
Фото с сайта rusbase.com
Стратегически важной задачей для Oracle является укрепление позиций на рынке облачных технологий. Компания разрабатывает не только собственные облачные сервисы, но и занимается поглощением более мелких игроков.
За «облака» Оracle конкурирует с такими компаниями, как Salesforce.com Inc. и Workday Inc., Microsoft и Amazon. Salesforce.com Inc. и Workday Inc. производят программное обеспечение и облачные системы хранения данных.
На рынке облачных технологий Microsoft пока заметно отстает от Amazon.com, однако результаты недавно завершившегося квартала показывают, что корпорация успешно трансформируется из продавца лицензий на ПО в поставщика услуг по запросу. Эти результаты приятно удивили инвесторов Microsoft. В IV квартале продажи облачного подразделения Microsoft Azure выросли более чем на 100% по сравнению с аналогичным периодом прошлого года.
28 июля компания Oracle объявила о новом поглощении.Читать полностью »
Сообщество экспертов, совместная работа над проектами и другие обновления платформы FlyElephant
2016-07-27 в 6:51, admin, рубрики: big data, blender, c++, docker, FlyElephant, gcc, gromacs, HPC, java, Julia, jupyter, Microsoft Azure, octave, OpenFOAM, openmp, python, R, SciLab, Блог компании FlyElephant, высокая производительность, научные расчёты, Облачные вычисления, параллельное программирование, стартапы
Команда FlyElephant рада анонсировать релиз платформы FlyElephant 2.0, в который вошли следующие обновления: внутреннее сообщество экспертов, совместная работа над проектами, публичные задачи, поддержка Docker и Jupyter, новое хранилище данных и работа с HPC кластерами.
FlyElephant — платформа для исследователей данных, инженеров и ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения высокопроизводительных вычислений и рендеринга, помогает находить партнеров и совместно работать над проектами, а также управлять всеми ресурсами из одного места. Платформа состоит из 3-х основных компонентов:
- Compute. Быстрый доступ к вычислительному кластеру в облаке с нужным программным обеспечением или HPC кластеру, а также автоматизация проведения расчетов.
- Collaborate. Совместная работа над проектами и сообщество экспертов, где можно найти партнеров, чтобы вместе решить сложную задачу или получить квалифицированную консультацию.
- Manage. Управление лицензиями, программным обеспечением, вычислительными ресурсами, шаблонами, алгоритмами, данными и результаты в одном месте.
Среди нововведений отметим следующие:
Читать полностью »
Tion MagicAir — система умного микроклимата с облачным бэкендом
2016-07-20 в 5:21, admin, рубрики: #isvcloudstory, azure, MagicAir, Microsoft Azure, Блог компании Microsoft, облако, чистый воздухПривет!
Сегодняшняя история – о компании Tion. Tion создает и выводит на рынок как профессиональные промышленные и медицинские устройства для обеззараживания воздуха, так и бытовые приборы «умной» вентиляции и очистки воздуха.
Недавно компания официально запустила новую версию своего продукта — бризер Tion O2 MAC, компактный бытовой прибор для вентиляции, который избавляет от духоты, уличного шума и пыли в квартире и работает с системой умного микроклимата Tion MagicAir. Система умного микроклимата Tion MagicAir измеряет качество воздуха в помещении, отображает данные на смартфоне и автоматически управляет микроклиматом. Уже написан официальный анонс, ну а мы решили поспрашивать немного подробнее и поддержать коллег, ведь мы очень любим облачные сервисы.
Под катом все в традициях тега #isvcloudstory – про компанию, про жизнь и про архитектуру решения в облаке. Обязательно дочитайте до конца — компания Tion подготовила небольшой подарок специально для наших читателей.
Читать полностью »
Чуть больше месяца назад публичную доступность получил DevTest Labs — новый сервис Microsoft Azure для создания облачных окружений разработки и тестирования.
Если вкратце, то DevTest Labs представляет собой лабораторию для создания наборов виртуальных машин на базе образов Windows и/или Lunux. Вы можете использовать как множество готовых образов (в том числе из галереи Azure Marketplace), так и загружать свои собственные из VHD файлов.
Читать полностью »