В данном примере мы разберем создание и выполнение типового задания MapReduce в облачной реализации Hadoop от Microsoft, которая носит название HDInsight.
В предыдущем примере мы создали 3-узловой кластер Hadoop и загрузили абстрактный журнал слабоструктурированного формата, который сейчас предстоит обработать. Журнал представляет собой в общем случае большой (в нашем конкретном примере маленький, но на принципиальную демонстрацию идеи это не влияет) текстовый файл, содержащий строки с признаками TRACE, DEBUG, INFO, WARN, ERROR, FATAL. Наша элементарная задача будет состоять в том, чтобы подсчитать количество строк с каждым признаком, т.е. сколько раз возникала ситуация WARN, сколько ERROR и т.д.
Читать полностью »
Рубрика «azure» - 36
MapReduce для обработки слабоструктурированных данных в HDInsight
2013-03-18 в 4:18, admin, рубрики: azure, Hadoop, Блог компании Microsoft, метки: azure, HadoopWindows Azure для образования
2013-03-14 в 10:11, admin, рубрики: azure, windows azure, Облачные вычисления, метки: azure, облачные вычисленияВ этой статье рассказывается о том, как любой преподаватель информатики может совершенно бесплатно воспользоваться Windows Azure в образовательных целях для проведения занятий, включающих в себя практическую работу обучаемых.
Вступление
В нашем учебном центре (подробнее о нем я расскажу как-нибудь в другой раз) мы стараемся строить работу исходя из минимальных затрачиваемых усилий. Не для всех в нашей команде работа в учебном центре является основной, поэтому логика очевидна.
Проблема
Как известно, образование (в том числе высшее) в России не успевает за технологиями. Если и есть из этого правила исключения, то они только подтверждают наличие правила. В чем проблема? Проблема, конечно, сложная и неоднозначная, но вот в чем ее корень.
Администрирование компьютерных классов учебного заведения – крайне сложный процесс. Он сложный потому, что часто требует затрат (админы не всегда работают за булочки). Рассмотрим стандартную ситуацию.
Читать полностью »
Вышел Veeam Backup Cloud Edition с поддержкой Azure, Amazon, Google, HP Cloud и ряда других облачных платформ
2013-02-13 в 15:36, admin, рубрики: amazon, azure, Cloud Backup, Google, hyper-v, Veeam, VMware, виртуализация, метки: amazon, azure, Cloud Backup, Google, hyper-v, Veeam, vmwareВышел Veeam Backup Cloud Edition — продукт для резервного копирования виртуальных сред VMware vSphere и Microsoft Hyper-V, который позволяет выполнять резервное копирование в любую из лидирующих в настоящий момент облачных платформ, поддерживающих OpenStack, таких как Windows Azure, Amazon S3, Amazon Glacier, Google, Rackspace, HP Cloud и ряда других (всего 15 платформ). В таком сценарии облако может выступать в роли альтернативы лентам и внеофисному хранению резервных копий, так как среднегодовая отказоустойчивость такого облачного хранилища, как, например, Amazon Glacier составляет 99.999999999%.Читать полностью »
Прототип голосового списка покупок для WP8, Win8, Android c бекендом в Azure за 2,5 часа
2012-11-13 в 11:13, admin, рубрики: .net, azure, Mono, Mono и Moonlight, monodroid, Windows 8, WP7, wp8, разработка под windows phone, метки: azure, Mono, monodroid, Windows 8, wp7, wp8 С 9 по 11 ноября проходил Windows 8 Хакатон RUWOWZAPP, куда я сначала зарегистрировался как участник, а потом удостоился чести присутствовать на мероприятии в качестве эксперта. Будучи в качестве эксперта я познакомиться со множеством замечательных людей и их проектов. Было настолько интересно что продолжал консультировать даже по ночам, и на сон оставалось 4-5 часов. Я настолько заразился позитивом и энергией и желанием людей создавать, что тоже не удержался от создания своего небольшого прототипа приложения — Списка покупок с поддержкой распознавания голоса.
За пару часов мне удалось сделать функциональный прототип, демонстрирующий идею приложения, с клиентами для WP, Win8, Android
Мне не хотелось участвовать в конкурсе приложений с таким сырым прототипом, но мне очень хотелось показать то что я сделал за пару часов, и в последний момент, перед выступлением последнего участника встал в очередь на выступление, и ведущий позволил мне продемонстрировать свои поделки:
Приложение вызвало большой интерес у участников хакатона и фактически это обещанная статья со всеми ответами на вопросы, на которые тогда у меня не хватило времени.
Для тех кто хочет сразу посмотреть код, исходники можно скачать здесь
А остальных прошу под кат.
Читать полностью »
Мобильные сервисы, блобы и Windows 8. Храним данные в облаке
2012-11-07 в 15:52, admin, рубрики: .net, azure, blob, microsoft, mobile services, Windows 8, windows azure, WinRT, метки: .net, azure, blob, mobile services, Windows 8, winrt 
Добрый день.
Мы живем в мире тотальной глобализации как в реальной жизни, так и в виртуальной. Я имею в виду, что нам хочется иметь одни и те же данные, одни и те же настройки и одно и то же поведение программ на разных устройствах. Такой синхронизации всего и вся в наше время легко добиться с помощью облаков. Об этом и пойдет речь в данной статье, а именно о скрещивании приложения для Windows 8 (WinRT) с облаком Windows Azure для хранения данных и метаданных.
Вводная
Итак, предположим, что у нас есть приложение для Windows 8 (пусть это будет сервис хранения неких текстовых записей), которое:
1) Должно отображать список записей с минимальной информацией о каждой из них (допустим, заголовок или дату создания). Назовем это метаданными.
2) Должно иметь возможность показать подробную информацию о записи (контент) при переходе к конкретному элементу. Назовем это данными.
3) Должно синхронизировать данные между различными устройствами под управлением Windows 8 (создал запись дома, просмотрел ее же на работе).
Наиболее правильный подход, который я вижу, это разбить данные и метаданные и хранить их в разных местах. Это позволит нам быстро получить небольшие по объему метаданные для отображения в виде списке, и подгружать «тяжелые» данные по запросу пользователя.
По ходу этой статьи мы познакомимся с Windows Azure Mobile Services для хранения метаданных и Windows Azure Blob Storage для хранения данных. Впереди много текста и картинки.
Читать полностью »
Дружим System.Web.Optimization Bundle с Windows Azure Storage
2012-11-06 в 14:42, admin, рубрики: .net, azure, blob, caching, windows, windows azure, метки: .net, azure, blob, caching, windows 
Я все ждал, ждал, ждал, когда же все-таки умные ребята, разрабатывающие System.Web.Optimization добавят поддержку автоматической загрузки содержимого бандла в контейнер Azure Storage. На днях вышла «1.0.0-beta2», но желаемого функционала так я и не нашел, а быстроты то хочется...Читать полностью »
Создание игрового сервера на базе Azure
2012-10-26 в 10:17, admin, рубрики: azure, game server, wcf, windows azure, Песочница, метки: azure, game server, WCFВ процессе реализации одной игры для Windows RT потребовалось сделать мультиплеер на 2 игрока. При этом необходима была поддержка кроссплатформенной игры между WinRT и Windows phone 7.5. Сервисов предоставляющих такую возможность обнаружено не было, поэтому я решил написать свой простой сервер, который бы просто пересылал сообщения от одного клиента другому в реальном времени. Так как у меня есть только аккаунт Azure, реализацию было решено делать под него. При этом Azure обеспечивает легкое масштабирование, отличную консоль управления (новый интерфейс) и много сервисов облегчающих разработку. Ну и главная для меня особенность разработки под Azure: возможность разработки на C# и Visual Studio 2012.
Под катом описание разработки и разворачивания сервера в облаке.
Читать полностью »
Ферма SharePoint 2013 в Windows Azure. SharePoint 2013
2012-10-11 в 10:16, admin, рубрики: azure, microsoft, powershell, sharepoint, sharepoint 2013, virtual machine, windows azure, метки: azure, powershell, sharepoint 2013, virtual machine 
Это продолжение цикла статей, посвященного созданию фермы SharePoint 2013 в Windows Azure. Первые главы вы можете найти по следующим ссылкам:
- Ферма SharePoint 2013 в Windows Azure. AD DC
- Ферма SharePoint 2013 в Windows Azure. SQL Server 2012
- Ферма SharePoint 2013 в Windows Azure. SharePoint 2013 (эта статья)
В этой статье рассмотрим, как добавить в домен SharePoint 2013 и дальнейшие действия для его настройки.
Читать полностью »
Виртуальная машина SQL Server 2012 в Облаке — подключение
2012-10-08 в 5:06, admin, рубрики: azure, iaas, sql server, Блог компании Microsoft, метки: azure, IaaS, sql serverВ предыдущем посте мы создали в Azure виртуальную машину из галереи с предустановленной на ней пробной версией SQL Server 2012. К машине можно подключиться через удаленное соединение и выполнять административные задачи, в том числе администрировать SQL Server, т.к. на ней изначально имеются все необходимые компоненты, включая SSMS. С практической стороны наиболее распространенными являются не чисто облачные, а гибридные сценарии, когда данные частью хранятся в Облаке, а частью — в on-premise БД. Для их совместной обработки потребуется «сопрячь» свежесозданный SQL Server в Azure с on-premise SQL Server. Для начала было бы неплохо увидеть SQL Server на облачной виртуалке из локальной SSMS. Читать полностью »
Ферма SharePoint 2013 в Windows Azure. SQL Server 2012
2012-10-04 в 9:58, admin, рубрики: azure, microsoft, powershell, sharepoint, sharepoint 2013, sql server 2012, virtual machine, Облачные вычисления, метки: azure, powershell, sharepoint 2013, sql server 2012, virtual machine 
Это продолжение цикла статей, посвященного созданию фермы SharePoint 2013 в Windows Azure. Первые главы вы можете найти по следующим ссылкам:
- Ферма SharePoint 2013 в Windows Azure. AD DC
- Ферма SharePoint 2013 в Windows Azure. SQL Server 2012 (эта статья)
В этой статье рассмотрим, как добавить в домен SQL Server 2012 и дальнейшие действия для его настройки.
Читать полностью »