- PVSM.RU - https://www.pvsm.ru -
Спешим сообщить вам о нашей новой инициативе, которая будет интересна как программистам, так и ряду других IT-специалистов: 27 сентября, в следующую субботу, в московском офисе Mail.Ru Group состоится первая встреча HadoopKitchen. Почему именно Hadoop и чем эта встреча может быть интересна непрограммистам?
Программа первой Hadoop-встречи будет очень насыщенной, выступят аж четыре докладчика. Все они замечательные специалисты с большим опытом, которым хотят поделиться с аудиторией. Под катом читайте программу мероприятия и анонсы докладов.
Программа мероприятия:
11:00 Регистрация и welcome coffee.
12:00 Алексей Филановский (Cloudera Certified Developer for Apache Hadoop, старший консультант отдела продаж, Oracle) расскажет о новых интересных возможностях Hadoop v2. Конечно, это не будет сухим перечислением с краткими описаниями, Алексей также разберёт разные сценарии использования этих возможностей, а заодно расскажет о некоторых примерах из практики.
Hadoop-экосистема набирает популярность семимильными шагами, все больше и больше пользователей начинают использовать ее не только для синтетических тестов, для удовлетворения собственного любопытства, но и в продуктивной среде предприятия. Данный факт объясняет бурное развитие продукта. Больше пользователей, больше пожеланий для разработчиков. В рамках данного доклада будут освещены основные возможности, появившиеся в Hadoop v2.
13:00 Никита Макеев (Data Team lead, IponWeb) поведает собравшимся особые знания о том, как можно расширить возможности Hadoop Streaming при работе с современными форматами данных Avro и Parquet.
Map-Reduce, Avro и Parquet без Java. Ну почти. Hadoop Streaming — отличный способ оседлать Hadoop в частности и пакетную обработку больших объемов данных вообще. Почти не нужно знать Java, а только примерно представлять, как работает MapReduce, и уметь писать на каком-нибудь языке программирования, который может обрабатывать строчки текста. Практически любая задача, которая может быть решена при помощи MapReduce, может быть также решена и при помощи Hadoop Streaming. Преимущества очевидны — простота разработки, нет проблем с кадрами, невысокие затраты на вхождение.
Одно из наиболее распространенных применений Hadoop Streaming — обработка текстовых логов или других данных, представленных в виде текста. Однако популярность стремительно завоевывают более сложные, чем просто текст, форматы. Можно ли сохранить возможность обрабатывать данные при помощи скриптовых языков и при этом использовать все преимущества, которыми обладают современные форматы данных, такие как Avro и Parquet?
Мы справляемся с этой задачей, используя некоторое количество Java-кода и JSON как связующее звено. Как водится, везде есть нюансы, особенности, а зачастую и особые уникальные «грабли» о которых и будет рассказано.
14:00 Максим Лапань (ведущий программист проекта Поиск, Mail.Ru Group) расскажет увлекательную историю о том, как в Mail.Ru Group осуществляется управление кластерами Hadoop. Докладчик не обойдёт стороной и те трудности, которые вставали на пути команды разработчиков по мере развития и расширения системы. Доклад будет посвящен практической стороне эксплуатации кластера Hadoop/HBase, на протяжении последних трех лет используемого в проекте Поиск Mail.Ru. За это время система выросла с 30 до 400 серверов, объем хранилища с 400ТБ до 9ПБ. Темы, которые планируется затронуть:
15:00 Обед. Война войной, а обед по расписанию.
С 15:45 до 17:45 в формате World Cafe все желающие смогут принять участие в совместном определении и обсуждении наиболее животрепещущих вопросов эксплуатации Hadoop.
В 18:00 Алексей Грищенко (Pivotal Enterprise Architect, EMC Corporation) выступит с докладом о том, какие особенности и нюансы характерны для архитектурного решения Pivotal HAWQ, а также расскажет о его взаимодействии с Hadoop. В рамках доклада будут освещены следующие темы:
Обязательно возьмите с собой документ, удостоверяющий личность, у нас строгая охрана. Также вам необходимо будет зарегистрироваться [2].
Автор: TeamMRG
Источник [3]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/vy-sokaya-proizvoditel-nost/69868
Ссылки в тексте:
[1] Image: http://habrahabr.ru/company/mailru/blog/237131/
[2] зарегистрироваться: http://www.meetup.com/Hadoop-Moscow/events/195025402/
[3] Источник: http://habrahabr.ru/post/237131/
Нажмите здесь для печати.