Пятого июня Apache Software Foundation впервые за два года выпустила обновление фреймворка для разработки и выполнения распределённых программ Apache Hadoop. Версия Apache Hadoop 2.8 получила ряд улучшений, связанных с облачными технологиями и безопасностью.
/ фото Jermaine Janszen CC
Хотя большинство клиентов используют фреймворк для работы с физическими кластерами и устройствами хранения в собственных дата-центрах, новая версия делает упор на функции для пользователей, работающих с Hadoop в облачных инфраструктурах. Значительный вклад в релиз сделали такие компании, как Microsoft и Amazon Web Services, поэтому одним из нововведений является поддержка Microsoft Azure Data Lake.
Релиз Apache Hadoop 2.8, явившийся результатом двухлетней работы и вобравший в себя почти 3 тыс. коммитов, также получил важные улучшения в безопасности, включая защиту от атак вида Cross-Frame Scripting (XFS) в Hadoop UI и атак Cross-Site Request Forgery (CSRF) в Hadoop REST API.
Значительные улучшения были произведены в области масштабирования, производительности и безопасности у клиента S3A, предназначенного для работы с данными в облаке Amazon S3. Разработчикам удалось достигнуть скорости работы клиента, которая не уступает закрытому решению Amazon EMR.
Также были сделаны улучшения в WebHDFS: реализована фильтрация CSRF-атак, поддержка OAuth2, разрешение/запрет снапшотов. Была улучшена интеграция с другими приложениями благодаря вынесению hdfs-клиента в отдельный JAR-файл.
Разработчики также изменили систему для планирования заданий и управления кластером YARN, чтобы упростить облачные разработки. Это позволит операторам адаптироваться к нагрузке на систему, при необходимости масштабируя кластеры Hadoop.
Полный список функций, улучшений и исправлений Apache Hadoop 2.8 можно найти по ссылке.
P.S. О чем еще мы пишем в Первом блоге о корпоративном IaaS:
- На что обратить внимание при выборе услуги облачного PCI DSS хостинга
- Знакомство с vCloud Director 8.10: обзор функциональных изменений
- vCloud Director 8.10: для чего нужны Virtual Machine Affinity Rules
- Тонкости импорта vApp в vCloud Director
- vCloud Director: как создать безопасное подключение между двумя организациями
- vCloud Availability: глубокое погружение в репликацию трафика
Автор: it_man
