- PVSM.RU - https://www.pvsm.ru -

Вышло обновление Apache Hadoop впервые за два года

Пятого июня Apache Software Foundation впервые за два года выпустила [1] обновление фреймворка для разработки и выполнения распределённых программ Apache Hadoop. Версия Apache Hadoop 2.8 получила ряд улучшений, связанных с облачными технологиями и безопасностью.

Вышло обновление Apache Hadoop впервые за два года - 1 [2]/ фото Jermaine Janszen [3] CC [4]

Хотя большинство клиентов используют фреймворк для работы с физическими кластерами и устройствами хранения в собственных дата-центрах, новая версия делает упор на функции для пользователей, работающих с Hadoop в облачных инфраструктурах. Значительный вклад в релиз сделали такие компании, как Microsoft и Amazon Web Services, поэтому одним из нововведений является поддержка Microsoft Azure Data Lake.

Релиз Apache Hadoop 2.8, явившийся [5] результатом двухлетней работы и вобравший в себя почти 3 тыс. коммитов, также получил важные улучшения в безопасности, включая защиту от атак вида Cross-Frame Scripting (XFS) в Hadoop UI и атак Cross-Site Request Forgery (CSRF) в Hadoop REST API.

Значительные улучшения были произведены в области масштабирования, производительности и безопасности у клиента S3A, предназначенного для работы с данными в облаке Amazon S3. Разработчикам удалось достигнуть скорости работы клиента, которая не уступает закрытому решению Amazon EMR.

Также были сделаны улучшения в WebHDFS: реализована фильтрация CSRF-атак, поддержка OAuth2, разрешение/запрет снапшотов. Была улучшена интеграция с другими приложениями благодаря вынесению hdfs-клиента в отдельный JAR-файл.

Разработчики также изменили систему для планирования заданий и управления кластером YARN, чтобы упростить облачные разработки. Это позволит операторам адаптироваться к нагрузке на систему, при необходимости масштабируя кластеры Hadoop.

Полный список функций, улучшений и исправлений Apache Hadoop 2.8 можно найти по ссылке [6].

P.S. О чем еще мы пишем в Первом блоге о корпоративном IaaS:

Автор: it_man

Источник [13]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/apache-2/257292

Ссылки в тексте:

[1] выпустила: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces14

[2] Image: https://habrahabr.ru/company/it-grad/blog/330336/

[3] Jermaine Janszen: https://www.flickr.com/photos/129772674@N05/16923357615/

[4] CC: https://creativecommons.org/licenses/by/2.0/

[5] явившийся: https://siliconangle.com/blog/2017/06/05/apache-hadoops-first-update-2-years-focuses-cloud-deployments-security/

[6] ссылке: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/release/2.8.0/RELEASENOTES.2.8.0.html

[7] На что обратить внимание при выборе услуги облачного PCI DSS хостинга: http://iaas-blog.it-grad.ru/на-что-обратить-внимание-при-выборе-услуги-облачного-pci-dss-хостинга

[8] Знакомство с vCloud Director 8.10: обзор функциональных изменений: http://iaas-blog.it-grad.ru/знакомство-с-vcloud-director-8.10-обзор-функциональных-изменений

[9] vCloud Director 8.10: для чего нужны Virtual Machine Affinity Rules: http://iaas-blog.it-grad.ru/vcloud-director-8.10-для-чего-нужны-virtual-machine-affinity-rules

[10] Тонкости импорта vApp в vCloud Director: http://iaas-blog.it-grad.ru/тонкости-импорта-vapp-в-vcloud-director

[11] vCloud Director: как создать безопасное подключение между двумя организациями: http://iaas-blog.it-grad.ru/vcloud-director-как-создать-безопасное-подключение-между-двумя-организациями

[12] vCloud Availability: глубокое погружение в репликацию трафика: http://iaas-blog.it-grad.ru/vcloud-availability-глубокое-погружение-в-репликацию-трафика

[13] Источник: https://habrahabr.ru/post/330336/