- PVSM.RU - https://www.pvsm.ru -
Пятого июня Apache Software Foundation впервые за два года выпустила [1] обновление фреймворка для разработки и выполнения распределённых программ Apache Hadoop. Версия Apache Hadoop 2.8 получила ряд улучшений, связанных с облачными технологиями и безопасностью.
[2]/ фото Jermaine Janszen [3] CC [4]
Хотя большинство клиентов используют фреймворк для работы с физическими кластерами и устройствами хранения в собственных дата-центрах, новая версия делает упор на функции для пользователей, работающих с Hadoop в облачных инфраструктурах. Значительный вклад в релиз сделали такие компании, как Microsoft и Amazon Web Services, поэтому одним из нововведений является поддержка Microsoft Azure Data Lake.
Релиз Apache Hadoop 2.8, явившийся [5] результатом двухлетней работы и вобравший в себя почти 3 тыс. коммитов, также получил важные улучшения в безопасности, включая защиту от атак вида Cross-Frame Scripting (XFS) в Hadoop UI и атак Cross-Site Request Forgery (CSRF) в Hadoop REST API.
Значительные улучшения были произведены в области масштабирования, производительности и безопасности у клиента S3A, предназначенного для работы с данными в облаке Amazon S3. Разработчикам удалось достигнуть скорости работы клиента, которая не уступает закрытому решению Amazon EMR.
Также были сделаны улучшения в WebHDFS: реализована фильтрация CSRF-атак, поддержка OAuth2, разрешение/запрет снапшотов. Была улучшена интеграция с другими приложениями благодаря вынесению hdfs-клиента в отдельный JAR-файл.
Разработчики также изменили систему для планирования заданий и управления кластером YARN, чтобы упростить облачные разработки. Это позволит операторам адаптироваться к нагрузке на систему, при необходимости масштабируя кластеры Hadoop.
Полный список функций, улучшений и исправлений Apache Hadoop 2.8 можно найти по ссылке [6].
P.S. О чем еще мы пишем в Первом блоге о корпоративном IaaS:
Автор: it_man
Источник [13]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/apache-2/257292
Ссылки в тексте:
[1] выпустила: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces14
[2] Image: https://habrahabr.ru/company/it-grad/blog/330336/
[3] Jermaine Janszen: https://www.flickr.com/photos/129772674@N05/16923357615/
[4] CC: https://creativecommons.org/licenses/by/2.0/
[5] явившийся: https://siliconangle.com/blog/2017/06/05/apache-hadoops-first-update-2-years-focuses-cloud-deployments-security/
[6] ссылке: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/release/2.8.0/RELEASENOTES.2.8.0.html
[7] На что обратить внимание при выборе услуги облачного PCI DSS хостинга: http://iaas-blog.it-grad.ru/на-что-обратить-внимание-при-выборе-услуги-облачного-pci-dss-хостинга
[8] Знакомство с vCloud Director 8.10: обзор функциональных изменений: http://iaas-blog.it-grad.ru/знакомство-с-vcloud-director-8.10-обзор-функциональных-изменений
[9] vCloud Director 8.10: для чего нужны Virtual Machine Affinity Rules: http://iaas-blog.it-grad.ru/vcloud-director-8.10-для-чего-нужны-virtual-machine-affinity-rules
[10] Тонкости импорта vApp в vCloud Director: http://iaas-blog.it-grad.ru/тонкости-импорта-vapp-в-vcloud-director
[11] vCloud Director: как создать безопасное подключение между двумя организациями: http://iaas-blog.it-grad.ru/vcloud-director-как-создать-безопасное-подключение-между-двумя-организациями
[12] vCloud Availability: глубокое погружение в репликацию трафика: http://iaas-blog.it-grad.ru/vcloud-availability-глубокое-погружение-в-репликацию-трафика
[13] Источник: https://habrahabr.ru/post/330336/
Нажмите здесь для печати.