- PVSM.RU - https://www.pvsm.ru -
Apache Software Foundation выпустила свежий релиз своей платформы — Apache Hadoop 3.3.0 [1]. С момента последнего обновления прошло полтора года. Сама платформа представляет собой инструмент для организации распределенной обработки больших объемов данных с использованием MapReduce. Hadoop включает в себя набор утилит, библиотек и фреймворков для разработки и выполнения распределенных программ, которые способны работать на кластерах из тысяч узлов.
Для Hadoop создана специализированная файловая система Hadoop Distributed File System (HDFS), которая обеспечивает резервирование данных и оптимизацию работы MapReduce-приложений. HDFS предназначена для хранения файлов больших размеров, распределенных между отдельными узлами вычислительного кластера. Благодаря своим возможностям Hadoop используется крупнейшими компаниями и организациями. Google даже предоставила Hadoop право на использование технологий, которые затрагивают патенты, связанные с методом MapReduce.
В общем, встречаем Apache Hadoop 3.3.0 [2].
Вот список самых важных изменений в новой версии:
Благодаря тому, что Hadoop активно развивается, рынок решений на его основе быстро растет. Если в 2019 году объем рынка составлял около $1,7 млрд, то, по прогнозам экспертов, к 2024 году он достигнет $9,4 млрд.
Сейчас Hadoop занимает первое место [2] среди репозиториев Apache по числу вносимых изменений. Размер кодовой базы платформы составляет около 4 млн строк. Наиболее крупные хранилища — Netflix, Twitter, Facebook.
Автор: Seleditor
Источник [5]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/apache-2/355611
Ссылки в тексте:
[1] Apache Hadoop 3.3.0: https://blogs.apache.org/hadoop/entry/announce-apache-hadoop-3-3
[2] Apache Hadoop 3.3.0: https://www.opennet.ru/opennews/art.shtml?num=53476
[3] вот ссылка: https://selectel.ru/lab/arm-server/
[4] через Resource Manager: https://issues.apache.org/jira/browse/YARN-5220
[5] Источник: https://habr.com/ru/post/513594/?utm_source=habrahabr&utm_medium=rss&utm_campaign=513594
Нажмите здесь для печати.