- PVSM.RU - https://www.pvsm.ru -
Корпорация IBM уже заявляла [1] о том, что Apache Spark для Linux будет поддерживаться zSystems. Такая поддержка будет осуществляться в рамках проекта «аналитика на мейнфреймах». Благодаря этому специалисты по дата-майнингу смогут использовать Apache Spark на мощных мейнфреймах zSystems.
Кроме того, заявлялось [2], что Apache Spark будет работать не только как сервис на платформе Bluemix, а систему также интегрируют и с другими облачными и аналитическими решениями, включая NoSQL-решение Cloudant и облачную платформу для хранения данных SashDB. Разработчики, используя Bluemix, смогут интегрировать свои проекты с аналитическими решениями и СУБД от IBM.
Сейчас IBM уже выполнила большинство своих обещаний относительно Apache Spark. Во-первых, корпорация облегчила и ускорила доступ организаций к возможностям анализа данных с использованием мейнфреймов zSystems. Это создает новые пути для специалистов по изучению данных и разработчиков.
IBMz/OS Platform for ApacheSpark позволяет open-source фреймворку Spark работать нативно на ОС z/OS. А это в свою очередь обеспечивает возможность изучения получаемых данных в режиме реального времени «в полевых условиях», то есть без необходимости извлекать, преобразовывать и загружать (ETL) исходную информацию. К примеру, представители бизнеса могут анализировать корпоративные данные (продажи, тенденции рынка и т.п.), на лету изменяя и подстраивая свою работу под нужды рынка.
Ученые могут работать с данными в ходе любого эксперимента, получая подробнейшие отчетыо ходе такой работы в режиме реального времени. То есть задержки между получением информации и ее анализом с выдачей обработанных данных практически нет.
Сейчас zSystems работают во многих сферах, включая науку, банковское дело, транспорт, страховой бизнес. Мейнфрейм и его ПО анализируют транзакции и данные моментально, строя одновременно предиктивную модель в рамках текущей операции. Связка Spark и zSystems помогает экономить время, усилия и деньги. Поскольку Spark поддерживает и машинное обучение, и распознавание естественных языков, и технологию обработки изображений, равно как и предлагает большое количество других возможностей, IBM рассматривает Spark также как полноценное окружение для работы с данными. К примеру, при помощи сервиса IBM Datacap, являющегося частью Insight Cloud Services, клиент может провести автоматическую классификацию и распознавание содержимого документа, включая его формат и структуру, текстовую и числовую информацию.
Есть и другие преимущества новой платформы:
В целом, z/OSPlatform для Apache Spark позволяет специалистам по обработке данных и разработчикам использовать собственные форматы и инструменты для сбора и анализа информации. При необходимости предоставляемый инструмент можно настроить под себя.
У проекта сейчас довольно развитая экосистема. С платформой так или иначе связана деятельность 3500 исследователей IBM и разработчиков, которые создают собственные проекты на этом фреймворке. Свои наработки специалисты могут выкладывать на GitHub [3].
IBMz/OS Platform для Apache Spark уже доступен для загрузки [4].
Автор: IBM
Источник [5]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/ibm/141568
Ссылки в тексте:
[1] уже заявляла: https://habrahabr.ru/company/ibm/blog/265505/
[2] заявлялось: https://habrahabr.ru/company/ibm/blog/274575/
[3] выкладывать на GitHub: http://zos-spark.github.io/
[4] доступен для загрузки: http://www.ibm.com/systems/z/os/zos/apache-spark.html
[5] Источник: https://geektimes.ru/post/277602/
Нажмите здесь для печати.