5 трендов в области анализа и обработки данных в 2015 году

Начало года самое время для прогнозов и предсказаний. В этом посте я собрал обзор трендов в области аналитики и систем обработки данных на 2015 год.

С каждым годом все больше компаний приходят к выводу, что правильное использование аналитических систем и систем обработки больших массивов данных дает существенное конкурентное преимущество на рынке. Такая ситуация приводит к активному развитию аналитических отделов в компаниях и существенным инвестициям в инфраструктуру обработки данных.

Согласно различным отчетам ^[1] ежегодный прирост затрат на развитие систем аналитики и обработки данных составляет 20% — 30%. Прогнозируемый суммарный объем затрат на системы обработки данных и аналитические сервисы в 2015 году составит ~3B$.

Большой спрос на аналитические системы и существенные инвестиции являются сильным драйвером для быстрого развития индустрии больших данных и появления огромного числа новых продуктов и решений.

Согласно исследованиям крупных консалтинговых компаний, таких как Deloitte ^[2] и Forrester ^[3], в 2015 году можно будет выделить следующие основные тренды в области анализа и обработки данных.

• Автоматизация и коммодизация процессов обработки данных
• Развитие аналитических систем реального времени
• Появление новых инструментов для анализа данных датчиков и различных устройств
• Развитие когнитивных систем и систем автоматического принятия решения
• Изменения в законодательстве связанные с хранением и обработкой данных

1. Автоматизация и коммодизация процессов обработки данных

Большие затраты на техническое обслуживание систем хранения и обработки данных заставляют компании искать более дешевые решения. Одним из таких решений является отказ от собственных дата-центров и переход на облачные технологии хранения и анализа данных такие как Amazon WS ^[4], Microsoft Azure ^[5].

Острая нехватка специалистов в области анализа данных служит хорошим стимулом для развития автоматизированных инструментов, не требующих глубоких знаний в области технологий и ориентированных на решение бизнес задач. В качестве примера таких инструментов можно привести Tableau ^[6], IBM Watson ^[7] и Azure Machine Learning ^[8].

Отдельно стоит отметить развитие систем автоматической предобработки сырых и неструктурированных данных подобных OpenRefine ^[9] и DataWrangler ^[10].

2. Развитие аналитических систем реального времени

Традиционных аналитических решений на основе реляционных баз данных и OLAP технологий, требующих сравнительно большого количества времени для обработки запросов и формирования отчетов уже недостаточно для решения современных бизнес задач.

Компаниям для принятия эффективных решений нужно анализировать данные в реальном времени. Это приведет к развитию технологий потоковой обработки данных и быстрого доступа к данным, хранящимся в оперативной памяти. Одними из первых продуктов предназначенных для решения этих задач являются Apache Storm ^[11] и Cloudera Impala ^[12].

3. Появление новых инструментов для анализа данных датчиков и различных устройств

Носимая электроника и интернет вещей продолжат активно развиваться в 2015 году. Подобные гаджеты уже находят широкое применение в сфере развлечений и мониторинга здоровья. Анализируя информацию с этих устройств можно повысить эффективность их использования.

Широкое распространение гаджетов приводит к появлению новых задач связанных с анализом сигналов различного рода датчиков и сенсоров. В отличие от транзакционных данных, данные сенсоров могут быть зашумлены и подвержены искажениям, что в свою очередь требует особого подхода к обработке подобных сигналов. Для задач связанных со сбором и анализом информации с датчков будут созданы специальные инструменты.

Также будут активно развиваться стандарты по интеграции датчиков и аналитических систем, что позволит существенно ускорить развитие интернета вещей в целом.

Отдельно стоит отметить, что данные носимой электроники позволят собирать больше информации о поведении и предпочтениях пользователей, что скорее всего приведет к появлению новых игроков на рынке данных ^[13].

4. Развитие когнитивных систем и систем автоматического принятия решения

Эксперты прогнозируют активное развитие технологий в области взаимодействия человека и искусственного интеллекта. В частности, развитие систем автоматического принятия решений в бизнес процессах, систем анализа текстовой информации, голоса, изображений и видео. Среди уже существующих продуктов можно отметить такие как Google Now ^[14] и Word Lense ^[15].

5. Изменения в законодательстве связанные с хранением и обработкой данных

Уже сегодня мы ежедневно генерируем так много данных, что по ним можно достаточно точно составить портрет каждого человека, выявить его предпочтения и узнать личную информацию. С развитием интернета вещей и появлением новых гаджетов объем данных будет только увеличиваться, а вместе с этим будет увеличиваться доля личной информации хранимой в дата-центрах.

Такое развитие ситуации приведет к повышению социального давления на сервисы и компании, имеющие непосредственное отношение к обработке подобного рода данных, что приведет к вмешательству регулятора и появлению новых законов ограничивающих использование личной информации и определяющих требования к безопасности хранения данных.

Вероятно, новые требования заставят пересмотреть архитектурные решения компаний и приведут к появлению гибридных систем при которых часть данных вместо облака будет хранится в защищенных локальных дата-центрах.

Заключение

Несмотря на большие достижения за предыдущие периоды, 2015 год обещает быть очень интересным с точки зрения развития аналитических систем и появления новых возможностей для революционных решений в области обработки и анализа данных.

А что вы думаете о трендах в аналитике и системах обработки данных на 2015 год? Какие из уже существующих технологий будут востребованы в этом году? Какие задачи еще только предстоит решить? Давайте обсудим в комментариях.

Материалы

www.lavastorm.com/assets/Forrester-Predictions-2015-Agile-Features-Keep-the-BI-Market-Moving.pdf ^[16]
public.deloitte.com/media/analytics/trends/pdf/us-da-analytics-analytics-trends-2015.pdf ^[17]
research.gigaom.com/report/outlook-big-data-and-analytics-in-2015 ^[18]
channels.theinnovationenterprise.com/articles/big-data-top-trends-in-2015 ^[19]

Автор: a4tunado

Источник ^[20]