- PVSM.RU - https://www.pvsm.ru -

Gartner Data & Analytics Summit 2018

19-21 марта в Лондоне состоялась конференция Gartner Data & Analytics Summit [1]. Я был посетителем этого мероприятия и хочу поделиться с вами своими мыслями и наблюдениями.
Gartner Data & Analytics Summit 2018 - 1

Я был знаком с деятельностью компании Gartner задолго до конференции благодаря знаменитым «волшебным квадрантам» и «циклам хайпа». Отправляясь на конференцию, я сформулировал следующие личные цели:
1. Открыть для себя что-то новое в самой компании Gartner;
2. Поискать новые идеи в области работы с данными;
3. Ну и бонусом — поучиться искусству публичных выступлений у специалистов мирового уровня (но эта тема выходит за рамки этой статьи).

Ожидание, что организаторы смогут меня удивить чем-то новым, сформировалось чисто умозрительно. Компания, изучающая высокотехнологичный и динамичный цифровой рынок, наверняка сама должна была демонстрировать лучшие практики этого рынка при проведении конференции.
Первое, что хочется отметить, это мобильное приложение конференции — Gartner Events Navigator [2]. Сначала, глядя на требуемые привилегии, я не хотел его устанавливать, т.к. опасался, что не получу ничего ценного для себя (помимо того, что уже есть на сайте), но зато предоставлю очень много данных о себе сторонней компании. Но, прочитав все возможности приложения, я установил его и в итоге был очень приятно удивлен, насколько востребованным и продуманным его сделали авторы. Судите сами, в приложении вы получаете:
а) Персональный планировщик с возможностью смотреть расписание, запланировать посещение понравившихся презентаций и скачать материалы в PDF на телефон
б) Социальная сеть и чат участников
в) Схема расположения залов
г) Инструменты обратной связи
д) Рекомендательный сервис, который подберет лучшие презентации к посещению в зависимости от ваших интересов.

Gartner Data & Analytics Summit 2018 - 2

Я активно пользовался приложением все три дня и я думаю, со мной произошло то, о чем недавно говорили эксперты из области этики больших данных — пользователи будут охотно сами делиться своими персональными данными с приложением, если будут понимать, какую ценность получают взамен.

Второе, что хотелось бы отметить, это оцифрованность людских потоков на конференции.
Каждый участник конференции носил на себе бейдж со штрих-кодом, а на входе в каждый зал и у каждой демонстрационной будки организаторы с помощью вот такого устройства сканировали всех посетителей, проявлявших интерес именно к этой теме:

Gartner Data & Analytics Summit 2018 - 3

Учитывая, что каждый участник при регистрации указал достаточно профессиональной информации о себе, всего было примерно 1500 участников, а мероприятие длилось 3 дня, весь этот интернет вещей людей сгенерировал очень интересный массив данных, который, помимо непосредственного изучения, наверняка можно еще и монетизировать.

Плюс что понравилось еще — каждое выступление начиналось и заканчивалось строго вовремя, минута в минуту.

Переходя к самой конференции, нельзя не отметить сверхнасыщенную (pdf) [3] повестку. Было несколько типов мероприятий: презентации, круглые столы и мастер-классы и выставка с более чем 50 вендорами. Нужно было заранее принять, что все 100% мероприятий посетить не получится, с самого начала нужно настраиваться на компромисс и осуществлять мучительный выбор.
Для меня интересно уже пост-фактум проанализировать статистику тем, затронутых на конференции (презентации и круглые столы):

Gartner Data & Analytics Summit 2018 - 4

С моей точки зрения, такая диспропорция в пользу Data Governance является несколько искусственной. Мне показалось, что истинным лидером с точки зрения пользовательского интереса была тема «AI & ML», во всяком случае, мне не удалось попасть ни на один круглый стол или мастер-класс по ML по причине того, что регистрации на них уже к началу мероприятия были закрыты, в то время как на мероприятиях по Data Governance были свободные слоты.

Ниже привожу несколько тезисов/терминов/мыслей, которые запомнились мне после прошедших трех дней презентаций и докладов:
Организационная структура — наиболее распространена гибридная модель. Имеется Chief Data Officer, который подчиняется CEO или CIO. Data Scientist'ы в организации как правило бывают двух типов: при конкретной бизнес-функции или в обособленном Center of Excellence. Назначение Center of Excellence — RnD и инновационные задачи, которые нельзя отнести ни к одному из имеющихся бизнесов. За координацию Data Scientist'ов отвечает CDO. Он же определяет цели и стратегию развития.
Только 20% опрошенных посетителей имеют в своей штатной структуре роль CDO. Прогноз Gartner — к 2020 году эта цифра должна вырасти до 40-50%.

Data Lake — наиболее распространены следующие реализации:
1. Hadoop
2. Object Store (например, Amazon S3)
3. RDBMS

Data Lake не является «убийцей» Enterprise DWH, а дополняет его на корпоративном ИТ ландшафте.

Безопасность в Data Lake/Hadoop — это реальный риск, как по причине того, нет стандартных инструментов в отличие от RDBMS, так и по причине того, что практически никто не инвестирует в реализацию политик безопасности в Hadoop: аутентификацию, авторизацию, аудит.

Data Literacy (грамотность с т.з. работы с данными) — актив, в который надо инвестировать. Всего около 5% организаций могут похвастаться тем, что у них реализуются сквозные программы по повышению уровня Data Literacy на всех уровнях — от Executive Management до Junior специалистов.

Logical DWH — способ организации доступа к данным, при котором не происходит централизованного хранения данных, как, например, в DWH/Data Lake. Тем не менее, для пользователей такая организация абсолютно прозрачна, и они могут совершенно спокойно пользоваться данными, не задумываясь о том, как организован доступ к ним. (Оказывается, есть уже очень много решений на эту тему, см. ниже.)

Open Source — многие вендоры начинают делать Community версии своих коммерческих продуктов и распространять их бесплатно, таким образом, признавая состоятельность такой модели, а заодно зарабатывая лояльную базу поклонников (Однако, не все. У меня был диалог с одним вендором на тему того, как я могу попробовать их решение. Ответ был такой, что для того, чтобы они выслали мне активационные ключи, я должен написать им письмо, подписать NDA, составить договор PoC, в котором прописать критерии успешности и обязательства приобрести их продукт, если все критерии успешности будут выполнены. ¯_(ツ)_/¯ )

Помимо презентаций и докладов, которые шли в несколько потоков, в центре конференции в большом зале постоянно действовала выставочная зона, в которой можно было познакомиться поближе с представителями компаний и посмотреть демо их продуктов.

В структурированном виде вот какие компании удалось там посмотреть:
Крупные известные вендоры:
— Oracle — представляли свою облачную платформу cloud.oracle.com/home [4]
— Qlik — решения Self-service BI
— Tableau — решения Self-service BI
— Ataccama — решения Data Quality, Master Data Management, Data Govenance
— Google Cloud — облачная платформа
— IBM — представляли решения для Data Science: DSX & SPSS
— Attunity — решение по репликации данных / CDC
— Teradata
— SAS
— SAP
— Microstrategy
— Informatica
— Information Builders

Коммерческие сборки Hadoop:
— Cloudera
— MapR
— Hortonworks

Решения для Data Science:
— Dataiku
— Rapid Miner
— R Studio
— Angoss (http://www.angoss.com [5])

Решения для Data Governance:
— Alation (https://alation.com/ [6])
— Backoffice Associates (http://www.boaweb.com/ [7])
— Collibra (https://www.collibra.com/ [8])
— Semarchy (https://www.semarchy.com/ [9])
— Stibo Systems (https://www.stibosystems.com/ [10])

Решения для Self Service BI:
— Arcadia Data (https://www.arcadiadata.com/ [11])
— Looker (https://looker.com/ [12])
— Sinequa (https://www.sinequa.com/ [13])
— ThoughtSpot (https://www.thoughtspot.com/ [14])

Софт для построения логического DWH:
— Actian (https://www.actian.com/ [15])
— BI Builders (http://bi-builders.com/ [16])
— Denodo (https://www.denodo.com/en [17])
— Domo (https://www.domo.com/ [18])
— Dremio (https://www.dremio.com/ [19])
— Iguazio (https://www.iguazio.com/ [20])
— Sisense (https://www.sisense.com/ [21])
— Snowflake (https://www.snowflake.net/ [22])
— Trifacta (https://www.trifacta.com/ [23])
— WhereScape (https://www.wherescape.com/ [24])

Это конечно же не все решения, которые были представлены, но отсмотреть их все за такое короткое время в перерывах между презентациями это почти невозможная задача, особенно если учесть, что после третьей-четвертой компании в голове все начинает смешиваться.

Кратко о выводах.
Поставленные цели в общем-то достигнуты. Было получено представление о том, в каком направлении развивается рынок, какие игроки есть на нем, а также где мы сейчас находимся с точки зрения технологий (Hadoop, Data Lake, Streaming) и процессов (Governance, Security, обучение персонала итд) относительно услышанного на саммите. Эти выводы лягут в основу ближайших планов развития.
Что больше всего удивило — большое количество относительно молодых вендоров, которые целятся в сегмент «Logical DWH», и за которыми, в общем-то, не успевают гиганты. Для меня «Logical DWH» это однозначно тема, в которой предстоит разобраться более детально и углубленно.
Ну и в целом я подтвердил для себя вывод, что такие мероприятия полезны с точки зрения расширения кругозора и понимания, в каком направлении движется прогрессивное сообщество, чтобы проще было понять, куда развиваться дальше.

Автор: Михаил Сеткин

Источник [25]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/konferentsii/277845

Ссылки в тексте:

[1] Gartner Data & Analytics Summit: https://www.gartner.com/events/emea/data-analytics

[2] Gartner Events Navigator: https://play.google.com/store/apps/details?id=com.xomodigital.gartner&hl=en

[3] сверхнасыщенную (pdf): https://www.gartner.com/binaries/content/assets/events/keywords/business-intelligence/bie19i/da-summit-agenda-at-glance-online-jan.pdf

[4] cloud.oracle.com/home: https://cloud.oracle.com/home

[5] http://www.angoss.com: http://www.angoss.com

[6] https://alation.com/: https://alation.com/

[7] http://www.boaweb.com/: http://www.boaweb.com/

[8] https://www.collibra.com/: https://www.collibra.com/

[9] https://www.semarchy.com/: https://www.semarchy.com/

[10] https://www.stibosystems.com/: https://www.stibosystems.com/

[11] https://www.arcadiadata.com/: https://www.arcadiadata.com/

[12] https://looker.com/: https://looker.com/

[13] https://www.sinequa.com/: https://www.sinequa.com/

[14] https://www.thoughtspot.com/: https://www.thoughtspot.com/

[15] https://www.actian.com/: https://www.actian.com/

[16] http://bi-builders.com/: http://bi-builders.com/

[17] https://www.denodo.com/en: https://www.denodo.com/en

[18] https://www.domo.com/: https://www.domo.com/

[19] https://www.dremio.com/: https://www.dremio.com/

[20] https://www.iguazio.com/: https://www.iguazio.com/

[21] https://www.sisense.com/: https://www.sisense.com/

[22] https://www.snowflake.net/: https://www.snowflake.net/

[23] https://www.trifacta.com/: https://www.trifacta.com/

[24] https://www.wherescape.com/: https://www.wherescape.com/

[25] Источник: https://habrahabr.ru/post/351912/?utm_source=habrahabr&utm_medium=rss&utm_campaign=351912