Управление публичными данными: подготовка и поставка

в 15:12, , рубрики: open data, Исследования и прогнозы в IT, открыте данные, публичные данные, управление данными, метки: ,

Передача данных, особенно на постоянной основе и периодически актуализируемых ставит перед поставщиками много технических, технологических, методических, управленческих и юридических вопросов. И если правовые аспекты как-то зарегулированы, технические обусловлены имеющимися ресурсами (материально-технической базой), то управленческие (экономические, маркетинговые) и в большей степени методические приводят к весьма сложным проблемам, которые приходится решать самостоятельно и не всегда успешно.

Управление публичными данными: подготовка и поставка - 1

Настоящая публикация является продолжением в общей серии по теме публичных данных. Многие понятия, встречающиеся в тексте рассматривались в предыдущих статьях.

Располагая несметными залежами накопленных цифровых данных, любой их владелец начинает рано или поздно понимать, что имеет и не использует бесценный ресурс. И чем больше размеры хранилищ, тем больше запускают разговоры о величии цифрового мира, о бесценных нефтеподобных источниках данных, о феномене big data, о сильной зависимости современных систем управления от своевременного информационного обеспечения.

А данные лежат.

И чтобы данные не пылились на полках тяжким грузом, их владельцы инициируют и продвигают внутреннюю аналитику. Последняя выполняя вполне конкретные меркантильные задачи может постепенно превратиться из структуры, призванной добывать знания в подразделение, готовящее разнородные и красочные, статичные отчеты и диаграммы или динамические панели индикаторов. Тем самым, ничуть не помогая управленцам принимать решения, а обременяя их лишней информацией сомнительного количества и качества. Нарастает потребность в квалифицированном менеджменте информации и выработке определенной стратегии (модели) управленческой аналитики.

А данные копятся и лежат.

Когда на арену выходят публичные данные, ситуация у поставщиков и получателей серьезно усложняется.
Планировать, организовывать, координировать и контролировать закрытую внутреннюю цифру легче и эффективней. Она всегда в зоне полного внимания и управления, а воздействие на неё понятно и не требует особых подходов.
Публичные данные, как внешние и слабо контролируемые, ставят несколько иные вопросы и требуют решения специальных задач. Поставщик не способен в полной мере проконтролировать использование опубликованных данных, равно как и получатель не способен существенно повлиять на данные до момента их раскрытия широкому кругу лиц. Конкуренция поставщиков за получателей и конкуренция получателей за данные – это отдельная история со своими героями и неудачниками.

В общем, не так уж и просто включать в контур управления бизнесом открытые, разделяемые и делегируемые данные как с точки зрения их издания, так и с точки зрения их имплементации.

Подготовка и поставка данных неограниченному или условно-ограниченному кругу пользователей выполняется их владельцем или сторонним поставщиком в интересах владельца. Даже если владелец данных передает подобный функционал на сторону, в большинстве ситуаций он непосредственно заинтересован в результатах. В противном случае получается, какая-то бессмысленная деятельность по «сливу данных».

Стратегия

Разработка стратегии публичных данных для поставщика – это лучшее начало для получения в дальнейшем осмысленного и полезного результата. При этом следует четко понимать, что подобная стратегия в идеальном случае выстраивается в дополнение к стратегиям управленческого учета, управления знаниями и аналитики (моделирования) бизнеса.
Конечно же можно пытаться «выталкивать» некие гипотетически полезные наборы данных в окружающую сетевую действительность без особого внимания к ключевым вопросам стратегии. Только эффектом от подобной деятельности скорее всего воспользуется кто-то другой и хорошо если это будет не прямой конкурент.

Стратегически стоит решить и спланировать работу по следующим направлениям:

  1. Определение целей публикации данных и ключевых предметных областей в рамках которой осуществляет поиск новых решений и знаний. Важно привязаться на данном этапе к внутренней проблематики и системе бизнес-аналитики.
  2. Формулирование крупных подзадач трансфера данных по public-схеме в соответствии с поставленными целями и предметными областями с предварительным прогнозированием (предвидением) ожидаемых результатов.
  3. Формализация критериев отбора данных для публикации, включая содержательные, структурные и форматные аспекты. Возможно даже в форме внутренних закрытых или публичных регламентов (стандартов, правил).
  4. План публикации данных в формате общих принципов или даже на уровне отдельных событий. Лучше если часть этого плана будет доступна потенциальным получателям.
  5. Выстраивание системы обратного контроля эффекта публичных данных, которая призвана через события (мероприятия), сообщества (общение с экспертами) и исследования (анализ сети) наладить возврат поставщику тех знаний, которые удается получить сторонним пользователям.
  6. Супервайзер публичных данных – отдельный контрольно-координирующий функционал целью которого является общая и проблемная оценка процесса публикации данных для целей поставщика. Для «супервайзера» необходимо определить контрольные показатели и дать возможность не только активно наблюдать и вмешиваться в непосредственные процедуры публикации данных, но и в процессы и объекты внутри организации-поставщика, которые принимают или могут принять на себя реверсивный эффект от новых решений и знания (продуктов и сервисов).
  7. Кадровая поддержка публичных данных как через выделение функционала в отдельные должности, так и через разумное дополнение функционала уже существующих позиций. Как всегда, важным остается вопрос повышения компетентности отдельных работников в сфере публичных данных.
  8. Поддержка публикации данных инструментами обусловлена сложностью процедур подготовки, проверки, издания и контроля наборов цифровых данных. Поиск или разработка и последующее внедрение в практику сложных программных, управленческих и технологических инструментов – это неотъемлемая часть эффективной работы по этому направлению информатизации бизнеса.
  9. Техническая поддержка публикации данных в части оценки и дополнительного выделения машинных ресурсов (места хранения, вычислительных мощностей, специалистов).
  10. Правовая поддержка публикации данных как на уровне формального описания набора данных, так и на уровне составления и оформления общего контракта (перечня условий) публичного трансфера данных.
  11. Маркетинговая поддержка публикации данных для привлечения пользователей к свободно распространяемым наборам цифровых данных.

Как и во многих вещах, связанных с менеджментом, формулирование и оптимизации стратегии – это непрерывный итерационный процесс с обратной связью и удобными контрольными показателями.

В связи с рассматриваемой темой, самое неправильное, что можно предложить для оценки результатов реализации стратегии поставщика по управлению публичными данными – это подсчитывать количество и размер, выложенных в сети данных. Основная задача грамотной стратегии поставщика по управлению публичными данными вовсе не в исполнении плана по раскрытию данных, а в получении того самого «волшебного» результата, который сделают другие, но на его данных и для его выгоды.

Выбор

Какие данные опубликовать?
Если бизнес или иной экономический субъект желает принять участие в глобальном процессе публичного трансфера данных и у него возникает подобный вопрос независимо от других важных вопросов, то вероятно никакие данные публиковать не стоит.

Интернет насыщается разнообразной информацией ежесекундно и дополнительные наборы цифровых данных ему ничуть не повредят, но и не принесут ощутимой пользы. А саму проблему выбора наборов данных для публикации следует начать решать с постановки целей раскрытия публичных данных в рамках выше обозначенной стратегии.
Причем такая цель должна быть по-настоящему осмысленной и логичной.

Выбор наборов данных для публикации непосредственно следует из необходимости поставщика форсировано, вариативно и открыто исследовать некую проблемную для него предметную область. Почти что режим «мозгового штурма», но без фиксированного круга лиц и в условиях турбулентности глобальной информационной сети. Понятно, что целевые наборы данных должны соответствовать тематике и быть достаточно качественными: актуальными, релевантными, целостными, объективными, измеримыми. Выбор структуры и формата публикации данных должен быть рассчитан исходя из целевой аудитории.

Конечно же допускается постепенное расширение наборов данных как по смыслу и по структуре, так и по схеме данных. Однако важно осознавать, что подобные изменения не вызывают особого доверия к поставщику и вынуждает во многих случаях изменять алгоритмы загрузки и обработки, а иногда даже выбирать другие инструменты.

Наборы

Публикация данных осуществляется наборами. Это удобное понятие для некоторой порции цифровых данных обособленных по смыслу, структуре или формату. По факту под набором можно понимать, как отдельную таблицу в файле, так и выдачу строк данных по запросу к программному интерфейсу.
С другой стороны, никаких размерных ограничений в понятии набора данных нет – под ним даже можно понимать реляционную базу данных в целом.

Каждый набор должен сопровождаться метаданными и паспортом (уведомление).
В данном случае «паспорт» — это некий условный удостоверяющий комплект характеристик, включающий основные метаданные, отдельные в сжатом виде особые метаданные и связывание с контекстом. В паспорт включается, в том числе, оценка качества набора данных со стороны поставщика в том или ином виде.

В настоящее время единых общепризнанных удобных стандартов по полноценному формированию и описанию наборов публичных цифровых данных не выработано.
Вероятнее всего, подобные стандарты или регламенты потребуется вводить для каждого вида или даже тематики публичных данных. Тем не менее есть ряд нормативных актов и рекомендаций.
Если субъект стремится долгосрочно получать максимальный эффект от раскрытия данных, то он должен определиться с непростым концептуально и технически вопросом корректного формирования наборов данных.

Публикация

В рамках публичного трансфера данных, когда нежелательно с каждым из получателей создавать и поддерживать длительно отдельный защищенный канал связи, непосредственная поставка данных (их издание) возможна одним из двух способов:

  • статично по ссылке – готовый набор данных предварительно сформирован и доступен для скачивания его копии получателем по фиксированному адресу в сети;
  • динамично по запросу – набор данных создаётся (комплектуется) специальным программным сервисом на основе хранимых ресурсных данных по заданным получателем параметрам и доступен для его прямого получения в качестве ответа на запрос.

У каждого способа есть свои преимущества и недостатки. Причем они проявляются на любом уровне цифровых публичных данных.

При выборе преимущественного способа конкретному поставщику исходя из собственных ресурсов и выбранной стратегии приходится решать такие вопросы как:

  • необходимость и функциональность API,
  • место размещения данных – свой сетевой ресурс или сторонний,
  • связи со сторонним контекстом,
  • формат выгружаемых файлов и предельные их размеры,
  • фиксация актуальности в рамках непрерывного или дискретного обновления,
  • участие в каталогах (на порталах) референтное или фактическое и др.

В публикации важно придерживаться логичности и ориентироваться на поддержание высокого качества данных. Поэтому в приоритете системный подход, а не случайные выгрузки массивов «цифры».

В основе системности публикации данных продуманный и реализуемый план.
Профессиональное планирование публичного трансфера данных и последующие исполнение задуманного позволяет не только избежать множества операционных ошибок, но и сформировать у получателей данных положительное впечатление об ответственности и заинтересованности издателя.

Пользователь не любит сложные данные.
А в отношении публичных данных сложность обычно заключается не в глубине вложенных и подчиненных наборов и не количестве единиц данных (полей таблиц).
Основная сложность – это неполные или некорректные метаданные описывающие основные данных, которые в любой неустановленный момент могут быть изменены. Получатель (эксперт, аналитик) вынужден затрачивать время на контроль и разбор данных и их доведение до пригодного состояния, т.е. он вынужден восстанавливать пропущенные или исправлять некорректные характеристики сопровождающие и без того большие массивы цифровых данных.

Смысловая, структурная и форматная сложность снимается только метаданными.
Но сами метаданные – это тоже данные, значит к ним применимы те же самые правила и показатели качества.
И как ни странно, но метаданные явно или неявно сопровождаются соответствующими метаданными следующего уровня.

На последнем этапе, когда наборы подготовленных данных уже готовы для распространения, не стоит пренебрегать характерными правовыми и управленческими особенностями в зависимости от их вида: открытые, разделяемые или делегируемые. Лучшим вариантом будет являться «выпускающая» редактура и корректура готовых наборов данных, конечно же с использованием соответствующих инструментов.

Интересным интегрированным показателем профессионализма работы по публикации данных является измерение количества времени на издание одного набора данных...

… начиная с момента постановки задачи на выделение данных из общего хранилища и кончая проверкой и подтверждением возможности получить набор из сетевого ресурса, где он опубликован. Абсолютное значение показателя дает общее представление о трудозатратах, а изменение его во времени позволяет оценить есть ли улучшения в управлении поставщиком публикацией данных, хотя бы на этапе их свободного распространения в сети.
Указанный показатель комплексно отражает:

  • общий уровень управления данными;
  • уровень располагаемых информационных-технологий;
  • уровень финансово-экономического и организационного менеджмента;
  • уровень работы служб безопасности и управления рисками.

В чем проблема опубликовать данные?
Проблем быть не должно:

  • если у вас они есть в хорошем рабочем формате и виде,
  • если у вас есть средства связи с цифровым обществом,
  • если вы можете их оценить на открытость и возможность опубликовать и оценить риски их публикации,
  • если вы можете физически в том или ином виде выгрузить их на сервер (в сеть),
  • если вы можете одновременно выложить метаданные и указать контекстные связи
  • и, наконец, если вы понимаете зачем всё это нужно.

Такой показатель не является единственным способом оценки. Конкретные и контролируемые измерители успеха вырабатываются на этапе стратегического проектирования и позволяют контролировать результативность совершенно не бессмысленного занятия – публикации данных.

Обратная связь

В простейшем варианте обратной связью по публичным данным для поставщика являются отклики получателей (пользователей) о качестве данных, их применимости и полученных результатах.
В более сложном случае – обратная связь – это истребование, исследование и имплементация тех сторонних новых решений и знаний в существующие процессы и объекты бизнеса (организации).

Поддержание обратной связи с получателями – это отдельная важная составляющая общей осмысленной модели управления публичными данными. Организация обратной связи на уровне достаточном для получения значимого результата – это сложнее, дороже и важнее чем выкладывание наборов публичных данных на сетевых ресурсах.

В отсутствии стабильных связей между поставщиком и неограниченным кругом получателей публичных данных, фактически необходимо реализовать множество различных механизмов взаимовыгодного общения.
Это могут быть:

  • подписка получателей (пользователей) на серию уведомлений от поставщика,
  • открытый пул получателей данных (некий клуб или сообщество по интересам),
  • реальные или виртуальные конкурсы на основе публичных данных (хакатоны),
  • оффлайн или онлайн тематические мероприятия (семинары, конференции),
  • анкетирование получателей данных (простые или сфокусированные опросы),
  • обучающие мероприятия (лекции, сертификационные тесты) и т.п.

Но целью всех подобных механизмов налаживания обратной связи будет стремление получать в том или ином виде результаты, полученные теми субъектами, которые загрузили публичные данные, обработали и проанализировали их, нашли что-то новое и полезное или создали новые продукты и сервисы.

Прямые методы обратной связи подразумевает контакт поставщика публичных данных с получателями.
Косвенные методы обратной связи сводятся к исследованиям информационного пространства сети и поиску новых решений и знаний, полученных на данных поставщика или с использованием данных поставщика, но которые выпали по тем или иным причинам из прямой видимости.

Есть определенный риск упустить из виду полезный эффект, который кто-то получит на данных поставщика. Но это не является проблемой. Поставщик всегда может восстановить упущенную пользу, особенно если сам является владельцем данных. Однако выяснить, что на конкретном наборе публичных данных вообще возможно сделать что-то ценное – это получить обратную связь от тех, кто уже что-то сделал или, по крайней мере, пытался.

Автор: bizobj

Источник

Поделиться

* - обязательные к заполнению поля