Как превратить графики в звук, и зачем это нужно

Диаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute ^[1] постарались решить эту проблему, создав ^[2] бесплатный браузерный плагин Graphics Accelerator.

Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».

^[3]
Фото takomabibelot ^[4] / PD

Как работает Graphics Accelerator

Компания SAS Institute занимается разработкой программного обеспечения для статистического анализа данных. В большинстве случаев результаты этого анализа отображаются в виде графиков, поэтому слабовидящим людям было сложно работать с решениями SAS.

Исправить ситуацию взялся один из разработчиков ^[5] компании — Эд Саммерс (Ed Summers), который сам потерял зрение в десять лет из-за дегенеративного заболевания глаза (у него развился пигментный ретинит ^[6]).

Эд и коллеги создали решение, которое помогло бы слабовидящим людям использовать инфографику и диаграммы, построенные приложениями SAS, в учебных или рабочих целях. Так появился Graphics Accelerator ^[7]. Это бесплатный плагин для Google Chrome, который использует методы сонификации ^[8]. Он представляет графическую информацию — в том числе тепловые карты и круговые диаграммы — в звуковом формате.

С графиками функций инструмент работает следующим образом: пользователь двигает указатель по горизонтальной оси при помощи стрелок на клавиатуре, а Graphics Accelerator воспроизводит для каждой точки на графике ноту пианино. Чем больше значение по оси Y, тем выше звук. Как это звучит можно послушать в видеоруководстве SAS Institute ^[9].

Для удобства навигации значения из левой половины графика воспроизводятся через левый динамик наушника (или колонку АС), а из правой — через правый. График также сопровождается текстовыми описаниями, которые можно прослушать при помощи программы чтения с экрана.

Где еще используется сонификация

Человек способен «фильтровать» лишние звуки ^[10], игнорировать фоновый шум и фокусироваться лишь на нужной информации. Именно поэтому мы можем легко узнавать голоса ^[11] людей в оживленной обстановке. Это свойство известно, как «эффект коктейльной вечеринки ^[12]».

Используя методы сонификации, нам проще концентрироваться и подмечать какие-то определенные особенности в данных, находить закономерности. Например, в НАСА разработали свой инструмент для сонификации xSonify ^[13]. Эту программу использует ^[14] астроном Ванда Диаз-Мерсед (Wanda Diaz Merced), в своих исследованиях.

Во время выступления ^[15] на TED, она рассказала, что с помощью программы сонификации она анализировала графики, показывающие интенсивность света звезды с течением времени, «слушая» гамма-всплески небесных тел.

Фото Antonio Roberts ^[16] / CC ^[17]

Сонификация широко используется исследователями ^[18] и из других областей. Исследователи из университета Айдахо и Восточного университета штата Вашингтон изучали с её помощью особенности миграции чавычи ^[19] — рыб из семейства лососевых. Когда рыба перемещается от водоема к водоему, у неё меняется химический состав отолитов ^[20], небольших твердых образований во внутреннем ухе. Анализируя этот состав, ученые могут понять, где побывала та или иная рыба.

Исследователи собрали данные об изменении концентрации каждого химического элемента и сравнили их между собой. Информацию представили ^[21] в виде звука. Каждому элементу в отолите была назначена своя частота. Когда рыба перемещалась из одного места в другое, менялся и звук, который «издавал» отолит.

Приемы сонификации используют и люди, работающие над проектами на стыке науки и искусства. Звук помогает наглядно показать важные изменения, происходящие в мире, например глобальное потепление ^[22]. Сухие числа превращаются в тревожную музыку, которая иллюстрирует повышение средней температуры на планете и уровня углекислого газа в атмосфере.

Подобные проекты создает ^[23] разработчик и художник Брайан Фу (Brian Foo). При помощи сонификации он показал финансовое благосостояние жителей разных районов Нью-Йорка ^[24], уровень загрязнения воздуха в Пекине ^[25], а также гендерное и расовое разнообразие в голливудских фильмах ^[26].

Сонификация позволяет больше узнать о «невидимых» данных, которые окружают нас каждый день. Например, с её помощью можно услышать интернет. В перформансе Internet Rumbles ^[27], который провели на симпозиуме KISS2014 ^[28], звуки представляли информацию об интернет-соединении устройств, находящихся в комнате. Озвучить можно и изменения в содержимом разных сайтов: подобные эксперименты проводились на основе данных с Хабра ^[29] и Википедии ^[30].

Таким образом, сонификация дает возможность выйти за рамки привычной работы с информацией и взглянут на наш мир под другим, неожиданным углом.

Автор: Audioman

Источник ^[37]