- PVSM.RU - https://www.pvsm.ru -

Как узнать какие цветы дарить девушке, если у нее двигается только голова и она не может говорить?

Всем привет! Я Иван Бакаидов. И сейчас я расскажу как я помогаю людям с двигательными нарушениями и нарушениями речи. Но сначала немного обо мне:

  • Мне 17 лет
  • ДЦП — у меня самопроизвольно сокращаются мышцы тела… Все
  • Неразборчивая речь. Понимают только мама, брат и одноклассница
  • Node.js, Java, Android dev, Unity3d
  • Выступал [1] на гуманитарном саммите ООН с посланием о правах человека с нарушениями речи и важности AAC

image

AAC

ААС (Альтернативная Аугментативная Коммуникация) – средства, способы, системы, которые помогают детям и взрослым с серьёзными проблемами в развитии вербальной речи выразить себя и лучше понимать происходящее.

Как всё началось. DisQwerty

У нас в школе есть группа продлённого дня. Там я и познакомился с девочкой Линой, она запала мне в душу. Однажды я увидел, как она общается с ассистентом, когда делает упражнения по математике (у Лины была папка с листами, на листах было напечатано по одной цифре от 0 до 9, на нужной цифре Лина кивала) и решил перенести этот механизм общения в код, заменив ассистента компьютером с кнопкой.

image

Лина

Перенёс. Код тогда умел только на js писать, к сожалению. Поэтому выглядела программа забавно. Но получилось! Я принёс эту клавиатуру к Лине в класс. После внесения некоторых изменений (переход на Node-webkit, добавление возможности создавать свои наборы, т.е. учитель может опросить детей в классе, дав им на выбор 4 варианта). Ещё я создал игру в Unity для обучения такому механизму выбора

Несколько видео:

Наборы даже с картинками:

Девочка Саша печатает своё первое в жизни слово, ей 17 лет:

Игра DisCoin:

Играем в DisCoin в классе:

DisType

Тяжелым случаям помог — супер. Но есть не такие тяжелые случаи. Например раньше я общался с людьми, показывая пальцем буквы на бумажной клавиатуре. Очень дешёвый девайс, но у него есть свои минусы — например, собеседнику надо следить за пальцем. Тогда я решил создать приложение для Android, которое использует системный TTS API [2]. Приложение очень простое: поле ввода и кнопка «Cказать», но, как ни странно, помогает очень.

Потом я подумал и решил, что просто приложение с двумя элементами и одним MainActivity.java слишком просто. И добавил функцию сохранения сказанных фраз в бд и вывод их в listview под полем ввода с сортировкой по частоте ввода. Но вскоре фраз стало слишком много и я добавил ещё категории. Поговорил и раскидал по категориям после разговора.

К тому времени я забыл напрочь пароль KeyStore, так что пришлось делать отдельное приложение: DisType Pro. Кстати, с speechkit’ом [3] от яндекса, ибо встроенный TTS не говорил мужским голосом. Так что теперь с нормальным интернетом я мужчина, а в оффлайне — девушка. Надеюсь, Яндекс скоро выпустит оффлайн-версию их суперской библиотеки.

Все же не все умеют читать и писать DisTalk

Есть популярный девайс GoTalk [4]. Небольшое устройство, которое записывает аудиозаписи на кнопки, в которые можно вставить картинки. Но как все инва-оборудование, дорогое (например, кнопка для DisQwerty, которая просто служит левым кликом мыши, стоит 100$). Я создал аналог GoTalk для Android. Простое приложение, которое берёт картинки из папки DisTalk на карточке устройства, строит из них gridview и при нажатии говорит название файла. Ещё картинки можно разложить по папкам (наборам) и переключать наборы).

Нужна помощь

Все программы бесплатны, хотя бы по следующим причинам:

  • Гуманно
  • Сложное оформление ИП и налогов
  • Оттолкнёт и так униженных жизнью пользователей

Но для развития нужна помощь:

  • Перенос программ на iOS и Windows Phone
  • Художник для создания иконок
  • Помощь в создании сервиса хранения фраз для DisType
  • Юрист
  • Помощь с аппаратной частью
  • Donate, because open source

Мой сайт: aacidov.ru [5]

От модератора: данная публикация нарушает некоторые правила сайта и в «Песочнице» мы обычно сразу отклоняем подобные. Но в данном случае сделали исключение, дооформили публикацию и надеемся, что среди пользователей Хабра найдутся неравнодушные люди, которые помогут развитию проектов.

Иван, ты молодец!

Автор: ibakaidov

Источник [6]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/open-source/178714

Ссылки в тексте:

[1] Выступал: https://www.youtube.com/watch?v=y0WnDypp4qo

[2] системный TTS API: https://developer.android.com/reference/android/speech/tts/TextToSpeech.html

[3] speechkit’ом: https://tech.yandex.ru/speechkit/

[4] GoTalk: https://www.youtube.com/watch?v=bfIAiTca9v0

[5] aacidov.ru: http://aacidov.ru

[6] Источник: https://habrahabr.ru/post/308514/?utm_source=habrahabr&utm_medium=rss&utm_campaign=sandbox