Использование синтезатора в качестве компьютерной клавиатуры

в 13:04, , рубрики: c++, linux, qt4, ненормальное программирование, метки:

Недавно мне в голову пришла мысль: а нельзя ли, подключив синтезатор к компьютеру, набирать на нем текст? Я попробовал реализовать это, и у меня получилось. Моя программа считывает нажатия клавиш синтезатора и эмулирует нажатия клавиш обычной клавиатуры. В этой статье я расскажу, как это реализовать. Писать будем под Linux на C++ с использованием Qt.

Чтение данных из синтезатора

Итак, в наличии имеется ноутбук с Linux и синтезатор Yamaha DGX-200. Подключаем синтезатор через USB-разъем к ноутбуку и видим, что устройство распозналось:

Использование синтезатора в качестве компьютерной клавиатуры

Из устройства идет постоянный поток вопросиков, среди которых появляются другие символы при нажатии клавиш синтезатора. Кстати, интересный факт: если записать этот вывод в файл, а потом прочитать из файла и записать обратно в /dev/midi2, то синтезатор через свои колонки воспроизведет те ноты, которые были нажаты при записи, но без пауз.

Следующая задача — разбор этого потока. После продолжительных поисков в гугле я решил воспользоваться библиотекой portmidi. Документация к ней довольно скудная, рабочих примеров я вообще не нашел. Что ж, теперь будет одним примером больше. Получаем список устройств:

int count = Pm_CountDevices();
for(int i = 0; i < count; i++) {
  const PmDeviceInfo* info = Pm_GetDeviceInfo(i);
  qDebug() << i << ": " << info->name 
           <<  " input: " << info->input
           << " output: " << info->output;
}

У меня получился такой результат:

0: Midi Through Port-0 input: 0 output: 1
1: Midi Through Port-0 input: 1 output: 0
2: YAMAHA Portable G MIDI 1 input: 0 output: 1
3: YAMAHA Portable G MIDI 1 input: 1 output: 0

Для дальнейшей работы с устройством нам потребуется знать только id, который указан в начале строки. Нам подходит устройство 3 — входной (input=1) поток от нашего синтезатора. Открываем нужный поток:

PortMidiStream* stream = 0;
PmError e = Pm_OpenInput(&stream, good_id, 0, 100, 0, 0);
if (e != pmNoError) {
  qWarning() << "Can't open input, error: " << e << endl;
  return 2;
}

После этого периодически читаем данные. Я использовал Qt-слот с периодическим вызовом по таймеру, но подойдет и обычный while(true) и sleep.

PmEvent event; // структура, в которую будут записаны пришедшие данные
int c = Pm_Read(stream, &event, 1); // читаем одно сообщение из устройства
if (c > 0 && Pm_MessageStatus(event.message) == 144) {
  unsigned int note = Pm_MessageData1(event.message),
               volume = Pm_MessageData2(event.message);
  // дальнейшая обработка note и volume 
}

Чтобы пояснить, что это за магические числа, я расскажу, как устроены MIDI-команды.

MIDI-команды

Каждое сообщение (оно же MIDI-команда) состоит из трех целых чисел, которые в portmidi называются status, data1, data2. Таблицу с возможными статусами можно посмотреть здесь. Нас интересует только статус 144 — изменение состояния ноты на первом канале. В data1 при этом передается номер ноты, а в data2 — ее громкость. Например, когда вы нажимаете клавишу «до» первой октавы на синтезаторе, приходит команда 144 60 95, а когда отпускаете — 144 60 0.

Громкость варьируется от 0 до 127 и зависит от силы удара по клавише. Теоретически можно выводить заглавные буквы вместо строчных, когда пользователь сильно бьет по клавиатуре. Ну, а номер ноты — это просто порядковый номер, соответствие нот номерам можно посмотреть на этой картинке:
Использование синтезатора в качестве компьютерной клавиатуры

Обозначение нот и аккордов

Я решил обозначать ноту как «3C» или «3C#», где 3 — номер октавы (причем октава начинается с «ля», так проще), C — обозначение ноты («до»), а при необходимости добавляется диез. Вот как это реализовано:

class Note {
public:
  Note(int midi_number);
  QString to_string() const;
  int tone, octave;
};

Note::Note(int midi_number) {
  int n = midi_number - 21;
  octave = n / 12;
  tone = (n - octave * 12);
}

QString Note::to_string() const {
  return QObject::tr("%1%2").arg(octave).arg(
    tone == 0?  "A":
    tone == 1?  "A#":
    tone == 2?  "B":
    tone == 3?  "C":
    tone == 4?  "C#":
    tone == 5?  "D":
    tone == 6?  "D#":
    tone == 7?  "E":
    tone == 8?  "F":
    tone == 9?  "F#":
    tone == 10? "G":
    tone == 11? "G#": "??"
  );
}

Если пользователь нажимает аккорд (несколько нот одновременно), то приходит несколько сообщений почти сразу. Мы можем программно отслеживать эту ситуацию и отличать одиночные нажатия от аккордов. В моей программе можно ставить в соответствие различным буквам различные аккорды. Чтобы получить обозначение аккорда, соединим плюсом обозначения входящих в него клавиш: «3C#+3E+3G#». Когда пользователь нажимает ноту или аккорд, программа ищет в раскладке строку, совпадающую с этим обозначением, и эмулирует нажатие соответствующей клавиши. Когда клавиша на синтезаторе отпускается, эмулируется отпускание клавиши. Модификаторы (Shift, Ctrl и т.д.) здесь не отличаются от других клавиш. Все сочетания работают, как положено.

Эмуляция нажатий клавиш

Ура, мы умеем определять, когда ноты нажимают и отпускают. Теперь научимся эмулировать нажатие клавиш клавиатуры. Будем использовать решение, которое я нашел на Stack Overflow.

#include <X11/Xlib.h>
#include <X11/keysym.h>
#include <X11/extensions/XTest.h>

Display* display = XOpenDisplay(0);

void emulate_key(QString key, bool pressed) {
  KeySym sym = XStringToKeysym(key.toAscii());
  if (sym == NoSymbol) {
    qWarning() << "Failed to emulate key: " << key;
    return;
  }
  XTestFakeKeyEvent(display, XKeysymToKeycode(display, sym), pressed, 0);
  XFlush(display);
}

Я добавил использование функции XStringToKeysym, чтобы эмулировать клавишу по ее имени, которое мы будем брать из конфигурационного файла. Список допустимых клавиш можно найти в заголовочном файле /usr/include/X11/keysymdef.h.

Раскладку будем хранить в файле layout.ini следующего вида:

; letters
X = 3C#+3G#
Y = 3D#+3G#
Z = 3E+3G#

; navigation
Space     = 2E
Return    = 1A+2A
BackSpace = 4C#
Delete    = 4D#
Left      = 4A
Right     = 4C

Раскладка

Осталась последняя задача — придумать раскладку. Простой вариант — каждой букве по клавише — оказался неудобным. Клавиш хватает, но впритык, к тому же приходится часто переносить руки из-за больших габаритов синтезатора. К счастью, мы можем использовать комбинации клавиш, причем на синтезаторе их нажимать гораздо удобнее, чем на клавиатуре компьютера.

Попробуем уместить на 12 клавишах (от A до G#) 26 латинских букв. Выбор букв для семи белых клавиш очевиден — это буквы от A до G, являющиеся общепринятыми обозначениями соответствующих нот. Затем я выписал оставшиеся буквы в порядке убывающей частоты употребления и попробовал составить слово из букв, находящихся ближе к началу списка. У меня получилось слово HINTS, и я отдал этим буквам пять черных клавиш. Остальным клавишам я в алфавитном порядке назначил большие и малые терции внутри той же октавы. Осталась еще куча вариантов для размещения других букв (например, русских).

Остальным клавишам тоже нашлось место на клавиатуре. У меня получилась такая раскладка:

Использование синтезатора в качестве компьютерной клавиатуры

Использовался редактор нотной записи MuseScore.

На видео, приложенном к посту, продемонстрирован набор программы Hello world и ее компиляция с использованием синтезатора вместо клавиатуры.

Код программы выложен на Github.

Автор: Riateche


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js