Применение методов машинного обучения в задаче оценки действий лётчика на этапе посадки

в 13:32, , рубрики: data mining, gradient boosted trees, SVM, авиационное оборудование, безопасность полетов, классификация, машинное обучение, оценка людей

ВВЕДЕНИЕ

Статистика аварийных происшествий показывает, что в настоящее время наиболее опасным участком полёта по-прежнему остаётся посадка. Причём в большинстве случаев аварийные происшествия происходят по вине личного состава (рис. 1). Таким образом, задача оценки действий летчика по управлению воздушным судном на этапе посадки является актуальной как для гражданской, так и для военной авиации, поскольку позволяет повысить безопасность полётов.

image
Рис. 1. Диаграммы распределения аварийных происшествий по этапам полёта и по видам нарушений личного состава

Выполненный анализ существующих способов оценивания качества пилотирования на основе информации бортовых устройств регистрации (БУР) показал их недостаточную эффективность.
В соответствии с Курсом боевой подготовки (КБП) оценка качества выполнения посадочного маневра определяется на основании данных бортовых и наземных средств объективного контроля, а также наблюдений инструктора и лиц группы руководства полетами (рис. 2).

image
Рис. 2. Структура формирования оценки

По КБП оценка техники пилотирования на этапе посадки по материалам бортовых СОК выполняется путем анализа параметров полета в 4-х контрольных сечениях глиссады (рис. 3): вход в глиссаду, прохождение дальнего приводного радиомаяка (ДПРМ), прохождение ближнего приводного радиомаяка (БПРМ), касание взлетно-посадочной полосы.

image
Рис. 3. Снижение самолёта по глиссаде

При этом полетные данные используются не в полном объеме: из 14 нормативных параметров, установленных КБП для оценки качества выполнения посадки, только 5 параметров определяются по материалам БУР, что составляет всего 35,7 %. Остальные параметры определяются на основании наблюдений инструктора и лиц группы руководства полетами, что вносит значительную долю субъективизма в итоговую оценку.
Таким образом, существует необходимость дополнения методики КБП параметрами, учитывающими характер пилотирования самолета на протяжении всего этапа снижения по глиссаде и регистрируемыми штатными БУР.

МОДИФИКАЦИЯ СУЩЕСТВУЮЩЕГО СПОСОБА ОЦЕНКИ ДЕЙСТВИЙ ЛЁТЧИКА НА ЭТАПЕ ПОСАДКИ

В работах [1-3] было доказано, что структура движения ручки управления самолетом на посадке является характеристикой качества пилотирования (показывает насколько уверенно лётчик управляет самолётом). Основываясь на этих работах можно сделать вывод, что в роли информативного признака для оценки качества пилотирования целесообразно использовать параметр «Угол отклонения ручки управления самолетом по тангажу» image, который регистрируется на всех современных ВС штатным бортовым устройством регистрации (рис. 4). Данный способ позволяет оценить действия летчика на всем этапе посадки, кроме того в нем отсутствует субъективизм. Типовая система управления самолетом в продольном канале представлена на рисунке 5.

image
Рис. 4. Графики изменения параметра «Отклонение РУС по тангажу» на этапе посадки для летчиков различной классной квалификации; а) летчик 1 класса; б) лётчик без класса; в) передача управления

image
Рис. 5. Система управления самолетом в продольном канале (МУ-615А — потенциометрический датчик угловых перемещений, РП — рулевой привод)

Описанный выше способ оценки предлагается интегрировать в известную методику оценки техники пилотирования по КБП. Таким образом, повысится процент объективности итоговой оценки за счет введения в итоговую оценку дополнительного объективного показателя, характеризующего действия летчика на всем этапе снижения по глиссаде.
На основе работ [4, 5] для оценки посадки предлагается использовать спектр сигнала image, а для построения модели зависимости между данным спектром и уровнем подготовки пилота (либо оценкой, выставленной командиром полёта), характеризующимся его классной квалификацией, использовать методы машинного обучения с учителем.
В качестве входных признаков в реализации предложенного метода использовались отсчеты нормализованного сглаженного спектра image исследуемого дискретного сигнала image, а в качестве выходного признака – номер класса летчика.
Вектор входных признаков image формировался при помощи описанных ниже преобразований:

  1. Вычисляем спектр F дискретного сигнала image длины N
    image;
  2. Амплитуды сигнала, частоты которых меньше 0,5 Гц, обнуляем для исключения информационной составляющей сигнала, связанной с частотой собственных колебаний воздушного судна по углу атаки;
  3. Приводим спектр к виду от 0 до 2,5 Гц и изменяем размер полученного вектора признаков до фиксированного значения при помощи бикубической интерполяции (получили вектор image);
  4. Сглаживаем спектр методом скользящего окна для получения более однородных данных и нормализуем по амплитуде:
    image,
    image,
    где m – размер окна (в реализации m = 10), а K – постоянное число, превосходящее все значения image (в реализации K = 250).

Построение модели зависимости между спектром сигнала image и номером класса лётчика выполнялось при помощи двух алгоритмов машинного обучения с учителем: метода опорных векторов (SVM) с радиальной базисной функцией в качестве ядра и метода градиентного бустинга деревьев (GBT).
В реализации GBT использовался со следующими параметрами:

  • тип функции потерь – аномальные потери;
  • количество итераций бустинга – 3000;
  • параметр регуляризации – 0,0008;
  • порция подвыборки – 0,0001;
  • максимальная глубина деревьев принятия решений – 1;
  • с использованием суррогатов.

УТОЧНЕНИЕ ПРЕДСКАЗАННОГО НОМЕРА КЛАССА ЛЁТЧИКА

Для выявления слабых мест алгоритмов было проведено тестирование и были рассчитаны диаграммы распределения ошибок. Одна из этих диаграмм представлена на рисунке 6.
Описание базы, использованной для тестирования, приведено в разделе «Результаты и обсуждение».

image
Рис. 6. Диаграмма распределения ошибок для метода GBT

Первые три столбца диаграммы (рис. 6) соответствуют случаям неправильно детектированного 1-го класса (включая снайперов), при этом красный столбец соответствует случаям, когда 1-й класс определён как 2-й класс, зелёный столбец соответствует случаям, когда 1-й класс определён как 3-й класс и синий столбец соответствует случаям, когда 1-й класс определён как без класса. Аналогично для 2-й, 3-й и 4-й тройки столбцов, которые соответствуют 2-му, 3-му классу и “нулевому” классу (без класса).
Анализ диаграммы распределения ошибок показал, что в большинстве случаев алгоритмы ошибаются на один класс, поэтому разумно в дальнейшем провести отдельный анализ для каждой пары ближайших классов. Например, уточнять предсказанный номер класса лётчика уже в бинарном классификаторе.
В реализации использовались следующие бинарные классификаторы:

  • если предсказанный класс «3-й класс», то используется метод SVM для классификации лётчиков 2-го и 3-го классов;
  • если предсказанный класс «без класса», то используется метод GBT для классификации лётчиков 3-го класса и без класса.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Согласно стандартной схеме оценивания обобщающей способности алгоритма классификации, все имеющиеся данные делятся на обучающую и тестовою выборки. Однако из-за большого количества входных признаков требуется как можно большее количество примеров в обучающей выборки, иначе алгоритму классификации может не хватить информации для построения модели зависимости. Также требуется большое количество примеров в тестовой выборки для оценки качества классификации с высокой точностью.
В нашем случае объём имеющихся данных ограничен, поэтому для оценивания обобщающей способности алгоритма классификации используется метод кросс-валидации.
Все имеющиеся данные были разбиты на 5 непересекающихся блоков, каждый из которых содержит 48 образцов по 12 образцов на каждую классность пилота: без класса, 3 класс, 2 класс и 1 класс (включая лётчиков снайперов). Данные были получены с бортовых устройств регистрации маневренных самолётов (название самолёта сказать не могу). Результаты представлены в таблице ниже.

Результаты тестирования алгоритмов машинного обучения
Вид алгоритма Ошибка алгоритма E, ед.
общая точность 1 класс и лётчики снайперы 2 класс 3 класс без класса
Метод SVM 0,5526 0,5667 0,6167 0,3167 0,7152
Метод GBT 0,5566 0,6167 0,3667 0,5167 0,7318

Итоговая оценка эффективности алгоритма:
image
image рассчитывались по следующей формуле:
image
где image – количество тестовых примеров, в которых допущена ошибка, image – количество тестовых примеров в тестовой выборке.
Анализ полученных результатов показал, что наилучшую общую точность показал метод GBT. Кроме того, уточнение предсказанного номера класса лётчика в бинарных классификаторах повысило общую точность у метода SVM на 2 %, а у метода GBT на 3 %.

ЗАКЛЮЧЕНИЕ

Использование методов машинного обучения позволило экспериментальным путем подтвердить коррелированность параметра «Угол отклонения ручки управления самолетом по тангажу» на этапе снижения самолета по глиссаде с уровнем подготовки летчика, выраженного в баллах в соответствии с его классностью. Полученная точность метода опорных векторов и градиентного бустинга деревьев составляет 55%. Таким образом, спектр сигнала «Угол отклонения ручки управления самолетом по тангажу» может быть использован в качестве дополнительного параметра для оценки действий лётчика на этапе посадки, а построение системы, выставляющей оценку по данному спектру, можно выполнять при помощи алгоритмов машинного обучения с учителем: метод опорных векторов и градиентный бустинг деревьев.

Литература

  1. Авиационная медицина / под ред. Н. М. Рудного, П. В. Васильева, С. А. Гозулова. – М.: Медицина, 1986. – 580 с.
  2. Гладков Б. М. Автоматизированная оценка натренированности летчиков с использованием показателей управляющих воздействий: научно-методические материалы по проблемам обеспечения безопасности полетов. Иркутское ВВАИУ / Б. М. Гладков. – И., 1991. – C. 73–79.
  3. Фролов Н. И. Пути изучения работоспособности летчика в полете / Н. И. Фролов // Космическая биология. – 1978. – № 1. – С. 3–10.
  4. Патент № 2436164 Российская Федерация, МПК G07C 11/00, G08G 5/00. Способ оценивания качества пилотирования самолета летчиком на этапе посадки по данным штатного бортового устройства регистрации / Полуэктов С. П., Кашковский В. В., Тихий И. И., Лапин И. П.; заявитель и патентообладатель ФГОУ ВПО «Военный авиационный инженерный университет» (г. Воронеж) Министерства обороны РФ. – № 2010140360/08; заявл. 01.10.2010; опубл. 10.12.2011, Бюл. №34. – 3 с.
  5. Полуэктов С. П. Один из подходов к расширению возможностей автоматизированной системы оценки качества пилотирования воздушного судна / С. П. Полуэктов, Е. П. Колесников // Актуальные вопросы науки и техники в сфере развития авиации: сборник тезисов докладов III Международной научно-технической конференции авиационного факультета. – Минск: Военная академия Республики Беларусь, 2013. – С. 81–82.

Авторы

к.т.н. Полуэктов С.П.
Нафиков М.А.

p.s. Ссылку на проект и базу данных выложу позже

Автор: forcesh

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js