Алгоритмы / [Из песочницы] Оптимизация параметров девиации признаков при распознавании образов

Описание проблемы

В системах распознавания образов основными задачами являются – извлечение идентификационных признаков исходного образа и проведение этапа классификации и кластеризации над идентификационными признаками. На практике на этапе классификации для получения более качественного результата распознавания необходимо нелинейно варьировать параметр отклонения идентификационных признаков. В данной статье предлагается метод оптимизации параметра девиации идентификационных признаков при распознавании образов на основе нечетких нейронных сетей (ННС).

Постановка задачи

Пусть имеется вектор признаков исследуемого объекта . Имеется вектор идентификационных признаков каждого из известных классов . Необходимо определить параметр , который позволит максимизировать отклонение от для , при этом отклонение для классов отличных от будет минимальным. Другими словами, , при , где — наиболее близкий класс для .

На настоящий момент имеется несколько методов оптимизации данного параметра:

• вручную людьми, которые являются экспертами в определенной области. Основной недостаток данного метода состоит в том, что при различных входных данных параметр девиации для фиксированного класса образов будет иметь отличную от предыдущей величину, поэтому необходимо постоянное присутствие эксперта. Второй недостаток – человеческий фактор, который влечет к накоплению ошибок классификации;
• с использованием нейронных сетей различных архитектур. При этом следует отметить два существенных недостатка: сложность подбора архитектуры сети для конкретной задачи; сложность в понимании процесса при выборе того или иного решения, поскольку его принятие хранится в виде массивов синаптических весов;
• методы на базе систем нечеткого вывода. Основной их недостаток заключается в том, что необходимо вручную на основе экспертных оценок сформировать большое количество правил и параметров сети для каждой задачи.
  Перечисленные выше подходы в большинстве случаев справляются со своей задачей, но имеющиеся недостатки предполагают большие трудности при разработке унифицированных систем распознавания образов.

В данной статье, предложена система нейро-нечеткого вывода типа Сугено, реализующая прогнозирование параметра q, которая избавляет от недостатков, характерных вышеуказанным методам.

Архитектура нейро-нечеткой сети

Предлагаемая структура системы нейро-нечеткого вывода имеет тип Сугено и состоит из 4-х слоев. Каждый слой ННС имеет строгое предназначение: первый слой – фаззификация входных переменных, второй слой – агрегирование значений активации условия, третий слой – агрегирование нечетких правил, четвертый слой – дефаззификация выхода системы. Сформированная база правил представлена совокупностью следующих правил для каждой функции принадлежности:
,
где — i-ая входная переменная; — j-ая функция принадлежности i-й входной переменной; out – выходная переменная; — j-ая функция принадлежности выходной переменной; .

Сформированная таким образом база правил ННС далее используется для оптимизации идентификационных признаков при помощи функций принадлежности, реализующих первый слой ННС, определяется степень принадлежности для каждой входной переменной. Функции принадлежности имеют вид Гаусса .

Параметры каждой функции принадлежности формируются на этапе обучения. Для системы Ident Smart Studio ^[1] параметры приведены в таблице ниже.

На втором слое сети определяются уровни отсечения для левой части каждого правила, согласно операции минимизации .
На третьем слое вычисляются индивидуальные выходы продукционных правил .
На четвертом слое выполняется дефаззификация выходной переменной. Осуществляется для системы Сугено традиционно методом центра тяжести для одноточечных множеств (Center of Gravity for Singletons), по формуле .

Выходная переменная ННС определена на интервале [0; 1]. Для алгоритма, описанного в [2], реализующего предметно-независимое распознавание графических образов, выходные параметры обучающей выборки для прогнозирования параметра девиации находились на промежутке [0.01; 0.2]. Для графических образов (см. рис.) с максимальным потенциальным варьированием признаков оптимизирование значения q близким к 0.2, а для образов, которые мало подвержены модификации в пространстве близким к 0.01.

В качестве сравнения отметим, что при необходимости прогнозирования девиации признаков с применением МНС на диапазоне 0.01 … 0.2 с шагом 0.01 используется 20 различных состояний, что можно закодировать 5 нейронами с бинарными выходами выходного слоя в случае многослойного перцептрона. Входной слой можно смоделировать 15 нейронами (по правилам построения МНС, последующий слой должен содержать около 30% от количества нейронов предыдущего слоя). Функция активации имеет сигмоидальный тип .
Ошибка классификации при этом может быть определена по методу наименьших квадратов .

Анализ полученных результатов

Система нейро-нечеткого вывода обучена и реализована в алгоритмах экспертной системы Ident Smart Studio ^[1]. Экспертная система спрогнозировала параметр девиации q для образов, изображенных на рис. выше, равным 0.136, 0.013, 0.0478, 0.145 для объектов, изображенных на а), б), в) и г) соответственно. Данный параметр позволяет отклоняться признакам на определенную величину при минимальной ошибке классификации.
В табл. ниже приведены основные характеристики методов прогнозирования девиации признаков, на примере задачи идентификации, описанной в [2] для предметно-независимого распознавания графических образов. Тестовые данные содержали 1700 векторов идентификационных признаков.

Заключение

Как показывают экспериментальные исследования, подход с использованием ННС является наиболее оправданным, поскольку при расширении диапазона девиации, архитектура сети не изменится, дополнительный объем вычислений будет незначительным, по сравнению с МНС. Предлагаемый метод не требует ручной настройки параметров и конфигурации, как это требует нечеткий вывод, а также не требует постоянного присутствия эксперта в работе. Данный подход можно использовать для распознавания различных образов: визуальных и звуковых сигналов, финансовых и социальных ситуаций.

Что использовалось

1. BaseGroups Labs. Технологии анализа данных www.basegroup.ru ^[2]
2. С.Г. Фомичева, С.А. Мальчевский. Научно-технические ведомости СПбГПУ 2' 2009. / Санкт-Петербургский государственный политехнический университет. – СПб, 2009, с. 115-122.
3. Демидова Л.А., Кираковский В.В., Пылькин А.Н. Алгоритмы и системы нечеткого вывода в задачах диагностики городских инженерных телекоммуникаций. М.: Радио и связь; Горячая линия – Телеком, 2005, 592с.
4. Леоненков А. В. Нечеткое моделирование в среде Matlab и FuzzyTECH. – СПб: БХВ-Петербург, 2005. – 736с.: ил.

Автор: sermal