Факторное моделирование с помощью нейронной сети

в 14:44, , рубрики: backpropagation, Алгоритмы, математика, машинное обучение, нейронные сети, факторный анализ, метки:

В статье рассматривается факторное моделирование с помощью метода факторизации на базе нейронной сети и алгоритма обратного распространения ошибки. Этот метод факторизации является альтернативой классическому факторному анализу. Данный метод был усовершенствован для проведения факторного вращения и получения интерпретируемого решения. Факторная структура, полученная с помощью данного метода факторизации, находятся в соответствии с результатами факторного моделирования посредством других методов.

Введение. Классический факторный анализ [1] позволяет на базе выборки различных показателей сформировать факторные показатели с необходимой точностью описывающие исходный объект и уменьшающие размерность задачи путем перехода к ним. Факторные показатели являются линейной комбинацией исходных показателей. Тем самым факторные модели носят линейный характер.

Нейронная сеть позволяет аппроксимировать отображения между исходными и целевыми показателями. При этом аппроксимируемые отображения могут иметь нелинейный характер. Двухслойный персептрон позволяет аппроксимировать любую булеву функцию булевых переменных [2]. Двухуровневая нейронная сеть способна аппроксимировать в равномерной метрике с любой заданной погрешностью ε> 0 любую непрерывную функцию Факторное моделирование с помощью нейронной сети - 1, а в среднеквадратической метрике – любую измеримую функцию, определенную на ограниченном множестве [3, 4, 5, 6].

Для восстановлений закономерностей между параметрами используется специальный алгоритм обучения нейронной сети: алгоритм обратного распространения ошибки [7]. Этот алгоритм с математической точки зрения представляет собой градиентный метод оптимизации.

Суть данного метода для построений факторных моделей заключается в том, что для выявления закономерностей между параметрами используется математическая модель нейронной сети с линейной передаточной функцией. Значения факторных переменных определяется равным значениям выходных сигналов нейронов скрытого слоя нейронной сети. Тем самым нейронная сеть осуществляет классический факторный анализ, т.е. строит линейные комбинации исходных параметров [8, 9, 10].

В данной работе предлагается усовершенствованный алгоритм обратного распространения ошибки посредством введения дополнительного слагаемого в функцию ошибки для построения интерпретируемой факторной структуры и решения задачи факторного вращения на базе нейронной сети.

Математическая модель нейрона.Состояние нейрона описывается набором переменных:

весами входных сигналов Факторное моделирование с помощью нейронной сети - 2, где m– количество входных сигналов Факторное моделирование с помощью нейронной сети - 3;

свободным членом Факторное моделирование с помощью нейронной сети - 4в вычислении выходного сигнала. Сигнал на выходе нейрона вычисляется по формуле:

Факторное моделирование с помощью нейронной сети - 5, где Факторное моделирование с помощью нейронной сети - 6– взвешенная сумма сигналов на входах нейрона,

σ – передаточная функция нейрона, например сигмоидальная функция Факторное моделирование с помощью нейронной сети - 7.

Нейронная сеть. Отдельные нейроны объединяются в слои. Выходные сигналы нейронов из одного слоя поступают на вход нейронам следующего слоя, модель так называемого многослойного персептрона (рис. 1). В программной реализации авторской нейронной сети вводится понятие нейронов потомков и нейронов предков. Все нейроны, имеющие входной сигнал от данного нейрона являются его потомками или пассивными нейронами или аксонами. Все нейроны образующие входные сигналы данного нейрона являются его предками или активными нейронами или дендритами.

Факторное моделирование с помощью нейронной сети - 8

Рис. 1.Схема простой нейронной сети (входные нейроны, скрытые нейроны, выходной нейрон).

Алгоритм обратного распространения ошибки. Алгоритм обратного распространения ошибки для обучения нейронной сети соответствует минимизации функции ошибки E(wij). В качестве такой функции ошибки может быть использована сумма квадратов отклонений выходных сигналов сети от требуемых:

Факторное моделирование с помощью нейронной сети - 9,

где Факторное моделирование с помощью нейронной сети - 10− выходное значение i-го нейрона выходного слоя,

Факторное моделирование с помощью нейронной сети - 11требуемое значение i-го нейрона выходного слоя.

В данном алгоритме итерация обучения состоит из трех процедур:

  1. Распространение сигнала и вычисление сигналов на выходе каждого нейрона.

  2. Вычисление ошибки для каждого нейрона.

  3. Изменение весов связей.

Путем многократного цикличного подставления наборов сигналов на входе и выходе и обратного распространения ошибки производится обучение нейронной сети. Для многослойного персептрона и определенного вида передаточной функции нейрона, при определенном виде функции ошибки доказана сходимость этого метода [11].

Вычисление ошибок. Если передаточная функция нейронов является сигмоидальной, то ошибки для нейронов различных слоев вычисляются по следующим формулам.

Вычисления ошибок для нейронов выходного слоя производится по формуле:

Факторное моделирование с помощью нейронной сети - 12,

где Факторное моделирование с помощью нейронной сети - 13– желаемое значение на выходе j-го нейрона выходного слоя L,

Факторное моделирование с помощью нейронной сети - 14сигнал на выходе j-го нейрона выходного слоя L,

L– глубина нейронной сети,

Ошибки для нейронов остальных слоев рассчитываются по формуле:

Факторное моделирование с помощью нейронной сети - 15,

где i– индексы нейронов-потомков данного нейрона,

Факторное моделирование с помощью нейронной сети - 16сигнал на выходе j-го нейрона слоя l,

Факторное моделирование с помощью нейронной сети - 17связь междуj-ым нейроном l-го слоя и i-ым нейроном (l+1)-го слоя.

Изменение пороговых уровней нейронов и весов связей. Для изменения весов связей используется следующая формула:

Факторное моделирование с помощью нейронной сети - 18

Факторное моделирование с помощью нейронной сети - 19,

Факторное моделирование с помощью нейронной сети - 20,

Факторное моделирование с помощью нейронной сети - 21,

где i– индекс активного нейрона (нейрона источника входных сигналов пассивных нейронов),

j– индекс пассивного нейрона,

nномер итерации обучения,

α– коэффициент инерциальности для сглаживания резких скачков при перемещении по поверхности целевой функции,

0<η<1– множитель, задающий скорость «движения».

Метод построения факторной модели. Факторный анализ основывается на следующей линейной модели, связывающей исходные показателиФакторное моделирование с помощью нейронной сети - 22и факторы Факторное моделирование с помощью нейронной сети - 23:

Факторное моделирование с помощью нейронной сети - 24

m– число переменных,

g– число факторов,

Факторное моделирование с помощью нейронной сети - 25исходные переменные,

Факторное моделирование с помощью нейронной сети - 26общие факторы,

Факторное моделирование с помощью нейронной сети - 27специфичные факторы.

В матричном виде линейная модель факторного анализа записывается в виде:

Факторное моделирование с помощью нейронной сети - 28,

где Факторное моделирование с помощью нейронной сети - 29− матрица размерности Факторное моделирование с помощью нейронной сети - 30значений mпараметров у nобъектов,

Факторное моделирование с помощью нейронной сети - 31матрица размерности Факторное моделирование с помощью нейронной сети - 32значений g факторов у nобъектов,

Факторное моделирование с помощью нейронной сети - 33матрица размерности Факторное моделирование с помощью нейронной сети - 34значений mспецифичных факторов у nобъектов,

Факторное моделирование с помощью нейронной сети - 35матрица факторного отображения размерности Факторное моделирование с помощью нейронной сети - 36весовых коэффициентов,

Факторное моделирование с помощью нейронной сети - 37диагональная матрица размерностиФакторное моделирование с помощью нейронной сети - 38весовых коэффициентов специфичных факторов.

В данном методе построения факторной модели латентные характеристики ставятся в соответствие нейронам скрытого слоя. При этом число нейронов скрытого слоя полагают меньшим числа нейронов входного слоя для осуществления факторного сжатия входной информации. Для оценки числа нейронов скрытого слоя можно применять правило Кайзера классического факторного анализа. Нейронам входного и выходного слоя ставится в соответствие исходные характеристики объектов исследования. Когда передаточная функция нейронов линейна такая конфигурация нейронной сети соответствует классическому факторному анализу (рис. 2).

Факторное моделирование с помощью нейронной сети - 39

Рис. 2.Схема нейронной сети классического факторного анализа (число нейронов входного слоя равно числу нейронов выходного слоя, число нейронов скрытого слоя меньше числа нейронов входного слоя).

С помощью обучения нейронной сети вычисляются веса входных связей нейронов скрытого и выходного слоя, которые соответствуют элементам обратного и прямого факторного отображенияФакторное моделирование с помощью нейронной сети - 40. Веса нейронов ищутся в интервале [-1, 1]. Наполнение факторов исходными переменными определяется с помощью значений элементов факторного отображения и выбранного порогового уровня значимостиФакторное моделирование с помощью нейронной сети - 41. Переменная iвходит в фактор j, если Факторное моделирование с помощью нейронной сети - 42.

Для раскрытия взаимосвязи факторной модели и нейронной сети, воспользуемся формулами получения выходного сигнала нейронов скрытого слоя.

Обозначим выходной сигнал j-го нейрона скрытого слоя Факторное моделирование с помощью нейронной сети - 43. Выходной сигнал i-го нейрона входного слоя обозначим Факторное моделирование с помощью нейронной сети - 44. В качестве передаточной функции будем использовать линейную функцию Факторное моделирование с помощью нейронной сети - 45.

В результате

Факторное моделирование с помощью нейронной сети - 46,

где m– число нейронов входного слоя;

Факторное моделирование с помощью нейронной сети - 47связь между i-ым нейроном s-го слоя и j-ым нейроном t-го слоя,

Факторное моделирование с помощью нейронной сети - 48пороговый уровень i-го нейрона s-го слоя.

Аналогично для выходного слоя:

Факторное моделирование с помощью нейронной сети - 49,

гдеФакторное моделирование с помощью нейронной сети - 50− выходное значение i-го нейрона выходного слоя,

g − число нейронов скрытого слоя.

Полученная линейная взаимосвязь переменных соответствует классической модели факторного анализа, в которой факторы являются линейными комбинациями исходных переменных. Задача поиска факторного отображения и значений факторов сводится к задаче поиска весов связей и пороговых уровней нейронной сети. Поскольку факторное отображение и значения факторов являются неизвестными, необходима сеть с промежуточным слоем. Сеть в целом осуществляет тождественное преобразование, т.е. выходной сигнал наi-ом нейроне входного слоя равен выходному сигналу i-го нейрона выходного слоя. Отдельные части сети (входная и выходная часть) соответствуют прямому и обратному факторному отображению.

Теорема.

ПустьФакторное моделирование с помощью нейронной сети - 51и Факторное моделирование с помощью нейронной сети - 52− веса входных сигналов выходного и скрытого слоя нейронной сети с линейной передаточной функцией. Число нейронов на выходном слое равно числу нейронов входного слоя. Нейронная сеть состоит из входного, скрытого и выходного слоя и осуществляет тождественное преобразование для любого входного сигнала (вектор входных сигналов сети равен вектору выходных сигналов).

Тогда выполняется следующее равенство:

Факторное моделирование с помощью нейронной сети - 53,

гдеФакторное моделирование с помощью нейронной сети - 54связь междуi-ым нейрономs-го слоя иj-ым нейрономt-го слоя,

g − число нейронов скрытого слоя.

Доказательство:

Обозначим Факторное моделирование с помощью нейронной сети - 55– выходной сигнал i-го нейрона k-го слоя,

Факторное моделирование с помощью нейронной сети - 56i-ый выходной сигнал нейронов первого слоя.

Для поиска весов нейронной сети необходимо выполнение условия:

Факторное моделирование с помощью нейронной сети - 57, выходной сигнал на i-ом нейроне входного слоя равен выходному сигналу i-го нейрона выходного слоя. Из этого условия следует вспомогательное условие:

Факторное моделирование с помощью нейронной сети - 58, изменение i-го входного сигнала сети равно изменениюi-го выходного сигнала. При этом справедливы следующие равенства:

Факторное моделирование с помощью нейронной сети - 59,

Факторное моделирование с помощью нейронной сети - 60, где Факторное моделирование с помощью нейронной сети - 61и Факторное моделирование с помощью нейронной сети - 62– входной и выходной сигнал до изменения,

Факторное моделирование с помощью нейронной сети - 63.

Допустим, что производилось изменение только i-го входного сигнала.

Из этих условий следует:

Факторное моделирование с помощью нейронной сети - 64

Факторное моделирование с помощью нейронной сети - 65

Факторное моделирование с помощью нейронной сети - 66Факторное моделирование с помощью нейронной сети - 67

Факторное моделирование с помощью нейронной сети - 68;

Поскольку Факторное моделирование с помощью нейронной сети - 69, то Факторное моделирование с помощью нейронной сети - 70должно выполняться для всех i, поскольку выбор i-го входного сигнала был произволен.

Теорема доказана ■.

Веса Факторное моделирование с помощью нейронной сети - 71и Факторное моделирование с помощью нейронной сети - 72входных сигналов выходного и скрытого слоя нейронной сети с линейной передаточной функцией соответствуют коэффициентам прямого и обратного факторного отображения. Чем точнее нейронная сеть с факторным сжатием информации осуществляет тождественное преобразование, тем точнее будет выполняться равенство теоремы, соответствующее тому, что композиция прямого и обратного факторного преобразования должно давать тождественное преобразование. Докажем соответствующую теорему.

Теорема.

ПустьФакторное моделирование с помощью нейронной сети - 73и Факторное моделирование с помощью нейронной сети - 74− веса входных сигналов выходного и скрытого слоя нейронной сети с линейной передаточной функцией. Число нейронов на выходном слое равно числу нейронов входного слоя. Нейронная сеть состоит из входного, скрытого и выходного слоя.

Факторное моделирование с помощью нейронной сети - 75средняя невязка сигнала между входом и выходом сети, приходящаяся на один входной (выходной) нейрон,

Факторное моделирование с помощью нейронной сети - 76невязка равенства Факторное моделирование с помощью нейронной сети - 77, т.е.Факторное моделирование с помощью нейронной сети - 78,

гдеФакторное моделирование с помощью нейронной сети - 79связь междуi-ым нейрономs-го слоя иj-ым нейрономt-го слоя,

g − число нейронов скрытого слоя.

Тогда чем меньше Факторное моделирование с помощью нейронной сети - 80, тем меньшеФакторное моделирование с помощью нейронной сети - 81.

Доказательство:

В предыдущей теореме доказано следующее равенствозначения сигнала по одной переменной на выходеФакторное моделирование с помощью нейронной сети - 82от приращения сигнала по той же переменной на входе Факторное моделирование с помощью нейронной сети - 83:

Факторное моделирование с помощью нейронной сети - 84.

Поскольку Факторное моделирование с помощью нейронной сети - 85,

где Факторное моделирование с помощью нейронной сети - 86– начальная невязка сигналов между входом и выходом сети до изменения i-го входного сигнала,

то Факторное моделирование с помощью нейронной сети - 87. Это означает монотонную зависимость между Факторное моделирование с помощью нейронной сети - 88и Факторное моделирование с помощью нейронной сети - 89.

Теорема доказана ■.

Для построения нелинейных главных компонент в качестве передаточной функции может быть выбрана антисимметричная сигмоидальная функция:

Факторное моделирование с помощью нейронной сети - 90.

В любом случае независимо от вида передаточной функции для получения интерпретируемого факторного отображения вводится дополнительное слагаемое в общую целевую функцию квадратов невязок, соответствующее критерию «варимакс» классического факторного анализа – это максимизация дисперсии нагрузок переменной, приходящихся на все факторы:

Факторное моделирование с помощью нейронной сети - 91,

Факторное моделирование с помощью нейронной сети - 92.

Учет «варимакс» критерия приводит к появлению дополнительных слагаемых при изменении весов нейронной сети на выходном слое:

Факторное моделирование с помощью нейронной сети - 93.

Другим вариантом получения интерпретируемого факторного отображения может быть использование специального критерия интерпретируемости [12]. Данный критерий заключается в том, что только одна факторная нагрузка для фиксированной переменной, должна быть близкой к 1, тогда как остальные должны быть близкими к 0. Учет эмпирического критерия интерпретируемости, предлагается осуществить следующим образом: среди факторных нагрузок для фиксированной переменной выбирается максимальная по модулю. Все факторные нагрузки отличные от максимальной уменьшаются по модулю на γ, тогда как максимальная увеличивается на γ.

Аналогичный учет главных условий факторного анализа на сумму квадратов факторных нагрузок переменной, приходящихся на все факторы, Факторное моделирование с помощью нейронной сети - 94и поиск факторных нагрузок в допустимом интервале Факторное моделирование с помощью нейронной сети - 95приводит к поправкам на изменение весов нейронной сети для выходного слоя. В случае нарушения этих условий предлагается использовать штрафную функцию Факторное моделирование с помощью нейронной сети - 96, соответствующую минимизации весов нейронов. Тогда Факторное моделирование с помощью нейронной сети - 97.

Для стандартизации входных значений нейронной сети используется линейное преобразование:

Факторное моделирование с помощью нейронной сети - 98, переводящее диапазон исходных величинxиз [min,max] в [s,t].

Тогда Факторное моделирование с помощью нейронной сети - 99,Факторное моделирование с помощью нейронной сети - 100.

Для обратного преобразования выходных значений нейронной сети из диапазона [s, t] в [min,max] используется преобразование Факторное моделирование с помощью нейронной сети - 101.

В качестве интервала [s,t] для антисимметричной сигмоидальной функции Факторное моделирование с помощью нейронной сети - 102может быть выбран интервал [-0.85, 0.85].

Тогда Факторное моделирование с помощью нейронной сети - 103,Факторное моделирование с помощью нейронной сети - 104.

Численный эксперимент. В качестве исходных параметров были взяты 15 биофизических показателей для 131 лица с артериальной гипертензией начальной стадии:

  1. вес,

  2. индекс массы тела (ИМТ),

  3. частота дыхания (ЧД),

  4. сегментоядерные нейтрофилы (С),

  5. лимфоциты (Л),

  6. конечно-систолический размер левого желудочка (КСР),

  7. конечно-систолический объем левого желудочка (КСО),

  8. конечно-диастолический размер левого желудочка (КДР),

  9. конечно-диастолический объем левого желудочка (КДО),

  10. ударный объем (УО),

  11. минутный объем сердца (МОС),

  12. общее периферическое сосудистое сопротивление (ОПСС),

  13. индекс Хильдебрандта (ИХ),

  14. фракция выброса левого желудочка (ФВ),

  15. фракция укорочения левого желудочка (ФУ).

При обучении нейронной сети на данных артериальной гипертензии начальной стадии содержащих 131 паттерн и 15 переменных с антисимметричной сигмоидальной передаточной функцией и 5-ю нейронами на скрытом слое ошибка, приходящаяся на одну переменную, составляла не более 10% от диапазона значений переменной по выборке. График сходимости процесса обучения представлен на рисунке 3. Под итерацией обучения понимается одна эпоха обучения, когда сети подставляется весь набор паттернов обучения. Под суммарной ошибкой на обучающей выборке понимается сумма ошибок для всех паттернов обучающего множества на одной итерации обучения.

Для проверки эффективности обучения нейронной сети исходное множество входных-выходных значений было разделено на 2 независимых подмножества: обучающее и тестовое. Обучение проводилось на обучающем множестве, а верификация – на тестовом. Ошибка нейронной сети на тестовом множестве является показателем того, насколько точно обучилась нейронная сеть. Относительный объем тестового множества был оценен по формуле [7]:

Факторное моделирование с помощью нейронной сети - 105,

где Wколичество входных параметров.

При W= 15, Факторное моделирование с помощью нейронной сети - 106. При 131 паттерне на тестовое множество приходится 20 паттернов.

График изменения суммарной ошибки для паттернов тестового множества при верификации на каждой эпохе процесса обучение представлен на рисунке 4. Под суммарной ошибкой на тестовом множестве понимается сумма ошибок для 20 паттернов тестового множества при процессе верификации на каждой эпохе обучения, т.е. когда для обучения был использован полный набор паттернов обучающего множества, но тестовое множество не участвовало в обучении. На каждой эпохе относительная ошибка для тестового множества больше относительной ошибки для обучающего множества. В пределе, когда ошибка для обучающего множества начинает сходится, возможен эффект переобучения, т.е. значение ошибки при верификации на тестовом множестве начинает не уменьшатся, а расти это связано с тем, что промежуточные точки между точками обучающего множества в многомерном пространстве плохо аппроксимируются восстанавливаемой зависимостью нейронной сети. Рисунок 4 и его график изменения ошибки на тестовом множестве показывает, что эффекта переобучения нет и объем обучающего множества достаточен для количества исходных показателей равным 15. На графики заметны лишь незначительные флуктуации ошибки при дальнейшем обучении на обучающем множестве в процессе сходимости ошибки для обучающего множества.

Из графика видно, что эффекта переобучения не наблюдается, дальнейшее обучение приводит лишь к небольшой флуктуации суммарной ошибки на тестовом множестве.

Факторное моделирование с помощью нейронной сети - 107

Рис. 3.График изменения суммарной ошибки на обучающей выборке (131 паттерн, 15 переменных).

Факторное моделирование с помощью нейронной сети - 108

Рис. 4.График изменения суммарной ошибки на тестовом множестве (20 паттернов, 15 переменных).

Факторное моделирование с помощью нейронной сети - 109

Рис. 5.Собственные значения исходных переменных.

Средние ошибки, приходящиеся на 15 переменных для одного паттерна на обучающем и тестовом множестве равны 1.28 и 1.54. При исходном диапазоне изменения параметров [-0.85, 0.85] ошибка, приходящаяся на одну переменную, для обучающего и тестового множества равны 5 и 6 %. Например, для параметра «вес» наибольший вес был равен 116 кг, наименьший 45 кг, при диапазоне в 71 кг, ошибка в 6% соответствует 4.26 кг. Это свидетельствует о хорошей способности нейронной сети к обобщению. Поскольку ошибка в 6% для 15 входных параметров и 131 примера для обучения меньше теоретической оценки ошибки в 10%, когда требуется 15 * 10 примеров для обучения, то можно говорить о достаточности обучающего множества. Известно, что между действительно достаточным размером множества обучения и теоретическими оценками может существовать большой разрыв [7].

Число нейронов на скрытом слое выбиралось согласно правилу Кайзера факторного анализа, когда число факторов выбирается не больше чем количество собственных значений корреляционной матрицы переменных больших 1. График собственных значений исходных переменных приведен на рисунке 5. В ходе численного эксперимента с данными артериальной гипертензии было установлено, что хорошая обучаемость нейронной сети достигается при числе нейронов в скрытом слое не меньшем верхней границы числа собственных значений исходных переменных по правилу Кайзера. При меньшем числе нейронов в скрытом слое наблюдались значительные ошибки на обучающей выборке и наоборот, чем больше нейронов выбиралось на скрытом слое, тем меньше была ошибка на тестовом и обучающем множестве. Это связано с факторным сжатием и потерей информации на скрытом слое.

Факторное отображение, полученное с помощью нейронной сети, незначительно отличается от факторного отображения, получаемого методом главных компонент с последующим «варимакс» вращением и имеет тот же интерпретационный характер, все значимые факторные нагрузки двух матриц факторных отображений близки друг к другу. Соответствующие факторные структуры приведены в таблице 1, 2, 3.

С точки зрения совпадения факторных структур ошибка прогноза входного паттерна менее 10% оказалась не критичной и нейронная сеть является достаточно обученной для проведения факторного анализа. Данные факторные структуры подтверждаются предыдущими работами [11].

Таблица 1. Факторная структура «варимакс»

(метод главных компонент + «варимакс» вращение)

Факторное моделирование с помощью нейронной сети - 110

Таблица 2. Факторная структура на базе нейронной сети («варимакс» критерий)

Факторное моделирование с помощью нейронной сети - 111

Таблица 3. Факторная структура на базе нейронной сети (критерий интерпретируемости)

Факторное моделирование с помощью нейронной сети - 112

Специальный критерий интерпретируемости оказался более эффективным, чем «варимакс» критерий. Разделение исходных переменных на факторы более мощное: незначимые факторные нагрузки близки к 0, тогда как значимые близки к 1. Незначимые факторные нагрузки отдают свою долю дисперсии переменных, приходящиеся на факторы, значимым фактоным нагрузкам, тем самым повышая эффективность разбиения исходных параметров на факторы. Конечным этапом факторного моделирования является интерпретация наполнения факторов переменными и более эффективное разбиение исходных переменных на факторы, соответствующее целям классического факторного вращения, является плюсом факторного моделирования на базе нейронной сети со специальным критерием интерпретируемости. Расхождение величин незначимых факторных нагрузок матриц факторного отображения до и после факторного вращения является обычным эффектом, целью которого является повышение эффективности интерпретационного разделения исходных переменных на факторы.

Матрица корреляций факторов немного отличается от ортогональной, что соответствует общему косоугольному случаю (таблица 4).

Таблица 4.Корреляции факторов, полученных на базе нейронной сети

Факторное моделирование с помощью нейронной сети - 113

с использованием критерия интерпретируемости

Факторное моделирование позволяет выделить группы взаимосвязанных параметров, образующих факторы заболевания артериальной гипертензии. Факторы проинтерпретированы в ранних работах[13, 14]:

1. Главный фактор можно интерпретировать как гемодинамический фактор, включающий параметры, описывающие центральную и периферическую гемодинамику. Переменные УО, МОС, ОПСС определяют уровень артериального давления. В норме, изменениям минутного объема циркуляции должна соответствовать адекватная по величине и направлению реакция прекапиллярного русла, которая бы нивелировала эти изменения и сохраняла среднее давление на нормальном уровне. Например, если МО снижен, то артериолы должны сузиться. Если МО увеличен, то артериолы должны расшириться. Нарушения взаимосвязи этих показателей лежат в основе изменений уровня АД. Вместе с тем изменение уровня артериального давления взаимосвязано с модуляцией сердца, за которую отвечают параметры КСР, КСО, КДР, КДО.

2. Фактор составленный из параметров Фракция выброса левого желудочка и Фракция укорочения ЛЖ можно считать важным для непосредственной оценки контрактильной (сократительной, нагнетательной) функции левого желудочка. Этот фактор определяет объемную ресурсоемкость ЛЖ. Он показывает, насколько использованы объемные резервы самого сердца для поддержания уровня артериального давления.

3. Фактор, отвечающий за соответствие массы и роста.

4. Фактор, характеризующий уровень слаженности работы сердца и легких, определяется через частоту дыхания и индекс Хильдебранта.

5. Иммунологический фактор, который может отражать психосоматическое состояние индивида, поскольку этот фактор активируется в стрессовых состояниях. Основной вклад в формирования этого фактора вносят сегментоядерные нейтрофилы и лимфоциты.

Выделенные факторы являются различными аспектами заболевания. Например, это может быть такой фактор риска как ожирение и нарушение фактора 3. Факторы 4 и 5 соответствуют стрессовой восприимчивости, при которой нарушается иммунологический фактор и фактор слаженности работы сердца и легких. Все выделенные факторы подтверждены независимыми медицинскими исследованиями.

В ранней работе [13] даны рекомендации по нормализации выделенных факторов. Выделенные пять факторов позволяют указать группу параметров, на которую нужно воздействовать, чтобы получить максимальный эффект от лечения. Например, для стабилизации уровня артериального давления следует воздействовать на всю группу признаков, описывающих гемодинамический фактор. При этом следует учитывать ремоделирование сердца (структурно-геометрическое состояние) при формировании патофизиологических взаимоотношений в системе кровообращения у пациентов с гипертонической болезнью. Поскольку ожирение является одним из факторов риска, то снижение веса позволит нормализовать фактор, отвечающий за соответствие массы и роста. Исключение стрессовых ситуаций пациентом позволит улучшить показатели, формирующие иммунологический фактор, а также нормализовать фактор, характеризующий уровень слаженности работы сердца и легких.

Заключение. Рассмотрен известный альтернативный метод построения факторной модели на основе нейронной сети и алгоритма обратного распространения ошибки. Данный метод был усовершенствован для проведения факторного вращения и получения интерпретируемого решения. Преимущества данного метода заключается в том, что он объединяет в себе все этапы классического факторного анализа: поиск факторного отображения, факторное вращение и вычисление значений факторов. Этот метод осуществляет косоугольный факторный анализ, тем самым имеет максимальную степень общности для линейной модели.

На базе нейронной сети с нелинейной передаточной функцией получен вариант нелинейного факторного анализа. Факторная структура артериальной гипертензии, полученная с помощью нейронной сети и критериев интерпретируемости, незначительно отличается от факторной структуры, полученного методом главных компонент с последующим «варимакс» вращением и имеет тот же интерпретационный характер.

ЛИТЕРАТУРА

  1. Иберла К. Факторный анализ. Пер. с нем. В. М. Ивановой; Предисл. А. М. Дуброва. — М.: Статистика, 1980.

  2. Гаврилевич М. Введение в нейроматематику. // Обозрение прикладной и промышленной математики. М.: ТВП, 1994.

  3. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators.// Neural Networks, 1989, v.2, N.5.

  4. Cybenko G. Approximation by Superpositions of a Sigmoidal Function.// Mathematics of Control, Signals and Systems, 1989, v.2.

  5. Funahashi K. On the Approximate Realization of Continuous Mappings by Neural Networks. // Neural Networks. 1989, v.2,N.3, 4.

  6. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей.// Сибирский журнал вычислительной математики / РАН. Сиб. отделение. – Новосибирск, 1998. – Т.1, №1. – с. 11-24.

  7. Хайкин C.Нейронные сети: Полный курс. Пер. с англ. Н. Н. Куссуль, А. Ю. Шелестова. 2-е изд., испр. — М.: Издательский дом Вильямс, 2008, 1103 с.

  8. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002, 344 с.

  9. Gorban A., Kegl B., Wunsch D., Zinovyev A., Principal Manifolds for Data Visualisation and Dimension Reduction// Springer, Berlin – Heidelberg – New York, 2007.

  10. Kruger U., Antory D., Hahn J., Irwin G.W., McCullough G. Introduction of a nonlinearity measure for principal component models.// Computers & Chemical Engineering, 29 (11-12), 2355–2362 (2005)

  11. Jain A.K., Mao J., Mohiuddin K.M.Artificial Neural Networks: A Tutorial.Computer, March, 1996, pp. 31-44.

  12. Шовин В.А., Гольтяпин В.В. Методы вращения факторных структур.// Математические структуры и моделирование. 2015. № 2. С. 75-84.

  13. Гольтяпин В.В., Шовин В.А.Косоугольная факторная модель артериальной гипертензии первой стадии. // Вестник Омского университета. 2010. № 4. c. 120-128.

  14. Шовин В.А. Конфирматорная факторная модель артериальной гипертензии. // Компьютерные исследования и моделирование. 2012. Т. 4. № 4. c. 885-894.

Автор: vladshow

Источник

Поделиться новостью

* - обязательные к заполнению поля