NEU-2003

Рассмотрим решение двух классов систем нелинейных алгебраических уравнений: аппроксимирующих по методу конечных разностей нелинейные дифференциальные уравнения в частных производных, и систем общего вида. В первом случае система имеет вид

где A(X) и F(X) – матрица и вектор, элементы которых зависят от вектора решения X, причем матрица A(X) для многих задач является положительно определенной.

Во втором случае решается система

где f(X) – нелинейная вектор-функция.

Простейшим алгоритмом решения системы на нейронной сети является метод простой итерации

где k – номер итерации.

В алгоритме пересчитываются и задаются параметры нейронной сети в зависимости от вектора предыдущего приближения к решению X^(k), и на сети с линейной функцией активации одним из итерационных методов решается система [1], что формально отражено умножением на обратную матрицу A^-1. При этом возможны две разновидности алгоритмов решения систем нелинейных уравнений: с пересчетом матрицы A(X) и вектора F(X) в каждой итерации и с пересчетом после некоторого числа итераций. Гарантировать сходимость итерационного процесса в общем случае нельзя. Известно [2], что для сходимости процесса оператор A^-1(X^(k)) должен быть сжимающим, т.е. для любых векторов U, V и α < 1 должно выполняться неравенство ||A^-1U − A^-1V|| < α||U − V||.

Исследование алгоритмов решения нелинейных уравнений на нейронной сети проводилось путем моделирования работы аналоговых и цифровых сетей. Решалась модельная задача

,

где , .

Задача решалась в квадрате 32´32 с граничными условиями . Конечно-разностное уравнение для i-ой узловой точки в предположении, что соседними являются точки i - 1, i + 1, p и q имеет вид

,

где , (аналогично рассчитываются другие коэффициенты σ), .

Моделирование аналоговой сети показало, что наибольшую скорость сходимости имеет алгоритм аддитивной коррекции с настройкой сети в каждой итерации, получением на сети поправки к решению и формированием решения в цифровой части вычислительной системы. Из рассмотренных цифровых итерационных алгоритмов (методы Якоби, Ричардсона и последовательной верхней релаксации [3]) наибольшую скорость сходимости обеспечил метод последовательной верхней релаксации.

Рассмотрим решение методом Ньютона систем нелинейных уравнений общего вида (2). В каждой итерации метода [2] решается система линейных уравнений

где J(X^(k)) – матрица Якоби из f(X) на k-ой итерации.

Новое приближение определяется как X^(k+1) = X^(k) – τΔX^(k+1), где τ – скаляр.

Наибольшую сложность представляет решение системы (4), т.к. матрица Якоби имеет сложную структуру и как правило не является положительно определенной. Для систем (4) невысокого порядка можно использовать трансформацию Гаусса и решать (4) на нейронной сети [4]. Недостатками такого подхода являются сложная структура сети и необходимость пересчета синаптических весов сети в каждой итерации.

Представляется перспективной аппроксимация нелинейной функции f(X) нейронной сетью [5]. При соответствующем выборе функции активации матрица Якоби легко выражается через веса и выходы промежуточного слоя нейронной аппроксимирующей сети [6], что существенно упрощает реализацию метода Ньютона как с использованием нейронных сетей, так и на компьютерах традиционной архитектуры.

ЛИТЕРАТУРА

1. Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля / Общая ред. А.И. Галушкина. – М.: ИПРЖР, 2003. – 336 с. (Нейрокомпьютеры и их применение).

2. Ортега Дж. Итерационные методы решения нелинейных систем уравнений со многими неизвестными / Дж. Ортега, В. Рейнболдт. – М.: Мир, 1975. – 558 с.

3. Деммель Дж. Вычислительная линейная алгебра. Теория и приложения. – М.: Мир, 2001. – 430 с.

4. Nguyen T.T. Neural Network Architecture for solving Nonlinear Equation Systems // Electronics Letters. – 1993, vol. 29. – No. 16. – P.1403 – 1405.

5. Горбань А.Н. Функции многих переменных и нейронные сети // Соровский образовательный журнал. – 1998. – № 12. – С.105–112.

6. Mathia K., Saeks R. Solving nonlinear Equations Using Recurrent Neural Networks // World Congress on Neural Networks. – 1995, vol. I. – P. 76 – 79.

¹ Работа поддержана грантом Российского фонда фундаментальных исследований (проект РФФИ № 02-07-90282 "Нейросетевой распределенный вычислительный кластер и решение некоторых актуальных задач тепломасообмена и гидродинамики").