NEU-2001

Предлагается к рассмотрению алгоритм настройки весовых коэффициентов нейронной сети (НС). Предлагаемый подход используется в процессе выбора оптимальной структуры многослойного персептрона как промежуточная процедура.

Рис. 1. Часть сети с прямым прохождением сигнала

Рассмотрим связи между двумя слоями. Предположим, в частном случае, что количество нейронов в этих слоях одинаково (рис. 1). В этом случае вектор входных сигналов (INP) в последующий слой - есть произведение транспонированной матрицы весовых коэффициентов (W) и вектора выходных сигналов с предыдущего слоя (OUT). Если предположить, что значения весовых коэффициентов между всеми последующими и предыдущими слоями известны, то для каждого примера из обучающего множества можно найти значения векторов INP* и OUT*. Тогда в рассматриваемом (частном) случае матрицу весовых коэффициентов W можно найти минимизируя сумму квадратичных покоординатных отклонений, т.е. методом наименьших квадратов.

Отметим, что если вектор OUT определяется однозначно, путем пропускания примера из задачника через предыдущие слои нейронной сети, то вектор INP можно найти, распространяя сигнал обратно от выходного слоя нейросети до требуемого. Причем вектор OUT ищется как произведение матрицы обратной к транспонированной матрице W. А каждую координату вектора INP находим, преобразуя сигнал, "вышедший" с данного нейрона посредством функции, обратной функции активации.

С учетом вышеизложенного, предлагаемую процедуру можно описать следующим образом. Во-первых, генерируются случайным образом все весовые коэффициенты персептрона. Предполагая, что весовые коэффициенты между всеми слоями достаточно хороши (можно, например, провести одну-две итерации любого градиентного метода), пропускаем желаемый сигнал от выхода сети до первого слоя из скрытых и решаем систему уравнений для синапсов между входным и первым скрытым слоем. Далее, последовательно повторяя процедуру, пересчитываем все весовые коэффициенты для последующих слоев.

Тестирование предлагаемого подхода показало, что в целом предлагаемый алгоритм работает не хуже некоторых известных процедур, например Back-Propagation.