NEU-2001

Как известно, современные алгоритмы обучения нейронных сетей принято делить на два основных класса: алгоритмы "обучения с учителем" и "обучения без учителя". Алгоритмы первого типа, одним из характерных примеров которых является алгоритм back-propagation [1], обладают более широкими возможностями, чем алгоритмы "обучения без учителя". Так, помимо задач классификации они способны решать задачи прогнозирования, аппроксимации функций и др. Однако и алгоритмы "обучения с учителем" имеют определенные ограничения [2]. В частности, алгоритм [1] способен вести обучение только на очень коротких временных интервалах (до 5-10 тактов функционирования нейросети). Вместе с тем, существенное расширение возможностей нейронных сетей может произойти лишь после преодоления нейрокомпьютерами временного барьера [3] и ряда других ограничений [2]. Для преодоления этих ограничений разработана концепция сетей и систем с самостоятельной адаптаций, предлагающая принципы создания алгоритмов обучения нейронных сетей с поисковым поведением [4].

Рассмотрим один из простых алгоритмов самостоятельной адаптации, который позволяет расширить возможности нейросетевых методов управления и обработки информации.

Пусть функционирование нейрона нейросети описывается уравнением

(1)

где A_i - внешние входные сигналы; α_j - входные сигналы от других нейронов; x_ij - веса межнейронных связей.

Целевая функция с помощью которой оценивается успешность обучения (адаптации) может быть задана, следующим образом:

(2)

где γ_q^* - требуемые значения γ_q = f (α_i).

В процессе адаптации (обучения) нейросети происходит подстройка весовых коэффициентов x_ij до тех пор, пока не будет получен набор x_ij, удовлетворяющих условию H ≤ μ, где μ максимально допустимая величина ошибки.

В работе алгоритма можно выделить три повторяющихся этапа:

1. Сохранение текущих значений ρ_i⁰ для каждого нейрона и H⁰ для сети в целом.

2. Подбор методом случайного поиска величин ρ_i таким образом, чтобы выполнялось условие H<H⁰. При этом ошибка в уровне активности каждого нейрона сети может быть получена как Δρ_i=ρ_i - ρ_i⁰.

3. Подстройка весовых коэффициентов осуществляется с помощью преобразования x_ij=x_ij + Δρ_iα_jy, где коэффициент y – шаг модификации x_ij.

Изменение x_ij ведет к уменьшению Δρ_i, приближающему величины ρ_i и, следовательно, α_i = f(ρ_i) к желаемым. При этом H стремится к минимально возможным значениям.

Для выполнения поисковой обучающей процедуры может быть использовано множество алгоритмов. Одним из простейших является алгоритм с возвратом на неудачном шаге. Он сводится к построению последовательности {ρ_i^k} по правилу:

где γ^k - некоторая положительная величина; - какая-либо реализация n - мерной случайной величины с известным законом распределения. Например, координаты x_h случайного вектора могут представлять независимые случайные величины, равномерно распределенные на отрезке [-1,1].

Пусть k-е приближение уже известно. Функция H(α(ρ_i)) в уравнении (2) достигает минимума на некотором множестве Q Î Eⁿ, ρ_i^k Î Q (k ≥ 0).

Алгоритм действует следующим образом. С помощью датчика случайных чисел получают некоторую реализацию случайного вектора и в пространстве Eⁿ определяют точку r_i^k= ρ_i^k + γξ, γ=const>0. Если r_i^kÎ Q и H(α(r_i^k))< H(α(ρ_i^k)), тогда ρ_i^k+1=r_i^k. Если r_i^kΠQ но H(α(r_i^k))≥ H(α(ρ_i^k)), или r_i^kÏ  Q, то сделанный шаг считается неудачным и полагается ρ_i^k+1 = ρ_i^k.

В ситуации, когда требуемая точность достигнута - H≤μ, или ρ_i^k = ρ_i^k+1 = ρ_i^k+2... = ρ_i^k+N, если N достаточно велико, точка ρ_i^k принимается в качестве искомой точки минимума.

Ускорение адаптивной процедуры

Для ускорения работы адаптивной процедуры можно использовать прогнозирование направления поиска с использованием предыдущего опыта адаптации. Набор численных методов, пригодных для прогноза наилучшего изменения величин ρ_i достаточно широк.

Приведем один из подходов, позволяющих осуществить подобную процедуру. Он представляет собой простую самонастраиваемую модель, основанную на вычислении так называемой экспоненциальной средней [5].

Поиск с вычислением экспоненциальной средней. В процессе случайного поиска возникает последовательность значений {ρ_i}, которые удовлетворяют условию улучшения функции оценки. Это временной ряд ρ_t, поведение которого прогнозируется (ρ_t - значение ρ_i в некоторый момент времени). Пусть временной ряд, генерируемый некоторой моделью ρ_t = δ_t + ε_t, где величина ε_t генерируется случайным неавтокореллированным процессом с нулевым математическим ожиданием и конечной дисперсией, а величина δ_t может быть сгенерирована либо детерминированной функцией, либо случайным процессом, либо какой-нибудь их комбинацией.

Вычисление и анализ тенденции динамического ряда можно осуществить с помощью его экспоненциального сглаживания. В его основе лежит расчет экспоненциальных средних. Экспоненциальное сглаживание описывается рекуррентной формулой , где S_t - значение экспоненциальной средней в момент t; ν - параметр сглаживания, ν = const, 0<ν<1; β=1-ν. Или через значения временного ряда ρ_t: , где N - количество членов ряда; S₀ - величина, характеризующая начальные условия для первого применения формулы при t=1. Так как β<1, то при N → ∞ β^N → 0, а .

Тогда .

Таким образом, величина S_t является взвешенной суммой всех членов ряда.

Пусть ряд генерируется моделью , где a₁=const; ε_t - случайное неавтокоррелированное отклонение, или шум, со средним значением 0 и дисперсией s².

Применим к нему процедуру экспоненциального сглаживания. Тогда

.

Найдем математическое ожидание и дисперсию

.

Так как 0<ν<1, D(S_t)< D(ρ_t)=s². Таким образом, экспоненциальная средняя S_t имеет то же математическое ожидание, что и ряд ρ, но меньшую дисперсию. При высоком значении ν дисперсия экспоненциальной средней незначительно отличается от дисперсии ряда ρ.

Чтобы применить экспоненциальную среднюю для краткосрочного прогнозирования используем ряд, который генерируется моделью , где a_1,t - варьируемый во времени средний уровень ряда; ε_t - случайное неавтокоррелированное отклонение с нулевым мат. ожиданием и дисперсией s². Прогнозная модель имеет вид , где - прогноз, сделанный в момент t на t единиц времени (шагов) вперед; - оценка a_1,t. Экспоненциальная средняя S_t служит оценкой для параметра модели a_1,t, . Все свойства экспоненциальной средней являются одновременно свойствами прогнозной модели. Если S_t-1 - прогноз на 1 шаг вперед, то величина (ρ_t - S_t-1) является погрешностью этого прогноза, а новый прогноз S_t получается в результате корректировки предыдущего прогноза с учетом ошибки.

Литература

1. Rumelhart D.E., Hinton G.E. & Williams R.J. Learning representations by back-propogating errors.// Nature.- 1986.- 323.-P.533-536.
2. Ланкин Ю.П. Адаптивные сети с самостоятельной адаптацией./ Препринт ТО №4 Института биофизики СО РАН, Теоротдел.- Красноярск, 1998.- 17 с.
3. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных сетей обработки информации/ Динамика химических и биологических систем.- Новосибирск: Наука. Сиб. отд-ние, 1989.- С.6-55.
4. Ланкин Ю.П. Самостоятельно адаптирующиеся нейронные сети в моделировании сложных объектов // Материалы IX-го Международного симпозиума “Реконструкция гомеостаза”; В 4-х т., Т.1.- Красноярск: КНЦ СО РАН, 1998.- С. 281-287.
5. Басканова Т.Ф., Ланкин Ю.П. Алгоритм самостоятельной адаптации для нейронных сетей с поисковым поведением // Известия вузов. Физика, 2000.- Вып. 6, с.47-51.