NEU-2003

В работе на качественном уровне строгости рассмотрена динамическая система (процесс обучения). Она обладает многими интересными свойствами. Представлен, также, результат применения соответствующего алгоритма в приложении к геологии.

1. Рассмотрим функционал вида E(f), где f-функциональное “фазовое” пространство и задачу . Такая задача возникает, например, при “обучении” нейросетей. Рассмотрим динамическую систему типа градиентного спуска ГС:

-бифуркационный параметр определённый ниже.

h -стохастический параметр (белый шум небошой амплитуды |h | с нулевым средним).
Такая аффинная модификация градиентного спуска делает его неравновесной динамической системой ДС с множеством интересных свойств.

Общеизвестно, что стандартный ГС останавливается по достижении локального минимума функционала. Этот факт говорит в пользу введения бифуркационного параметра, который отвечает за “фазовые переходы”. Динамический шум h позволяет, во-первых, абстрагироваться от неустойчивых локальных положений равновесия типа особых точек ненулевого индекса или локальных максимумов для стандартного ГС, во-вторых, делает маловероятными (в смысле меры) события:.

Определение . Предположим, для простоты, что пространство f моделируется компактной областью евклидова пространства некоторой размерности D. В случае нейросетей это условие может быть выполнено. Рассмотрим некоторое разбиение a ={a ₀,…a _N} (N-число атомов разбиения) пространства f и нормированную меру µ(a ,t) порождаемую нашей ДС:

.

- число “посещений” ДС элемента a _i к моменту времени t. Подробно: пусть , тогда .

Введем функцию меры-->энтропию разбиения a . Суммирование ведётся по всем “посещаемым” элементам разбиения. Пусть их число к моменту времени t равно N(t).

Положим . -положительная постоянная.

В “яме” ДС практически вырождается в бернуллиевский стационарный процесс в ограниченной области фазового пространства -, что со временем приводит к неравномерности распределения µ и, как следствие, к уменьшению энтропии , а значит к росту бифуркационного параметра . -параметр, определяющий шаг (масштаб итерации), и его рост приводит к своеобразному “параметрическому резонансу”, выталкивающему ДС из “квазистационарной фазы”. Интересно отметить, что l имеет размерность обратной “массы” и, таким образом, является информационно-энергитическим параметром динамической системы.

Возможно, в качестве бифуркационного параметра можно выбрать неубывающую функцию свободной энергии в виде:

, , .

где - матожидание E по распределению , а - “температура”, подлежащая определению.

Всё вышесказанное в полной мере относится к алгоритму обучения нейросетей, особенно в части разбиения фазового пространства. Это разбиение можно осуществить при помощи дополнительной сети (косети), входной слой которой это упорядоченное множество всех синоптических весов основной (обучаемой) сети. Тогда адрес атома разбиения - двоичное слово (длина равна числу нейронов косети, а состояние каждого бита- активность соответствующего нейрона). Такое разбиение более экономично, чем разбиение обычной решеткой плоскостей. Это утверждение имеет точный математический смысл: в высшие слои входной слой отображается нелинейно и его можно при помощи гиперплоскости (нейрона) разбить более чем на две части.

Как видно, процесс обучения нейросетей после некоторой модификации приобретает статфизический и динамический смысл. Это обстоятельство, возможно, поможет интерпретации результатов применения нейросетевых алгоритмов в приложениях.

2. Рассмотренный алгоритм и соответствующая программа были апробированы на геологическом материале для решения задач регионального прогнозирования полезных ископаемых. Зависимой характеристикой (функцией) являлась плотность различных типов золотого, медного и свинцового оруденений. Аргументами (прогнозными признаками) служили вещественные свойства вмещающей орудинения геологической среды. Построение функции даже на небольшом количестве данных показало, что она достаточно уверенно восстанавливает структуру полей распределения руд, и, следовательно, может использоваться при прогнозе полезных ископаемых, в том числе и с количественной оценкой полезных ресурсов.

Пример восстановления плотности оруденения 2Au (Акбакай-Бестюбинский тип) на территории восточного Казахстана по 20% данных показан на рисунках.

Вычисленная плотность золотого оруденения типа 2Au.

Плотность золотого оруденения типа 2Au.