Нейрокомпьютинг и его применения в экономике и бизнесе


Исправление данных - часть 2


Некоторые из нейронов скрытого слоя могут настраива ться на них. При этом ресурсов для описания регулярных слабо зашумленных областей может и не хватить. Множество попыток применения нейронных сетей к решению финансовых задач выявило важное обстоятельство: контроль гибкости нейросетевой модели является центральной проблемой. Изложим кратко существо процедуры обучения сети, объединенной с исправлением данных. Для простоты рассмотрим сеть с одним входом и одним выходом. В этом случае минимизируемой величиной является сумма двух слагаемых (Weigend & Zimmermann, 1996):

E=\frac{1}{2}\eta(y-y^d)+\frac{1}{2}k(x-x^d).

Первый член описывает обычно минимизируемое в методе обратного распространения ошибки квадратичное отклонение выхода нейронной сети

y=y(x,w)
от желаемого значения
y^d
. Второе слагаемое представляет собой квадратичное отклонение исправленного входного значения
x
от реального его значения
x^d
. Соответственно, для весов сети
w
и для исправленных входных значений
x
получаются два правила их модификации. Для весов оно такое же, как и в стандартном методе обратного распространения ошибки, а для исправленного входа имеет вид

x_{i+1}=x_i-\frac{\partial E}{\partial x},

где индекс определяет номер итерации данного входа. Представляя в виде суммы подлинного начального входного значения и поправки , получим для последней следующее уравнение итерационного изменения

\triangle_{i+1}=(1-k)\triangle_i-\eta(y-y^d)\frac{\partial y}{\partial x}.

Это уравнение включает

  • экспоненциальное затухание
    \triangle
    : в отсутствие нового входа
    \triangle
    стремится к нулю со скоростью пропорциональной
    (1-k) k\in [0,1]
    .
  • член, пропорциональный ошибке выходного значения
    (y-y^d)
    : аналогичная пропорциональность свойственна и обычному соотношению для модификации весов - чем больше ошибка, тем больше ее влияние на исправление входного значения. Этот член также пропорционален чувствительности выхода ко входу -
    \partial y/\partial x
    .

3Вайгенд и его коллеги предложили наглядную механическую интерпретацию минимизируемой функции, а также отношению скоростей обучения и исправления (см. рисунок 9.4).


Рис. 9.4.  Механическая аналогия конкуренции между обучением и исправлением данных. К реальному входу
x^d
присоединяется пружина и растягивается другим концом до точки
x
, что сопровождается увеличением энергии в пружине на
1/2k(x^d - x)^2
.


Начало  Назад  Вперед



Книжный магазин