Нейрокомпьютинг и его применения в экономике и бизнесе


              

Некоторые из нейронов скрытого слоя


Некоторые из нейронов скрытого слоя могут настраива ться на них. При этом ресурсов для описания регулярных слабо зашумленных областей может и не хватить. Множество попыток применения нейронных сетей к решению финансовых задач выявило важное обстоятельство: контроль гибкости нейросетевой модели является центральной проблемой. Изложим кратко существо процедуры обучения сети, объединенной с исправлением данных. Для простоты рассмотрим сеть с одним входом и одним выходом. В этом случае минимизируемой величиной является сумма двух слагаемых (Weigend & Zimmermann, 1996):



Первый член описывает обычно минимизируемое в методе обратного распространения ошибки квадратичное отклонение выхода нейронной сети
от желаемого значения
. Второе слагаемое представляет собой квадратичное отклонение исправленного входного значения
от реального его значения
. Соответственно, для весов сети
и для исправленных входных значений
получаются два правила их модификации. Для весов оно такое же, как и в стандартном методе обратного распространения ошибки, а для исправленного входа имеет вид


где индекс определяет номер итерации данного входа. Представляя в виде суммы подлинного начального входного значения и поправки , получим для последней следующее уравнение итерационного изменения



Это уравнение включает

  • экспоненциальное затухание
    : в отсутствие нового входа
    стремится к нулю со скоростью пропорциональной
    .
  • член, пропорциональный ошибке выходного значения
    : аналогичная пропорциональность свойственна и обычному соотношению для модификации весов - чем больше ошибка, тем больше ее влияние на исправление входного значения. Этот член также пропорционален чувствительности выхода ко входу -
    .


3Вайгенд и его коллеги предложили наглядную механическую интерпретацию минимизируемой функции, а также отношению скоростей обучения и исправления (см. рисунок 9.4).


Рис. 9.4.  Механическая аналогия конкуренции между обучением и исправлением данных. К реальному входу
присоединяется пружина и растягивается другим концом до точки
, что сопровождается увеличением энергии в пружине на
.

Содержание  Назад  Вперед