Нейрокомпьютинг и его применения в экономике и бизнесе



   i recommend             

Правило обучения Ойа


От этого недостатка, однако, можно довольно просто избавиться, добавив член, препятствующий возрастанию весов. Так, правило обучения Ойа:

\Delta w^\tau_j=\eta y^\tau(x^\tau_j-y^\tau w_j),

или в векторном виде:

\Delta w^\tau=\eta y^\tau(x^\tau-y^\tau w),

максимизирует чувствительность выхода нейрона при ограниченной амплитуде весов. В этом легко убедиться, приравняв среднее изменение весов нулю. Умножив затем правую часть на w, видим, что в равновесии:

0=\langle y^2 \rangle (1-|w|^2)
. Таким образом, веса обученного нейрона расположены на гипер-сфере:
|w|=1
.

При обучении по правилу Ойа, вектор весов нейрона располагается на гипер-сфере в направлении, максимизирующем проекцию входных векторов

Рис. 4.3.  При обучении по правилу Ойа, вектор весов нейрона располагается на гипер-сфере в направлении, максимизирующем проекцию входных векторов

Отметим, что это правило обучения по существу эквивалентно дельта-правилу, только обращенному назад - от входов к выходам (т.е. при замене

x\leftrightarrow y
). Нейрон как бы старается воспроизвести значения своих входов по заданному выходу. Тем самым, такое обучение стремится максимально повысить чувствительность единственного выхода-индикатора к многомерной входной информации, являя собой пример оптимального сжатия информации.

Эту же ситуацию можно описать и по-другому. Представим себе персептрон с одним (здесь - линейным) нейроном на скрытом слое, в котором число входов и выходов совпадает, причем веса с одинаковыми индексами в обоих слоях одинаковы. Будем учить этот персептрон воспроизводить в выходном слое значения своих выходов. При этом, дельта-правило обучения верхнего (а тем самым и нижнего) слоя примет вид правила Ойа:

\Delta w^\alpha\infty y^\alpha(x^\alpha-\mbox{\~{x}}^\alpha)=y^\alpha(x^\alpha-y^\alpha w).

Автоассоциативная сеть с узким горлом - аналог правила обучения Ойа

Рис. 4.4.  Автоассоциативная сеть с узким горлом - аналог правила обучения Ойа

Таким образом, существует определенная параллель между самообучающимися сетями и т.н. автоассоциативными сетями, в которых учителем для выходов являются значения входов. Подобного рода нейросети с узким горлом также способны осуществлять сжатие информации.




Содержание  Назад  Вперед