Нейрокомпьютинг и его применения в экономике и бизнесе



              

Правило обучения Хебба


Правило обучения отдельного нейрона-индикатора по-необходимости локально, т.е. базируется только на информации непосредственно доступной самому нейрону - значениях его входов и выхода. Это правило, носящее имя канадского ученого Хебба, играет фундаментальную роль в нейрокомпьютинге, ибо содержит как в зародыше основные свойства самоорганизации нейронных сетей.

Согласно Хеббу (Hebb, 1949), изменение весов нейрона при предъявлении ему примера пропорционально его входам и выходу:

\Delta w^\tau_j=\eta y^\tau x_j^\tau,

или в векторном виде:

\Delta w^\tau=\eta y^\tau x^\tau.

Если сформулировать обучение как задачу оптимизации, мы увидим, что обучающийся по Хеббу нейрон стремится увеличить амплитуду своего выхода:

\langle\Delta w\rangle=-\eta\frac{\partial{E}}{\partial{w}}, E\left\{w,x^\alpha \right\}=-\frac{1}{2}\langle(w\cdot x)^2\rangle=-\frac{1}{2}\langle y^2\rangle,

где усреднение проводится по обучающей выборке

\{x^\alpha\}
. Вспомним, что обучение с учителем, напротив, базировалось на идее уменьшения среднего квадрата отклонения от эталона, чему соответствует знак минус в обучении по дельта-правилу. В отсутствие эталона минимизировать нечего: минимизация амплитуды выхода привела бы лишь к уменьшению чувствительности выходов к значениям входов. Максимизация амплитуды, напротив, делает нейрон как можно более чувствительным к различиям входной информации, т.е. превращает его в полезный индикатор.

Указанное различие в целях обучения носит принципиальный характер, т.к. минимум ошибки

E(w)
в данном случае отсутствует. Поэтому обучение по Хеббу в том виде, в каком оно описано выше, на практике не применимо, т.к. приводит к неограниченному возрастанию амплитуды весов.




Содержание  Назад  Вперед