Нейрокомпьютинг и его применения в экономике и бизнесе



              

Градиентное обучение


Наиболее общим способом оптимизации нейросети является итерационная (постепенная) процедура подбора весов, называемая обучением, в данном случае - обучением с учителем, поскольку опирается на обучающую выборку примеров

\{x^\alpha,y^\alpha\}
, например - примеров правильной классификации.

Когда функционал ошибки задан, и задача сводится к его минимизации, можно предложить, например, следующую итерационную процедуру подбора весов:

w^{x+1}=w^x-\eta^x\frac{\partial{E}}{\partial{w}}
или, что то же самое:
w^{x+1}_{ij}=w^x_{ij}-\eta^x\frac{\partial{E}}{\partial{w_{ij}}}.

Здесь

\eta^x\ll|w|
- темп обучения на шаге
\tau
. Можно показать, что постепенно уменьшая темп обучения, например по закону
\eta^x\infty1/\tau
, описанная выше процедура приводит к нахождению локального минимума ошибки.

Исторически наибольшую трудность на пути к эффективному правилу обучения многослойных персептронов вызвала процедура эффективного расчета градиента функции ошибки

\frac{\partial{E}}{\partial{w}}
. Дело в том, что ошибка сети определяется по ее выходам, т.е. непосредственно связаная лишь с выходным слоем весов. Вопрос состоял в том, как определить ошибку для нейронов на скрытых слоях, чтобы найти производные по соответствующим весам. Нужна была процедура передачи ошибки с выходного слоя к предшествующим слоям сети, в направлении обратном обработке входной информации. Поэтому такой метод, когда он был найден, получил название метода обратного распространения ошибки.




Содержание  Назад  Вперед