Эффективность алгоритма back-propagation

Важность изложенного выше алгоритма back-propagation в том, что он дает чрезвычайно эффективный способ нахождения градиента функции ошибки

. Если обозначить общее число весов в сети как W, то необходимое для вычисления градиента число операций растет пропорционально W , т.е. этот алгоритм имеет сложность O(W). Напротив, прямое вычисление градиента по формуле потребовала бы W прямых прогонов через сеть, требующих O(W) операций каждый. Таким образом "наивный" алгоритм имеет сложность , что существенно хуже, чем у алгоритма back-propagation.

Содержание раздела

---

---