Нейрокомпьютинг и его применения в экономике и бизнесе


Обучение нейронной сети


Предположим, что обучающий набор данных необходимо расклассифицировать на два класса A и B. В этом случае сеть должна содержать N входных и 2 выходных нейрона. Каждому из классов будут соответствовать следующие активности выходных нейронов (1,0) и (0,1). Подходящее количество нейронов в промежуточном слое, вообще говоря, невозможно определить заранее - слишком большое их число ведет к переобучению, в то время как малое не обеспечивает достаточной точности обучения. Тем не мене, как уже отмечалось ранее, все методы адаптивного поиска числа нейронов в промежуточном слое делятся на два класса, в соответствии с тем, с малого или большого числа промежуточных нейронов стартует алгоритм. В первом случае по мере обучения в сеть добавляются дополнительные нейроны, в противоположном - после обучения происходит уничтожение излишних нейронов и связей. NeuroRule использует последний подход, так что число промежуточных нейронов выбирается достаточно большим. Заметим, что NeuroRule уничтожает также и избыточные входные нейроны, влияние которых на классификацию мало.

В качестве функции активации промежуточных нейронов используется гиперболический тан-генс, так что их состояния изменяются в интервале

[-1,1]
. В то же время, функцией активации выходных нейронов является функция Ферми (состояния в интервале
[0,1]
). Обозначим через
o_i^k, (i=1,2)
- состояния выходных нейронов при предъявлении на вход сети вектора признаков
k
-го объекта
x^k
. Будем считать, что этот объект правильно классифицирован сетью, если

\max_i|o_i^k-t_i^k|\leq\eta_1,

где:

t_1^k=1
если
x^k\in A
и
t_2^k=1
если
x^k \in B
, а
0<\eta <0.5
. В остальных случаях
t_i^k=0
.

Минимизируемая функция ошибки должна не только направлять процесс обучения в сторону правильной классификации всех объектов обучающей выборки, но и делать малыми значения многих связей в сети, чтобы облегчить процесс их прореживания. Подобную технологию - путем добавления к функции ошибки специально подобранных штрафных членов - мы уже разбирали в лекции 3. В методе NeuroRule функция о шибка включает два слагаемых

E=E_0+\varepsilon E_1,

где

E_0=-\sum_k\sum_i (t^k_i\log o_i^k+(1-o_i^k)\log(1-o_i^k))

функция взаимной энтропии, минимизация которой происходит быстрее, чем минимизация среднеквадратичной ошибки.


Начало  Назад  Вперед



Книжный магазин