Предикторы

Условие максимизации совместной энтропии выходов можно переписать в виде:

Условные вероятности, входящие в это выражение, характеризуют разброс предсказаний каждого выхода, основанного на знании других выходов, стоящих справа от горизонтальной черты. Предположим, что мы используем дополнительные сети-предикторы, по одной для каждого выхода, специально обучаемые такому предсказанию (рисунок 4.9).

Рис. 4.9. Выделение независимых компонент с использованием предикторов

Обозначим

. выход сети-предиктора, предсказывающей значение переменной

.. Целевой функцией такой сети будет минимизация ошибки предсказания:

Отталкиваясь от значений

, основная сеть будет, напротив, максимизировать отклонение от предсказаний, ставя себе целью:

Таким образом, в заимном соревновании основная и дополнительные сети обеспечивают постепенное выявление статистически независимых признаков, осуществляющих оптимальное кодирование.

Размер сетей-предикторов определяется количеством выходов сети m, так что их суммарный объем, как правило, много меньше, чем размер декодера в автоассоциативной сети, определяемый числом входов d. В этом и состоит основное преимущества данного подхода.

Содержание раздела