Нейрокомпьютинг и его применения в экономике и бизнесе
Совместная нормировка: выбеливание входов
Если два входа статистически не независимы, то их совместная энтропия меньше суммы индивидуальных энтропий:
Вместо того, чтобы использовать для нормировки индивидуальные дисперсии, будем рассматривать входные данные в совокупности. Мы хотим найти такое линейное преобразование, которое максимизировало бы их совместную энтропию. Для упрощения задачи вместо более сложного условия статистической независимости потребуем, чтобы новые входы после такого преобразования были декоррелированы . Для этого рассчитаем средний вектор и ковариационную матрицу данных по формулам:
Затем найдем линейное преобразование, диагонализующее ковариационную матрицу. Соответствующая матрица составлена из столбцов - собственных векторов ковариационной матрицы:
Легко убедиться, что линейное преобразование, называемое выбеливанием (whitening)
превратит все входы в некоррелированные величины с нулевым средним и единичной дисперсией.
Если входные данные представляют собой многомерный эллипсоид, то графически выбеливание выглядит как растяжение этого эллипсоида по его главным осям ( рисунок 7.4).
Рис. 7.4. Выбеливание входной информации: повышение информативности входов за счет выравнивания функции распределения
Очевидно, такое преобразование увеличивает совместную энтропию входов, т.к. оно выравнивает распределение данных в обучающей выборке.
