Минимальный базис
Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения 0 или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные
, путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями
Рассмотрим следующий набор векторов:
, который используем для построения Хеббовской матрицы связей
сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 27=128 ), то обнаружится, что помимо векторов ,
,
,
стационарными являются состояния, описываемые векторами
Векторы
сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или одновременно пассивны во всех запоминаемых векторах
. Если считать, что компоненты векторов
кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем сигнализирует вектор
.
Векторы
, кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы
Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы
, также обязательно должны разлагаться по векторам минимального базиса. Это означает, что если некоторые нейроны кооперированы в векторах
, то они должны кооперироваться и во всех аттракторах сети.
Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей
где
С помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов
. Именно,
-му вектору базиса
будет соответствовать стационарное состояние тогда и только тогда, когда все недиагональные элементы
-й строки матрицы
будут строго отрицательными.
Для рассмотренного нами выше примера эта матрица имеет вид
из которого с очевидностью следует стационарность всех векторов минимального базиса.
Содержание раздела
