Нейрокомпьютинг и его применения в экономике и бизнесе

         

Минимальный базис


Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения 0 или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные

Минимальный базис
, путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями
Минимальный базис

Рассмотрим следующий набор векторов:

Минимальный базис
Минимальный базис
Минимальный базис
, который используем для построения Хеббовской матрицы связей
Минимальный базис
Минимальный базис

сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 27=128 ), то обнаружится, что помимо векторов ,

Минимальный базис
,
Минимальный базис
,
Минимальный базис
стационарными являются состояния, описываемые векторами
Минимальный базис
Минимальный базис
Минимальный базис
Минимальный базис

Векторы

Минимальный базис
сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или одновременно пассивны во всех запоминаемых векторах
Минимальный базис
. Если считать, что компоненты векторов
Минимальный базис
кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем сигнализирует вектор
Минимальный базис
.

Векторы

Минимальный базис
, кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы
Минимальный базис

Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы

Минимальный базис
, также обязательно должны разлагаться по векторам минимального базиса. Это означает, что если некоторые нейроны кооперированы в векторах
Минимальный базис
, то они должны кооперироваться и во всех аттракторах сети.

Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей

Минимальный базис


где
Минимальный базис


С помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов
Минимальный базис
. Именно,
Минимальный базис
-му вектору базиса
Минимальный базис
будет соответствовать стационарное состояние тогда и только тогда, когда все недиагональные элементы
Минимальный базис
-й строки матрицы
Минимальный базис
будут строго отрицательными.

Для рассмотренного нами выше примера эта матрица имеет вид
Минимальный базис
из которого с очевидностью следует стационарность всех векторов минимального базиса.


Содержание раздела