Сеть Хопфилда с Хеббовскими связями
Рассмотрим интересующий нас случай сети, в которой связи вычислены по Хеббовскому правилу, исходя из вида запоминаемых векторов. В этом случае уравнения среднего поля принимают вид
Если сеть работает как ассоциативная память, то разумно предположить, что каждому запоминаемому вектору
должно соответствовать некоторое решение системы, совпадающего с ним с точностью до постоянного множителя
Подставляя это выражение в уравнения среднего поля и используя предположение, что все векторы памяти не коррелированы и значения их компонент с равной вероятностью принимают значения , получим:
В пределе
,
получаем знакомое уравнение для множителя m:
Вновь при высокой температуре
это уравнение имеет только тривиальное решение и усредненная по времени конфигурация состояний нейронов не имеет ничего общего с запоминаемыми образами. При
уравнение имеет два решения
, для которых средняя конфигурация активностей указывает на одно из запоминаемых состояний
, или на его "зеркального двойника" -
. Из этих состояний однозначно восстанавливаются образы памяти. Однако, если сделать моментальный снимок состояния сети, то в силу флуктуаций она практически никогда не находится ни в одном из состояний памяти, всегда воспроизводя их с некоторой ошибкой. Теоретически было показано, что загрузка памяти,
, оказывает на поведение системы такое же влияние, как температурный параметр в распределении Ферми. Когда этот параметр мал, каждому из запоминаемых некоррелированных образов соответствует стационарное состояние сети. Однако, при приближении его к критической емкости
, сеть внезапно теряет все свойства памяти. В плоскости координат
области памяти и неупорядоченного поведения сети разделены границей, при пересечении которой происходит соответствующий фазовый переход. Более детальный анализ выявляет на фазовой диаграмме следующие 4 области: парамагнитную (P) фазу, в которой любой порядок разрушается высокой температурой; фазу спинового стекла (SG), в которой состояние сети не может эволюционировать к запомненным образам; смешанную (F+SG) - в ней запомненные образы метастабильны; и ферромагнитную (F) - в ней всем запоминаемым образам соответствуют глобальные минимумы энергии.
Рис. 11.6. Упрощенная и детальная диаграммы фазовых состояний сети Хопфилда
Наличие тепловых флуктуаций снижает вероятность попадания сети в состояние ложных минимумов. Критическая температура, при которых множество таких минимумов становится неустойчивыми, равна
. Таким образом тепловой шум улучшает свойства памяти и наиболее благоприятным температурным интервалом работы сети является
.
Содержание раздела
