Постановка задачи
В простейшей постановке нейрон с одним выходом и d входами обучается на наборе d-мерных данных
. В этой лекции мы сосредоточимся, в основном, на обучении однослойных сетей, для которых нелинейность функции активации не принципиальна. Поэтому можно упростить рассмотрение, ограничившись линейной функции активации. Выход такого нейрона является линейной комбинацией его входов:1)
Рис. 4.2. Сжатие информации линейным нейроном
Амплитуда этого выхода после соответствующего обучения (т.е. выбора весов по набору примеров
) может служить индикатором того, насколько данный вход соответствует обучающей выборке. Иными словами, нейрон может стать индикатором принадлежности входной информации к заданной группе примеров.
В простейшей постановке нейрон с одним выходом и d входами обучается на наборе d-мерных данных
. В этой лекции мы сосредоточимся, в основном, на обучении однослойных сетей, для которых нелинейность функции активации не принципиальна. Поэтому можно упростить рассмотрение, ограничившись линейной функции активации. Выход такого нейрона является линейной комбинацией его входов:1)
Рис. 4.2. Сжатие информации линейным нейроном
Амплитуда этого выхода после соответствующего обучения (т.е. выбора весов по набору примеров
) может служить индикатором того, насколько данный вход соответствует обучающей выборке. Иными словами, нейрон может стать индикатором принадлежности входной информации к заданной группе примеров.
Итак, пусть теперь на том же наборе d-мерных данных
обучается m линейных нейронов:
Рис. 4.5. Слой линейных нейронов
Мы хотим, чтобы амплитуды выходных нейронов были набором независимых индикаторов, максимально полно отражающих информацию о многомерном входе сети.
Содержание раздела
