Нейрокомпьютинг и его применения в экономике и бизнесе

         

Оптимизация размера сети


Итак, мы оценили обе составляющих ошибки обобщения сети. Важно, что эти составляющие по-разному зависят от размера сети (числа весов), что предполагает возможность выбора оптимального размера, минимизирующего общую ошибку:

Оптимизация размера сети

Минимум ошибки (знак равенства) достигается при оптимальном числе весов в сети

Оптимизация размера сети

соответствующих числу нейронов в скрытом слое равному по порядку величины:

Оптимизация размера сети

Этот результат можно теперь использовать для получения окончательной оценки сложности обучения (C - от английского complexity)

Оптимизация размера сети

Отсюда можно сделать следующий практический вывод: нейроэмуляторам с производительностью современных персональных компьютеров (

Оптимизация размера сети
операций в секунду) вполне доступны анализ баз данных с числом примеров
Оптимизация размера сети

и размерностью входов

Оптимизация размера сети
. Типичное время обучения при этом составит
Оптимизация размера сети
секунд, т.е. от десятков минут до несколько часов. Поскольку производственный цикл нейроанализа предполагает обучение нескольких, иногда - многих сетей, такой размер баз данных, представляется предельным для нейротехнологии на персональных компьютерах. Эти оценки поясняют также относительно позднее появление нейрокомпьютинга: для решения практически интересных задач требуется производительность суперкомпьютеров 70-х годов.

Согласно полученным выше оценкам ошибка классификации на таком классе задач порядка 10%. Это, конечно, не означает, что с такой точностью можно предсказывать что угодно. Многие относительно простые задачи классификации решаются с большей точностью, поскольку их эффективная размерность гораздо меньше, чем число входных переменных. Напротив, для рыночных котировок достижение соотношения правильных и неправильных предсказаний 65:35 уже можно считать удачей. Действительно, приведенные выше оценки предполагали отсутствие случайного шума в примерах. Шумовая составляющая ошибки предсказаний должна быть добавлена к полученной выше оценке. Для сильно зашумленных рыночных временных рядов именно она определяет предельную точность предсказаний. Подробнее эти вопросы будут освещены в отдельной лекции, посвященной предсказанию зашумленных временных рядов.


Другой вывод из вышеприведенных качественных оценок - обязательность этапа предобработки высокоразмерных данных. Невозможно классифицировать непосредственно картинки с размерностью
Оптимизация размера сети
. Из оценки точности классификации следует, что это потребует числа обучающих примеров по крайней мере такого же порядка, т.е. сложность обучения будет порядка
Оптимизация размера сети
. Современным нейрокомпьютерам с производительностью
Оптимизация размера сети
операций в секунду потребовалось бы несколько лет обучения распознаванию таких образов. Зрительная система человека, составляющая несколько процентов коры головного мозга, т.е.
Оптимизация размера сети
обладающая производительностью способна обучаться распознаванию таких образов за несколько часов2). В действительности, зрительный нерв содержит как раз около
Оптимизация размера сети
нервных волокон. Напомним, однако, что в сетчатке глаза содержится порядка
Оптимизация размера сети
клеток-рецепторов. Таким образом, уже в самом глазе происходит существенный этап предобработки исходного сигнала, и в мозг поступает уже такая информация, которую он способен усвоить. (Непосредственное распознавание образов с
Оптимизация размера сети
потребовало бы обучения на протяжении
Оптимизация размера сети
секунд, т.е. около 300 лет.)

Методы предобработки сигналов и формирования относительно малоразмерного пространства признаков являются важнейшей составляющей нейроанализа и будут подробно рассмотрены далее в отдельной лекции.


Содержание раздела