Нейронные сети с прямой связью

Сеть с прямой связью состоит из слоев нейронов. Первый слой, входной, получает информацию или вводы извне. Этот слой состоит из независимых переменных, например значении цен или индикаторов, на которых основывается система в последующих заключениях или прогнозах. Этот слой имеет множество связей со следующим, называемым скрытым сло­ем, поскольку он не имеет связей с внешним миром. Выходы этого слоя подаются на следующий слой, который может быть также скрытым (если это так, то процесс повторяется) или выходным слоем. Каждый из нейро­нов выходного слоя выдает сигнал, основанный на прогнозах, классифи­кациях или решениях, сделанных сетью. Сети обычно определяются по количеству нейронов в каждом слое; например сеть 10-3-1 состоит из 10 нейронов во входном, 3 в скрытом и 1 в выходном слое. Сети бывают раз­личного размера — от нескольких нейронов до тысяч и от всего трех сло­ев до десятков; сложность зависит от размаха решаемой задачи. Практи­чески всегда бывает достаточно трех-четырех слоев.

Нейронные сети с прямой связью (аналоги использованной в этой гла­ве) включают особую форму нелинейной множественной регрессии. Сеть берет ряд входных переменных и использует их для прогнозирования цели задания, как и при регрессии. В стандартной множественной линейной регрессии, например, если ставится задача предсказать уровень холестерола (зависимая переменная) на основе потребления жиров и физичес­кой нагрузки (независимые входные переменные), то данные будут мо­делироваться следующим образом: прогнозируемый уровень холестерола = а + b х потребление жиров + с X нагрузку, где значения a , b и с будут определяться статистической процедурой. Будет производиться поиск множества решений задачи, которое может быть линией, плоско­стью или гиперплоскостью (в зависимости от количества переменных) согласно правилу наименьших квадратов. В вышеприведенной задаче все решения находятся на плоскости: ось х представляет потребление жиров, ось у—физическую нагрузку, высота плоскости в каждой точке (х, у) пред­ставляет собой прогнозируемый уровень холестерола.

При использовании технологии нейронных сетей двумерная плоскость или n-мерная гиперплоскость множественной линейной регрессии заме­няется гладкой n-мерной изогнутой поверхностью с пиками и провалами, хребтами и оврагами. Например, нам требуется найти оптимальное ре­шение для набора переменных, и задача будет сводиться к построению многомерной карты. В нейронной сети решение достигается при помощи нейронов — взаимосвязанных нелинейных элементов, связи которых сбалансированы так, чтобы подгонять поверхность подданные. Алгоритм обучения производит регулировку весов связей для получения максималь­но вписывающейся в исходные данные конфигурации поверхности. Как и в случае со стандартной множественной регрессией, где коэффициен­ты регрессии необходимы для определения наклона гиперповерхности, для нейронной модели требуются параметры (в виде весов связей), чтобы обеспечить наилучшее совпадение построенной поверхности, всех ее воз­вышений и впадин, с входными данными.