19 декабря 2019 года в рамках семинара «Современные проблемы в машинном обучении и анализе данных» состоялся доклад «Алгоритм обратного распространения ошибки».
Докладчик Максимова Александра Юрьевна.
В докладе рассмотрен общий подход к обучению многослойного перспептрона.
ОБУЧЕНИЕ МЕТОДОМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ПРЕДПОЛАГАЕТ два прохода по всем слоям сети: прямого и обратного. При прямом проходе образ (входной вектор) подается на сенсорные узлы, после чего распространяется по сети от слоя к слою. В результате генерируются наборы выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время такого прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого (целевого) отклика, в результате чего формируется сигнал ошибки. Этот сигнал в последствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название алгоритма – алгоритм обратного распространения. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому в статистическом смысле.
Это вычислительно эффективные метод обучение многослойного персептрона.
Далее подробно рассмотрен алгоритм обратного распространения ошибки .
Преимуществ данного алгоритма следующие:
- Это самый быстрый способ вычисления градиента. Это происходит за счет правильного сохранения промежуточных значений вычислений
- Метод легко обобщается на произвольные функции потерь и функции активации.
- Потоковое обучение, поэтому можно решать задачи на сверхбольших выборках
- Возможность распараллеливания для одновременной настройки всех нейронов скрытого слоя.
К недостатки данного алгоритма относятся недостаткам градиентных методов оптимизации и проблемы выбора структуры сети.