Алгоритм обратного распространения ошибки

19 декабря 2019 года в рамках семинара «Современные проблемы в машинном обучении и анализе данных» состоялся доклад «Алгоритм обратного распространения ошибки».

Докладчик Максимова Александра Юрьевна.

Слайды доклада

В докладе рассмотрен общий подход к обучению многослойного перспептрона.

ОБУЧЕНИЕ МЕТОДОМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ПРЕДПОЛАГАЕТ два прохода по всем слоям сети: прямого и обратного. При прямом проходе образ (входной вектор) подается на сенсорные узлы, после чего распространяется по сети от слоя к слою. В результате генерируются наборы выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время такого прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого (целевого) отклика, в результате чего формируется сигнал ошибки. Этот сигнал в последствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название алгоритма – алгоритм обратного распространения. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому в статистическом смысле.

 Это вычислительно эффективные метод обучение многослойного персептрона.

Далее подробно рассмотрен алгоритм обратного распространения ошибки .

Преимуществ данного алгоритма следующие:

  1. Это самый быстрый способ вычисления градиента. Это происходит за счет правильного сохранения промежуточных значений вычислений
  2. Метод легко обобщается на произвольные функции потерь и функции активации.
  3. Потоковое обучение, поэтому можно решать задачи на сверхбольших выборках
  4. Возможность распараллеливания для одновременной настройки всех нейронов скрытого слоя.

К недостатки данного алгоритма относятся недостаткам градиентных методов оптимизации и проблемы выбора структуры сети.

Добавить комментарий