Википедия
многослойного персептрона без учителя с помощью автокодировщиков. Чаще всего автокодировщики применяют каскадно для обучения глубоких сетей . Известно, что метод обратного распространения ошибки плохо работает для многослойных сетей, так как сигнал коррекции затухает по мере прохода от конца сети к началу, в результате чего эффективно могут обучаться только последние слои сети. Автокодировщики применяют для предварительного обучения глубокой сети без учителя . Для этого слои обучаются друг за другом, начиная с первых. К каждому новому необученному слою на время обучения подключается дополнительный выходной слой, дополняющий сеть до архитектуры автокодировщика, после чего на вход сети подается набор данных для обучения. Веса необученного слоя и дополнительного слоя автокодировщика обучаются при помощи метода обратного распространения ошибки. Затем слой автокодировщика отключается и создается новый, соответствующий следующему необученному слою сети. На вход сети снова подается тот же набор данных, обученные первые слои сети остаются без изменений и работают в качестве входных для очередного обучаемого автокодировщика слоя. Так обучение продолжается для всех слоев сети за исключением последних. Последние слои сети обычно обучаются без использования автокодировщика при помощи того же метода обратного распространения ошибки и на маркированных данных .
В последнее время автокодировщики мало используются для такого «жадного» послойного предобучения глубоких сверточных нейронных сетей. После того, как этот метод был предложен в 2012 г, достаточно быстро оказалось, что новых методов инициализации случайными весами оказывается достаточно для дальнейшего обучения глубоких сетей. Предложенная в 2014 г «пакетная» нормализация позволила обучать ещё более глубокие сети, предложенный же в конце 2015 г метод «остаточного» обучения позволил обучать сети произвольной глубины.
Основными практическими приложениями автокодировщиков остаются уменьшение шума в данных , а также уменьшение размерности многомерных данных для визуализации. При наличии определенных ограничений относительно размерности и разреженности данных, автокодировщики могут позволять получать проекции многомерных данных, которые оказываются лучше тех что даёт метод главных компонент , либо какой-нибудь другой классический метод.