Автокодировщик: различия между версиями

Чаще всего автокодировщики применяют каскадно для обучения [[глубокое обучение|глубоких (многослойных) сетей]]. Автокодировщики применяют для предварительного обучения [[глубокое обучение|глубокой сети]] [[обучение без учителя|без учителя]]. Для этого слои обучаются друг за другом, начиная с первых. К каждому новому необученному слою на время обучения подключается дополнительный выходной слой, дополняющий сеть до архитектуры автокодировщика, после чего на вход сети подается набор данных для обучения. Веса необученного слоя и дополнительного слоя автокодировщика обучаются при помощи метода обратного распространения ошибки. Затем слой автокодировщика отключается и создается новый, соответствующий следующему необученному слою сети. На вход сети снова подается тот же набор данных, обученные первые слои сети остаются без изменений и работают в качестве входных для очередного обучаемого автокодировщика слоя. Так обучение продолжается для всех слоев сети за исключением последних. Последние слои сети обычно обучаются без использования автокодировщика при помощи того же метода обратного распространения ошибки и на маркированных данных (обучение с учителем).

 

В последнее время автокодировщики мало используются для описанного «жадного» послойного предобучения глубоких нейронных сетей. После того, как этот метод был предложен в 2006 г Джеффри Хинтоном и Русланом Салахутдиновым<ref>{{Статья|автор=G. E. Hinton, R. R. Salakhutdinov|заглавие=Reducing the Dimensionality of Data with Neural Networks|ссылка=http://www.cs.toronto.edu/~hinton/science.pdf|язык=en|издание=Science|год=2006-07-28|том=313|выпуск=5786|страницы=504–507|issn=0036-8075, 1095-9203|doi=10.1126/science.1127647}}</ref><ref>{{Статья|автор=|заглавие=Why does unsupervised pre-training help deep learning?|ссылка=http://www.jmlr.org/papers/volume11/erhan10a/erhan10a.pdf|язык=|издание=|тип=|год=|месяц=|число=|том=|номер=|страницы=|issn=}}</ref>, достаточно быстро оказалось, что новых методов инициализации случайными весами оказывается достаточно для дальнейшего обучения глубоких сетей<ref name=":0">{{Cite web|url=http://blog.keras.io/building-autoencoders-in-keras.html|title=Building Autoencoders in Keras|publisher=blog.keras.io|accessdate=2016-06-25}}</ref>. Предложенная в 2014 г.<ref>{{Статья|автор=Sergey Ioffe, Christian Szegedy|заглавие=Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift|ссылка=http://arxiv.org/abs/1502.03167|издание=arXiv:1502.03167 [cs]|год=2015-02-10}}</ref> пакетная нормализация позволила обучать ещё более глубокие сети, предложенный же в конце 2015 г.<ref>{{Статья|автор=Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun|заглавие=Deep Residual Learning for Image Recognition|ссылка=http://arxiv.org/abs/1512.03385|издание=arXiv:1512.03385 [cs]|год=2015-12-10}}</ref> метод остаточного обучения позволил обучать сети произвольной глубины<ref name=":0" />.