Управляемый рекуррентный блок

Управляемые рекуррентные блоки (англ. Gated Recurrent Units, GRU) — механизм вентилей для рекуррентных нейронных сетей, представленный в 2014 году. Было установлено, что его эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти (LSTM).^[1] По сравнению с LSTM у данного механизма меньше параметров, т.к. отсутствует выходной вентиль.^[2]

Архитектура править

$\circ$ обозначает произведение Адамара. $h_{0}=0$ .

{\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}

Переменные

$x_{t}$ : входной вектор
$h_{t}$ : выходной вектор
$z_{t}$ : вектор вентиля обновления
$r_{t}$ : вектор вентиля сброса
$W$ , $U$ и $b$ : матрицы параметров и вектор

Функции активации

$\sigma _{g}$ : на основе сигмоиды.
$\sigma _{h}$ : на основе гиперболического тангенса.

См. также править

Долгая краткосрочная память

Примечания править

↑ Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". arXiv:1412.3555 [cs.NE].
↑ Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML (неопр.). Дата обращения: 18 мая 2016. Архивировано 27 октября 2015 года.

[MyUser_Arxiv.org_May_18_2016c-1] Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". arXiv:1412.3555 [cs.NE].

[MyUser_Wildml.com_May_18_2016c-2] Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML (неопр.). Дата обращения: 18 мая 2016. Архивировано 27 октября 2015 года.

[1]

[2]