大家好,欢迎来到IT知识分享网。
1、LSTM模型
其中 o o o表示元素相乘,遗忘门 f f f,输入们 i i i,输出门 o o o, σ g σ_g σg, σ c σ_c σc分别为sigmoid函数与tanh函数。 W W W和 b b b分别为权重和偏置。 c ~ \widetilde{c} c
t为记忆单元的候选值, c t c_t ct 为记忆细胞的更新值。
(图片及公式来源于维基百科)
2、peehole LSTM模型
peehole LSTM中各个门值不仅取决于 h h ht-1, x t x_t xt,也可以偷窥一下 c c ct-1的值
(图片取自维基百科)
(图片及公式取于http://colah.github.io/posts/2015-08-Understanding-LSTMs/)
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/143695.html