LSTM及peehole LSTM模型

LSTM及peehole LSTM模型1 LSTM 模型其中 ooo 表示元素相乘 遗忘门 fff 输入们 iii 输出门 ooo g g g c c c 分别为 sigmoid 函数与 tanh 函数

大家好,欢迎来到IT知识分享网。

1、LSTM模型

在这里插入图片描述
在这里插入图片描述
其中 o o o表示元素相乘,遗忘门 f f f,输入们 i i i,输出门 o o o, σ g σ_g σg, σ c σ_c σc分别为sigmoid函数与tanh函数。 W W W b b b分别为权重和偏置。 c ~ \widetilde{c} c
t为记忆单元的候选值, c t c_t ct 为记忆细胞的更新值。
(图片及公式来源于维基百科)

2、peehole LSTM模型

peehole LSTM中各个门值不仅取决于 h h ht-1 x t x_t xt,也可以偷窥一下 c c ct-1的值
在这里插入图片描述
(图片取自维基百科)
在这里插入图片描述
(图片及公式取于http://colah.github.io/posts/2015-08-Understanding-LSTMs/)

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/143695.html

(0)
上一篇 2025-05-01 19:45
下一篇 2025-05-01 20:00

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信