大家好，欢迎来到IT知识分享网。
Tanh
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
函数表达式
t a n h = e x − e − x e x + e − x tanh=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh=ex+e−xex−e−x
其定义域为 R R R，值域为 ( − 1 , 1 ) (-1,1) (−1,1)
函数图像
函数特性
由于tanh激活函数与sigmoid激活函数十分相似，所以两者在特性方面有很多共同点
实际上，tanh激活函数相当于sigmoid函数的平移： t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 2 tanh(x)=2sigmoid(2x)−2 tanh(x)=2sigmoid(2x)−2
优点：
- 以0位对称中心，收敛速度快于sigmoid，提高了权重更新的效率
- 部分解决了梯度消失的问题，因为其导数值更大
tanh导数值与sigmoid导数值对比：
通过对比不难发现，tanh的导数值要远远大于sigmoid的导数值
缺点：
- 与sigmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
igmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题 - 计算复杂度较高，幂运算更加复杂
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/110523.html
