深度学习中的激活函数

万人迷 rainforest 3年前 (2017-04-10) 424次浏览 0个评论

激活函数是深度学习中重要的一环,主要使得神经网络具备非线性表达能力。有的激活函数,本身就能作为一个机器学习算法,比如sigmoid函数。今天我们来学习一下常见的激活函数。

1、sigmoid & softmax

sigmoid:$$y = \frac{1}{1+e^(-x)}$$,将输入影响到(0,1)之间

sigmoid

softmax是sigmoid的泛化形式,通常用于多分类的输出:

clip_image002

其中K为所有分类的集合

 

2、tanh

双正切函数,将输入映射到(-1, 1)的空间:

clip_image002[6]

tanh

 

3、ReLU

忽略负数的影响:

clip_image002[8]

relu

 

4、ELU

主要是削弱负数的影响

clip_image002[10]

elu

 

5、Softplus

削弱负数的影响,压缩到(0,1)的区间中:

clip_image002[12]

softplus

 

6、softsign

将数据压缩到(-1,1)的区间

clip_image002[14]

 

softsign


乐趣公园 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:深度学习中的激活函数
喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址