【独家授权】神经网络系列课 ——Google Brain Hugo Larochelle

tanh(a) 双曲正切函数

类似的有双曲正弦 sinh(x)

双曲余弦 cosh(x)

并且有tanh(x) = sinh(x) /cosh(x)

和三角函数性质类似。

reclin(x) = max(0,a)

= 0 if a<=0 else a

线性激活函数

SIGMOD函数 1/（1+e^(-a)） （0,1）

tanh函数 (e^(2a)-1)/(e^(2a)+1) （-1,1）

reclin Relu max(0,a） 倾向于给出具有稀疏性的神经元输出节点，倾向于获得输出为零的神经元

activation function

1. 线性激活函数

g(a) = a  (-∞，+ ∞) →  (-∞，+ ∞) 

2.sigmoid激活函数

g(a) = sigm(a) = 1/(1+exp(-a))  

 (-∞，+ ∞) →  (0，1) 

3.tanh激活函数

g(a) = tanh(a) = (exp(a) - exp(-a)) /(exp(a) +exp(-a)) = (exp(2a) - 1) /(exp(2a) + 1)

 (-∞，+ ∞) →  (-1，1) 

4.reclin激活函数

g(a) = reclin(a) = max(0,a)

 (-∞，+ ∞) →  [0，+∞)