【独家授权】神经网络系列课 ——Google Brain Hugo Larochelle

使用sigmoid函数一个原因是sigmoid输出值在0,1之间，所以sigmoid(x)可以认为是一个概率值。 这样在计算y = sigmoid(x) 后，y的值可以认为是x的概率。例如x=(今天温度25度,干燥,无风，无云) , y表示明天降雨的可能性，y = 0表示明天不下雨，y=1表示下雨，例如计算出y=0.7，那么这个表示明天下雨的可能性是0.7。

对左边的AND的理解：

1. x1=1,x2=1的时候

AND(X1^,X2)  = AND(0,1)  = 0

AND(X1,X2^) =    AND(1,0) = 0

对应点(0,0) 就是左下角的圆圈点

x1=0,x2=0的时候：

AND(X1^,X2)  = AND(1,0)  = 0

AND(X1,X2^) =    AND(0,1) = 0

对应点(0,0) 就是左下角的圆圈点

所以视频中说左边两个红圈的点重叠起来对应成一个点，其实是说一个映射X * X -> X * X

使得原来线性不可分的集合，变成了线性可分的。

另一个角度理解，左边的图可以看做神经网络的输入层，右边是一个隐藏层

2. x1=1,x2=0的时候：

AND(X1^,X2)  = AND(0,0)  = 0

AND(X1,X2^) =    AND(1,1) = 1

对应点(0,1) 就是左上角的三角点

3. x1=0,x2=1的时候：

AND(X1^,X2)  = AND(1,1)  = 1

AND(X1,X2^) =    AND(0,0) = 0

对应点(1,0) 就是右下角的三角点

sigmod y = p(1|x)

or,and,not 线性可分

xor 线性不可分

推导过程：

XOR(AND(x1,x2)，AND（x1,x2）)

1) x1 = 0, x2 = 0 

XOR(AND(0,0)，AND（0,0）)

= XOR(AND(1,0)，AND（0,1）)

=XOR(0，0)

= 0

2) x1 = 1, x2 = 0 

XOR(AND(1,0)，AND（1,0）)

= XOR(AND(0,0)，AND（1,1）)

=XOR(0，1)

= 1

3) x1 = 0, x2 = 1 

XOR(AND(0,1)，AND（0,1）)

= XOR(AND(1,1)，AND（0,0）)

=XOR(1，0)

= 1

4) x1 = 1, x2 = 1 

XOR(AND(1,1)，AND（1,1）)

= XOR(AND(0,1)，AND（1,0）)

=XOR(0，0)

= 0