¥
支付方式
请使用微信扫一扫 扫描二维码支付
请使用支付宝扫一扫 扫描二维码支付
线性和仿射的区别
f(ax+by)=af(x)+bf(y)
穿过坐标圆心是线性，有偏差就是防射
一个图的深度取决于它的输入，输入来源的路径有两步，深度就2
多层神经元可以搭建任意不同类型的布尔函数
可以使用karnaugh map去表达输入的布尔组合
任意的网络至少有一个隐藏层，而隐藏层的节点数最坏有2的n-1次方个。层数增加可以消减节点，n个输入的异或（xor），使用3（n-1）个节点就可以了，而层数是2log 2N层。层数和节点数都需要做权衡考量，过多的层数容易过拟合，过少的层数结果不够精准。
仿射和线性有什么区别？
线性：
f(ax+by)=af(x)+bf(y)（过原点）
仿射：
具备基本的线性特质，但是不穿过原点。是一个变形的线性超平面。
————————————————————
多层感知器：
一个网络很“深”的含义是：
有向图具有源和接收器。从源到接收器的最长路径就是图的深度。
如果我要用超过2个神经元来处理输入，就称之为一个深度网络。
————————————————————
可以组合任意布尔函数，只需要使用一个隐层。一层感知机就是普通的布尔函数。
————————————————————
MLP的多层神经元可以称为通用布尔函数。
它可以构造任意布尔函数。两层网络（一层隐含层）就可以组成任意一个布尔函数。
why deep？
如果只用一个隐藏层single，需要：
在一个隐含层中，至少需要2的N-1次方个感知机，可以表达一个布尔函数。
如果使用multiple layer呢？
N个变量的XOR可能需要3(N-1)个感知机。
所以，这就是deep的意义所在。
更好的表达：只需要2 * logN
————————————————————
网络的深度取决于函数。
如果固定了网络深度D，复杂度就变成指数型的了。若不固定网络深度D，复杂度就是线性的。
————————————————————
————————————————————
线性特质：
f(ax+by) = af(x) +ｂｆ（ｙ）
ｆ（ｘ）＝西格玛求和ｘｉ＋ｂ，ｂ不为零时，不过原点。
阈值使用激励函数进行平滑０,１的输出，比如ｓｉｇｍｏｄ，ｔａｎｈ，ｒｌ等函数。
多层感知机作为一个通用的布尔函数，作为一个通用的分类器，作为一个通用的函数模拟器。这些机制在前面已经提到，深度学习的机制从这里展开。
首先是布尔函数的表达，单层表达布尔开关，多二层（一层隐藏层）表达所有的布尔表达式。如图：
其中每个真值表里的真值可以用析取范式表达，而每个析取范式可以在隐藏层中的某一个节点与输入（ｘ１到ｘ５）的链接表达。因此两层足够表达表结构。而隐藏层的感知节点数通常在最坏情况下是为２的ｎ－１次方，ｎ为输入量，是指数关系。这时需要加深层次去削减节点，ｎ个输入的异或操作使用３（ｎ－１）个节点就可以了，而层数为２ｌｏｇ２Ｎ。这里就需要对层数和节点数做个权衡，这里并不是那种深度固定的问题。
Karnaugh Map优点：
1、用Grid的形式来表示真值表，第一眼看起来很直观。
2、每个相邻的格子之间的只有一个bit位的差别。
3、简化了析取范式。
4、在第一层可以减少Neuron神经结点的数量。可以减少到3个神经元。
Karnaugh Map缺点：
1、在Karnaugh Map中找到最紧凑的Group组合是一个NP难的问题。
2、（Worst Case）当表示为一个棋盘格的时候，Karnough Map所需要的Neuron神经结点是最多的。下图需要8个单元。
Karnough Map 三维 6个变量的特性：
1、由4 x 4 x 4 =64 个小立方体组成，每一个立方体代表一种表达式，一种可能性。
2、Worst Case需要 8 x 4 = 32 个 Neurons。总结：2^(N-1)（指数型）
XOR 特性：
1、交换律。
2、结合律。
简化版的XOR运算只需要2个神经元。
每一个XOR运算可以只用3个神经元表示。这样将神经元数量由指数型降到了线形。2^(N-1) -> 3 x (N-1)。运用XOR的结合律可以讲，深度从N -> log(n)。
仿射函数：可以不经过原点（带偏置），但是符合基本的线性关系。
线性函数：一定经过原点
第三课笔记：
1.NNet有很广的应用。
2.线性和仿射的关系
3.神经网络深度的概念，（从源到接受机的最大深度）
4.理论上一层隐层感知机（共两层的神经网）就可表示任意布尔函数，但是对于复杂的函数，仅一层隐层会需要很多的节点。
5.于是，对于上述问题，通过加大MLP的深度，可以降低所需节点的个数。
6.老师讲课中提到的两门有关课程：
图论
复杂性理论
神经网络：由多个感知机组成的网络。
感知机：仿射函数的和加上 bias T 得到的值和阈值作比较
仿射和线性的区别：
线性函数：过原点，即f(0) = 0
仿射函数：有偏置，因此不过原点,即当仿射的常数项为 0 的时候为线性函数
阈值，也即神经网络的激活函数可以选择的有，sigmoid,softmax,relu等
deep:一个有向图，从源到接收器的**最长的**长度就是“深度”
网络的深度：网络中每一个输入信号在抵达output时必须经历的最长的过程
处理一个问题，需要超过两个以上的神经元则称该网络为“deep network"
神经网络拟合函数：
1. as a Boolean function
MLP 可以 model any boolean function
只要一层(即没有隐藏层）的神经网络即可表示与门，或门，非门。
而在基础门的前提下，只要再增加一层隐藏函数既可以表示任意 boolean 函数
比如说，增加了一层隐藏层，该层由两个或门感知机组成，一个或门的阈值为1，一个为-1，即可表示 XOR boolean function
但是在数据维度增加的时候，只有一层隐藏层的神经网络的系数将会呈指数级的增长。
这个时候可以通过增加神经网络的深度来使得指数由指数增长变为线性增长。
## Boolean Function 参考知识
DNF公式：[Disjunctive normal form](https://zh.wikipedia.org/wiki/%E6%9E%90%E5%8F%96%E8%8C%83%E5%BC%8F) 析取范式：析取作为最外层，其他的算子只能作为内层，同样的还有合取范式CNF
[卡诺图](https://zh.wikipedia.org/wiki/%E5%8D%A1%E8%AF%BA%E5%9B%BE)：真值表的变形，可以将有 n 个变量的逻辑函数的 2^n 个**最小项**组织在给定的长方形表格中。同时为相邻最小项（相邻与(and)项运用邻接律化简提供了直观的图形工具。在部分情况下，卡诺图能让逻辑变得一目了然，但是如果需要处理的逻辑函数的自变量比较多，则卡诺图会变得更加复杂
[真值表](https://zh.wikipedia.org/wiki/%E7%9C%9F%E5%80%BC%E8%A1%A8)：列是逻辑的基本操作的取值，而其中某一列或某几列是前面的列取值的结果，即满足 Y = A O B 的表达式，其中 O 表示的是某一种 boolean 表达式
神经元： 放射变换（带bias）+ 符号运算
activation ： relu、tanh、sigmoid
deep：dag最长路径
mlp： bool运算、实数运算
模拟一个真值表需要多深的网络，单层网络参数多2的n次方级别
多层网络logn，
固定层数网络 c*n
2. 感知机 一个神经元节点
3. 多层神经元可以模拟任何连续的函数
4. 一个感知机可以模拟任何简单的二元布尔运算
5. 多层感知机可以模拟任何复杂的布尔函数
6. 一个隐藏层神经网络 is Universal Boolean Function
7.
一个隐含层的感知机可以模拟任意的布尔函数
在同种情况下，如果神经网络深度较深，则需要的神经元（感知器）较少，可以由视频中的结构对比看出
进入小组观看课程
更多 >>
登录
客服1
官方群