【中文字幕】卡耐基梅隆大学 2018 秋季《深度学习导论》Bhiksha Raj 领衔主讲

一个MLP只要它无限宽或无限深，就可以解决指数级别宽的问题。并且最佳宽度取决于布尔函数的复杂性理论所需要变量个数。

大多数布尔函数，阈门是一个多项式函数，并且n是一个最佳深度，如果限制深度的话，需要指数级别的单元。那意味着，如果限制深度，正如限制MLP的深度，那么大多数的函数是无法表达的。因此，更深意味着更好。如果增加深度，意味着你可表达的函数，也呈指数级增加。

我们在现实中更多讨论的是分类问题，我们已经将MLP作用于真实的输入，MLP实际上就是找到一个复杂的决策边界，如果你是在做分类，边界内得到1，边界外得到0。单个感知机只是一个线性分类，它使用一个线性边界，它实际上是一个超平面。一侧输出是0，一侧输出是1，这是二维的，感知机就是类似于这样的形式，我们可以计算或与非逻辑，但无法计算XOR，因为XOR并非是一个阶梯函数，XOR横切与对角线，一旦越过对角线就回来了，因此无论你所做的感知机如何复杂，都无法表达XOR，感知机只能具有线性边界。但我们可以使用MLP组合一个随机的决策边界，得到任意的凸多边形（一个隐藏层的MLP只能组成凸多边形）。如何做出非凸的决策边界呢？我们通过叠加多余一层的网络来得到任意决策边界。但我们可以只使用一个隐藏层构成一个任意的决策边界吗？

含有一个隐藏层的mlp可以对任意一个分类器任意精度的边界建模，但是这将会需要指数数量的非常大的神经元数量将接近无限。

现在浅层网络需要的神经元的数量，是输入维度的潜在指数，任何时候固定你网络的深度，对于一个特别大的函数来说这都是浅层的。MLP是一个布尔机器，甚至是一个单隐层的网络作为布尔机。多层感知机是一个通用分类函数，甚至是一个两层或者一层隐层的通用分类器。但是相对于一个深层网络，一个单隐层的网络可能需要指数级数量的感知机。建造同样的函数，更深的网络可能需要更少的神经元。

MLP是通用布尔函数、通用分类器、通用逼近器。一个单层MLP可以近似任意精度，但对于输入尺寸会有指数级或者无限宽，MLP可以用更少的神经元实现同样精度。更深层次的网络更具表现力，即可以构建更多类型的函数。

这就是一个感知器，作为一个阈元件，如果加权和大于某个临界值，则向下传递，否则不会。

从源到接收的最长路径就是图的深度，从输入到输出最大数量的神经元，称为神经网络的深度。如果超过两个神经元，则称此神经网络为深度神经网络。deep＞2

MLP可以搭建任意布尔函数，不限类型的布尔函数。所以MLP又称为通用布尔函数。单一的神经元可以成为布尔开关。

一个隐藏层，两层的网络即可以组成任意的布尔函数。通常情况下，n个变量的XOR可能需要2n-1个感知机，然后你会需要指数级别数量的感知机，当你使用一个隐藏层的时候，这将仅仅使用一个线性数量的。这就是深度的作用。所以建议大家考虑增加层数。如果给所使用的层数设置一个上限，那么宽度将是指数级别的宽。那样电路将是最坏的情况。

布尔MLP如果只使用一层隐藏层的话，或者是限定层数，单元数将是指数型的大。我们还会有更加复杂的函数，不同的函数要求不同的深度。

1阈值T到sigmol函数的转变。以及更多的激活函数，relu等

2deeply的定义？

Multi-layer perception

3.多层神经网络，可以拟合实现，所有基本的逻辑门运算，以及函数等。

4.两层隐含层的网路可以拟合任何boolean运算。

5.真值表，truth table

6.DNF? expressed disjunctive normal form. 

7.karnaugh Map. to . truth map

8. 2^n-1个perceptrons  in the hidden layer 对应 2n-1，甚至，2log2(n).

9宽度和深度，宽度是指数级的增加。

10.神经网络的参数个数的问题，网络深度决定于函数，

1.神经网络的起源是人类脑部的工作方式以及计算模型

2.神经网络是基于联结主义的机器模型

3.将神经网络定义为网络化的多个神经元集合

4.McCullough与Pitt模型将神经元定义为一个和布尔函数类似的阀值控制单元，但是没有学习规则

5.Hebb的学习规则，定义神经元通过一起连接和工作达到一个不稳定的学习规则

6.Rose的感知机理论则是Mc和Pitt模型的一个变体，证实神经元其实可以对学习规则进行收敛，但他夸大了感知机的能力，因为单个感知机的能力有限。后出现了多层感知机，该模型能够对任意的复杂布尔函数进行建模，但本质上它还是基本的布尔型机器，只是通过各种不同的线性函数的组合来实现这一点，但是MLP能代表任意形状决策边界，MLP可以用来分类数据，甚至做更多，例如建模实数函数。MLP作为联结型计算模型是可以用来处理分类任务的，MLP同样可以用来对连续型函数进行建模。

7.有趣的AI任务只是一些函数，能被神经网络建模的函数

愚者自信满满，智者充满疑虑

阐述连接理论，信息存储于连接中

associations？ 

输入A， 输出B，那么A和B是如何联接在一起的？

信息存储在连接中

connections machines

 1.有些内容不会爱课程上讲，但是有ppt.需要去网站上去下载，对于小测是有帮助的。

2.这门课有很多任务需要去做。谁都不想做弱鸡。

3.Rosenblatt

4.输入信息---神经网络---决策结果

5.人类的思考

6.人类的认知？

7.我们用机器学习在学习什么？

8.brain的原理