【中文字幕】2017春季CS231n 斯坦福深度视觉识别课

返回的梯度，与当前节点的输入维度一致，可作为检查梯度的验证。

计算图表示一个函数：

节点表示操作

求取计算图中变量的梯度

链式法则求取

上游梯度和本地梯度

梯度值累加

列举了两个例子

变量梯度的大小和变量的大小一致，也就是帝梯度的维度与变量是相同的。

17:19  z在x方向上的梯度是y

Neural Networks

Backpropagation

computational graph —— Chain rule

add gate

max gate

mul gate：交换

为了更好的泛化模型，我们使用正则项，来使的机器选择更简单的模型来表示。

在求解无论多么复杂的梯度问题，我们都需要先画一个计算图（将复杂问题分解为一个个简单的问题），然后利用链式求导法则来一步步的求解！！！！！

反向传播：笔记

1.我们想要找到与最小损失对应的参数W，我们想要最小化损失函数，为了做到这一点，我们就要找到L在W方向上的梯度

2.反向传播技术递归的调用链式法则来计算图中的每个变量的梯度，当我们涉及非常复杂的函数时，这些方法就很有用

3.相对于节点的输入，我们也可以计算出他们相对应的梯度是节点的直接输出，我们来看看在反向传播算法中发生了什么，我们从图的后面开始，然后使用我们的方法从最后的地方一直到开始的地方，当我们到达每一个节点时，每一个节点都会得到一个从上游返回的梯度，这个梯度是对这个节点的输出的求导，等到我们在反向传播到达这个节点时，我们就计算出了最终损失L关于z的梯度

4.ppt中绿色的数字是前向传播的结果，红色的是反向传播得到的梯度值，链式法则告诉我们梯度等于上游梯度值乘以本地梯度值（就是该节点的导数）当我们遇到加法运算的节点时，加法运算中对每个输入的梯度正好是1.当我们遇到乘法节点时，这种节点对于某一输入的梯度值，恰好是另一输入的值

5.max门：可以想象成一个梯度路由器，加法节点回传相同的梯度给进来的两个分支，max门将获取梯度，并且将其路由到它其中的一个分支，因为如果我们查看前向传递，可以看到只有最大值能被传递到计算图的剩余部分，所以只有这个最大值真正影响到我们函数计算的唯一值

6.在本次课程中谈到的是如何在我们的函数中计算对于任何变量的梯度，然后我们一旦得到了这些梯度，我们就可以将我们刚才所学到的知识应用到上一节关于优化的课里面，在给定的梯度的情况下，我们沿着梯度方向上前进一步，就可以更新我们的权重，也就是我们的参数

7.PPT中的例子：首先输入一个含有4096个元素的输入，中间的运算节点是对每个元素求最大值的运算，我们要求的f是x中每个元素和0之间的最大值，最后的输出也是一个包含4096元素的向量

8.雅克比矩阵：每一行都是偏导数，矩阵的每一个元素，是输出向量的每个元素对输入向量每个元素分别求偏导的过程，这个矩阵是4096*4096，他是一个对角矩阵，因为是对每个元素的分别运算，比如输入里的第一个元素只和输出的第一个元素有联系，所以我们并不需要把整个矩阵全部写出来，我们只需要求输出向量关于x的偏导，然后把结果作为梯度填进去

9.向量的梯度总是和原向量保持相同的大小，每个梯度的元素代表着这个特定元素对最终函数影响的大小

10.总结：当你使用神经网络时，它们都将会非常的庞大和复杂，将所有参数的梯度公式写下来是不现实的，所以为了得到这些梯度，应该使用反向传播，而且，这算是神经网络的其中一个核心技术，就是用反向传播来计算参数梯度.                                       计算和图表结构都非常真实，每个节点也都实际存在，所以正推时，我们希望得到计算结果，并存储所有将会在后面的地图计算中用到的中间值，然后在反向计算中，我们使用链式法则，使用上游梯度，将它与本地梯度相乘，计算在输出节点方向上的梯度，然后将它传递给下一个连接的节点

计算图很有用。x的梯度相加乘以y的梯度 等于输出