【中文字幕】卡耐基梅隆大学 2018 秋季《深度学习导论》Bhiksha Raj 领衔主讲

• 在分类问题中分类误差是一个关于权重不可微的方程存在这种情况我们调整参数但是误差不改变的情况。如果一个实例得到了正确的分类分类误差会调到某个值。
• 那么我们选择一种折中的方法就是采用divergence function 代替分类误差。
• 但是还有一个问题最小化divergence function 不一定最小化了分类误差。

感知机与后向传播的区别

1对于感知机当训练样本中加入一个新的样本感知机分类器有可能会发生较大的变化

• 能够很好的适应训练数据
• 感知机规则有较低的偏差如果可能甚至可以做到无偏差。
• 感知机有较大的方差当输入有很小的改动是结果将会有较大的变化。

(2) 后向传播当训练样本中加入一个新的样本汇总将会有较小的改动。这就意味着不会因为一个样本的change网络发生较大的变化。

• 它是一个 低方差的分类器
• 理论上你想要的答案能够大体找到而不是精确找到。
• 后向传播经常找不到一个分类答案尽管这个答案是神经网络可以学习的一个函数主要是是因为这个答案不是损失函数可以达到的最优值。但是反向传播算法比感知机具有较低的方差这是它的优点所在。