【中文字幕】2017春季CS231n 斯坦福深度视觉识别课

which W will be best——Optimization

learning rate

SGD-at every iteration ,we sample some small set of training example,which name is minibatch

Image Feature:

to train a classifier,  we should compute various feature representations of that image, that are maybe computing different kinds of quantities relating to the appearance of the image, then concatenate these different feature vectors and then input the classifier.

梯度：函数增加最快的方向

梯度下降：利用每一步的梯度决定下一步的梯度方向

梯度：多元情况下的导数，即偏导数组成的向量，负梯度方向指向了函数下降最快的方向

有限差分：慢

步长即学习率，超参数

优化器的选择

SGD

http://vision.stanford.edu/teaching/cs23n-demos/linear-classify/

词袋（Bag of Words）

优化的而作用是啥？？网络本身的前向后传播不就是实现了误差反传，更新梯度的效果？？？

是的，但是我们要记得FP和BP的作用就是想使我们的损失函数达到最小，或者说是尽快达到最小（那么我们就需要找到一组超级合适的权重，来使得我们的loss function 最小）

噢噢噢噢，我晓得了，你在更新权重的时候用了一个公式：新权重=原来值+学习率*梯度的负方向

那么这里的梯度负方向其实就是我们常说的梯度下降最快速度的方向，使我们能尽快的找到全局最优解（或者说是局部最优解），也就是优化问题！！！！

线性不可分的点或者物体可以通过非线性变换将其转换成线性可分的

这里的非线性变换----我们常见到的就是神经网络，神将网络可以拟合任何一种非线性变换。

特征表示是我们一直以来最需要用的方法，如何才能提取出有效的特征或者说是最能体现物体本质的特征？？CNN是一种方法，但是他是一个黑盒子，我们并不知道他是如何操作就能提取出有效的特征。，。。。

颜色直方图，方向梯度直方图、这两个是神经网络兴起之前常用的全局分类器。

梯度是指向函数最大增长方向，所以我们用负梯度来做梯度下降