【中文字幕】2017春季CS231n 斯坦福深度视觉识别课

Linear claafication

f(x, W)  = W * x + b

【distance】

L1(Manhattan) distance

L2(Euclidean) distance

改变坐标对L1会产生影响，如果一些向量有重要意义，适用L1

【超参数】

K-NN：

不同的k和distance，这些是超参数Hyperparameters：提前为算法设定，没办法在学习中获取，是依赖具体问题的

【问题】

L1在什么时候比L2表现好：

L1依赖于数据的坐标系统，如果每一列都有实际意义，可以用L1，比如员工分类，薪资和年龄；图像分类，每一列都是相似的。

【超参数的设置】

K=1，always works perfectly on training data

K>1, 在未出现过的数据上表现更好

【1、数据】

train, validation, test

用validation去选择最好的超参数

【2、交叉验证】

训练数据分成k份，轮流将每一份数据当做validation。

【knn的问题】

1、测试时间长

2、L1和L2不适合用在图像识别上。L2不能很好的衡量图片之间的相似性。例如，图像明显变化，但是与原图的L2距离仍然是一样的。

3、curse of dimensionality 维度灾难

在一维需要4个样本，二维需要16个样本，三维需要64个样本，才能布满空间。

常用是3*3 5*5 7*7卷积核

为了保证图像输出大小 需要进行零填充

计算输出大小 需要图像大小减去卷积核除以步长加1

当存在零填充时候 还要考虑考虑零填充

参数总数是 卷积核相乘乘以隐藏层 加上偏置 再乘以卷积核个数

计算图很有用。x的梯度相加乘以y的梯度 等于输出

whie region

1，眼睛的出现触发big bang

2， 相机的小孔成像也是模拟最初的视觉成像

3，物体识别是计算机视觉领域的大难点，先发展了物体分割，同时在小数据时代，20年代初期人脸识别得到突破

4，为了促进计算机视觉发展，李飞飞等收集了4000万张，2万类左右的图片数据库ImgaeNet,然后组织了ImageNet大赛。大赛在2012年比2010年的误差降了10%，这是使用cnn模型做到的。深度学习开始在其它领域得到发展。

著名的猫大脑视觉实验，认识物体先从纹理，轮廓。。。。