【中文字幕】2017春季CS231n 斯坦福深度视觉识别课

记号：

Ｘ输入样本  32*32*3 = 10*3072

F 10*1

Ｗ权重　Parameters, Weights 3072*1

线性是指的是单层神经网络，而不是真的线性，在图像中提取了背景虚化的类别，RGB的区分

linear classification

The difference between KNN and neural network:

In KNN, there is no parameters

In neural network, we are going to summarize our knowledge of the trainging data and stick all that knowledge into these parameters——W.

Linear classifier:

f(x,W)=Wx

线性分类器Linear Classifier

1.线性分类：它有助于我们建立整个神经网络和整个卷积网络，就像巨型网络的基础模块

2.卷积神经网络只关注图像，而循环神经网络只关注语言，我们可以把这两个网络放在一起，再将其一块训练，最终得到一个很厉害的系统

3.线性分类器：它是参数模型中最简单的例子   f(x,W)我们通常把输入数据写为x，参数设置或是权重通常叫做W，有时也叫θ

4.在一个参数化的方法中，我们将总结我们对训练数据的认识并把所有的知识都用到这些参数W中，在测试的时候我们不再需要实际的训练数据，我们可以把它扔掉，我们在测试时，只需要这些参数W，这使我们的模型更有效率，所以在深度学习中，整个描述都是关于函数F正确的结构，你可以发挥你的想象来编写不同的函数形式，用不同的，复杂的方式组合权重和数据，这些可以对应于不同的神经网络体系结构，但将它们相乘就是最简单的结合方式，这就是一个线性分类器

4.每个线性分类器只学习一个单独的模板，如果这个类别出现了某种类型的变体，那么它将尝试求取所有不同变体所有那些不同变现的平均值，并且只使用一个单独的模板来识别其中的每一个类别

5.小结：本节课程我们讨论了，线性分类器对应的函数形式，我们看到这个矩阵向量相乘的函数形式对应于模板匹配和在数据集中为每一个类别学习一个单独的模板，一旦我们有了这个训练矩阵，实际上你可以使用它得到任何新的训练样本的得分，但在课程中没有讲述如何给你的数据集选择一个正确的权重

Parametric Approach

image→f(x,W)+b→10 numbers giving class scores

线性分类器：

f(x,w)=Wx

1.   线性分类
2. 卷积神经网络与循环神经网络各司其职，基础模块构成大的模型，类似于乐高玩具一样
3. 模板匹配
4. f(x,W)=Wx+b

图像分类：线性分类器

线性分类器有利于我们建起整个神经网络，和整个卷积网络。我们经常把神经网络比喻为乐高，你可以拥有不同种类的神经网络组件，你可以将这些组件组合在一起，来构建不同的大型卷积网络 ，线性分类器就是这些简单的组件。

比如我们的输入是一副图片，那么输出为这幅图像的一个描述。卷积神经网络只关注图像，而循环神经网络只关注语言，因此我们需要将两个网络连接在一起，就像玩乐高一样，再将其一起训练。

在KNN中我们没有设置参数，我们会保留所有的训练数据，但是在一个参数化的方法中，我们将总结我们对训练数据的认识并把所有的知识都用到这些参数w中，在测试的时候我们不再需要实际的训练数据，我们可以把它扔掉，在测试的时候，只需要这些参数W，这使得我们的模型更有效率。

线性分类器是参数模型中最简单的例子，输入的是图像，写入X，W为一组权重，输出为分类为各个类别的分数，那个得分最高的类别就为此输入的类别。X为一个3072*1的矩阵，W为10*372的矩阵，因此两者相乘为10*1，得到的就是10个类别所对应的分数。

因此每个类别都对应了一组权重W，也就是对应了一个类别，一旦出现了变形，一个单独的模板就不行了。线性分类器企图在决策边界画出一条线来区分不能的类别。

但是有些数据集就不能用一个线性分类器来分类。

功能函数为：f(x,w)=x*w+b，b为偏差