计算机视觉基础入门课程（从算法到实战应用）

卷积层：

Stride = 1, pad = 2

输出尺寸 = （输入尺寸 + 2*pad-卷积核的大小）/ Stride +1

池化层也就是下采样，作用使得表达更加紧凑，同时具有唯一不变性

损失函数：交叉熵损失函数：sigmoid函数作为输出层;应用于二分类问题

SOFTMAX_LOSS：siftmax作为输出层；

欧式hi距离损失函数：对回归比较重要

对比损失函数:训练siamese网络

图像分类的挑战：

1、关照的影响；（明暗）

2、目标的形变；（同一个物体）

3、目标类别的变换；（同类物体）

图像分类的步骤： 训练，预测。训练就是用正向样本，训练一个预测函数；预测就是用训练的预测函数进行预测。

泛化能力： 预测函数的泛化能力是衡量模型的重要指标，比如说对于半个苹果，也能正常的识别这是苹果。

图片分类的流程：

特征提取和目标标签提供给网络进行训练，得到预测函数（分类器）；

提取测试样本的特征，上训练好的分类器进行预测分类。

图像特征：

SIFT ； HoG；LBP；Harr 

SVM：最大化间隔，把两个类别区分开

CNN特征： 学习出来的特征。

神经网络是一层层的结构

神经网络的基本单元： 神经元。 激励函数对应着神经元的单位，也就是基本的神经元。

卷积层： 卷积神经网络的核心。卷积的结果就是特征图（Feature Map）。

池化层：下采样

全连接层：分类结果输出

损失函数：计算结果精确性，也就是标签的正确性计算。

梯度反传： 训练网络的核心。前向传播，样本+标签；计算损失函数，计算损失函数的梯度，然后回传，每一层更新参数（这里的参数就是神经网络的W权重和B偏差，其实就是不断的优化参数）。

测试：取置信度最大的值作为结果输出

主要内容：

1图像分类

2神经网络原理

3卷积神经网络介绍

4利用caffe搭建深度学习网络做图像分类

计算机理解图片

图像分类：识别图像目标，

类内变化，形变，光照变化，形态，尺度，

图像分类定义：y=f（x）

y：输出

f：预测函数

x：图像特征

利用训练集获得f

对于函数的能力衡量标准泛化能力（对于同一事物图像不同形态与状态也能识别）

图像提取特征+标签->训练->分类器

测试内容提取特征->分类器->预测

图像特征：颜色（RGB），全局形状（PCA？），局部特征，纹理，SIFT（图像分类，图像匹配）,HoG（目标检测，目标跟踪），LBP（人脸分类）,Harr（目标形状）

推荐网站：www.vlfeat.org

SVM(支持向量机）最优超平面

最大化间隔，点到面的距离

CNN特征，学习出来的，需要构造神经网络进行图像分类

神经网络搭建，一层一层堆起来的，基本单位为神经元，权重叠加。激励函数有很多可以，模拟神经元的非线性函数

卷积网络，卷积层，卷积核，卷积滤波计算，输出的尺寸=（输入尺寸+2*  填充元素个数-卷积核大小）/步长+1

可以得到底层的特征，中层特征和高层特征，特征的叠加

池化层，通道不变，缩小图像大小，压缩取最大，特征表达更加紧凑，同时具有位移不变性。

全连接层，矩阵乘积

损失函数，交叉熵损失函数，应用于二分类问题

softmax损失函数，多分类问题

欧式距离损失函数，回归问题

对比损失函数，计算两个图象之间的相似度，image match

triplrt loss ？

lesson2笔记-图像分类与深度卷积网络的模型

1.图像分类的挑战:a.光照变化,b.形变,c.类内变化.

2. 图像分类的定义函数: y=f(x)

3. 如何提高泛化能力: 用图像特征来描述图像.

泛化能力,是评价模型分类器的效果.

4. 图像特征: Color; Shape(global shape, local shape, 指标有translation-scale-rotation-occlusion); Texture

5. 优良的组合性图像特征:  SIFT(用在分类, 128-4-64),  HoG(用在检测,擅长形状), LBP(人脸), Harr(滤波器,对形状). 在深度学习之前,常用, 维度也不高. 推荐一个网站:http://www.vlfeat.org/

图像分类与深度卷积网络的模型

1、图像分类

    给定一个图片，判断是否为某一类别。

干扰条件：光照、突然形变、尺寸变换、类内变化（同一类别的变化很大）

    y = f(x)

训练：通过训练集获得一个预测函数f，使它在训练集上的误差最小。

测试：输入一个x，通过预测函数f得到一个y。使得最大程度上获得正确的分类。

泛化能力：由已知特性推到同一样本的不同形态

图像特征：颜色特征、全局特征、局部特征、纹理特征。具有代表的图像特征有：SIFT、Hog、LBP、Harr……图像特征提取的一个网站：www.vlfeat.org/

支持向量机（SVM）

给定训练集，分类学习的最基本的想法是基于训练集的样本空间中找到一个划分超平面

更好的特征（CNN）

卷积层可视化（低层特征——中层特征——高层特征——线性分类）

池化层（特征表达更加紧凑，同时具有位移不变性）

训练网络

通过梯度反传来训练整个网络。

• color,
• local shape
• global shape

• SITF(local shape用在图像分类/匹配，128维-64)
• HoG（用在检测，处理形状比较好32维）
• LBP（人脸）
• Harr（很多组滤波器，检测边缘比较强，处理形状比较好） www.vlfeat.org/  提供代码进行检测

图像分类

图像特征：SIFT HOG LBP HAR 

http://www.vlfeat.org/ 介绍了图像特征提取方法

支持向量机SVM: 支持向量  超平面

找出一个超平面，划分出正负样本

分类函数：

最大化间隔： 支持向量 到 超平面距离最远

cnn特征：

神经网络做图像分类

神经网络搭建

激励函数：Sigmoid  tanh  relu   leaky Relu  maxout elu

卷积层

卷积滤波的计算

池化层

全连接层

训练网络

损失函数  SIGMOID_CROSS_ENTROPY_LOSS A 二分问题

SOFTMAX_LOSS 多分问题

EUCLIDEAN_LOSS 回归问题

训练Siame（s）e网络 计算两个图像的相似度

Triplet loss 

梯度反传来训练整个网络

课时2

1.泛化能力是衡量图像分类的一个重要指标

2.图像分类三部曲：（1）提取特征（2）用训练集和对应标签训练一个分类器（3）做出预测

3.特征分为全局特征和局部特征，全局特征可以通过颜色，形状，局部特征可以通过纹理（比如人脸） SIFI特征，HOG特征（用于目标检测精确检测出目标形状）LBP（人脸）Harr（形状，边缘）。 不同的任务选取不同的特征检测。

3.SVM（支持向量机）

4.CNN特征 它是通过构造神经网络学习而来。

5.激励函数是用来模拟神经元运算的分线性函数，然后大量的叠加来解决复杂的问题。

6.线性卷积（线性） 输出尺寸=[（输入尺寸+2*填充单位）-卷积核大小]/步长+1

7.池化 ：矩阵的压缩 有最大池化，平均池化等，有位移不变性，使得特征更紧凑

8.全连接层：对向量进行运算，做输出层

9.loss 交叉熵用于二分类，比如判断是不是背景；sofmax用于多分类；欧氏距离用做回归；对比损失函数，图像匹配检测。