计算机视觉基础入门课程（从算法到实战应用）

lesson16 笔记 - 对抗式生成网络(GAN, Generative Adversarial Networks )入门及实战(下)

1.DCGAN

是常用的GAN网络.

1) 去掉了所有的池化层,G网络使用转置卷积进行上采样,D网络中用加入步幅为2的卷积层代替池化层.

2) 在D和G中均使用均一化层(batch normalization), 对输入数据做零均值归一化,防止梯度消失和爆炸.

3) 去掉全连接层(fully connected layer),使网络编程全卷积网络(全连接层影响收敛速度)

4) G网络中使用ReLU作为激活函数, 最后一层用tanh.

5) D网络中使用LeakyReLU作为激活函数.

2. AC-GAN

输入增加了类别的向量,和noize拼接在一起,输出除了real/fake,还回归出类别.

3. text2image

将text用含有语义的向量表征,与noize拼接在一起,整体输入G网络, D网络判别器又将语义向量(有wrong text, right text )添加进来,构成更大的feature map,进而进行判断.

4. image2image translation 风格迁移

正样本: 图+风格组成pair -> D

负样本: 图 -> G -> 图+风格pair -> D(有用到 U-Net, 类似resnet, 跨域传递)

DCGAN

利用深度卷积模型来生成目标

1、取消所有池华层，利用反卷积上采样

D的网络中，加入步幅为二的卷积

反卷积：

把feature map做padding

把featue map 扩大

将输入数据作为0均值，标准化为1 的归一化，可以解决梯度消失或梯度爆炸的问题

全连接变为全卷积

G网络 用RELU 最后一层用Tanh

tanh 取值范围更大，具有对称性

D的判别用sigmod函数

RELU 和 leakrelu

relu x<0 输出为0，

leakrelu 输入加了很小的参数，

D、G均用了batch normalrelize

AC-GAN

限定生成某一类的物体

噪声串联一个label 的到新的，并且送入到生成器中

判别器不但要判别真假，还要判别类别

image2image

图像对，用来训练

生成器改为u-Net，根据不同的标签，将图像生成

判别函数也用图片对来做判别

对抗式生成网络‐‐‐应用

1. DCGAN

2. 池化、激活函数的作用

    epoch、iteration

3. ACGAN

4. text2image

5. image2image

GAN 应用

１．ＤＣＧＡＮ－deep convolutional GAN

一个非常基础的模型，特点有：取消池化，使用转置卷积，使用ＢＮ，去掉全连接，Ｇ网络中使用ｒｅｌｕ，Ｄ网络中使用ｌｅａｋｙｒｅｌｕ.　

总而言之，ＤＣＧＡＮ是一个下采样＋上采样结构的网络。传统的ＧＡＮ是全连接的，ＤＣＧＡＮ是卷积层构成的。

２．ＡＣＧＡＮ：额外添加了类别信息，产生制定类别的图片

３．ｔｅｘｔ２ｉｍａｇｅ：用一个向量来表示一句话，向量中的每一个元素作为词语的索引，使用向量作为生成器的输入，从而实现了一个文字到图像的生成。

４．image2image