计算机视觉基础入门课程（从算法到实战应用）

lesson15 笔记 - 对抗式生成网络(GAN, Generative Adversarial Networks )入门及实战

1.为何探索 生成式模型

1) 提升对高维数据(视频图片文本等)表征和操作能力;

2) 生成式模型可以通过很多方式嵌入到强化学习之中;

3) 提供更便利的数据标注方法;

4) 可以实现输出结果的多样性.

2. GAN网络的基本应用

1) 图像编辑和生成  adobe

2) 人脸修饰

3) 图像着色  deepcolor

4) 风格迁移 cyclegan 

5) 图像超分辨及 图像修复

6) 生成古诗/音乐/图片

3. 问题总结

1) 部分--生成式模型--> 全部

2) 无 --生成式模型--> 有

4. 问题阐释

统计 参数估计

正态/高斯分布 ---> 参数/解空间大; 高维空间中真实分布复杂

5. 问题解决

1) 完全可见信念网络

2) 变分自编码器

3) 对抗式生成网络

6. 对抗时生成网络

基本架构: 判别器 --> 生成器

价值函数: 左右互搏 

原理: 不断进行上述的最小最大化游戏, 等价于不断最小化生成数据分布和真实数据分布之间的J-S散度,并且如果能够直接在函数空间内更新两者参数,最终可以得到最优解(达到纳什均衡状态)

GAN网络：

应用：1、图像上色；

2、图形生成；

3、风格迁移；

4、图像分辨率修复。

问题：不知道原图形的分布等，如何解决？

模型：完全可见信念网络；变分自编码器；GAN

GAN：判别器（判别是否是是真实图片（可导函数））和生成器（根据输入信息生成真实图像）

生成对抗网络：分割迁移

超分辨率图像修复

补全残缺数据

对抗生成模型：

利用高斯噪声采样，生成高维模数据

判别器

生成器

判别输入图像是否为真实图像，输出为真实图像的概率，输出为1 真实，0 判别为generator的图像

判别器训练，尽可能让判别器能够判断出假的图像D(G（z）)->0

生成器对信息（输入噪声/）生成真实他图像,生成器尽可能输出的结果去迷惑生成器，使得判别器无法判别

以至于生成器可以生成最接近真值图像的网络

100 维噪声 全连接层1024维

reshape n*n*m

w,h不断变大，channel值不断减小

转置卷积（反卷积的操作）

最终生成为H*W*3的图像

判别器

minmaxV(D,G)

生成器训练判别器是生成器参数固定

同理判别器训练生成器的时候判别器的参数也固定

采样m个noisy

采样m个x真值

先训练k次D

再训练K次G

求导

两个数据分布的

JS散度，表明的是数据分布的距离

生成器优化min Ezlogd（1-g（z））

0~-无穷

当判别器很好的判别的时候，其很容易接近1/0容易造成梯度消失

min Ez(-logD(g(z)))

0~正无穷

优化目标不合理，容易生成很少类别的图片

model collapse

W-GAN

另一种衡量标准，werssitan distance

GAN

1. 动机：

1）提升表征能力

2）嵌入到强化学习

3）数据标注

4）输出多样性

2. 应用

a. 图像编辑和生成

    编辑：鞋子，尺度变化、颜色

    生成：轮廓sketch->图像

b. 人脸修饰

c. 图像着色

d. 风格迁移：油画、动物、季节、edge2cats

e. 图像超分辨及图像修复

总结：

部分信息推理全局信息的能力

已有数据推测新数据的过程

生成模型：

（1）完全可见信念网络

（2）变分自编码器

（3）对抗式生成网络

GAN Generated Adversersial Network

Areas it can be used in:

1. image manipulation and generation:

example: Generative Visual Manipulation on the Natural Image Manifold

2. Facial image processing/manipulation:

3. Image coloring：

Deep Color: http://color.kvfrans.com/draw

4. Image-to-Image translation: Cycle GAN, real-time performance on videos.

affinelayer.com/pixsrv

5. image super-resolution restoration:

photo realistic single image super-resolution using a generative

context encoders: feawture learning by inpainting

From the aforementioned knowledge, what we can conclude from it?

Given observations we can conlude an educated estimation of its parameters, thus we can sample from this distribution and generate new samples.

 To sum up , this problem can be boiled down to concluding a sample distribution from samples and generate more samples from this educated sample distribution.

这类问题可以用生成模型解决。

生成模型可以分为三类：

１．完全可见信念网络 Fully Visible Belief Networks

2. 变分自编码器　variational autoencoder

3. 生成式对抗网络　generative adversersial network

VA可以和GAN结合起来改善效果。

对抗是生成网络有判别器和生成器构成。

生成器用来生成一个可以以假乱真的ｓａｍｐｌｅ，
判别器尝试区分真假样本。
这样一个网络的训练过程遵循min max L　原则，即先最大化判别器的ｌｏｓｓ，再极小化生成器的ｌｏｓｓ。

总而言之，先训练判别器，再训练生成器。

JS, KL and Wd 是几个很重要的概念，理清楚这几个概念对理解ｇａｎ的各种改进很重要。

W-GAN:　传统ＧＡＮ优化的是ＪＳ散度，Ｗ－ＧＡＮ更改了衡量标准。

ＬＳ－ＧＡＮ，　ＥＢ－ＧＡＮ等等