「Deep Learning」读书全系列分享（已更新至第十章）

「Deep Learning」这本书是机器学习领域的重磅书籍，三位作者分别是机器学习界名人、GAN的提出者、谷歌大脑研究科学家 Ian Goodfellow，神经网络领域创始三位创始人之一的蒙特利尔大学教授 Yoshua Bengio（也是 Ian Goodfellow的老师）、同在蒙特利尔大学的神经网络与数据挖掘教授 Aaron Courville。只看作者阵容就知道这本书肯定能够从深度学习的基础知识和原理一直讲到最新的方法，而且在技术的应用方面也有许多具体介绍。这本书面向的对象也不仅是学习相关专业的高校学生，还能够为研究人员和业界的技术人员提供稳妥的指导意见、提供解决问题的新鲜思路。

面对着这样一本内容精彩的好书，不管你有没有入手开始阅读，雷锋网 AI 研习社都希望借此给大家提供一个共同讨论、共同提高的机会。所以我们请来了曾在百度和阿里工作过的资深算法工程师王奇文与大家一起分享他的读书感受。

第一、二、三、六、七、九章分享人：王奇文，资深算法工程师，曾在百度和阿里工作，先后做过推荐系统、分布式、数据挖掘、用户建模、聊天机器人。“算法路上，砥砺前行”。

第四章分享人：陈安宁，Jakie，名古屋大学计算力学博士。

第五章分享人：吴楚，数学硕士，华大基因算法工程师。

第八、十章分享人：孙嘉睿，迅雷人工智能图像算法工程师，北京大学信息工程学院博士，京都大学情报学硕士。

各个章节简介

1.第一章：前言

这一部分主要是深度学习的一些基本介绍、一些发展历史。可以看一下这个封面，一幅漂亮的风景画，纽约中央公园遍地盛开的杜鹃花，仔细看有点不太正常，对了，这就计算机生成的，确切的说，是 Google deepmind 团队的杰作——梦幻公园。

2.第二章：线性代数

今天分享的是第二章：线性代数。从 27 页到 42 页，内容不多，基本都是传统形式上的概念。同样，我只讲直观思路，尽可能的少用公式，毕竟好多人见着数学公式就头疼，更不用说在 PPT 上看了，效果不好，容易催眠，看着看着就身在朝野心在汉了。

3.第三章：概率和信息论

这节课会讲到一些基本概念，常用的分布，频率学派和贝叶斯学派的差别，还有贝叶斯规则，概率图，最后是信息论。这里第四条可能很多人可能头一回见到，学了那么多概率，连这个都不知道，那你的概率真的白学了，真这样，不开玩笑。不过，老实说我也是前几年才知道这个学派的差别，因为浙大三版教材上就没提到这些，好像就提到一点，频率学派就是古典概率，没有什么其他的，这也是现行教材的缺陷。

4.第四章：数值计算

其实我们大部分人在运用机器学习或者深度学习的时候是不需要考虑这一章的内容的，这章的内容更多是针对算法的数学分析，包括误差的增长以及系统的稳定性。

第一，在机器学习、包括了深度学习中数值计算的应用。

第二，数值误差的问题

第三，简单的分析机器学习系统的稳定性问题

最后，针对优化问题给出了两种不同的优化算法，一种是梯度下降法，一种是限制优化算法。

5. 第五章：机器学习基础

5.1 学习算法

5.2 Capacity, 过拟合和欠拟合

5.3 超参数和验证集

5.4 估计量，偏移值和方差

5.5 最大似然估计

5.6 贝叶斯统计

5.7 监督学习算法

5.8 无监督学习算法

5.9 随机梯度下降

5.10 构建机器学习算法

5.11 挑战深度学习

6.第六章：前馈神经网络

6.1 例子：学习异或

6.2 基于梯度的学习

6.3 隐藏层单元

6.4 架构设计

6.5 BP 算法和其他不同算法

6.6 历史记录？

7.第七章：深度网络的正则化

7.1 参数归一化惩罚

7.2 归一化惩罚作为条件最优化

7.3 正则化和欠约束问题

7.4 数据集增大

7.5 噪声鲁棒

7.6 半监督学习

7.7 多任务学习

7.8 早期中止

7.9 参数连接和参数共享

7.10 稀疏表达

7.11 Bagging and Other Ensemble Methods？

7.12 Dropout

7.13 对抗训练

7.14 切线距离，Tangent Prop 和流行切分类器？

8.第八章：深度模型中的优化

8.1学习和纯优化有什么不同

8.2神经网络优化中的挑战

8.3基本算法

8.4参数初始化策略

8.5自适应学习率算法

8.6二阶近似方法

8.7优化策略和元算法

9.第九章：卷积网络

9.1卷积运算

9.2动机

9.3池化

9.4卷积与池化作为一种无限强的先验

9.5基本卷积函数的变体

9.6结构化输出

9.7数据类型

9.8高效的卷积算法

9.9随机或无监督的特征

9.10卷积网络的神经科学基础

9.11卷积网络与深度学习的历史

10.第十章：卷积网络

10.1展开计算图

10.2循环神经网络

10.3双向RNN

10.4基于编码 - 解码的序列到序列架构

10.5深度循环网络

10.6递归神经网络

10.7长期依赖的挑战

10.8回声状态网络

10.9渗透单元和其他多时间尺度的策略

10.10长短期记忆和其他门控 RNN

10.11优化长期依赖

10.12外显记忆

发表评论