七分钟带你读懂深度学习

CNN

卷积神经网络

都是啥？

RNN？？？  

本节只是介绍全套课程，没有实际内容。

深入学习的资源：Michael Nielsen的书、吴恩达（Andrew NG）的课。

neural newwork神经网络

classification分类问题，解决方案：逻辑回归、支持向量机、朴素贝叶斯、神经网络。（前几个的翻译对吧？）

input layer——>hidden layer——>output layer

node、weight、bias、training、forward prop

deep net才能完成复杂的模式识别

How to choose a deep net?

1. unlabelled data: RBM, Autoencoders.
2. labelled data:
   • text processing: 递归神经网络RNTN（recursive neural tensor network）, 递归网络recurrent net.
   • image recognition: 深度信念网络DBN（deep belief network）, 卷积网络convolutional net.
   • object recognitino: RNTN, convolutional net.
   • speech recognition： recurrent net。
3. general data：
   • classification问题：DBN，具有整流线性单元的多层感知器MLP/RELU（multilayer perceptrons with rectified linear units）。
   • 时间序列分析（time series analysis）问题：recurrent net。

backpropagation反向传播

issue= vanishing gradient消失梯度

2006年之前，deep learning方向由于back-prop带来的vanishing gradient问题，效果不佳，甚至不如浅层的网络，直到hinton、lecun、bengio发表了三篇breakthrough papers，一切都改变了。

从这节开始有点看不懂了。

神经网络

推荐资源：

Michael Nielsen

吴恩达

分类问题：

1.可用的分类器：

逻辑回归，支持向量机，朴素贝叶斯， 神经网络

2. 前向传播（Forward prop）：神经网对一组输入进行分类的方式

多层感知器（MLP）