七分钟带你读懂深度学习

Gating - LSTM/GRU

Convolutional layer

Filter

BELU

Pooling

Fully connected layer (FC) - classify data samples

supervised learning method- need labelled data for training

Deep Belief Network (DBN)

supervised learning

Bloltzmann machine: RBM ->feature extractor/autoencoder

backpropagation

vanishing gradient

supervised learning - labelled data 

text/speech processing - RNN (Recurrent Net)

image processing - CNN (Convolutional Net)

Forward-prop

Weight/Basis

SVM/logistic regration - simple pattern

神经网络

推荐资源：

Michael Nielsen

吴恩达

分类问题：

1.可用的分类器：

逻辑回归，支持向量机，朴素贝叶斯， 神经网络

2. 前向传播（Forward prop）：神经网对一组输入进行分类的方式

多层感知器（MLP）

backpropagation反向传播

issue= vanishing gradient消失梯度

2006年之前，deep learning方向由于back-prop带来的vanishing gradient问题，效果不佳，甚至不如浅层的网络，直到hinton、lecun、bengio发表了三篇breakthrough papers，一切都改变了。

从这节开始有点看不懂了。

How to choose a deep net?

1. unlabelled data: RBM, Autoencoders.
2. labelled data:
   • text processing: 递归神经网络RNTN（recursive neural tensor network）, 递归网络recurrent net.
   • image recognition: 深度信念网络DBN（deep belief network）, 卷积网络convolutional net.
   • object recognitino: RNTN, convolutional net.
   • speech recognition： recurrent net。
3. general data：
   • classification问题：DBN，具有整流线性单元的多层感知器MLP/RELU（multilayer perceptrons with rectified linear units）。
   • 时间序列分析（time series analysis）问题：recurrent net。