NLP工程师入门实践：基于深度学习的自然语言处理

CNN (Convolutional Neural Network) 基本驵成

LeNet-5 例子：

• 输入尺寸：32*32
• 卷积层 (Convolution Layer) : 3 个
• 降采样层 (Downsampling/Subsampling/Pooling) : 2 个
• 全连接层 (Fully-connected Layer) : 1 个
• 输出 (Output Layer: SVM 等): 10 个类别 (数子0-9 机率)

卷积层

• 原始图片的与特定的Feature Detector(filter)做卷积运算
• Feature Detector(Filter)会随机产生好几种(ex:6种)，Feature Detector的目的就是帮助我们萃取出图片当中的一些特征(ex:形状)

池化层

• 将图片资料量减少并保留重要资讯的方法，把原本的资料做一个最大化 (Max Pooling) 或是平均化的降维计算
• 最重要目的是减少参数，防止过度拟合 (overfitting)

全连接层

• 一般负责维度转换，最后用来做分类或回归

激活函数

• 将 "激活的神经元的特征" 透过函数把特征保留并映射出来
• 这是神经网路能解决非线性问题关键
• 常见激活函数
  • Tanh
  • Sigmoid
  • ReLU