机器学习入门理论基础|莫烦

方法一：想办法获取更多数据

方法二：换个评判方式

常规

准确率 Accuracy

误差 Cost
Confusion Matrix

Precision & Recall

F1 Score ( or F-score)

方法三：重组数据

方法四：使用其它机器学习算法

方法五：修改算法

W+= - Learning rate * dx

Stochastic Gradient Descent (SGD) 

Momentum

m = b1 * m - Learning rate * dx

W += m

NAG

AdaGrad

v += (dx) ^ 2 

W+= - Learning rate * dx /  √ (V)  

Adadelta

RMSProp

v = b1 *v + (1 -b1) * dx ^ 2 

W+= - Learning rate * dx /  √ (V)  

Adam

m = b1 * m + (1 - b1) * dx

v =b2 * v + (1 - b2) * dx ^ 2 

W+= - Learning rate * dx /  √ (V)  

Linear

Nonelinear

y=Wx , y为预测值，W为参数，x为输入值

y=AF(Wx)

AF激励函数，relu, sigmoid, tanh，微分函数

少量层结构

卷积云  -> relu

RNN循环  -> relu or tanh

自负 = 过拟合

方法一增加数据量

方法二正规化

cost = （Wx - real y) 2 

L1 regularization

cost = （Wx - real y) 2 + abs(W)

L2 regularization

cost = （Wx - real y) 2 + (W) 2

L3、L4 regularization

Dropout regularization

避免无意义的信息

避免重复性的信息

避免复杂的信息

minmax normalizaton -> (0,1) or (-1,1)

std normalization -> (mean=0,std=1)

误差值，误差曲线Epochs

精确度，精度曲线Accuracy

R2 Score

F1 Score，不均衡数据曲线

过拟合

交叉验证

压缩解压，通过对比，得出预测误差，原数据的精髓

非监督学习

梯度消失，梯度弥散

梯度爆炸

语言分类，序列化处理

描述照片、写学术论文、程序脚本、作曲