机器学习入门理论基础|莫烦

压缩解压，通过对比，得出预测误差，原数据的精髓

非监督学习

误差值，误差曲线Epochs

精确度，精度曲线Accuracy

R2 Score

F1 Score，不均衡数据曲线

过拟合

交叉验证

minmax normalizaton -> (0,1) or (-1,1)

std normalization -> (mean=0,std=1)

避免无意义的信息

避免重复性的信息

避免复杂的信息

Linear

Nonelinear

y=Wx , y为预测值，W为参数，x为输入值

y=AF(Wx)

AF激励函数，relu, sigmoid, tanh，微分函数

少量层结构

卷积云  -> relu

RNN循环  -> relu or tanh

自负 = 过拟合

方法一增加数据量

方法二正规化

cost = （Wx - real y) 2 

L1 regularization

cost = （Wx - real y) 2 + abs(W)

L2 regularization

cost = （Wx - real y) 2 + (W) 2

L3、L4 regularization

Dropout regularization

W+= - Learning rate * dx

Stochastic Gradient Descent (SGD) 

Momentum

m = b1 * m - Learning rate * dx

W += m

NAG

AdaGrad

v += (dx) ^ 2 

W+= - Learning rate * dx /  √ (V)  

Adadelta

RMSProp

v = b1 *v + (1 -b1) * dx ^ 2 

W+= - Learning rate * dx /  √ (V)  

Adam

m = b1 * m + (1 - b1) * dx

v =b2 * v + (1 - b2) * dx ^ 2 

W+= - Learning rate * dx /  √ (V)  

方法一：想办法获取更多数据

方法二：换个评判方式

常规

准确率 Accuracy

误差 Cost
Confusion Matrix

Precision & Recall

F1 Score ( or F-score)

方法三：重组数据

方法四：使用其它机器学习算法

方法五：修改算法

机器学习分类：

监督学习： 有数据和标签

无监督学习：有数据，无标签

半监督学习：带少部分标签

强化学习：

遗传算法：适者生存，优胜劣汰

### 机器学习分类

- 监督学习(SUPERVISED LEARNING)

  - 神经网络

- 非监督学习(UN-SUPERVISED LEARNING)

- 半监督学习(SEMU-SUPERVISED LEARNING)

- 强化学习(REINFORCEMENT LEARNING)

- 遗传算法(GENETIC ALGORITHM)