登录
神经网络训练太耗资源，怎么尽可能节省成本？就是让模型变小
高效推断的算法
1、pruning剪枝。通过剪枝去除多余参数，即去掉多余的神经元，然后重新训练，不断重复，你可能在修剪90%的权重后，准确率还能回复到原先水平。但是过度修剪，程序可能懵逼，视具体情况而定。迭代训练时，权重可以重置为0。
2、weighing sharing权值共享。通过K均值聚类简化相似权重，去掉小数，不是所有的权重都需要进行高精度存储。实验证明，卷积层参数在4bits以下准确率才会明显降低，FC在2bits以下准确率会明显降低。
（以上两种方法结合使用能使模型达到更高的压缩比。常见经典CNN网络都可以在不减少准确率的情况下压缩至几M内，压缩后，CPU、GPU、mGPU速度一般至少能彪升三至六倍。如何不使用以上处理方式，而是直接搭建一个精简模型呢？SqueezeNet。）
3、quntization，量化。TPU都是使用8bits来进行推断的。如何确定位数的？统计一个常规方法训练的NN的所有层，最大值与最小值分布多少，然后将32bits调整为合适的位数。TPU，实验证明，位数下降到8bits以下，准确率才会明显下降
4、low rank approximation，低秩近似。
5、Binary / Ternary Net
6、Winograd Transformation
高效推断的硬件
高效训练的算法
1. Parallelization 并行化。深度学习可以数据并行化、模型并行化
2. Mixed Precision with FP16 and FP32 混合精度训练，同时使用32和16bits
3. Model Distillation 模型蒸馏
4. DSD: Dense-Sparse-Dense Training 密疏密训练，或者称为更好的正则化训练技术
高效训练的硬件
客服1
官方群