深度学习神经网络量化

主要问题

DNN（Deep Neural Networks）的冗余性决定了参数个数不会对网络的精度造成影响。此外，SGD（Stochastic Gradient Descent）所需要的精度仅为6~8bit，因此合理的量化网络也可保证精度的情况下减小模型的存储体积

影响

DNN压缩看参考Stanford大学Han Song博士的几篇论文，如下：

• Learning both Weights and Connections for Efficient Neural Networks

• Regularizing Deep Neural Networks with Dense-Sparse-Dense Training

• Compressing Deep Neural Networks with Pruning , Trained Quantization and Huffman Coding

算法的主要实现思路是发现对网络贡献较小的参数并精简，然后重新训练精简后的稀疏网络以达到减少非0网络参数的个数并保留或提高网络精度的目的，此类方法属于改变网络密度类方法。

图1 Deep Compression的深度神经网络剪枝，量化和编码的示意框图。

量化技术

深度神经网络的量化技术主要可以分为两类：完整训练后量化和训练时量化。与改变密度类方法不同，量化类的方法属于改变网络多样性的方法，容易造成精度损失。
完整训练神经网络后，再执行量化类技术主要针对已完整训练的网络

https://www.zhihu.com/question/40503595