作者:DjangoPeng
近年来,CNN模型在ImageNet图像分类任务上赚足了眼球。从最早的AlexNet、Inception、VGG,到后来的Network-in-Network、GoogleNet、ResNet等,国内外的研究学者们一直在刷新着准确率,今年我们能够看到AI已经在该任务上超越了人类(5%)的准确率。但是,从工业界应用场景来看,上述网络普遍存在模型大,训练时间长的问题。以Tesla自动驾驶车为例,每一次升级都需要把模型从服务器下载到自动驾驶车(Over-the-air),这对带宽和网络的要求极高。
因此,学术界又涌现出一大批模型压缩的文章,从最简单的SVD,到模型剪枝(Pruning)和量化(Quantization)都取得了不错的效果。2017 ICLR的一篇论文SqueezeNet在不影响准确率的情况下,能够取得50X倍的压缩效果,并提出了系统级(System-level)端到端(end-to-en)的SqueezeNet Macroarchitecture。本文主要介绍SqueezeNet的原理和实验结果