SqueezeNet:AlexNet准确率,50x模型压缩

作者DjangoPeng

近年来,CNN模型在ImageNet图像分类任务上赚足了眼球。从最早的AlexNet、Inception、VGG,到后来的Network-in-Network、GoogleNet、ResNet等,国内外的研究学者们一直在刷新着准确率,今年我们能够看到AI已经在该任务上超越了人类(5%)的准确率。但是,从工业界应用场景来看,上述网络普遍存在模型大,训练时间长的问题。以Tesla自动驾驶车为例,每一次升级都需要把模型从服务器下载到自动驾驶车(Over-the-air),这对带宽和网络的要求极高。

因此,学术界又涌现出一大批模型压缩的文章,从最简单的SVD,到模型剪枝(Pruning)和量化(Quantization)都取得了不错的效果。2017 ICLR的一篇论文SqueezeNet在不影响准确率的情况下,能够取得50X倍的压缩效果,并提出了系统级(System-level)端到端(end-to-en)的SqueezeNet Macroarchitecture。本文主要介绍SqueezeNet的原理和实验结果

Read More

Python 进阶系列2:面向对象编程

.

Python作为一门流行的编程语言,广受程序员与数据科学家的喜爱。如今的Python拥有丰富的第三方库和良好的生态发展,使其能够在数据科学、人工智能、web等各领域获得广泛的支持。Python进阶系列旨在分享一些Python的高级特性,如Lambda表达式、元类(metaclass)的使用、类(class)和类型(type)的统一、经典类与新式类区别与应用等。*

作者:DjangoPeng

Object

在学习和使用Python的过程中,应该有不少人都听过这句话:

”Everything is object!”

在Python的面向对象编程中,Object是最为核心的部分。今天,我想通过剖析Python Object的构造过程和组成原理,对比Python与Java/C++等在Object实现上的区别。

Read More

Python 进阶系列1:lambda函数与高阶函数

.

Python作为一门流行的编程语言,广受程序员与数据科学家的喜爱。如今的Python拥有丰富的第三方库和良好的生态发展,使其能够在数据科学、人工智能、web等各领域获得广泛的支持。Python进阶系列旨在分享一些Python的高级特性,如Lambda表达式、元类(metaclass)的使用、类(class)和类型(type)的统一、经典类与新式类区别与应用等。

作者:DjangoPeng

lambda函数

在计算机编程中,匿名函数(anonymous function)是指一类无需定义标识符(函数名)的函数子程序,普遍存在于多种编程语言中。1958年LISP首先采用匿名函数,自此之后,越来越多编程语言陆续采用,如C++、Java、Python。

Read More

升级系统glibc 指导文档

注意:升级系统的glibc 库是一件风险极高的操作,升级失败会导致系统崩溃和数据丢失。请再次确认是否有其他的代替升级GLIBC的解决方案。

本文档以RHEL 6.4 (glibc 2.12)为例,将系统GLIBC升级至2.14。

1.查看系统glibc版本

1
2
$ ll /lib64/libc.so.6
lrwxrwxrwx. 1 root root 12 Oct 28 19:18 /lib64/libc.so.6 -> libc-2.12.so

Read More

神经网络语言模型-NNLM

作者:一个独行的程序员

Bengio 2003年的NNLM可谓是神经网络语言模型的开山之作,并且为后来的RNNLM、Word2Vec、NMT等提供了思路,为DL4NLP打下了坚实的基础。

语言模型

通俗的说,语言模型就是判断一句话像不像是人说出来的。
形式化的定义,语言模型是借由一个概率分布,试图用概率p(s)来表示字符串s作为1个句子出现的频率:

$$
p(s) = p(w_1,…w_m)
$$

Read More

神经网络模型

作者:一个独行的程序员

神经网络中决定一个模型好坏的因素就是参数W,b,而后向传播过程就是通过计算Loss相对w或b的偏导数来不断更新参数的过程。本文简要介绍神经网络模型,详细的解释了后向传播原理

神经网络模型

在机器学习和认知科学领域,人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。现代神经网络是一种非线性统计性数据建模工具。

Read More

机器学习算法-Logistic Regression

作者:一个独行的程序员

逻辑回归(Logistic Regression)是一种简单的分类模型,由于其高效而又简单的特性,在实际中取得了非常广泛的应用。本文主要关注逻辑回归的应用场景和数学原理,并对其在多分类问题上的扩展做了简要介绍。

逻辑回归

问题

在实际生活中,我们常常会遇到很多“二选一”的问题。如:

  • 预测用户是否喜欢某推荐商品
  • 判断用户性别
  • 预测球赛的获胜队

在处理以上这些二分类问题时,逻辑回归成了我们的一把利器。通常这类问题的处理步骤为:

Read More