Awesome-model-compression-and-acceleration

2018-03-19

Some papers I collected and deemed to be great to read, which is also what I’m about to read, raise a PR or issue in the git repository if you have any suggestion regarding the list, Thanks.

tensorflow 笔记

2017-12-13

Just some personal notes for tensorflow, I will sort it out once I get a time.

我校保研情况分析

2017-12-09

PR_analysis

pytorch 笔记

2017-11-06

Just some personal notes for pytorch, I will sort it out once I get a time.

c++ series - essential c++

2017-11-02

最近打算重新学一遍C++，趁着京东打折买了很多书，其中c++的有

essentizal c++
effective c++
more effective c++
effective stl
c++必知必会
applied c++

一共有六本，打算在12月前按照这个顺序大致看完，这是该系列的第一篇post《essential c++》的笔记。加油~

gluon 笔记

2017-11-01

本文为 gluon 中文教程的笔记，虽然这个教程内容上主要是推广mxnet和gluon，但是还包含了很多其他的干货，如调参，计算图，延迟执行，符号编程，GPU模型等，所以可以作为对深度学习的一个总的复习与深入。此外，里面的一些课后题目也让自己对相关模型的理解加强了很多。总之，强烈推荐。

保研小结

2017-09-29

2017年，大概是人生中成长最快，变化最多的一年。这一年，准备了三年的出国转变成了保研，最终选择了浙大；这一年，我参加了google summer of code，写了很多开源项目；这一年，我第一次去了杭州、上海、北京、广东等地，体验了祖国的繁荣；这一年，第一次到实验室、公司去实习，体验到了工作与研究生可能经历的点点滴滴；也是这一年，体验到了人生的无限选择与可能，每一条线都可能通往不同的终点。

人生无常，但行人事，未来尤可期。

NLP from scratch

2017-09-26

最近实习在学NLP，总结一下综述性的内容吧

介绍

NLP实际上可以分为5个问题

分类
匹配
翻译
结构预测
马尔科夫决策过程

以此为划分，可以解决非常多的问题

CNN模型压缩

2017-08-26

话说好久没有更新博客了，今天闲下来了，就写一篇最近要做的模型压缩的笔记好了，现在我们的需求是把现有的效果不错的模型从云端部署改成移动端离线部署，这样的话对计算的要求就很大了，所以必须要做下一步的模型压缩，我们一般需要考虑三个方面。

模型大小的压缩
模型速度的提升
模型精度的变化

近年来，关于模型小型化的算法从压缩角度上可以大致分为两类：从模型权重数值角度压缩和从网络架构角度压缩。另一方面，从兼顾计算速度方面，又可以划分为：仅压缩尺寸和压缩尺寸的同时提升速度。

本文主要讨论如下几篇代表性的文章和方法，包括SqueezeNet、Deep Compression、XNorNet、Distilling、MobileNet和ShuffleNet，也可按照上述方法进行大致分类：

Method	Compression Approach	Speed Consideration
SqueezeNet	architecture	NO
Distilling	architecture	NO
MobileNet	architecture	YES
ShuffleNet	architecture	YES
Deep Compression	weights	NO
XNorNet	weights	YES

Deep Vision-2: Neural Style

2017-04-30

近来Neural style很火, 所以Deep Vision第二篇就讲一下Neural style, 下面这张图是在这个领域方面的进展. 从2015年出来最初的简单的风格重构(速度很慢, 需要实时优化), 到2016年的就出来的fast Nerual Style, 同时这篇新的论文也探讨了其在super-resolution上的应用, 可以说这个方向的进展非常快, 并且也开始向其他的方向开始展开应用.

Deep Vision-1: Detection

2017-04-27

这篇文章作为深度视觉学习的第一篇: 目标检测. 由于算法类别比较多, 所以这篇可能比较长. 主要包含

[✔️] R-CNN (Slow)
[✔️] SPP(空间金字塔)-Net (Feature Map, SPP Layer)
[✔️] Fast R-CNN (Single SPP, End-to-End)
[✔️] Faster R-CNN (Region proposal Layer, anchor)
[✔️] YOLO (You Only Look Once)
[➖] SSD
[✔️] Selective Search (Raw)
[✔️] Non-maximum suppression (Suppress overlap)

t-SNE

2017-04-26

t-SNE在应用中主要作为数据可视化的一种手段而不作为降维的手段, 主要是因为其时间复杂度太高, 同时降维后损失的信息太多. 这篇文章主要总结一下t-SNE的笔记.

Deep Learning Series-4: GANs and VAEs

2017-04-25

GAN和VAE作为最近非常火的生成模型, 其特点在于

可以学习数据的分布.
无监督学习.

颜乐存说过，2016年深度学习领域最让他兴奋技术莫过于对抗学习。对抗学习确实是解决非监督学习的一个有效方法，而无监督学习一直都是人工智能领域研究者所孜孜追求的“终极目标”之一。

Sounds simple enough, but why do we care about these networks? As Yann LeCun stated in his Quora post, the discriminator now is aware of the “internal representation of the data” because it has been trained to understand the differences between real images from the dataset and artificially created ones. Thus, it can be used as a feature extractor that you can use in a CNN. Plus, you can just create really cool artificial images that look pretty natural to me (link).

Deep learning series-3: RNN, LSTM

2017-04-24

RNN简介

传统的CNN不能预测序列数据, 而只能对单个数据进行预测, 而RNN提供了序列数据预测的能力.

在RNN中, 一般来说我们将训练集分散为很多有限长的序列, 然后对这个序列进行训练.

Deep learning series-2: typical CNN net

2017-04-22

题外话: 一般来说工程上我们都是使用一些在ILSCVR上取得非常好的效果的现成的网络, 然后进行fine-tuning, 这是由于这些网络已经具有了很好的泛化能力, 对其他的问题也能很好的解决. 同时这些网络的参数很多都是公开了, 可以在其基础上训练自己的网络来解决自己的问题, 避免了从头开始训练, 也加快了训练一个模型的速度. 本文代码已放在github上.