# 研究现状和存在问题 目前 AutoML 和 neural architecture search(NAS) 在剪枝领域的应用异常火爆，但是作者指出目前的自动剪枝要么依赖于**强化学习**（reinforcement learning）要么依赖于**进化算法**（evolutionary algorithm）。**这些算法不具有可微性，所以需要较长的搜索阶段才能收敛**。 本文为了解决这个问题，提出了新的**基于超网络的可微剪枝方法**，用于自动进行网络剪枝。
## **具体做法**： 设计一个额外的**超网络**（hypernetwork），该超网络在初始化之后，训练后的**输出作为骨干网（backbone network）的权值参数**。
而骨干网络的输出（文中称为潜在向量，latent vector）在 **一范数正则化**和**近端梯度求解**后，得到**稀疏潜在向量**，**超网络将前后两层 $z^{l-1}、z^{l}$ 的稀疏潜在向量作为超网络的输入**，训练之后的输出作为**后一层 $z^{l}$ 新的权值参数**。相较于上次权值参数，相应的切片被去除，达到了网络剪枝的效果。
> 可微性来自为剪枝定制的超网络和近端梯度
# 1、介绍 随着AutoML和neural architecture search (NAS)的出现[63,8]，出现了一个新的网络剪枝趋势，即使用自动算法并针对不同的子架构进行剪枝。其中，强化学习和进化算法成为常用的选择[19,40]。其**核心思想是在所有可能的选择(进化算法术语中的种群)中搜索特定的细粒度分层区别配置**。搜索阶段结束后，在预算受限的情况下，选择最优网络预测精度的候选算法。
>A promising solution to this problem is endowing the searching mechanism with differentiability or resorting to an approximately differentiable algorithm. This is due to the fact that differentiability has the potential to make the searching stage efficient。 一个有希望的解决方案就是**赋予搜索机制可微性或近似可微**，这会使得搜索阶段变得高效。NAS 就是具有可微性的一种方案，但是早期过于耗时。后来的**可微结构搜索（Differentiable architecture search）**大大减小了GPU消耗时间。
> Another noteworthy direction for automatic pruning is brought by MetaPruning [40] which introduces hypernetworks [13] into network compression .... ... 另一种解决思路是 **MetaPruning**，它将**超网络引入到网络压缩**中。**超网络的输出被作为骨干网络的的参数；在训练过程中，梯度会被反向传播到超网络**。这种方法属于meta learning 因为超网络中的参数是骨干网络参数的元数据（meta-data）。本文的方法属于MetaPruning。
![]