近年来，网络结构搜索（NAS）在自动化设计神经网络结构方面获得了较大的成功，也成为模型结构优化领域不可忽视的重要研究课题。NAS 不仅减轻了人们设计、调优模型结构的重重负担，而且相较于人工设计的网络结构，搜索出的模型性能有了进一步提升。

最近，地平线-华中科技大学计算机视觉联合实验室提出了一个新颖的 Differentiable NAS 方法——DenseNAS，该方法可以搜索网络结构中每个 block 的宽度和对应的空间分辨率。本文将会从简介、对于网络规模搜索的思路、实现方法以及实验结果等方面诠释 DenseNAS 这一新的网络结构搜索方法。本文已获得地平线公众号许可进行转载。

论文地址：https://arxiv.org/abs/1906.09607

代码地址：https://github.com/JaminFong/DenseNAS

DenseNAS 简介

DenseNAS 极大推进了神经网络架构设计的发展，但很多以往工作依然需要很大的计算代价。Differentiable NAS 通过在连续空间上构建一个包含所有要搜寻到的架构的一整体超级网（super network），极大地减少了搜寻代价，但事实上，有很少 Differentiable 的方法能够搜寻到宽度，即通道数，因为按照传统 Differentiable NAS 的方式，将不同宽度的大量架构集成到一个 super network 中是非常困难的事情。在本篇论文中，我们提出了一种全新的 Differentiable NAS 方法——DenseNAS，该方法可以搜寻每个 block 的宽度和对应的一系列空间分辨率。我们通过创建一个密集连接的一个完整超级网来实现这个目的。在我们的设想之下，每个拥有不同宽度和不同的空间分辨率的大量 block 之间相互连接，在整个搜寻过程中，对这些块之间转移概率进行调整，从而选择出最好的路径。DenseNAS 让得整个架构搜寻更为灵活，同时也能适用于特定场景数据中的特殊架构、特定性能速度需求或特定设备部署，因为它具有更大的弹性，可以用作敏感于 scale 变化方向，如检测或切割等任务。

至今为止，在 ImageNet 上运行时，只需低延迟就能达到75.9%准确性，并且只需要23小时便完成整个搜查过程，这表明 DenseNA