近年来，网络结构搜索（NAS）在自动化设计神经网络结构方面取得了巨大成功，并成为了模型优化领域不可忽视的重要研究课题。通过减轻人们设计和调优模型结构的负担，以及相较于人工设计的网络结构性能提升，NAS已经成为深度学习中非常重要的一个领域。

最近，地平线-华中科技大学计算机视觉联合实验室提出了一个新的Differentiable NAS方法——DenseNAS，该方法可以搜索每个block宽度和对应空间分辨率。本文将从简介、对于网络规模搜索思路、实现方法以及实验结果等方面详细解释DenseNAS这一新的网络结构搜索方法。

论文地址：https://arxiv.org/abs/1906.09607

代码地址：https://github.com/JaminFong/DenseNAS

DenseNAS简介

尽管很多以往工作依赖于很大的计算代价，但Differentiable NAS通过构建包含所有要搜素结构的超级网（super network）极大减少了这个成本。然而，这种传统不同iable NAS方法难以处理宽度（通道数）的搜索，因为将不同宽度集成到一个超级网中很困难。在本论文中，我们提出了一种新的不同iable NAS方法——DenseNAS，它能够解决这个问题。

我们通过构建一个密集连接的搜索空间来实现这点。在我们的设计中，每个block之间相互连接，可以根据其转移概率进行优化，以选取最优路径。这种方式使得 DenseNA 的灵活性更强，可以同时进行宽度、下采样位置和全局深度（包括每个block内层数及block数量）的搜索。在ImageNet上，得到的模型仅需23小时即可达到75.9%精确率，同时具有低延迟性能。

应用潜力与未来展望

由于其更高灵活性的潜力，大多数特定场景数据、高性能需求或特定设备部署都可以使用(Dense)NA 进行适当调整。此外，对于敏感于scale方向任务，如检测或分割任务也能提供更多选择。

总结而言，不同元素被纳入到不同的search space 中，有助于降低工程师所承受的心智负担。而不同的search strategy 选择则影响到了整个过程效率与效果。在未来，一些关键技术需要进一步发展，比如如何有效地结合其他optimization methods 来提高search process 的效率。此外，还有许多其他可能被纳入到 search space 中的一些元素尚未探索，比如参数初始化策略或者特殊操作类型等。