在雷锋网 AI 科技评论的关注下，近年来网络结构搜索（NAS）领域取得了显著进展，自动化设计神经网络结构成为了模型优化的一个关键研究方向。不同于人工设计所需的时间和精力投入，搜索出的模型性能有望获得提升。

地平线-华中科技大学计算机视觉联合实验室最近提出了一个新颖的 Differentiable NAS 方法——DenseNAS，它能够在不增加太多计算复杂度的情况下，对每个 block 的宽度和对应空间分辨率进行搜索。本文将详细介绍 DenseNAS 在简介、网络规模搜索思路、实现方法以及实验结果等方面。

论文地址：https://arxiv.org/abs/1906.09607

代码地址：https://github.com/JaminFong/DenseNAS

DenseNAS 简介

传统 NAS 方法虽然成功减少了神经网络设计过程中的劳动强度，但其大部分工作仍然依赖于大量计算资源。此类方法通过构建包含所有可能要搜索结构的超级网络（super network），极大缩短了搜索成本。然而，由于这些方法难以处理不同宽度或深度的问题，因此我们提出了一种新的 Differentiable NAS 方法——DenseNAS，该方法可以高效地在连续空间中搜寻每个 block 的宽度与对应空间分辨率。

DenseNAS 使得网络结构更加灵活，不仅可以进行宽度选择，还能同时探索下采样位置和全局深度。在 ImageNet 上，该方法得到了具有较低 latency 和75.9% 精确率的模型，这整个过程只需23小时即可完成。这种更高灵活性的潜力还能应用于特定场景数据、性能速度需求或者特定设备部署上述任务，如检测或分割等任务。

关于 NAS 搜索元素梳理

随着技术发展，自动化设计神经网络已经成为一种趋势，并且许多当前使用的人工智能系统都基于这项技术。各种不同的算法如增强学习（RL）或者进化算法（EA）的结合，使得广泛范围内的操作类型都可以被有效地进行优选。而对于调整整体尺寸这样的问题，现有的解决方案通常是离散操作，而非连续变化，从而限制了它们能够提供给用户更多自由性。

针对这个挑战，我们提出了一种新的思路，即密集连接架构，这使得我们能够在单一层次上直接探索不同尺寸，并且避免过多冗余。这一点与传统 DenseNet 结构相比，更为独特，因为它允许选择最合适增长路径并保持最终生成图形简单明确，同时也减少计算开销，以便更快地迭代测试不同配置组合以找到最佳解决方案。

此外，与其他基于 Differentiable NAS 的策略相比，我们利用 softmax 归一方式来赋予每个候选操作一个概率值，从而根据预设目标参数优化其权重。这意味着我们的算法不仅会考虑到输出准确性，还会考虑到实时运行效率，为用户提供更好的交互体验。此外，我们还采用 Viterbi 算法来确定哪些块应该被包含在最终图形中，这进一步提高了整体效率并降低了需要训练期间所需时间量。

总结来说，本文讨论了一种名为 DenseNAS 的新型 Differentiable Neural Architecture Search 技术，它通过创建一个密集连接的超级网络来促进高质量、高效益的人工智能系统开发，同时保留同样的灵活性和可扩展性。这项技术展示出，在实际应用场景中，可以轻松找到既满足业务需求又保证实时响应能力的小巧、高性能的人工智能解决方案，无论是在分类、检测还是其他相关领域都是如此。