在雷锋网 AI 科技评论的关注下，网络结构搜索（NAS）技术最近取得了显著进展。特别是地平线-华中科技大学计算机视觉联合实验室提出的DenseNAS方法，其在自动化设计神经网络结构方面展现出了更高的灵活性和应用潜力。本文将详细介绍DenseNAS的工作思路、实现方法以及其在ImageNet上的实验结果。
首先，通过构建一个密集连接的搜索空间，DenseNAS能够同时搜索网络中的每个block宽度和对应的空间分辨率。这使得模型结构设计过程更加灵活，同时也能适应特定场景数据、性能需求以及设备限制。此外，该方法还能够优化全局深度，即不仅考虑单个block内层数，还包括整个网络中的block数量。
接下来，本文会探讨如何构建这个密集连接的搜索空间。这里面包含了层次划分，其中每个layer包含各种操作候选项，每个block由头层和堆叠层组成，并且每个块都有自己的宽度和对应空间分辨率。在这个框架下，我们可以进行更为精细的地面上的操作选择，而不是简单地依赖于预设好的宽度设置。
为了解决基于Differentiable NAS宽度搜索的问题，我们采用了一种连续可操作的空间来映射整个搜索空间。这意味着我们不再需要像以前那样整合所有可能规模到一个超大网络中，而是可以通过一种类似于路径选择的问题来进行优化。这种方式允许我们不仅能有效地控制模型宽度，还能根据不同的任务需求调整下采样位置及全局深度，从而进一步提升模型性能。
最后，本文将展示DenseNAS如何利用Viterbi算法来导出最终结构，以及它如何通过多目标优化同时考虑准确性和延迟。在实际应用中，这种能力使得DenseNAS能够生成既具有高性能又适用于不同硬件环境下的模型，使其成为未来AI领域研究的一个重要方向。
