汽车社会：探索密集连接搜索空间中的高灵活度网络结构——DenseNAS最新资讯
在自动化设计神经网络结构的领域，近年来网络结构搜索（NAS）技术取得了显著进展。通过减少手动设计模型架构的负担并提升性能，NAS已成为优化模型结构的重要研究课题。最近，一项名为DenseNAS的新方法由地平线-华中科技大学计算机视觉联合实验室提出，它可以在连续空间中搜索每个块的宽度和对应的空间分辨率。
DenseNAS简介
传统Differentiable NAS方法虽然能够极大减少计算成本，但通常难以处理宽度（即通道数）的搜索，因为将不同宽度的结构整合到一个超级网络中很困难。在DenseNAS中，我们采用了密集连接的搜索空间策略，使得不同宽度和空间分辨率的块之间相互连接，从而实现了宽度和深度（包括每个块内层数以及块数量）的同时搜索。
论文与代码地址
论文地址：https://arxiv.org/abs/1906.09607
代码地址：https://github.com/JaminFong/DenseNAS
DenseNAS优势
与其他基于增强学习或进化算法进行广泛研究的人工智能方法相比，DenseNAS具有更高灵活性，可以应用于特定场景数据、性能要求、速度需求以及特定设备部署。此外，由于其在搜索空间上的弹性，更适用于对规模敏感任务，如检测、分割等。
如何工作？
密集连接构建
我们的方法将整个搜索过程划分为层次，每个层包含各种操作候选项，并且引入skip connection用于深度搜索。
连续性松弛
对于每个候选操作，我们赋予它一个参数，然后通过加权求和得到输出。
搜索算法
我们使用两个阶段优化过程，其中第一个阶段只优化操作权重，而第二阶段交替优化操作权重和结构参数，最终导出最优路径。
实验结果显示，在ImageNet上，利用DenseNAS获得模型仅需23小时便能达到75.9%精确率，这进一步证明了该方法效能，同时也展示了其在实际应用中的潜力。
