在社会的快速发展中，密集连接搜索空间下的高灵活度网络结构搜索（DenseNAS）正在引领化妆品行业的最新资讯革新。近年来，网络结构搜索（NAS）已经取得了显著的成就，不仅极大地减少了设计和优化模型结构的负担，而且相比于人工设计出的网络结构，其性能有了进一步提升。

最近，一项名为DenseNAS的创新方法由地平线-华中科技大学计算机视觉联合实验室提出。这一方法能够搜索每个模块（block）的宽度和对应的空间分辨率。在这篇文章中，我们将详细介绍DenseNAS，这一新的网络结构搜索方法。该文已获得地平线公众号许可进行转载。

论文地址：https://arxiv.org/abs/1906.09607

代码地址：https://github.com/JaminFong/DenseNAS

DenseNAS简介

通过Differentiable NAS，可以极大地减少网络架构设计中的计算代价，但传统Differentiable NAS难以处理宽度（即通道数）的搜索问题。在本文中，我们提出了一个新颖的Differentiable NAS方法——DenseNAS，该方法可以实现每个block宽度和空间分辨率的同时搜索。我们通过构建一个密集连接的超级网络来实现这一目的，在这个超级网络中，具有不同宽度和空间分辨率的一组block之间相互连接。

在ImageNet上，基于DenseNAS得到的一个模型以较低延迟取得了75.9% 的准确率，而整个搜寻过程仅需4块GPU即可完成23小时。这使得.DenseNASe拥有更大的应用潜力，可以用于特定场景数据、特定性能需求以及特定设备部署等领域，其灵活性也适合于对scale敏感任务如检测、分割等。

如何理解与使用这些技术元素？

神经网路架构设计是深度学习研究中的重要部分，其中Network Architecture Search (NASA) 在自动化神经网路架构方面取得了一定的成功。许多NASA产生的人工智能模型表现出优于手动创建模型的情况。此外，它还减轻了工程师们在创造、调整这些模型时所承受的心智负担。

随着时间推移，对哪些元素可以被搜寻，以及如何进行搜寻都变得越来越复杂。以前很多工作专注于操作类型，如MBConv，但对于规模（如宽度和深度）的探索则不够直接。一种基于增强学习或进化算法的事务性解决方案可以轻松处理这种问题，但它们通常需要大量计算资源。而不同的差异化算法能用很小数量单位完成高效但难以处理尺寸的问题，因为他们依赖于包含所有可能结果的大型超级系统，并且需要整合不同大小模式到其中去。

为了解决这些挑战，我们提出了一种新的差异性的算法称为"DENSE"，它允许我们根据需要改变每个单元层次内各个候选操作权重，然后将输出加权求平均值。这是一个连续可操作的地图，以便我们能够从离散范围内选择最好的路径并导出最终结果。这使得整个过程更加灵活，同时允许我们同时探索下采样位置全局深度以及其他因素，这增加了我们的自由程度，使其适用于各种具体情况要求不同的实例，也让它成为一种非常有用的工具，无论是在分类还是检测任务上都能提供更好的结果。