深入探究MLPerf Inference v0.5的初步成绩：芯片巨头展现实力，争夺推理性能冠军

自成立之初，MLPerf组织就致力于打造机器学习领域的基准测试。为了确保处理器基准测试能与CPU同等重要，组织成功吸引了包括英特尔、NVIDIA、谷歌和百度在内的行业巨头参与。尽管MLPerf v0.5仍处于初始阶段，但其成果已引发业界广泛关注。

6月份，该组织发布了第二个基准测试集MLPerf Inference v0.5，这是专门用于衡量各种加速器执行训练后神经网络速度和程度的推理性能标准。在发布四个月后，MLPerf终于公布了首个官方结果。

尽管v0.5版本目前仅涵盖五个网络/基准，并未包含功耗测试指标，但它已经吸引了主要芯片公司提交近600份结果。这不仅超出了非正式预期，还证明了行业对MLPerf期待以及推理芯片市场数十亿美元潜力的快速增长。

随着第一轮申请工作完成，MLPerf现在发布Inference v0.5的官方结果，同时，大多数主流芯片公司也开始发布相关公告或新闻稿。这些成果分布在40种不同的测试中，每家公司都可以找到自己的成功方案，无论是在总吞吐量、延迟还是每个加速器吞吐量上。

更新显示v0.5分为五个基准，其中两个是移动衍生产品。当前桌面/服务器版本涵盖图像分类（ResNet50）、对象检测（ResNet34）和机器翻译任务（GNMT）。所有基准提供四种方案：单路、多路、服务器和离线，以及封闭分区和开放分区两种“分区”模式，以评估不同类型硬件解决方案。

深入分析结果，我们看到除了CPU和GPU外，还有FPGA、DSP和专用ASIC等各类处理器都参与其中。大型代表团队包括NVIDIA GPU、Google TPU、中兴 CPU 加速器及Habana Labs Goya加速器。此外，即使在封闭条件下，也出现了一些意外表现者，如Raspberry Pi 4 和阿里巴巴含光800加速器。

虽然缺少功耗测量意味着目前无法评估能效，但几乎每家芯片公司都能够在某些类别中取得领先地位。在离线测试中，我们看到了Google从1 TPUv3到32的扩展性极好表现；NVIDIA Tesla加速器在部分测试中名列前茅；英特尔以其CPU占据榜首；而高通骁龙855则在SoC层面表现出色。

值得注意的是，这些早期版本还需完善并优化，以添加更多网络类型，如语音识别任务，以及进行功耗测量，以便每个人都能看到他们设计效率，因为电源效率通常是大规模部署规划中的关键考虑因素。此外，对于客户来说，他们希望进展更快，因此这次初步成绩为他们提供了解决未来挑战所需优化空间以及新硬件设计灵感的地方。

最后，从长远来看，在未来几年内，MLPerf Inference将趋向成熟，这意味着该标准将更加稳定并且易于使用。此前，有评论表明，将开发移动应用程序以便更快地对智能手机等设备进行测试，并且我们期待桌面版情况也会变得越来越完善。如果运气好的话，不久之后，我们将能够将这些基础转换为有意义的数据，以比较消费级硬件，为激动人心时刻做准备！