深入探究MLPerf推理基准测试的初步成绩，科技界巨头们展现了强大的实力。自去年初成立以来，MLPerf组织不断完善其机器学习性能评估体系，吸引了包括英特尔、NVIDIA、Google和百度在内的众多知名企业参与其中。尽管MLPerf Inference v0.5版本仍处于初级阶段，但它已经成为衡量各种加速器和系统执行训练后的神经网络速度和效率的重要工具。
在6月份，该组织发布了第二个基准测试集MLPerf Inference v0.5，它涵盖了图像分类、对象检测和机器翻译等任务，并提供四种不同的运行方案：单路、多路服务器以及离线模式。这不仅为用户提供了更全面的性能评估，还促进了硬件制造商之间激烈的竞争。
近600份结果提交给MLPerf，这一数字远超预期，显示出行业对此新标准的高度期待。在这次测试中，不仅有CPU和GPU，还有FPGA、DSP以及专用ASIC等各类处理器都参与其中。即使在封闭分区，也出现了一些意外之星，如Raspberry Pi 4和阿里巴巴的含光800加速器。
虽然目前还没有功耗测试数据，因此无法全面评价能效，但从这些初步成绩来看，每个芯片公司都有机会在某些方面脱颖而出。在离线测试中，我们看到Google TPUv3到32几乎无缝扩展，而NVIDIA Tesla加速器也取得了一些显著成果。此外，英特尔在CPU领域表现优异，而高通骁龙855则在SoC层面展示出了强大的潜力。
尽管这只是一个起点，但对于芯片公司来说，这是一个了解自己位置并为未来的挑战做准备的大好时机。此外，由于该基准测试将逐渐成熟，我们可以期待未来能够更容易地使用它进行消费级硬件比较。随着技术不断进步，我们相信不久之后，就能将MLPerf推理应用到我们的日常生活中，从而获得更加精确且可信赖的性能评估结果。
