大模型竞技场的可信度，再次被锤。

最近一篇名为《排行榜幻觉》（The Leaderboard Illusion）的论文在学术圈引发关注。

它指出，如今被视为LLM领域首选排行榜的Chatbot Arena，存在诸多系统问题。比如：

大神卡帕西也站出来表示，他个人也察觉出了一些异样。

对于最新质疑，大模型竞技场官方Lmrena.ai已经给出回应：

快速刷榜不符合模型进步实际情况

具体来看这项研究，它收集了243个模型的200+万场竞技场battle，并结合私人真实测试，通过模拟实验确定了不同情况下对模型排名的影响。

主要挖掘出了4方面问题。

第一，私人测试和有选择性的结果报告。

少数大模型厂商（如Meta、Google、Amazon）被允许私下测试多个模型变体，并只公开最佳表现的版本。

比如，Meta在Llama 4发布前曾私下测试27个变体，加上多模态、代码等榜单，Meta可能一共测试过43个变体。

这种“最佳N选1”策略导致排名膨胀。

例如，当测试5个变体时，期望分数增加了约20分；当测试20个变体时，增加了约40分；当测试50个变体时，增加了约50分。

研究团队认为，当多个大模型厂商采用这种策略时，他们实际上是在相互竞争各自变体分布的最大值，而非真实的模型能力

这种排行榜的快速变化不太可能反映真实的技术进步，因为开发和完善一个全新的基础模型通常需要数月时间。

相反，这很可能是多个大模型厂商同时使用“最佳N选1”策略的结果，每个提供商都试图优化自己变体池中的最大值。

此外，团队还发现大模型厂商可以撤回表现不好的模型。

第二，数据访问不平等。专有模型获得的用户反馈数据显著多于开源模型。

Google和OpenAI分别获得了约19.2%和20.4%的所有测试数据，而全部83个开放权重模型仅获得约29.7%的数据。

第三，大模型厂商使用竞技场数据进行训练，排名可以显著提升。

第四，研究发现，许多模型被”静默弃用”（减少采样率至接近0%）。

在243个公开模型中，有205个被静默弃用，远超过官方列出的47个。这种做法特别影响开源和开放权重模型，会导致排名不可靠。

在提出问题后，研究团队还给出了5点改进建议：

这项研究由Cohere团队、普林斯顿大学、斯坦福大学等机构研究人员共同提出。

其中Cohere也是一家大模型厂商，由Transformer作者Aidan Gomez等人创办，推出了Command R+系列模型。

“竞技场不应该是唯一基准参考”

大模型竞技场诞生2年来，因为机制的特殊性，其参考价值越来越高，大厂发模型也必来这里打榜，甚至是将未发布模型提前在此预热造势。

它最大的优势在于基于人类偏好评估，用户可以在同一平台上同时运行多个聊天机器人模型，如GPT-4、ChatGPT-3.5等，并针对相同的问题或任务进行比较分析，可以更直观感受不同模型的差异。

最近一段时间，由于Llama4刷榜风波，给竞技场的可信度也造成了一定影响。

对于这篇质疑论文，官方现在已做出回应。反驳了一些问题：

至于情况到底如何，可能还要等子弹飞一会儿。

不过这倒是也给AI社区提了个醒，或许不能只参考一个榜单了。

卡帕西就给出了一个备选项：OpenRouter。

OpenRouter可以提供一个统一API接口来访问使用不同模型，而且更加关注实际使用案例。

[1]https://arxiv.org/abs/2504.20879

[2]https://x.com/karpathy/status/1917546757929722115

[3]https://x.com/lmarena_ai/status/1917492084359192890