推理AI模型基准测试成本激增，评估一个或需近3000美元

根据第三方AI测试机构Artificial Analysis的数据，OpenAI的o1推理模型在七种流行基准测试上的费用高达2,767.05美元，而其非推理模型GPT-4o仅需108.85美元。这一明显的成本差异引发了有关AI评估的可持续性和透明度的讨论。

推理模型能够逐步”思考”问题并找到解决方案的AI系统，在特定领域表现出色，但其基准测试成本远高于传统模型。根据Artificial Analysis的评估，约十几个推理模型的总成本高达5,200美元，几乎是分析80多个非推理模型所需成本（2,400美元）的两倍。

成本差异主要来自于推理模型生成的大量标记。例如，o1在测试中生成了超过4400万个标记，约为GPT-4o的八倍。随着基准测试的复杂性增加，评估现实世界任务的能力，以及顶级模型每单位标记成本的上升（如OpenAI的o1-pro每百万输出标记收费为600美元），独立验证这些模型的性能变得极其昂贵。

尽管一些AI实验室为基准测试机构提供免费或补贴的访问，但专家担心这可能会损害评估的客观性。General Reasoning的CEO Ross Taylor提出疑问：”从科学角度看，如果你发表了一个无法用相同模型复制的结果，那还能算是科学吗？”