视觉语言模型视力测试遇挫：GPT-4o与Sonnet-3.5表现不佳，“盲人”竟是VLM？

大型视觉语言模型 (VLMs) 正在迅速发展，它们是人工智能领域中一种引人注目的存在，能够处理“看”和“说”相关的问题。但最近的研究表明，它们可能并没有我们想象的那么聪明。

简单来说，尽管大型视觉语言模型功能强大，但实际上它们可能存在视觉缺陷。这意味着，即使像 GPT-4o 和 Gemini-1.5 Pro 这样的大型视觉语言模型，在某些图像理解方面仍然存在不足，从而导致在处理视觉任务时产生意想不到的错误。因此，我们有必要重新审视大型视觉语言模型的能力。

为了验证这一观点，研究人员设计了一项名为 Blind Test 的实验，该实验涉及7个不同的测试，旨在通过具体案例揭示大型视觉语言模型的潜在缺陷。那么，这些测试能否准确地反映出大型视觉语言模型的真实水平？要理解这一点，我们需要深入研究这些 VLMs 的图像识别能力。

研究结果表明，这些测试中存在一些令人惊讶的现象：在 Blind Test 中，大型视觉语言模型的平均准确率仅为 56.20%，而表现最好的 Sonnet-3.5 的准确率也只有 73.77%。由此可见，当前大型视觉语言模型在视觉感知方面仍然存在很大的提升空间，需要进一步的改进和优化。

为什么会出现这种情况？研究人员认为，这可能是因为大型视觉语言模型在处理图像细节时，未能充分利用其视觉能力，从而导致判断失误。或许是因为某些视觉线索干扰了它们的判断，使得它们难以做出准确的决策。

从根本上说，研究人员希望通过 Blind Test 揭示大型视觉语言模型在图像理解方面的局限性，从而推动该领域的进一步发展。虽然目前大型视觉语言模型还不能完全达到 100% 的准确率，但研究人员相信，通过不断地改进和优化，它们的能力将会得到显著提升。

总的来说，研究人员希望通过实验结果证明，大型视觉语言模型在某些情况下，仍然无法准确地识别图像中的信息。因此，当评估它们在视觉方面的能力时，我们需要更加谨慎。只有这样，我们才能更全面地了解大型视觉语言模型的真实水平。

最后，我们需要思考，在这样一个人工智能技术飞速发展的时代，我们是否应该重新评估大型视觉语言模型在视觉感知方面的能力？或许，对它们进行更深入的研究和测试，才能真正发挥它们在各个领域的潜力。

论文链接：https://arxiv.org/pdf/2407.06581

项目地址：https://vlmsareblind.github.io/