MIT和DeepMind研究表明视觉语言模型未能有效理解否定含义

通常，视觉语言模型（VLMs）被用于理解图像，从而执行视觉问答、图像描述和常识推理等任务。这类模型的重点在于视觉和语言信息的整合与关联。

当涉及到在负面情境中进行推理时，大多数视觉语言模型仍面临挑战。这是因为在真实场景中，对图像的细致理解往往需要考虑到负面或否定信息。

为了应对这一局限，一种名为 CLIP 的模型通过学习图像和文本之间的关联，从而实现了视觉和语言的对齐。虽然这些模型在常规图像理解方面表现出色，但在处理涉及负面信息的复杂推理时，仍然存在不足。

为了提升模型在负面推理方面的性能，研究人员提出了如 CREPE 和 CC-Neg 等训练方法，旨在增强模型对图像中细微差别以及否定概念的理解。

为了评估视觉语言模型在处理否定信息方面的能力，提出了一个名为 NegBench 的基准测试。该基准旨在衡量模型在涉及负面信息的视觉推理任务中的表现。

具体而言，NegBench 基准测试包含两种主要类型的任务：涉及负面信息的图像检索（Retrieval-Neg），旨在评估模型识别不包含特定对象的图像的能力；以及多项选择题形式的负面推理（MCQ-Neg），用于评估模型在存在否定描述的情况下理解场景的能力。NegBench 提供了一系列数据集，包括 CC12M-NegCap 和 CC12M-NegMCQ，涵盖了多样化的负面情境，以便全面评估模型的性能。

通过对这些任务进行评估和分析，NegBench 旨在揭示视觉语言模型在负面推理方面的优势和不足，从而促进该领域的研究进展。评估结果显示，即使是最先进的模型，在处理负面信息时准确率也会下降，其中在多项选择题情境下，性能下降幅度高达 40%，突显了模型在理解和推理否定概念方面面临的挑战。

NegBench 的目标是通过提供用于评估视觉语言模型在负面推理方面的基准，促进更具鲁棒性和可靠性的人工智能系统的发展，从而更好地服务于现实世界的应用场景。

论文链接:https://arxiv.org/abs/2501.09425

代码链接:https://github.com/m1k2zoo/negbench

总结：  

探索视觉语言模型在处理包含否定信息的图像时的表现，这对于提升模型的实际应用能力至关重要。  

研究表明，NegBench 基准能够有效评估模型在处理涉及负面信息场景时的推理能力。  

对模型在理解否定信息方面的性能进行深入分析，有助于推动人工智能技术在实际应用中实现更可靠和精确的推理。