哪个视觉语言模型更优秀？全面评估InstructBLIP与MiniGPT-4的基准LVLM-eHub揭晓答案

文章概述

本文讨论了当前多模态视觉语言模型（LVLMs）的评估，特别是InstructBLIP与MiniGPT-4等模型的比较。通过构建评估基准LVLM-eHub，研究者对多个视觉语言模型进行了综合评估，分析了它们在不同任务中的性能与潜在问题。

研究背景

• 大型语言模型的演进：随着LLaMA、GPT-3等模型的推出，自然语言处理能力大幅提升，而GPT-4进一步扩展了图像处理能力。
• 多模态模型的兴起：BLIP2、LLaVA等模型的快速发展表明，构建强大的多模态模型已成为AI研究的共识。
• 评估问题：现有模型是否真正对齐了图像和文本模态，以及哪种模型表现更优，成为研究的焦点。

LVLM-eHub评估基准

LVLM-eHub由定量能力评估和在线互动评测平台组成：

• 在47个标准视觉语言基准数据集上评估视觉感知、视觉知识获取、视觉推理、视觉常识、对象幻觉和具身智能六类能力。

1. 定量能力评估：

• 通过众包方式进行匿名随机对战，用户在开放世界的问答场景中为模型排名。

1. 在线互动评测平台：

六类多模态能力

• 视觉感知：识别图像中的场景或物体。
• 视觉知识获取：理解图像并提取关键信息。
• 视觉推理：全面理解图像及其相关文本。
• 视觉常识：测试模型对通用人类知识的理解。
• 对象幻觉：描述与目标图像不一致的生成对象。
• 具身智能：创建人形机器人解决复杂任务。

评估方法

研究采用多种方法评估模型的能力，包括：

• 问答：设计视觉问题以确保模型生成有意义的结果。
• 基于前缀的分数：通过视觉提示让模型生成文本与图像的似然度。
• 多轮推理：利用LLM生成子问题，逐步迭代得到满意答案。
• 用户投票：人类评估生成文本的质量与相关性。

现有视觉语言模型的评测结果

对八种代表性模型（如InstructBLIP、MiniGPT-4等）进行了评测，结果如下：

• InstructBLIP在许多任务上表现优秀，但这主要是由于其在数据集上的过拟合。
• mPLUG-Owl和MiniGPT-4在接近真实场景的在线互动评测中表现相对较好。

结论与展望

尽管InstructBLIP在标准任务中表现出色，但其在真实场景中的泛化能力较差，显示出过拟合的问题。研究者指出，虽然更大规模的指令微调数据集能够提升模型性能，但如何构建更强大且更广泛通用的视觉语言模型仍然是一个挑战。未来的研究需要关注模型的泛化能力和真实世界应用的有效性。