IBM发布20亿参数视觉语言模型Granite-Vision-3.1，高效解析复杂视觉文档

目前，多模态模型在理解图像方面的表现参差不齐，与人类的认知能力相比仍存在差距。为了提升模型的图像理解能力，开发者们正致力于研发更强大的视觉模型，以期在各种视觉任务中取得更好的表现。

Granite-Vision-3.1-2B 旨在成为一个卓越的视觉模型，尤其擅长处理视觉问答、图像字幕和图像分类等任务。该模型通过精确识别图像中的对象和场景，能够深入理解图像内容，并为用户提供更准确和全面的信息。

这款模型有三个显著的亮点：首先，它采用了 SigLIP 视觉编码器和用于多层感知机（MLP）激活函数的 GELU 激活函数，从而提升了模型的性能；其次，作为 Granite 视觉模型系列的一部分，Granite-3.1-2B-Instruct 拥有 128k 的超长上下文窗口，能够处理更长的输入序列，并捕捉图像中更丰富的细节信息。

在功能方面，Granite-Vision-3.1-2B 借鉴了 LLaVA 的优势，集成了视觉问答功能，并且支持 AnyRes 特性，允许模型在不同分辨率的图像上进行推理。此外，该模型还具备处理复杂视觉场景的能力，例如，能够识别图像中的文本信息，并执行光学字符识别（OCR）任务，从而更好地理解图像的内容。

在特定任务的性能方面，Granite-Vision-3.1-2B 在图表问答（ChartQA）任务中表现出色，其准确率达到了 0.86，超过了其他 1B-4B 参数规模的模型。在文本视觉问答（TextVQA）任务中，该模型的准确率达到了 0.76，并且在需要复杂推理和常识知识的任务中表现出了强大的实力。这些结果表明，该模型在理解图像内容和执行视觉任务方面具有显著的优势。

IBM 的 Granite-Vision-3.1-2B 模型是视觉模型领域的一项重要进展，它为开发者们提供了一个强大的工具，可以用于构建各种视觉应用。该模型不仅性能出色，而且易于使用，支持 LoRA 和 vLLM 等技术，使得开发者可以更加灵活地部署和定制模型。此外，该模型还可以在 Colab T4 环境中运行，这意味着即使没有高性能的硬件设备，开发者也可以轻松地体验到先进的 AI 视觉模型的能力。

模型链接：https://huggingface.co/ibm-granite/granite-vision-3.1-2b-preview

要点总结：

✨ Granite-Vision-3.1-2B 是 IBM 推出的一款强大的视觉模型，旨在提升图像理解和视觉任务处理能力。

⭐ 该模型集成了先进的视觉编码器、激活函数和超长上下文窗口，能够提供卓越的性能和丰富的信息捕捉能力。

⛳ 在图表问答和文本视觉问答等任务中表现出色，并且能够处理复杂的视觉场景和执行光学字符识别任务。