苹果发布突破性4M-21全能视觉模型，支持处理21种模态数据

瑞士联邦理工学院（EPFL）的研究人员推出了一款性能卓越的视觉语言模型，命名为4M-21。这款模型在处理图像和文本相关的任务上表现出色，尤其擅长生成高质量的图像描述，并能有效理解图像内容。

这款4M模型利用先进的技术，实现了对图像和文本信息的深度理解和关联，从而在各种视觉语言任务中展现出强大的能力。它不仅能够准确识别图像中的物体和场景，还能理解图像中蕴含的语义信息，并生成自然流畅的描述性文本。此外，该模型还擅长进行视觉问答，即根据图像内容回答相关问题。

该模型通过对大量包含深度信息的图像进行训练，例如DIODE数据集（用于深度估计）、COCO数据集（包含丰富的图像和标注信息）以及3DPW3D数据集（用于三维人体姿态估计），使其能够有效理解和处理深度信息。此外，研究人员还利用高质量的RGB图像数据集对模型进行训练，例如NYUv2、Hypersim和ARKitScenes等。

以下是该研究的一些关键发现：

强大的视觉语言能力：该模型在7项视觉语言任务上表现出色，并在21项任务中取得了领先地位，充分展示了其卓越的性能和泛化能力。

优异的零样本泛化能力：该模型在处理各种任务时无需进行特定训练，例如图像标注、SAM图像分割以及场景理解等。

Tokenization（分词）：该模型采用了一种新颖的分词方法，能够有效处理不同类型的视觉和语言信息，从而提升了模型的整体性能。

模型规模：该模型具有30亿参数，且其视觉编码器的参数量仅为0.5亿。

相关资源：该研究的相关信息均已公开。

• 论文链接：https://arxiv.org/pdf/2406.09406

要点总结：

- EPFL的研究团队发布了一款名为4M-21的视觉语言模型，它在21项任务中表现出色。

- 该模型通过对多种数据集进行训练，能够有效理解和处理深度信息，并展现出强大的零样本泛化能力。

- 该模型在处理NYUv2、Hypersim和ARKitScenes等数据集时表现出色。