北大团队发布多模态模型 LLaVA-o1，其推理能力与 GPT-o1 相当！

近日，北京大学推出了一款名为 LLaVA-o1 的开源视觉语言模型，旨在缩小与更大模型的性能差距，特别是 GPT-o1。

该模型基于 Llama-3.2-Vision 模型，利用包含大量合成数据的指令调整方法，并且只使用了 11B 参数规模的检查点，其性能可与 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct 等大型模型相媲美。

LLaVA-o1 基于 Llama-3.2-Vision 架构，并采用了 “视觉聊天” 的指令调整策略，旨在提升模型在处理复杂视觉推理和详细描述场景方面的能力，从而改善整体性能。

在模型对齐和指令遵循方面，LLaVA-o1 的性能比基础模型提高了 8.9%。该模型的优势体现在多个方面，例如：多轮对话、复杂推理和细粒度识别。在这些任务中，该模型能够生成更准确、更相关的答案，表明 LLaVA-o1 在理解和生成详细视觉信息方面具有显著优势。

例如，当被问及 “图中有什么不寻常的交通工具和结构？” 时，LLaVA-o1 能够识别出具体的交通工具，并提供额外的背景信息，从而增强了实用性和相关性。这些改进增强了模型在各种实际应用中的对话能力。

总而言之，LLaVA-o1 在视觉理解方面取得了显著进展，尤其是在处理复杂的视觉推理任务时。该模型在指令遵循方面表现出色，并且能够胜任更高级的推理任务，同时也为开源社区贡献了宝贵的资源，有助于推动更大规模视觉语言模型的发展。

该项目旨在利用开源 AI 的力量，提供更高效的视觉语言模型解决方案，从而促进学术研究和实际应用。凭借其卓越的性能、强大的指令理解能力以及全面的合成数据生成流程，LLaVA-o1 有望成为多模态社区的重要组成部分。

论文：https://arxiv.org/abs/2411.10440

GitHub:https://github.com/PKU-YuanGroup/LLaVA-o1

总结:

☀️ LLaVA-o1 是一款由北京大学推出的开源视觉语言模型，它显著提升了 “视觉聊天” 的性能。

📈 该模型在对齐指令和遵循指令方面的性能提升了 8.9%。

🔍 LLaVA-o1 在准确识别相关对象方面表现出色，有助于进行更深入的视觉分析。