阿里巴巴通义团队开源全新多模态模型R1-Omni，实现音视频信息的全透明化解读

阿里巴巴通义实验室近日开源了其最新研发的多模态模型R1-Omni。该模型融合强化学习与可验证奖励(RLVR)方法，在音频和视频信息处理方面展现出显著优势，其核心亮点在于其透明性，这使得模型决策过程中各个模态的作用更加清晰可见，尤其是在情绪识别等任务中。

R1-Omni 的发布延续了 DeepSeek R1 的研究成果，进一步挖掘了强化学习在大模型应用中的潜力。RLVR 方法为多模态任务提供了新的优化途径，能够有效处理几何推理、视觉计数等复杂任务。虽然现有研究主要集中于图像和文本的结合，但通义实验室的这项工作将RLVR与视频全模态模型相结合，拓宽了该领域的应用前景。

借助 RLVR 方法，R1-Omni 使音频和视频信息的影响更为直观。例如，在情绪识别任务中，模型可以明确指出哪些音频和视频信号对情绪判断至关重要。这种透明性不仅增强了模型的可靠性，也为研究人员和开发者提供了更深入的洞察。

在性能评估方面，通义实验室团队将 R1-Omni 与原始 HumanOmni-0.5B 模型进行了对比测试。结果显示，R1-Omni 在DFEW 和 MAFW 数据集上的性能均显著提升，平均提升超过 35%。此外，与传统的监督微调 (SFT) 模型相比，R1-Omni 在无监督学习 (UAR) 上的提升超过 10%。在不同分布的测试集 (例如 RAVDESS) 上，R1-Omni 也展现出优异的泛化能力，其加权平均准确率 (WAR) 和 UAR 均提升超过 13%。这些结果不仅验证了 RLVR 在提升模型推理能力方面的有效性，也为未来多模态模型研究指明了新的方向。

R1-Omni 的开源将为更广泛的研究人员和开发者提供便利，预期该模型将在未来应用中带来更多创新和突破。