ViDoRAG

ViDoRAG是由阿里巴巴通义实验室与中国科学技术大学、上海交通大学共同开发的视觉文档检索增强生成框架。该框架利用多智能体协作及动态迭代推理技术，克服了传统方法在处理复杂视觉文档时面临的检索与推理的局限性。ViDoRAG通过高斯混合模型（GMM）实现多模态混合检索策略，能够动态调整检索结果的数量，从而优化文本与视觉信息的整合。该框架包括三种智能体：Seeker、Inspector和Answer，分别负责快速筛选、详细审查和最终答案的生成，通过迭代交互逐步提升答案的质量与一致性。ViDoRAG在ViDoSeek基准数据集上的表现显著优于当前的方法，平均性能提升超过10%，展示了其在视觉文档检索与推理任务中的高效性和优越性。

ViDoRAG的主要功能包括多模态检索、动态迭代推理、复杂文档理解、生成一致性保障和高效生成等。其中，多模态检索结合视觉与文本信息实现精准的文档检索，动态迭代推理通过多智能体协作逐步细化答案，提升推理的深度与准确性，复杂文档理解支持单跳与多跳推理，能够处理复杂的视觉文档内容，生成一致性保障通过Answer Agent确保最终答案的准确性与一致性，高效生成动态调整检索结果的数量，降低计算负担，提升生成效率。

ViDoRAG的技术原理主要包括多模态混合检索、动态迭代推理框架、粗到细的生成策略、推理能力激活和动态检索长度调整。多模态混合检索结合文本和视觉检索结果，动态调整检索结果的数量；动态迭代推理框架包含Seeker Agent、Inspector Agent和Answer Agent，实现从粗到细的生成过程；粗到细的生成策略从全局视角出发，逐步聚焦于局部细节；推理能力激活基于迭代推理与多智能体的协作；动态检索长度调整基于GMM动态调整检索结果数量，提升检索效率与生成质量。

ViDoRAG的应用场景包括教育领域、金融行业、医疗健康、法律行业和企业知识管理等领域。ViDoRAG通过其技术优势在复杂视觉文档处理中显著提高效率和准确性。适用于各种类型的文档，包括教育材料、财务报告、医学文献和法律文件。用户可通过GitHub仓库和arXiv技术论文获取相关资源和文档。