百度千帆平台3.0新版发布，沈抖称日均调用量突破7亿次

在2024年的模型部署领域，模型即服务（Model as a Service, MLaaS）3.0时代已经到来，标志着“人人可用”的愿景初步实现。通过部署加速工具，可以将大型模型部署到3个或更多的区域，支持超过700亿参数的模型推理，并且部署模型的启动时间缩短至7分钟。

值得关注的是，在模型轻量化方面，模型即服务3.0能够在更小的硬件上实现更大的模型运行。其推理性能已经可以支持数千个并发会话，涵盖了结构化知识问答、非结构化文档检索以及各种类型的生成任务。据统计，使用该方案部署的模型成本降低了90%，同时模型迭代速度也得到了显著提升。

从架构上看，该部署方案融合了检索增强生成（RAG）和代理（Agent）等先进技术，旨在推动AI模型实现“AI自主”。这意味着AI模型能够独立完成复杂任务，而模型即服务3.0为此提供了更加便捷的模型部署能力，加速了AI在各个行业的落地应用，包括对话、代码生成、数据分析等多个领域，从而实现更高效、更智能的应用体验。