Kimi与清华合作，Mooncake架构助力开源大模型，显著提升AI推理性能

在信息爆炸的时代，高效检索信息至关重要，而构建强大的检索系统并非易事，需要应对诸多技术挑战。

Kimi 团队开发的 MADSys 基础设施中，包含着 KVCache 的 Mooncake 向量检索服务，该服务将于 2024 年 6 月正式对外开放。

Mooncake 向量检索服务旨在提供媲美 PD 级别的检索性能和极致的成本效益，解决向量检索领域的实际痛点，实现大规模向量的快速检索。它能够支持单集群上亿规模的向量检索，并且适用于 Kimi 及 MADSys 基础设施的多种场景。

Mooncake 的核心竞争力在于深度整合了 KVCache 存储引擎，这得益于 Kimi 和 MADSys 团队长期积累的经验，特别是 9#AISoft、搜索和推荐等方面的技术积累，最终促成了 Mooncake 的诞生。6 月 28 日，Mooncake 的相关代码已在 GitHub 上开源。

Mooncake 向量检索方案集成了 KVCache 的存储能力，通过结合自研索引技术，实现了 KVCache 对向量检索场景的有效支持，构建出 Mooncake Store。目前，该方案已被广泛应用于各种在线检索及离线召回场景。

此外，在线向量 Transfer Engine 的相关代码也已在 GitHub 上开源。Mooncake 团队的愿景是构建一套在任何时间、任何地点都能实现低成本、高性能向量检索的基础设施，从而促进创新应用的蓬勃发展。

正如 Kimi 团队所言：“我们希望通过 MADSys 的强大基础设施，将 Mooncake 向量检索服务呈现给大家，共同构建 AI 向量检索的繁荣生态。”

Mooncake 的目标不仅在于实现高性能，更在于提供全面的工程能力，从而为 AI 基础设施领域的技术创新和生态建设贡献力量。该项目的开源将有助于推动 AI 领域相关技术的发展。

项目链接：https://github.com/kvcache-ai/Mooncake

亮点总结：

✨ Mooncake 向量检索服务由 Kimi 团队打造，专注于 AI 向量检索领域。

🔥 Mooncake 项目已在 GitHub 上开源，旨在实现低成本、高性能的向量检索。

💡 该项目的开源将为 AI 技术创新注入新的活力。