研究人员开源Sky-T1推理模型，训练成本仅需450美元

近日，上海人工智能实验室发布了 Sky Computing Lab 研发的 Sky-T1-32B-Preview 模型，这是一个具有杰出性能的开源大型语言模型，旨在推动开放人工智能的创新发展。该模型在多个 AI 基准测试中表现出色，与 OpenAI 的 o1 模型相媲美。

Sky-T1 的预训练语料库规模庞大，包含 4500 亿个 token，这使得它能够处理各种复杂的自然语言处理任务，并展现出强大的通用知识和推理能力。相较于其他 4500 亿 token 规模的模型，Sky-T1 在性能上更具优势，是一款卓越的基础模型。此外，它还支持长文本处理，可以轻松应对长篇文章的需求。通过使用高质量的训练数据，Sky-T1 的性能得到了显著提升。与 AI 领域的 Palmyra X004 等知名开源模型相比，Sky-T1 的训练数据量更大，达到了 700 亿个 token。

除了在常见 AI 任务上的优异表现，该模型还在一些具有挑战性的领域展现出强大的潜力，例如解决复杂的数学问题。该模型能够理解不同领域的专业知识，可以胜任诸如代码编写、文本创作等多种任务，并且能够生成高质量的内容。从知识问答、代码生成到创意写作，都能轻松胜任。此外，该模型还具备强大的泛化能力。

NovaSky 团队还推出了另一款杰出的开源模型 —— QwQ-32B-Preview，它基于 Sky-T1 的卓越架构，并在其基础上进行了精细的优化。部分研究者将其视为 OpenAI 的 GPT-4o-mini 模型的有力竞争者，并认为它在特定任务上展现出了超越前者的能力。Sky-T1 采用 320 亿参数，在 19 天内，使用 8 块 Nvidia H100 GPU 完成训练。该模型在训练效率和模型性能之间实现了良好的平衡。

根据 NovaSky 团队的评估，Sky-T1 在 MATH500 等多个基准测试中都取得了优异的成绩，性能直逼 o1 级别的闭源模型。例如，Sky-T1 在 LiveCodeBench 上的表现也超越了 o1 模型。在涉及复杂推理、多步骤计算等任务时，Sky-T1 在 GPQA-Diamond 基准测试中同样能够达到 o1 级别的性能水平。

总的来说，OpenAI 的 GA 模型代表了 o1 级别闭源模型的领先水平，而 NovaSky 团队发布的 Sky-T1 模型，在性能上已经可以与最先进的闭源模型相媲美。NovaSky 团队的目标是，Sky-T1 能够成为开源社区中一款极具竞争力的基础模型，为人工智能技术的普及和发展贡献力量。

“我们希望通过开源这些具有卓越性能的模型，让更多的人能够参与到人工智能的研究和应用中来，共同推动人工智能技术的发展。”NovaSky 团队表示，“分享知识能够促进更广泛的应用，使每个人都能从技术进步中受益。”