马斯克xAI打造Colossus：全球最强AI训练系统，配备10万块Nvidia H100 GPU

近日，埃隆·马斯克旗下的人工智能公司 xAI 宣布，他们正在构建一个庞大的计算集群，旨在推动其人工智能研究的发展，并将其命名为“Colossus”。

这个集群的规模将达到惊人的 10 万个 Nvidia H100 GPU，用于支持 xAI 在人工智能领域的各项工作。

马斯克此前表示，社交媒体平台 X 将需要大约 1 万个 GPU 来支持其 AI 功能，而 Colossus 将成为“超级工厂级别的 AI 计算集群”。据估计，Colossus 的计算能力将超过美国能源部阿贡国家实验室的 Aurora 超级计算机，后者能够实现 10.6 百万兆次浮点运算的峰值性能。

Colossus 所使用的 H100 GPU 是 Nvidia 于 2022 年推出的旗舰产品，被广泛应用于构建高性能 AI 系统。

据专家分析，单个高性能 GPU 的成本约为 3 万美元，这主要是因为它们能够同时处理 Transformer 模型的并行计算任务。

据估计，Colossus 集群的构建成本可能高达数十亿美元，能够容纳超过 20 万个 GPU，或者至少容纳 5 万个下一代的 H200 GPU。

H200 GPU 在处理大型语言模型方面的性能优于 H100，有望加速 AI 模型的训练过程。xAI 公司表示，他们需要更大的计算集群来支持其 AI 研发工作。

据悉，xAI 已经使用超过 15,000 个 GPU 训练了其 Grok-2 模型。相比之下，Colossus 的计算能力将为未来的模型训练提供更强大的支持，从而加速 AI 技术的迭代。

值得注意的是，Colossus 并非唯一一家大规模投资 GPU 的公司。有报道称，特斯拉已经部署了超过 5 个由 12,000 个 H100 GPU 组成的 xAI 集群。

业内人士预测，未来几年内，英伟达可能会向 AI 和通用计算领域投资数百亿美元，以满足不断增长的计算需求。

总结:

💡 xAI 正在构建一个名为“Colossus”的计算集群，该集群包含 10 万个 Nvidia H100 GPU，旨在支持其 AI 模型的训练。

🚀 Colossus 集群的 GPU 数量可能达到 20 万个，或者至少包含 5 万个 H200 GPU。

✨ Colossus 将为 xAI 的 AI 模型 Grok-2 提供更强大的计算支持，并有望加速 AI 技术的进步。