马斯克透露：Grok-3训练耗费10万块NVIDIA H100，性能将超乎想象

据报道，埃隆·马斯克旗下的人工智能公司xAI正在研发其下一代大型语言模型——Grok-2，这款模型将作为当前可用版本的重要升级。此外，还有传言称Grok-2之后，他们已经开始着手研发更强大的Grok-3。

根据相关报道，在人工智能领域竞争日益激烈的当下，xAI似乎正致力于开发一种能够处理多模态数据（LMM）的模型，该模型可以处理图像等多种类型的信息。如果消息属实，这将直接与OpenAI等公司的技术相抗衡。有消息称，xAI为了Grok-3的训练，计划使用超过1万块H100 GPU进行大规模的人工智能计算。这表明xAI正在大力投资于人工智能的研发，并可能为Grok-3带来更强大的“理解”能力。

英伟达H100 GPU是训练大型语言模型（LLMs）的关键硬件，通常需要数千块GPU并行工作。据估计，训练一个具有竞争力的模型可能需要3到4个月的时间（假设使用约21.9到29.2 petaflop/s的算力）。因此，xAI计划使用的1万多块GPU，可能对应着大约30到40 exaflop/s的算力（按照当前算力估算，大致相当于218.68到291.57 exaflop/s）。

值得注意的是，埃隆·马斯克此前曾公开表达了他对当前人工智能计算能力发展的担忧，认为其发展速度可能超过了人类的监管能力。xAI似乎正在努力确保其模型能够实现充分的安全性。

鉴于Grok-2的开发进展以及Grok-3的早期研发工作，xAI似乎正在积极推进其在人工智能领域的长期发展战略，旨在不断提升其语言模型的性能。