OpenAI GPT-6 预计采用 10 万张 H100 GPU 训练，训练规模空前，成本或达天文数字

据科技媒体 Smartprix 昨日（2 月 28 日）博文披露，OpenAI 在其 GPT-4.5 模型介绍视频中意外泄露了 GPT-6 训练可能所需的 GPU 数量，预示着其模型规模将显著超越以往。

AI工具库备注：在视频 2 分 26 秒处，演示 GPT 4.5 功能的聊天记录中出现了“Num GPUs for GPT 6 Training”（训练 GPT-6 所需的 GPU 数量）字样。

尽管视频中未作任何解释，但“Num”的出现暗示了一个前所未有的数字，该媒体推测可能高达 10 万块 GPU。

此前有消息表明，OpenAI 在训练 GPT-3 时已使用了约 1 万块 GPU。随着模型的不断迭代，对计算资源的需求亦随之增长。

据称，内部代号为“Orion”的 GPT 4.5 在自然度以及减少“幻觉”现象方面取得了显著进展，其参数量或已超过 3 到 4 万亿。据推测，GPT 4.5 的训练使用了 3 万到 5 万块 NVIDIA H100 GPU，训练成本约为 7.5 亿至 15 亿美元（AI工具库备注：当前约合人民币 54.69 亿至 109.37 亿元）。

目前，截图中“Num”的具体含义尚不明确，可能代表“Numerous”（大量），暗示 GPT-6 的训练规模将远超以往。当然，亦不排除这仅仅是 OpenAI 的一种策略，类似于此前使用“Strawberry”（草莓）作为 o1 系列代号的情况。