Meta 发布两个由 24K H100 GPU 驱动的集群，用于 Llama 3 模型训练

Meta公司部署了包含24000个H100 GPU的集群，用于支持其下一代大型语言模型Llama-3的训练。Llama-3将采用RoCEv2网络以及Tectonic/Hammerspace提供的NFS/FUSE存储方案。预计在四到五个月内，可以实现首个版本的模型训练。Meta计划到2024年底拥有总计60万个H100 GPU的算力。