扎克伯格透露：Llama 4训练算力需求将是Llama 3的十倍

Meta 公司似乎正在加紧研发下一代大型语言模型 Llama，旨在超越现有的模型。

据了解，Meta 内部已经设定了一个目标，即希望谢赛尔·勒布朗领衔的团队能够让 Llama4 模型的性能比 Llama3 提升 10 倍。如果一切顺利，Meta 将会加大对该语言模型的投资力度，并期望在未来能够取得更大的进展。

谢赛尔·勒布朗表示：“我们的目标是 Llama4 模型的性能至少是 Llama3 的 10 倍，这将推动通用人工智能模型的发展迈上新的台阶。”他同时强调，要实现这一目标，还需要在芯片架构方面取得重大突破，否则很难在短期内达成这一目标。

今年 4 月，Meta 发布了拥有 80 亿参数的 Llama3 模型。此外，该公司还发布了精简版的 Llama3.1405B 模型，其参数量仅为 40.5 亿。这些都表明了 Meta 在语言模型领域的实力。

Meta 的首席人工智能科学家杨立昆也指出，为了实现通用人工智能，仅仅依靠扩大模型规模是不够的，还需要在算法方面有所创新。Meta 计划在 2025 年推出其首款通用人工智能产品。

值得一提的是，语言模型训练需要强大的算力支持。在 2024 年，Meta 的算力基础设施建设主要集中在英伟达和 AMD 的图形处理器上，从单个 64GB 显卡升级到 85GB 显卡，性能提升了 33%。

总结:

Meta 计划将 Llama4 模型的性能提升至 Llama3 的 10 倍。

Meta 计划在 2025 年推出首款通用人工智能产品。

为了实现人工智能目标，Meta 正在不断改进其算力基础设施。