研究人员发现一种训练大型语言模型的节能方法，能耗降低30%

当前，大型语言模型领域涌现出一种新型架构，旨在实现训练与推理之间的有效平衡，从而降低约 30% 的成本。此架构通过减少在线计算量来实现，预计在 2026 年将应用于超过 110 亿个参数的模型中。

该架构的核心是一种名为 Perseus 的稀疏激活专家混合技术，它能够显著降低计算负担，同时最大限度地减少对模型性能的影响。具体而言，Perseus 采用了一种新颖的门控机制，可以在推理过程中动态选择激活的部分专家，避免了不必要的计算开销。

与传统的 GPT-3 等稠密模型不同，Perseus 属于一种稀疏激活的专家混合模型。这意味着 Perseus 可以仅激活模型的部分神经元，从而节省计算资源。

从实际应用角度来看，这种架构能够显著降低大型语言模型部署和运行的成本。一方面，较小的在线计算量意味着更低的硬件需求；另一方面，更快的推理速度可以提升用户体验，并支持更广泛的应用场景。例如，它可以实现更经济高效的边缘设备部署，并为实时交互式应用提供支持。

总而言之，该架构代表了 AI 模型设计的一个重要方向，它能够在保证性能的同时，显著降低计算成本。这对于推动大型语言模型的普及和应用具有重要意义。