英伟达发布 Minitron：训练速度提升 40 倍的小型语言模型

近来，英伟达（NVIDIA）宣布推出一款新型开源语言模型，名为 Minitron，它具有精简的模型设计，规模在 4B 到 8B 之间。这些模型旨在优化推理性能，同时保持准确性和效率，并已成功应用于自然语言处理和生成式 AI 领域。

您可能想知道，这些模型与现有的语言模型有何不同？据悉，现有的语言模型通常依赖于模型缩放和硬件加速，而 Minitron 则通过“剪枝”和“知识蒸馏”等技术，在保证性能的同时，显著减少了模型的规模。

更具体地说，该模型能够利用现有的较大语言模型进行推理。它们在设计时考虑了计算成本效益，从而避免了对高性能硬件的需求。这意味着，即使在资源有限的环境中，您也可以有效地使用它们。总而言之，该模型旨在简化大型语言模型的部署，并优化推理效率。值得一提的是，英伟达的工程师们利用了一种独特的训练策略，以实现卓越的模型性能！

值得关注的是，英伟达的 Nemotron-4 模型系列也因此受益，变得更加强大。这些模型能够以 2 到 4 倍的速度超越其他模型，同时确保可接受的精度。更有意思的是，8B 版本的性能甚至超越了 Mistral7B 和 LLaMa-38B，同时保持了与前两者近似的每token 40 毫秒的推理速度，成本也仅为 1.8 美元。综上所述，您是否也认为，未来可能会有更多基于 AI 的创新涌现？

英伟达已将 Minitron 模型部署在 Huggingface 上，方便广大开发者下载和使用。

演示链接：https://huggingface.co/collections/nvidia/minitron-669ac727dc9c86e6ab7f0f3e

要点总结：

⭐ 关键优势：Minitron 模型旨在确保在推理过程中拥有卓越的性能，同时保持较高的准确性。

✨ 成本效益：通过应用模型剪枝和知识蒸馏技术，显著降低了运行大型语言模型所需的计算资源和成本。

🌍 易于部署：Minitron 模型已部署在 Huggingface 上，方便用户访问和使用，促进了 AI 技术的创新。