智谱AI开源GLM-Edge系列：端侧大语言和多模态模型发布

为了推进大模型在边缘设备上的应用，智谱AI发布了轻量化、低成本的GLM-Edge模型。作为一系列精简高效的端侧模型，GLM-Edge旨在为需要在本地运行推理任务的开发者提供一个强大的选择。目前，GLM-Edge涵盖了GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B等多个版本，可以灵活地部署在各种移动设备和PC设备上，满足不同的应用需求。

基于GLM-4模型的技术积累，此次发布的系列模型在保证必要性能的同时，实现了模型参数和计算量的精简，能够满足边缘场景下的资源约束。这些模型支持自然语言处理、多模态信息理解等多种任务，为本地应用带来了更多可能性。通过对模型结构的优化和压缩，GLM-Edge模型可以在有限的设备算力条件下实现高效的推理。在特定NPU加速和量化技术的支持下，1.5B参数的文本模型和2B参数的图文模型能够流畅地生成60个tokens以上的内容，而更高规格的模型则可以生成超过100个tokens。

总而言之，智谱AI的GLM-Edge模型旨在为那些需要在本地进行高效计算的开发者提供一个经济高效的解决方案，从而推动AI技术在更广泛领域的应用和普及，支持各种终端AI应用的创新和发展。

GLM-Edge模型下载链接：

https://modelscope.cn/collections/GLM-Edge-ff0306563d2844