若你想在本地运行大型模型，现在有了新的选择，即在最新的iOS 18上。甚至可以在最新的Apple M4芯片的Mac Mini和Macbook Pro上运行，但性能取决于所使用的资源，Meta的Llama-3 1405B、Nvidia的Nemotron 70B 和 Qwen2.5Coder-32B等模型已经可以在本地运行了。
Exo Labs 是一个成立于2024年3月的开源项目，其目标是“让个人电脑运行生成式模型”。该项目的负责人亚历克斯·切玛（Alex Cheema）表示，M4芯片能够处理一定规模的本地推理任务。
设想一下，一台Mac Mini M4（预计售价599美元起）或一台Macbook Pro M4 Max（售价1599美元起）能够顺畅运行Exo的本地推理，例如Qwen2.5Coder-32B。虽然运行该模型需要大约5000美元的显卡，但远低于Nvidia H100 GPU的成本。
了解本地推理的具体应用场景至关重要。在无需联网的情况下进行AI模型推理，可实现更高的隐私性和安全性。据亚历克斯介绍，Exo Labs 致力于简化本地大型模型的部署流程，让开发者能够更轻松地构建和部署AI应用。Exo旨在通过本地AI算力，为用户和开发者提供更便捷的工具和更强大的体验。
Exo Labs 的目标是充分利用 M4 芯片的强大性能，特别关注“统一内存架构带来的 GPU 加速优势”。
根据实际测试，Exo Labs 的 Mac Mini M4 能够以大约每秒18个token的速度运行 Qwen2.5Coder32B，或者以每秒8个token的速度运行 Nemotron-70B。这意味着无需依赖远程服务器即可进行本地AI处理和推理，从而显著提升了AI应用的速度和性能，并降低了延迟。
为了实现这一目标，Exo Labs 正在开发一系列先进的编译优化技术，旨在提升端侧设备上大型语言模型的运行效率。这些优化技术将有助于提高设备性能，并为大规模的 LLM 应用部署提供支持。
项目地址：https://github.com/exo-explore/exo
核心要点：
⭐ Exo Labs 致力于利用 Apple M4 芯片，在本地设备上运行生成式 AI 模型。
💸 本地 AI 模型推理具有更高的隐私性和安全性，同时提高了运行效率。
💻 Exo Labs 正在开发编译优化技术，以提高端侧设备上 AI 推理的性能。
© 版权声明：
文章版权归作者所有，未经允许请勿转载。
本文地址：https://aidh.net/kuaixun/h97bej9m
暂无评论...
