Pruna AI发布开源AI模型优化框架，助力有效压缩算法

Pruna AI是一家总部位于欧洲的初创公司，专注于开发AI模型压缩算法。最近，该公司宣布开源其优化框架，以协助开发者更有效地压缩AI模型。

Pruna AI开发的框架整合了多种效率方法，如缓存、剪枝、量化和蒸馏等，旨在提升AI模型的性能。该框架不仅标准化了压缩模型的保存和加载过程，还能对压缩后的模型进行评估，以确定质量是否有显著下降，并测量压缩对性能的提升。

Pruna AI联合创始人兼首席技术官约翰・拉赫万表示：“我们的框架类似于Hugging Face针对transformers和diffusers的标准化，为各种效率方法提供了统一的调用和使用方式。” 大公司如OpenAI已经在其模型中采用多种压缩方法，例如使用蒸馏技术来打造更快版本的旗舰模型。

蒸馏是一种通过 “教师-学生” 模型传递知识的技术，开发者向教师模型发送请求并记录输出，然后用这些输出训练学生模型，使其能够近似教师模型的行为。拉赫万指出，虽然许多大公司倾向于自行构建压缩工具，但在开源社区中往往只能找到基于单一方法的解决方案，而Pruna AI提供了整合多种方法的工具，极大简化了使用过程。

目前，Pruna AI的框架支持多种类型的模型，包括大型语言模型、扩散模型、语音识别模型和计算机视觉模型。但该公司目前主要专注于优化图像和视频生成模型。已有企业如Scenario和PhotoRoom等在使用Pruna AI的服务。

除了开源版本，Pruna AI还推出了企业版，包含高级优化功能和一个优化代理。拉赫万透露：“我们即将发布的最令人兴奋的功能是压缩代理，用户只需提供模型，并设定速度和准确度的要求，代理将自动找到最佳的压缩组合。”

Pruna AI按小时收费，类似于用户在云服务上租用GPU的方式。通过使用优化后的模型，企业可以在推理时节省大量费用。例如，Pruna AI成功将一个Llama模型的体积缩小了八倍，几乎没有损失精度。该公司希望客户能够将其压缩框架视为一种投资，最终获得回报。

最近，Pruna AI完成了650万美元的种子融资，投资者包括EQT Ventures、Daphni、Motier Ventures和Kima Ventures。

项目链接：https://github.com/PrunaAI/pruna

要点概要:

• Pruna AI推出开源优化框架，结合多种压缩方法提升AI模型性能。
• 大公司常用蒸馏等技术，Pruna AI提供整合多种方法的工具，简化使用流程。
• 企业版支持高级功能，帮助用户在保持准确度的前提下实现模型压缩和性能提升。