

最近,Mozilla通过其Mozilla Builders项目推出了一款名为LocalScore的工具,旨在为本地大型语言模型(LLM)提供便捷的基准测试。该工具兼容Windows和Linux系统,具有潜力成为易于分发的LLM框架的重要组成部分。尽管LocalScore仍处于早期开发阶段,但其表现已经相当不错。
LocalScore基于上周发布的Llamafile 0.9.2版本开发,这一更新使得LocalScore成为一款实用的基准测试工具,能够在CPU和GPU上评估大型语言模型的性能。通过这一工具,用户可以轻松测量LLM系统的性能,并获得快速且可靠的结果。
用户可以选择直接从Llamafile包中调用LocalScore,或者使用适用于Windows和Linux的独立LocalScore二进制文件,方便进行AI基准测试。特别值得一提的是,LocalScore.ai是一个可选的存储库,专门用于存储基于Meta Llama 3.1模型的官方模型进行计算的CPU和GPU基准测试结果。用户通过LocalScore.ai可以轻松运行基准测试,过程简单明了。
LocalScore的推出不仅提升了Mozilla在AI和LLM领域的影响力,也为开发者和研究人员提供了一个开源且便捷的基准测试工具。Mozilla Builders计划期待更多方便使用、快速部署的跨平台开源AI基准测试工具的问世,以促进AI技术的进一步发展。
© 版权声明:
文章版权归作者所有,未经允许请勿转载。
本文地址:https://aidh.net/kuaixun/03ud94cd暂无评论...