RWKV开源基金会发布RWKV-6-World 140亿参数大模型

2024年7月19日，RWKV模型发布了一个引人注目的新版本：RWKV-6-World14B，这是一个声称在性能上可与大型RNN模型相媲美的突破性架构。该模型在多个基准测试中表现出色，甚至超越了Llama2 13B等模型，同时保持了相对较小的规模，仅需约100GB的显存和内存。

该模型的突出特点之一是其仅用4位量化的14B参数模型，在12个不同的常识推理任务中表现出色，超过了xLAMBDA、xStoryCloze、xWinograd和xCopa等竞争模型。RWKV-6-World14B在这方面的成功得益于一种名为“Uncheatable Eval”的评估方法，旨在更准确地衡量模型的真实推理能力，优于llama2 13B和Qwen1.5 14B。

RWKV-6-World14B模型的性能提升源于RWKV-4到RWKV-6的架构改进。该模型在时间序列数据处理方面表现出色，并且能够有效地解决需要复杂推理的任务。Uncheatable Eval评估体系确保了RWKV-6-World14B模型在7月份发布于arXiv的各个数据集（包括代码、文本、ao3数据集和GitHub仓库）上的出色表现，从而促进了真实世界的应用和进一步研究。

目前，RWKV-6-World14B模型已在Hugging Face、ModelScope和WiseModel等平台上提供下载。该模型采用了Ai00首创的safetensor（.st）格式，用户可以从Ai00HF镜像下载.st格式的版本。模型的文件大小根据不同精度在10G到28G之间。

RWKV-6-World14B模型的关键功能包括上下文学习能力（无需微调）、多语言支持、数据处理能力、代码生成能力、文档总结功能、以及通过Python脚本进行自定义和扩展的能力，为各种应用场景提供了灵活性。

总而言之，此次发布的RWKV模型代表了朝着更高效、更强大的AI模型迈出的重要一步，在各种基准测试中都取得了令人瞩目的成果。随着RWKV模型在各领域的不断发展，我们有理由期待其在推理能力方面的持续改进和性能提升。

资源链接：