RWKV-6-World 基底模型
RWKV-6-World 系列模型均为基底模型(base model ,又称预训练模型)。基底模型在自然语言处理等领域的大规模数据集上进行了训练,具备较强的泛化能力和丰富的知识储备。
但为了保持泛化能力和通用性,基底模型通常不会针对任何一类任务作优化。针对一些垂直的下游任务,可能需要微调 RWKV 基底模型 (opens in a new tab)才能获得更好的任务效果。
- Hugging Face 主站 (opens in a new tab)
- Hugging Face 镜像站 (opens in a new tab)(国内可访问)
- ModelScope 仓库 (opens in a new tab)(国内可访问)
- WiseModel 仓库 (opens in a new tab)(国内可访问)
- BT 种子下载:1B6 (opens in a new tab) | 3B (opens in a new tab) | 7B (opens in a new tab) | 14B (opens in a new tab)
RWKV-6 中文小说模型
RWKV-6-ChnNovel 系列中文小说模型基于 RWKV-6-World 模型微调而来,在小说续写、小说扩写、角色扮演方面有非常好的效果。
小说模型的具体用法,请参考 RWKV-6-ChnNovel 中文小说模型教程 (opens in a new tab)
- Hugging Face 主站 (opens in a new tab)
- Hugging Face 镜像站 (opens in a new tab)(国内可访问)
- ModelScope 仓库 (opens in a new tab)(国内可访问)
- WiseModel 仓库 (opens in a new tab)(国内可访问)
- BT 种子下载:1B6 中文小说模型 (opens in a new tab) | 3B 中文小说模型 (opens in a new tab) | 7B 中文小说模型 (opens in a new tab) | 14B 中文小说模型 (opens in a new tab)
RWKV-6 日文模型
RWKV-6-Jpn 系列日语模型基于 RWKV-6-World 模型微调而来,在日语任务和基准测试上表现良好。
RWKV-6 State 文件
作为 RNN 模型,RWKV 拥有固定大小的隐藏状态(State)。可通过加载 State 文件强化 RWKV 模型在特定任务的表现(类似于模型增强插件)。
State 文件具体用法请查看: RWKV state 介绍和用法 (opens in a new tab)。RWKV 也支持微调 State 文件 (opens in a new tab)。
可以从以下链接下载 RWKV State 文件:
注意: State 文件需要搭配同尺寸的 RWKV 模型,方可正常使用。
HF 仓库中包含以下几种 State 文件:
- chn-single-round:中文单轮对话增强,更符合人类语言习惯,带丰富的 Emoji 表情
- eng-single-round:英文单轮对话增强,更符合人类语言习惯,带丰富的 Emoji 表情
- chn-小说扩写-single-round:中文单轮对话,会根据用户输入进行小说扩写
- chn-打油诗-single-round:中文单轮对话,会根据用户输入创作打油诗
- chn-文言文-single-round:中文单轮对话,回答的风格会偏向文言文
- chn-文言文和古典名著-single-round:中文单轮对话,回答的风格会偏向文言文和古典名著
- OnlyForChnNovel_小说扩写 State:用于扩写中文小说,适用于同尺寸的 RWKV-6-ChnNovel 模型
除了 OnlyForChnNovel
系列,其他 State 文件均适用于 RWKV-6-World 模型。
RWKV-5、RWKV-4 等过时模型
由于老旧架构导致的性能问题, RWKV-5、RWKV-4 全系列(Raven / World / Pile ...)和更早的 RWKV 版本均已结束生命周期,现有模型仅作为存档。
可以在以下链接找到存档的 RWKV 模型: