关于 RWKV
下载 RWKV 模型

视频教程

ℹ️

高画质视频请跳转到 B 站 (opens in a new tab)观看。

RWKV-7 G1 推理模型

ℹ️

RWKV7-G1 系列模型拥有杰出的推理能力，且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题。

RWKV7-G1 推理模型基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。

RWKV-7 G1 的整体 prompt 格式与 RWKV-7 模型类似，但可选使用 <think> 标签开启 reasoning 功能：

User: 你不许参加学术派对！
 
Assistant: <think>

RWKV-7-World 基底模型

ℹ️

RWKV-7-World 系列模型均为基底模型（base model ，又称预训练模型）。基底模型在自然语言处理等领域的大规模数据集上进行了训练，具备较强的泛化能力和丰富的知识储备。

但为了保持泛化能力和通用性，基底模型通常不会针对任何一类任务作优化。针对一些垂直的下游任务，可能需要微调 RWKV 基底模型 (opens in a new tab)才能获得更好的任务效果。

在寻找其他格式（safetensors、gguf）的 RWKV-7-World 模型？请查阅：

RWKV-6-World 基底模型

ℹ️

RWKV-6-World 系列模型均为基底模型（base model ，又称预训练模型）。基底模型在自然语言处理等领域的大规模数据集上进行了训练，具备较强的泛化能力和丰富的知识储备。

但为了保持泛化能力和通用性，基底模型通常不会针对任何一类任务作优化。针对一些垂直的下游任务，可能需要微调 RWKV 基底模型 (opens in a new tab)才能获得更好的任务效果。

在寻找其他格式（safetensors、gguf）的 RWKV-6-World 模型？请查阅：

RWKV-6 中文小说模型

ℹ️

RWKV-6-ChnNovel 系列中文小说模型基于 RWKV-6-World 模型微调而来，在小说续写、小说扩写、角色扮演方面有非常好的效果。

小说模型的具体用法，请参考 RWKV-6-ChnNovel 中文小说模型教程 (opens in a new tab)

RWKV-6 日文模型

ℹ️

RWKV-6-Jpn 系列日语模型基于 RWKV-6-World 模型微调而来，在日语任务和基准测试上表现良好。

RWKV-6 State 文件

ℹ️

作为 RNN 模型，RWKV 拥有固定大小的隐藏状态（State）。可通过加载 State 文件强化 RWKV 模型在特定任务的表现（类似于模型增强插件）。

State 文件具体用法请查看： RWKV state 介绍和用法 (opens in a new tab)。RWKV 也支持微调 State 文件 (opens in a new tab)。

可以从以下链接下载 .pth 格式的 RWKV State 文件：

⚠️

注意： State 文件需要搭配同尺寸的 RWKV 模型，方可正常使用。

HF 仓库中包含以下几种 State 文件：

  • chn-single-round：中文单轮对话增强，更符合人类语言习惯，带丰富的 Emoji 表情
  • eng-single-round：英文单轮对话增强，更符合人类语言习惯，带丰富的 Emoji 表情
  • chn-小说扩写-single-round：中文单轮对话，会根据用户输入进行小说扩写
  • chn-打油诗-single-round：中文单轮对话，会根据用户输入创作打油诗
  • chn-文言文-single-round：中文单轮对话，回答的风格会偏向文言文
  • chn-文言文和古典名著-single-round：中文单轮对话，回答的风格会偏向文言文和古典名著
  • OnlyForChnNovel_小说扩写 State：用于扩写中文小说，适用于同尺寸的 RWKV-6-ChnNovel 模型

除了 OnlyForChnNovel 系列，其他 State 文件均适用于 RWKV-6-World 模型。

RWKV-5、RWKV-4 等过时模型

⚠️

由于老旧架构导致的性能问题， RWKV-5、RWKV-4 全系列（Raven / World / Pile ...）和更早的 RWKV 版本均已结束生命周期，现有模型仅作为存档。

可以在以下链接找到存档的 RWKV 模型：

RWKV 简介如何体验 RWKV