RWKV 中级教程

RWKV 模型本地部署工具

RWKV-FLA 适合进行 RWKV 算子实验和已有 fla-hub 模型推理。目前其 RWKV-7 实现尚未与官方参考实现完全对齐。需要训练正式的 RWKV-7 模型时，请使用 RWKV-LM 的 train_temp。

rwkv_lightning_cuda 是目前最强、最易用的 RWKV 高并发推理引擎，提供纯 C++ CUDA / HIP 推理、连续批处理、量化、OpenAI 风格 API 和 Web UI，并支持 State Tuning、MiSS Tuning、NoRA Tuning 与 GRPO / Dr.GRPO 在线强化学习。旧版 rwkv_lightning 已归档，推荐使用 rwkv_lightning_cuda。

训练方式可按任务选择：State Tuning 只训练初始 time_state；MiSS Tuning 训练 D 矩阵；NoRA Tuning 使用随机 NoRA-init 并训练 A/B。三者共用 BF16 训练 backbone，均有常驻在线 Server；配套客户端支持组内奖励归一化、带正负优势值的训练及策略发布，详见 GRPO / Dr.GRPO 在线 RL 文档。在线框架采用常驻 C++ Server 与客户端编排：Server 保留模型和优化器，客户端可逐 step 调整学习率、采样参数及奖励/优势值计算，再显式发布策略。三种监督微调还提供 NCCL 单机多卡 DP，支持 State / MiSS / NoRA 的全局 batch 数据并行。下方教程包含多卡命令、state 加载约定和训练结果接入推理的方法。

Albatross 面向 NVIDIA GPU 的 RWKV-7 高吞吐并行推理，适合希望自行配置环境、开发推理应用的用户。

RWKVpip 库是 RWKV 官方 pip 包，代码开源易用，可用于开发各种 RWKV 应用。

RWKV Runner 和 Ai00 是 RWKV 社区开发的 RWKV 模型本地运行软件包，无需任何代码基础即可实现 RWKV 模型的本地部署。

RWKV-FLA 使用教程

使用 RWKV-FLA 进行算子实验和已有模型推理

RWKVpip 指南

了解 RWKVpip 包如何推理 RWKV 模型，对代码进行分段详解

RWKV Runner 使用教程

RWKV 的本地部署软件包，带新手友好的图形化界面

Ai00 使用教程

基于 WebGPU（vulkan） 的推理工具，支持大多数 GPU 和集显

Albatross

面向 NVIDIA GPU 的 RWKV-7 高吞吐推理实现

rwkv_lightning_cuda 教程

高并发推理、State / MiSS / NoRA 微调与 GRPO / Dr.GRPO 在线强化学习

其他开源模型推理工具

RWKV 模型也适配了其他热门的开源模型部署和推理工具：

llama.cpp 推理教程

本地部署 llama.cpp 并运行 RWKV 模型

Ollama 推理教程

本地部署 Ollama 并推理 RWKV 模型

TextGen 推理教程

使用 TextGen 运行 RWKV GGUF 模型并进行聊天

KoboldCpp 推理教程

使用 KoboldCpp 运行 RWKV 模型

SillyTavern 角色扮演教程

将 SillyTavern 连接到 RWKV 推理服务并使用角色卡聊天