RWKV项目链接 - 关于 RWKV

以下是指向各种 RWKV 社区项目（通常托管在 GitHub）的链接，用于特定用例或参考。

⚠️

标注为 （可能过时） 表示该项目已存档或长时间未更新。但即便某些项目已过时，其实现思路也可作为开发参考。

此外，我们感谢曾为 RWKV 生态作贡献的开发者，无论他们是否仍活跃在 RWKV 社区。

官方 RWKV 链接

RWKV 官方仓库: https://github.com/BlinkDL/RWKV-LM (opens in a new tab)
RWKV pip 包 (opens in a new tab)：RWKV 的 pip 包，具体用法可以查看 RWKV pip 使用指南 (opens in a new tab)
RWKV-CUDA (opens in a new tab)：RWKV 的官方 CUDA 算子
Hugging face 文档 (opens in a new tab)：Hugging Face 关于 RWKV 的介绍
RWKV-4 架构论文：arXiv（2305.13048） (opens in a new tab)
RWKV 5 /6 架构论文：arXiv（2404.05892） (opens in a new tab)

RWKV 微调/训练工具

微调项目

(推荐) RWKV-PEFT (opens in a new tab) ：RWKV 高效微调仓库，包含 LoRA、Pissa、Lisa、State 等多种微调方法。
RWKV-PEFT-Simple (opens in a new tab)：RWKV-PEFT 的简化版本，提供便捷脚本和微调说明
（开发中）RWKV-LM-RLHF (opens in a new tab)：RWKV 强化学习（RLHF）工具包，含 SFT、对齐（DPO、ORPO）等
RWKV-LM-RLHF-DPO (opens in a new tab)：RWKV 的 DPO 实现（直接偏好优化 - Direct Preference Optimization）
(可能过时) RWKV-LoRA (opens in a new tab)：RWKV LoRA 微调实现，不支持微调 RWKV-6 或更新的版本。

训练项目

RWKV-infctx-trainer (opens in a new tab)：RWKV 无限上下文训练器，支持训练 10k 及以上长度的上下文
RWKV-Ouroboros (opens in a new tab)：基于 API 的 rwkv-trainer 项目，支持交替运行训练和推理
nanoRWKV (opens in a new tab)：RWKV 模型的 nanoGPT 风格实现
RWKV_LM_EXT (opens in a new tab)：实现 RWKV 的功能扩展，包括序列分类/嵌入/peft/交叉编码器/双编码器/多模态等
chunkRWKV6 (opens in a new tab)：使用分块并行优化 RWKV 的 prefill 和训练速度

RWKV 推理框架

rwkv.cpp

rwkv.cpp (opens in a new tab)：在 CPU 上推理 RWKV 模型，支持 FP16 、量化 INT4、INT5 和 INT8 推理

Pytorch 原生实现

RWKV_Pytorch (opens in a new tab)：用纯 Pytorch 原生实现的 RWKV 模型推理框架
rwkv-kit (opens in a new tab)：RWKV 模型推理框架，支持批量推理、并行推理训练等各种功能

WebGPU 实现

web-rwkv (opens in a new tab)：在纯 WebGPU/Rust 中实现 RWKV 模型推理

candle 实现

candle-rwkv (opens in a new tab)：在 Rust 的极简机器学习框架 candle 中实现 RWKV 模型推理（支持量化）

Keras 实现

RWKV6-Keras (opens in a new tab)：RWKV 模型的 Keras 实现，支持训练和推理

JAX 实现

rwkv-jax (opens in a new tab)： RWKV 语言模型的 JAX 实现，适合 TPU 训练
（可能过时） RWKV-LM-jax (opens in a new tab)
（可能过时） tpu_rwkv (opens in a new tab)

移动端推理

（开发中）rwkv-mobile (opens in a new tab)：RWKV 移动端推理引擎
rwkv-qualcomm (opens in a new tab)：使用 Qualcomm AI Engine Direct SDK 推理 RWKV 模型

其他支持 RWKV 的推理引擎

RWKV-Infer (opens in a new tab)：使用 FLA 进行 RWKV-V6 推理，支持组合多个状态进行推理
MLC LLM (opens in a new tab)：机器学习编译器和高性能部署引擎，支持 RWKV 模型

RAG （知识检索增强）系统

RWKV-RAG (opens in a new tab)：基于 RWKV 模型的一键 RAG 部署系统，可轻松搭建和管理本地知识库，同时提供了基于本地知识库的问答机器人和 RWKV 一键微调功能

聊天机器人/推理 API 服务器

（中文，推荐） RWKV runner (opens in a new tab)：RWKV Runner 是 RWKV 模型的管理和启动工具，带用户友好的 GUI 界面，支持训练和推理
（中文，推荐） AI00 RWKV server (opens in a new tab)：Ai00 Server 是基于 web-rwkv 推理引擎的 RWKV 模型推理 API 服务器
（中文） 闻达 web UI (opens in a new tab)：针对特定环境进行内容生成的 LLM 调用平台，支持 RWKV 模型
（中文） role play chatbot (opens in a new tab)：基于 RWKV 的角色扮演 webui，使用 Gradio 制作
Easy_RWKV_webui (opens in a new tab)：基于 PyWebIO 的 RWKV 模型在线聊天室
Mini Model Daemon (opens in a new tab)：基于 web-rwkv 推理后端的 RWKV 模型推理工具
LocalAI (opens in a new tab)：开源 OpenAI 替代品，支持 RWKV
GPT Academic (opens in a new tab)：为 GPT/GLM 等 LLM 大语言模型提供实用化交互接口，支持 RWKV
LLMFarm (opens in a new tab)：使用 GGML 库在 iOS 和 MacOS 上离线使用大型语言模型，支持 RWKV

RWKV 基准测试

Uncheatable Eval (opens in a new tab)：使用最新的动态数据测试 LLM 性能，包含 RWKV
RULER_RWKV (opens in a new tab)：RWKV 模型的 RULER (opens in a new tab) 测试分数
LongBench_RWKV (opens in a new tab)：RWKV 的 LongBench (opens in a new tab) 测试分数
rwkv_mmlu (opens in a new tab)：RWKV 模型的 MMLU 测试分数

RWKV 多模态

ℹ️

多模态指除了文本任务以外的其他任务。

图像/图形相关

VisualRWKV (opens in a new tab) ：基于 RWKV 的视觉语言模型，可处理视觉任务
Vision-RWKV (opens in a new tab)：基于 RWKV 的视觉感知模型，能平滑处理高分辨率图像
Diffusion-RWKV (opens in a new tab)：基于 RWKV 的图像生成任务模型，擅长处理高分辨率图像
RWKV-CLIP (opens in a new tab)：RWKV 驱动的 CLIP （视觉 - 语言表示学习）模型
RWKV-SAM (opens in a new tab)：基于 RWKV 的图像分段切割方法“RWKV-SAM”
PointRWKV (opens in a new tab)：基于 RWKV 的 3D 点云学习框架
Restore-RWKV (opens in a new tab)：使用 RWKV 进行高效且有效的医学图像恢复（PyTorch 实现）
LION (opens in a new tab)：用于点云中 3D 对象检测的 Linear Group RNN（支持 RWKV ）
LineRWKV (opens in a new tab)：LineRWKV 是一种对高光谱图像进行无损和有损压缩的方法

音频相关

RWKV-ASR (opens in a new tab)：使用预训练的 RWKV 语言模型进行语音识别

时间序列

RWKV-TS (opens in a new tab)：基于 RWKV 的时间序列任务模型，低延迟和内存占用

机器人/具身智能

DecisionRWKV (opens in a new tab)：经验回放（experience replay）+ Decision-RWKV 模型，适合机器人的终身学习算法。
OccRWKV (opens in a new tab): 线性复杂度的高效 3D 语义占用预测

RWKV 分词器

rwkv-tokenizer (opens in a new tab)：用 Rust 编写的快速 RWKV Tokenizer，支持 RWKV-V5/6 World 模型
rwkv_tokenizer.c (opens in a new tab)：C 语言编写的 RWKV Trie 分词器
rwkv-tokenizer-go (opens in a new tab)：Go 语言的 RWKV 分词器
RWKV-World-Tokenizer-CPP (opens in a new tab)：用 C++ 编写的高度优化的 RWKV World 模型 trie 分词器

Prompt 集合

Awesome-RWKV-Prompts (opens in a new tab) : 用户友好、开箱即用的 RWKV Prompts 示例，适用于所有用户。
（可能过时） RWKV_chains (opens in a new tab)：使 RWKV 模型与 Langchain 一起工作的 prompts

其他 RWKV 项目

SpikeGPT (opens in a new tab): 一款受 RWKV 启发的新模型
JSONL to binidx (opens in a new tab)：这个工具用于将 .jsonl 文件转成适合 RWKV 训练的 .bin /.idx （binidx）数据。
AI Town - RWKV Proxy (opens in a new tab)：通过 RWKV 在本地运营一个大型 AI 城镇！
Bot-Ani-RWKV-twitter-bot-detection (opens in a new tab)：基于 RWKV 的推特水军机器人检测工具

如何体验 RWKV RWKV 常见问题