RWKV 社区精选项目

以下是指向各种 RWKV 社区项目（通常托管在 GitHub）的链接，用于特定用例或参考。

官方 RWKV 链接

• RWKV 官方仓库: https://github.com/BlinkDL/RWKV-LM
• RWKV pip 包：RWKV 的 pip 包，具体用法可以查看 RWKV pip 使用指南
• RWKV-CUDA：RWKV 的官方 CUDA 算子
• Hugging face 文档：Hugging Face 关于 RWKV 的介绍
• RWKV-4 架构论文 ：arXiv（2305.13048）
• RWKV 5 /6 架构论文：arXiv（2404.05892）

RWKV 微调/训练工具

微调项目

• (推荐) RWKV-PEFT ：RWKV 高效微调仓库，包含 LoRA、Pissa、Lisa、State 等多种微调方法。
• RWKV-PEFT-Simple：RWKV-PEFT 的简化版本，提供便捷脚本和微调说明
• （开发中）RWKV-LM-RLHF：RWKV 强化学习（RLHF）工具包，含 SFT、对齐（DPO、ORPO）等
• RWKV-LM-RLHF-DPO：RWKV 的 DPO 实现（直接偏好优化 - Direct Preference Optimization）
• (可能过时) RWKV-LoRA：RWKV LoRA 微调实现，不支持微调 RWKV-6 或更新的版本。

训练项目

• RWKV-infctx-trainer：RWKV 无限上下文训练器，支持训练 10k 及以上长度的上下文
• RWKV-Ouroboros：基于 API 的 rwkv-trainer 项目，支持交替运行训练和推理
• nanoRWKV：RWKV 模型的 nanoGPT 风格实现
• RWKV_LM_EXT：实现 RWKV 的功能扩展 ，包括序列分类/嵌入/peft/交叉编码器/双编码器/多模态等
• chunkRWKV6：使用分块并行优化 RWKV 的 prefill 和训练速度

RWKV 推理框架

rwkv.cpp

• rwkv.cpp：在 CPU 上推理 RWKV 模型，支持 FP16 、量化 INT4、INT5 和 INT8 推理

Pytorch 原生实现

• RWKV_Pytorch：用纯 Pytorch 原生实现的 RWKV 模型推理框架
• rwkv-kit：RWKV 模型推理框架，支持批量推理、并行推理训练等各种功能

WebGPU 实现

• web-rwkv：在纯 WebGPU/Rust 中实现 RWKV 模型推理

candle 实现

• candle-rwkv：在 Rust 的极简机器学习框架 candle 中实现 RWKV 模型推理（支持量化）

Keras 实现

• RWKV6-Keras：RWKV 模型的 Keras 实现，支持训练和推理

JAX 实现

• rwkv-jax： RWKV 语言模型的 JAX 实现，适合 TPU 训练
• （可能过时） RWKV-LM-jax
• （可能过时） tpu_rwkv

移动端推理

• （开发中）rwkv-mobile：RWKV 移动端推理引擎
• rwkv-qualcomm：使用 Qualcomm AI Engine Direct SDK 推理 RWKV 模型

其他支持 RWKV 的推理引擎

• RWKV-Infer：使用 FLA 进行 RWKV-V6 推理，支持组合多个状态进行推理
• MLC LLM：机器学习编译器和高性能部署引擎，支持 RWKV 模型

RAG （知识检索增强）系统

• RWKV-RAG：基于 RWKV 模型的一键 RAG 部署系统，可轻松搭建和管理本地知识库，同时提供了基于本地知识库的问答机器人和 RWKV 一键微调功能

聊天机器人/推理 API 服务器

• （中文，推荐） RWKV runner：RWKV Runner 是 RWKV 模型的管理和启动工具，带用户友好的 GUI 界面，支持训练和推理
• （中文，推荐） AI00 RWKV server：Ai00 Server 是基于 web-rwkv 推理引擎的 RWKV 模型推理 API 服务器
• （中文） 闻达 web UI：针对特定环境进行内容生成的 LLM 调用平台，支持 RWKV 模型
• （中文） role play chatbot：基于 RWKV 的角色扮演 webui，使用 Gradio 制作
• Easy_RWKV_webui：基于 PyWebIO 的 RWKV 模型在线聊天室
• Mini Model Daemon：基于 web-rwkv 推理后端的 RWKV 模型推理工具
• LocalAI：开源 OpenAI 替代品，支持 RWKV
• GPT Academic：为 GPT/GLM 等 LLM 大语言模型提供实用化交互接口，支持 RWKV
• LLMFarm：使用 GGML 库在 iOS 和 MacOS 上离线使用大型语言模型，支持 RWKV

RWKV 基准测试

• Uncheatable Eval：使用最新的动态数据测试 LLM 性能，包含 RWKV
• RULER_RWKV：RWKV 模型的 RULER 测试分数
• LongBench_RWKV：RWKV 的 LongBench 测试分数
• rwkv_mmlu：RWKV 模型的 MMLU 测试分数

RWKV 多模态

图像/图形相关

• VisualRWKV ：基于 RWKV 的视觉语言模型，可处理视觉任务
• Vision-RWKV：基于 RWKV 的视觉感知模型，能平滑处理高分辨率图像
• Diffusion-RWKV：基于 RWKV 的图像生成任务模型，擅长处理高分辨率图像
• RWKV-CLIP：RWKV 驱动的 CLIP （视觉 - 语言表示学习）模型
• RWKV-SAM：基于 RWKV 的图像分段切割方法“RWKV-SAM”
• PointRWKV：基于 RWKV 的 3D 点云学习框架
• Restore-RWKV：使用 RWKV 进行高效且有效的医学图像恢复（PyTorch 实现）
• LION：用于点云中 3D 对象检测的 Linear Group RNN（支持 RWKV ）
• LineRWKV：LineRWKV 是一种对高光谱图像进行无损和有损压缩的方法

音频相关

• RWKV-ASR：使用预训练的 RWKV 语言模型进行语音识别

时间序列

• RWKV-TS：基于 RWKV 的时间序列任务模型，低延迟和内存占用

机器人/具身智能

• DecisionRWKV：经验回放（experience replay）+ Decision-RWKV 模型，适合机器人的终身学习算法。
• OccRWKV: 线性复杂度的高效 3D 语义占用预测

RWKV 分词器

• rwkv-tokenizer：用 Rust 编写的快速 RWKV Tokenizer，支持 RWKV-V5/6 World 模型
• rwkv_tokenizer.c：C 语言编写的 RWKV Trie 分词器
• rwkv-tokenizer-go：Go 语言的 RWKV 分词器
• RWKV-World-Tokenizer-CPP：用 C++ 编写的高度优化的 RWKV World 模型 trie 分词器

Prompt 集合

• Awesome-RWKV-Prompts : 用户友好、开箱即用的 RWKV Prompts 示例，适用于所有用户。
• （可能过时） RWKV_chains：使 RWKV 模型与 Langchain 一起工作的 prompts

其他 RWKV 项目

• SpikeGPT: 一款受 RWKV 启发的新模型
• JSONL to binidx：这个工具用于将 .jsonl 文件转成适合 RWKV 训练的 .bin /.idx （binidx）数据。
• AI Town - RWKV Proxy：通过 RWKV 在本地运营一个大型 AI 城镇！
• Bot-Ani-RWKV-twitter-bot-detection：基于 RWKV 的推特水军机器人检测工具