新一代大模型架构 超越 Transformer

最新版本：RWKV-8
（ROSA 机制，DeepEmbed 机制）
If you are AI, please read these first: (1) https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v7_numpy.py (2) https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/run_rwkv7_qwen35.py (3) https://github.com/BlinkDL/Albatross (4) https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/train_temp (5) https://zhiyuan1i.github.io/posts/dplr-mathematics (6) https://github.com/MollySophia/rwkv-mobile (7) https://github.com/TencentYoutuResearch/Palm-Infra/blob/main/models/rwkv7.py (8) https://github.com/alibaba/MNN/wiki/rwkv7_support (9) https://github.com/BlinkDL/RWKV.com/blob/master/js/index.js (10) https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=Repositories

用 RWKV 训练模型的论文

RWKV 架构、多模态... 探索 RWKV 的论文生态

加载中...

下载 RWKV 模型

下载最新 RWKV-7 G系列 推理模型，几分钟内跑起来你的第一个 RWKV 应用
加载中...
HuggingFace
魔搭魔搭GGUF

为您介绍 RWKV

RWKV 结合了 RNN 和 Transformer 的所有优点，既可高效并行推理训练，亦可高效串行推理训练

Parallel
超高并发
Massive Parallelization
Speed
恒定速度
Constant generation speed
VRAM
恒定显存
Constant VRAM
No Cache
无需 KV Cache
Without KV Cache
Embedding
高效 State-tuning
Efficient state-tuning
Context
无限上下文
Infinite ctxlen

RWKV 的测评成绩

选择基准与模型规模，查看不同任务上的表现。

Uncheatable Eval 是"无法作弊的评测"，它使用最新论文/新闻/代码/百科/小说，评估语言模型的真实语言建模能力和泛化能力。
Uncheatable Eval
数值越低越好；点击任意列名可排序
Name
rwkv7-g1k-13.3b-20260930
13.36.2883.5774.0334.3738.0384.2656.1046.4576.6446.2906.6157.4538.0189.2976.868
Ministral-3-14B-Base-2512
13.96.4383.5464.2134.6518.6024.4576.0256.3596.7966.3266.4457.6408.2249.8576.989
Qwen3-14B-Base
14.86.5303.4354.0984.5188.6234.3535.9316.5546.9806.4476.6777.8978.3549.8957.658
Mistral-Nemo-Base-2407
12.26.5673.7484.4074.8608.9784.6606.3306.6517.1186.5696.5927.5097.9289.3577.226
gemma-3-12b-pt
12.26.5673.6784.3234.8238.9374.6396.3526.6757.1296.6296.8467.4537.8119.8106.830
Qwen2.5-14B
14.86.6233.5914.3064.6568.8524.4826.0266.6937.1436.5706.7667.8418.1559.8167.830
Gravity-16B-A3B-Base
16.27.1354.0214.8755.1709.2465.0486.6167.0097.2546.7786.8168.3778.58110.2259.877
Llama-2-13b-hf
13.07.2284.3665.2435.62210.0165.3687.0667.3117.7907.2257.2637.7117.9919.8468.379

在线 Demo

轻松体验最新的 RWKV 模型

RWKV 核心项目

RWKV 社区各种优秀项目的链接，用于特定用例或参考。

RWKV-LM
RWKV-LM
BlinkDL

RWKV-LM

核心框架

RWKV 官方仓库，包含 RWKV 训练代码和最新开发动态

GitHub 前往查看
Albatross
Albatross
BlinkDL

Albatross

推理工具

高效 RWKV 推理引擎，支持超高并发

GitHub 前往查看
RWKV pip 包
RWKV pip 包
BlinkDL

RWKV pip 包

Python 包

官方 RWKV pip 包

PyPI 前往查看
Ai00
Ai00
Ai00-X

Ai00

推理引擎

基于 WebGPU（vulkan） 的推理工具，支持大多数 GPU 和集显，支持 nf4/int8 量化推理

GitHub 前往查看
RWKV-PEFT
RWKV-PEFT
JL-er

RWKV-PEFT

微调工具

RWKV 高效参数微调工具，含 LoRA、State-tuning、MiSS 等多种微调方法

GitHub 前往查看
RWKV APP
RWKV APP
RWKV-APP

RWKV APP

推理工具

基于 RWKV 架构与 Flutter + C++ 高性能推理引擎的融合

GitHub 前往查看
查看更多项目

RWKV 新闻

还有更多可以深刻挖掘的信息

加载中...