新一代大模型架构 超越Transformer
欢迎来到 RWKV 开源时代
我们希望创造一个世界上所有人都能使用的开源大语言模型
233
全世界 233 个国家和地区都能够自由地使用 RWKV 开源大模型，而不仅限于英语地区
100+
RWKV "World" 系列开源大模型支持全世界所有 100+ 种语言和编程代码
2000+
全世界 2000+ 种族都能够自由地使用 RWKV 开源大模型

为您介绍 RWKV

RWKV 结合了 RNN 和 Transformer 的所有优点，既可高效并行推理训练，亦可高效串行推理训练

恒定速度

Constant
generation
speed

恒定显存

Constant
VRAM

无需 KV Cache

Without
KV Cache

无限上下文

Infinite
ctxlen

免费句嵌入

Free
sentence
embedding

无需注意力

Without
attention
mechanism

下载 RWKV 模型
您可下载 RWKV-7"Goose"（最新最强架构）模型，和 RWKV-6 "Finch" 模型
RWKV-7 G1 "GooseOne" 0.1B 20250307
RWKV-7 G1 "GooseOne"
0.1B 20250307
Hugging FaceModelScopeWiseModel
BT 种子下载
RWKV7-G1 "GooseOne" 0.4B 20250324
RWKV7-G1 "GooseOne"
0.4B 20250324
Hugging FaceModelScopeWiseModel
BT 种子下载
RWKV-7 World-v3 1.5B 20250127
RWKV-7 World-v3
1.5B 20250127
Hugging FaceModelScopeWiseModel
BT 种子下载
RWKV-7 World-v3 2.9B 20250211
RWKV-7 World-v3
2.9B 20250211
Hugging FaceModelScopeWiseModel
BT 种子下载
RWKV-6 World-v3 7B 20241112
RWKV-6 World-v3
7B 20241112
Hugging FaceModelScopeWiseModel
BT 种子下载
RWKV-6 World-v2.1 14B 20240719
RWKV-6 World-v2.1
14B 20240719
Hugging FaceModelScopeWiseModelBT 种子下载
在线 Demo
轻松体验最新的 RWKV 模型
ModelScope-1

ModelScope-1

使用模型

RWKV-7 World-3 2.9B

ModelScope-2

ModelScope-2

使用模型

RWKV-6 World-3 7B

Hugging Face-1

Hugging Face-1

使用模型

RWKV-7 World-3 2.9B

Hugging Face-2

Hugging Face-2

使用模型

RWKV7 G1 0.4B

RWKV 核心项目
RWKV-LM
RWKV-LM
RWKV 官方仓库，包含 RWKV 训练代码和最新开发动态
RWKV-Runner
RWKV-Runner
RWKV GUl 推理工具，支持一键安装和 API 调用
RWKV pip 包
RWKV pip 包
官方 RWKV pip 包
RWKV-PEFT
RWKV-PEFT
RWKV 高效参数微调工具，含 LoRA、PiSSA、DiSHA 等多种微调方法，支持量化训练
AI00 RWKV Server
AI00 RWKV Server
基于 WebGPU（vulkan） 的推理工具，支持大多数 GPU 和集显，支持 nf4/int8 量化推理
RWKV-LM-RLHF
RWKV-LM-RLHF
RWKV 强化学习工具包，具备 SFT、对齐（DPO、ORPO），以及无限上下文压缩蒸馏训练等功能
RWKV 的测评成绩
"英文与多语言基准测试"涵盖多种评测类型（如 LAMBADA、PIQA 和 WinoGrande），评估模型在语言理解、推理和知识泛化能力方面的表现。
英文和多语言测评
Uncheatable 3B
Uncheatable 0.4B
lm-evaluation-harness
RWKV-7 "Goose" World-v3
Llama-3.2-3B (+emb = 3.61b)
Qwen2.5-3B (+emb = 3.40b)
stablelm-3b-4e1t
RWKV-6 'Finch' World-v2.1
Params
English
LAMBADA
PIQA
StoryCloze16
Hellaswag
WinoGrande
arc_challenge
arc_easy
headQA_en
openbookQA
sciq
ReCoRD
MultiLang
xLBD
xSC
xWG
xCOPA
2.90
71.1
73.0
79.6
79.4
76.5
72.4
50.5
79.5
42.3
46.6
94.7
87.7
62.3
47.2
63.3
76.0
62.8
3.61
68.7
70.2
76.5
78.0
73.6
69.5
46.3
74.2
39.8
42.8
95.4
89.6
57.3
39.6
59.2
71.8
58.6
3.40
68.6
66.9
78.4
77.2
73.6
68.1
47.2
77.4
40.7
43.0
95.3
87.1
57.0
37.8
58.0
73.2
58.9
2.80
67.5
70.6
79.6
76.9
73.8
66.5
39.9
72.3
39.0
40.4
94.6
88.9
54.6
39.2
56.1
66.7
56.4
3.10
66.0
71.4
75.8
78.6
68.2
65.4
39.0
71.1
36.6
40.6
92.9
86.3
59.2
44.6
59.9
71.8
60.6
lm-evaluation-harness
RWKV-7 "Goose" World-v3
SmolLM2-1.7B (+emb = 1.81b)
Qwen2.5-1.5B (+emb = 1.78b)
stablelm-2-1_6b
RWKV-6 'Finch' World-v2.1
Llama-3.2-1B (+emb = 1.50b)
Params
English
LAMBADA
PIQA
StoryCloze16
Hellaswag
WinoGrande
arc_challenge
arc_easy
headQA_en
openbookQA
sciq
ReCoRD
MultiLang
xLBD
xSC
xWG
xCOPA
1.52
67.7
69.4
77.2
76.3
70.8
67.9
42.5
75.8
39.0
46.4
94.4
85.3
58.6
43.0
59.7
72.2
59.7
1.81
67.9
67.4
76.7
76.0
71.5
66.7
47.0
78.0
39.8
44.6
93.4
86.3
49.2
29.3
52.0
62.5
53.1
1.78
65.5
62.2
75.8
73.8
67.9
63.5
45.3
75.4
37.6
40.2
94.6
83.9
53.8
34.1
55.9
68.1
57.1
1.64
65.1
65.8
76.3
75.8
68.9
64.3
39.9
68.6
34.3
39.8
95.3
86.8
52.3
34.8
53.8
64.4
56.3
1.60
62.2
67.3
73.9
74.9
61.1
60.5
34.2
64.2
35.7
38.6
90.3
83.7
56.2
40.9
56.7
69.2
58.1
1.50
62.1
62.2
74.6
72.4
63.6
60.5
36.2
65.7
34.0
37.4
90.9
85.9
51.8
33.0
55.2
63.7
55.4
lm-evaluation-harness
RWKV7-G1 "GooseOne" 20250324
SmolLM2-360M (+emb = 407m)
RWKV-7 "Goose" Pile
mamba-370m (+emb = 421m) Pile
Params
English
LAMBADA
PIQA
StoryCloze16
Hellaswag
WinoGrande
arc_challenge
arc_easy
headQA_en
openbookQA
sciq
ReCoRD
MultiLang
xLBD
xSC
xWG
xCOPA
0.450
60.5
59.3
72.1
70.3
57.4
59.3
34.9
68.3
34.1
40.0
91.1
78.6
52.9
34.5
55.3
65.9
55.7
0.407
59.7
53.4
71.8
68.2
56.4
59.0
37.9
70.2
34.3
37.8
90.8
77.4
43.7
18.7
49.7
54.5
51.8
0.421
55.8
57.9
69.2
67.7
48.1
56.4
27.6
56.2
32.1
32.2
85.9
80.2
47.6
29.4
50.7
57.3
52.9
0.421
54.7
55.6
69.5
66.3
46.5
55.5
27.9
55.0
32.3
30.8
84.9
77.0
47.2
28.5
50.5
57.3
52.4
lm-evaluation-harness
RWKV7-G1 "GooseOne" 20250307
SmolLM2-135M (+emb = 163m)
RWKV-7 "Goose" Pile
mamba-130m (+emb = 168m) Pile
Params
English
LAMBADA
PIQA
StoryCloze16
Hellaswag
WinoGrande
arc_challenge
arc_easy
headQA_en
openbookQA
sciq
ReCoRD
MultiLang
xLBD
xSC
xWG
xCOPA
0.191
52.8
49.1
68.0
64.3
42.9
53.8
28.2
56.1
30.3
32.4
85.8
70.5
47.6
27.1
51.9
58.3
53.4
0.163
53.0
42.9
68.2
63.4
43.2
53.1
29.7
64.3
31.1
33.0
83.8
70.1
41.7
12.5
49.4
52.8
52.0
0.168
49.8
45.6
65.5
61.8
36.9
52.3
24.7
47.9
29.1
30.0
81.8
71.9
43.9
21.7
49.3
52.0
52.8
0.168
48.5
44.2
64.4
60.4
35.3
52.4
24.3
48.1
28.8
28.6
78.1
68.9
43.7
20.1
49.2
53.2
52.4
我们拥有丰富的全球开发者生态
作为能效最高、表达力超越 attention，完全开源可商用的新型大模型架构，RWKV 广受开发者和爱好者们的好评。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 上基于 RWKV 的开源项目超过 400 个。
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家
关于我们
还有更多可以深刻挖掘的信息

RWKV 合作伙伴

英伟达
英伟达
RWKV 入选英伟达领军企业
微软
微软
Windows 内置 RWKV 运行库
AMD
AMD
RWKV 参加 AMD 峰会
高通
高通
RWKV 参加高通发布会
英特尔
英特尔
RWKV 参加英特尔学术大会
AWS
AWS
RWKV 成为 AWS 合作伙伴
Hugging Face
Hugging Face
RWKV 集成到 Hugging Face 库
MediaTek
MediaTek
RWKV 参加 MTK 开发者大会
ModelScope
ModelScope
RWKV 模型发布平台
百度智云
百度智云
RWKV 模型部署平台
始智 AI
始智 AI
RWKV 模型发布平台
奇绩创坛
奇绩创坛
RWKV 参加创新创业营
Horizon Robotics
Autodl
Rokid
Under AI