新一代大模型架构 超越Transformer
欢迎来到 RWKV 开源时代
我们希望创造一个世界上所有人都能使用的开源大语言模型
233
全世界 233 个国家和地区都能够自由地使用 RWKV 开源大模型，而不仅限于英语地区
100+
RWKV "World" 系列开源大模型支持全世界所有 100+ 种语言和编程代码
2000+
全世界 2000+ 种族都能够自由地使用 RWKV 开源大模型
为您介绍 RWKV
RWKV 结合了 RNN 和 Transformer 的所有优点，既可高效并行推理训练，亦可高效串行推理训练
下载 RWKV 模型
您可下载 RWKV-7 "Goose"（最新最强架构） 0.1/0.4B 模型，和 RWKV-6 "Finch" 1/3/7/14B 模型
RWKV-7 World-v2.8
0.1B 20241210
RWKV-7 World-v2.9
0.4B 20250107
RWKV-7 World-v3
1.5B
正在训练，即将发布
RWKV-7 World-v3
2.9B
正在训练，即将发布
RWKV-6 World-v2.1
1.6B 20240328
RWKV-6 World-v2.1
3B 20240417
RWKV-6 World-v3
7B 20241112
RWKV-6 World-v2.1
14B 20240719
RWKV 的 Uncheatable Eval 评分
Uncheatable Eval 是"无法作弊的评测"，它使用最新的论文和新闻文章等实时数据，评估开源大语言模型的真实建模能力和泛化能力。
| Parameters Count (B) | Name | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python | ao3 chinese |
|---|---|---|---|---|---|---|---|---|---|---|
| 8.03 | Llama-3.1-8B | 8.283 | 10.455 | 8.204 | 7.862 | 7.444 | 7.56 | 4.249 | 4.641 | 15.849 |
| 7.616 | Qwen2.5-7B | 8.316 | 10.857 | 8.72 | 8.597 | 7.559 | 7.873 | 3.983 | 4.252 | 14.688 |
| 7.616 | Qwen2-7B | 8.343 | 10.752 | 8.574 | 8.43 | 7.7 | 8.129 | 4.281 | 4.473 | 14.406 |
| 7.636 | RWKV-x060-World-7B-v3-20241112-ctx4096 | 8.528 | 10.411 | 8.73 | 8.359 | 7.917 | 8.179 | 4.924 | 5.525 | 14.18 |
| 6.061 | Yi-1.5-6B | 8.554 | 10.862 | 8.791 | 8.531 | 7.975 | 8.298 | 4.747 | 5.159 | 14.071 |
| 7.636 | RWKV-x060-World-7B-v2.1-20240507-ctx4096 | 8.67 | 10.338 | 8.741 | 8.398 | 7.996 | 8.135 | 5.152 | 5.719 | 14.881 |
| 7.721 | Qwen1.5-7B | 8.673 | 11.03 | 9.111 | 9.031 | 7.843 | 7.986 | 4.893 | 5.093 | 14.398 |
| 7.518 | RWKV-5-World-7B-v2-20240128-ctx4096 | 8.777 | 10.426 | 8.877 | 8.496 | 8.078 | 8.196 | 5.219 | 5.788 | 15.134 |
| 7.242 | Mistral-7B-v0.1 | 8.791 | 10.469 | 8.279 | 8.06 | 7.735 | 7.975 | 4.758 | 5.251 | 17.799 |
| 8.272 | Minitron-8B-Base | 8.857 | 10.639 | 8.64 | 8.371 | 7.845 | 8.303 | 4.644 | 5.3 | 17.115 |
| 6.888 | OLMo-1.7-7B-hf | 9.274 | 10.955 | 8.648 | 8.515 | 7.897 | 8.094 | 4.99 | 5.528 | 19.566 |
| 6.738 | Llama-2-7b-hf | 9.454 | 10.774 | 8.504 | 8.279 | 8.216 | 8.513 | 5.243 | 5.938 | 20.169 |
| 6.738 | open_llama_7b_v2 | 9.623 | 11.01 | 8.833 | 8.616 | 8.293 | 8.654 | 4.903 | 5.924 | 20.749 |
| 7.392 | Phi-3-small-8k-instruct | 9.686 | 11.172 | 8.829 | 8.385 | 8.054 | 8.596 | 5.373 | 5.23 | 21.848 |
| 6.857 | pythia-6.9b-v0 | 10.044 | 11.419 | 9.379 | 9.101 | 8.573 | 8.467 | 5.62 | 6.571 | 21.221 |
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家我们拥有丰富的全球开发者生态
作为计算效率最高、能耗最低，完全开源可商用的非 Transformer 模型架构，RWKV 收到开发者和爱好者们的一致好评，同时也被开源社区广泛地研究和使用。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个。
