新一代大模型架构 超越Transformer

为您介绍 RWKV

RWKV 结合了 RNN 和 Transformer 的所有优点,既可高效并行推理训练,亦可高效串行推理训练

下载 RWKV 模型
您可下载 RWKV-7 "Goose"(最新最强架构)模型,和 RWKV-6 "Finch" 模型
RWKV-7 World-v2.8 0.1B 20241210
RWKV-7 World-v2.8
0.1B 20241210
RWKV-7 World-v2.9 0.4B 20250107
RWKV-7 World-v2.9
0.4B 20250107
RWKV-7 World-v3 1.5B 20250127
RWKV-7 World-v3
1.5B 20250127
RWKV-7 World-v3 2.9B 20250211
RWKV-7 World-v3
2.9B 20250211
RWKV-6 World-v3 7B 20241112
RWKV-6 World-v3
7B 20241112
RWKV 的 Uncheatable Eval 评分
Uncheatable Eval 是“无法作弊的评测”,它使用最新的论文和新闻文章等实时数据,评估开源大语言模型的真实建模能力和泛化能力。
Parameters Count (B)
Name
Average (lower=better)
ao3 english
bbc news
wikipedia english
arxiv computer science
arxiv physics
github cpp
github python
8.03Meta-Llama-3-8B7.32210.4998.2917.9247.6387.6414.3074.951
7.616Qwen2-7B7.57710.8168.628.5577.8398.164.2644.784
7.242Mistral-7B-v0.17.6110.558.3098.1757.8718.0044.8075.554
7.636RWKV-x060-World-7B-v2.1-20240507-ctx40967.87710.4138.7758.5158.1158.1625.165.996
6.888OLMo-1.7-7B-hf7.89911.018.6958.6617.9968.1135.0155.804
7.721Qwen1.5-7B7.94911.1079.1679.0997.9528.0144.915.395
7.518RWKV-5-World-7B-v2-20240128-ctx40967.9610.4988.9128.6098.1918.2195.2246.067
6.649mpt-7b7.97911.188.7358.4878.1658.3455.0055.939
6.738Llama-2-7b-hf8.01910.8418.5428.3978.3648.5465.2466.194
7.232Zamba-7B-v18.11110.8438.558.3548.0648.25.9336.835
6.738open_llama_7b_v28.13811.0758.8878.7918.4068.6764.9416.189
7.775360Zhinao-7B-Base8.31911.4789.3699.2448.2928.3895.3376.123
6.922falcon-7b8.32710.7548.7448.8338.5818.9595.7886.63
7.794neo_7b8.3411.9569.3969.2148.0948.1755.3056.237
8.028aya-23-8B8.5111.6819.0449.1928.6899.1575.5346.272
6.857pythia-6.9b-v08.55711.4929.459.258.6958.4695.7056.837
6.947mamba-7b-rw9.83910.8098.5978.7118.6539.03111.29511.778
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家
我们拥有丰富的全球开发者生态
作为计算效率最高、能耗最低,完全开源可商用的非 Transformer 模型架构,RWKV 广受开发者和爱好者们的好评。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 上基于 RWKV 的开源项目超过 400 个
关于我们
还有更多可以深刻挖掘的信息