新一代大模型架构 超越Transformer
欢迎来到 RWKV 开源时代
我们希望创造一个世界上所有人都能使用的开源大语言模型
100+
RWKV "World" 系列开源大模型支持全世界所有 100+ 种语言和编程代码
为您介绍 RWKV
RWKV 结合了 RNN 和 Transformer 的最佳特性,可并行推理训练,也能串行推理训练
出色的性能出色的性能
不含注意力机制不含注意力机制
恒定 VRAM恒定 VRAM
无限 ctxlen无限 ctxlen
免费句嵌入免费句嵌入
恒定速度恒定速度
为了方便您使用
我们推出了多种模型尺寸
RWKV 的最新版本为 Finch (RWKV-6) ,目前发布了四种参数的模型,更强的 RWKV-7 架构即将发布
Model
RWKV-6-Finch
1.6B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
3B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
7B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
14B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
在线Demo
轻松体验最新的RWKV模型
ModelScope
ModelScope
使用模型:RWKV-6-World-7B
ModelScope 中文小说
ModelScope 中文小说
使用模型:RWKV-6-ChnNovel-7B
Hugging Face-1
Hugging Face-1
使用模型:RWKV-6-World-3B
Hugging Face-2
Hugging Face-2
使用模型:RWKV-6-World-7B
RWKV 的 Uncheatable Eval 评分
Uncheatable Eval 是“无法作弊的评测”,它使用最新的论文和新闻文章等实时数据,评估开源大语言模型的真实建模能力和泛化能力。
Parameters Count (B)
Name
Average (lower=better)
ao3 english
bbc news
wikipedia english
arxiv computer science
arxiv physics
github cpp
github python
8.03Meta-Llama-3-8B7.32210.4998.2917.9247.6387.6414.3074.951
7.616Qwen2-7B7.57710.8168.628.5577.8398.164.2644.784
7.242Mistral-7B-v0.17.6110.558.3098.1757.8718.0044.8075.554
7.636RWKV-x060-World-7B-v2.1-20240507-ctx40967.87710.4138.7758.5158.1158.1625.165.996
6.888OLMo-1.7-7B-hf7.89911.018.6958.6617.9968.1135.0155.804
7.721Qwen1.5-7B7.94911.1079.1679.0997.9528.0144.915.395
7.518RWKV-5-World-7B-v2-20240128-ctx40967.9610.4988.9128.6098.1918.2195.2246.067
6.649mpt-7b7.97911.188.7358.4878.1658.3455.0055.939
6.738Llama-2-7b-hf8.01910.8418.5428.3978.3648.5465.2466.194
7.392Phi-3-small-8k-instruct8.06211.2048.8968.5318.1818.6265.4215.577
7.232Zamba-7B-v18.11110.8438.558.3548.0648.25.9336.835
6.738open_llama_7b_v28.13811.0758.8878.7918.4068.6764.9416.189
7.775360Zhinao-7B-Base8.31911.4789.3699.2448.2928.3895.3376.123
6.922falcon-7b8.32710.7548.7448.8338.5818.9595.7886.63
7.794neo_7b8.3411.9569.3969.2148.0948.1755.3056.237
8.028aya-23-8B8.5111.6819.0449.1928.6899.1575.5346.272
6.857pythia-6.9b-v08.55711.4929.459.258.6958.4695.7056.837
6.947mamba-7b-rw9.83910.8098.5978.7118.6539.03111.29511.778
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家
我们拥有丰富的全球开发者生态
作为计算效率最高、能耗最低,完全开源可商用的非 Transformer 模型架构,RWKV 收到开发者和爱好者们的一致好评,同时也被开源社区广泛地研究和使用。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个
关于我们
还有更多可以深刻挖掘的信息