新一代大模型架构 超越Transformer
欢迎来到 RWKV 开源时代
我们希望创造一个世界上所有人都能使用的开源大语言模型
100+
RWKV "World" 系列开源大模型支持全世界所有 100+ 种语言和编程代码
RWKV相关论文
RWKV架构、多模态...探索RWKV的论文生态
元始智能
2024-09-06
元始智能
2024-09-05
共 26 篇相关论文
为您介绍 RWKV
RWKV 结合了 RNN 和 Transformer 的最佳特性，可并行推理训练，也能串行推理训练
为了方便您使用
我们推出了多种模型尺寸
我们推出了多种模型尺寸
RWKV 的最新版本为 Finch (RWKV-6) ，目前发布了四种参数的模型，更强的 RWKV-7 架构即将发布
RWKV 的 Uncheatable Eval 评分
Uncheatable Eval 是“无法作弊的评测”，它使用最新的论文和新闻文章等实时数据，评估开源大语言模型的真实建模能力和泛化能力。
| Name | Parameters Count (B) | Average (lower=better) | ao3 english | bbc news | wikipedia english | arxiv computer science | arxiv physics | github cpp | github python |
|---|---|---|---|---|---|---|---|---|---|
| Meta-Llama-3-8B | 8.03 | 7.322 | 10.499 | 8.291 | 7.924 | 7.638 | 7.641 | 4.307 | 4.951 |
| Qwen2-7B | 7.616 | 7.577 | 10.816 | 8.62 | 8.557 | 7.839 | 8.16 | 4.264 | 4.784 |
| Mistral-7B-v0.1 | 7.242 | 7.61 | 10.55 | 8.309 | 8.175 | 7.871 | 8.004 | 4.807 | 5.554 |
| RWKV-x060-World-7B-v2.1-20240507-ctx4096 | 7.636 | 7.877 | 10.413 | 8.775 | 8.515 | 8.115 | 8.162 | 5.16 | 5.996 |
| OLMo-1.7-7B-hf | 6.888 | 7.899 | 11.01 | 8.695 | 8.661 | 7.996 | 8.113 | 5.015 | 5.804 |
| Qwen1.5-7B | 7.721 | 7.949 | 11.107 | 9.167 | 9.099 | 7.952 | 8.014 | 4.91 | 5.395 |
| RWKV-5-World-7B-v2-20240128-ctx4096 | 7.518 | 7.96 | 10.498 | 8.912 | 8.609 | 8.191 | 8.219 | 5.224 | 6.067 |
| mpt-7b | 6.649 | 7.979 | 11.18 | 8.735 | 8.487 | 8.165 | 8.345 | 5.005 | 5.939 |
| Llama-2-7b-hf | 6.738 | 8.019 | 10.841 | 8.542 | 8.397 | 8.364 | 8.546 | 5.246 | 6.194 |
| Phi-3-small-8k-instruct | 7.392 | 8.062 | 11.204 | 8.896 | 8.531 | 8.181 | 8.626 | 5.421 | 5.577 |
| Zamba-7B-v1 | 7.232 | 8.111 | 10.843 | 8.55 | 8.354 | 8.064 | 8.2 | 5.933 | 6.835 |
| open_llama_7b_v2 | 6.738 | 8.138 | 11.075 | 8.887 | 8.791 | 8.406 | 8.676 | 4.941 | 6.189 |
| 360Zhinao-7B-Base | 7.775 | 8.319 | 11.478 | 9.369 | 9.244 | 8.292 | 8.389 | 5.337 | 6.123 |
| falcon-7b | 6.922 | 8.327 | 10.754 | 8.744 | 8.833 | 8.581 | 8.959 | 5.788 | 6.63 |
| neo_7b | 7.794 | 8.34 | 11.956 | 9.396 | 9.214 | 8.094 | 8.175 | 5.305 | 6.237 |
| aya-23-8B | 8.028 | 8.51 | 11.681 | 9.044 | 9.192 | 8.689 | 9.157 | 5.534 | 6.272 |
| pythia-6.9b-v0 | 6.857 | 8.557 | 11.492 | 9.45 | 9.25 | 8.695 | 8.469 | 5.705 | 6.837 |
| mamba-7b-rw | 6.947 | 9.839 | 10.809 | 8.597 | 8.711 | 8.653 | 9.031 | 11.295 | 11.778 |
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家
我们拥有丰富的全球开发者生态
作为计算效率最高、能耗最低，完全开源可商用的非 Transformer 模型架构，RWKV 收到开发者和爱好者们的一致好评，同时也被开源社区广泛地研究和使用。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个。
关于我们
还有更多可以深刻挖掘的信息
还有更多可以深刻挖掘的信息