新一代大模型架构 超越Transformer
欢迎来到 RWKV 开源时代
我们希望创造一个世界上所有人都能使用的开源大语言模型
100+
RWKV "World" 系列开源大模型支持全世界所有 100+ 种语言和编程代码
RWKV相关论文
RWKV架构、多模态...探索RWKV的论文生态
OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity
OccRWKV: Rethinking Efficient 3D Semantic Occupancy Prediction with Linear Complexity
论文提出了 “OccRWKV” :基于 RWKV 的 3D 语义占用预测,可用于自动驾驶、具身智能等领域。实验表明,OccRWKV 在 SemanticKITTI 数据集达到 25.1 的 mIoU,比最佳基线 Co-Occ 快 20 倍,使其适合在机器人上实时部署,以增强自主导航效率。
元始智能
2024-09-28
Multi-scale RWKV with 2-dimensional temporal convolutional network for short-term photovoltaic power forecasting
Multi-scale RWKV with 2-dimensional temporal convolutional network for short-term photovoltaic power forecasting
论文提出了“多尺度 RWKV 二维时间卷积网络”(MSRWKV-2DTCN),将 FFT 和 2D TCN 与 RWKV 架构相结合并应用于光伏发电预测。研究证实,对比其他光伏发电功率预测模型,MSRWKV-2DTCN 在短期光伏发电功率预测方面具有更高的准确性。
元始智能
2024-09-06
为您介绍 RWKV
RWKV 结合了 RNN 和 Transformer 的最佳特性,可并行推理训练,也能串行推理训练
出色的性能出色的性能
不含注意力机制不含注意力机制
恒定 VRAM恒定 VRAM
无限 ctxlen无限 ctxlen
免费句嵌入免费句嵌入
恒定速度恒定速度
为了方便您使用
我们推出了多种模型尺寸
RWKV 的最新版本为 Finch (RWKV-6) ,目前发布了四种参数的模型,更强的 RWKV-7 架构即将发布
Model
RWKV-6-Finch
1.6B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
3B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
7B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
Model
RWKV-6-Finch
14B
Hugging Face
点击下载
ModelScope
点击下载
WiseModel
点击下载
BT 种子下载
点击下载
在线Demo
轻松体验最新的RWKV模型
ModelScope
ModelScope
使用模型:RWKV-6-World-7B
Hugging Face-1
Hugging Face-1
使用模型:RWKV-6-World-3B
Hugging Face-2
Hugging Face-2
使用模型:RWKV-6-World-7B
RWKV 的 Uncheatable Eval 评分
Uncheatable Eval 是“无法作弊的评测”,它使用最新的论文和新闻文章等实时数据,评估开源大语言模型的真实建模能力和泛化能力。
Name
Parameters Count (B)
Average (lower=better)
ao3 english
bbc news
wikipedia english
arxiv computer science
arxiv physics
github cpp
github python
Meta-Llama-3-8B8.037.32210.4998.2917.9247.6387.6414.3074.951
Qwen2-7B7.6167.57710.8168.628.5577.8398.164.2644.784
Mistral-7B-v0.17.2427.6110.558.3098.1757.8718.0044.8075.554
RWKV-x060-World-7B-v2.1-20240507-ctx40967.6367.87710.4138.7758.5158.1158.1625.165.996
OLMo-1.7-7B-hf6.8887.89911.018.6958.6617.9968.1135.0155.804
Qwen1.5-7B7.7217.94911.1079.1679.0997.9528.0144.915.395
RWKV-5-World-7B-v2-20240128-ctx40967.5187.9610.4988.9128.6098.1918.2195.2246.067
mpt-7b6.6497.97911.188.7358.4878.1658.3455.0055.939
Llama-2-7b-hf6.7388.01910.8418.5428.3978.3648.5465.2466.194
Phi-3-small-8k-instruct7.3928.06211.2048.8968.5318.1818.6265.4215.577
Zamba-7B-v17.2328.11110.8438.558.3548.0648.25.9336.835
open_llama_7b_v26.7388.13811.0758.8878.7918.4068.6764.9416.189
360Zhinao-7B-Base7.7758.31911.4789.3699.2448.2928.3895.3376.123
falcon-7b6.9228.32710.7548.7448.8338.5818.9595.7886.63
neo_7b7.7948.3411.9569.3969.2148.0948.1755.3056.237
aya-23-8B8.0288.5111.6819.0449.1928.6899.1575.5346.272
pythia-6.9b-v06.8578.55711.4929.459.258.6958.4695.7056.837
mamba-7b-rw6.9479.83910.8098.5978.7118.6539.03111.29511.778
我们有众多基于 RWKV 大模型的应用案例
RWKV 作曲家
我们拥有丰富的全球开发者生态
作为计算效率最高、能耗最低,完全开源可商用的非 Transformer 模型架构,RWKV 收到开发者和爱好者们的一致好评,同时也被开源社区广泛地研究和使用。
目前 RWKV 开源社区的国内开发者超过 1 万人、海外开发者超过 8000 人、Github 基于 RWKV 大模型的开源项目接近 400 个
关于我们
还有更多可以深刻挖掘的信息