ℹ️
RWKV 模型在摩尔线程硬件上的推理性能，当前包括 MTT-S4000，后续会添加其他摩尔线程硬件的性能表现。
摩尔线程 MTT-S4000
RWKV 模型在摩尔线程 MTT-S4000 上的性能表现：
| Model | Precision | 每秒生成的 Token 数 | 显存用量 （GB） |
|---|---|---|---|
| RWKV-6-1B6-v2.1 | fp16 | 57.31 | 3.42 |
| RWKV-6-1B6-v2.1 | fp32 | 30.45 | 6.30 |
| RWKV-6-3B-v2.1 | fp16 | 36.09 | 6.27 |
| RWKV-6-3B-v2.1 | fp32 | 30.03 | 11.99 |
| RWKV-6-7B-v2.1 | fp16 | 30.39 | 14.43 |
| RWKV-6-7B-v2.1 | fp32 | 16.62 | 28.71 |
| RWKV-6-14B-v2.1 | fp16 | 16.19 | 26.57 |
表格中的参数解释：
- Model：代表不同参数量的 RWKV-6 模型。
- Precision：代表不同量化策略或计算精度。