ℹ️
RWKV 模型在摩尔线程硬件上的推理性能,当前包括 MTT-S4000,后续会添加其他摩尔线程硬件的性能表现。
摩尔线程 MTT-S4000
RWKV 模型在摩尔线程 MTT-S4000 上的性能表现:
Model | Precision | 每秒生成的 Token 数 | 显存用量 (GB) |
---|---|---|---|
RWKV-6-1B6-v2.1 | fp16 | 57.31 | 3.42 |
RWKV-6-1B6-v2.1 | fp32 | 30.45 | 6.30 |
RWKV-6-3B-v2.1 | fp16 | 36.09 | 6.27 |
RWKV-6-3B-v2.1 | fp32 | 30.03 | 11.99 |
RWKV-6-7B-v2.1 | fp16 | 30.39 | 14.43 |
RWKV-6-7B-v2.1 | fp32 | 16.62 | 28.71 |
RWKV-6-14B-v2.1 | fp16 | 16.19 | 26.57 |
表格中的参数解释:
- Model:代表不同参数量的 RWKV-6 模型。
- Precision:代表不同量化策略或计算精度。