ℹ️
RWKV 模型在 AMD 硬件上的推理性能，当前包括 AMD Radeon-Pro-W7900，后续会添加其他 AMD 硬件的性能表现。
AMD Radeon-Pro-W7900
RWKV 模型在 AMD Radeon-Pro-W7900 上的性能表现：
| Model | Precision | 每秒生成的 Token 数 | 显存用量 （GB） |
|---|---|---|---|
| RWKV-6-1B6-v2.1 | fp16 | 22.14 | 3.59 |
| RWKV-6-1B6-v2.1 | fp32 | 18.40 | 6.40 |
| RWKV-6-3B-v2.1 | fp16 | 21.14 | 6.44 |
| RWKV-6-3B-v2.1 | fp32 | 16.14 | 12.17 |
| RWKV-6-7B-v2.1 | fp16 | 18.64 | 14.60 |
| RWKV-6-7B-v2.1 | fp32 | 10.91 | 28.92 |
| RWKV-6-14B-v2.1 | fp16 | 14.91 | 26.66 |
表格中的参数解释：
- Model：代表不同参数量的 RWKV-6 模型。
- Precision：代表不同量化策略或计算精度。