NVIDIA 硬件
此页面的数据来自：RWKV 推理性能测试指南，欢迎大家参照仓库的指引进行测试，并提交 NVIDIA 硬件的性能数据。
NVIDIA RTX 4090
RWKV 模型在 NVIDIA RTX 4090 上的性能表现：
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| RWKV pip | RWKV7-G1 2.9B | fp16 | 56.18 | 5.52 GB |
| llama.cpp | RWKV7-G1 2.9B | fp16 | 89.16 | 5.75GB |
| llama.cpp | RWKV7-G1 2.9B | Q8_0 | 110.3 | 3.47GB |
| web-rwkv | RWKV7-G1 2.9B | fp16 | 95.98 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 108.22 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 115.46 | 2.4GB |
测试环境：
- CPU：Intel(R) Xeon(R) Platinum 8331C
- OS: ubuntu 22.04 Linux-6.8.0-60-generic-x86_64-with-glibc2.35
- python_version: 3.10.16
- pytorch_version: 2.5.1+cu121
NVIDIA RTX 4060Ti 8GB
RWKV 模型在 NVIDIA RTX 4060Ti 8GB 上的性能表现：
| 推理工具 | Model | 精度 | 每秒生成的 Token 数 | 显存用量 |
|---|---|---|---|---|
| RWKV pip | RWKV7-G1 2.9B | fp16 | 36.61 | 5.52 GB |
| web-rwkv | RWKV7-G1 2.9B | fp16 | 43.92 | 5.9GB |
| web-rwkv | RWKV7-G1 2.9B | int8 | 62.93 | 3.9GB |
| web-rwkv | RWKV7-G1 2.9B | nf4 | 86.03 | 2.4GB |
测试环境：
- CPU：Intel i7-13700F
- OS version: Windows10 专业版
- driver version: 576.02
- CUDA version: 12.9
这份文档对您有帮助吗？
意见反馈(可选)
联系方式(可选)