RWKV 推理性能数据
AMD 硬件推理性能
ℹ️

RWKV 模型在 AMD 硬件上的推理性能,当前包括 AMD Radeon-Pro-W7900,后续会添加其他 AMD 硬件的性能表现。

AMD Radeon-Pro-W7900

RWKV 模型在 AMD Radeon-Pro-W7900 上的性能表现:

ModelPrecision每秒生成的 Token 数显存用量 (GB)
RWKV-6-1B6-v2.1fp1622.143.59
RWKV-6-1B6-v2.1fp3218.406.40
RWKV-6-3B-v2.1fp1621.146.44
RWKV-6-3B-v2.1fp3216.1412.17
RWKV-6-7B-v2.1fp1618.6414.60
RWKV-6-7B-v2.1fp3210.9128.92
RWKV-6-14B-v2.1fp1614.9126.66

表格中的参数解释:

  • Model:代表不同参数量的 RWKV-6 模型。
  • Precision:代表不同量化策略或计算精度。
ℹ️