RWKV 推理性能数据
摩尔线程硬件推理性能
ℹ️

RWKV 模型在摩尔线程硬件上的推理性能,当前包括 MTT-S4000,后续会添加其他摩尔线程硬件的性能表现。

摩尔线程 MTT-S4000

RWKV 模型在摩尔线程 MTT-S4000 上的性能表现:

ModelPrecision每秒生成的 Token 数显存用量 (GB)
RWKV-6-1B6-v2.1fp1657.313.42
RWKV-6-1B6-v2.1fp3230.456.30
RWKV-6-3B-v2.1fp1636.096.27
RWKV-6-3B-v2.1fp3230.0311.99
RWKV-6-7B-v2.1fp1630.3914.43
RWKV-6-7B-v2.1fp3216.6228.71
RWKV-6-14B-v2.1fp1616.1926.57

表格中的参数解释:

  • Model:代表不同参数量的 RWKV-6 模型。
  • Precision:代表不同量化策略或计算精度。
ℹ️