RWKV 的提示词格式是什么
视频介绍
高画质视频请跳转到 B 站观看。
RWKV 是 RNN 的变体。出于架构原理,RWKV 对提示词的格式比 Transformer 更敏感。
RWKV 更适合 QA 和指令问答两种提示格式:
QA 格式 prompt
QA(问答)格式是 RWKV 的默认训练格式。
其中 User:
是用户提问的问题,Assistant:
是模型的回答。因此我们需要在最后一个 Assistant:
后面留空,让模型进行续写。
指令问答格式 prompt
指令问答是 RWKV 另一种训练格式。其中 Instruction:
是用户给模型的指令,Input:
是用户给模型的输入,Response:
是模型的回答。
Response:
后面留空,让模型进行续写。
注意不要调换 Instruction:
和 Input:
的位置,由于架构设计,RWKV 在“回顾”能力上较弱。如果 RWKV 模型先接收了材料内容(Input)再接收指令(Instruction),它在执行指令时可能会漏掉内容中的重要信息。
但如果你先告诉模型要执行什么指令,然后再给模型输入材料内容。模型就会先理解指令,然后基于指令处理材料内容。就像这样:
参考的回复:
few-shot
对于一些带上下文的问答任务,我们建议在 prompt 前后重复几个同类的问题(few-shot),为模型作示范。如下所示:
可以在 RWKV 提示词指南板块 找到一些开箱即用的 RWKV prompt 示例。
这份文档对您有帮助吗?
意见反馈(可选)
联系方式(可选)