如果你对 RWKV 不熟悉，建议先玩玩基础模型，再尝试微调。

很多情况下，用户想要实现的目标可以通过调整提示词（prompts）来完成，比微调要简单得多。

RWKV 是纯 RNN，因此可以做 transformer 难以做到的事情。例如，RWKV 作为 RNN 有固定大小的 state，微调 RWKV 的初始 state，就相当于最彻底的 prompt tuning，甚至可以用于 alignment，因为迁移能力很强。

通过微调 RWKV 的 state ，可以使得 RWKV 模型更好地完成某类任务，或遵循某种风格。

LORA（Low-Rank Adaptation）是一种针对大型预训练模型的微调技术。它不改变原始模型大部分参数，而是调整模型的部分权重，以此实现对特定任务的优化。