RWKV 高级教程
欢迎来到 RWKV 的高级教程，高级教程包含 RWKV 模型的微调和 RLHF 等训练方法，包含：
- 训练环境的配置、训练数据集的准备工作
- 各种具体的微调方法
微调简介和准备工作
微调简介
为什么要微调 RWKV 模型？微调之前需要准备什么？
配置训练环境
配置 Pytorch 等 RWKV 微调训练所需的软件环境
准备训练数据
根据你的目标任务，收集特定格式的训练数据，将其处理为 binidx 格式
微调方法的详细教程
推荐使用 RWKV 官方微调仓库 RWKV-PEFT，RWKV-PEFT 包含常见的 LoRA 微调、PiSSA 微调方法，也有 RWKV 模型特有的 State-Tuning 和 RWKV 社区成员 @JL-er 开发的 DiSHA 等独特的微调方法。
这份文档对您有帮助吗？
意见反馈(可选)
联系方式(可选)