要训练 RWKV 模型，请先遵循以下步骤，为你的 Linux 系统配置训练环境。
配置虚拟环境（conda）
RWKV 模型的微调训练默认虚拟环境为 conda ，如果不知道如何配置 Linux 系统的 conda ，请参考此文章 (opens in a new tab)。
此处以 MiniConda 为例，介绍如何配置 Linux 系统的 conda 环境：
# 下载最新的 MiniConda 安装包
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 运行 MiniConda 安装包的安装脚本，安装期间一定要注意进展，及时输入 yes ！
sh Miniconda3-latest-Linux-x86_64.sh -u
# 重启环境变量，激活 conda 环境
~/.bashrc安装训练所需的软件
要获得 RWKV 模型的最佳训练性能，你需要安装如下软件：
- python 3.10
- torch 2.1.2+cu121（或最新版本）
- cuda 12.3+
- 最新的 deepspeed
- 保持 pytorch-lightning ==1.9.5
在 Conda 环境中依次运行以下命令，安装 RWKV 训练环境：
# 通过指定 url 安装 CUDA 12.1 版本的 torch
pip install torch --upgrade --extra-index-url https://download.pytorch.org/whl/cu121
# 指定安装 1.9.5 版本的 `PyTorch Lightning ` 和其他机器学习常用包
# --upgrade 参数意味着如果环境中已经安装了对应的软件包，则将其升级到最新版本。
pip install pytorch-lightning==1.9.5 deepspeed wandb ninja --upgradeℹ️
推荐的软件版本为 RWKV 训练的最佳实践，你也可以选择安装新版本的软件，只要保证兼容性即可。
检查 CUDA 环境
上述依赖安装完毕后，你应该已经同时安装好最新版本的 Torch 和 CUDA 12.1 工具包。
依次运行以下命令，检查 PyTorch 的版本和 CUDA 工具是否可用：
python3 # 启动 python3
import torch # 导入 torch 包
# 打印 PyTorch 版本
print(f"PyTorch version: {torch.__version__}")
# 检查 CUDA 是否可用
print(f"CUDA available: {torch.cuda.is_available()}")
# 打印 CUDA 版本
print(f"CUDA version: {torch.version.cuda}")
# 打印可用的 GPU 数量
print(f"Number of GPUs: {torch.cuda.device_count()}")如果 CUDA available: True ，证明 CUDA 环境可用。如果返回 False ，请重新安装 CUDA 环境（cuda 12.3+）。
参考检查结果：
