RWKV 推理教程
SillyTraven 使用教程
ℹ️

SillyTavern (opens in a new tab) 是一个 AI 聊天或角色扮演的工具,你可以与自己创建的角色卡或社区提供的角色卡进行角色扮演。

SillyTavern 不具备模型推理功能,它需要与 LLM 推理服务器(例如 llama.cpp (opens in a new tab)、text-generation-webui 等)配合使用。

本文将介绍如何在 SillyTraven 中使用 RWKV 模型进行角色扮演任务。

SillyTraven 下载与安装

ℹ️

该教程以 Windows 系统为例,macOS 与 Linux 的安装方法请参考 SillyTavern 的安装指导文档 (opens in a new tab)

首先,我们需要下载并安装 SillyTraven。安装步骤如下:

  1. 安装 NodeJS (opens in a new tab)(建议使用最新的 LTS 版本)
  2. 从 SillyTraven Github 仓库的 Releases (opens in a new tab) 界面下载压缩包
  3. 压缩包解压后,双击运行 Start.bat,此脚本会自动安装 SillyTavern 所需的依赖项
  4. 安装完毕后,SillyTavern 会在你的浏览器中打开一个新标签页

SillyTraven-start

连接本地 LLM 服务器

SillyTavern 不具备模型推理功能,这里我们使用 llama.cpp (opens in a new tab) 作为 RWKV 模型的推理服务器,并使用 SillyTraven 进行聊天。

ℹ️

请阅读 llama.cpp 推理方法 (opens in a new tab),在本地安装并启动 llama.cpp 应用。

llama.cpp 安装完毕后,使用以下命令本地搭建一个 llama.cpp 服务:

./llama-server -m models/rwkv-6-world-1.6b-Q8_0.gguf --port 8080 -ngl 99

llama.cpp 服务器启动后,在 SillyTavern 中执行以下步骤,连接到本地搭建的 llama.cpp 服务:

  1. 点击 API Connections
  2. 将 API 设置为文本补全
  3. API Type 设置为 llama.cpp
  4. 将服务器 URL 设置为 http://127.0.0.1:8080 (opens in a new tab)
  5. 点击 Connect,即可连接到本地搭建的 llama.cpp 服务

SillyTraven-llamacpp

成功连接到本地的 llama.cpp 服务后,就可以与 AI 进行聊天了。

SillyTraven-bubble-sort-chat

SillyTraven 角色扮演

SillyTavern 的最大特色是角色扮演,你可以创建一个角色并与其进行对话。

在 SillyTavern 中,点击 "角色管理" 按钮,可以看到 SillyTavern 自带的一个角色卡 Seraphina, 点击她的头像即可与该角色进行对话,并查看她的基本信息。

SillyTraven-seraphina

除了自带的角色卡外,我们也可以导入现成的角色卡文件或者自己创建角色卡

导入现成的角色卡

可以从 Ai Character Cards (opens in a new tab) 下载现成的角色卡文件。

ℹ️

下载好的角色卡文件为 png 格式。

然后在 SillyTavern 中,点击 角色管理 按钮,点击 从文件导入角色,选择下载好的角色卡文件导入即可。

SillyTraven-import-role-card

导入之后,可以在角色管理中看到导入的角色卡。

SillyTraven-import-role-card-success

之后点击导入的角色卡,即可与角色进行对话,并查看角色基本信息。

SillyTraven-import-role-card-chat

创建角色卡

除了导入现成的角色卡外,我们也可以自己创建角色卡。

首先点击"角色管理",然后点击"新建角色"。

SillyTraven-create-role

在这里我们输入角色的名称和描述,以及每次聊天时角色发送的第一句话,之后点击"创建角色"。

ℹ️

角色的描述是最重要的设置,它会在聊天的过程中持续影响角色。

创建角色描述的示例:

SillyTraven-role-description-demo

创建完成后,点击创建的角色头像,即可与角色进行对话,并查看角色的基本信息。

SillyTraven-create-role-chat

更多创建 SillyTraven 角色卡的教程,请查看:

参考资料