SillyTavern (opens in a new tab) 是一个 AI 聊天或角色扮演的工具,你可以与自己创建的角色卡或社区提供的角色卡进行角色扮演。
SillyTavern 不具备模型推理功能,它需要与 LLM 推理服务器(例如 llama.cpp (opens in a new tab)、text-generation-webui 等)配合使用。
本文将介绍如何在 SillyTraven 中使用 RWKV 模型进行角色扮演任务。
SillyTraven 下载与安装
该教程以 Windows 系统为例,macOS 与 Linux 的安装方法请参考 SillyTavern 的安装指导文档 (opens in a new tab)。
首先,我们需要下载并安装 SillyTraven。安装步骤如下:
- 安装 NodeJS (opens in a new tab)(建议使用最新的 LTS 版本)
- 从 SillyTraven Github 仓库的 Releases (opens in a new tab) 界面下载压缩包
- 压缩包解压后,双击运行
Start.bat
,此脚本会自动安装 SillyTavern 所需的依赖项 - 安装完毕后,SillyTavern 会在你的浏览器中打开一个新标签页
连接本地 LLM 服务器
SillyTavern 不具备模型推理功能,这里我们使用 llama.cpp (opens in a new tab) 作为 RWKV 模型的推理服务器,并使用 SillyTraven 进行聊天。
请阅读 llama.cpp 推理方法 (opens in a new tab),在本地安装并启动 llama.cpp 应用。
llama.cpp 安装完毕后,使用以下命令本地搭建一个 llama.cpp 服务:
./llama-server -m models/rwkv-6-world-1.6b-Q8_0.gguf --port 8080 -ngl 99
llama.cpp 服务器启动后,在 SillyTavern 中执行以下步骤,连接到本地搭建的 llama.cpp 服务:
- 点击 API Connections
- 将 API 设置为文本补全
- API Type 设置为 llama.cpp
- 将服务器 URL 设置为 http://127.0.0.1:8080 (opens in a new tab)
- 点击 Connect,即可连接到本地搭建的 llama.cpp 服务
成功连接到本地的 llama.cpp 服务后,就可以与 AI 进行聊天了。
SillyTraven 角色扮演
SillyTavern 的最大特色是角色扮演,你可以创建一个角色并与其进行对话。
在 SillyTavern 中,点击 "角色管理" 按钮,可以看到 SillyTavern 自带的一个角色卡 Seraphina, 点击她的头像即可与该角色进行对话,并查看她的基本信息。
除了自带的角色卡外,我们也可以导入现成的角色卡文件或者自己创建角色卡。
导入现成的角色卡
可以从 Ai Character Cards (opens in a new tab) 下载现成的角色卡文件。
下载好的角色卡文件为 png 格式。
然后在 SillyTavern 中,点击 角色管理
按钮,点击 从文件导入角色
,选择下载好的角色卡文件导入即可。
导入之后,可以在角色管理中看到导入的角色卡。
之后点击导入的角色卡,即可与角色进行对话,并查看角色基本信息。
创建角色卡
除了导入现成的角色卡外,我们也可以自己创建角色卡。
首先点击"角色管理",然后点击"新建角色"。
在这里我们输入角色的名称和描述,以及每次聊天时角色发送的第一句话,之后点击"创建角色"。
角色的描述是最重要的设置,它会在聊天的过程中持续影响角色。
创建角色描述的示例:
创建完成后,点击创建的角色头像,即可与角色进行对话,并查看角色的基本信息。
更多创建 SillyTraven 角色卡的教程,请查看:
- Trappu's PLists + Ali:Chat guide: https://wikia.schneedc.com/bot-creation/trappu/creation (opens in a new tab)
- AliCat's Ali:Chat guide: https://rentry.co/alichat (opens in a new tab)
- kingbri's minimalistic guide: https://rentry.co/kingbri-chara-guide (opens in a new tab)