SillyTavern 角色扮演推理教程
SillyTavern 是一个 AI 聊天或角色扮演的工具,你可以与自己创建的角色卡或社区提供的角色卡进行角色扮演。
SillyTavern 不具备模型推理功能,它需要与 LLM 推理服务器(例如 llama.cpp、text-generation-webui 等)配合使用。
本文将介绍如何在 SillyTavern 中使用 RWKV 模型进行角色扮演任务。
视频教程
高画质视频请跳转到 B 站观看。
SillyTavern 下载与安装
该教程以 Windows 系统为例,macOS 与 Linux 的安装方法请参考 SillyTavern 的安装指导文档。
首先,我们需要下载并安装 SillyTavern。安装步骤如下:
- 安装 NodeJS(建议使用最新的 LTS 版本)
- 从 SillyTavern Github 仓库的 Releases 界面下载压缩包
- 压缩包解压后,双击运行
Start.bat
,此脚本会自动安装 SillyTavern 所需的依赖项 - 安装完毕后,SillyTavern 会在你的浏览器中打开一个新标签页
连接本地 LLM 服务器
SillyTavern 不具备模型推理功能,这里我们使用 llama.cpp 作为 RWKV 模型的推理服务器,并使用 SillyTavern 进行聊天。
请阅读 llama.cpp 推理方法,在本地安装并启动 llama.cpp 应用。
llama.cpp 安装完毕后,使用以下命令本地搭建一个 llama.cpp 服务:
llama.cpp 服务器启动后,在 SillyTavern 中执行以下步骤,连接到本地搭建的 llama.cpp 服务:
- 点击 API Connections
- 将 API 设置为文本补全
- API Type 设置为 llama.cpp
- 将服务器 URL 设置为 http://127.0.0.1:8080
- 点击 Connect,即可连接到本地搭建的 llama.cpp 服务
成功连接到本地的 llama.cpp 服务后,就可以与 AI 进行聊天了。
SillyTavern 角色扮演
SillyTavern 的最大特色是角色扮演,你可以创建一个角色并与其进行对话。
在 SillyTavern 中,点击 "角色管理" 按钮,可以看到 SillyTavern 自带的一个角色卡 Seraphina, 点击她的头像即可与该角色进行对话,并查看她的基本信息。
除了自带的角色卡外,我们也可以导入现成的角色卡文件或者自己创建角色卡。
导入现成的角色卡
可以从 Ai Character Cards 下载现成的角色卡文件。
下载好的角色卡文件为 png 格式。
然后在 SillyTavern 中,点击 角色管理
按钮,点击 从文件导入角色
,选择下载好的角色卡文件导入即可。
导入之后,可以在角色管理中看到导入的角色卡。
之后点击导入的角色卡,即可与角色进行对话,并查看角色基本信息。
创建角色卡
除了导入现成的角色卡外,我们也可以自己创建角色卡。
首先点击"角色管理",然后点击"新建角色"。
在这里我们输入角色的名称和描述,以及每次聊天时角色发送的第一句话,之后点击"创建角色"。
角色的描述是最重要的设置,它会在聊天的过程中持续影响角色。
创建角色描述的示例:
创建完成后,点击创建的角色头像,即可与角色进行对话,并查看角色的基本信息。
更多创建 SillyTavern 角色卡的教程,请查看:
- Trappu's PLists + Ali:Chat guide: https://wikia.schneedc.com/bot-creation/trappu/creation
- AliCat's Ali:Chat guide: https://rentry.co/alichat
- kingbri's minimalistic guide: https://rentry.co/kingbri-chara-guide
参考资料
意见反馈(可选)
联系方式(可选)