为什么要进行大总结和隐藏楼层?
当你与AI的聊天记录变得非常长时,会遇到以下问题:
- 上下文超限: 你的聊天记录会占用大量词符(tokens),很快达到模型允许的最大上下文长度,导致旧的对话被自动截断,AI“遗忘”了早期发生的事情。
- AI响应变慢/质量下降: 过长的上下文会增加AI的计算负担,可能导致回复生成变慢,甚至因为信息量过载而影响AI的理解和回复质量。
- 费用增加: 如果你使用的是按token计费的API,过长的上下文意味着每次请求发送的token更多,费用也更高。
通过大总结,你可以将冗长的聊天历史精炼成一个包含关键信息和设定的简短文本,然后将其保存到世界书(World Info)中。
通过隐藏楼层,你可以让SillyTavern不再将那些已经被总结过的原始聊天记录发送给AI,从而大大减少上下文长度。
操作步骤:手动大总结与隐藏楼层
这个过程分为几个阶段:准备、AI总结、保存与配置、隐藏。
#### 阶段一:准备(确定总结范围)
- 确定要总结的范围: 浏览你的聊天记录,决定从哪一条消息到哪一条消息需要被总结。通常,我们会选择总结前面大部分的旧消息,只保留最近几条消息以维持聊天的流畅性和AI对当前语境的理解。
- 小贴士: 你可以在“用户设置”中开启“显示消息楼层”和“显示消息词符数”,这样能更直观地看到每条消息的编号和长度。
#### 阶段二:让AI进行总结
- 暂停剧情并发出总结指令:在聊天输入框中,输入一段指令,要求AI暂停角色扮演,对指定范围内的剧情进行总结。
建议的指令(复制粘贴):<Request:暂停剧情,本回合无需输出正文内容。请将之前发生的事进行总结,按时间或逻辑顺序保留关键信息,省略冗余描述。>
- 如果你的预设有“大总结”或“总结前文”条目:在SillyTavern的预设页面(顶部菜单最左边的按钮),向下滚动找到“大总结”或“总结前文”相关的条目。
- 将它打开(勾选)。
- 然后发送上面建议的指令给AI。
- 发送指令: 点击“发送”按钮。AI会生成一段总结文本。
- 检查总结内容: AI生成的总结可能不完美,可能需要你手动进行编辑,以确保它包含了所有关键信息,并删除了不必要的细节。
#### 阶段三:保存总结到世界书并配置
- 复制AI生成的总结文本。
- 打开世界书面板: 点击顶部菜单栏中,图标是“地球仪”的按钮,进入世界书管理页面。
- 创建新的世界书条目: 点击“新建条目”或类似的按钮。
- 填写世界书条目信息:Entry Title / Memo (条目标题/备忘录): 给这个总结起一个清晰的标题,例如“聊天总结 - 第一章剧情”或“背景设定总结”。
- Entry Content (条目内容): 将你刚才复制的AI总结内容粘贴到这里。
- Key (关键词): 留空! 因为这是一个常驻的总结,我们不希望它被关键词触发。
- Strategy (激活策略): 选择
🔵 (蓝灯,constant)。这意味着这个条目将始终存在于发送给AI的上下文(提示词)中。 - Insertion Position (插入位置):选择
@D ⚙️(作为系统角色消息)。 - 在旁边的数字框中填写一个较大的数字,例如
9999。这会确保你的总结内容非常靠前地被插入到提示词中,让AI优先获得这些背景信息。 - 确保条目开启: 确认这个世界书条目是打开(已勾选)状态的。
- 保存世界书: 点击保存按钮。
#### 阶段四:隐藏原始聊天楼层
- 返回聊天界面。
- 使用
/hide命令: 在聊天输入框中输入/hide [开始楼层]-[结束楼层],然后按回车。
- 例如,如果你想隐藏从第0条消息(开场白)到第100条消息,可以输入
/hide 0-100。 - 重要提示: 不要隐藏所有消息!保留最近的5-10条消息不要隐藏,这样AI可以更好地理解你当前的对话意图和文风。
- 确认隐藏: 被隐藏的消息在SillyTavern的界面上仍然可见,但它们将不再被发送给AI,从而显著减少上下文的长度。
- 继续聊天: 现在你可以继续与AI进行正常的对话了。AI在每次生成回复时,都会将你世界书中配置的总结内容包含进去,而不再是冗长的原始聊天记录。
小贴士与注意事项:
- 定期总结: 对于非常长的故事,可能需要分阶段进行多次大总结,每次总结一个大的剧情弧线,并为每个总结创建不同的世界书条目。
- 编辑世界书: 如果剧情有新的发展,你可以随时编辑世界书中的总结条目,添加或修改内容。
- AI总结质量: AI的总结能力取决于模型本身和你的指令清晰度。如果总结不理想,尝试调整指令,或者手动修改AI的总结文本。
- 扫描深度(World Info Activation Settings): 虽然你给总结设置了“蓝灯”激活策略,但为了确保其他绿色(normal)策略的世界书条目也能正常工作,请务必在世界书界面的顶部,展开“全局世界信息/知识书激活设置”,将“扫描深度 (Scan Depth)”设置为一个合理的值,例如
2。 - 测试效果: 完成总结和隐藏后,可以发送一条测试消息,观察AI的回复质量是否有所改善。