提示词迁移时如何建立基线并逐项删减

迁移到新模型时，如果同时重写提示词、提高推理强度并更换工具，结果变好或变差都无法定位原因。旧提示词里重复的警告、角色设定和步骤脚手架可能已经无效，但一次性全部删除也会丢失真正重要的业务约束。本文只解决迁移实验如何设计：用真实任务建立旧配置基线，只替换一个变量，逐组删减重复规则；每次复跑同一任务集，只有出现可复现退化时才补一条最小规则，并始终保留目标、授权边界、成功标准和停止条件。

1. 先定义可比较的任务集

任务集应来自实际工作，而不是专门为模型准备的理想问题。每个任务至少记录：

任务输入和上下文版本。
原模型与提示词版本。
允许使用的工具。
成功标准和禁止行为。
原始输出与验证结果。
人工修改内容。

不同任务可以有不同标准，但同一个任务在迁移前后必须使用相同输入、权限和验收方法。无法固定的外部数据要保存快照或明确排除，否则结果差异可能来自数据变化。

2. 第一次只换模型

先保留原提示词、工具和运行参数，只替换目标模型。这样得到的结果用于回答一个问题：在相同任务合同下，新模型的行为发生了什么变化。

不要在这一轮顺手删示例、改输出格式或提高推理强度。若发生失败，先记录具体表现：

遗漏了哪条成功标准。
违反了哪项范围或权限。
输出格式在哪里不兼容。
哪个工具选择与原流程不同。
验证命令或人工检查得到了什么结果。

“感觉更好”或“回答更聪明”不能作为迁移结论。

3. 逐组删除旧脚手架

完成基线后，每轮只删除一类内容：

• 重复表达的同一规则；
• 不影响验收的角色和语气设定；
• 模型已经稳定完成的步骤说明；
• 当前任务不会使用的工具描述；
• 无法改变结果的示例。

每轮都复跑同一任务集。删除后结果不变，说明这组内容可以继续移除；出现退化时，先确认退化能否重复，再恢复该组并缩小到真正必要的规则。

4. 把授权边界写成一处规则

不要在多个段落反复写“先问我”和“不要修改”。更清楚的方式是按请求类型说明边界：

回答、解释、审查、诊断和规划：检查相关材料并汇报结果；请求没有要求修改时，不实施更改。

修改、构建和修复：完成请求范围内的本地更改，并运行相关的非破坏性验证。

外部写入、破坏性操作、付费行为或重大范围扩张：执行前请求确认。

这不是所有项目的固定策略。实际任务仍需补充仓库所有者规定的禁止操作、敏感数据边界和审批要求。

5. 用任务合同替代步骤堆叠

迁移后的提示词可以围绕以下字段组织：

目标：最终交付什么。
上下文：哪些材料是事实来源。
范围：允许和禁止修改什么。
自主权：哪些操作可以直接执行，哪些需要确认。
成功标准：用什么测试、证据或人工检查验收。
输出：最终需要哪些结果和限制说明。
停止条件：何时重试、缩小结论、询问或停止。

示例骨架：

目标：[描述最终结果]

上下文：[输入文件、数据版本或官方依据]

范围：[允许修改的位置与必须保持不变的行为]

自主权：[可直接执行的本地操作；需要确认的外部或破坏性操作]

成功标准：[可观察测试、证据和兼容要求]

输出：[改动、验证结果、未验证项和已知限制]

停止条件：[证据不足、权限缺失或范围需要扩大时如何处理]

任务简单时可以删掉不需要的字段，但不能省略决定正确性和权限的条件。

6. 退化时只补最小规则

如果新配置稳定漏掉证据，不要重新加入整段旧模板。可以只补：

每条关键结论附对应证据；证据不足时缩小结论，不要猜测。

如果模型修改了范围外文件，就补清楚允许路径和扩大范围时的确认条件。规则应直接对应已经复现的失败，而不是预防所有想象中的风险。

补完后还要同时复跑失败任务和原先通过的任务，避免修复一处却破坏另一类请求。

7. 最后再测试其他运行参数

提示词稳定后，才比较不同推理强度、工具组合或执行方式。仍然一次只改变一个变量，并保留：

配置版本。
每个任务的通过与失败证据。
重试和人工修改记录。
无法比较的外部变化。

若任务具有随机性，应使用一致的重复方法和全部样本，而不是只展示表现最好的一次。没有统一输入、验收标准和原始记录时，不应给出成本、性能或质量结论。

8. 结论与限制

提示词迁移的核心不是把旧文本改得更短，而是让每条规则都能对应一个真实风险或验收条件。先固定任务合同，再只换模型；随后逐组删除脚手架，并仅针对可复现退化补回最小规则，才能知道哪些变化真正有效。

本文不提供任何模型的能力、价格或性能结论，也不保证精简提示词必然更好。任务集覆盖不足、外部数据变化和人工评分不一致都会影响结果；发布迁移结论前，应保留输入、配置、输出和验证证据，并明确结论只适用于被测场景。