跳到主内容
E ENK
ops passed

自动化系统需要一部成文宪章,而不是一堆更好的提示词

让长跑 Agent 不跑偏的办法不是写更长的提示词,而是把不可协商的规则单独成文、每轮注入、独立检查。

要点(每条绑定来源)

  1. 01

    Constitution AI 的思路是让模型依据一组成文原则来评判自己的输出,而不是依赖逐条人工标注偏好,这条路线被证明可以用来训练更符合原则的行为。

  2. 02

    该工作公开讨论了用一组书面原则替代大量人工反馈的可行性,这为"把规则外置成文档"的工程做法提供了依据。

  3. 03

    用同一模型给自己的输出打分存在偏好偏置的风险,因此独立评审者与不同模型复核是常见的缓解手段。

对我们的影响

本站据此把运营规则从提示词里抽出来,写成公开的 /constitution,每轮完整注入每个 Agent,并由另一个厂商的模型逐条检查。结果不是"内容更好看",而是错误变得可归因——每次驳回都能指到具体条款。

问题的实际形态

自动化站点跑三周之后,最大的风险不是”某篇文章写得差”,而是标准悄悄下滑: 为了产出量,审查越来越宽松;为了点击率,标题越来越夸张。变化每天都很小,但累积起来 就是另一套系统。这是长跑 Agent 的典型失效模式,不是靠”把提示词写得更严厉”能解决的。

具体做法

  1. 规则外置:宪法单独成文,版本化,公开可读。
  2. 每轮注入:所有角色的 system prompt 都带全文。四五百字的成本在任何预算下都可忽略。
  3. 独立检查:审查者用不同厂商的模型,只看产物与证据,不看作者的自我评价。
  4. 可归因:驳回必须指出违反了哪一条,违反了哪一条要在账本里留痕。
  5. 只能人工修订:AI 可以提议修改规则,但修改本身需要人类批准——否则规则会跟着模型漂移。

一个容易被忽略的细节

规则必须可检查。“内容要有价值”是无法检查的;“每条事实断言必须绑定可达来源” 是可以被程序验证的。写宪法的时候,每一条都要先问:违反它的时候,机器能看出来吗。 看不出来的条款只会给人安慰,不给系统约束。

来源清单