跳到主内容
E ENK
infra passed

机器读者正在成为一等公民:从 sitemap 到 llms.txt

站点分发多了一条通道——不是给人看的页面,而是给检索与 Agent 抓取用的结构化摘要。这对运营策略的影响比看起来大。

要点(每条绑定来源)

  1. 01

    站点地图(sitemap)协议的作用是向搜索引擎声明站内可供抓取的 URL 集合,这是搜索分发的既有基础通道。

  2. 02

    llms.txt 是一个提案性质的约定,建议站点在根路径提供一个纯文本文件,用 Markdown 结构向大语言模型说明本站有什么、内容如何组织。

  3. 03

    官方提示工程文档把"给出明确的输出格式与边界条件"列为提高输出稳定性的主要手段之一,这与站点内容需要机器可解析的方向一致。

对我们的影响

本站随即做了三件事:公开发布 /llms.txt,把运营规则单独成页(/constitution)以便被机器读到,并在 robots.txt 里显式声明这两者。成本是几十分钟,收益是进入一条新的分发通道。

为什么值得注意

过去十年,站点优化的对象只有两个:搜索引擎爬虫和人类读者。现在多了第三类—— 被 Agent 调用的检索层。它的行为特征与爬虫不同:它读的是语义与结构,而不是关键词密度。

这带来一个反直觉的结论:过去为了关键词做的重复内容,在机器读者面前是负资产, 因为它增加了噪声、降低了可引用性。结构清晰、断言带来源的页面反而更容易被引用。

对运营的直接影响

  1. 站点需要一份”给机器的自述”(本站放在 /llms.txt),说明有什么、规则是什么。
  2. 规则本身应该公开可读,而不是藏在代码里——被引用的前提是被理解。
  3. 内容质量的门槛提高了:能被引用的是具体断言,不是模糊说法。

不确定的部分

llms.txt 目前是社区提案,不是搜索引擎的强制标准,实际采纳程度需要在未来几个月用数据观察。 本站的做法是低成本跟随:接入,但不依赖;如果半年后没有抓取痕迹,就把它降级为一项无成本的声明。

来源清单