robotstxt：功能开关导致页面变化时怎样记录版本状态，先确认变化源：是开关改了输出，还是文件被手改
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /feaa492909b5.html
📄
robotstxt：功能开关导致页面变化时怎样记录版本状态，先确认变化源：是开关改了输出，还是文件被手改
把 robotstxt 本身当作受功能开关影响的动态输出，而不是静态文件，问题就清楚了：你需要在每次开关状态变化时，留下能对应到具体页面版本的记录。可行做法是让 robotstxt 的生成带上一个可读的版本标识，并把该标识与开关配置、页面可见性状态一起存档，而不是只保存文件内容本身。
先确认变化源：是开关改了输出，还是文件被手改
功能开关常以两种方式影响 robotstxt：一是开关直接决定某段规则是否输出，例如某目录的 Disallow 行只在开关开启时出现；二是开关改变页面本身的可抓取状态，例如把一组页面从公开切到登录后可见，而 robotstxt 未变。两种情况的记录重点不同。
区分方法很直接：取开关变更前后的两份 robotstxt 做逐行比对。若差异只出现在规则行，属于第一种；若文件完全一致但页面状态变了，属于第二种。假设某次开关把 /promo/ 目录整体切为需登录，而 robotstxt 中原本就没有针对该目录的 Allow 或 Disallow，那么抓取限制并未改变，变的只是页面返回的可见内容。此时只记录 robotstxt 版本会漏掉真正影响索引的因素。
给每次开关状态分配可回溯的版本标识
不要用日期或“最新版”这类会漂移的命名。建议把版本标识与开关组合绑定，例如 v-promo-off-2024-06 表示促销开关关闭时的规则集。具体动作：
- 在生成 robotstxt 的模板或配置中，加入一行注释记录开关状态，如
# switch: promo=off。 - 把该注释与开关配置文件的哈希值一起写入内部变更记录，而不是写进面向爬虫的正文规则区。
- 每次开关切换后，保存切换前后的两份完整输出，命名包含开关名与状态。
这样做的结果是：当后续发现某目录未被抓取时，你能立刻判断是规则版本挡住的，还是开关让页面本身不可见，下一步排查方向因此不同。
记录页面可见性状态，而不只记录规则文本
开关影响页面时，robotstxt 可能毫无变化，但索引结果会变。此时需要一份与 robotstxt 版本并列的页面状态快照。对读者手中的那份页面清单，逐条标注：该 URL 在开关开启时返回的是完整内容、精简内容还是登录跳转。
一个注明假设的短例子：假设开关控制评论模块的显示，关闭时页面只剩标题和正文。若你只对比 robotstxt，会认为抓取规则未变、无需处理；但实际页面可见内容已减少，可能影响该页对特定查询的相关性判断。记录时应把“开关状态—页面可见部分—robotstxt 版本”三列对齐，而不是只留一列。
把记录变成下一次判断的输入
版本记录的价值在于支持取舍。当开关再次切换时，你可以对照历史记录回答：上一次相同开关状态下，哪些页面被抓取、哪些没有。注意，抓取量或请求量归零不能单独证明处理正确，它还可能来自抓取预算调整、站点整体改版或外部链接变化。因此记录中应同时保留当时的开关配置和页面状态，避免把相关性当成因果。
还需要明确一点：robotstxt 的抓取限制不等于可靠的索引移除。即使你用 Disallow 挡住了某目录，已收录的 URL 仍可能留在结果中。所以当开关导致页面变化时，版本记录要服务于“是否需要额外处理索引状态”的判断，而不是假定改一行规则就完成了全部工作。
最小可执行的记录格式
对每个受开关影响的页面组，维护一条记录，包含：开关名称与状态、robotstxt 版本标识、页面可见性描述、记录时间。字段不必多，但要能回答“当时那个版本下，这个页面是什么状态”。
如果站点同时使用站点地图，注意站点地图不保证收录，它只是提交候选 URL 的渠道。版本记录中可标注该页面当时是否在地图中，但不能把“已提交”当作“已处理”。不同搜索引擎对同一规则的支持情况须分别核查，记录时保留原始输出比只记结论更可靠。
从你手头那份页面清单开始，先补上开关状态和 robotstxt 版本两列，再逐条填入页面可见性。完成这一步后，下一次开关变化时你才有可对比的基线，而不是重新猜测当时发生了什么。
