死链处理方法：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f99b80013750.html
📄
死链处理方法：源站正常而边缘节点异常时应保留哪些证据
先给结论：源站返回正常、边缘节点却给出异常状态时，要保留的不是一条“死链”记录，而是能证明差异发生在哪一层的证据。最小集合是同一时刻的源站响应、边缘响应、请求头、响应头、节点标识和抓取时间；缺少其中任何一项，后续处理都可能改错地方。若只能保留一组，优先保留带节点标识的完整响应头，因为它能区分是回源失败、缓存了旧结果，还是节点自身配置问题。
先判断异常是否稳定复现，再决定证据保留的粒度
边缘异常有两种走向，对应的证据策略不同。
- 稳定复现：同一 URL 在多个时间点、多个节点都异常，而源站始终正常。此时重点保留“对照关系”，即同一时刻的源站响应与边缘响应成对出现，并记录节点标识。单边证据没有说服力。
- 间歇出现：有时正常、有时异常，或只在部分节点异常。此时重点保留“时间序列”，即多次抓取的响应头、时间戳和节点标识，用来判断是否与缓存过期、回源超时或节点调度相关。
判断依据是：如果异常只出现在边缘侧且与节点相关，问题大概率在边缘配置、缓存或回源链路；如果源站响应本身就不稳定，则不属于本篇讨论的范围，应回到源站排查。这个区分决定了下一步是找边缘侧还是找源站，做错方向会浪费大量时间。
必须保留的证据清单，以及每项证据能排除什么
下面这份清单按“能回答什么问题”组织，而不是按工具分类。
- 完整 URL 与抓取时间：精确到分钟。用于对齐源站与边缘的两次请求是否发生在同一时段，排除“先后抓取导致结果不同”的解释。
- 源站响应状态码与响应头：确认源站确实正常，并保留
Cache-Control、ETag、Last-Modified等字段。这些字段决定了边缘是否应该缓存、缓存多久。 - 边缘响应状态码与响应头：重点看边缘是否附加了自己的缓存标识、回源标识和节点信息。异常状态码出现在这一侧，才是本篇要处理的对象。
- 请求头：尤其是
Host、User-Agent、Accept-Encoding和缓存相关头。不同请求头可能命中不同缓存键，这能解释“为什么你看到异常、别人看到正常”。 - 节点标识：没有它就无法判断异常是全局还是局部。若边缘响应头中不含节点信息，可记录解析到的 IP 作为替代，但要注明这是间接证据。
- 抓取方式说明：说明是用命令行、浏览器还是其他方式获取，是否跟随重定向。方式不同会得到不同结果，不注明会导致证据无法复现。
一个假设例子：某 URL 源站返回 200，边缘返回 404。若边缘响应头里带有较长的缓存年龄，且源站响应头允许长期缓存，那么更合理的解释是边缘缓存了旧结果，而不是源站内容消失。此时下一步应是核对缓存键与刷新策略，而不是去改源站的链接。这个判断完全依赖上面第 2、3、4 项证据是否齐全。
两种条件下该保留什么、放弃什么
条件一：能拿到节点标识，且异常集中在少数节点。此时保留每个异常节点的独立响应头，并额外保留一个正常节点的响应头作为对照。动作是：把异常节点与正常节点的响应头逐字段对比，找出差异字段。结果通常是定位到某个缓存规则或回源配置只影响部分节点，下一步就是针对该配置核对，而不是全量刷新。例外是：如果所有节点都异常，节点对照就失去意义，应转向核对全局缓存键和回源策略。
条件二：拿不到节点标识，只能看到统一入口的响应。此时不要假装能区分节点，改为保留时间序列：在多个时间点重复抓取，记录每次的状态码与响应头变化。动作是：观察异常是否与时间规律相关。若异常总在缓存过期窗口附近出现，下一步应核对缓存时长与回源超时设置；若异常随机出现，则更可能是回源链路不稳定，需要保留更密集的时间点样本。例外是：如果时间序列里异常与正常交替且无规律，单靠这些证据不足以定论，应补充源站侧的访问日志作为交叉验证。
容易误导判断的几个信号
有些现象看起来像证据，实际不能单独支撑结论。
- 抓取量或请求量突然归零，不能单独证明边缘处理正确。它也可能是抓取工具本身失败、网络中断或请求被本地拦截，需要与状态码证据一起看。
- 边缘返回 404 不等于链接真的失效。它可能来自缓存旧结果、回源失败被改写，或节点配置错误。必须与源站响应对照后才能定性。
- 站点地图里保留该 URL，不保证它会被正常抓取；robots.txt 的抓取限制也不等于可靠的索引移除。这两项都不能替代对边缘响应的直接核查。
- HTTPS 可用不代表链路无问题，它既不保证安全无漏洞，也不保证排名，更不能用来解释边缘状态异常。
把这些信号与前面的证据清单分开存放，避免在汇报或排查时把“相关现象”当成“因果结论”。不同搜索引擎对边缘异常的处理和支持情况需要分别核查，不要用一家的表现推断另一家。
证据交出去之后，下一步怎么走
整理完证据后，先做一次自检：能否用现有材料回答“异常发生在哪一层、影响哪些节点、是否与时间相关”这三个问题。能回答，就按对应方向处理；不能回答，说明还缺节点标识或时间序列，应补齐后再动手。这样做的结果是，处理动作有明确指向，而不是在源站和边缘之间反复试探。证据保留的终点不是存档，而是让下一个动作有依据。
