Search Console 报 robots.txt unreachable，应该先排查什么？
先直接请求站点根目录的 `/robots.txt`，在不同网络记录状态码、响应时间和正文，再对照同一时段的 CDN、WAF、源站与 DNS 日志。超时、5xx、重定向循环、验证拦截或偶发解析失败都可能让 Google 无法取得文件。不要用删除 robots.txt 或全站放行掩盖可用性问题。
更新于 2026年8月26日
先验证文件是否稳定可取
从浏览器和命令行请求规范主机的 /robots.txt，记录时间、状态码、跳转链、首字节时间和响应正文。Google 的robots.txt 故障说明强调抓取器必须先取得并解释该文件；一次本地返回 200 不能排除间歇超时或特定节点故障。
对照基础设施同一时间的记录
检查 DNS 是否稳定、证书是否有效、CDN/WAF 是否对机器人触发质询或限流、源站是否返回 5xx，以及部署时是否短暂移除了文件。robots.txt 必须位于对应协议与主机的根目录，内容类型和文本也应可读取，不要把它只放在后台或另一个子域。
恢复后核对内容和抓取
可用性恢复后，再检查规则没有误封重要 CSS、JavaScript、图片或页面，Sitemap 地址仍正确。保留一段时间的可用性监控和 Googlebot 日志；不要因为“unreachable”就临时改成 Disallow: 全空，网络故障与规则内容是两个不同问题。
Answer feedback
这条回答解决了你的问题吗？
公开票数用于优先完善答案。
还需要进一步协助？
联系李李