robots.txt 已屏蔽的网址为什么还会出现在 Google？

禁止抓取不等于禁止展示

Google 的robots.txt 说明指出，被禁止抓取的 URL 仍可能因其他页面链接而被索引，搜索结果可能只显示 URL 而没有摘要。robots.txt 适合管理抓取范围，不是保护秘密内容或移除索引的可靠工具。

选择与目标一致的方法

• 公开可访问但不希望进入搜索：解除该 URL 的 robots 屏蔽，让 Google 抓取并读取 noindex。
• 内容敏感或只限客户：使用登录、权限控制或其他访问限制，不能靠 robots.txt 隐藏。
• 需要临时加快隐藏：可在 Search Console 使用移除工具，同时在源站实施 noindex、404/410 或访问控制作为长期方案。

Google 的noindex 说明明确，爬虫必须能访问页面才能看到 noindex；两种规则同时使用会让 noindex 无法被读取。

修改后别只检查规则文件

确认 robots.txt 已允许目标 URL，公开响应包含预期的 meta robots 或 X-Robots-Tag，且没有被 CDN 缓存旧版本。再用 URL 检查测试实时网址并等待重新抓取。若 URL 仍从站内导航或 Sitemap 被发现，也应按真实需求更新这些入口，但入口移除不能代替正确的索引指令。