Sitemap 里的网址被 robots.txt 阻止，应该改 Sitemap 还是 robots？
先决定该 URL 是否应该出现在 Google。需要索引的正式页面应允许抓取、返回 200，并保留在规范 Sitemap；不希望抓取的筛选、后台或测试 URL 应从 Sitemap 与内部入口移除。不要让 Sitemap 请求抓取、robots.txt 又拒绝访问同一 URL。
更新于 2026年8月27日
用页面目标决定修改方向
产品、分类、服务或文章本来应索引，就移除误伤它的 robots 规则并检查 CDN / WAF 未拦截 Google。后台、购物车、站内搜索和无限参数本来不应进入搜索，则从 Sitemap 和自动生成来源清理。
核对规范主机和路径规则
检查 Sitemap 中是否混入 HTTP、www、旧域名、重定向 URL 或大小写错误，再用 robots 测试确认命中的具体规则。通配规则容易误伤相似目录，修改前保存原值并抽查同层其他页面。
不用 robots.txt 承担 noindex
robots.txt 控制抓取，不是可靠的移除索引方式。已进入搜索但需要退出的页面，应根据内容使用 noindex、登录保护、404 / 410 或相关重定向；修复后重新提交规范 Sitemap 并观察代表 URL。
Answer feedback
这条回答解决了你的问题吗？
公开票数用于优先完善答案。
还需要进一步协助？
联系李李