Sitemap 里的网址被 robots 挡了,改哪一边?

先决定这个网址要不要出现在 Google。需要被索引的正式页面,就要允许抓取、返回 200,并留在规范 Sitemap 里;不希望被抓的筛选、后台或测试网址,就应该从 Sitemap 里拿掉。

更新于 2026年8月27日
0 人已解决

用页面目标决定改哪一边

产品、分类、服务或文章本来应索引,就移除误伤它的 robots 规则并检查 CDN / WAF 未拦截 Google。后台、购物车、站内搜索和无限参数本来不应进入搜索,则从 Sitemap 和自动生成来源清理。

核对规范主机和路径规则

检查 Sitemap 中是否混入 HTTP、www、旧域名、重定向 URL 或大小写错误,再用 robots 测试确认命中的具体规则。通配规则容易误伤相似目录,修改前保存原值并抽查同层其他页面。

别让 robots 承担 noindex 的职责

robots.txt 控制抓取,不是可靠的移除索引方式。已进入搜索但需要退出的页面,应根据内容使用 noindex、登录保护、404 / 410 或相关重定向;修复后重新提交规范 Sitemap 并观察代表 URL。

Answer feedback

这条回答解决了你的问题吗?

公开票数用于优先完善答案。

还需要进一步协助?

联系李李