网站收录情况：怎样识别配置互相冲突 - 从抓取到索引逐层排查

📍 WDQWDWQD987AAAAA:216.73.217.131
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f5bd31f0b0cb.html
📄

网站收录情况：怎样识别配置互相冲突 - 从抓取到索引逐层排查

识别配置互相冲突，核心方法是把影响“抓取—索引—展示”的规则逐条列出，找同一对象上方向相反的指令。例如 robots.txt 禁止抓取某目录，页面却用 meta robots 要求 index；或者站点地图提交了 URL，robots.txt 又整体屏蔽了爬虫。判断冲突不能只看单个文件，要把 robots.txt、meta robots、X-Robots-Tag、canonical、站点地图、服务器状态码放在同一张表里对照。

先观察：收录异常有哪些可核对的现象

不要凭感觉说“没收录”。用 site: 查询只能作为粗略线索，不同搜索引擎的语法与结果差异很大，必须分别核查。更可靠的做法是查服务器日志中的爬虫访问记录、看搜索引擎站长平台里的抓取与索引报告，再用 URL 检查类工具看单页状态。常见现象包括：页面长期不出现、出现的是另一个 URL、标题描述与预期不符、抓取频次突然下降。

把这些现象对应到配置层：

判断：同一对象上方向相反的指令

冲突的本质是“一个信号说允许，另一个信号说拒绝”，或者“两个信号指向不同 URL”。逐项比对时，重点看以下组合。

  1. robots.txt 与 meta robots 冲突。 robots.txt 写 Disallow: /a/，而 /a/ 页面写 index,follow。注意：robots.txt 禁止抓取后，爬虫可能读不到页面里的 meta 指令，因此页面上的 index 无法生效。robots.txt 的限制不等于可靠的索引移除，被禁止抓取的 URL 仍可能因外链被索引。
  2. meta robots 与 X-Robots-Tag 冲突。 页面 HTML 里写 index，HTTP 响应头写 noindex。两者作用对象相同，需确认哪个实际生效，通常以响应头为准，但不同爬虫实现要分别核查。
  3. canonical 与自身信号冲突。 页面 A 的 canonical 指向 B，但 A 又在站点地图里被提交，且 A 的 meta robots 是 index。这会让爬虫收到“这是副本”和“请收录我”两个相反信号。
  4. 站点地图与 robots.txt 冲突。 站点地图列出 /b/，robots.txt 却禁止 /b/。站点地图不保证收录，被禁止抓取的 URL 出现在站点地图里属于自相矛盾。
  5. 重定向与 canonical 冲突。 URL 301 跳到新地址，旧地址的 canonical 却指向自己，或新地址 canonical 指回旧地址，形成循环或矛盾。

处理：用一张对照表定位并修正

多人协作时，返工往往来自“各改各的”。建议先建一张表，每行一个 URL，列为：HTTP 状态码、robots.txt 是否允许、meta robots、X-Robots-Tag、canonical 目标、是否在站点地图、期望索引结果。填写时用实际抓取结果，不要凭记忆。

可执行步骤：

  1. 对目标 URL 发一次请求，记录状态码和响应头，重点看 X-Robots-Tag。
  2. 打开页面源码，记录 <meta name="robots"> 和 <link rel="canonical"> 的值。
  3. 在 robots.txt 中查该路径是否被 Disallow，注意通配符和结尾符号。
  4. 在站点地图中查该 URL 是否被提交，以及提交的版本是否与 canonical 一致。
  5. 把以上结果填进对照表，标出方向相反或目标不一致的行。

修正原则：先统一“是否允许抓取”，再统一“是否允许索引”，最后统一“以哪个 URL 为准”。改动后记录修改人和时间，避免多人同时改同一文件。

复查：改完不等于生效

配置修改后，爬虫不会立刻重新抓取。复查要分两步：先确认服务器返回的内容已经是新配置，再等爬虫重新访问后看索引状态。可以用日志确认爬虫是否再次抓取目标 URL，用站长平台的 URL 检查工具请求重新抓取。若多日无变化，回到对照表，检查是否还有未清理的旧规则，例如 CDN 或反向代理层额外添加的响应头。

判断是否真正解决的依据是：同一 URL 在 robots.txt、meta robots、X-Robots-Tag、canonical、站点地图五个位置上的信号方向一致，且实际抓取返回的状态码与预期相符。HTTPS 只解决传输加密，不保证页面安全无漏洞，也不保证收录或排名，不要把它当作收录问题的答案。

下一步：挑一个当前收录异常的 URL，按上面的对照表逐项填写，先找出方向相反的那一行，再决定改哪个文件，并把修改记录同步给协作同事。

图1 图2
nginx