📍 WDQWDWQD987AAAAA:216.73.216.165
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8fa729c6886e.html
📄

网站建设规划，上线前怎样核对抓取与索引配置

上线前核对抓取与索引配置，核心是确认三件事：爬虫能拿到页面、拿到的页面允许被索引、索引入口指向正确版本。下面用一个假设例子说明完整流程。

假设一个常见场景

假设你有一个企业站，原域名是 old.example.com，新站部署在 new.example.com，准备把新站作为正式站点上线。页面已经做好，内容也迁移完毕。此时如果直接上线，可能出现三种结果：旧域名仍被索引、新域名被 robots.txt 挡住、两个域名内容重复导致权重分散。下面按顺序核对。

第一步：核对 robots.txt 是否放行

在浏览器访问 https://new.example.com/robots.txt，重点看两处：

• 是否有 Disallow: /。如果测试阶段加过全站屏蔽，上线前必须删掉或改成只屏蔽后台路径。
• 是否误屏蔽了 CSS、JS 或图片目录。部分搜索引擎需要渲染页面，资源被屏蔽会影响抓取判断。

判断结果：如果 robots.txt 返回 404，说明文件不存在，爬虫默认可以抓取，这不算错误；如果返回 200 但内容屏蔽了全站，就是明确的阻断项，必须先处理。

第二步：核对页面级 meta robots

查看首页和几个代表性内页的 HTML 源码，搜索 meta name="robots"。常见错误是模板里带着 noindex,nofollow，测试完忘记去掉。

• noindex：页面不会被索引，必须移除。
• nofollow：页面可以索引，但链接不被追踪。如果只是测试遗留，也应移除。
• 没有该标签：默认允许索引和追踪，属于正常状态。

注意区分“可能原因”和“已定位原因”。页面没被索引，可能是 meta robots 屏蔽，也可能是 canonical 指向了别的 URL，还可能是服务器返回了异常状态码。不要看到没索引就只改一处。

第三步：核对 canonical 与域名版本

canonical 标签告诉搜索引擎哪个 URL 是首选版本。上线时最容易出错的是：页面部署在新域名，canonical 却还写着旧域名，或者 http 与 https、带 www 与不带 www 混用。

可执行检查：打开新站页面源码，确认 link rel="canonical" 的地址与当前访问地址一致。如果站点统一使用 https 且不带 www，那么所有 canonical 都应是 https://new.example.com/...，不能出现 http:// 或 https://www. 前缀。

适用条件：这一项在多域名、多协议、多子目录并存时尤其重要。单域名单协议的小站，风险相对低，但仍建议核对一遍。

第四步：核对服务器状态码与重定向

用命令行或在线工具请求几个关键 URL，看返回状态：

• 200：正常可访问。
• 301：永久重定向，适合旧域名指向新域名。
• 302：临时重定向，不适合作为域名迁移的长期方案。
• 404：页面不存在，检查是否漏传文件或路径写错。
• 5xx：服务器错误，先解决服务端问题再谈抓取。

旧域名到新域名的跳转，建议用 301 且逐页对应，不要全部跳到首页。全部跳首页会让搜索引擎难以判断新旧页面的对应关系。

第五步：提交入口并观察抓取

配置核对完成后，可以通过搜索资源平台的站点验证与提交功能，提交新域名和主要页面。不同搜索引擎的提交入口和报告名称不同，以各平台实际界面为准。

提交后不要立刻期待收录。可以观察抓取统计、索引覆盖报告中的排除原因，逐条对照前面几步排查。常见排除原因包括“已被 robots.txt 屏蔽”“noindex 标记”“canonical 指向其他页面”“重复内容，未选为规范页”。

下一步建议：把上面五步做成一张上线检查清单，每次发版前逐项打勾；如果发现旧域名仍有大量页面被索引，优先处理 301 映射，而不是先改内容。