先给有条件的结论:当同一地址在未登录、已登录、移动端和桌面端之间返回不同内容时,不要把这些结果当成同一个页面来比较收录状态。只有先确认差异来自服务端返回而非浏览器缓存、Cookie 残留或客户端渲染,才适合用网站收录查询工具分别记录,再把差异归入可解释的类别。若差异由登录态触发,收录查询看到的通常是公开版本,用它推断登录后版本的索引情况会失效。
对照的起点不是换设备点开页面,而是固定请求条件。至少固定四项:是否携带登录 Cookie、User-Agent 属于移动还是桌面、是否禁用 JavaScript、是否启用无痕或全新会话。每换一项,只改一个变量,其余保持不变。这样得到的差异才可能指向具体原因,而不是把设备、缓存和账号状态混在一起。
实际操作上,可以先用无痕窗口访问一次,再用已登录窗口访问一次,分别记录页面标题、正文首段、主要导航和是否出现登录后才有的模块。记录的是可观察内容,不是凭印象判断“看起来不一样”。下一步再用网站收录查询工具查询同一地址,看它返回的是哪一版内容或哪一类状态。
登录态最常见的干扰是页面根据账号返回个性化内容,例如用户名、订单入口、推荐列表或权限提示。这类内容对未登录爬虫不可见,收录查询工具通常也只能看到公开版本。此时若你用登录后看到的页面去核对查询结果,会误以为工具漏掉了内容,实际上两者根本不是同一份响应。
判断方法很简单:退出登录后重新访问同一地址,如果标题和正文主体发生变化,说明差异与登录态有关。此时正确的对照对象是退出登录后的公开版本,而不是账号内看到的版本。若公开版本本身也需要交互才显示正文,那问题已经不在收录查询,而在内容是否需要客户端渲染或额外请求才能出现。
移动端和桌面端返回不同内容有两种常见来源。一种是响应式页面,HTML 主体基本一致,只是布局和部分模块显隐不同;另一种是独立移动地址或按 User-Agent 返回不同模板,主体内容可能不同。两者对收录查询的含义不一样。
响应式页面通常可以用同一地址对照,差异多出现在导航折叠、图片尺寸和次要模块。独立移动地址则需要分别查询两个地址,并确认它们之间的对应关系是否明确。若只查询桌面地址就推断移动端收录情况,结论不成立。可以先用同一批地址在两种 User-Agent 下各请求一次,比较返回的标题和正文主体是否一致,再决定查询一个地址还是两个地址。
归类比反复查询更有用。可以按下面顺序判断:
完成归类后,只对需要收录的公开版本做下一步动作。例如确认公开版本正文可直接获取,再提交或观察查询结果。动作的结果会影响下一步:如果公开版本稳定但查询仍显示未收录,问题更可能在抓取或索引判断;如果公开版本本身随请求变化,应先稳定输出,再谈收录。
假设你退出登录后看到完整正文,于是判断该地址公开内容正常、收录查询应能识别。但如果该正文只在特定地区、特定语言或特定 Cookie 缺失时才返回,而收录查询的请求条件不同,结论就会失效。另一种反例是页面通过 JavaScript 在客户端拼接正文,禁用脚本后只剩容器,此时退出登录也不代表公开版本可被直接读取。
因此,登录态一致只是必要条件,不是充分条件。还要确认返回内容不依赖地区、语言、Cookie 或客户端脚本。若这些条件无法固定,收录查询结果只能当作某一条件下的观察,不能当作该地址的唯一状态。
建议做一张最小对照表,字段包括地址、登录状态、User-Agent、JavaScript 开关、页面标题、正文是否出现、查询结果。每个地址至少记录公开未登录和登录后两行,移动与桌面各一行。记录时保留时间点,因为页面和查询结果都可能变化。
然后用这份记录决定下一步:公开版本稳定且查询可见,就继续观察;公开版本稳定但查询不可见,再检查抓取限制、站点地图和内部链接是否指向该地址;公开版本本身不稳定,就先修正输出条件,而不是反复查询。这样处理,网站收录查询工具给出的结果才有可对照的前提,也才能支撑后续判断。