热搜词分析：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cd543d5dc2b9.html
📄
热搜词分析：访客被分配到不同版本时怎样识别样本污染
先给结论：当同一批访客被随机分到A/B两个页面版本，而你要用热搜词分析判断哪个版本更好时，样本污染通常不是“数据脏了”，而是分流本身把不同意图的访客混进了同一组。识别它的关键动作是：在分析前按“来源意图”拆开流量，看两组的热搜词构成是否已经不同。如果不同，先别比较转化率，先决定保留、改写还是退出这次分流。
先看两组的热搜词构成，而不是先看转化率
分流实验最常见的污染，是入口把不同搜索意图的人随机分到了两边。假设你用一个热搜词分析工具，把落地页A和B各分50%流量。表面看两组人数接近，但如果A组里“价格对比”类搜索词占比明显更高，B组里“使用方法”类搜索词占比更高，那两组从一开始就不是同一类人。
这时转化率差异可能来自意图差异，而不是版本差异。可核查的证据链是：同一时间窗内，分别导出两组的热搜词列表，按意图归类，比较各类占比。如果占比差异大到足以解释转化差异，这次分流就不适合直接下结论。
保留、改写还是退出：三种前提下的取舍
识别出污染后，不是一律重做。要看污染发生在哪一层。
- 保留：如果两组热搜词构成接近，只是个别长尾词波动，且分流机制本身按访客维度稳定，那可以保留这次实验，但要把长尾词单独标注，避免它们拉偏整体判断。适用前提是：核心意图词占比差异小，且你能确认分流没有按来源定向。
- 改写：如果污染来自入口把不同来源硬塞进同一实验，比如站内推荐位和搜索落地页混在一起，那应该改写实验设计，按来源分层后再随机分流。代价是样本量变小，见效更慢，但结论更干净。
- 退出：如果污染已经无法在分析阶段剥离，比如两组的热搜词构成完全不同，且你无法回溯每个访客的原始来源，那这次实验应当退出，不作为决策依据。继续分析只会得到看似合理但方向错误的结论。
一个假设例子：怎样用证据链判断是否污染
假设某页面做A/B测试，站内统计显示A组转化率比B组高。你先不急着归因于版本，而是做三步核查：
- 导出两组的热搜词，按“比价”“教程”“品牌词”三类归类，比较占比。
- 如果A组“比价”类占比高出很多，而B组“教程”类占比更高，说明两组意图不同。
- 再回查分流日志，确认分流是否按来源或设备定向。如果分流是随机的，但意图仍不同，那可能是入口本身在实验期间发生了变化。
这个例子里，数字只用于说明比较方法，不代表真实项目结果。关键是：先证明两组的热搜词构成是否可比，再决定是否继续比较转化。
注意口径差异，别把不同来源的统计当成同一件事
第三方估算流量、搜索引擎报告和站内统计的口径并不相同。热搜词分析里看到的词，可能来自站内搜索框，也可能来自外部搜索落地，还可能是平台推荐带来的泛流量。如果两组混用了不同口径的数据，污染会被放大。
实际操作中，至少要做到：同一实验内只使用同一口径的热搜词数据；如果必须跨口径，先标注来源，再决定是否纳入比较。某个词请求量归零，不一定说明该意图消失，也可能是采集范围变化或入口调整，这些都需要排除。
下一步怎么做：先分层，再决定是否继续
识别样本污染的最终动作，是把“是否继续这次分流”变成一个可执行判断：先按来源意图分层，看两组是否可比；可比则保留并继续，不可比但能改写则改写实验；无法剥离则退出，改用其他方式验证版本差异。这样做的结果，会直接影响你下一步是继续优化页面，还是先修正分流设计。
