识别样本污染的核心动作是先确认分流是否真的随机,再检查不同版本的访客来源、入口和时间段是否可比。如果A版本多来自搜索、B版本多来自推荐,或者两个版本的投放时段错开,那么流量差异就不能归因于版本本身。此时应优先保留分流日志和来源标记,再决定是继续对比、改写分流规则,还是退出这个对比实验。
分流机制造成的污染通常有明确痕迹:同一访客反复切换版本、版本分配依赖登录状态或设备、新旧页面共用同一跳转链接。访客构成造成的污染则表现为两个版本的来源结构不同,比如一个版本承接了更多站内推荐流量,另一个版本主要来自搜索或广告。
区分两者的方法是给每个版本单独标记来源参数,并记录进入时间。假设某店铺把旧详情页保留为A版本、新详情页作为B版本,同时把搜索广告全部指向B版本。这种情况下B版本的转化差异至少有一部分来自广告人群,而不是页面本身。这个例子只说明比较方法,不代表任何真实店铺的结果。
如果来源标记缺失,下一步不是继续扩大流量,而是先补齐标记。因为缺少来源标记时,后续任何版本对比都无法排除访客构成差异。
当污染只出现在某个入口时,可以保留其他入口的对比。例如搜索入口的版本分配混乱,但推荐入口的分配稳定,那么推荐入口的数据仍可作为参考。前提是推荐入口的访客在版本之间没有系统性差异,且两个版本在同一时间段内都有足够访问。
需要改写的是分流规则本身。常见做法包括:按访客标识稳定分配、避免同一访客跨版本、把广告和自然流量分开统计。改写后应观察分流日志是否仍然出现同一访客多次切换。如果切换消失,说明污染源被控制;如果仍然存在,则需要检查是否有旧链接或旧系统在继续导流。
这里有一个实际动作:在分流规则中增加版本粘性,让同一访客在设定周期内始终看到同一版本。执行后如果两个版本的来源结构趋于接近,就可以继续对比;如果来源结构仍然分化,说明还有外部入口在绕过分流规则。
退出对比的条件不是流量低,而是无法建立可比性。具体包括:旧版本仍在被外部系统调用且无法加标记;新旧版本面向不同人群且无法拆分;或者旧版本已经停止维护,继续保留只会增加分流噪声。
退出时不必删除旧内容。可以保留旧版本作为存档,但停止把它纳入流量对比。保留的前提是旧版本仍有独立价值,比如承接老链接、满足特定合作方的展示要求。如果旧版本既无法标记来源,又没有独立承接价值,那么退出对比比继续观察更合理。
需要注意的是,退出对比不等于旧版本没有流量。它只是不再作为判断新版本效果的样本。后续判断新版本时,应只使用分流规则稳定、来源标记完整的访客。
确认污染被排除需要三条证据:分流日志显示同一访客不再跨版本;来源标记显示两个版本的入口结构接近;时间分布显示两个版本的访问时段没有明显错开。三条证据缺一条,就只能说污染可能降低,不能说已经排除。
第三方估算流量、平台后台报告和站内统计的口径不同,不能直接用一方的总量去校验另一方的版本差异。更可靠的做法是回到分流日志和来源标记,检查同一访客在版本之间的分配是否稳定。如果某个指标突然归零,也不能单独证明处理正确,它可能是统计延迟、入口关闭或标记丢失造成的。
当证据链完整时,下一步才是比较版本效果;当证据链不完整时,下一步应继续修正分流或退出该对比。这个顺序能避免把样本污染误读成版本优劣。