先别急着推翻总体结论,也不要直接相信分组结论。辛普森式反转通常不是数据错了,而是两层的分母口径不同:总体用的是全部请求或全部用户,分组用的是各子集自己的请求或用户。要查清反转原因,第一步是把两层的分母列出来,确认它们分别代表什么,再看权重变化是否足以解释方向差异。
把总体指标和分组指标放在同一张对照表里,每一行都写清三列:分子、分母、口径说明。分母至少要回答三个问题:统计的是请求、会话还是用户;时间窗口是否完全一致;过滤条件是否相同(例如是否排除爬虫、预加载、内部访问)。如果总体排除了某类流量而分组没有排除,反转很可能只是口径不一致。
一个可操作的检查动作是:用分组的分母重新加总,看能否还原出总体的分母。若加总结果与总体分母对不上,说明两层统计的不是同一批对象,此时讨论“谁对谁错”没有意义,应先统一口径再比较。
总体里占比大的分组,可能在新旧内容之间分布不均。假设旧页面请求量占总体七成、新页面占三成;旧页面慢但基数大,新页面快但基数小。总体看是慢的,分组看新页面却很快。这不是矛盾,而是总体被大分组拉高了。验证方法是把各组的分母占比和组内指标并列,看总体指标是否更接近占比大的那一组。
常见情况是:总体统计排除了某种低价值流量,而分组统计没有排除,或者反过来。此时反转往往集中在被过滤的那部分流量上。动作是分别在“保留过滤”和“取消过滤”两种条件下重算两层指标,观察反转是否消失。如果消失,问题在过滤规则,不在业务本身。
总体用整月,分组却按周统计后拼合,月末的流量变化会被平均掉。验证时把两层都收敛到同一时间粒度,例如都按天或都按周,再看反转是否仍在。这一步能排除大部分由采样和窗口造成的伪反转。
分母查清之后,决策依据不是“总体好还是分组好”,而是每组的单位成本与剩余价值。可以按以下顺序判断:
假设一个旧栏目在总体统计里表现很差,但按页面类型分组后,其中少数几篇的停留时间明显高于同类。这里的“高于”只是组内比较,不能直接推断它们对总体有正向贡献。下一步应查这几篇的分母是否包含外部跳转或机器访问;若包含,先剔除再判断,否则保留决定可能建立在被污染的分母上。
第三方估算流量、搜索引擎报告与站内统计的分母口径本来就不同,不能互相替代。看到某组流量或抓取量下降,不要直接归因于内容质量,它还可能来自统计工具更换、过滤规则调整、站点结构变化或采样范围变化。可核查的证据链至少包括:原始日志中的请求数与去重用户数、站内统计的会话定义、以及两次统计之间的配置变更记录。
具体动作是:为每个待判断分组建立一行记录,写明分母来源、时间范围、过滤条件和最近一次配置变更。当反转出现时,先比对这一行记录,而不是先改内容。如果分母来源不同,先统一来源;如果配置有变更,先还原变更前的口径重算。这一步的结果会直接决定下一步是调整统计口径,还是进入保留、改写或退出的取舍。
反转本身不证明任何一方正确,它只说明两层在回答不同的问题。查分母的目的,是确认你比较的到底是同一批对象,还是被权重和过滤条件重新定义的两种口径。