先给结论:分组结论与总体相反,绝大多数情况不是数据错了,而是你在两个层级上用了不同的分母。要查的不是“谁对谁错”,而是把每个结论背后的分母写出来,确认它到底排除了谁、包含了谁。下面用一个假设情境把这件事拆开。
假设某内容站有三个角色同时看一份月度报表,讨论“移动端表现是否在下滑”。
三个结论互相矛盾,但都来自同一份数据。问题不在结论,而在各自的分母不同。A的分母是全站访问,B的分母是“被选中的三个栏目”,C的分母是“全部请求”。
不要先争论结论,先让每个人用一句话说清分母。格式固定为:“我这个比例 = 分子 ÷ 分母,分母的范围是____,排除了____。”
以上面的假设为例:
写完之后通常会发现,B 的分母只是 A 分母的一个子集,而且这个子集恰好是移动端表现较好的部分。分组结论与总体相反,往往就是“被选中的分组本身结构特殊”。
把三个分母放在一起比对,只看两个问题:
这一步的动作是:拉一张按栏目拆分的表,列出每个栏目的移动端占比和访问量,再手动合成一个总体占比,看能否还原A看到的58%。如果还原不出来,说明分母口径还有别的东西没写清,比如是否包含重复访问、是否包含特定来源。
这个动作的结果直接决定下一步:如果能还原,说明分歧只是口径问题,统一分母即可;如果还原不出来,说明至少有一个人的数据源或统计范围不同,需要先核对数据来源,而不是继续讨论结论。
分组与总体相反,还有一种常见原因是:占比的分母在动,而不是分子在动。
假设移动端访问数其实没变,但桌面端访问因为某个活动大幅增加,那么移动端占比自然下降,总体看起来“移动端退步”,而移动端本身并没有退。反过来,如果某个栏目整体访问缩水,它的移动端占比也可能被动上升。
所以查分母时要同时看两列:分子(移动端绝对值)和分母(该层级的访问总量)。只看占比会掩盖分母的移动。判断依据是:如果分子基本不变、分母明显变化,那结论应该描述为“结构变化”,而不是“移动端表现变化”。
要让三个角色停止各说各话,把讨论转成一张可核对的清单:
需要提醒的是,抓取量、请求量或某个指标出现变化,不能单独用来证明某个处理正确,也不能单靠一个指标反推搜索算法的行为。它只能说明“这个口径下数字动了”,至于原因,需要结合多个证据链判断。
遇到“分组结论与总体相反”,按这个顺序走:先写出每个人的分母;再确认子集占全体的比例;然后同时看分子和分母的绝对值变化;最后统一问题与口径。多数情况下,走到第二步就能发现分歧只是分母范围不同;少数情况下,会发现有人用了不同来源的数据,那才是真正需要解决的技术问题。
把分母写清楚,比争论谁的结论对更有用,因为它让每个人都能用同一套数字重新算一遍。