在网站性能分析中,避免把相关当成因果的核心做法是:先确认两个指标在时间、对象和口径上确实对应,再检查是否存在共同原因、反向因果或选择偏差,最后用分段对比或受控测试验证。相关只说明两个量一起变化,因果要求改变其中一个能单独引起另一个变化。下面这份清单按“要查什么、怎么查、结果说明什么”组织,可直接用于日常诊断。
要查什么:疑似原因是否发生在结果变化之前,而不是同时或之后。
怎么查:把两个指标按同一时间粒度(如按天或按周)列出,标出各自明显变化的起点。若A指标在3月上升,B指标在2月已上升,则A不可能是B的原因。
结果说明什么:若原因晚于结果出现,基本可排除该因果方向;若时间接近,仍需继续排查共同原因。注意站内统计、第三方估算流量与搜索引擎报告的口径和时区可能不同,直接对齐日期容易产生错位。
要查什么:是否存在同时影响两个指标的第三因素,例如一次改版、一次投放、一次算法更新或季节性波动。
怎么查:在时间轴上标注所有已知事件,再看两个指标的变化是否都落在同一事件之后。例如页面加载变慢和跳出率上升同时出现,可能是服务器扩容期间流量结构变化所致,而非加载速度单独造成跳出。
结果说明什么:若两个指标都能被同一事件解释,就不能把其中一个当作另一个的原因。此时应把该事件作为控制变量,再比较事件前后或受影响与未受影响的页面。
要查什么:两组数据统计的是不是同一批页面、同一批用户、同一统计口径。
怎么查:对比分母。站内统计的“访问次数”与第三方估算的“访问量”常不一致;只统计已登录用户的行为,与全部访客的行为也不可比。若A组只包含移动端、B组只包含桌面端,差异可能来自设备而非你假设的原因。
结果说明什么:口径不同则相关本身可能就是假象,先统一口径再谈因果。样本量过小或时间过短时,波动可能只是随机噪声。
要查什么:把数据按一个维度切开后,相关性是否仍然存在。
怎么查:按页面类型、流量来源、设备或地区分组,分别看两个指标的关系。假设整体上“页面体积越大,转化率越低”,但按来源分组后,自然搜索流量中两者关系消失,只有付费流量中明显——这说明来源可能是共同原因。
结果说明什么:若分组后关系消失或反转,整体相关很可能是混杂造成的。若分组后关系稳定,因果证据增强,但仍不等于已证实。
要查什么:改变疑似原因后,结果是否随之改变,且没有其他因素同时变动。
怎么查:选一批条件相近的页面,只对其中一部分做单一改动(例如只压缩图片,不改文案和结构),另一部分保持不变,比较两组在改动前后的差异。一次只改一个变量,记录改动时间和范围。
结果说明什么:若改动组变化明显大于对照组,且改动前后其他条件稳定,因果证据较强;若两组变化相近,则原相关可能只是共同趋势。小范围验证不能保证全站同样成立,适用条件是与测试页面类型、流量结构相近的页面。
面对一个相关性发现,可以选择“先观察再决定”或“直接做受控测试”。当改动成本低、影响面小、时间充裕时,先观察并补充分段对比即可;当改动会影响收入、涉及全站或需要尽快决策时,优先做受控测试,用对照组分清因果。判断标准是:如果错误归因的代价高于测试成本,就选择测试。
下一步:挑一个你当前最想归因的相关性发现,按上面五项逐条填写,标出哪一项证据缺失,再决定是继续观察还是设计一次只改一个变量的对比测试。