保持同口径比较：期间、受众与版本

先确定比较要回答什么

“改版后是否更好”“移动端为什么转化低”“两个渠道哪个更适合当前商品”是不同问题。先决定比较对象与主要结果，再选择指标。不要看完所有数字后才挑一个变化最大的值来证明原先期待的结论。

写下原假设和可能影响结果的因素。比如页面调整之后咨询率上升，还可能同时发生广告人群变化。比较能帮助发现差异，但仅靠前后变化通常不能隔离所有其他原因。

时间长度相同还不够

比较期间应考虑长度、星期分布、节假日与活动阶段。完整一周与尚未结束的本周不能直接等同；促销首日与普通工作日也不一定可比。确认报告时区，避免同一访问在两个报表被归入不同日期。

当需要比较不同长度期间时，可以使用适合的平均值，但要保留总量和实际天数。平均化不能消除季节或活动差异。数据量较少时，延长观察并保持条件稳定，比反复缩短区间寻找好结果更可靠。

固定人群与流量组成

固定设备、来源、地域、首次或再次访问等与问题相关的条件。整体转化变化可能只是高转化渠道占比变了，并不是每类用户都改善。先看整体，再查看重要分组中是否存在相同方向的变化。

两个分组可能有重叠，不能把它们的去重用户数直接相加当作总人数。选择分组时也不要加入与业务问题无关的敏感推断。比较的目的是理解可观察的行为差异，而不是给某类人贴永久标签。

指标与页面条件也要保持一致

比较同一报告、同一目标、同一计数单位与观察窗口。页面点击率、元素点击率和目标率的母数不同，不可互相替换。若页面地址、内容结构或按钮配置改变，应记录版本关系，判断是否仍在比较同一对象。

采集配置变化也需要标记。新增事件后出现更多次数，不代表用户突然更活跃；新增目标之前的空白不能作零值比较。先排除测量方式变化，再分析业务变化，避免把实施差异当作增长。

同时看绝对量、比例与样本

比例变化要与人数或次数一起阅读。目标从一次变成两次虽然相对增长很大，仍不足以直接推断稳定改善。报告时给出前后母数、目标数与比例，并说明百分点差和相对变化分别代表什么。

若各条件无法完全一致，列出剩余差异与可能影响，不必强行给出确定赢家。可以把结果写成“观察到变化，仍需排除流量组成影响”。这种结论比省略限制后给出一个漂亮百分比更适合指导后续行动。

保存一份比较条件表

让同事能按这张表复现结果，再将确认后的发现用于企划或改善。下次验证同一假设时，可以直接复用条件并记录必要变更。