—关注作者，送A/B实验实战工具包
做 AB 实验时，新手看“均值”，高手看“趋势”。
很多实验会出现这种诡异的现象：
- 剧本 A：上线第一天，点击率暴涨 20%，全团队开香槟。一周后，数据掉回原点，甚至比原来还差。
- 剧本 B：上线第一天，核心指标大跌，老板让你赶紧回滚。你顶住压力跑了一周，数据竟然慢慢爬升，最后变成了正向。
这两个剧本背后的操盘手，就是时间维度上的两大干扰因子：新奇效应 (Novelty Effect)与改变厌恶 (Change Aversion)。
如果不理解这两个概念，你的实验结论在“第 1 天”和“第 7 天”可能是截然相反的。
1. 新奇效应：虚假的繁荣
定义：
用户对改动产生互动，仅仅是因为它**“长得不一样”或“很新鲜”**，而不是因为改动本身带来了价值。
痛点：
它会导致第一类错误 (Type I Error)，即假阳性。
你以为你的新 UI 设计得很棒，其实用户只是因为“原本灰色的按钮变红了”，出于好奇点了一下。这种点击是不可持续的。
典型场景：
- UI 改版：更换图标、调整布局、修改按钮颜色。
- 红点/强提醒：首次出现时点击率极高，用户习惯后会产生“盲视”。
数据特征：
- 倒 V 型曲线：实验初期指标飙升，随后迅速回落，最终趋于平稳（往往回归到 0 或微正）。
2. 改变厌恶与学习效应：黎明前的黑暗
这里回答一个常见问题：学习效应是不是就是改变厌恶？
答案：不是，但它们通常相伴而生。
- 改变厌恶是因（心理/习惯上的抵触）。
- 学习效应是果（克服抵触、掌握新功能的过程）。
2.1 改变厌恶
定义：
老用户已经形成了肌肉记忆。当你改变布局时，增加了他们的认知负荷，导致效率下降或产生负面情绪。
例子：
你把“付款”按钮从右下角移到了左下角。
- 老用户：习惯性点击右下角→ \rightarrow→点错了→ \rightarrow→烦躁→ \rightarrow→寻找按钮→ \rightarrow→转化率下跌。
- 这种下跌不是因为左下角不好，而是因为“改变”本身打破了习惯。
2.2 学习效应
定义：
用户从“不习惯”到“习惯”，从“不会用”到“熟练使用”的时间过程。
数据特征：
- J 型曲线：实验初期指标下跌（厌恶期），随着时间推移，用户完成学习，数据触底反弹，最终稳定在真实水平。
3. 核心解法：新老用户分群
当实验曲线波动剧烈时，如何判断是“策略真的烂”还是“改变厌恶”？
最硬核的鉴别方法是：将用户拆分为“新用户”和“老用户”看数据。
逻辑推演
- 新用户 (New Users)：
- 他们没见过旧版本，没有肌肉记忆，没有历史包袱。
- 他们对“改变”不敏感，对“新奇”也不敏感。
- 结论：新用户的表现，最接近策略的真实长期价值。
- 老用户 (Existing Users)：
- 他们深受习惯影响。
- 如果老用户跌了，但新用户涨了→ \rightarrow→这是改变厌恶。建议坚持跑下去，等老用户适应。
- 如果老用户涨了，但新用户没感觉→ \rightarrow→这是新奇效应。建议谨慎推全，收益可能不可持续。
决策矩阵
| 现象 | 老用户表现 | 新用户表现 | 诊断结论 | 建议 |
|---|---|---|---|---|
| 场景 A | 暴涨 🔥 | 平平 😐 | 新奇效应 | 别急着推全，延长观察期，看数据是否回落。 |
| 场景 B | 暴跌 📉 | 上涨 📈 | 改变厌恶 | 顶住压力，这是好策略！给老用户一点学习时间。 |
| 场景 C | 上涨 📈 | 上涨 📈 | 真实收益 | 稳了，全量上线。 |
4. 监控与矫正实战
4.1 监控手段：日级别趋势图
不要只看累计数据的 P 值。必须画出Day 1到Day N的指标变化趋势图。
- 如果曲线是平滑的，说明效应较弱。
- 如果曲线有明显的“大起大落”，必须介入分群分析。
4.2 矫正方法：长周期实验 (Long-running Experiment)
这是最笨但最有效的方法。
- 新奇效应通常在 1-2 周内消退。
- 学习效应通常需要 2-4 周（取决于功能复杂度）。
- 操作：如果怀疑有效应干扰，不要在 3 天内做决策，强行把实验跑满 2 个完整的自然周（覆盖两个周末）。
4.3 预热与引导
对于可能引发强烈“改变厌恶”的功能（如改版）：
- 不要突袭：提前发公告。
- 引导蒙层：上线当天的首次启动，用引导蒙层告诉用户“按钮搬到这里了”。这能显著缩短学习效应的耗时，减少数据震荡。
如果这篇文章帮你理清了思路，不妨点个关注，我会持续分享 AB 实验干货文章。
