A/B 测试是指把两个以上的版本随机呈现给用户,用统计方法判定哪一个取得更高成果的实验手法。它在 Web 营销、UI 设计、邮件投放等广泛领域中被用来提高决策的准确度。
A/B 测试的核心是「一次测试只改变一个要素」这一原则。如果同时改变按钮的颜色和文案,就无法判别究竟是哪一项改动影响了成果。不遵守这一原则的测试,是实务中最常见的失败模式。
确保统计上的显著性也是容易被忽略的要点。要在 95% 的置信水平下检出显著差异,一般每个版本都需要数百到数千个样本,也就是点击或转化。在样本不足的状态下就断定「B 的点击率更高」,就有把单纯偶然的差异反映到实际策略中的风险。测试期间最少为 1 至 2 周,为了吸收星期造成的波动,推荐采用 7 的倍数的天数。
在利用短链接的 A/B 测试中,可以针对同一内容创建不同版本的短链接,并比较各自的点击率。例如可以比较自定义短链接 (`brand.co/sale`) 与随机短链接 (`brand.co/x7kQ`) 的点击率,也可以比较不同 CTA 文案的链接效果。Rebrandly 的调查显示,含品牌名的短链接与随机字符串相比,点击率最多可提升 39%。
作为测试对象,落地页的设计、CTA 按钮的文案与颜色、邮件的标题、广告文案、短链接的自定义别名等都很有代表性。