案例3:AB测试选出效果更好的广告

理论部分

我对A/B测试的理解和应用程度都比较浅,各位见笑。

A/B测试大多应用在广告投放、产品灰度测试,在增长黑客一书中,还介绍了其在文章标题中的应用。主要目的是在众多可能中,找到用户最喜欢看、点击的那款,进而提高转化率,提升业务。

我认为,A/B测试跟中学课本上的对照实验差不多,最核心的东西是随机分组,并控制唯一变量。

有的时候,在A/B测试前会运行A/A测试,就是为了确保A/B测试的工具、分组方案是可信的。

理论上来讲,A/A测试不应该出现显著差异,如果出现了,那么说明测试工具等是有问题的,不能进行A/B测试,需要调整。

随机分组

随机分组就是在各个属性、用户量上,两个或以上用户组是基本一致的;目的也是为了控制唯一变量

控制唯一变量

比如广告素材、app上购买按钮的颜色

案例:A/B测试在广点通投放中的应用

像在广点通投放广告,我们可能会有多个版本的素材。

如果说大家意见不一致,有的说这个好,有的说那个好,拿不定主意,就可以花一个下午的时间,去创建多个投放计划,做A/B测试。

当然创建计划时,要保证投放人群属性是一致的。

好的坏的素材,自然有数据在说话。然后把效果最好的素材,做为主要投放素材即可,增加投放费用或者场景。