我们以 A/B 测试的形式测试了实施情况,让少数新订阅者参与了新调查。虽然响应率和流失率等指标可以从测试中产生的调查中直接衡量,但预测新调查对营销归因的下游影响以及调查是否会“增加”带有营销数据标签的用户群体是一项更为复杂的任务。
下载-8.png
如上图所示,测试组和对照组得出的营销绩效指标不仅 厄瓜多尔 whatsapp 电话号码列表 取决于新调查,还取决于其与其他接触点和归因程序的交互。因此,我们需要控制交互效应,以便真正将 A/B 测试期间观察到的营销绩效差异归功于设计改进。
因此,为了隔离调查的影响,我们采用了基于模拟的方法,将两组所有未参加调查的订阅者汇集在一起,然后随机抽取他们到测试和控制类别中,以重新计算归因并估计下游表现对未参加调查的用户内部变化的敏感程度。
通过这种方法,营销渠道在新旧调查之间的信用变化可以通过从归因抽样用户群体直接估计的置信区间来衡量。在 A/B 测试结束时以及通过后续分析,我们估计新的调查设计使响应率提高了 10%,将无法归因或无法映射的响应数量减少了大约一半,并增加了带有营销数据标签的总订阅者比例:总体而言,这是一个巨大的成功。
结论
将不同营销形式的“真实”效果与复杂的测量结果区分开来是收集绩效数据(尤其是通过调查)的一大挑战。在在线环境中,结账调查只是解决测量和影响对立问题以及收集用户对营销工作效果的反馈的一种方式。最简单的形式是,我们的框架确定了影响数据收集的机制并测试了这些机制的变化(不仅仅是结账调查,还包括我们团队关注的其他领域),结合了设计的基本原则和定量洞察,创造了一种真正的分析方法来了解我们的用户并为我们的业务创造价值。