或页面,您需要评估是否存在任何动态元素或个性化设置,以满足我们需要考虑的某些条件。例如,页面的某些部分是否会根据用户类型、流量来源等发生变化?
6.确保测试代码不会破坏其他元素
您的网站是一个微妙的生态系统——触碰一件事,可能会无意中破坏页面另一侧看似无关的东西。这就是为什么经验丰富的优化人员会检查所有内容,而不仅仅是他们想要更改的内容。
Corey 建议,
对于实验代码运行的每个页面,您都需要对页 美国手机号 面上的所有内容进行 QA,即使是您认为更改不会影响的内容。许多优化器仅仅专注于实验更改所针对的确切区域就会遇到麻烦,但我们已经多次看到 JavaScript 或 CSS 规则破坏了页面上其他不相关的项目,却没有引起注意。
您的实验代码可能会以多种方式意外地与页面上的不同元素混合在一起,并且可能不会立即显现出您的代码正在破坏某些元素。
7.处理视觉和性能问题:闪烁效果、页面速度和布局
务必检查闪烁效果,这可能只会影响变化并混淆您的结果!
— 卡尔基·吉莱斯皮
了解更多:如何使用 Convert 进行 A/B 测试时改善核心 Web 指标
闪烁会破坏您的测试结果。确保您使用的是零闪烁 A/B 测试工具。
您还需要验证不同设备上的排版、颜色、边距和填充,以确保设计能够经得住考验。控件和变体之间的体验必须一致,否则您会在不知不觉中引入新变量并扭曲结果。
当进行较大更改时,请根据测试经验关注加载时间。
虽然 A/B 测试总会对页面加载时间或感知负载产生一定影响,但用户在两次体验之间等待页面呈现的时间不应该存在太大差异。
这种差异将成为测试中的一个额外变量,并可能对性能产生重大影响。您可以使用许多编码技巧来避免这种情况,您可能需要根据测试内容发挥创意。许多浏览器都有访问这些数据的方法,或者您可以使用PageSpeed Insights等工具。
— 科里·特伦特
拥有自动化的客户端测试,可以测量页面速度指标(例如首次内容绘制),在各个版本之间分别进行,可以让您的团队将其视为事后考虑。但您应该检查每个测试!
— 卡尔基·吉莱斯皮
8. 检查外部因素和并发测试
在运行实验时,重要的不仅仅是测试本身——您还必须了解网站上发生的可能影响结果的所有其他事情。
大型促销活动或节假日等外部因素可能会导致您的网站充斥着不代表正常用户行为的异常流量模式。
例如,黑色星期五促销活动可能会扭曲参与度数据,使得很难判断用户在正常情况下对您的变化的反应。
此外,在网站的同一区域运行多个实验可能会产生干扰和二阶效应,因为用户可能会同时接触到多种变化。这可能会导致数据相互冲突,并使结果不可靠。
在启动该测试之前,请仔细检查是否有其他测试在重叠区域运行或针对相同的用户群。确保测试不受外部干扰。
9. 发布后重新测试和监控
启动测试仅仅是一个开始。
上线后,我们会使用上线测试 URL 重复相同的步骤。内部和后期 QA 由测试开发人员和 Hype CRO 团队完成,以确保有多人参与。
— Emily Isted, Hype Digital实验主管
此过程可确保实时环境正常运行,并且让多人参与发布后 QA 至关重要,以发现用户大规模与测试交互后可能出现的任何问题:
上线后未能进行监控可能会导致遗漏仅在生产环境中出现的问题,如果不及时解决,可能会导致严重问题。
— Laura Forster , UpReply业务部门负责人
此外,对实时实验进行重新质量保证可确认后端或网站的更改不会引入发布前质量保证中不存在的新问题。
使用功能标志等工具可以快速关闭有问题的变化,而不会中断整个实验。
服务器端实验的问答
许多实验者都同意服务器端 QA 是一个完全不同的问题。
客户端实验主要关注用户所看到和交互的内容,而服务器端 QA 则关注引擎中发生的事情 - 处理数据、逻辑和基础设施稳定性。