对模板进行重大更改在实验中有一个称为最小可检测效应的指标。该指标表示您期望变体与原始版本之间的性能差异百分比。原始版本和变体之间的变化越多差异越大您的就应该越高。流量就越多才能获得具有统计意义的结果。反过来提升越高您需要的样本量就越少。例如如果您正在重新设计产品页面模板的站点架构您应该考虑使其从视。
虽然较大的网站可以奢侈地测试较小的东西但 英国 WhatsApp 号码数据 它们仍然受制于自己的猜测。对于不太健壮的网站如果您要在模板上运行对比测试它需要足够不同不仅使用户的行为不同而且让对您的页面进行不同的评估和排名。的专业知识如何与利益相关者沟通实验都需要一套自己的技能。测试的期望非常不稳定。有些人期望每次测试都能获胜。有些人希望您就如何更好地为他们提供明确的答案。
不幸的是这些都是错误的期望。为了避免它们您需要尽早为您的经理客户或您正在为其进行对比测试的任何人建立现实的期望。期望大多数测试都会失败这种理解是所有成功实验计划的支柱。对于不熟悉该主题的人来说这也是最难吞咽的药丸。您必须让他们接受这样一个事实第一次测试迭代所花费的时间和精力很可能会导致测试结果不确定或失败。 |
