大家好，欢迎来到IT知识分享网。
hi，这篇笔记，我们接着讲AB实验，主要通过产品经理能力理解的语言，通俗易懂的介绍 P值、置信水平、MDE、统计功效 这是个重要指标。
[一]先举个例子
“假设你做了一个实验，新版本B的购买转化率比旧版本A高了2%。你觉得这个结果能说明新版本B一定被旧版本A更好吗？”
答案显然是不一定，这里我们需要考虑几个问题：
1.这个提升结果有没有可能是偶然发生的？
2.即使确认是显著的，2%这个水平从业务的角度上看有没有意义？
3.你有多大的概率让实验结果呈现出来
[二]通过4个统计学指标回答以上问题：统计显著性 指标（P值、置信水平、MDE、统计功效）
1.怎么去判断前面的2%这个提升结果是否显著，以及可能是随机发生的概率是多少？
这里我们采用2个用于计算统计显著性的指标：P值、置信水平，两者的意思如下：
P值：表示新版本B和旧版本A两者其实没什么不同的概率，比如P值=3%，也就是说，AB两者没什么不同的概率只有3%，反过来理解就是新版本B有97%的概率比旧版本A更好，但是97%到底是足够高的概率，还是还不够呢，得要有一个标准来衡量，于是出现了“置信水平”这个概念；
置信水平：简单一点讲就是定义新版本B比旧版本A更好的概率要达到多少的时候，是可以接受的，目前行业比较公认的就是95%，
2.怎么判断2%这个水平的业务价值？
MDE：评估这个问题引入的一个概念叫MDE（最小可检测效应），它表示在开始实验之前，业务觉得，这个实验提升多少的时候才是有价值的；
MDE是一个业务由业务自己定义的指标，非通过一定的定量计算公式计算，也就是说，业务在做实验之前就应该心里有底，能接受多少的提升。
3.如果新版本B的提升效果真实存在，你有多大把握能发现它？
衡量这个问题采用的指标是“统计功效”，统计功效的意思就是，假设新版本B真的是有提升效果的，你能在实验中最后成功获得一个有效提升的结论数据的概率有多大，通常设定的要求是80%；
概括起来讲，以上4个指标分别定义了一个实验结论里面的3个过程真相：
1.置信水平/显著性水平：显著性水平表示你能容忍实验随机性统计出了提升结果的风险是多少，通常设为5%，通过对比P值来获取结论；显著性水平=1-置信水平；
2.最小可检测效应 (MDE)：你希望检测出的最小效果是多少。 (你来定)
3.统计功效 ：如果实验提升效果真实存在，你有多大把握能发现它。 (常规设为80%)
#用户增长 #AB实验
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/187885.html
