ABtest实验原理、流程、应用以及面试常问问题。

大家好，欢迎来到IT知识分享网。

• 大数定律：实验条件不变，随机实验重复多次，随机事件的频率可以近似为随机事件概率。
• 对于独立同分布且具有相同期望和方差的n个随机变量，当样本量很大时，样本的均值近似服从标准正态分布N(0,1)。
  样本计算公式一般如下：
  
  公式中，一般情况下，α=0.05，$z_{1-\frac{\alpha }{2}}$=1.96，α为犯第一类错误的概率，1-α为置信水平。β=0.2，$z_{1-\beta }$=0.84，β为犯第二类错误的概率，统计功效定义为1-β。
  $\sigma$为样本标准差，$\delta$代表实验组与对照组预期差值。
  当观测指标为绝对值类指标时：
  
  
  
  
  
  
  

当观测指标为比率类指标时：

2、辛普森悖论
数据分组得到的结论与总体得到结论不一致，称为辛普森悖论。这一现象通常是由于流量分配不均匀导致的，因此需要均匀合理的分割流量。
流量分割常见的有分流和分层。
分流是按照地域、性别、年龄等把用户均匀地分为几个组，每个用户只能出现在1个组中。但这存在缺点不能同时做多个实验，效率比较低。
分层是同一份流量可以分布在多个实验层，也就是说同一批用户可以出现在不同的实验层，前提是各个实验层之间无业务关联，保证这一批用户都均匀地分布到所有的实验层里，达到用户“正交”的效果就可以。所谓的正交分层，其实可以理解为互不影响的流量分层，从而实现流量复用的效果。
3、显著性检验
对于样本数>30的通过使用Z检验，通过计算两组均值之差的z值和理论z值比较，判断两组之间的差异是否显著。
z值得计算：

• 当观测指标为绝对值类指标时：
  
  
• 当观测指标为比率类指标时：
  
  

• 增加样本量：根据显著性检验的原理，只要实验组和对照组差值及样本方差不变的情况下，样本量足够大，我们总是可以得到显著性的结果。
  减少样本均值的方差：减少样本均值方差的方法有减少离群值的影响，缩减方差（CUPED）的方法。
  
• 更换指标：更换一个方差更小的指标，比如某购物平台，实验指标一开始是用户购买的平均金额，我们可以更换为用户是否购买。对同一批样本，是否购买属于0-1分布，样本的均值方差自然比用户购买的平均金额小很多。
  参考文章
  【长文干货】AB测试：原理流程、实际案例及面试指南
  数据分析岗 | AB实验框架+高频考点（一）