概率基础——大数定律

大家好，欢迎来到IT知识分享网。

概率基础——大数定律

介绍

大数定律是概率论中的一个重要定理，它描述了随机变量序列的均值在概率意义下收敛于其数学期望的现象。简单来说，大数定律说明了当试验次数足够多时，样本平均值将逼近于总体均值。在实际应用中，大数定律为统计学和概率论提供了重要的理论基础，也是估计总体参数的一种重要方法。

理论及公式

弱大数定律

设$X_1,X_2,\dots ,X_n$是相互独立、具有相同分布、且具有有限数学期望$\mu$的随机变量序列，定义其样本平均为

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

则对于任意正数$ϵ>0$，有

$$\underset{n\to \infty }{\lim }P(|{\overline{X}}_n-\mu |\ge ϵ)=0$$

即样本平均${\overline{X}}_n$以概率1收敛于总体均值$\mu$。

较强大数定律

设$X_1,X_2,\dots ,X_n$是独立同分布的随机变量序列，且具有有限的数学期望$\mu$，则对于任意正数$ϵ>0$，有

$$P(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mu )=1$$

即样本平均${\overline{X}}_n$ 以概率1收敛于总体均值$\mu$。

推导过程

弱大数定律的推导

我们使用切比雪夫不等式来证明弱大数定律。

由切比雪夫不等式：

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$

将$X$替换为样本平均${\overline{X}}_n$，$\mu$替换为总体均值$\mu$， $\sigma$替换为样本平均的标准差$\frac{\sigma }{\sqrt{n}}$

$$P(|{\overline{X}}_n-\mu |\ge k\cdot \frac{\sigma }{\sqrt{n}})\le \frac{1}{k^2}$$

当$n\to \infty$ 时，有$k\cdot \frac{\sigma }{\sqrt{n}}\to 0$，因此$P(|{\overline{X}}_n-\mu |\ge ϵ)\to 0$，即样本平均${\overline{X}}_n$概率1收敛于总体均值$\mu$。

大数定律的推导

假设$X_1,X_2,\dots ,X_n$是一组独立同分布的随机变量序列，它们的均值为 $\mu$，方差为${\sigma }^2$。令$S_n=X_1+X_2+\dots +X_n$，则 $S_n$的期望为$n\mu$，方差为$n{\sigma }^2$。

根据切比雪夫不等式，对于任意给定的正数$ϵ$，有：

$$P(|S_n-n\mu |\ge nϵ)\le \frac{n{\sigma }^2}{n^2{ϵ}^2}=\frac{{\sigma }^2}{n{ϵ}^2}$$

令 $n\to \infty$，则 $\frac{{\sigma }^2}{n{ϵ}^2}\to 0$。因此，对于足够大的$n$，有$P(|S_n-n\mu |\ge nϵ)\to 0$，即：

$$P(|S_n-n\mu |<nϵ)\to 1$$

即样本的平均值$\frac{S_n}{n}$在 $n\to \infty$时以概率$1$趋近于总体均值$\mu$。

模拟大数定律的案例1

生成3组各15000个服从参数为（10，0.4）的二项分布变量，随机变量的期望$n\times p$=4，然后观察随着样本数目的增大，样本均值和实际分布期望之间的关系。

import numpy as np from scipy.stats import binom import matplotlib.pyplot as plt n = 10 p = 0.4 sample_size = 15000 expected_value = n * p N_samples = range(1, sample_size, 10) for k in range(3): binom_rv = binom(n, p) X = binom_rv.rvs(sample_size) sample_average = [X[: i].mean() for i in N_samples] plt.plot(N_samples, sample_average, label=f'average of sample { 
     k}') plt.plot(N_samples, expected_value * np.ones_like(sample_average), ls='--', label=f'true expected value:n*p={ 
     n * p}', c='k') plt.ylim([3.0, 5.0]) plt.legend() plt.grid() plt.show() 

设置了3个相同的试验组，从试验结果来看，在每一组试验中，随着样本数量逐渐增大，样本均值都会越来越收敛于随机变量的期望。

模拟大数定律的案例2

从大数定律的定义出发，先生成1000,000个服从均值0，标准差为20的正态分布的样本，依次进行3种不同的处理，并观察对应的3组分布。

import numpy as np from scipy.stats import norm import matplotlib.pyplot as plt norm_rvs = norm(loc=0, scale=20).rvs(size=) plt.hist(norm_rvs, density=True, alpha=0.5, bins=100, color='k', label='Original') mean_array = [] for i in range(10000): sample = np.random.choice(norm_rvs, size=5, replace=False) mean_array.append(sample.mean()) plt.hist(mean_array, density=True, alpha=0.5, bins=100, color='r', label='sample size = 5') for i in range(10000): sample = np.random.choice(norm_rvs, size=50, replace=False) mean_array.append(sample.mean()) plt.hist(mean_array, density=True, alpha=0.5, bins=100, color='g', label='sample size = 50') plt.gca().axes.set_xlim(-60, 60) plt.legend(loc='best') plt.grid(ls='--') plt.show() 

结论

大数定律描述了随机变量序列的均值在概率意义下收敛于其数学期望的现象。通过概率不等式的推导，我们可以得到样本平均在概率1下收敛于总体均值的结论。在实际应用中，大数定律为统计学和概率论提供了重要的理论基础，也为估计总体参数提供了一种有效的方法。