如何通俗的理解最大似然估计法

大家好，欢迎来到IT知识分享网。

抛硬币事件是独立同分布的，我们设参数为$\theta$，似然函数可以写做：
$$L(\theta )={\theta }^{60}(1-\theta {)}^{40}\text{\hspace{1em}(1)}$$

  我们要做的就是找到一个参数，使得发生该事件的概率最大，即$L(\theta )$取得最大值。所以求最大似然估计问题，就变成了求似然函数的极值。已知对数函数是单调的，为了简化连乘运算，可以对似然函数取对数，得：
$$\begin{array}{rl}\ln L(\theta )& =\ln {\theta }^{60}+\ln (1-\theta {)}^{40}\\ & =60\ln \theta +40\ln (1-\theta )\end{array}\text{\hspace{1em}(2)}$$

  因此，解得参数$\theta$为0.6。下图为该似然函数的几何图形，从图中也可以看出，当$\theta$=0.6时，似然函数的取值最大。

最大似然估计原理

  联合概率密度函数$p(D|\theta )$称为相对于 { x 1 , x 2 , … , x n } \{x_1,x_2,\ldots,x_n\} {
x1​,x2​,…,xn​}的$\theta$的似然函数：
$$L(\theta )=p(D|\theta )=p(x_1,x_2,\dots ,x_N|\theta )=\prod _{i=1}^{N}p(x_i|\theta )\text{\hspace{1em}(5)}$$

  这是一个关于$\theta$的函数，求解这个优化问题通常对$\theta$求导，得到导数为0的极值点。该函数取得最大值时，$\theta$的取值就是我们估计的模型参数。
  所以，极大似然估计就是，利用已知的样本结果，反推最有可能导致这样结果的参数值。

最大似然估计举例

例 1  假定样本服从均匀分布[a,b]。则X的概率密度函数为
$$P(x|a,b)=\{\begin{array}{ll}\frac{1}{b-a}& ,a\le x\le b\\ 0& ,其它\end{array}\text{\hspace{1em}(8)}$$

    对样本 D = { x 1 , x 2 , … , x n } D=\{x_1,x_2,\ldots,x_n\} D={
x1​,x2​,…,xn​}，参数$\theta =⟨a,b⟩$，则似然函数为：
$$L(a,b)=\{\begin{array}{ll}\frac{1}{(b-a{)}^n}& ,a\le x_i\le b,i=1,2,\dots ,n\\ 0& ,其它\end{array}\text{\hspace{1em}(9)}$$

    很显然，$L(a,b)$作为a和b的二元函数是不连续的，不能使用导数来求解。必须从最大似然估计的定义出发，求$L(a,b)$的最大值。为使$L(a,b)$达到最大，b – a应该尽可能的小，而样本X在区间[a,b]内，所以b不能小于 max ⁡ { x 1 , x 2 , … , x n } \max\{x_1,x_2,\ldots,x_n\} max{
x1​,x2​,…,xn​}，同理，a不能大于 min ⁡ { x 1 , x 2 , … , x n } \min \{x_1,x_2,\ldots,x_n\} min{
x1​,x2​,…,xn​}。因此，a和b的最大似然估计为：
a ∗ = min ⁡ { x 1 , x 2 , … , x n } b ∗ = max ⁡ { x 1 , x 2 , … , x n } (10) a^*=\min \{x_1,x_2,\ldots,x_n\}\\ b^*=\max \{x_1,x_2,\ldots,x_n\} \tag{10} a∗=min{
x1​,x2​,…,xn​}b∗=max{
x1​,x2​,…,xn​}(10)

例 2 假定X是一个可以在实轴上取值的连续变量。样本服从高斯分布，X的一个高斯模型是$$P(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\text{\hspace{1em}(11)}$$

  其中$\theta =⟨\mu ,\sigma ⟩$。这个模型的参数空间是$\Theta =R\times R^{+}$，即允许$\mu$的取值为任意的实数，允许$\sigma$的取值范围为任意的正实数。
  似然函数为：
$$L(\mu ,{\sigma }^2)=\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2}\text{\hspace{1em}(12)}$$

总结