机器学习算法LR（logit regression逻辑回归）原理简单解析「建议收藏」

老牧童 • 2023-08-28 10:45 • 未分类

大家好，欢迎来到IT知识分享网。

LR(Logit regression，逻辑回归)，又名：对数几率回归（logistics regression）

注意：虽然它的名字是“回归”，但是实际却是一种分类学习方法。

公式： $y = g^{-1}(w^{T}x+b})$

找一个单调可微函数将分类任务的 真实标记y 与线性回归模型的 预测值 联系起来
在逻辑回归中，我们选择对数几率函数： $g^{-1} =\frac{1}{1+e^{-z}}$ ，则逻辑回归的公式： $y =\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(w^{T}x+b)}}$

可以发现： $ln\frac{y}{1-y}=w^{T}x+b$ ，其中 $\frac{y}{1-y}$ 为几率，反映了x作为正例的相对可能性，而 $ln\frac{y}{1-y}$ 为对数几率，因此可以说，逻辑回归是用线性模型（ $w^{T}x+b$ ）的预测结果去逼近真实标记的对数几率，因此该模型也称为“对数几率回归”。

（1）将逻辑回归公式： $y =\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(w^{T}x+b)}}$ 中的y视为类后验概率估计，则有：

$ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$ ,

显然有：

$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$

可以通过“极大似然法”来估计w和b,给定数据集 $\left \{ \left ( x^{_{i}},y^{_{i}}}} \right ) \right \}_{i=1}^{m}$ ，对数回归模型最大化“对数似然”：

$l(w,b) = \sum_{i=1}^{m} lnp(y_{i}|x_{i};w,b})$

为了便于讨论，另 $\beta = (w;b)$ ， $\hat{x}=(x;1)$ ，则 $w^{T}x+b$ 可以简写成 $\beta^{T}\hat{x}$ 。再令 $p_{1}(\hat{x};\beta)=p(y=1|\hat{x};\beta )$ ， $p_{0}(\hat{x};\beta)=p(y=0|\hat{x};\beta )=1-p_{1}(\hat{x};\beta)$ ，则上式中的似然项可以重写为：

**$p(y_{i}|x_{i};w,b) = p_{1}(\hat{x};\beta)^{y_{i}}* p_{0}(\hat{x};\beta)^{(1-y_{i})}$**

因此，最终的最大化“对数似然”等价于最小化：

$l(\beta) = \sum_{i=1}^{m}(-y_{i}\beta^{T}\hat{x}+ln(1+e^{\beta^{T}\hat{x}}))$

注意：这是关于β的高阶可导连续函数，根据凸优化理论，可用梯度下降法，牛顿法等，求取最优解。

免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/24205.html

机器学习算法LR（logit regression逻辑回归）原理简单解析「建议收藏」

LR(Logit regression， 逻辑回归)，又名：对数几率回归（logistics regression）

相关推荐

发表回复

LR(Logit regression，逻辑回归)，又名：对数几率回归（logistics regression）