知识点:逻辑回归(Logistic Regression)、线性回归(Linear Regreesion)
异
- 首先,逻辑回归处理的是分类问题,线性回归处理的是回归问题,这是两者的最本质的区别。
- 其次,逻辑回归与线性回归最大的区别就是逻辑回归中的因变量是离散的,而线性回归中的因变量是连续的。
- 在自变量 $x$ 与超参数 $θ$ 确定的情况下,逻辑回归可以看作广义线性模型在因变量 $y$ 服从二元分布时的一种特殊情况。而使用最小二乘法求解线性回归时,我们认为因变量y服从正态分布。也就是逻辑回归中因变量取值是一个二元分布,而线性回归中的因变量是服从正态分布的。
同
虽然逻辑回归与线性回归的本质是大相迳庭的,但是他们也存在着相同之处。
- 首先,我们可以认为他们两个都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法实际上就应该是极大似然估计的一个简化,而逻辑回归中也是通过对似然函数去学习才得到的最佳参数 $θ$ 。
- 其次,他们两个在求解超参数的过程中都可以使用梯度下降的方法,这也是监督学习中一个常见的相似之处。