什么是逻辑回归

逻辑回归算法是分类算法，可能它的名字里出现了“回归”让我们以为它属于回归问题，但逻辑回归算法实际上是一种分类算法，它主要处理当 $y$ 取值离散的情况，如：1 0 。

为什么不使用线性回归算法处理分类问题

假设我们遇到的问题为 二分类问题，那么我们可能将结果分为负向类和正向类，即$y\in0,1$ ，其中 0 表示负向类，1 表示正向类。如果我们使用线性回归，那么假设函数的输出值可能远大于 1，或者远小于0，但是我们需要的假设函数输出值需要在0到 1 之间，因此我们需要用到逻辑回归算法。

向量化 - 传统累加运算 - 代码实现:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import time
import numpy as np

# 定义两组向量
vector1 = np.random.rand(100000)
vector2 = np.random.rand(100000)

# 使用向量化
start_time = time.time()  # 开始时间
res = np.dot(vector1, vector2)  # 向量直接相乘得到最终结果
end_time = time.time()  # 结束时间
print("Vectorized: " + str((end_time - start_time)*1000) + "ms" + " res =" + str(res))

# 使用for循环
res = 0
start_time = time.time()  # 开始时间
for i in range(100000):  # 传统的累加运算,需要累加100000次
    res += vector1[i] * vector2[i]
end_time = time.time()  # 结束时间
print("For loop: " + str((end_time - start_time)*1000) + "ms" + " res =" + str(res))

一、无监督学习概述

• 什么是无监督学习

  之所以称为无监督，是因为模型学习是从无标签的数据开始学习的。

• 无监督学习包含算法

  • 聚类
    • K-means(K均值聚类)
  • 降维
    • PCA

一、sklearn - 模型的保存和加载 - API

from sklearn.externals import joblib

• 保存
  • joblib.dump(rf, ‘test.pkl’)
• 加载
  • estimator = joblib.load(‘test.pkl’)

逻辑回归虽然名字中带有回归两字，但它实际是一个分类算法。

带有 L2 正则化的线性回归就是岭回归。

岭回归，其实也是一种线性回归。

只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果。

加上正则化，也就是使权重满足划分正确结果的同时尽量的小

当训练数据训练的很好误差也不大的时候，为什么在测试集上面进行预测会有较大偏差呢？

当算法在某个数据集当中出现这种情况，可能就出现了过拟合现象。

一、线性回归应用场景

• 房价预测
• 销售额度预测
• 金融：贷款额度预测、利用线性回归以及系数分析因子

一、什么是集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。

它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。

这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

一、决策树分类概述

• 介绍

  决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

• 原理

  • 信息熵
  • 信息增益