1956年,人工智能元年。
人类能够创造出人类还未知的东西。
这未知的东西人类能够保证它不误入歧途吗。
一、机器学习和人工智能,深度学习的关系
- 机器学习是人工智能的一个实现途径
- 深度学习是机器学习的一个方法发展而来
二、机器学习,深度学习的应用场景
- 挖掘、预测领域:
- 应用场景:店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句安全检测分类…
- 图像领域:
- 应用场景:街道交通标志检测、人脸识别等等
- 自然语言处理领域:
- 应用场景:语音识别,文本分类、情感分析、自动聊天、文本检测等等
三、什么是机器学习
定义
- 机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。
解释
- 我们可以从大量的日常经验中归纳规律,当面临新的问题的时候,就可以利用以往总结的规律去分析现实状况,采取最佳策略。
例子
- 从数据(大量的猫和狗的图片)中自动分析获得模型(辨别猫和狗的规律),从而使机器拥有识别猫和狗的能力。
- 从数据(房屋的各种信息)中自动分析获得模型(判断房屋价格的规律),从而使机器拥有预测房屋价格的能力。
四、数据集构成
结构:特征值+目标值
注:
对于每一行数据我们可以称之为样本。
有些数据集可以没有目标值:
五、机器学习算法分类
算法分类
- 监督学习(supervised learning)
- 定义:输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(回归),或是输出是有限个离散值(分类)。
- 回归:线性回归、岭回归
- 分类:k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络
- 无监督学习(unsupervised learning)
- 定义:输入数据是由输入特征值所组成。
- 聚类:k-means
示例:
- 特征值:猫/狗的图片;目标值:猫/狗-类别
- 分类问题
- 特征值:房屋的各个属性信息;目标值:房屋价格-连续型数据
- 回归问题
- 特征值:人物的各个属性信息;目标值:无
- 无监督学习
六、机器学习开发流程
- 获取数据
- sql、mysql
- 数据预处理
- 缺失值处理,数据类型转换,数据清洗
- 特征工程
- 特征提取,特征预处理,特征降维
- 机器学习
- 训练模型
- 模型评估
- 准确率,召回率,auc,ks,业务指标
- 如不合格,返回(4
- 实施落地
- 开发产品,api
七、学习框架和资料介绍
- 算法是核心,数据与计算是基础
- 算法工程师
- 线代、高数、概率统计
- 李航<统计学习方法>
- 周志华<机器学习>
- PRML
- 算法落地工程师
- 大部分复杂模型的算法设计都是算法工程师在做,而应用者
- 分析很多的数据
- 分析具体的业务
- 应用常见的算法
- 特征工程、调参数、优化
- 学会分析问题,使用机器学习算法的目的,想要算法完成何种任务
- 掌握算法基本思想,学会对问题用相应的算法解决
- 学会利用库或者框架解决问题
- 框架
- SKlearn
- tensorflow
- pytorch
- 大部分复杂模型的算法设计都是算法工程师在做,而应用者