《极客时间教程 - 机器学习 40 讲》笔记

开篇词 | 打通修炼机器学习的任督二脉

“机器学习”分为 3 个模块：

• 机器学习概观：超脱于具体模型和方法之上的共性问题
• 统计学习（频率学派）：用模型拟合数据规律，用拟合结果推断和预测
• 符号学习（贝叶斯学派）：概率图模型，计算变量间相关关系、先验分布和积分技巧

01 丨频率视角下的机器学习

• 频率学派认为概率是随机事件发生频率的极限值
• 参数估计时：视参数为确定取值，视数据为随机变量
• 主要使用最大似然估计法，使似然概率最大化
• 对应机器学习中的统计学习，以经验风险最小化作为模型选择准则

02 | 贝叶斯视角下的机器学习

• 贝叶斯学派认为概率是事件的可信程度或主体对事件的信任程度
• 参数估计时：视参数为随机变量，视数据为确定取值
• 主要使用最大后验概率法，使后验概率最大化
• 对应机器学习中的概率图模型，可提供更完整的预测信息

03 丨学什么与怎么学

机器学习解决问题的前提条件：

1. 问题具备一定的模式（非完全随机）
2. 问题不能通过纯计算解决
3. 有大量数据可供使用

机器学习的任务：使用数据计算出与目标函数最接近的假设（拟合出最精确的模型）。

输入特征类型：

• 具体特征（concrete feature）
• 原始特征（raw feature）
• 抽象特征（abstract feature）

机器学习方法类型：

• 分类算法（classification）
• 回归算法（regression）
• 标注算法（tagging）

监督学习 vs 无监督学习：

• 监督学习（supervised learning）：训练数据有对应输出，适用于预测任务，精度更高
• 无监督学习（unsupervised learning）：无输出数据，发现数据隐含结构，适用于描述任务（聚类、密度估计、异常检测）

04 丨计算学习理论