机器学习基本概念
2020-02-26 11:02:35 44 举报AI智能生成
机器学习基本概念
作者其他创作
大纲/内容
基本概念
两类任务：回归与分类
回归
分类
度量P
分类问题：Accuracy/交叉熵函数
回归问题：MSE均方差
经验E
拟合
容量（复杂度）
过拟合与欠拟合
最优容量
参数设置
参数集
验证集
测试集
交叉验证集
超参数
估计
有偏估计与无偏估计
最大似然估计MLE
最大后验估计MAP
贝叶斯估计
估计、方差、标准差
监督学习算法
逻辑回归
是二分类问题，不是回归问题
理解随机梯度下降中的batch与epoch
LDA
最大化类间方差，最小化类内方差
是一种数据压缩算法
注意与PCA对比
支持向量机SVM
可以转化为不等式约束问题（有约束优化）
拉格朗日对偶是解决SVM的数学工具
SMO算法将多元优化转化为二元优化
引入“核函数”的概念，可以将线性不可分函数进行空间变换
决策树
学习目标：构建一个决策树模型，实现对实例的正确分类
信息增益的概念：随机变量—熵—条件熵—信息增益—ID3算法
非监督学习算法
聚类
层次聚类
k-means
OPTICS
Mean shift
谱聚类
EM算法
降维
主成分分析(PCA)
算法流程
去平均值
计算协方差矩阵
计算协方差矩阵的特征值和特征向量
将特征值从大到小排序
保留最大个的特征向量
将数据转换到n个特征向量构成的新空间
思想
“投影误差最小”（最小二乘）
找到方差最大的方向（信息量也最大）
第二个坐标轴为正交第一个方向且方差次大
0 条评论
下一页
