机器学习线性回归
2024-03-06 11:41:55 0 举报AI智能生成
机器学习线性回归概念、原理、流程、公式
作者其他创作
大纲/内容
模型应用
预测新数据：使用训练好的模型对新数据进行预测
模型解释性
特征重要性：评估特征对模型预测的贡献
模型可视化：绘制模型的拟合曲线或特征重要性图表
模型评估
性能度量指标
平均绝对误差 (Mean Absolute Error, MAE)：模型预测值与真实值之差的绝对值的均值
均方误差 (Mean Squared Error, MSE)：模型预测值与真实值之差的平方的均值
均方根误差 (Root Mean Squared Error, RMSE)：MSE 的平方根
交叉验证
k-折交叉验证 (k-Fold Cross-Validation)：将数据集划分为 k 个互斥子集，轮流使用其中一个子集作为测试集，其余子集作为训练集
留一法交叉验证 (Leave-One-Out Cross-Validation)：使用 n-1 个样本作为训练集，剩下的一个样本作为测试集
带惩罚项的线性回归
岭回归 (Ridge Regression)
定义：在损失函数中添加 L2 正则项
L2 正则化：通过惩罚较大的权重来防止过拟合
LASSO 回归 (LASSO Regression)
定义：在损失函数中添加 L1 正则项
L1 正则化：通过惩罚非零权重来实现特征选择
弹性网回归 (Elastic Net Regression)
定义：在损失函数中同时添加 L1 和 L2 正则项
L1 和 L2 正则化：结合了岭回归和 LASSO 回归的优点
基本概念
回归问题
定义：通过拟合一个模型来预测连续的目标变量
用途：预测、建模关系等
线性回归模型
定义：线性关系模型，表示特征与目标变量之间的线性关系
参数
斜率 (权重)：表示特征与目标变量之间的关系强度和方向
截距 (偏置)：表示在没有特征输入时目标变量的预测值
损失函数
均方误差 (MSE)
定义：模型预测值与真实值之差的平方的均值
损失函数的优化
梯度下降法：迭代更新模型参数以最小化损失函数
批量梯度下降 (Batch Gradient Descent)：使用整个数据集进行参数更新
小批量梯度下降 (Mini-Batch Gradient Descent)：使用数据集的一部分进行参数更新
随机梯度下降 (Stochastic Gradient Descent)：使用单个数据点进行参数更新
正规方程法：使用矩阵运算直接求解最优参数
多项式回归
定义：使用多项式替代线性项，以拟合非线性数据
特征工程
特征转换：将特征转换为多项式形式
特征组合：组合多个特征形成高次项
模型拟合：使用多项式回归模型进行拟合
0 条评论
下一页
