数据挖掘框架
2023-01-03 15:46:05 2 举报AI智能生成
机器学习数据挖掘框架
作者其他创作
大纲/内容
背景
需要解决的问题
实现过程
运用的算法
商业价值
1.定义问题
2.收集数据
导入库
数据读取与预览
校正：异常值
均值/中位数/众数填充
前后数据填充
机器学习算法填充
填充：缺失值
创建：新的分析功能
转换：将分类数据转换为虚拟变量进行数据分析
数据清洗
划分训练集和测试集
3.数据准备
是否有缺失值
是否有异常值
是否有重复值
数据分布是否均衡
是否需要抽样
变量是否需要转换
是否需要增加新的特征
检查数据
连续变量：常见的统计量有：平均值、中位数、众数、最小值、最大值、四分位数、标准差等。使用频数分布表、直方图、箱线图等。
无序性离散变量：各个变量出现的频数和占比；使用频数分布表、柱形图、条形图、茎叶图、饼图等；
有序性离散变量：各个变量出现的频数和占比；使用频数分布表，堆积柱形图，堆积条形图等
使用描述统计量和图表对数据进行描述（数据可视化）
离散变量
连续变量
考察变量之间的关系
4.探索性数据分析
监督学习：通过向其提供包含正确答案的训练数据集来训练模型
无监督学习：使用不包含正确答案的训练数据集训练模型
强化学习：前两者的混合体，模型没有立即给出正确的答案，而是在一系列事件之后加强学习
机器学习
分类
回归
聚类
降维
机器学习算法
创建模型
训练模型
交叉验证模型性能
超参数调整模型
评估模型性能
5.数据建模
6.验证和实施
使用特征选择优化模型
7.优化与策略
数据挖掘框架
0 条评论
回复 删除
下一页
