特征工程流程airflow_20230808
2023-08-08 17:04:02 0 举报特征工程流程airflow_20230808
作者其他创作
大纲/内容
extrac数据源 1
extrac数据源 2
load end
Feature ConstructionStage1.清洗异常样本2.特征构建
Start
load 特征集 1
construct 特征集 3
extrac数据源 3
feature check
construct 特征集 2
source table check最新一天加载完？
End
load 特征集 3
check 特征集 3
check 数据源 3
check 特征集 2
check 数据源 1
check 数据源 2
Save feature table
Feature Storage Stage1.将相同时间内的特征集删除2.加载
Data Extraction Stage数据提取query输出一个快照
save feature snapshot（未自动化）将2109月至今的特征表存快照
after Feature ckeck Stage1.与上1月的特征表快照比较2.与源表的原始字段分组到月/product_id 的sum，比较abs在源表的占比
load 特征集 2
construct 特征集 1
before Feature check Stage（未做）1.缺失率2.离群值3.唯一性4.预期分布5.不同快照日的对比
check 特征集 1
收藏
0 条评论
下一页
