数据中台调度任务流程
2021-08-05 16:47:08 0 举报数据中台调度任务流程
作者其他创作
大纲/内容
委托贷款放款信息表dm_rt_entrust_loan_issue_info_dt
以.sh结尾的是在linux下启动的轮循服务，不带后缀的都是大数据平台下的python脚本文件调度
委托贷款余额信息表推送mysqldm_rt_entrust_loan_basic_info_to_mysql_dt
个人还款信息特殊处理dw_arl_pers_loan_repay_tmp_dj
汇总层
开始
个人估值贷款回款2.dm_vl_pers_loan_repay_range_dj
同盾本地化授信接口tongdun_bendi_shouxin_dj
信托管理信息表5.reload_dm_rc_fin_trust_mgt_dt
解析同盾策略集结果结构化落地parse_td_policy_dj
通讯信息段PIBI
全量
删除昨日数据
星源11号审批结果数据合并merge_data_xy11_dj
个人二代征信报送（对接安硕）
国槐数据校验ods_gh_corp_data_check_dj
每日个人贷款统计 2.reload_dwb_pers_loan_stat_dt_copy
委托贷款放款信息表推送mysqldm_rt_pers_cust_info_to_mysql_dj
还款计划汇总监控dwb_repay_plan_export_to_mysql_dj
生成月末时点贷后数据表postloan_data_period3_mj
个人二代征信报送（对接金电，已作废）
个人贷款回款临时表exec_rc_daily
借贷账户非月度表现信息dm_cr_pers_loan_stat_non_dt
数据导入成功判断 ods_start_job_dj
特殊交易信息段PILK
回款盯控 dwb_loan_repay_monitor_to_mysql_dj
月度表现信息段PILH
国槐数据校验 ods_gh_data_check_dj
个人婚姻信息dm_cr_pers_marriage_dt
借贷人基础信息dm_cr_pers_info_dt
数据日期信息段PRDB
个人教育信息dm_cr_pers_education_dt
个人证件信息dm_cr_pers_cert_dt
借贷基本信息段PILC
同盾本地化贷后回传接口tongdun_bendi_huichuan_dj
风控、运营及业务盯控dwb_loan_overdue_monitor_to_mysql_dj
安硕、普安再没有新增数据了，历史数据都已结清。这两个业务系统的脚本也停止运行了
生成逾期数据文件并上传FTPyuqishujv
个人估值贷款发放1.dm_vl_pers_loan_issue_range_dj
获取国槐数据并ODS入库ftp_gh.sh
委托贷款基础信息表推送mysqldm_rt_entrust_loan_issue_info_to_mysql_dt
解析飞泉数据结构化落地parse_pboc_policy_dj
还款计划产品明细监控dwb_repay_plan_biz_monitor_to_mysql_dj
生成数据文件并上传ftpdataandftp_dt
利率报备数据推送
星源20号通过结果统计xy20_overall_stat_dj
星源11号2期不通源头通过结果合并pass_reject_stat_dj
个人贷款回款信息临时表1.reload_dw_arl_pers_loan_repay_tmp_dt_copy
个人二代征信报送逾期数据处理
个人基础信息汇总dw_ip_pers_info_source_dj
信托产品信息汇总 dw_pd_trust_product_dj
个人客户信息表dm_rt_pers_cust_info_dt
个人通讯地址信息dm_cr_pers_comm_dt
个人授信信息汇总dw_arl_pers_credit_dj
借款人信息明细表dm_rc_trust_borrower_dj
估值报送
贴源层
借贷基础信息段PILB
给客户发送逾期短信
EAST报送数据推送
五维数据校验 ods_ww_data_check_dj
......
解析同盾策略集parse_hit_rules_dj
个人就业信息dm_cr_pers_career_dt
个人贷款回款信息临时表3.dw_arl_corp_loan_repay_tmp_dt
增量
个人二代征信报送数据文件
每日个人贷款统计 4.dwb_corp_loan_stat_dt
每日对公贷款统计export_workflow_all_flat_v1_to_mysql_dj
不删除昨日数据
同盾云端授信接口tongdun_yunduan_shouxin_dj
借贷额度信息段PILF
数据报表（这块也没人用了）
个人居住信息dm_cr_pers_res_dt
婚姻信息段PIBE
接下来的操作是业务人员在FTP下载数据文件并上传金电系统、异常处理等
每日个人贷款统计exec_rc_init
数据核对后恒生电子到系统视图中主动采集
生成人行结果解析数据parse_workflow_fields_basic_dj
授信结果统计gen_invoke_data_with_shouxin_info_dj
星源11号2期通过结果统计xy11_2_overall_stat_dj
同盾本地化查询接口tongdun_bendi_chaxun_dj
同盾本地化用信接口tongdun_bendi_yongxin_dj
教育信息段PIBF
个人贷款发放信息汇总dw_arl_pers_loan_issue_dj
还款计划产品明细监控dwb_repay_plan_biz_monitor_dj
短信监听task_message_monitor_dj
总共有28个任务
委托贷款余额信息表dm_rt_entrust_loan_bal_info_dt
借款人信息明细表推送mysqlhive_to_mysql_vl_trust_borrower_dj
生成借贷账户信息表（5张） dm_cr_loanaccount_info_dt
特殊交易说明dm_cr_pers_special_trans_dt
非月度表现信息段PILG
按顺序执行的原因是python不能按要求生成数据文件
授信额度信息段PICD
文件下载、改名、分段压缩PFRL
个人概况信息dm_cr_pers_dt
结束
EAST报送
个人还款信息汇总dw_arl_pers_loan_repay_dj
资金申报，每月4号手工执行
处理反馈结果ftp_hzjg.sh
估值报送数据推送
统计并生成征信相关通过率excelxy11_overall_stat_dj
基本信息基础段PIBB
信托贷款信息6.dm_rc_loan_info_dt
同盾云端贷后接口tongdun_yunduan_daihou_dj
个人估值贷款回款推送mysqlhive_to_mysql_vl_repay_dj
账户基本信息dm_cr_pers_acct_dt
个人特殊交易信息汇总\tdw_arl_pers_special_trans_dj
信托管理信息表dm_rc_fin_trust_mgt_dj
基本概况信息段PIBD
每日对公贷款统计dwb_crop_loan_stat_dj
证件有效期信息段PIBK
居住信息段PIBH
对公客户信息表dm_rt_corp_cust_info_dt
基础层
外数结构化解析落库，每日定时4点执行
借款人信息明细表7.dm_rc_trust_borrower_dt
委托贷款基础信息表dm_rt_entrust_loan_basic_info_dt
个人收款帐户信息汇总dw_arl_pers_receipt_acct_dj
风控、运营及业务盯控dwb_loan_overdue_monitor_dj
普安数据校验ods_pa_data_check_dj
获取五维数据并ODS入库ftp_ww.sh
机构信息汇总dw_ip_org_info_dj
借贷账户月度表现信息dm_cr_pers_loan_stat_dt
生成客户相关信息表（2张）dm_cr_customer_info_dt
用于监听批量执行过程中异常、执行完成发送短信给相关人员
利率报备
个人基础信息段dm_cr_pers_seg_dt
还款计划汇总监控dwb_repay_plan_export_dj
为风控加工数据，每日定时2点执行
职业信息段PIBG
个人客户信息表推送mysqldm_rt_entrust_loan_bal_info_to_mysql_dt
征信报送拓展：《个人二代征信报送.xmind》《二代征信报送规范》
客户信息归并处理dw_ip_pers_cust_merge_dj
对公客户信息表推送mysqldm_rt_corp_cust_info_to_mysql_dt
等待三方数据源确认反馈
个人估值贷款发放推送mysqlhive_to_mysql_vl_issue_dj
信托管理信息表推送mysqlhive_to_mysql_vl_fin_trust_mgt_dj
授信基础信息段PICB
个人证件信息汇总dw_ip_pers_cert_source_dj
每日个人贷款统计 dwb_pers_loan_stat_dj
每日个人贷款统计 m2h_ww_guzhi_dj
收藏
0 条评论
下一页
