predeal 思维导图模板_ProcessOn思维导图、流程图

view

dsp_view_cpt.py

文件来源：dsp_view_cpt_rcv_date

billing_dsp_view_cpt_date 文件格式：line +\t+ bill_cost =

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

RCV click join 使用的变量 join_tk（tk + "_" + pkg_name）

中间文件 dsp_attribute_view_cpt_tk_date 文件格式：join_tk

bakup to big data

/ifsnew/anti-fraud/pre_deal/billing_dsp_view_cpt/20190110/CN_billing_dsp_view_cpt_date

bill use

源文件：billing_dspcpt_date

备份 (big_data_deal_path/log_type/20190110/15/00/CN_filename)

/ifsnew/anti-fraud/pre_deal/billing/billing_dsp_view_cpt/20190110/15/00/CN_billing_dspcpt_date

计费 (cn_remote_rsync_billfile_path/CN_filename)

目标路径：/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpt_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpt_date.done

dsp_view.py

文件来源：dsp_view_rcv_date

超时（if expired）

lt 为空

中间文件 filter_billing_dsp_view_date 文件格式：[FILTER_BY_EXPIRED_FORMAT] + \t +line(文件来源 dsp_view_rcv_date)

lt =0 or ( lt>0 and abs(lt-ts) >rcv_expired_time = 21600)

filter_billing_dsp_view_date 文件格式：[FILTER_BY_EXPIRED_VIEW] + \t +line(文件来源 dsp_view_rcv_date)

去重

生成 uniqs

a.将1个小时内的时间存放在一个list中(5分钟记录一次) b.删除当前时间 c. 循环list创建路径 d.生成uniqs （key的形式）

父主题

中间文件：filter_billing_dsp_view_date (文件格式：[FILTER_BY_DSP_DUP_VIEW] + \t + line

生成集合变量 new_uniqus（元素：key）

遍历new_uniqus

中间文件：uniq_dsp_view_date 文件格式：key | key |key ……

dsp 没判断计费类型

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

billing_dsp_view_date 文件格式： line +\t bill_cost +str(cost)

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

归因的中间变量（RCV click join 使用） join_tk (文件格式tk + "_" + pkg_name)

中间文件 dsp_attribute_view_tk_ date(文件格式：join_tk)

bakup to big data

源文件：billing_dsp_view_date

/ifsnew/anti-fraud/pre_deal/billing_dsp_view/20190110/CN_billing_dsp_view_date

bill use

源文件：billing_dspcpm_date

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_dsp_view/20190110/15/00/CN_billing_dspcpm_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpm_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpm_date.done

bill_view_cpt.py

文件来源：view_cpt_rcv_date

处理 cn

if 计费方式cp = 2 and asc =1

billing_view_cpt_asc_date 文件格式：line+ bill_cost=0(line是文件来源的line)

bill_view_cpt_asc_file_date 文件格式：res_type+ |+ _sn

else

billing_view_cpt_date 文件格式：line + bill_cost =

cost 取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 (其中 is_special = true)

if cp =2 and res_type = 80

cost 取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

归因 RCV click join

join_tk

中间文件 attribute_view_cpt_tk_date（文件格式：tk + "_" + pkg_name）

bakup to big data

源文件：billing_view_cpt_date

/ifsnew/anti-fraud/pre_deal/billing_view_cpt/20190110/CN_billing_view_cpt_date

bill use

源文件：billing_cpt_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpt_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpt_date.done

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_view_cpt/20190110/15/00/CN_billing_cpt_date

if cn

源文件：billing_asccpt_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_asccpt_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_asccpt_date.done

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_view_cpt/20190110/15/00/CN_billing_asccpt_date

bill_view.py

文件来源：view_rcv_date

超时

lt 为空

中间文件 filter_billing_view_date 文件格式：[FILTER_BY_EXPIRED_FORMAT] + \t +line(文件来源 view_rcv_date)

lt =0 or ( lt>0 and abs(lt-ts) >rcv_expired_time = 21600)

filter_billing_view_date 文件格式：[FILTER_BY_EXPIRED_VIEW] + \t +line(文件来源 view_rcv_date)

去重：cp == cpm(4)

中间文件 filter_billing_view_date 文件格式：[FILTER_BY_DUP_VIEW] +\t+ line (文件来源：view_rcv_date)

生成集合变量 new_uniqus（元素：key）

遍历new_uniqus

中间文件：uniq_view_date 文件格式：key | key |key ……

报表使用 billing_view_date 文件格式：line + \t +bill_cost =

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 (其中 is_specila = true)

计费使用 cp =4 and res_type = 80

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 其中（is_special = true）

归因的中间变量（RCV click join 使用） join_tk (文件格式tk + "_" + pkg_name)

attribute_view_tk_date 文件格式：join_tk

backup to big data

源文件：billing_view_date

/ifsnew/anti-fraud/pre_deal/billing_view/20190110/CN_billing_view_date

bill use

源文件：billing_cpm_date

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_view/20190110/15/00/CN_billing_cpm_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpm_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpm_date.done

backup fraud

源文件：filter_billing_view_date

/ifsnew/anti-fraud/pre_deal/classify/other/billing_view/20190110/15/00/CN_filter_billing_view_date

click

bill_click.py

文件来源：click_rcv_date

超时（if expired）

lt 为空

filter_billing_click_date 文件格式：[FILTER_BY_EXPIRED_FORMAT] + \t +line

lt =0 or ( lt>0 and abs(lt-ts) >rcv_expired_time = 21600)

中间文件 filter_billing_click_date 文件格式：[FILTER_BY_EXPIRED_CLICK] + \t +line

去重

filter_billing_click_date

文件格式： [FILTER_BY_DUP_CLICK] + \t +line

生成集合变量 new_uniqus（元素：key）

遍历new_uniqus

中间文件：uniq_click_date 文件格式：key | key |key ……

ip过滤

ipfault

filter_billing_click_date

文件格式：[FILTER_BY_DUP_CLICK_IP] + \t +line

reward_ipfault

filter_billing_click_date

文件格式：[FILTER_BY_DUP_CLICK_IP] + \t +line

billing_click_date 文件格式：line+ bill_cost= cost

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 (其中 is_special = false)

归因的中间变量（RCV click join 使用）

join_tk (文件格式str(timestamp)+'\t'+tk + '_' + pkg_namee)

中间文件 attribute_click_tk_date(文件格式：join_tk)

if 计费方式cp =3and res_type=80

billing_cpc_date

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 （其中 is_special = false）

backup to big data

源文件：billing_click_date

/ifsnew/anti-fraud/pre_deal/billing_click/20190110/CN_billing_click_date

bill use

源文件：billing_cpc_date

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_click/20190110/15/00/CN_billing_cpc_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpc_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpc_date.done

backup fraud

源文件：filter_billing_click_date

/ifsnew/anti-fraud/pre_deal/classify/other/billing_click/20190110/15/00/CN_filter_billing_click_date

dsp_click.py

文件来源：dsp_click_rcv_date

归因

if off_pub != 1 and filter_attribution.attributes

continue

其中 filter_attribution.attributes 中会有中间文件产生

中间文件 filter_billing_dsp_click_date 文件格式：[FILTER_BY_ATTRIBUTE_DSP_CLICK] +\t +line

billing_dsp_click_date 文件格式：line +\t + bill_cost = 0

backup to big data

源文件：billing_dsp_click_date

/ifsnew/anti-fraud/pre_deal/billing_dsp_click/20190110/CN_billing_dsp_click_date

backup fraud

源文件：filter_billing_dsp_click_date

/ifsnew/anti-fraud/pre_deal/classify/other/billing_dsp_click/20190110/15/00/CN_filter_billing_dsp_click_date

install

bill_install.py

文件来源 :install_rcv_date

非80 需要计费 if cp =1 and is cn

billing_cpi_date

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 (其中 is_special=false)

if cn

billing_install_date 文件格式：line + \t+ bill_cost = cost

cost取值

if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）

if is_special cost =cost/1000 (其中 is_special=false)

去重

中间文件 filter_billing_install_date 文件格式 [FILTER_BY_DUP_INSTALL] + \t + line

生成集合变量 new_uniqus（元素：key）

遍历new_uniqus

中间文件：uniq_install_date 文件格式：key | key |key ……

国内需要归因 if cn and filter_attribution.install_attributes

continue

其中 filter_attribution.install_attributes 会有产生中间文件

中间文件 filter_billing_install_date 文件格式：[FILTER_BY_ATTRIBUTE_INSTALL] + \t +line

backup to big data

源文件：billing_dsp_click_date

/ifsnew/anti-fraud/pre_deal/billing_install/20190110/CN_billing_install_date

backup fraud

源文件：filter_billing_dsp_click_date

/ifsnew/anti-fraud/pre_deal/classify/other/billing_install/20190110/15/00/CN_filter_billing_install_date

bill use

if cn

源文件：billing_cpi_date

备份

/ifsnew/anti-fraud/pre_deal/billing/billing_install/20190110/15/00/CN_billing_cpi_date

计费

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpi_date

/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpi_date.done

freq_ctr.py

bill_vasttag.py

dsp_video.py

install_activate.py