LAL-feeds-client
2017-04-05 11:21:25 0 举报
登录查看完整内容
LAL-feeds-client是一个用于处理和分析数据流的客户端工具。它能够接收来自不同来源的数据，并将其转换为易于理解和操作的形式。LAL-feeds-client具有高度可定制性，可以根据用户的需求进行配置和扩展。此外，它还提供了丰富的功能，如数据过滤、排序、聚合等，帮助用户快速找到所需的信息。总之，LAL-feeds-client是一个强大而灵活的工具，适用于各种数据处理场景。
作者其他创作
大纲/内容
已经灌库原始ID列表&ID内容
构造需人工参与的请求
feeds_cover_stat/result.txt
openTag灌库
./open_tag/rule_file/
手机号打通
open ID灌库更新已灌库列表每天上午11点截止
./data/lal_task_info.txt./data/lal_task_list.txt
./output/waiting_check_id.txt
FLAG
更新已入库、已扩展人群，更新增量标志，更新人群uv
扩展全量数据
hdfs
patch
排除人群列表
获取DNN的处理结果，如果处理成功，构造替换字典
2.灌库处理
原始ID包灌库
检查人群生效
./tmp/do_openid_list.txt./tmp/do_mobile_decode_list.txt
./input/thistime_input.txt./input/thistime_delete.txt
规则
3.扩展处理
ID包处理
./tmp/
后台运行
hdfs备份: $HDFS_FEEDS_ADAPTER_ROOT/ori_id_set
排除人群给nad
原始人群ID扩展人群ID原始人群包扩展人群包UV
排除人群推送
三级行业到kate的映射文件
ID包扩展
5.扩展解析
建人群、续期、删除
根据扩展人群规则结合，构造请求，建立open tag
shuijing
构造自动扩展的请求
4.灌库覆盖统计
LAL未处理任务的人群信息
DNN任务队列
opentag
程序重入增量规则merge原始、扩展人群拆分
检查是否有执行完的扩展任务
./data/lal_task_list.txt
更新qa的交互文件
./data/last_inc.txt
上一次增量读取位置
openid灌库
结果给cct
hdfs备份:$HDFS_FEEDS_ADAPTER_ROOT/ori_bhr_set
删除openid
本地备份: ./ids/xxx.txt
规则文件获取&处理
处理扩展结果
LAL平台
./tmp/do_lal_list.txt./tmp/do_uv_select_list.txt
灌库人群的feeds覆盖
已经扩展原始ID列表&扩展al内容
6.opentag处理
分原始ID对扩展原结果进行更新提取扩展人群规则集合提取原始ID打分提取原始ID在feeds上覆盖uv
./tmp/do_openid_list.txt
1.增量请求处理
7.文件更新
LAL未处理任务
解析扩展结果
DNN输入数据生成，同时生成两份扩展需求(原始uv＋double uv)
./open_tag/taginfo.txt
CCT
/app/ecom/cm/sh/lookalike/online/raw_id_pkg
更新增量信息更新已灌库ID更新已扩展ID
~/lms/iterate_key_decode.sh
解析手机号
rule文件格式转换
FEEDS的一周用户数据
DNN输入数据
已经扩展的原始ID根据uv需求重新选择行为未扩展的原始ID请求进行扩展获取原始人群打分获取原始人群feeds上uv覆盖
0 条评论
回复 删除
下一页
