test
2019-08-29 10:37:25 1 举报
冰鉴项目
作者其他创作
大纲/内容
put
\bworker
1.元数据配置
4.画像
setResult
\b初始化spark执行线程：8个即同时最多只会有8个spark任务能执行
2.元数据生成
take
spark任务执行
getResult，处理结果，callback结果
\b特殊处理
broker
文件结构1.存储路径格式：meta和data文件类似baseUrl/hive表名/日期/列名/meta/16个分区如：/user/olap/broccoli/low_data /mds_user_info /20190826 /degree /meta /0span style=\"font-size: inherit;\
线程run 方法： while (isRunning && !Thread.currentThread().isInterrupted())
ArrayBlockingQueue
\b调用画像接口
\b通用配置的三张表：label_info， table_info， column_info
高基数：hive查找后转worker低基数：直接转worker
3.筛选
// 这个数据结构是根据接口请求参数，从数据库取值拼接而成{ \"mds_user_info\":{ \"table\":\"mds_user_info\
0 条评论
回复 删除
下一页
