商品地图基础数据pipline
2021-03-05 10:52:12 0 举报
登录查看完整内容
地图产品基础数据pipline
作者其他创作
大纲/内容
基础gps经纬度数据以及各个厂商的转换后坐标
任务生成器
解耦业务：根据业务决定要那些数据进行那些后边的标签关联
fiter：各个厂商的交集|选定城市|选定分类
清洗转换后的数据入es
基于清洗规则清洗归类等
基础poi数据入kafka
清洗后的数据入es
基于key并发调用腾讯等第三方的地图类接口1.增量2.可选定范围3.周期性4.厂商选择可配置化（方便后面做交集）
worker
1.基于key调用第三方接口补充标签2.基于各种第三方app如大众点评和爬虫技术补充标签3.基于数据清洗规则补充标签4.基于我司已有门店数据补充标签5.等等
应用层1.对比某区域某品类店的季节变化情况2.获取某区域某品类的区域分布3.获取某地点周边具体品类分布情况4.等等
任务队列
0 条评论
回复 删除
下一页
