渠道监测大数据
2016-12-21 10:55:05 0 举报大数据系统后台
作者其他创作
大纲/内容
设置分页
爬取渠道分页地址
查询数据库
查询系统中分页查询地址
（展示渠道配置规则）
系统后台操作流程
数据库
获取AppID
分页查询地址
APP详情地址
爬取数据入库
发送 ID 到AppID 池
APP详细信息
下载后移除AppID的MD5
渠道爬取查询链接配置
数据入库
（正则匹配，包含编辑、提交、测试）
（下载服务器）
下一页
根据分页地址获取详情地址
(Active MQ)
爬取分页配置
用户登录
系统爬取业务流程
提交（数据入库）
点击查看详情
查询系统中配置的渠道
测试（爬取渠道分页数据）
更新APP信息
测试（爬取渠道数据）
保存并解析应用APK包
下载未下载和已经更新的APK包
10秒钟之后启动线程
（正则匹配与对应渠道规则设置）
爬取渠道APP
AppID池
如果当前AppID的MD5 不存在，添加
(redis)
循环查询
渠道管理
渠道抓取详情信息配置
AppID的MD5池
请求获取AppID
立刻启动线程
渠道
启动系统
0 条评论
下一页
