数据采集功能架构图
2020-03-06 18:00:17 7 举报
数据采集系统功能框架
作者其他创作
大纲/内容
采集任务配置
应用支撑
正则
门户网站
浏览器模拟
数据源管理
目标管理
数据采集系统
Excel
采集数据统计
采集数据同步
redis
数据存储
业务层
采集任务调度
xpath
Ajax模拟请求
HTTP普通请求
xml
数据请求
关系型数据库
数据解析
模拟执行JS
采集步骤管理
论坛
用户管理
索引文件
权限管理
json
采集数据
URL提取
采集任务监控
css选择器
采集事件模拟
采集任务管理
资源管理
非关系型数据库
数据词典
URL去重
URL规则
政府网站
微博
URL分配
采集数据查询
采集RUL管理
0 条评论
回复 删除
下一页
