登录功能MVP结构图
2017-04-14 17:37:56 0 举报
MVP登录功能实现类图
作者其他创作
大纲/内容
3. 在将任务信息保存到MySql表后,就会用Runtime,process等API去执行一个封装了spark-submit命令的linux shell脚本5. 提交之后会设置 task 的开始时间6. 监听到spark作业结束以后就会设置结束时间,同时会维护作业状态
本项目只专注于 Spark相关,J2EE相关只做了解。
spark standalone集群上运行,yarn集群上运行
2. 将用户提交的任务信息插入到MySQL中的task表
6. 在spark作业运行过程中或运行结束,会将统计分析结果数据插入到MySQL值班对应表中,以供J2EE平台在后续展示数据
使用者,可以通过J2EE平台提交各种不同类型的统计分析任务,查询自己他提交的任务列表,查看每个任务的执行结果的图表和报表的展示页面
J2EE 平台,负责向用户展示任务列表,任务创建页面,任务结果展示页面
4. 提交jar到spark集群运行
8. J2EE平台从MySQL业务表中读取数据,封装为对应的JSON数据格式,并返回前端到页面展示(表格,图表)。
5. spark作业运行的第一步就是从MySQL的task表中读取本任务需要使用的一些筛选参数。
linux shell脚本,和J2EE平台部署所在的linux机器一起封装了spark-submit shell脚本
MySQL数据库,包含各种业务需要使用的表
7. 任务结束后,点击对应链接,查看结果数据的展示图表和报表。
1. 提交一个创建任务的请求,进入任务创建页面,最后提交任务
终端/用户
和shell脚本在一个linux机器上的spark作业的jar包。
0 条评论
回复 删除
下一页