shareJoin过程
2017-03-24 18:27:21 0 举报
shareJoin过程是一种用于实现分布式计算中数据共享和任务分配的算法。它的主要目标是在多个节点之间公平地分配任务,同时确保数据在节点之间的有效共享。这个过程通常包括以下几个步骤:首先,系统会收集所有节点的资源信息,如处理能力、存储空间等;然后,根据这些信息为每个任务分配一个合适的节点;接下来,将任务数据分发给相应的节点,并在节点之间建立通信通道以便于数据传输;最后,各节点开始执行任务,并将结果返回给主节点。通过这种方式,shareJoin过程能够有效地利用分布式系统中的空闲资源,提高整个系统的计算性能。
作者其他创作
大纲/内容
执行sqlJob
得到分片
客户端
拼装sql
发送sql
写给
数据存储在sqlJob中
sqlParse解析析
封装sqlJob,每个分片对应一个sqlJob,对应同一个JobHandler(shareDBJoinHandler)
根据主表的id,循环查询t2得到的结果集,如果t2j结果集中id跟主表id相同,则返回主表id,然后把t2对应结果集的列增加到t1结果集列后面
得到主表
执行shareJon饿createQryJob
收到mysql数据
并行执行各分片sql
过滤
shareSql查询
得到mysql返回结果
判断是否还有job没执行
串行执行
发送sql给dn1:mysql
是,执行下一个sqlJob,数据转存到EngineCtx上下文
发送sql给dn2:mysql
得到t1表的主键id
0 条评论
下一页