storm_cal
2017-02-08 13:16:27 0 举报
登录查看完整内容
Storm_cal是一款强大而全面的天气预测工具，它以其精准的预报和丰富的功能赢得了用户的一致好评。这款应用不仅可以提供实时的天气信息，包括温度、湿度、风速等，还能预测未来几天甚至几周的天气趋势。此外，Storm_cal还具有灾害预警功能，能够提前预警可能发生的极端天气事件，如台风、暴雨、雷电等，帮助用户做好防范措施。其界面设计简洁明了，操作流程直观易懂，无论是老人还是小孩都能轻松上手。无论你是出门旅行还是日常出行，Storm_cal都是你不可或缺的天气预报助手。
作者其他创作
大纲/内容
work进程
ShuffleBolt
是
SourceCalcTopology情况下
emitter.success：1.内部调用spout.ack方法1.1 currGra = 1，nextGra=10 MIN_AGG_KEY=\"MIN_$%d$_AGG_KEY\"curTime格式yyyyMMddHHmmssnextGraTime格式yyyyMMddHHmm
继承BaseFunction
emitBatch参数：1.batchId（通过tuple得到tx.getTransactionId()）2.TridentCollector
消息重发
key=batchId，value=timeKey
业务消息队列queue
ackQueue
初始化参数：1.biz_topic2.batch_size3.spout_count
shuffleThreadCount【并发线程数】
提交上传storm集群（tologygeName，conf，topology）
1.CONSUMER_HOST（订阅消息的标识名称）2.PRODUCER_HOST（发送消息的标识名称）3.CLUSTER_NODE（reids集群访问地址集合标识名称）4.MSG_BYTES（获取kafka订阅消息的最大限制标识）5.MAX_CONSUMER_COUNT6.CALC_GRANULE_INTERVAL7.GRANULE_TIMEOUT_MAP8.PARTKEY_LIST（kafka生产者发送数据时的partition分区KEY）9.KAFKA_PRODUCER_PARTITIN（kafka生产分区数）10.KAFKA_CONSUMER_PARTITIN（kafka订阅分区数）11.worker_num（STORM集群进程数）12.ackCount（ACK线程数）13.setMaxSpoutPending(spout_count)14.TOPOLOGY_MESSAGE_TIMEOUT_SECS15.STORM_ZOOKEEPER_SESSION_TIMEOUT16.STORM_ZOOKEEPER_CONNECTION_TIMEOUT17.TOPOLOGY_WORKER_CHILDOPTS18.STORM_MESSAGING_NETTY_SERVER_WORKER_THREADS19.STORM_MESSAGING_NETTY_CLIENT_WORKER_THREADS
Redis
继承BaseAggregator
1.configPath 2.storm.properties
SourceCalcTopology
spout_count数量
execute调用1.List转化成List，批量发送给
初始化参数：producer_topict
存入DataRecords
storm集群
Config设置
Fields(\"datas\")
config配置1：FILE_PATH_SNAPSHOT（快照路径字段）
storm nimbus
实现细节
BatchSpoutExecutor
否
kafka集群
GranuleCalcTopology
execute方法
key=\"\"+batchId，value=timeKey
实现IBatchSpout
tologygeName==TOPOLOGY_SOURCE？
Zookeeper(完成Supervisor和Nimbus之间协调的服务)
JmsSpout初始化1.设置biz_topic，batch_size，spout_count
open参数：1.conf（storm配置）2.TopologyContext
topology各粒度数据计算拓扑结构
storm supervisor个数M
storm集群分配N个work进程到M个superisor上
topology原始数据计算拓扑结构
开始
PartitionAggBolt合并汇总
参数：1.configPath 2.设置\"br.xml.kek\"3.tologygeName4.worker_num（设置进程数）5.ackCount（ack的线程数） 6.spout_count7.shuffleThreadCount（加载数据时线程数）8.aggThreadCount（数据汇总时的线程数）9.batch_size（批量处理数据的大小）
读取配置文件
Fields(\"content\")
内部实现
APM_Storm_Calc
继承IBatchSpout
0 条评论
回复 删除
下一页
