storm_cal

2017-02-08 13:16:27   0  举报





仅支持查看

Storm_cal是一款强大而全面的天气预测工具，它以其精准的预报和丰富的功能赢得了用户的一致好评。这款应用不仅可以提供实时的天气信息，包括温度、湿度、风速等，还能预测未来几天甚至几周的天气趋势。此外，Storm_cal还具有灾害预警功能，能够提前预警可能发生的极端天气事件，如台风、暴雨、雷电等，帮助用户做好防范措施。其界面设计简洁明了，操作流程直观易懂，无论是老人还是小孩都能轻松上手。无论你是出门旅行还是日常出行，Storm_cal都是你不可或缺的天气预报助手。

作者其他创作

大纲/内容

work进程

ShuffleBolt

是

SourceCalcTopology情况下

emitter.success：1.内部调用spout.ack方法1.1 currGra = 1，nextGra=10 MIN_AGG_KEY=\"MIN_$%d$_AGG_KEY\"curTime格式yyyyMMddHHmmssnextGraTime格式yyyyMMddHHmm

继承BaseFunction

emitBatch参数：1.batchId（通过tuple得到tx.getTransactionId()）2.TridentCollector

消息重发

key=batchId，value=timeKey

业务消息队列queue

ackQueue

初始化参数：1.biz_topic2.batch_size3.spout_count

shuffleThreadCount【并发线程数】

提交上传storm集群（tologygeName，conf，topology）

1.CONSUMER_HOST（订阅消息的标识名称）2.PRODUCER_HOST（发送消息的标识名称）3.CLUSTER_NODE（reids集群访问地址集合标识名称）4.MSG_BYTES（获取kafka订阅消息的最大限制标识）5.MAX_CONSUMER_COUNT6.CALC_GRANULE_INTERVAL7.GRANULE_TIMEOUT_MAP8.PARTKEY_LIST（kafka生产者发送数据时的partition分区KEY）9.KAFKA_PRODUCER_PARTITIN（kafka生产分区数）10.KAFKA_CONSUMER_PARTITIN（kafka订阅分区数）11.worker_num（STORM集群进程数）12.ackCount（ACK线程数）13.setMaxSpoutPending(spout_count)14.TOPOLOGY_MESSAGE_TIMEOUT_SECS15.STORM_ZOOKEEPER_SESSION_TIMEOUT16.STORM_ZOOKEEPER_CONNECTION_TIMEOUT17.TOPOLOGY_WORKER_CHILDOPTS18.STORM_MESSAGING_NETTY_SERVER_WORKER_THREADS19.STORM_MESSAGING_NETTY_CLIENT_WORKER_THREADS

Redis

继承BaseAggregator

1.configPath 2.storm.properties

SourceCalcTopology

spout_count数量

execute调用1.List转化成List，批量发送给

初始化参数：producer_topict

存入DataRecords

storm集群

Config设置

Fields(\"datas\")

config配置1：FILE_PATH_SNAPSHOT（快照路径字段）

storm nimbus

实现细节

BatchSpoutExecutor

否

kafka集群

GranuleCalcTopology

execute方法

key=\"\"+batchId，value=timeKey

实现IBatchSpout

tologygeName==TOPOLOGY_SOURCE？

Zookeeper(完成Supervisor和Nimbus之间协调的服务)

JmsSpout初始化1.设置biz_topic，batch_size，spout_count

open参数：1.conf（storm配置）2.TopologyContext

topology各粒度数据计算拓扑结构

storm supervisor个数M

storm集群分配N个work进程到M个superisor上

topology原始数据计算拓扑结构

开始

PartitionAggBolt合并汇总

参数：1.configPath 2.设置\"br.xml.kek\"3.tologygeName4.worker_num（设置进程数）5.ackCount（ack的线程数） 6.spout_count7.shuffleThreadCount（加载数据时线程数）8.aggThreadCount（数据汇总时的线程数）9.batch_size（批量处理数据的大小）

读取配置文件

Fields(\"content\")

内部实现

APM_Storm_Calc

继承IBatchSpout