astream耗时分析
2017-02-16 13:56:59 0 举报
astream耗时分析是一种用于评估数据处理过程性能的方法。它通过测量从数据源到目标的传输时间，以及在处理过程中的各种操作所花费的时间，来了解整个流程的效率。这种分析可以帮助我们发现潜在的瓶颈和优化点，从而提高数据处理速度和准确性。例如，我们可以通过对astream耗时分析的结果进行可视化展示，以便更直观地了解各个阶段的耗时情况，并为进一步优化提供依据。总之，astream耗时分析是一种有效的工具，可以帮助我们更好地理解和改进数据处理过程。
作者其他创作
大纲/内容
Worker
kafka
composite-10s&30s&60s
PaaS-proxy
报警
拉取任务
astream
数据采集
随机
puller
adaptor
go-adaptor
00:00:01
nj02
DisruptorQueue
flink-job1
flink
collector
Exeutor
supervisor
online:superpage
pre-aggregator-10s
200并发，系统瓶颈，容量有20W
路由控制主/备集群切换
Netty
Aggregator
160并发，随机写到200个partition
Inst-proxy
kafka+storm
用户推送
下载代码
...
配置管理
kafka-topic1
connector
saver(sh01)
conf-puller
argus-agent
华北
健康检查模块
kafka topic
downstream2
joiner
pre_aggr_result_timeseries30
子模块之间耗时分析缺乏
一致性哈希
任务管理
域名
Host集群
agent采集
TSDB（华北）
00:00:23~00:00:32
pre_aggr_rules
storm
flink-job2
nmg02
composite_rules
nimbus
过滤不健康ip
200并发实际也只有160个有效，实际容量只有16W
Task
地图检索的全量流量
flink-job1-new
TSDB（华东）
数据转发
routing.conf
启动
ip选择模块
手百和feed
namingserver
任务分发
pre_aggr_result_timeseries10
ff
controller
saver(nmg02)
名字服务
source_timeseries
写入
Instance集群
00:00:02
relations
shard3
多维度聚合
Astream(华东)
PaaS集群
提交Topology
pre_aggr_input_timeseries30
服务管理
感知任务
pre_aggr_input_timeseries10
每15s将数据flush到下游
应用派生
监控配置
noah-client
flink 计算作业
client
composite_result_timeseries
downstream1
华东
logstream
zookepper
ACG
shard1
shard2
00:00:17+x
200partition
160并发，一一对应写到160个固定partition
数据聚合
Aggr-proxy
site-agent
其他颜色为独立模块
存储
按照app进行分流
汇聚计算
按照产品线进行分流
dispatch
sh01
Astream（华北）
1. task任务分配2 worker心跳监控
pre-aggregator-30s
200partition实际只有160个有数据
saver(nj03)
saver
地图检索的40%流量+ACG
Host-proxy
0 条评论
回复 删除
下一页
