flume-client
2017-03-16 17:47:28 0 举报
登录查看完整内容
Flume-client是Apache Flume的客户端库，用于将数据流从各种源传输到目标。它提供了一种可扩展和灵活的方式来收集、聚合和传输大量数据。Flume-client支持多种源和目标类型，如Avro、Thrift、HTTP等，并允许用户自定义数据处理逻辑。通过使用Flume-client，开发人员可以轻松地构建实时数据流管道，实现数据的采集、处理和分析。此外，Flume-client还提供了一些高级功能，如事务支持、故障恢复和负载均衡，以确保数据流的稳定性和可靠性。总之，Flume-client是一个强大而灵活的工具，适用于构建大规模数据处理系统。
作者其他创作
大纲/内容
cache?
Timer
Backend:用于更新 relationTable 的数据，具体指的是 itemservice 项目中一系列的 timer
insert
relation-cache
获取 hbase update-data
check:全量扫描出 itemService cache 相关key 保存到本地文件，然后分批发送到 repair进行更新
1 base-cache: itemservice_cache|icc2 relation-cahce:itemservice_relation_cache|icc|lang
Itemservice
hbase
flush-file
扫描 all-master 获取 keys
base-cache
relationTable
NEW
repair
itemserviceopen compare
scan-rediskeys
check
扫描 relation_cache keys
没有
hbase比 redis 新
Current
batch-postreparir
backend
ItemService: 这个是主业务
变化的数据postrepair-cahce
有
Hbase
0 条评论
回复 删除
下一页
