FLume程序
2017-03-15 11:22:20 0 举报
FLume是一个分布式、可靠且可用的大数据日志收集、聚合和传输系统。它基于流数据流模型,设计用于有效地收集各种来源的大量日志数据,并将其传输到集中式存储或处理系统中。FLume具有高度可扩展性,可以支持多个数据源和接收器,并能够根据需求动态调整资源分配。它还提供了丰富的故障恢复和容错机制,确保在网络故障或其他异常情况下数据的完整性和一致性。通过使用FLume,企业可以更好地管理和分析其日志数据,从而获得更深入的业务洞察和决策支持。
作者其他创作
大纲/内容
收集器Sink实现类
- 消息缓冲集合- JSON解析器- 消息过滤器- 队列生产端
+ 初始化()+ 启动()+ 停止()+ 数据处理()- 事务处理()
可配置标示接口(Flume)
JSON解析器
- Jackson库Mapper对象
+ JSON转对象()+ 对象转JSON()
数据服务异步任务执行器
- 执行器容量
+ 执行线程()+ 获取当前正在执行的任务数量()+ 获取执行器容量()
Sink模板类(Flume)
消息过滤器类
- 字符串构建器
+ 过滤
经纬度解析Sink实现类
- JSON解析器- 字段分隔符- 表名(用于生成文件名)- 经纬度回调服务实现类- 数据服务异步执行器
+ 初始化()+ 启动()+ 停止()+ 数据处理()
回调服务接口
+ 回调方法(java.util.Map)+ 是否正在执行(java.util.Map)
经纬度回调服务实现类
- HBase工具类
文件Sink实现类
- JSON解析器- 字段分隔符- 表名(用于生成文件名)
0 条评论
回复 删除
下一页