分布式日志系统的框架设计

Kafka Broker

Logstash

Hadoop服务

前端应用

微服务

Elasticsearch

kafka集群

拉取

Kibena

页面浏览

实时计算

Consumer Group

Logstash集群

推送

ZooKeeper

数据仓库

Elasticsearch集群

Producer

其他服务

服务日志

分布式日志系统的框架设计

(1)Kafka：接收用户日志的消息队列，消息队列推送各种消息，共其他服务使用(2)Logstash：做日志解析，统一成JSON输出给Elasticsearch(3)Elasticsearch：实时日志分析服务的核心技术，一个schemaless，实时的数据存储服务，通过index组织数据，兼具强大的搜索和统计功能(4)Kibana：基于Elasticsearch的数据可视化组件，超强的数据可视化能力是众多公司选择ELK stack的重要原因