java诊断与链路追踪监控

heapdump /tmp/dump.hprof

下载当前内存信息到某个目录下

jvm

查看当前 JVM 信息

memory

子主题

子主题

子主题

子主题

子主题

子主题

子主题

子主题

ClassLoadingMXBean

CompilationMXBean

GarbageCollectionMXBean

MemoryManagerMXBean

MemoryMXBean

MemoryPoolMXBean

OperatingSystemMXBean

RuntimeMXBean

ThreadMXBean

包含 MBean 及其可管理的资源

提供了实现 JMX 技术可管理资源的规范

充当 MBean 和应用程序之间的中介

为远程程序提供Connector 和 Adapter访问 MBean Server

public interface BlackListMBean {
    // 获取黑名单列表
    public String[] getBlackList();
    // 在黑名单列表中添加一个用户
    public void addBlackItem(String uid);
    // 判断某个用户是否在黑名单中
    public boolean contains(String uid);
    // 获取黑名单大小
    public int getBlackListSize();
}

public class BlackList implements BlackListMBean {
    private Set<String> uidSet = new HashSet<>();
    @Override
    public String[] getBlackList() {
        return uidSet.toArray(new String[0]);
    }
    @Override
    public void addBlackItem(String uid) {
        uidSet.add(uid);
    }
    @Override
    public boolean contains(String uid) {
        return uidSet.contains(uid);
    }
    @Override
    public int getBlackListSize() {
        return uidSet.size();
    }
}

// 获取 MBean Server
MBeanServer platformMBeanServer = ManagementFactory.getPlatformMBeanServer();

// 创建 MBean 初始黑名单用户为 a 和 b
BlackList blackList = new BlackList();
blackList.addBlackItem("a");
blackList.addBlackItem("b");

// 注册
ObjectName objectName = new ObjectName("com.common.example.jmx:type=BlackList, name=BlackListMBean");
platformMBeanServer.registerMBean(blackList, objectName);

String hostname = "localhost";
int port = 9000;
// 循环接收
while (true) {
    // 简单从 Socket 接收字符串模拟接收到的用户Id
    try (Socket socket = new Socket()) {
        socket.connect(new InetSocketAddress(hostname, port), 0);
        try (BufferedReader reader = new BufferedReader(new InputStreamReader(socket.getInputStream()))) {
            char[] buffer = new char[8012];
            int bytes;
            while ((bytes = reader.read(buffer)) != -1) {
                String result = new String(buffer, 0, bytes);
                String uid = result;
                // 去掉换行符
                if (result.endsWith("\n")) {
                    uid = result.substring(0, result.length() - 1);
                }
                if (blackList.contains(uid)) {
                    System.out.println("[INFO] uid " + uid + " is in black list");
                } else {
                    System.out.println("[INFO] uid " + uid + " is not in black list");
                }
            }
        }
    }
    Thread.sleep(3000);
    System.out.println("[INFO] 休眠 3s ..............");
}

-Dcom.sun.management.jmxremote.port=8888   --表示远程jmx的端口
-Dcom.sun.management.jmxremote.authenticate=false --是否要使用用户名和口令验证
-Dcom.sun.management.jmxremote.ssl=false     --是否使用安全socket

监控系统与被监控系统交织在一起

占用系统一定的开销

它只存储最近的数据（最多一天，不是几天天或几个月）

它有一个基本的用户界面

它的设计强调易用性，而不是最佳可用性

管理UI访问通过RabbitMQ权限标记系统（或JWT令牌作用域的约定）进行控制

Prometheus有具体的接口可以提供查询指标数据

对应的第三方的支持将数据导入到第三方

例如，您可以使用计数器来表示服务的请求、完成的任务或错误的数量

内存使用的最大子，最小值

需要根据基于Prometheus提供的Client Library创建自己的Exporter程序

Promthues社区官方提供了对以下编程语言的支持：Go、Java/Scala、Python、Ruby

需要独立部署的

MySQL Exporter、Redis Exporter等都是通过这种方式实现

为了能够更好的监控系统的内部运行状态，有些开源项目如Kubernetes，ETCD等直接在代码中使用了Prometheus的Client Library，提供了对Prometheus的直接支持。这种方式打破的监控的界限，让应用程序可以直接将内部的运行状态暴露给Prometheus，适合于一些需要更多自定义监控指标需求的项目。

这种方式一般都是新项目

https://blog.csdn.net/qq_25934401/article/details/82185236

https://blog.csdn.net/penngo/article/details/126982183

CAdvisor是Google开源的一款用于展示和分析容器运行状态的可视化工具

通过在主机上运行CAdvisor用户可以轻松的获取到当前主机上容器的运行统计信息，并以图表的形式向用户展示

CAdvisor默认只保存2分钟的监控数据

CAdvisor已经内置了对Prometheus的支持

用户不用再登录到服务器中即可以可视化图表的形式查看主机上所有容器的运行状态

container_cpu_load_average_10s gauge 过去10秒容器CPU的平均负载
container_cpu_usage_seconds_total counter 容器在每个CPU内核上的累积占用时间 (单位：秒)
container_cpu_system_seconds_total counter System CPU累积占用时间（单位：秒）
container_cpu_user_seconds_total counter User CPU累积占用时间（单位：秒）
container_fs_usage_bytes gauge 容器中文件系统的使用量(单位：字节)
container_fs_limit_bytes gauge 容器可以使用的文件系统总量(单位：字节)
container_fs_reads_bytes_total counter 容器累积读取数据的总量(单位：字节)
container_fs_writes_bytes_total counter 容器累积写入数据的总量(单位：字节)
container_memory_max_usage_bytes gauge 容器的最大内存使用量（单位：字节）
container_memory_usage_bytes gauge 容器当前的内存使用量（单位：字节
container_spec_memory_limit_bytes gauge 容器的内存使用量限制
machine_memory_bytes gauge 当前主机的内存总量
container_network_receive_bytes_total counter 容器网络累积接收数据总量（单位：字节）
container_network_transmit_bytes_total counter 容器网络累积传输数据总量（单位：字节）

先启动cadvisor

Prometheus配置文件中配置cadvisor的ip地址和端口

然后启动Prometheus

该引用并不是和mysql整合在一起

优点

缺点

确保Promthues服务的可用性问题

Prometheus Server之间的数据一致性问题

持久化问题(数据丢失后无法恢复)

无法进行动态的扩展

确保了数据持久化，增加了系统可扩展性

Promthues宕机后，可以快速回复

可进行数据迁移

AWS公有云平台

OpenStack的私有云平台

Kubernetes容器管理平台

集群指标获取

集群指标

可以对任意节点请求获取统计指标

节点指标

队列指标

GET /api/overview

GET /api/nodes/{node}

GET /api/nodes

GET /api/queues/{vhost}/{qname}

监控系统与被监控系统交织在一起

占用系统一定的开销

它只存储最近的数据（最多一天，不是几天天或几个月）

它有一个基本的用户界面

它的设计强调易用性，而不是最佳可用性

管理UI访问通过RabbitMQ权限标记系统（或JWT令牌作用域的约定）进行控制

监控系统与被监控系统分离

降低服务开销

长期存储指标

方便关联聚合对比各个相关指标

更强大和可定制的用户界面

易于分享的指标数据

更健全的访问权限

针对不同节点的数据收集更具弹性

1、系统rocketMq服务

1、通过 RocketMQ Exporter 工具从rokcetMq 上获取到相关的指标数据；

2、配置Prometheus 从RocketMQ Exporter 获取到对应的指标数据

实例消息生产流量（bytes/s）

实例消息消费流量（bytes/s）

实例磁盘使用率（%）-实例各节点中磁盘使用率的最大值

Topic 消息生产流量（bytes/s）

Topic 消息消费流量（bytes/s）

Group 未消费消息总数（个）

未复制的分区数

同步副本（ISR）池缩小/扩展的速率

离线分区数（仅控制器）

集群中活动控制器的数量

每秒 UncleanLeader 选举次数

特定请求（生产/提取）用时

传入/传出字节率

每秒请求数

消耗磁盘空间消耗与可用磁盘空间

页面缓存读取与磁盘读取的比率

CPU 使用率

网络字节发送/接收

JVM 执行垃圾回收进程总数

JVM 执行垃圾收集进程用时

log-bin=mysql-bin #[必须]启用二-进制日志
server-id=100 #[必须]服务器唯一ID，如果是用于多台MySQL，ID不要重复就行
binlog-format = ROW 

<dependency>
            <groupId>com.zendesk</groupId>
            <artifactId>mysql-binlog-connector-java</artifactId>
            <version>0.27.1</version> <!--2022.09.17版的-->
        </dependency>

//为什么甚至路径都一样，还是com.github.shyiko.***，
// 因为com.zendesk这个包，里面包了个com.github.shyiko.***这玩意，我怀疑是收购关系
import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.*;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;
import lombok.extern.slf4j.Slf4j;

import java.io.IOException;

//此类可以监控MySQL库数据的增删改
@Component
@Slf4j  //用于打印日志
//在SpringBoot中，提供了一个接口：ApplicationRunner。
//该接口中，只有一个run方法，他执行的时机是：spring容器启动完成之后，就会紧接着执行这个接口实现类的run方法。
public class MysqlBinLogClient implements ApplicationRunner {

    @Override
    public void run(ApplicationArguments args) throws Exception {
        //项目启动完成连接bin-log
        new Thread(() -> {
            connectMysqlBinLog();
        }).start();

    }

    /**
     * 连接mysqlBinLog
     */
    public void connectMysqlBinLog() {
        log.info("监控BinLog服务已启动");

        //自己MySQL的信息。host，port，username，password
        BinaryLogClient client = new BinaryLogClient("localhost", 3306, "root", "root");
        /**因为binlog不是以数据库为单位划分的，所以监控binglog不是监控的单个的数据库，而是整个当前所设置连接的MySQL，
         *其中任何一个库发生数据增删改，这里都能检测到，
         *所以不用设置所监控的数据库的名字(我也不知道怎么设置，没发现有包含这个形参的构造函数)
         *如果需要只监控指定的数据库，可以看后面代码，可以获取到当前发生变更的数据库名称。可以根据名称来决定是否监控
         **/

        client.setServerId(100); //和自己之前设置的server-id保持一致，但是我不知道为什么不一致也能成功

//下面直接照抄就行
        client.registerEventListener(event -> {
            EventData data = event.getData();
            if (data instanceof TableMapEventData) {
                //只要连接的MySQL发生的增删改的操作，则都会进入这里，无论哪个数据库

                TableMapEventData tableMapEventData = (TableMapEventData) data;

                //可以通过转成TableMapEventData类实例的tableMapEventData来获取当前发生变更的数据库
                System.out.println("发生变更的数据库："+tableMapEventData.getDatabase());

                System.out.print("TableID:");
                //表ID
                System.out.println(tableMapEventData.getTableId());
                System.out.print("TableName:");
                //表名字
                System.out.println(tableMapEventData.getTable());
            }
            //表数据发生修改时触发
            if (data instanceof UpdateRowsEventData) {
                System.out.println("Update:");
                System.out.println(data.toString());
                //表数据发生插入时触发
            } else if (data instanceof WriteRowsEventData) {
                System.out.println("Insert:");
                System.out.println(data.toString());
                //表数据发生删除后触发
            } else if (data instanceof DeleteRowsEventData) {
                System.out.println("Delete:");
                System.out.println(data.toString());
            }
        });

        try {
            client.connect();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

基于云的远程监控

查询分析可视化

支持 MySQL 集群监控

实时健康状态上报、可用性监控

易于配置

监控脚本来利用Redis提供的MONITOR命令从被监控Redis实例中获取数据并存储到Redis的监控实例中来做数据分析

RedisLive以可视化的方式展示了Redis实例中的数据，分析查询模式和峰值

执行 info clients 命令获取 connected_clients 就是客户端连接数

此命令可以查询吞吐量相关的监控项

总执行命令数量

当前 Redis 实例的 OPS

网络总入量

网络总出量

每秒输入量，单位是kb/s

每秒输出量，单位是kb/s

used_memory

maxmemory

计算方式：used_memory_rss/used_memory

大于 1 表示有内存碎片，越大表示越多；小于 1 表示正在使用虚拟内存，虚拟内存其实就是硬盘，性能会下降很多。一般内存碎片率在 1 - 1.5 之间比较健康。

相关参数均为执行完 info Persistence 的结果

rdb_last_bgsave_status

rdb_last_bgsave_time_sec

aof_current_size

什么是大key

监控方式

监控方式

执行时间超过了多久，会被记录到慢查询日志中

慢日志的长度

slowlog get

slowlog get 1

集群状态

hash槽状态

节点数量

cluster info 命令中可以获取集群的状态

keyspace_hits 表示 Redis 请求键被命中的次数

keyspace_misses 表示 Redis 请求键未被命中的次数

命中率越低，导致越多的缓存穿透，对mysql容易造成影响