性能调优思路
2024-01-17 08:44:53 1 举报AI智能生成
性能调优是指在软件系统和硬件设备上采取一系列的优化措施，以提高系统的运行速度和响应时间。以下是一段关于性能调优思路的描述： 性能调优主要涉及以下几个方面： 1. 评估性能：通过监测和分析系统性能数据，确定系统性能瓶颈和优化目标。 2. 优化硬件：调整硬件配置，如升级CPU、内存、存储设备等，提高系统性能。 3. 优化软件：改进应用程序的设计和实现，减少不必要的资源消耗，提高程序执行效率。 4. 优化数据库：调整数据库结构、索引和查询语句，提高数据库查询性能。 5. 优化网络：调整网络配置和协议，提高网络传输速度和稳定性。 6. 优化操作系统：调整操作系统参数和服务，提高系统资源的利用率。 7. 监控和报警：实施性能监控和报警机制，及时发现和解决系统性能问题。 8. 持续优化：在不断升级和改进系统过程中，持续关注系统性能，确保系统始终保持高性能。 性能调优是一个复杂的过程，需要综合考虑各种因素，采取多种优化措施，以实现最佳的系统性能。
作者其他创作
大纲/内容
调优思路
数据缓存性能调优（redis）
注意事项
缓存预热
缓存预热是指在系统启动或高峰期之前，提前将热点数据加载到缓存中。
通过预热，可以避免系统启动时大量请求导致缓存穿透和缓存雪崩问题，从而提高系统的性能和稳定性。
缓存雪崩
缓存雪崩是指在缓存中大量的数据同时过期或者缓存节点意外宕机，导致大量请求落到数据库上，从而导致数据库负载过高，甚至崩溃的现象
缓存雪崩是缓存系统中的一种灾难性问题，需要通过多节点部署、缓存失效时间随机化、热点数据异地多副本等方式来避免
缓存击穿
缓存击穿是指某一个缓存失效后，恰好在失效的时间点有大量的请求访问这个缓存，导致大量请求落到数据库上，从而导致数据库负载过高，甚至崩溃的现象
为了避免缓存击穿，可以使用互斥锁、布隆过滤器等方法来解决。
缓存之前再加一层布隆过滤器，在查询的时候先去布隆过滤器查询 key 是否存在，如果不存在就直接返回
性能测试中以上场景 会导致系统崩溃
redis性能测试
不同硬件设备，会导致redis性能有很大区别
最常用方式 redis -banchmark -q -n 100000
该命令会在Redis中运行基准测试，并输出测试结果，例如每秒钟可以处理的请求数量、平均响应时间等。这些测试结果可以帮助用户了解Redis的性能瓶颈和优化方向，从而进行系统优化和性能提升。
测试指定操作（场景）的性能
设置10万随机key 连续set 100万次 贴合实际使用
参数说明
redis自己的性能 不代表自己的产品去操作redis也能达到此性能
高并发系统架构
读多 写少 用缓存技术
分布式架构：将系统分解为多个独立的组件，每个组件运行在不同的服务器上，以提高系统的性能和可扩展性。可以使用消息队列、负载均衡、分布式缓存等技术来实现分布式架构。
缓存优化：使用缓存技术来加速系统的响应速度，减轻数据库和应用服务器的负载。可以使用分布式缓存（redis）、本地缓存、CDN(通过将静态资源（例如图片、视频、脚本等）缓存到全球各地的节点上，以提高用户的访问速度和体验)等技术来实现缓存优化。
子主题
异步处理：使用异步处理技术来提高系统的并发处理能力，例如使用消息队列、多线程、协程等技术来实现异步处理。
数据库优化：对数据库进行优化，以提高数据库的性能和可用性。可以使用数据库分库分表、索引优化、读写分离（读写分离是指将数据库的读操作和写操作分离到不同的服务器上，以提高数据库的并发处理能力和可用性）等技术来实现数据库优化。
负载均衡：使用负载均衡技术来分发用户请求，以提高系统的性能和可用性。可以使用硬件负载均衡、软件负载均衡、DNS负载均衡等技术来实现负载均衡。
安全防护：对系统进行安全防护，以防止恶意攻击和数据泄露。可以使用防火墙、反向代理、SSL证书等技术来实现安全防护。
监控和日志：对系统进行监控和日志记录，以及时发现和解决系统故障和异常。可以使用监控工具、日志分析工具、异常监控工具等技术来实现监控和日志记录。
Prometheus 部署到节点上，做性能监控,一般配合数据可视化工具（如Grafana、Kibana等）使用
ELK 日志查询，分布式服务会统一上报到elk上
APM
APM是一种应用程序性能管理技术，常见的APM工具包括New Relic、AppDynamics、Dynatrace等。这些工具可以监控应用程序的性能指标，例如响应时间、吞吐量、错误率等，并提供分析和报告功能
Trace技术或工具
Trace技术或工具可以对应用程序的请求进行跟踪和分析，以了解请求在系统中的流转情况、耗时情况等。常见的Trace技术或工具包括Zipkin、Jaeger等
skywalking
。Skywalking可以提供应用程序的性能指标、调用链跟踪、异常监控、服务依赖分析等功能，帮助用户深入了解应用程序的性能瓶颈和问题，从而进行精细化优化
redis性能调优
Redis内存溢出：由于Redis是内存数据库，如果内存占用超过最大内存限制，就会导致内存溢出，进而导致Redis崩溃。需要通过监控Redis的内存占用和调整Redis最大内存大小等方法来解决。
最大内存限制（maxmemory）
Redis连接数过多：如果Redis的连接数过多，就会导致Redis的性能下降，甚至影响应用程序的稳定性。需要通过调整Redis参数和优化应用程序代码等方法来解决。
连接数限制（maxclients）
并发执行命令数（maxmemory-samples
Redis命令执行时间过长：如果Redis的命令执行时间过长，就会导致Redis的性能下降，影响应用程序的响应时间。需要通过优化Redis命令和数据结构等方法来解决。
慢查询阈值（slowlog-log-slower-than
redis命令优化
JVM调优
内存泄漏：JVM中的内存泄漏是一个常见的问题，会导致内存占用不断增加，最终导致JVM崩溃。需要通过分析GC日志和代码，找出内存泄漏的原因，并进行修复。
GC过长：长时间的GC会导致应用程序的性能下降，甚至影响应用程序的稳定性。需要通过调整JVM参数和分析GC日志，优化GC的效率。
线程饥饿：服务端应用程序中，线程饥饿是一个常见的问题，会导致线程池中的线程无法得到充分利用，从而影响应用程序的性能。需要通过调整线程池大小和分析代码，优化线程的使用。
线程饥饿（Thread Starvation）是指线程无法获得足够的资源或优先级低于其他线程，从而无法得到充分的调度和执行，导致线程一直得不到处理的机会，从而影响应用程序的性能和稳定性
信号量（Semaphore）：信号量是一种计数器，用于控制对共享资源的访问。通过设置信号量的计数器和等待队列，可以实现对共享资源的互斥访问和防止线程饥饿。
互斥锁（Mutex）：互斥锁是一种基本的同步机制，用于保护共享资源。通过设置互斥锁，只允许一个线程访问共享资源，从而避免线程饥饿的问题。
读写锁（ReadWrite Lock）：读写锁是一种高级的同步机制，可以同时支持多个线程对共享资源的读访问，但只支持一个线程的写访问。通过合理使用读写锁，可以避免线程饥饿的问题。
条件变量（Condition Variable）：条件变量是一种用于线程间通信的同步机制，可以实现线程的阻塞和唤醒。通过合理使用条件变量，可以避免线程饥饿的问题。
无锁算法（Lock-Free Algorithm）：无锁算法是一种基于CAS（Compare-and-Swap）原子操作的同步机制，可以避免使用锁带来的线程饥饿和死锁等问题。但是无锁算法的实现难度较大，需要谨慎使用。
合理设置线程池大小，确保线程足够
合理设置线程优先级，确保高优先级的线程任务能够被优先执行
服务端代码性能调优
频繁的数据读写：如果业务代码中频繁地读写数据库、文件等数据源，就会导致性能下降。需要通过缓存技术、异步IO等方法，减少数据读写，提高性能。
循环嵌套和递归调用：如果业务代码中存在循环嵌套和递归调用，就会导致性能下降。需要通过代码优化和重构，减少循环嵌套和递归调用，提高性能。
不必要的计算和操作：如果业务代码中存在不必要的计算和操作，就会导致性能下降。需要通过优化和重构，减少不必要的计算和操作，提高性能。
并发控制：在多线程和多进程程序中，需要进行并发控制，以避免数据竞争和死锁等问题。可以使用锁、信号量、条件变量等方法进行并发控制，从而提高性能和稳定性。
数据结构选择：不同的数据结构具有不同的性能特点，需要根据实际情况和应用程序特点，选择合适的数据结构。例如，对于需要快速查找和插入的数据，可以使用哈希表；对于需要按顺序遍历的数据，可以使用链表等。
内存管理：在服务端应用程序中，需要进行内存管理，避免内存泄漏和内存碎片等问题。可以使用内存池等方法进行内存管理，从而提高性能和稳定性。
网络通信：在服务端应用程序中，网络通信往往是性能瓶颈之一。可以使用异步IO、多路复用等方法，提高网络通信的效率和性能。
数据库设计：在服务端应用程序中，数据库设计往往是性能影响因素之一。可以通过合理的数据库设计、优化查询语句等方法，提高数据库的性能和稳定性。
mysql性能调优
硬件优化：可以通过升级硬件、使用SSD硬盘等方法，优化MySQL的硬件环境，从而提高性能。
查询优化：可以通过优化查询语句、使用索引、避免JOIN操作等方法，优化MySQL的查询性能，从而提高性能。
联表查询 SELECT * FROM table1 RIGHT JOIN table2 ON table1.column = table2.column;
锁优化：可以通过采用更高效的锁机制，如行级锁、读写锁等，避免锁等待，从而提高MySQL的并发性能。
索引优化：可以通过设计合理的索引、使用覆盖索引等方法，优化MySQL的索引性能，从而提高性能。
选择适当的列：需要选择最常用于查询的列，通常是出现在 WHERE 子句或 JOIN 子句中的列，而不是那些很少使用的列。
索引列的顺序：通常将选择性最高的列放在索引列的前面，选择性可以用唯一性来表示，即该列的值越唯一，选择性就越高。这样可以减少索引的扫描范围，提高查询性能。
多列索引和单列索引：多列索引可以包含多个列，可以提高查询的效率，但也会增加索引的存储和维护成本。需要根据实际情况和查询特点，选择使用多列索引还是单列索引。
覆盖索引：覆盖索引是指索引包含所有需要查询的数据，不必再去访问数据表，可以大大提高查询性能。需要选择适当的列和顺序，并使用包含需要查询的所有数据的索引。
索引的长度：索引的长度可以影响索引的存储和维护成本，过长的索引会增加这些成本。需要根据实际情况和索引列的数据类型、长度等因素，选择适当的索引长度。
避免过度索引：过度索引会增加索引的存储和维护成本，并且可能会影响更新和插入操作的性能。需要根据实际情况和查询特点，选择适当的索引，避免过度索引。
nginx集群调优思路
负载均衡不均：如果负载均衡不均，可能会导致一些Nginx节点的负载过高，而其他节点的负载过低。需要调整负载均衡算法、权重等参数，保证负载均衡的均衡性。
网络瓶颈：如果网络带宽不足，可能会导致Nginx节点之间的通信延迟增加，从而影响集群的性能。需要优化网络架构，增加带宽、降低延迟等。
单点故障：如果Nginx集群中存在单点故障，可能会导致整个集群的性能下降甚至瘫痪。需要采用高可用架构、备份节点等方式，避免单点故障。
配置错误：如果Nginx集群的配置存在错误，可能会导致集群性能下降。需要根据实际情况和应用程序特点，选择合适的配置，并进行测试和优化。
缓存大小
连接数
超时时间
测试数据应该具有代表性，包括请求量、请求类型、请求参数等方面。需要根据实际情况和应用程序特点，选择合适的测试数据，并进行充分测试
消息队列性能调优
集群化部署：将消息队列集群化部署，增加集群的可扩展性和可靠性，避免单点故障。
数据持久化：采用持久化存储方式，将消息存储到磁盘上，避免消息丢失和重复，并支持消息的恢复和重试。
消息分片：将消息分片存储，避免单个消息队列的负载过高，增加系统的并发能力和吞吐量。
负载均衡：采用负载均衡算法，将消息分配到不同的队列或者节点上，避免消息堆积和资源瓶颈。
异步处理：采用异步处理方式，将消息的生产和消费分离开来，避免消息处理速度的瓶颈。
确认消息堆积的原因：首先需要确认消息堆积的原因，可能是消费者处理速度慢，也可能是生产者过度生产消息等等。
增加消费者数量：如果消息堆积的原因是消费者处理速度慢，可以增加消费者数量，将消息分配给更多的消费者，从而提高消费速度。
调整消费者的处理能力：如果消费者数量已经足够，但是消费者的处理能力不足，可以尝试调整消费者的处理能力，如优化代码、增加机器配置等。
减少生产者的生产速度：如果消息堆积的原因是生产者过度生产消息，可以尝试减少生产者的生产速度，如减少消息生产频率、增加消息批量大小等。
增加消息队列的容量：如果消息堆积的原因是消息队列的容量不足，可以尝试增加消息队列的容量，从而减少消息堆积的可能性。
消息重试机制：如果消息消费失败，可以尝试采用消息重试机制，将消息重新发送给消费者进行处理，避免消息丢失和堆积。
监控和告警：在消息堆积的情况下，需要及时监控和告警，发现问题并及时处理，避免消息堆积导致系统的崩溃。
监控和调优：采用监控系统，实时监控消息队列的状态、性能等指标，及时发现和解决性能问题，进行调优。
cpu 性能调优
代码优化：对服务的代码进行性能分析和优化，如使用高效的算法、采用异步编程等方式来提高代码的执行效率，减少CPU占用率
硬件升级，采用容器技术，给分布式服务合理分配CPU资源
内存性能调优
优化内存回收机制，垃圾回收
检查代码中是否存在导致内存泄露的代码
升级硬件，扩充内存配置
网络带宽性能调优
优化网络协议：网络协议可能会导致网络占用率过高，可以优化网络协议，如使用压缩算法、使用二进制协议等方式来减少网络占用率。
缓存网络请求结果：如果服务需要频繁进行网络通信，可以缓存网络请求结果，减少不必要的网络请求，从而减少网络占用率。
增加网络带宽：如果服务的网络占用率过高，可能需要考虑增加网络带宽来提高网络的传输速度。
负载均衡：如果服务的负载过重，可以通过增加服务实例数量、负载均衡等方式来分摊服务的负载，从而减少网络占用率。
采用异步编程：采用异步编程可以减少网络请求的阻塞时间，从而提高网络吞吐量，减少网络占用率。
硬件升级：如果服务的网络占用率过高，可能需要考虑对硬件进行升级，如增加网络接口卡数量、增加网络带宽等方式来提高服务器的性能。
CDN--合理存储静态文件，降低单一网路的网络压力
io性能调优
采用异步I/O：采用异步I/O可以减少I/O操作的阻塞时间，从而提高I/O吞吐量，减少I/O占用率。
缓存I/O操作结果：如果服务需要频繁进行I/O操作，可以缓存I/O操作结果，减少不必要的I/O操作，从而减少I/O占用率。
优化磁盘访问：如果服务需要频繁访问磁盘，可以优化磁盘访问效率，如增加磁盘缓存、使用SSD硬盘等方式来提高磁盘访问速度，从而减少I/O占用率。
代码优化：对服务的代码进行性能分析和优化，如使用高效的算法、采用异步编程等方式来减少I/O占用率。
负载均衡：如果服务的负载过重，可以通过增加服务实例数量、负载均衡等方式来分摊服务的负载，从而减少I/O占用率。
硬件升级：如果服务的I/O占用率过高，可能需要考虑对硬件进行升级，如增加磁盘数量、增加磁盘缓存、使用高速磁盘等方式来提高服务器的性能。
常见问题
缓存热key
同时访问同一条缓存数据，导致请求都落到同一个数据分片，造成分片负载过高
超时雪崩
下游服务超时后，导致上游服务不断重试，瞬间多几倍的请求会压垮服务
日志写入过多
日志分级不合理，写入内容过多也会导致性能问题，比如现网打开了debug log
sql语句慢查询
联表查询未做优化，没有合理的索引等
索引是关系数据库中对某⼀列或多个列的值进⾏预排序的数据结构。通过使⽤索引，可以让数据库系统不必扫描整个表，
⽽是直接定位到符合条件的记录，这样就⼤⼤加快了查询速度
⽽是直接定位到符合条件的记录，这样就⼤⼤加快了查询速度
合理的分库分表，表越小查询越快
0 条评论
下一页
