亿级流量网站技术图
2021-06-06 11:52:57 2 举报
AI智能生成
亿级流量网站架构核心技术思维导图主要包括以下几个部分:首先,前端优化,包括页面加载速度优化、用户体验优化等;其次,服务器端技术,如负载均衡、高可用、微服务架构等;再次,数据库优化,包括SQL优化、索引优化、分库分表等;然后,缓存技术,如Redis、Memcached等;最后,安全技术,如防火墙、DDoS防护、数据加密等。这些技术共同构成了亿级流量网站的核心技术体系,保证了网站的稳定性、可用性和安全性。
作者其他创作
大纲/内容
交易性系统设计原则
通用原则
避免过度设计、最小化可行产品
墨菲定律
任何事都没有表面看起来那么简单
所有的事都会比你预计的时间长
会出错的事总会出错
如果你担心某种情况发生,那么它就更有可能发生
康威定律
第一定律:组织沟通方式会通过系统设计表达出来
第二定律:时间再多一件事情也不可能做的完美,但总有时间做完一件事情
一口气吃不成胖子,先搞定能搞定的
不指望绝对完美的系统,保障及时恢复的机制
复杂的系统需要通过容错弹性的方式持续优化,不要指望一个大而全的设计或架构,好的架构和设计都是慢慢迭代出来的
第三定律:线型系统和线型组织架构间有潜在的异质同态特性
做独立自治的子系统减少沟通成本
按照业务闭环进行系统拆分/组织架构划分,实现闭环/高内聚/低耦合,减少沟通成本
第四定律:大的系统组织总是比小系统更倾向于分解
合久必分,分而治之
高并发原则
无状态
应用无状态,配置文件有状态
拆分
服务化
消息队列
数据异构/数据聚合
构建查询视图,聚合数据到Redis或持久化KV存储
缓存银弹
浏览器端缓存
APP客户端缓存
CDN缓存
1-推送机制:当内容变更时主动推送到CDN边缘节点
2-拉取机制:先访问边缘节点,没有内容时回源到源服务器拿到内容并存储到CDN节点
注意:URL的设计上不能有随机数,否则每次都会穿透CDN回源
接入层缓存(Nginx)
应用层缓存(Tomcat)
堆内缓存(JVM)
堆外缓存(如Redis)
分布式缓存
利用一致性哈希等算法进行分片
并发化
无依赖关系的数据可以并发化获取,提升整体性能
高可用原则
SLA制定
吞吐量、响应时间、降级方案等
监控报警
应急预案
降级
降级读:服务调用降级为只读缓存或只读默认降级数据(如库存默认有货)
开关前置化:如在Nginx层做开关,请求不回源后端Tomcat或者只是小部分回源
业务降级:保障核心业务,强一致性变为最终一致性
SLA制定
隔离
切流量
通过接入层将故障负载的流量切走
限流
可回滚
版本化管理,程序或数据可以回滚到最近一次正确的版本
业务设计原则
防重
幂等
流程可定义
状态与状态机
正向状态和逆向状态可根据系统特征来决定要不要分离存储
状态设计时必须有状态轨迹
当状态很多时使用状态机来驱动状态的变更和后续流程节点操作
后台系统操作可反馈
预览修改效果
后台系统审批化
文档和注释
备份
代码仓库
AKF15个架构设计原则
1、N+1原则
确保任何你开发的系统在发生故障时,至少有一个冗余的实例
2、回滚设计
确保系统可以回滚到以前发布的任何版本
3、禁用设计
设计某些会影响到其他系统或服务通信的高风险系统/功能时,要确保能通过开关禁用
4、监控设计
在设计阶段就要考虑监控,而不是在实施阶段进行补充
5、设计多活数据中心
6、使用成熟的技术
新技术使用在对可用性要求不高的系统功能上
7、异步设计
8、无状态系统
无状态才能弹性扩充
应用无状态,配置有状态
9、水平扩展非垂直升级
永远不要依赖更大、更快的系统
10、设计至少要有两个步骤的前瞻性
11、非核心能力外购
如果不是你最擅长的,也提供不了差异化的竞争优势,则外购
12、使用商品化硬件
使用商品化生产的高性价比硬件,总成本低于高端硬件
13、小构建、小发布、快试错
14、隔离故障
15、自动化
自动构建、自动部署、自动发布、自动化测试
AKF扩展立方体
X轴:无差别的克隆服务和数据
如应用负载
数据库读写分离,主库写,备库自由扩容读
数据异构、数据聚合
Y轴:面向服务和资源的分割
服务拆分(SOA、微服务)
Z轴:基于客户或请求者分割工作
面向查找分割,如将不同区域用户哈希到不同的服务
算法分片
分库分表
业务维度
物理逻辑维度
高并发
1、缓存银弹
Http缓存
浏览器缓存
1-首次访问,响应参数
Last-Modified: 标示文档的最后修改时间
Expires: http/1.0规范定义,表示文档在浏览器中的过期时间,当缓存内容时间超过此时间,则需要重新去服务器获取
Cache-Control: http/1.1规范定义,表示浏览器缓存控制,max-age=20表示文档可以在浏览器里缓存20s。优先级高于Expires
2-F5刷新
浏览器请求时带上If-Modified-Since请求头,其值是上次请求响应中的Last-Modified,服务端验证这之后内容是否有变化,如果响应状态码是304,表示服务端通知浏览器直接使用缓存内容
3-Ctrl+F5强制刷新
请求时带上Cache-Control:no-cache 和 Pragma:no-cache,即通知服务端提供一份最新内容
4-from cache
浏览器直接使用缓存,不去服务端校验过期情况。如场景A页面跳转A页面,浏览器历史记录进行前进后退等
5-Age
影响参数Age,一般用于缓存代理层(如CDN),代表内容在缓存代理层从创建到现在生存了多长时间
6-Vary/Via/ETag
HttpClient客户端缓存
HttpClient通过职责链模式来支持可插拔的组件结构,客户端缓存就是通过CachingExec组件进行缓存相关操作的
Nginx代理层缓存
应用级缓存
缓存回收机制:空间/容量/时间
缓存回收算法:FIFO/LRU/LFU
Java堆/Java堆外/磁盘缓存
Guava/Ehcache/MapDB
缓存使用模式:Cache-Aside/Cache-As-SoR/Copy Pattern
多级缓存
分布式缓存
热点数据与更新缓存
缓存原子性更新
缓存崩溃与快速修复
2、队列术
应用场景
异步处理(如注册邮件、注册赠券等)
系统解耦
数据同步
databus、canal、otter等
流量削峰
队列类型
缓冲队列
任务队列
消息队列
ActiveMQ、Kafka
请求队列
对请求进行排队、过滤、限流等
数据总线队列
数据库间的同步机制
java队列
阻塞队列
非阻塞队列
有界队列
无界队列
Disruptor+Redis队列
Disruptor是LMAX开源的一个高性能异步处理框架,提供高性能无锁内存队列实现,用于构建低延迟高吞吐量的交易型应用,也可以构建复杂的任务工作流。
3、池化
连接池
线程池
4、异步并发
同步阻塞调用
异步Future
异步Callback
异步编排CompletableFuture
JDK8 CompletableFuture提供了新的异步编程思路,可以对多个异步处理进行执行次序的编排,实现更复杂的异步处理。
请求缓存
JVM缓存/hystrix缓存
请求合并
CompletableFuture请求合并/Hystrix请求合并
5、扩容
扩容原则:AKF扩展立方体
硬件扩容
应用拆分
数据库拆分
任务系统扩容
当当开源Elastic-Job
数据库分库分表
中间件
基于MySql-Proxy开发的奇虎360Atlas
阿里Cobar、基于Cobar开发的Mycat
银联 upsql-Proxy
京东Apache项目Sharding-Sphere
1-Sharding-JDBC
2-Sharding-Proxy
3-Sharding-Sidecar
Mixed scheme of Sharding-JDBC & Sharding-Proxy
混合架构
分布式数据库
TIDB 等
分布式事务考虑最终一致性而不是强一致性
事务表
补偿机制
TCC模式(预占、确认、取消)
Sagas模式(拆分事务+补偿机制)
数据库读写分离
X轴扩容,通过是否开启事务导流到主(写)/备(读)库
数据异构/数据聚合
订购MQ或Binlog
构建查询视图,聚合数据到Redis或持久化KV存储
Elasticsearch搜索
基于阿里Canal实现数据异构
订阅数据库binlog日志,进行数据消费。如数据镜像、数据异构、数据索引、缓存更新等。
高可用
1、负载均衡与反向代理
网络七层协议
7-应用层
6-表示层
5-会话层
4-传输层
3-网络层
2-数据链路层
1-物理层
LVS(软件负载均衡)/ F5(硬件负载均衡)
Nginx负载均衡(支持第七层Http负载均衡&&第四层TCP负载均衡)
关注点
负载均衡算法
round-robin:轮询
ip_hash:根据客户Ip进行哈希
hash_key:对某个key进行哈希或者使用一致性哈希
对请求URL进行负载均衡
least_conn:将请求负载均衡到最少活跃连接点
least_time:均衡到最小平均响应时间
失败重试机制
健康检查机制
Nginx Tcp/Http 心跳监测
动态负载均衡
Consul/etcd/eureka/zookeeper
nginx-upsync-module
2、隔离术
线程隔离
核心业务线程池/非核心业务线程池
进程隔离
多实例部署/子系统拆分
集群隔离
服务分组,构建单独服务集群
机房隔离
读写隔离
动静隔离
爬虫隔离
热点隔离
读热点采用多级缓存
写热点通过缓存+队列模式削峰
资源隔离/环境隔离/压测隔离/AB测试
使用Hystrix框架
基于Servlet3的请求隔离
3、降级
降级目的
保证核心业务,降级非核心业务,提供有损服务
降级功能点
页面降级/页面片段降级/页面异步请求降级
读降级
如后端服务有问题可以降级为只读缓存
写降级
如秒杀抢购,只进行Cache的更新,异步扣减库存到DB
爬虫降级
将爬虫流量导向静态页或返回空数据
风控降级
识别机器人、拒绝高风险用户等
降级方式
超时降级
失败次数降级
流量降级
故障降级
人工开关降级
配置中心开关
使用JDK7 WatchService实现监听配置文件变更
Hystrix降级/隔离/熔断
隔离方式
线程隔离
信号量隔离
熔断方式
失败次数累计
接口超时
熔断效果
如果设置为线程隔离,则触发熔断时会通过Thread.interrupt() 中断子线程,抛出InterruptedException或其他线程中断异常,原主线程跳转到fallback(需要实现)
如果设置为线号量隔离,因为这时只有一个主线程,触发熔断后,正在执行的方法会继续执行下去,后续线程直接进入fallback
withExecutionTimeoutInMilliseconds:执行超时时间,默认为1000毫秒,如果命令是线程隔离,且配置了executionIsolationThreadInterruptOnTimeout=true,则执行线程将执行中断处理。如果命令是信号量隔离,则进行终止操作,因为信号量隔离与主线程是在一个线程中执行,其不会中断线程处理,所以要根据实际情况来决定是否采用信号量隔离,尤其涉及网络访问的情况。
熔断流程
降级
触发开关后执行fallback方法
参考书
肖飞-京东《服务降级背后的技术架构设计》
降级处理方案
返回默认值,如默认有货/无货
返回兜底数据,如缓存数据、静态页面、排队页面、错误页面等
4、限流
常见的限流手段
限制总并发数
如数据库连接池、线程池
限制瞬时并发数
如Nginx的limit_conn模块
限制时间窗口内的平均速率,如Guava的RateLimiter、Nginx的limit_req模块
限制远程接口调用速率、限制MQ消费速率等
根据网络连接数、网络流量、CPU或内存负载等来限流
限流算法
令牌桶算法
设置固定速率流入,当桶满时新加入的令牌要么丢弃要么在缓冲区等待
漏桶算法
设置固定速率流出,流入速率不限制,当桶满时溢出丢弃新请求
应用级限流
限制总并发/连接/请求数
系统阈值,如Tomcat的acceptCount、maxConnections、maxThreads
限制总资源数
利用池化技术,如数据库连接池、线程池
限流某个接口的总并发/总请求数
Java的AtomicLong或者Semaphore来作为计数器
Hystrix
限流某个接口的时间窗请求数(秒/分/时/天)
可以使用Guava的Cache来存储计数器,过期时间设置为窗口时间
平滑限流某个接口的请求数
Guava的令牌桶算法
分布式限流
关键点在于限流服务的原子化
Redis+Lua/Nginx+Lua
Nginx/F5接入层限流
接入层主要任务:负载均衡、非法请求过滤、请求聚合、缓存、降级、限流、AB测试、服务质量监控等
《使用OpenResty开发高性能Web应用》
节流
特定时间窗口内对重复事件最多处理一次
throttleFirst:只处理第一次
throttleLast:只处理最后一次
限制多个重复事件最小执行时间间隔(专业术语防抖动)
throttleWithTimeout
如浏览器滚动事件、搜索关键词自动补全事件
5、超时与重试
读服务天然适合重试,写服务大部分不适合重试
合理设置重试机制,并且和熔断、快速失败机制配合
分类
代理层超时与重试
如Haproxy、Nginx、Twemproxy,需要设置与后端真实服务器之间的网络连接/读/写超时时间。Haproxy和Nginx可以实现请求的负载均衡,Twemproxy实现Redis的分片代理。
Web容器超时
如Tomcat/Jetty等,需设置客户端与容器的网络连接/读/写超时时间,以及容器默认Socket超时时间。
中间件客户端超时与重试
如Dubbo、MQ等
数据库/NoSQL客户端超时
连接超时时间、事务超时时间、获取连接池连接等待时间
前端Ajax超时
6、回滚机制
事务回滚
代码库回滚
部署版本回滚
部署版本化
小版本增量发布
大版本灰度发布
架构升级版本A/B Test平滑过渡
数据版本回滚
静态资源版本回滚
静态资源带版本号
设置合理的服务器端页面缓存时间
7、压测与预案
压测方案:压测接口、并发量、压测策略
压测指标:机器负载、QPS(每秒查询率)/TPS(每秒钟处理完的事务次数,吞吐量)、响应时间RT
压测报告:压测方案、机器负载、QPS/TPS、响应时间(平均、最大、最小)、成功率、相关参数(JVM参数/压测参数)根据压测报告结果进行系统优化和容灾。
应急预案:首先进行系统分级,然后进行全链路分析、配置监控报警,最后制定应急预案。
网络接入层
机房不可用、DNS故障、VIP故障等
应用接入层
CDN故障、上游应用路由切换、限流、降级、隔离等
WEB应用层和服务层
关注点:依赖服务的路由切换、连接池异常、限流、超时降级、服务异常降级、应用负载降级、数据库故障切换、缓存故障切换等
数据层
数据库/缓存负载高、数据库/缓存故障
促销活动备战
1-积极预防问题
系统评估
吞吐能力
容量/流量
响应速度
系统升级
扩展/拆分
异步化
使用缓存
跨机房部署
SLA规划与确认
吞吐能力
响应时间
可用性
降级方案
验证
线下压测
线上局部压测
线上军演
系统体检
2-及时发现问题
监控/报警
系统整体指标、系统可用性、系统处理能力、系统负载、数据、主业务流程
3-迅速决策/处理
应急预案
扩容、流量控制、降级、故障转移
培训、演练、现场值班、明确分工和绩效
0 条评论
下一页