学习总结

调用目标方法
-> Object returnValue = invokeForRequest(webRequest, mavContainer, providedArgs)
获得返回结果

选择一个返回值处理器进行处理

render(mv, request, response)
-> view.render(mv.getModelInternal(), request, response)
根据视图名称找到视图进行渲染

创建CacheKey

当Mapper.xml中配置了Cache标签则走二级缓存逻辑

注意：因为二级缓存跨会话，所以需要与事务绑定

二级缓存写入时首先会放入TransactionalCache的entriesToAddOnCommit
当事务提交时才会写入实际缓存

查询本地缓存，本地缓存与执行器Executor1对1绑定，执行器与Session1对1绑定

实际执行

本地缓存为STATEMENT级别则清除缓存

openServerSocketChannel 创建 JDK ServerSocketChannel

id

unsafe -> NioMessageUnsafe

pipeline -> DefaultChannelPipeline

SelectionKey.OP_ACCEPT 保存感兴趣的事件

ChannelConfig

设置各种参数

pipeline添加ServerBootstrapAcceptor

AbstractChannel.register(eventLoop, p)

NioEventLoop.execute

HeadContext.bind
-> unsafe.bind
-> doBind

此时JDK Channel与端口进行绑定

pipeline.fireChannelActive()
通道激活传播事件

executor.execute

由ThreadPerTaskExecutor分配一个线程执行启动逻辑

this.thread = Thread.currentThread();

NioEventLoop内部保存这个创建好的线程

SingleThreadEventExecutor.this.run()

-> NioEventLoop.run()

正式启动NioEventLoop，即无限循环

阻塞式Select，当有穿插任务时，会被唤醒

解决空轮训Bug

处理IO事件

默认处理IO事件与任务的事件比为1比1

即任务并不一定能够一次处理完毕

循环获取定时任务中应该执行的任务，将其放入taskQueue

在deadline之前不断取出task执行

afterRunningAllTasks

NioSocketChannel同样保存类似于NioServerSocketChannel的信息

从Head节点向后传播

ServerBootstrapAcceptor.channelRead

处理新连接

childGroup.register(child)

给Channel分配一个Reactor线程

所能打开的最大连接数

FD巨增的情况

消息传递方式

按页读取放入缓冲池，页默认大小16K
预读机制，加载更多的页

修改数据写入缓冲池，此时数据不一致为脏页
由后台线程进行刷脏

重做日志，属于物理日志，记录数据页上的操作
顺序写，当写满时触发buffer pool刷脏
用于崩溃恢复，如buffer pool尚未刷脏，即满足D（持久性）需求

log buffer写入时机

回滚日志，属于逻辑日志，记录事务发生前的状态
记录反向操作，insert记录delete，update记录原来的值

为满足A（原子性）需求

数据字典，undo logs

双写缓冲区
由于操作系统page大小为4K，innoDB默认为16K
需4次写入，可能导致部分写失效
故写入磁盘page时先顺序写一份page的副本

ibd，存放表的索引和数据

属于逻辑日志，记录了所有的操作，DDL，DML
用于主从复制和数据恢复
文件内容可追加，没有大小限制

解决了平衡二叉树节点对Page页利用不足的情况

InnoDB按页读取数据
所以通过B Tree在一个节点(16K)上存储足够多的索引数据

B Tree其实就是平衡多叉树，节点空间利用足够多，减少磁盘IO

频繁更新的列上建索引会导致树不断的分裂和合并

节点内关键字和路数相等
关键字存储的磁盘位置为关键字到下一个关键字的左闭右开区间
磁盘位置引用：[关键字，下一个关键字)

根节点和枝节点不存储数据，只有叶子节点存储数据

叶子节点之间构成双向链表

优势：非叶子节点不再存储数据，存储更多关键字，树深更低，减少磁盘IO
范围查找优势，通过底层双向链表遍历
IO性能稳定，都需要从子节点获取数据

数据存在.MYD

索引存在.MYI

所有的索引叶子节点都为数据的物理磁盘地址，从MYD查找数据

聚集(簇)索引 - 索引顺序与物理磁盘顺序一致

若有主键索引，则选择主键索引作为聚集索引，叶子节点存放数据

其他索引为二级索引，叶子节点存放主键值，需要回表

若没有主键索引，则选择第一个不包含null的唯一索引作为主键索引，选其为聚集索引

若没有主键索引也没有非空唯一索引
则innoDB生成一个默认6字节长的_rowid作为隐藏的聚集索引，随着插入单调递增

当数据列所需的字段在二级索引中就能获得，则不需要回表

这种使用索引的方式称为覆盖索引

注意：当查询未使用索引时，但是优化器发现使用索引树查询列数据更快时
仍然会发生覆盖索引

extra：'Using index' 覆盖索引

针对二级索引，未使用索引仍由索引过滤数据称为索引条件下推，默认开启
如 %xxx 未使用索引(未根据索引匹配数据，但有可能通过索引树查数据，根据列字段判断)
发生条件下推时由二级索引过滤数据然后回表，返回Server层的数据在某种情况下可以骤减
相当于在存储引擎层完成了数据过滤

extra：Using index condition 发生索引条件下推，即由索引过滤数据
extra：Using where 返回的数据不满足全部条件，由Server层过滤

根据列字段全表扫描发生在索引树的情况，我们需要关注rows字段
这种情况为使用了索引但是全表扫描了索引

数据匹配类型

可能用到的索引

实际使用到的索引

扫描行数

'Using index' 覆盖索引，无需回表，直接使用索引树

Using index condition 发生索引条件下推，即由索引过滤数据

Using where 返回的数据不满足全部条件，由Server层过滤

操作共同失败成功

undolog保证

分为数据库一致性和用户自定义一致性

数据库一致性：由其他三个属性保证，保证数据的合法状态

用户自定义一致性：
能量守恒，数据不会凭空多/少，或非法如余额<0的状态（通常在代码中控制）

并发干扰
注意：事务的原子性和并发编程中原子性的区别

只要事务提交，结果就为永久性的

redolog和双写缓冲保证

加锁，不允许并发读写，即一个事务读时不允许其他事务写

基于数据版本

能看到：
第一次查询前已提交的事务的修改
本事务的修改

不能看到：
比当前事务id大的事务，即当前事务后创建的事务
未提交的事务

隐藏字段

Read View

根据索引精确匹配时只会锁住一行

等值/范围查询未命中数据行时，使用间隙锁

间隙锁用于阻塞insert，相同的间隙锁之间不冲突

锁区间

范围查询包含记录和区间时
间隙锁+记录锁：(x, y]

对于间隙，阻塞插入
对于记录，阻塞获取锁，即无法修改或带锁查询

锁住当前区间和下一个左开右闭区间

阻塞了insert操作，即不会出现幻读

id不同时按id顺序逆序分析，id最大为最里的子查询

id相同为关联查询，正序分析

小表驱动大表，先执行查询结果少的表

select type

type

possible keys 可能用到的索引
key 实际用到的索引

key_len 索引长度

rows 预估扫描行数

filters

extra

redisObject是对五大数据类型的抽象

type为对外类型，encoding为编码类型

指向实际的存储对象，此时为string

C语言本身没有字符串

通过字符数组存储字符，需要提前预先分配足够的空间

本身是个字符数组，获取长度需要遍历

C函数库操作字符串的方式通过\0结尾，存储一些二进制文件可能不安全

SDS是一个结构体，可以近似认为一个对象

提供了自动扩容，记录字符串长度的能力

通过预分配和惰性释放防止每次重新分配内存

通过len长度属性判断字符串结尾，二进制安全

int 存储8字节长整型，当长度超出时转为embstr

embstr 存储小于44字节的字符串
设置时大于44字节时转为raw
或每次修改时转为raw

raw 存储大于44字节的字符串

缓存热点，报表数据

分布式session

基于setnx的分布式锁

注意：并不推介使用这种方式，无法实现可靠稳定的锁
推介使用lua脚本的方式实现

全局ID生成器 incrby

计数器 incr
限流 如密码输错N次不允许再次输入

ziplist

hashtable

存储对象，如JSON对象本质就是一个map

String能做的都可以做

购物车

双向链表+数组

quicklist中的每个quickNode存储一个ziplist

存储有序内容

分布式阻塞队列/分布式队列

分布式锁排队

intset

hashtable

spop 抽奖，随机获取元素

sadd 点赞
srem 取消点赞
sismember 是否已经点赞
smembers 获取所有点赞用户
scard 点赞数

sadd 商品标签

sdiff 差集    可能认识的人
sinter 交集  共同关注
sunion 并集

ziplist

skiplist

实现任务权重队列

排行榜

从不fsync，由操作系统刷盘

每次写入刷盘

每秒刷盘 默认

百分比参数 100

当文件大小为上次重写后AOF文件的2倍进行重写

最小文件参数 64M

手动触发：BGREWRITEAOF

加锁或使用队列，对同一个key只有一条数据访问数据库

定时预更新

添加随机数防止同时失效

永不过期

缓存空数据或特殊字符，设置较短的过期时间

当恶意请求，每次使用不同的ID访问，上面这种方式失效

使用布隆过滤器，针对假阳性的数据进行特殊缓存

特殊的缓存雪崩，对操作数据库的线程加锁即可

slave发送sync命令至master

master启动后台进程，保存RDB文件

master缓存接收到的后续写命令

master完成写文件后将文件发送给slave

使用新的rdb替换旧的rdb，进行数据恢复

master将增量写命令发送至slave进行回放

master判断接受到的命令是否为写命令，即是否需要同步

将操作记录追加至AOF中

发送数据至slave

方法区

堆

虚拟机栈

本地方法栈

程序计数器

将热点代码编译为本地平台相关的机器码

用于申请和回收垃圾

eden

s0

s1

将内存划为相等的两块区域，每次只使用其中一块

直接将存活的对象复制到另一块区域，将使用过的内存区域一次清除

空间利用率低
适合存活率低的场景，copy数量少，效率高
分配内存只需要直接移动堆顶指针，按序分配
若不按1比1分配空间，需要额外空间担保

标记：标记存活对象

清除：清除未标记的对象，释放出对应的内存空间

产生大量内存碎片

标记所有存活对象

让所有存活对象向一端移动，清理掉边界外的内存

Young区

Old区

引用计数

GC Root链路

复制算法，单线程收集，新生代

标记-整理算法，单线程收集，老年代

Serial的多线程版本，新生代

类似ParNew，可以控制吞吐量和停顿时间
-XX:MaxGCPauseMillis控制最大的垃圾收集停顿时间
-XX:GCTimeRatio直接设置吞吐量的大小。

Parallel Scavenge的老年代版本，标记-整理算法

三色标记，减少STW时间
由于并发清除，使用了标记清除算法
concurrent mode failure导致其退化为serial old
老年代空间不足，只能暂停用户线程进行清理

内存布局基于Region，新老不再物理隔离，分代收集

H：当对象大小等于Region一半时认为大对象，放入这个区

region之间使用复制算法，分配内存通过指针碰撞

G1使用了三色标记算法，标记整理算法

-XX: G1HeapReginSize 设置Region大小
-XX:MaxGCPauseMillis 最大停顿时间
-XX:ParallelGCThread   并行GC工作的线程数
-XX:ConcGCThreads     并发标记的线程数
-XX:InitiatingHeapOcccupancyPercent
默认45%，代表GC堆占用达到多少的时候开始垃圾收集

停顿时间，垃圾收集器收集过程中用户线程暂停时间

运行用户代码时间 / （运行用户代码+垃圾收集时间）

方法区中的常量，静态变量

栈中局部变量表的引用变量

本地方法栈的引用变量

被同步锁持有的对象

用户线程只会运行至安全点暂停

查看java进程

实时查看修改JVM参数

manageable的flag才能实时修改

查看类装载信息

查看垃圾收集信息

查看线程堆栈信息，可以发现程序死锁

通过jstack解决CPU100的情况

生成Dump文件

-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath="D:/LYT/gc dump/dump.hprof"
指定参数，发送内存溢出是自动生成dump文件

jmap -heap PID 查看堆内存使用情况

可视化查看，还可以看mbeans

监控本地/远程java进程

CPU多级缓存 - 解决CPU与主存之间读写速度不匹配的问题

Modify

Exclusive

Shared

总线嗅探机制

Store Buffer

invalid queue

读屏障 - 执行invalid queue，后续从主存读取数据

写屏障 - 执行Store Buffer，将数据直接写入主存
并且解决了指令重排，重排序其实优化了缓存行的使用

0x0000000002931351: lock add dword ptr [rsp],0h ;*putstatic instance

x86 在写入static变量时会设置store load屏障，此时会使用lock汇编指令
x86 只有FIFO的写缓存，没有无效缓存，所以只响应store load就可以了
x86 唯一可能出现乱序的就是Store Load，因为写是异步发生

volatile根据不同操作系统和CPU架构生成不同的内存屏障指令

Thread-A

Thread-B

对于单个线程中的每个操作，前继操作happens-before于该线程中的任意后续操作

对一个锁的解锁，happens-before于随后对这个锁的加锁

volatile变量的写操作，happens-before这个变量的读操作

如果A happens-before B，且B happens-before C，那么A happens-before C

在主线程A执行过程中，启动子线程B，那么线程A在启动子线程B之前对共享变量的修改结果对线程B可见

A调用B的interrupt，A对中断标识的修改对B可见

线程中所有的操作都happens-before线程的终止检测，如Thread.join() Thread.isAlive()

一个对象的初始化完成happens-before它的finalize()方法开始

内存屏障保证

组成部分，重量级锁需要使用ObjectMonitor，类似于AQS

指令

偏向锁

轻量级锁

重量级锁

RUNNING：接受新任务并且处理阻塞队列里的任务；

SHUTDOWN：拒绝新任务但是处理阻塞队列里的任务；

STOP：拒绝新任务并且抛弃阻塞队列里的任务，同时会中断正在处理的任务；

TIDYING：所有任务都执行完（包含阻塞队列里面任务）当前线程池活动线程为 0，将要调用 terminated 方法；

TERMINATED：终止状态，terminated方法调用完成以后的状态。

ctl
用来标记线程池状态（高3位），线程个数（低29位）
默认是RUNNING状态，线程个数为0

添加任务执行

添加工作线程

链表长度除去头结点大于8转为红黑树

小于6退化

转红黑树的另一个前提元素个数大于64
当不满足该条件时只会发生扩容

延迟初始化：put -> resize（初始化/扩容）
-> p = tab[i = (n - 1) & hash]（算出元素下标）

使元素分布更均匀：高低位异或
(key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16)

jdk8 -> 高低位尾插法，不会无限循环

sizeCtl：
负数代表扩容或初始化
-1 代表初始化
-n 代表有n-1个线程进行扩容操作
0代表还未被初始化
初始化后这个值代表下一次初始化的大小

CAS + synchronized

区间划分，协助扩容

addCount

CounterCell

tryAcquire一般实现：
CAS修改state状态
设置当前持锁线程
下次获取是重入

acquire：
当已被其他线程持有
独占模式进入阻塞队列并等待前一个节点唤醒
唤醒后设置当前节点为head

tryRelease一般实现：
减少重入次数，当减少为0时，清空当前持锁线程

release：
尝试释放锁成功则唤醒下个节点

tryAcquireShared一般实现：
自选通过CAS减少State值

acquireShared：
获取失败
共享模式进入锁阻塞队列并等待前一个节点唤醒
唤醒后设置当前节点为head
并进行传递，唤醒下个共享节点

tryReleaseShared一般实现：
CAS增加state个数

releaseShared：
尝试成功唤醒下个节点