es写入流程
2022-04-21 18:43:36 0 举报
es写入流程原理
作者其他创作
大纲/内容
segment file
index buffer
2
es实例
3
内存
primaryshard 2
1. 写请求进来通过协调节点,根据路由规则找到要执行的shard2. 写入index buffer,生成segment file;同时写入translog3. refresh操作:es默认每隔1s或者index buffer占用内存比例超过10%,将segment file写入filesystem cache中,此时数据可以被搜索了4. translog每隔5s写入到磁盘中,所以理论上最多有5s的数据丢失5. 默认每隔30分钟,或者translog文件超过设置内存上限(默认512M),会触发一次flush操作,首先进行一次refresh操作,然后将segment file和translog写入到磁盘中,同时记录commint point,记录这次提交的segment6. segment file 每秒产生一个会影响查询效率,es内部有一个后台任务会对这些segment file进行合并,针对filesystem cache和磁盘上的都会进行合并,同时物理删除.del文件内记录的数据
磁盘
1
4
filesystem cache
mergesegment file
translog
replica shard 1
...
5
translog buffer
协调节点
6
0 条评论
下一页