分布式搜索级联更新

2017-03-28 15:06:05   0  举报





仅支持查看

分布式搜索级联更新是一种在分布式系统中实现实时数据同步和更新的技术。它通过将数据分布在多个节点上，并利用级联更新策略，确保数据的一致性和可靠性。当某个节点的数据发生变化时，该节点会立即通知其他相关节点进行相应的更新操作，从而实现数据的快速同步。这种技术广泛应用于搜索引擎、社交网络、实时监控系统等领域，为用户提供了高效、准确的搜索结果和实时数据反馈。

作者其他创作

大纲/内容

10、lastTimeForWhile = commitDataBeginTime;

11、保存latest increment index 至数据库；

9、保存时间戳 masterLastTimeStamp

8、 (1)执行cascadeDocument()处理级联更新; (2)indexWriter.commit() 提交索引

YES

1、获取上一次时间戳 masterLastTimeStamp2、lastTimeForWhile = masterLastTimeStamp；Note： lastTimeForWhile 用于while循环， masterLastTimeStamp 用于取hbase数据。之所以要分开的原因是：若只用一个，假如我们需要获取 11:00---11:03 分之间的数据，如果到11:02 分是最后的数据，，那么while循环就不会结束发生死循环，故用两个3、获取当前时间戳 currTimeStamp

开始

6、获取commitDataBeginTime---masterLastTimeStamp时间段（3min）内的cascade消息，过滤掉 add、delete ，剩下update 的消息放入 List cascadeMapList 中

doCascade为true？

5、获取 lastTimeForWhile前3min 时间戳，赋值 commitDataBeginTime

结束

4、if(lastTimeForWhile currTimeStamp) //while 循环取数据