增量流程

1.合并消息（支持时间窗口可配置）2.根据分发规则分发到多个【convert队列】（分发规则可配置）  --real_time_patent_etl_main_insert（新增消息）  --real_time_patent_etl_main_modify（修改消息）  --real_time_patent_etl_main_modify_priority（修改消息-高优先级）  --real_time_patent_etl_main_modify_ignore（修改消息-忽略）  --real_time_patent_etl_main_remove（删除消息）

patent-index服务主要职责：1.【convert】消费patent_etl_main*队列，调用data-api，生成document，写入下一级【solr队列】2.【index-无delete】消费solr队列，写master，同时发dw消息队列3.【increment】定时18:30启动，停index。dump dynamodb/solr patent id列表， 比较差集，找到duplicated key删除，差集写入real_time_patent_etl_main_insert队列重新更新4.【index-先delete再add】消费real_time_patent_solr_main_insert_etl队列，写master，同时发dw消息队列5.【data-update】定时20:00启动，停index。触发master与各副本之间的同步。同步完成后启动【index-无delete】

search kafka

优化点：1.监控可视化及异常告警2.索引更新前校验逻辑3.失败消息加入死信队列，重试4.索引更新后各级缓存清理5.增量相关日志接入elk，支持问题定位依赖：1.common ETL消息量监控、表字段统计监控、异常告警等机制完善2.common ETL监听表字段消息流优化3.data-api服务可靠性监控与告警4.消息消费全链路监控与分析

Common ETL消息流

【Common ETL队列】real_time_patent_etl_main_insert real_time_patent_etl_main_modify

semantic

1.实时发消息2.定时通知上线

窗口期开启优化、同步CN: 20:00US: 10:00

钉钉监控1.消息合并统计2.各级队列消费速度3.各进程健康监控4.索引同步更新通知5.索引失败告警6.消息表字段统计

normal

同步

patent-index

data-api服务

complex

patent-etl

complex-l2

【convert队列】real_time_patent_etl_main_insertreal_time_patent_etl_main_modifyreal_time_patent_etl_main_modify_priorityreal_time_patent_etl_main_modify_ignorereal_time_patent_etl_main_remove【solr队列】real_time_patent_solr_main_insert_etl real_time_patent_solr_main_modify_etlreal_time_patent_solr_main_modify_priority_etl

patent-solr-master

Bi-tools