VOC基础架构说明

功能中台

2.获取结果

keyword_match_service(flask/nlp_service)关键字匹配服务+模型用以计算是否匹配词条及其映射分类

文本功能(插拔式组件)示例为:

data_warehouse_consumer_beat(celery beat)celery beat构建的任务引擎用以定时驱动数据抓取和预警任务

alarm_task(celery work)预警任务用以检查是否有规则需检查并计算

核心API

celery监控转发

内部数据上传转发

mysqlMySQL8.0.25实例用以提供关系型数据和元数据的存储

监控任务队列

信息抽取转发

3.检查结果告知

数据库

 1. 此图说明了VOC项目中各实例作用及其交互；在分布式部署下，某些服务会视业务情况增加副本弥补性能短板。 2. Nginx监控对应端口，并根据路由进行服务分发，大部分请求进入中台处理，无需经过中台或涉及数据上传的部分转发至对应微服务。 3. voc_sever作为服务中台，具备唯一的MySQL读写并控制各功能缓存。负责解析大部分低频实时请求，依赖实时数据的微服务均通过API与其交互。 4. data_warehouse_cusomer_beat/task用以定时获取外网数据仓库数据，解析格式后推送至process_server。 5. processer_server作为数据处理服务，直接对接数据并异步发送任务交由文本功能处理，异步推送processer_task处理文本并获得结果后存入ES。 6. alarm_beat/task用以定时检查预警规则配置，并对有效规则进行运算，结果通过API发送voc_server，并最终存入数据库。 7. 所有的celery组件均通过Redis作为broker，Redis同时也会提供大部分服务的缓存实现。 8. 整体服务通过docker healthcheck和restart策略保证异常恢复。 9. 核心服务在首次启动时，会执行初始化数据插入逻辑，填充ADMIN用户组、ADMIN用户及相关初始化信息。

data_warehouse_consumer_task(celery worker)数据获取任务用以检查外网数据仓库是否存在数据并同步

taikang_voc_server(flask_service)核心服务，集群中台用以提供核心功能的API调用，并为其他微服务提供数据

定时派发任务

架构说明

词库扩充转发

1.获取检查内容

flower(tornado/monitor)celery task 监控服务

异步派发

processer_task(celery worker)用以实现nlp service的异步交互，并推送结果至ES

alarm_beat(celery beat)celery beat构建的任务引擎用以定时驱动预警任务

fe-taikang/Nginx(前端资源+Nginx)加载前端资源并转发请求至对应服务

用户请求

1.传递文本

elasticsearchElasticSearch7.9.3实例用以存储文本数据并提供检索

2.执行检查

tagging_service(tornado/nlp_service)信息抽取模型服务+模型用以抽取文本标签

sentiment_service(tornado/nlp service)情感分析服务+模型用以实现情感分析需求

推送

information_extract_server(flask service)信息抽取模块服务用以封装和中转信息抽取服务

redisRedis5.0.7实例用以提供各模块缓存

3.存入ES

processer_server(flask)数据上传服务用以提供低代码上报能力，与核心服务解耦

textsummary_service(tornnado/nlp_service)文本摘要服务+模型用以从情报中获取摘要

keyword_similar_server(tornado/nlp service)关键词联想模块服务+模型用以实现关键词联想服务

功能组件(插拔式组件)示例为: