系统架构图
2025-01-06 14:25:16 0 举报该系统架构图展示了一个功能强大的数据处理和存储平台，主要由四个核心部分组成：数据收集层、数据处理层、数据存储层和数据展示层。其中，数据收集层通过多种方式收集各种格式的数据，包括音频、视频、文本等。这些数据将被传输到处理层，进行实时分析和处理，包括数据清洗、数据挖掘、数据可视化等操作。处理后的数据将被存储在数据存储层中，可能包括关系型数据库、NoSQL数据库或云存储等。最后，用户可以通过数据展示层查看和分析处理后的数据，从而获取有价值的信息和见解。此外，系统还包含了各种支持服务和基础设施，如图像识别服务、语音识别服务等，这些服务为整个系统提供了强大的支持。整个系统采用模块化设计，具有良好的扩展性和可维护性，能够满足各种数据处理和存储需求。
作者其他创作
大纲/内容
NLP模型
通用大模型底座
SpringCloud-v2021.0.5
消息生产组（worker）
DevOps
Zookeeper-v3.4.10集群
大模型
腾讯云视频流
翻译-Agent
服务注册中心/ 配置中心
……
写入文件
QWEN
OCR模型
4
信源维护
可视化图形工具
Zookeeper
ETL
模型评估
采集监控
......
算法支撑
注册
微信
数据提供
Mysql Slave RDS
消息技术中台
算法平台
用户访问设备
Docker
Cassandra指纹去重
消费RocketMQ类型消息
udesk/百应
情报成果
文件服务
队列1
地信
运维、修复
图片生成
Kafka-v2.11
基础服务
6
综合应用服务分系统
限流 / 熔断
翻译模型
内部访问设备
订阅拉取数据
HDFS-cluster
去重
前端请求
模型测试
Filebeat
canal client
1
鉴权中心集群
Html5+原生
调度中心
模型训练、优化
HTTPS
数据资产管理分系统
负载均衡SLB
遥感模型
用户画像
采集节点
开源情报
读取日志数据
推荐模型
Stable Diffusion
HT军事知识
WEB
前端界面
Langchain
LangChain-Agents
Faiss
elasticsearch
向量库
Prometheus+Grafana+Influxdb采集监控
Redis-Cluster
大屏
Mysql集群
瓦片任务
spider
HJJ专有知识
XXL-Job-v1.6任务调度中台
App
导入
Feign
KJ专有知识
舆情采集
监控
空间地理
Spliter
部署
从kafka中获取filebeat发送的日志数据
wxml
政务
数据纠错
Fine-Tune
服务能力
Mysql 8.0 Master RDS
Kafka消息中间件集群
Logstash
Nginx-v1.26.0
PC
服务网关集群
文字生成
push镜像
编排镜像生成容器
写数据
Kafka
垂直领域大模型
规则
队列3
RocketMQ Name Server
PG-v14数据库集群
RocketMQBroker Server
Api-Agent
消息消费组（worker）
3
Vue-v3.0
收集采集信息
模型发布
军工
大数据展示
采集任务队列
Scrapy-Redis分布式采集服务
异构数据湖
多模态生成
HTTP
SpringCloud Gateway
Flume-ng
Quick BI
身份认证服务
权限验证
返回页面
情报知识
Uni-app
2
本地文件存储服务
数据清洗
后端请求
航空
日志采集器集群
Maven
阿里云OSS
Prometheus
DATAV
异步采集服务日志数据
增量发送数据变更消息
领域模型
业务中台
搜索查询
Html5
读数据
Minio存储
将filebeat收集的日志数据发送至kafka
结果存储
专题报告
各层级指纹分表存储
垂直领域知识支撑
dubbohttp
写入mysql数据
地信采集
Echarts
v3.6.0
WL军事知识
权限资源服务
Embedding
采集数据持久化
信源配置
内外网同步
发布RocketMQ类型消息
从kafka中获取数据
日志收集系统
Nacos-v2.2.0集群
RocketMQConsumer
同步MongoDb数据
增值服务分系统
介质传输
接入认证
病毒查杀
Lang-Chain
云服务器
离线计算
ShardingSphere
MongoDb-v4.2集群
……Agent
同步HTTP调用回调通知
Spark
RLHF
消息中间件集群
静态资源
D3-v5.5.0
Webhook
Python基础微服务集群
分布式事务
5
导出
调度采集
视频任务
舆情任务
智库报告
获取采集任务
安全监控
短信
数据集
canal-v1.1.4集群
服务发现/远程配置
数据安全
发布Kafka类型消息
其他......
人工标注
Apache Pig
JAVA基础微服务集群
Flink
写入日志数据
情报数据库
日志聚合处理集群
音频生成
队列2
loadblance
静态资源代理服务器
GitLab
服务注册
Jenkins
大数据分析系统
舆情
消费Kafka类型消息
Grafana-v5.1.3
交互式搜索
Redis-v5缓存集群
RocketMQ消息中间件集群
返回结果
第三方服务
Sqoop
http
canal server
BaiChuan
Kibana-v7.6.1
公众号
消费数据变成消息
业务日志收集
同步mysql数据
LLama3
分析型日志数据收集
身份认证
支付宝
写入处理后的日志数据
ES-v7.6.1搜索引擎集群
Token颁发
读取文件
分布式文件存储
异步HTTP方式调用发送消息
Kubernetes
消息控制器（master）
人物关系
v8.6.0服务链路追踪
RocketMQProducer
业务前台
抖音快手/其他
Api、SDK
HJ专有知识
部署、上线
拉取镜像
智能化支持分系统
科学观测
采集节点池
Oauth2
灰度负载
v2.43.0
实时计算
0 条评论
下一页
