文件检测流程

4不同来源做不同处理

span style=\"font-size: inherit;\

7更新统计数据

采集结束标识

3发送post

5存库

2:记录redis

3获取redis中数据

文件夹2

写入检测结果文件

1遍历文件（深度优先）

key设计规则：stats:instanceId:+具体的instanceId +:text                       stats:instanceId:+具体的instanceId +:file                       stats:instanceId:+具体的instanceId +:video                       stats:instanceId:+具体的instanceId +:audio                       stats:instanceId:+具体的instanceId +:imagefield设计规则：success 成功，waiting 等待，fail 失败value: 数量

音频key: stats:instanceId:instanceId4:audiofield:span style=\

6清理minioz中间数据，

callback

待检测实例ID

待检测的不同类型文件

file

文本key: stats:instanceId:instanceId1:textfield:span style=\

检测完成统计

2获取minio中数据

文件hashkey: file:instanceIdfield:fileidvalue:crawlFileinfo字符串

数据结构Hash

minio

key : finish-collectfiled : instaceIdvalue : true

检测服务器

文件

redis

图片key: stats:instanceId:instanceId4:imagefield:span style=\

视频hashkey:  video:instanceIdfield: fileidvalue: crawlFileinfo字符串

通过待检测的实例Id可以去下面具体某个类型的待检测情况说明：只有在待检测时，才会有下面的数据

1校验获取参数

数据结构set

检测服务

视频key: stats:instanceId:instanceId3:videofield:span style=\

文件key: stats:instanceId:instanceId2:filefield:span style=\

音频hashkey: audio:instanceIdfield: fileidvalue: crawlFileinfo字符串

1：上传文件

文件夹1