快速调参基本流程
2024-10-14 18:04:50 0 举报测试
作者其他创作
大纲/内容
统计结果保存
数据库工具：1. 缺陷基础数据分析，自动更新特征值、描述；2. 数据库简单UI、增删改查，日志记录；3. 批量导出、导入数据（图像数据）；
需要推理的结果直接保存为可供标注的json文件，来复用为可扩充数据库（数据集）的工具。
中间结果保存（主流程里面是变量的传递，而调参软件需要保存再读）
各个缺陷分布统计
Dust
拿到初始的图像数据，使用labelme进行标注，得到json文件
调参json中间变量保存
调参/推理界面
Dot
整体结果分析：整体准确率、召回率、过检率、漏检率等
h
对新增数据自动计算缺陷特征，补全缺陷描述
点分类
统计工具
总缺陷占比统计：从数量维度上分析各缺陷导致NG的占比。
调参软件
各缺陷结果分析
Dust/Dot/Black_dot
拿到图像数据，使用labelme进行修改
聚类/长边判断
面缺陷（JUPI）
真实缺陷信息
点缺陷
标注人员修改旧数据
Scratch
Scratch(Line)
前参（推理耗时多）：前处理参数、模型参数
操作用例
版本管理
从数据库UI上筛选相关条件， 批量导出图像数据与标签数据，然后导入数据到调参软件。（考虑是否在调参界面集成数据库查询功能）
数据分析人员/算法人员
算法逻辑示意
需要保存推理结果为json/bin并有方法进行再可视化。（目前主程序集成的调参界面需要再点击一次推理才能再看到结果）
统计软件获取从数据库得到的标签数据与调参软件获取的json数据进行计算与统计。（考虑是否在调参界面集成统计软件接口）
TA3
取相交
数据库log记录
标注完成后，使用数据库UI的增加数据功能，选择标注好的文件夹进行添加，并填写相关key值
各个缺陷分布统计：对某一特征（如面积、直径）的维度上 ，统计缺陷的数量分布。数据库真实缺陷、预测缺陷均需使用。
Package_stain
各缺陷结果分析：各类缺陷准确率、召回率、过检率、漏检率等
总缺陷占比统计
TA2
真实、预测缺陷分布分析：在项目的与人工对标准阶段，真实缺陷的分布、与预测缺陷的分布需要放在一起分析来确定后参（标准）的调整。
图像信息
标准差>x
缺陷预测信息json/bin
现状：目前的调参基本是基于几十张、或几百张图像进行调参，对全局（可能几千张、几万张的数据）难以把握，会陷入局部最优，而不是全局最优。对全局的调参人工调参需要一张一张检查是否检对，过于耗时耗神。需要有一个工具来优化这一耗时。快速调参基本包括：数据库整理全局数据；调参软件加快调参流程耗时；自动统计工具计算准确率与统计分析；
选择要调节的型号、颜色的对应参数文件
周长>x
亮区灰度阈值<x
Contamination/Mark
DL2
Contamination(FACE)
调参软件批量推理数据，结果json保存
功能：1. 对指定字段的限制可以获取到所需要数据的图像路径、基本缺陷信息、标注文件路径，来进行调参、分析、训练；2. 对数据进行统一管理3.需要包含Blob_analysis的功能，在进行数据统计的时候可以启用
显著率>x
从数据库UI上筛选相关条件，选择是否检查更新特征值，批量导出图像数据与标签数据
结果反馈调参
在调参软件中进行调参操作
人员查看统计结果以及过漏检图像检出情况，分析下一步需要调整哪些参数
从数据库UI上筛选相关条件，选择是否检查更新特征值 ，批量导出图像数据与标签数据
需要与数据库形成接口，获取筛选后的图像数据，能够进行批量/单个图片推理。
数据库
目前全推理时间基本在1s左右，待处理的数据量基本上千；大部分时间花销在前参的处理上，后参数的处理基本都比较快；如果到了基本只需要调整后参的情况，需要对中间结果进行保存；
缺陷检测数据库构建
真实、预测缺陷分布分析
修改完成后，使用数据库UI的增加数据功能，选择标注好的文件夹进行添加，并填写相关key值
快速调参基本流程
缺陷标注信息json
True/False
mo
统计软件获取从数据库得到的数据进行计算与统计。
错检结果统计
错检结果统计：对过检、漏检可以形成报告，如计算过、漏检缺陷类别占比等，以及生成过检图像列表、漏检图像列表，可再次反馈给调参软件调参。
更新缺陷信息
根据调参需求确认是否需要保存中间结果
后参（推理耗时少）：后处理参数
数据库：mysql/其他存储内容：只存储文本字段（图像的描述），图像存放在PC/NAS上
面积>x
预测缺陷信息
调参人员
广播功能
数据库缺陷分布统计
需要根据缺陷标注信息与算法预测信息做自动比对计算。并根据计算结果进行各种统计分析
设置的阈值进行比较，最后确认该缺陷是否NG
Blob_analysis计算各个特征值
标注人员标注新数据
整体结果分析
0 条评论
下一页
