三维空间感知系统
2024-05-12 17:40:00 0 举报三维空间感知系统是一种创新的技术解决方案，它通过实时捕捉和分析环境中的物体和人体运动，为用户提供沉浸式的交互体验。该系统能够在三维空间中生成精确的视觉和空间信息，为虚拟现实（VR）、增强现实（AR）和混合现实（MR）等应用提供强大的支持。此外，它还可以用于智能监控、自动驾驶等领域，具有广泛的应用前景。这个系统的核心部分是其先进的传感器和算法，能够处理复杂的空间数据，并在各种环境中保持稳定运行。生成的文件类型包括各种格式的三维模型、点云数据、深度图像等，这些文件为后续的分析和应用提供了坚实的基础。因此，三维空间感知系统不仅是一个强大的工具，也是未来科技发展的重要方向。
作者其他创作
大纲/内容
实时监控图像
MainWindow
+ui: Ui::MainWindow *+maincontrol: MainControl *+uicontrol: UIControl *+cameraform: CameraForm +mythread:cameraThread *+settingWidget:SettingWidget *s+myMenu:QMenu*
手动测量
在质量系数-曝光曲线之中计算对应曝光值
MySQL
同步采集图像
自动曝光
保留聚类结果
N
点云处理开始
自适应二值化
成像平面
手动曝光调整
自动曝光结束
原图删除
可视化模块
焦距f
ObjectDetection
+ pointRGB:typedef struct pointRGB+ clusterClass:typedef struct clusterClass+ROIBoundary:typedef struct ROIBoundary+Config:typedef struct Config
点云数据去除离群点
相机坐标系
平面测距
图像匹配
分析结果管理
点云生成
数据层
图片流
计算图像对比度
相机参数保存
业务层
A1
QWidget
+ attribute:type
+ QWidget()+~QWidget()
输入设备
相机矩阵
图像采集
系统用户
图像传输
透视投影
LoadIni
- settings:QSettings- picPath:QString
+ LoadIni(QString):QSettings-~LoadIni()+getColor():RGBTYPE+getMode():int+getPenThick():float+setColor(RGBTYPE):void+setMode(int): void+setPenThick(float): void
相机标定
自动曝光调节
载入LU，LD，RD，RU四幅图像
是否标定完成？
选择最近文件查看
获得平面方程
UIControl
-imgData:RGBTRIPLE *-isShowGrid:boolean -isFullScreen:boolean -typeMenu:QMenu* -displayMenu:QMenu*
自动曝光开始
计算三维坐标，两块图像块位置均+1
15
输出全部平面参数与过滤后点云聚类结果
点云平移旋转
数据管理
Y
历史加载
结束
空间测距
结果过滤
像素坐标系
模式选择
数据删除
数据库模块
采集正常曝光图像
平面图像坐标系
点云降噪
模板匹配
查看筛选点云显示
输出初步聚类结果
降噪点云
卷积提取特征
重采样
数据查看实时刷新
相机参数删除
点云文件管理
操作及可视化
聚类分析
数据降噪
特征点提取
平面提取
存储管理
实时显示
物体
平面拟合
世界坐标系
寻找公共区域
图像与操作
操作信号
展示降噪结果
点云传输
保存图像
点云显示
LD/RU/LU图像窗口中心点，RD图像窗口中心点与是否为1？
Thread_Recv
+ sock:SOCKET + recv_pkg:RESULT_PKG+ block_result_data u16*+Init()+SOCKET UPD_Init(u32 port);
+ Thread_Recv()~Thread_Recv()+ Init():void+ Init(u32 port):UPD_SOCKET + stop():void
相机采集
特征值提取
Thread_Send
- ctrl : IMAGE3D_CTRL *- imagebindata : u8* - sock : SOCKET
LD与RD图像窗口卷积
+ pointRGB:typedef struct pointRGB+ clusterClass:typedef struct clusterClass+ROIBoundary:typedef struct ROIBoundary+Config:typedef struct Config+picLoad:LoadPic+fileLoad:LoadFile
原图保存管理
相机对匹配
是否保存处理结果？
QMainWindow
+ attribute1:type = defaultValue+ attribute2:type- attribute3:type
+ QMainWindow()+~QMainWindow()
LD/RU/LU图像块位置+1
相机管理
质量系数评定
MyWidget
-recordStartPoint: QPoint -recordendPoint: QPoint -rectStartPoint: QPoint -drawColor:QColor
点云处理
是否保存测量结果？
显示数据
输出全部点云
生成点云文件
点云分析
刚体变换
ImageProcessCloud
-imgMat:Mat-paraNum:float-paraProb:float+iniLoad:LoadIni+picLoad:LoadPic
查看聚类标注结果
轮缘高度
计算总图像质量系数
最高点
分析删除
数据库操作
点云查询
点云生成开始
是否保存图像数据？
CameraThread
-loopA: QEventLoop -loopB:QEventLoop -loopC:QEventLoop -loopD:QEventLoop -m_psetting:QSettings *-process:QProcess *-systime:QDateTime -path: QString
span style=\"font-size: inherit;\
相机控制
点云流接口
MainControl
-picPointColor: QVector<pointRGB> +uicontrol:: UIControl *-settings: Settings *-lineX[30]: QFrame* -lineY[30]: QFrame* -gridLabel[3] QLabel * -gridNewLabel[3] :QLabel *-gridSlider[3];:QSlider * +iniLoad:LoadIni
图像成对匹配
LoadPic
- imgMat:Mat- picPath:QString
+ LoadPic(QString):Mat-~LoadPic()+getPicMat():Mat+getPicPath():QString
平面附近点数大于总点数30%？
点云重采样
-picPointColor: QVector<pointRGB> +uicontrol:: UIControl *-settings: Settings *-lineX[30]: QFrame* -lineY[30]: QFrame* -gridLabel[3] QLabel * -gridNewLabel[3] :QLabel *-gridSlider[3];:QSlider *
原图查询
数据保存
A2
仿射变换
载入点云文件和纹理图
LoadFile
+ typedef struct pointRGB
分析查询
计算加速
属性管理
应用层
计算图像质量与参数关系
参数管理自动化
测量以及平面点云操作
空间感知观测系统
图像显示
点云删除
单次采集
图像预处理
计算机
文件读取操作
聚类长宽方向是否符合要求？
历史文件查看
DataQuery
+db : QSqlDatabase-fileList: QStringList -image: QImage *
轮缘厚度
坐标映射图显示
连续采集
使用RANSAC方法寻找平面
是否保存点云数据？
LD/RU/LU与RD进行横向/纵向/对角线滑动窗口匹配
计算图像灰度标准差
聚类对象质心是否在平面阈值内？
显示设备
小孔
图像流接口
查看平面点
进入系统
被动式空间感知系统
+ LoadIni(QString):QSettings-~LoadIni()+getF():float+getM():float+getU():float+getV():float
外置FPGA
卷积结果是否小于RD对应区域灰度和的120%？
输出平面方程，并标记平面点
相机参数查询
点云流
-imgMat:Mat-paraNum:float-paraProb:float
DataManage
-queryData:DataQuery-m_psetting QSettings *-list QFileInfoList -filepath QString -lastFile QString -localFilePath QString
+getDroneFile():void +getLocalFile():void -addLocalNode():void +downloadImg():void +deleteLocalFile(QStringList ):void +deleteDroneFile(QStringList ):void +deleteFile(QString ) :bool -addToList(const QUrlInfo &):void
CameraForm
+extern bool SEND_FLAG;+ bool RECV_FLAG;+ bool START;extern HANDLE g_Semaphore;extern bool ISRUNNING;- attribute3:type+threadCamara:CameraThread
+span style=\"font-size: inherit;\
计算图像直方图
图像平移
测量分析
数据分类查找
调整图像曝光值
计算图像信息熵
QThread
+QThread()+~QThread()+void run(): void+ThreadPause(): void+ThreadResume(): void+ThreadContinue(): void
标定图像采集
FPGA
使用DBSCAN点云聚类
接口和类
+ operation1(params):returnType- operation2(params)- operation3()
0 条评论
下一页
