动态SLAM综述
2023-01-08 17:57:50 38 举报AI智能生成
动态SLAM综述
作者其他创作
大纲/内容
在连续图像序列中对特征的提取与匹配
利用特征估计相机位姿并同时构建未知环境的连续三维结构
经典SLAM系统需要处理的问题
经典SLAM基于静态假设，传统SLAM不能很好的处理动态特征，高动态环境下会失效
动态SLAM引入
优：重量轻、功率低、成本低
劣：不能获得全局尺度，依赖于IMU或其他的先验信息
单目相机
优：可以估计深度信息并估计全局尺度
劣：对深度估计的准确性于基线长度高度相关，限制了应用
双目相机
优：可以获得深度信息和全局尺度
劣：对光线敏感
RGB-D相机
分类
受到帧率限制，存在一定的延时
受到曝光时间限制，动态物体会产生模糊
特点
外框
传统相机
事件：独立像素的亮度随时间的变化
更低的延时、更好的动态范围：适用于处理动态场景
事件相机
传感器
纹理、几何信息
低级特征：像素块、点、线
符合人类对世界的认知
高级特征：信息融入语义标签
特征匹配
在处理统计信息的方面有优势
filter-based
利用BA实现，被许多开源工作证明其对于视觉SLAM是更有效的
frame-baesd
优化
将动态特征作为异常值剔除
检测+剔除（Rubust SLAM）
对动态物体轨迹跟踪，并利用这些动态信息估计相机位姿
检测+跟踪（SLAM-MOT）
解决方法
动态SLAM分类
动态特征鲁棒的判断
处理遮挡
保证地图长期一致性
剔除动态导致有效特征变少
鲁棒SLAM
缺失数据的处理（遮挡）
单目系统相对尺度问题
存在噪声的测量的概率数据关联
多目标跟踪SLAM
近期相关工作
可以更好的表现纹理
【21】
许多动态SLAM系统都是在基于点特征SLAM系统上开发的
点特征
更好的表现几何结构，适用于人造环境
【56】
完全基于线特征的SLAM系统表现往往不如基于点特征的SLAM系统
线特征
【58】
近期的工作证明：点线特征结合可以获得更加鲁棒的效果
低级特征
对光照敏感：限制其在长期数据关联上的应用
基于像素的
对光照更加鲁棒：广泛应用
不能在高动态环境下获得足够的动态信息关联
通常利用运动信息和特征的三维位姿进行辅助匹配【21】，但是没有外部传感器很难预测目标的运动
利用光流法解决【14】
基于描述子的
数据驱动：利用深度学习训练特征提取器
基于点特征的匹配方法
线段检测
二进制描述子
深度学习
方法分类
比基于点特征的更耗时，动态目标跟踪效果比较差
基于线特征的匹配方法
概述
主要技术点：区分动态和静态特征，即运动分割
光流：空间运动物体在成像平面的瞬时速度
光流：像素强度的时间导数
先估计相机自身运动再根据预测图像和观测图像之间的光流来检测动态物体（先有鸡还是先有蛋）
【23】
相关工作：利用深度和强度信息由粗到精的估计相机自身运动，再用这个运动计算场景光流来检测动态的特征
在动态系统中，相机和被观测的物体都可能使运动的
【66】
相关工作：提出了一种线的3D到2D运动之间的描述关系
被用于多运动分割和三维检测，但目前没有被应用于动态SLAM
光流法
为静态特征设置一个带几何约束的阈值，用以检测动态特征
【69】
equation of epipolar lines
【70】
back-projected rays (triangulationi)
【71】
camera pose estimation
【72】
re-projection error
思想：首先假定所有特征都是静态的，由此估计极线、3D landmark 位置的最小二乘解、相机位姿、投影。然后计算估计值于观测值的误差，根据阈值筛选动态特征
【25】
相关工作：利用RGB-D相机的深度信息，重建图像中线段对应的3D landmark的结构，使用环境中静态点估计相机初始运动，利用这个运动预测下一帧的线条的位姿，定义了匹配上的3D线段与预测之间的距离，将其作为阈值检测动态特征（思想与点特征一样）
线特征重投影误差多数在基于点的SLAM系统中用于优化
几何法
利用相机运动来约束静态特征
思想：利用外部信息（IMU）来区分静态与动态特征。只有静态特征符合IMU信息
【75】
相关工作：利用IMU信息补偿连续图像之间的旋转，根据运动矢量对周围动态特征筛选
基于运动的方法
运动分割
光流法不需要额外先验信息，但是对光线敏感
几何方法不需额外先验信息，但是单独使用几何特征会导致运动退化（被观测物体和相机匀速直线运动）
基于运动的方法可以轻易解决运动退化问题
推荐多个方法结合
方法总结
过多的历史帧计算量大
【22】
相关工作：构建一个概率模型，利用具有长期观测的CRFs检测动态特征
过少的历史帧不鲁棒
需要通过历史连续帧检测动态
【24】
相关工作：基于特征外观和相机的运动检测遮挡，并保存被遮挡的、特征点比较少的3D landmark以提高系统鲁棒性
解决方法：检测遮挡
遮挡问题：被遮挡的静态3D landmark可能因为特征的太少而被剔除
解决方案：多目标跟踪SLAM
把动态特征剔除后，缺少数据关联
存在问题
讨论
多运动分割
3D目标跟踪与重建
核心模块
前提：能够根据运动状态进行分类，即多动态分割
【79】
相关工作：提出一种排列空间的聚类方法
【44】
相关工作：建立一个不适用语义信息的SLAM流程，通过有效的降维提高了子空间聚类的性能
TMPCA：一种高效的数据降维技术，相比于NN有更少的参数，计算量更小，实时性更好
子空间聚类
基本矩阵
放射基本矩阵
本质矩阵
单应性
适应性
【45】
相关工作：提供了一种利用3D传感器的运动拟合模型
运动模型拟合
方法
【48】
相关工作：利用上式构建了紧耦合的多目标跟踪SLAM系统
【51，82】
相关工作：利用上式在静态SLAM的因子图中引入了新的因子表示
刚体动态特征重投影误差方程
对于双目或RGB-D相机：可以获得深度信息，可以比较容易的估计一个刚体的运动
动态特征不能使用标准的三角剖分
相对尺度模糊
难点
引入额外的运动约束
利用多个外部信息源来获得移动物体的位置，并在位姿图中保证循环一致性
对于单目相机：对运动物体进行重建是个重要的任务
动态特征重建和3D目标跟踪
先优化相机自身运动，在利用这个运动优化运动物体轨迹
松耦合
同时优化，可以保证运动一致性
紧耦合
对相机和运动物体的轨迹优化方法
在物体被遮挡后重新出现时：如果没有特殊的处理，可能会给他分配一个新的标签，产生标签不一致的问题
【47】
相关工作：根据遮挡期间的历史信息预测物体的运动簇，重新检测到时进行匹配，根据遮挡前后的信息恢复运动物体的轨迹
遮挡问题
基于低级特征的动态SLAM研究
与低级特征相比具有更强的判别性
由目标检测获得
边界框
由像素级语义分割获得
像素级掩膜
高级特征在图像空间的表示
支持向量机SVMs
随机条件场CRFs
神经网络NN
高级特征检测器
对于物体级SLAM，关键是数据关联，其本质是多目标跟踪问题
生成式
目标跟踪
外观建模
度量学习
数据关联
判别式：基于检测的跟踪
【14】
相关工作：提出一种新的约束，在至少两帧的边界框中观测到点，并且他们应该足够靠近 3D 边界盒的中心
相关工作：建立了一个概率模型用于处理快速移动的物体
基于低级特征的数据关联
【89】
相关工作：为自动驾驶提供了一个3D目标检测方法，利用NN直接检测一对双目图像中对应的物体
【90】
相关工作：将【89】中的概念应用于临近帧，用于处理缓慢移动物体
基于学习的数据关联
数据关联方法分类
单独使用语义信息没法定义潜在的移动物体，比如人手里拿着的书
边界框里可能包含背景特征
存在的问题
【34】
单独利用语义信息，为动态特征建立一个概率模型，利用多个观测来判断特征是否是动态的
【41】
使用考虑深度的K-means聚类算法来区分边界框中的前景特征和背景特征
【26】
构建的地图更可靠，可以长期重复使用
在通过语义信息剔除掉静态物体（停着的车）后，让SLAM系统更加脆弱
使用CNN对潜在的动态物体进行像素级的分解，被标记为潜在动态对象的特征不用于自身的运动估计和地图构建
【49】
相较于【26】可以使用更多的静态点，更鲁棒
构建的地图不能长期使用
结合语义和几何信息，利用CNN对检测到的物体进行分类，将静态物体用于自身运动估计
相关工作
利用两组TUM数据集测试基于RGB-D相机的部分系统相比于ORB SLAM2的性能提升
低动态：两个坐着的人
高动态：几个行走的人
数据集
在基于点的SLAM系统里使用高级特征可以提高轨迹的准确性，但是提升有限
高级特征的提取是耗时的，并且依赖于GPU
结果
使用高级特征作为基于低级特征SLAM的语义先验
可以在图像空间中识别到高级特征后，重建出他们对应的三维物体，并用于估计相机自身的运动
使用规则的三维形状：长方体、对偶二次曲面
收到边界框的严格限制
需要的算力少
参数方法
使用几个小结构的几何表示重建的对象：surfels、voluments
需要的算力更多，且不便于用于机器人任务
非参数方法
9个参数（3位置、3姿态、3维度）
1个语义标签
三维盒状信息
【97】
通过计算目标的最大、最小、平均深度来获得目标的顶点和质心的深度信息，但是不能处理最大深度点看不到的情况
利用多个角度的观测点云信息重建完整的目标表面信息，然后估计其质心位置
参数方法中的长方体法
【98】
需要两个甚至多个子网络
可以生成一个三维点云，并基于点云匹配去检测物体
严重依赖于2D检测，不能充分利用三维信息
在图像空间中检测物体，并恢复物体的三维结构
【99】
相关工作：建立了一个端到端的方法，用来联合估计并检测三维物体
基于深度学习的方法
现有SLAM系统中物体的表示方式
高级特征可以利用先验信息指导运动分割
将物体作为地图中的元素可以为相机的位姿估计提供一个几何尺度约束
可以建立一个便于管理、可以互动的地图
物体级SLAM
高级特征可以在一次拍摄中检测出动态物体
相关工作：利用深度几何、轨迹、深度信息来识别实际位于物体上的特征
两个边界框存在交集时，会引入歧义性
对于边界框表示
边界点的划分，需要进一步检查或剔除掉这些边界上的点
对于像素级掩码表示
因为现实世界中很多物体没有标签信息，所以他们对于大多数实际环境还是不够鲁棒
对于非刚性物体的处理也是难点
仍然时一个新颖且具有挑战性的研究方向
基于高级特征的动态SLAM研究
高级特征可以为基于低级特征的SLAM提供先验
静态的高级特征也可以使用低级特征进行检测和匹配
在重建和相机自身运动估计的准确性方面：单独使用高级特征往往不如基于低级特征的SLAM
二者共同使用效果更好
对于鲁棒SLAM
基于描述子的方法在动态物体快速移动时不能很好的处理
大多数方法利用光流法解决，单对光照敏感限制了其应用
基于学习的方法很有前景
适当的采用概率化的处理对于动态场景的鲁棒跟踪和建图是有效的方法
对于多目标跟踪SLAM
虽然高级特征更符合人类都对世界的理解，单低级特征对于精确位姿估计发挥着更重要的作用，建议二者结合
结论
动态SLAM综述（视觉）
0 条评论
回复 删除
下一页
