CN111950561A - 一种基于语义分割的剔除语义slam动态点的方法 - Google Patents
一种基于语义分割的剔除语义slam动态点的方法 Download PDFInfo
- Publication number
- CN111950561A CN111950561A CN202010875962.7A CN202010875962A CN111950561A CN 111950561 A CN111950561 A CN 111950561A CN 202010875962 A CN202010875962 A CN 202010875962A CN 111950561 A CN111950561 A CN 111950561A
- Authority
- CN
- China
- Prior art keywords
- semantic
- points
- map
- dynamic
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割的剔除语义SLAM动态点的方法,包括如下步骤:1)使用PSPNet语义分割网络对图像帧进行语义分割,按照像素分割结果进行分类;2)提取新帧I的ORB特征并计算描述子,再将新帧I与F匹配;3)设定阈值M;4)根据运动e对特征点进行动态点和静态点分类;5)将分类所得的静态点集关联语义标签,构建局部语义地图;6)重复步骤1)‑步骤5),并更新局部语义地图,直至局部地图全部构建完成,得到全局地图。这种方法能剔除环境中对***精度影响较大的动态特征点,利用静态特征点构建高精度,含有语义信息,可解释的Octomap。
Description
技术领域
本发明涉及ORB-SLAM2室内定位***动态特征点剔除和语义Octomap地图构建的室内定位技术领域,具体是一种基于语义分割的剔除语义SLAM动态点的方法。
背景技术
对于同时定位与地图构建任务,视觉SLAM是最好的选择之一。近30年来,许多优秀的学者对视觉SLAM领域作出了卓越的贡献,使得现阶段视觉SLAM已经取得很好的表现,并已部分投入使用。例如ORB-SLAM2,RGB-D SLAM-V2。由于其具有传感器采集速度快、成本低,能满足实时运行和良好的准确率等优点而被广为应用。但是传统的SLAM的基本假设是环境的变化是缓慢的,可以通过***运行慢慢更新。这一假设使得在可移动物体较多的场景中,视觉SLAM会造成较大的轨迹误差。语义SLAM通过对场景对象做语义分析,为***定位与导航提供周围环境的语义信息,可以很好地弥补传统视觉SLAM在动态场景中的不足。
语义SLAM构建场景的几何信息和语义信息。几何信息通过传感器跟踪特征点获得,语义信息则基于深度神经网络(deep CNN)对地图对象进行语义分割获得。通过感知周围环境的语义信息,可以有效剔除动态物体带来的误差。然而语义分割同样面临对象边缘分割不准以及在多样场景中外形相似的物体容易出现错误分割的情况。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于语义分割的剔除语义SLAM动态点的方法。这种方法能剔除环境中对***精度影响较大的动态特征点,利用静态特征点构建高精度,含有语义信息,可解释的Octomap。
实现本发明目的的技术方案是:
一种基于语义分割的剔除语义SLAM动态点的方法,包括如下步骤:
1)使用PSPNet语义分割网络对图像帧进行语义分割,按照像素分割结果进行分类:
在使用PSPNet对语义SLAM进行动态点剔除过程中,将PSPNet与ORB-SLAM2结合,使用PSPNet语义分割网络对图像帧进行语义分割,语义分割过程如下:对RGB图像帧F提取ORB特征点并计算描述子,对前端视觉里程计输入新帧I,输入图像经过卷积神经网络进行特征提取,提取的特征通过金字塔池化模型得到多尺度的特征信息,通过上采样将多尺度的特征信息整合,最后通过PSPNet的卷积层将整合后的特征信息完成像素分类,给相应的分类附上对应的标签;
2)提取新帧I的ORB特征并计算描述子,再将新帧I与F匹配:
将新帧I与F匹配,若不匹配则舍弃该帧;若匹配则计算匹配特征点的运动大小e,按公式(1)计算:
e=|Δt||+min(2π-||R||,||R||) (1),
其中t为匹配的平移向量,R为旋转矩阵;
3)设定阈值M:根据实际***实验,设定合适的阈值M;
4)根据运动e对特征点的进行动态点和静态点分类:
分类过程如下:若e<M,该点归为静态点;否则,该点归为动态点;对剩余的特征点检查他们的语义分类,若属于先验动态对象,那么将该点也归为动态点;
5)将分类所得的静态点集关联语义标签,构建局部语义地图:
在八叉树地图Octomap的基础上,关联静态点的语义分割的类别,完成回环检测和后端优化过程之后,调用Octomap库把点云地图转换为Octomap语义地图;
6)重复步骤1)-步骤5),并更新局部语义地图,直至局部地图全部构建完成,得到全局地图:
地图更新过程如下:Octomap使用树结构更新和管理数据,并且实现较少的内存占用,树节点中保存着该节点是否被占用的信息,树节点占用情况使用概率对数值表示,设y为概率对数值,x为0~1的概率,变换关系如公式(2):
则节点占用概率为:
设某节点为n,观测数据为z,则从更新时刻开始到t时刻某节点的概率对数值为L(n|z1:t),t+1时刻为:
L(n|z1:t+1)=L(n|z1:t-1)+L(n|z1:t) (4),
以此更新Octomap。
与现有技术相比,本技术方案利用PSPNet在场景解析方面的出色表现,将其应用在SLAM的语义分割中,结合ORB特征点匹配方式剔除***环境中的动态特征点,利用准确度更高的静态特征点进行后端优化和回环检测,并构建高精度,可解释的语义地图。
这种方法能去除ORB-SLAM***中对优化和回环检测造成较大影响的特征点,构建高精度的语义地图,能提高SLAM***的效率和准确度。
附图说明
图1为实施例的流程示意图;
图2为实施例方法的结构示意图。
图3为实施例中PSPNet网络结构示意图;
图4为实施例的效果图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的说明,但不是对本发明的限定。
实施例:
参照图1,一种基于语义分割的剔除语义SLAM动态点的方法,包括如下步骤:
1)使用PSPNet语义分割网络对图像帧进行语义分割,按照像素分割结果进行分类:
在使用PSPNet对语义SLAM进行动态点剔除过程中,将PSPNet与ORB-SLAM2结合,使用PSPNet语义分割网络对图像帧进行语义分割,语义分割过程如下:对RGB图像帧F提取ORB特征点并计算描述子,对前端视觉里程计输入新帧I,输入图像经过卷积神经网络进行特征提取,提取的特征通过金字塔池化模型得到多尺度的特征信息,通过上采样将多尺度的特征信息整合,最后通过PSPNet的卷积层将整合后的特征信息完成像素分类,给相应的分类附上对应的标签,如图3所示;
2)提取新帧I的ORB特征并计算描述子,再将新帧I与F匹配:
将新帧I与F匹配,若不匹配则舍弃该帧;若匹配则计算匹配特征点的运动大小e,按公式(1)计算:
e=||Δt||+min(2π-||R||,||R||) (1),
其中t为匹配的平移向量,R为旋转矩阵;
3)设定阈值M:根据实际***实验,设定合适的阈值M;
4)根据运动e对特征点的进行动态点和静态点分类:
分类步骤如下:若e<M,该点归为静态点;否则,该点归为动态点;对剩余的特征点检查他们的语义分类,若属于先验动态对象,那么将该点也归为动态点;
5)将分类所得的静态点集关联语义标签,构建局部语义地图:
在八叉树地图Octomap的基础上,关联静态点的语义分割的类别,完成回环检测和后端优化过程之后,调用Octomap库把点云地图转换为Octomap语义地图;
6)重复步骤1)-步骤5),并更新局部语义地图,直至局部地图全部构建完成,得到全局地图:
地图更新过程如下:Octomap使用树结构更新和管理数据,并且实现较少的内存占用,树节点中保存着该节点是否被占用的信息,树节点占用情况使用概率对数值表示,设y为概率对数值,x为0~1的概率,变换关系如公式(2):
则节点占用概率为:
设某节点为n,观测数据为z,则从更新时刻开始到t时刻某节点的概率对数值为L(n|z1:t),t+1时刻为:
L(n|z1:t+1)=L(n|z1:t-1)+L(n|z1:t) (4),
以此更新Octomap。
如图2所示,本实施例通过将特征点匹配方法和PSPNet语义分割相结合,高效率地剔除SLAM***中的动态特征点,减少***误差,得到较稳定的静态特征点集;使用稳定的静态点集进行后端优化和回环检测,构建准确度高的全局点云地图;再融合语义信息构建高精度,可解释的语义地图。
使用本例方法在Ubuntu 16.04中具有4GB内存的双核CPU上进行实验,再使用TUM的室内数据集验证本例***方法,如图4所示为本例方法构建的Octomap。
Claims (1)
1.一种基于语义分割的剔除语义SLAM动态点的方法,其特征在于,包括如下步骤:
1)使用PSPNet语义分割网络对图像帧进行语义分割,按照像素分割结果进行分类:
在使用PSPNet对语义SLAM进行动态点剔除过程中,将PSPNet与ORB-SLAM2结合,使用PSPNet语义分割网络对图像帧进行语义分割,语义分割过程如下:对RGB图像帧F提取ORB特征点并计算描述子,对前端视觉里程计输入新帧I,输入图像经过卷积神经网络进行特征提取,提取的特征通过金字塔池化模型得到多尺度的特征信息,通过上采样将多尺度的特征信息整合,最后通过PSPNet的卷积层将整合后的特征信息完成像素分类,给相应的分类附上对应的标签;
2)提取新帧I的ORB特征并计算描述子,再将新帧I与F匹配:
将新帧I与F匹配,若不匹配则舍弃该帧;若匹配则计算匹配特征点的运动大小e,按公式(1)计算:
e=||Δt||+min(2π-||R||,||R||) (1),
其中t为匹配的平移向量,R为旋转矩阵;
3)设定阈值M:根据实际***实验,设定阈值M;
4)根据运动e对特征点进行动态点和静态点分类:
分类过程如下:若e<M,该点归为静态点;否则,该点归为动态点;对剩余的特征点检查他们的语义分类,若属于先验动态对象,那么将该点也归为动态点;
5)将分类所得的静态点集关联语义标签,构建局部语义地图:
在八叉树地图Octomap的基础上,关联静态点的语义分割的类别,完成回环检测和后端优化过程之后,调用Octomap库把点云地图转换为Octomap语义地图;
6)重复步骤1)-步骤5),并更新局部语义地图,直至局部地图全部构建完成,得到全局地图:
地图更新过程如下:Octomap树节点中保存着该节点是否被占用的信息,树节点占用情况使用概率对数值表示,设y为概率对数值,x为0~1的概率,变换关系如公式(2):
则节点占用概率为:
设某节点为n,观测数据为z,则从更新时刻开始到t时刻某节点的概率对数值为L(n|z1:t),t+1时刻为:
L(n|z1:t+1)=L(n|z1:t-1)+L(n|z1:t) (4),
以此更新Octomap。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010875962.7A CN111950561A (zh) | 2020-08-25 | 2020-08-25 | 一种基于语义分割的剔除语义slam动态点的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010875962.7A CN111950561A (zh) | 2020-08-25 | 2020-08-25 | 一种基于语义分割的剔除语义slam动态点的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111950561A true CN111950561A (zh) | 2020-11-17 |
Family
ID=73367074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010875962.7A Withdrawn CN111950561A (zh) | 2020-08-25 | 2020-08-25 | 一种基于语义分割的剔除语义slam动态点的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111950561A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
CN113516664A (zh) * | 2021-09-02 | 2021-10-19 | 长春工业大学 | 一种基于语义分割动态点的视觉slam方法 |
CN113673524A (zh) * | 2021-07-05 | 2021-11-19 | 北京物资学院 | 一种仓库半结构化环境动态特征点祛除方法及装置 |
CN114413881A (zh) * | 2022-01-07 | 2022-04-29 | 中国第一汽车股份有限公司 | 高精矢量地图的构建方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110084850A (zh) * | 2019-04-04 | 2019-08-02 | 东南大学 | 一种基于图像语义分割的动态场景视觉定位方法 |
US20200098135A1 (en) * | 2016-12-09 | 2020-03-26 | Tomtom Global Content B.V. | Method and System for Video-Based Positioning and Mapping |
CN111046856A (zh) * | 2020-03-13 | 2020-04-21 | 南京晓庄学院 | 基于动静态特征提取并行位姿跟踪与地图创建的方法 |
CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
-
2020
- 2020-08-25 CN CN202010875962.7A patent/CN111950561A/zh not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200098135A1 (en) * | 2016-12-09 | 2020-03-26 | Tomtom Global Content B.V. | Method and System for Video-Based Positioning and Mapping |
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110084850A (zh) * | 2019-04-04 | 2019-08-02 | 东南大学 | 一种基于图像语义分割的动态场景视觉定位方法 |
CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
CN111046856A (zh) * | 2020-03-13 | 2020-04-21 | 南京晓庄学院 | 基于动静态特征提取并行位姿跟踪与地图创建的方法 |
CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
Non-Patent Citations (4)
Title |
---|
ZIRUI ZHAO 等: "Visual Semantic SLAM with Landmarks for Large-Scale Outdoor Environment", 《ARXIV》 * |
席志红 等: "基于语义分割的室内动态场景同步定位与语义建图", 《计算机应用》 * |
徐奥: "基于RGB-D图像的即时定位与构图(SLAM)研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
王召东 等: "一种动态场景下语义分割优化的ORB_SLAM2", 《大连海事大学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
CN113126115B (zh) * | 2021-04-06 | 2023-11-17 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
CN113673524A (zh) * | 2021-07-05 | 2021-11-19 | 北京物资学院 | 一种仓库半结构化环境动态特征点祛除方法及装置 |
CN113516664A (zh) * | 2021-09-02 | 2021-10-19 | 长春工业大学 | 一种基于语义分割动态点的视觉slam方法 |
CN114413881A (zh) * | 2022-01-07 | 2022-04-29 | 中国第一汽车股份有限公司 | 高精矢量地图的构建方法、装置及存储介质 |
CN114413881B (zh) * | 2022-01-07 | 2023-09-01 | 中国第一汽车股份有限公司 | 高精矢量地图的构建方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111950561A (zh) | 一种基于语义分割的剔除语义slam动态点的方法 | |
CN109615016B (zh) | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 | |
CN108629288B (zh) | 一种手势识别模型训练方法、手势识别方法及*** | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
CN107967484B (zh) | 一种基于多分辨率的图像分类方法 | |
CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
CN110660062A (zh) | 一种基于PointNet的点云实例分割方法及*** | |
CN109447979B (zh) | 基于深度学习和图像处理算法的目标检测方法 | |
CN110399840B (zh) | 一种快速的草坪语义分割及边界检测方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN109708658B (zh) | 一种基于卷积神经网络的视觉里程计方法 | |
CN109543634B (zh) | 定位过程中的数据处理方法、装置、电子设备和存储介质 | |
CN112329559A (zh) | 一种基于深度卷积神经网络的宅基地目标检测方法 | |
CN116416503A (zh) | 一种基于多模态融合的小样本目标检测方法、***及介质 | |
Fan et al. | Visual localization using semantic segmentation and depth prediction | |
CN113223037B (zh) | 一种面向大规模数据的无监督语义分割方法及*** | |
CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
CN117541652A (zh) | 一种基于深度lk光流法与d-prosac采样策略的动态slam方法 | |
CN110472092B (zh) | 一种街景图片的地理定位方法及*** | |
CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
CN116734834A (zh) | 应用于动态场景的定位建图方法、装置和智能设备 | |
Wang et al. | Research on vehicle detection based on faster R-CNN for UAV images | |
CN116468895A (zh) | 一种相似度矩阵引导的少样本语义分割方法及*** | |
CN115187614A (zh) | 一种基于stdc语义分割网络的实时同时定位与建图方法 | |
CN115619954A (zh) | 稀疏语义地图的构建方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201117 |
|
WW01 | Invention patent application withdrawn after publication |