CN112037268B - 一种动态场景下的基于概率传递模型的环境感知方法 - Google Patents
一种动态场景下的基于概率传递模型的环境感知方法 Download PDFInfo
- Publication number
- CN112037268B CN112037268B CN202010909488.5A CN202010909488A CN112037268B CN 112037268 B CN112037268 B CN 112037268B CN 202010909488 A CN202010909488 A CN 202010909488A CN 112037268 B CN112037268 B CN 112037268B
- Authority
- CN
- China
- Prior art keywords
- dynamic
- feature points
- image
- probability
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动态场景下的基于概率传递模型的环境感知方法,首先利用几何模型剔除待处理图像中的动态特征点,获得几何模型下特征点的动态概率;利用Mask R‑CNN神经网络模型进行语义分割,根据语义分割结果得到待处理图像中动态物体所在区域;结合动态特征点在几何模型和语义分割下的状态概率,基于贝叶斯定理的概率传递模型更新待处理图像中特征点的状态概率,剔除动态异常点,从而减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量。该方法能够消除动态物体造成SLAM***前端出现错误的数据关联,提升视觉SLAM***在动态场景下的定位精度和鲁棒性。
Description
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种动态场景下的基于概率传递模型的环境感知方法。
背景技术
同时定位与建图(Simultaneous Localization and Mapping,SLAM)技术是为了解决机器人的自定位和环境感知问题而提出,并且已经在许多不同领域有着广泛应用,包括自动驾驶、机器人导航和虚拟现实等。然而当前已有的SLAM框架都是基于静态场景的假设,场景中的动态物体会造成错误的数据关联结果进而影响SLAM***中的跟踪和建图过程。近年来,针对动态场景的视觉SLAM方法研究已经取得了许多进展,但这些方法都有各自的优点和局限性,现有技术中动态场景下的视觉SLAM方案存在如下问题:
1)动态物体造成SLAM***前端出现错误的数据关联,导致定位精度降低,进而影响后端的回环检测过程,无法得到准确的环境地图;
2)基于几何模型RANSAC算法的SLAM***仅能剔除少量的动态物体,在动态物体占据较大比例的场景无法可靠剔除异常点匹配;
3)基于深度学习方法的视觉SLAM***针仅能剔除特定种类的动态物体进行分割,并且深度学习网络模型有时无法保证精确的语义分割,导致部分静态物体被剔除进而降低定位精度与建图质量。
发明内容
本发明的目的是提供一种动态场景下的基于概率传递模型的环境感知方法,该方法能够消除动态物体造成SLAM***前端出现错误的数据关联,提升视觉SLAM***在动态场景下的定位精度和鲁棒性,从而得到完整的静态场景地图。
本发明的目的是通过以下技术方案实现的:
一种动态场景下的基于概率传递模型的环境感知方法,所述方法包括:
步骤1、利用几何模型剔除待处理图像中的动态特征点,获得几何模型下特征点的动态概率;
步骤2、利用Mask R-CNN神经网络模型进行语义分割,根据语义分割结果得到待处理图像中动态物体所在区域,划分出待处理图像中的动态特征点;
步骤3、结合动态特征点在几何模型和语义分割下的状态概率,基于贝叶斯定理的概率传递模型更新待处理图像中特征点的状态概率,剔除动态异常点,从而减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量。
由上述本发明提供的技术方案可以看出,上述方法能够消除动态物体造成SLAM***前端出现错误的数据关联,提升视觉SLAM***在动态场景下的定位精度和鲁棒性,从而得到完整的静态场景地图。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的动态场景下的基于概率传递模型的环境感知方法示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
下面将结合附图对本发明实施例作进一步地详细描述,如图1所示为本发明实施例提供的动态场景下的基于概率传递模型的环境感知方法示意图,所述方法包括:
步骤1、利用几何模型剔除待处理图像中的动态特征点,获得几何模型下特征点的动态概率;
在该步骤中,所述利用几何模型剔除待处理图像中的动态特征点的过程具体为:
利用光流法计算当前帧中匹配的特征点,如果该特征点太靠近图像边缘或匹配对中心的3×3图像块的像素差太大,则删除匹配对的特征点;
再利用RANSAC算法获得基本矩阵F,计算从匹配的特征点到极线的距离,如果距离大于设定的阈值,则将匹配点定义为动态特征点;
剔除所述动态特征点,以减少因动态物体导致的错误数据关联。
举例来说,若假设p1,p2为相邻两帧图像中的一对匹配点:
p1=[x1,y1,1],p2=[x2,y2,1]
极线l1可表示为:
其中,X1,Y1,Z1表示极线方向向量的坐标;F表示利用RANSAC算法获得基本矩阵;p2到其对应极线l1的距离可表示为:
通过判断该距离是否大于设定的阈值,来判断是否将p2定义为动态特征点。
另外,考虑到几何模型的局限性,进一步采取概率模型更新动态特征点的状态,具体过程为:
由于动态物体的存在,图像中的动态特征点不会严格位于其对应的极线上,因此可以通过计算特征点pi到对应极线的距离判定该点的状态概率,本实例中利用标准高斯分布的概率密度函数来估计特征点pi的状态概率表示为:
步骤2、利用Mask R-CNN神经网络模型进行语义分割,根据语义分割结果得到待处理图像中动态物体所在区域,划分出待处理图像中的动态特征点;
在该步骤中,Mask R-CNN神经网络模型在COCO实例分割任务上的性能超越了目前所有单模型方法结果,并且在目标检测任务方面的表现也十分出色,Mask R-CNN神经网络模型是Faster R-CNN的扩展,对于Faster R-CNN的每个Proposal Box都要使用FCN进行语义分割,分割任务与定位、分类任务是同时进行的,同时该Mask R-CNN神经网络模型引入了RoI Align代替Faster RCNN中的RoI Pooling,使得mask的精度从10%显著提高到50%。
利用Mask R-CNN神经网络模型进行语义分割,分割图像中潜在的动态物体,例如行人,车辆,动物等,从而划分出待处理图像中的动态特征点。
另外,考虑到Mask R-CNN神经网络模型识别的动态物体有限,并且有时无法保证在边界处的精确分割,因此距离语义分割边界处较近的静态特征点有可能被错分为动态特征点,为了更好地估计语义分割结果下特征点的概率,本实施例进一步利用logistic回归模型估计语义分割结果下特征点的状态概率,具体表示为:
dist(pi,zt)为特征点pi与语义分割边界的距离,表示为:
步骤3、结合动态特征点在几何模型和语义分割下的状态概率,基于贝叶斯定理的概率传递模型更新待处理图像中特征点的状态概率,剔除动态异常点,从而减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量。
在该步骤中,首先定义特征点pi的真实状态标签为Dt(pi),如果特征点pi位于待处理图像中动态物体所在区域,即判定为动态特征点并且有Dt(pi)=1;如果特征点pi位于待处理图像中其它区域,即判定为静态特征点并且有Dt(pi)=0;
融合几何模型和语义分割两种方法,更新当前帧图像中特征点的状态概率为:
其中,ω为权重参数,表示为:
其中,Nc表示当前帧由几何模型剔除的动态特征点个数;Ns表示当前帧由语义分割方法剔除的动态特征点个数;
假设概率传递模型满足马尔科夫性,即当前状态和上一个时刻有关,基于贝叶斯定理,利用前一帧的信息与当前帧的观测结果相结合更新特征点pi的状态概率为:
其中,
进一步的,将状态概率高于0.5的特征点划分为动态特征点,状态概率低于0.5特征点划分为静态特征点;
然后剔除动态特征点,仅挑选静态特征点用于视觉定位与建图线程,进而提升视觉SLAM***的精度和鲁棒性,减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量,并且能够得到完整的场景静态地图。
值得注意的是,本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
综上所述,本发明实施例所述方法能够处理动态物体占据大部分场景的情况,并且避免了深度神经网络将部分静态物体因错分为动态物体的情况,提升了视觉SLAM***在动态场景下的精度和鲁棒性,并得到完整的静态场景地图;该方案整体成本低,不需要对环境及机器人自身进行改造,可移植性强。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种动态场景下的基于概率传递模型的环境感知方法,其特征在于,所述方法包括:
步骤1、利用几何模型剔除待处理图像中的动态特征点,获得几何模型下特征点的状态概率;
步骤2、利用Mask R-CNN神经网络模型进行语义分割,根据语义分割结果得到待处理图像中动态物体所在区域,划分出待处理图像中的动态特征点;
步骤3、结合动态特征点在几何模型和语义分割下的状态概率,基于贝叶斯定理的概率传递模型更新待处理图像中特征点的状态概率,剔除动态异常点,从而减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量。
3.根据权利要求1所述动态场景下的基于概率传递模型的环境感知方法,其特征在于,在步骤1中,所述利用几何模型剔除待处理图像中的动态特征点的过程具体为:
利用光流法计算当前帧中匹配的特征点,如果该特征点太靠近图像边缘或匹配对中心的3×3图像块的像素差太大,则删除匹配对的特征点;
再利用RANSAC算法获得基本矩阵F,计算从匹配的特征点到极线的距离,如果距离大于设定的阈值,则将匹配点定义为动态特征点。
5.根据权利要求1所述动态场景下的基于概率传递模型的环境感知方法,其特征在于,所述步骤3的过程具体为:
首先定义特征点pi的真实状态标签为Dt(pi),如果特征点pi位于待处理图像中动态物体所在区域,即判定为动态特征点并且有Dt(pi)=1;如果特征点pi位于待处理图像中其它区域,即判定为静态特征点并且有Dt(pi)=0;
融合几何模型和语义分割两种方法,更新当前帧图像中特征点的状态概率为:
其中,ω为权重参数,表示为:
其中,Nc表示当前帧由几何模型剔除的动态特征点个数;Ns表示当前帧由语义分割方法剔除的动态特征点个数;
假设概率传递模型满足马尔科夫性,即当前状态和上一个时刻有关,基于贝叶斯定理,利用前一帧的信息与当前帧的观测结果相结合更新特征点pi的状态概率为:
其中,
进一步的,将状态概率高于0.5的特征点划分为动态特征点,状态概率低于0.5特征点划分为静态特征点;
然后剔除动态特征点,仅挑选静态特征点用于视觉定位与建图线程,从而减少由于动态特征点造成的错误数据关联,保证视觉SLAM***的定位精度和建图质量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010909488.5A CN112037268B (zh) | 2020-09-02 | 2020-09-02 | 一种动态场景下的基于概率传递模型的环境感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010909488.5A CN112037268B (zh) | 2020-09-02 | 2020-09-02 | 一种动态场景下的基于概率传递模型的环境感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112037268A CN112037268A (zh) | 2020-12-04 |
CN112037268B true CN112037268B (zh) | 2022-09-02 |
Family
ID=73591423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010909488.5A Active CN112037268B (zh) | 2020-09-02 | 2020-09-02 | 一种动态场景下的基于概率传递模型的环境感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112037268B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734776B (zh) * | 2021-01-21 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种微创手术器械定位方法和*** |
CN113362358A (zh) * | 2021-06-02 | 2021-09-07 | 东南大学 | 一种动态场景下基于实例分割的鲁棒性位姿估计方法 |
CN113673524A (zh) * | 2021-07-05 | 2021-11-19 | 北京物资学院 | 一种仓库半结构化环境动态特征点祛除方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110264572A (zh) * | 2019-06-21 | 2019-09-20 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及*** |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
CN110458863A (zh) * | 2019-06-25 | 2019-11-15 | 广东工业大学 | 一种基于rgbd与编码器融合的动态slam*** |
CN110838145A (zh) * | 2019-10-09 | 2020-02-25 | 西安理工大学 | 一种室内动态场景的视觉定位与建图方法 |
CN111311708A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种基于语义光流和逆深度滤波的视觉slam方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10685446B2 (en) * | 2018-01-12 | 2020-06-16 | Intel Corporation | Method and system of recurrent semantic segmentation for image processing |
-
2020
- 2020-09-02 CN CN202010909488.5A patent/CN112037268B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110264572A (zh) * | 2019-06-21 | 2019-09-20 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及*** |
CN110458863A (zh) * | 2019-06-25 | 2019-11-15 | 广东工业大学 | 一种基于rgbd与编码器融合的动态slam*** |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
CN110838145A (zh) * | 2019-10-09 | 2020-02-25 | 西安理工大学 | 一种室内动态场景的视觉定位与建图方法 |
CN111311708A (zh) * | 2020-01-20 | 2020-06-19 | 北京航空航天大学 | 一种基于语义光流和逆深度滤波的视觉slam方法 |
Non-Patent Citations (3)
Title |
---|
DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments;Chao Yudeng等;《2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20190107;第1168-1174页 * |
DynaSLAM: Tracking, Mapping, and Inpainting in Dynamic Scenes;Berta Bescos等;《IEEE ROBOTICS AND AUTOMATION LETTERS》;20181031;第3卷(第4期);第4076-4083页 * |
结合语义的室内RGB-D相机定位与重建;王玘;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315;第2020年卷(第3期);I138-1210 * |
Also Published As
Publication number | Publication date |
---|---|
CN112037268A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112037268B (zh) | 一种动态场景下的基于概率传递模型的环境感知方法 | |
CN110335319B (zh) | 一种语义驱动的相机定位与地图重建方法和*** | |
CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距***及方法 | |
Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
Kim et al. | Deep learning based vehicle position and orientation estimation via inverse perspective mapping image | |
CN111260683A (zh) | 一种三维点云数据的目标检测与跟踪方法及其装置 | |
CN111178236A (zh) | 一种基于深度学习的车位检测方法 | |
CN115372958A (zh) | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 | |
CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN111696133B (zh) | 一种实时目标跟踪方法及*** | |
CN106599918B (zh) | 车辆追踪方法及*** | |
Jang et al. | Road lane semantic segmentation for high definition map | |
KR20180070258A (ko) | 주행상황에서의 동시적 물체 인식 및 학습 방법 | |
CN111914832B (zh) | 一种rgb-d相机在动态场景下的slam方法 | |
CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
CN110176022B (zh) | 一种基于视频检测的隧道全景监控***及方法 | |
CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
CN113689459B (zh) | 动态环境下基于gmm结合yolo实时跟踪与建图方法 | |
Min et al. | Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering | |
CN113362358A (zh) | 一种动态场景下基于实例分割的鲁棒性位姿估计方法 | |
Gong et al. | Complex lane detection based on dynamic constraint of the double threshold | |
CN112634294A (zh) | 用于测量语义分割网络的边界性能的方法 | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |