CN111709982A - 一种动态环境三维重建方法 - Google Patents
一种动态环境三维重建方法 Download PDFInfo
- Publication number
- CN111709982A CN111709982A CN202010439078.9A CN202010439078A CN111709982A CN 111709982 A CN111709982 A CN 111709982A CN 202010439078 A CN202010439078 A CN 202010439078A CN 111709982 A CN111709982 A CN 111709982A
- Authority
- CN
- China
- Prior art keywords
- dynamic
- target detection
- dimensional reconstruction
- scene
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动态环境三维重建方法,包括标定所采用的深度传感器的参数,对场景采集RGB‑D图像,对所述的RGB‑D图像中的彩色图像提取ORB特征点等步骤,本发明所提出的3D目标检测方法相较于常规的点云匹配算法大大减少计算量,使得整个重建过程可以实现实时。本发明所提出的综合了传统光流法和深度学习目标检测的动态物体检测方法,相比于两者分别单独作用的检测率和边缘准确度更高,误检更少。基于此动态检测法的三维重建方法能够更快更好的剔除动态物体,进行快速精准的场景重建。
Description
技术领域
本发明涉及三维重建领域,具体地说,是一种动态环境三维重建方法。
背景技术
三维重建是计算机视觉领域中一个非常有意义的课题。基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息,如何能够实现高精度、高速度、大场景的三维重建是此领域追求的目标。而三维重建技术在工业和生活中各领域都有着广泛的应用。面对更实际的需求下的动态室内实时三维重建技术,在例如室内的增强现实游戏、机器人室内导航、AR家具展示、家装建模展示等方面都有着广泛的应用。而如果在实际的三维重建应用场景中,用于进行多帧匹配的物体如果是处于高动态的状态,并且这些物体上的特征点也参与了三维位姿的计算,那么这些物体将会给***的定位带来严重的误差,从而影响重建结果。而本发明提出的基于光流和3D目标检测的动态环境三维重建方法在很大程度上可以解决上述问题。
主要目的:
1、本方法相比于传统的三维重建方法,可以很好的检测出运动的物体,并去除动态物体上的特征点,使得三维重建精度更高,本发明利用光流法和深度学习的目标检测,着重对场景中的动态物体进行分析。
2、在重建过程中的语义分析方面,相比于3D点云分割,3D目标检测语义分析的方法处理速度更快,更适用于实时建模。
3、将传统光流法与3D目标检测语义分析相结合,可以更好的做出对动态物体的判断,减少误判和漏判。
发明内容
本发明正是针对现有技术提出的技术问题所作出的改进,提供了一种可以提高三维测量速度
本发明是采用以下技术方案来实现的:
本发明公开了一种动态环境三维重建方法,包括如下步骤:
1)、标定所采用的深度传感器的参数,对场景采集RGB-D图像;
2)、对所述的RGB-D图像中的彩色图像提取ORB特征点;
3)、每2~10帧对场景中的动态物体进行一次检测;
4)、重定位:剔除步骤3)中检测出来的动态点上的ORB特征点,重新利用速度模型和参考帧模型进行对当前帧位姿进行估计,进行再跟踪;
5)、局部优化建图:在局部建图模块中***新的关键帧,对新***的关键帧
中的关键点进行BA优化;
6)、基于3D目标检测建立语义八叉树地图:基于步骤3)中3D目标检测的结果,建立3D语义信息库并不断更新,建立语义八叉树地图;
7)、基于BoW视觉词袋方法进行回环检测:利用BoW法提取的特征向量计算前后帧图片的相似度,对相邻帧进行闭环矫正,提高***的精确性。
作为进一步地改进,本发明所述的步骤1)中,RGB-D图像包括彩色图和深度图。
作为进一步地改进,本发明所述的步骤3)每2~10帧对场景中的动态物体进行一次检测,的具体步骤如下:
3.1)、先通过光流法处理彩色图,对相机的运动建模,利用相邻两帧的特征点对,来求解出相机的单应变换矩阵,然后对当前图像进行反变换后,再和上一帧图像一起求解光流场,有效剔除掉一些相机的运动;
3.2)、通过3D目标检测语义分析法处理彩色-深度图,预先设定该场景中也许会移动的物体种类,首先用2D目标检测神经网络,对彩色帧进行处理,检测出该种类物体所在的位置,再在对应的深度图上找到相应区域,利用RANSAC进行深度信息滤波,估算目标平均深度,从而形成3D语义信息,进一步判断其是否为一个移动物体;
3.3)、使用此创新逻辑来判断动态区域:如果对于某个区域,在光流法和3D目标检测法均判断为动态区域的情况下,以光流法所推断出来的区域边界作为最终结果;而当某个像素点仅仅在3D目标检测法下被判断为动态物体的情况下,将3D目标检测法得到的结果置为最终结果。
作为进一步地改进,本发明所述的步骤3.1)中,使用N对点对联立线性方程组使用奇异值分解求解矩阵,使用RANSAC匹配算法得到更加鲁棒的结果,判断得出场景中发生了移动的像素点。
本发明的有益效果如下:
本发明提出了一种基于光流和3D目标检测语义分析相结合的三维重建方法,使用该方法有效的解决了动态场景下的三维重建问题,利用光流法以及3D目标检测综合判断动态物体的像素,剔除属于动态物体像素的特征点,利用剩下的特征点进行较为精准的三维场景重建。本发明所提出的3D目标检测方法相较于常规的点云匹配算法大大减少计算量,使得整个重建过程可以实现实时。本发明所提出的综合了传统光流法和深度学习目标检测的动态物体检测方法,相比于两者分别单独作用的检测率和边缘准确度更高,误检更少。基于此动态检测法的三维重建方法能够更快更好的剔除动态物体,进行快速精准的场景重建。
附图说明
图1是动态区域的判断逻辑框图;
图2是***整体流程图。
具体实施方式
下面通过具体实施例对本发明的技术方案作进一步地说明:
图1是动态区域的判断逻辑框图;先使用光流法处理待判断区域,再用3D目标检测进一步处理,确定区域边界。
图2是***整体流程图;主要包括深度传感器采集图像的ORB特征提取、动态点检测、重定位、检索新关键帧、对于初始关键帧的建图、3D深度滤波形成语义库,以及回环检测。
1、标定所采用的深度传感器的参数,对场景采集RGB-D图像(包括彩色图和深度图);
2、对其中的彩色图像提取ORB特征点;
3、每5帧对场景中的动态物体进行一次检测,具体步骤包括:
3.1先通过光流法处理彩色图。对相机的运动建模,利用相邻两帧的特征点对,来求解出相机的单应变换矩阵,然后对当前图像进行反变换后,再和上一帧图像一起求解光流场,这样可以有效剔除掉一些相机的运动。可以使用N对点对联立线性方程组使用奇异值分解求解矩阵,使用RANSAC等匹配算法得到更加鲁棒的结果。判断得出场景中发生了移动的像素点。
3.2通过3D目标检测语义分析法处理彩色-深度图。预先设定该场景中也许会移动的物体种类(如“人”),首先用2D目标检测神经网络,对彩色帧进行处理,检测出该种类物体所在的位置,再在对应的深度图上找到相应区域,利用RANSAC进行深度信息滤波,估算目标平均深度,从而形成3D语义信息,进一步判断其是否为一个移动物体。
3.3使用此创新逻辑来判断动态区域:如果对于某个区域,在光流法和3D目标检测法均判断为动态区域的情况下,以光流法所推断出来的区域边界作为最终结果;而当某个像素点仅仅在3D目标检测法下被判断为动态物体的情况下,将3D目标检测法得到的结果置为最终结果。
4、重定位:剔除第3步中检测出来的动态点上的ORB特征点,重新利用速度模型和参考帧模型进行对当前帧位姿进行估计,进行再跟踪;
5、局部优化建图:对新***的关键帧中的关键点进行BA优化;
6、基于3D目标检测建立语义八叉树地图:基于步骤3中3D目标检测的结果,建立3D语义信息库并不断更新,建立语义八叉树地图;
7、基于BoW视觉词袋方法进行回环检测:计算前后帧图片的相似度,对相邻帧进行闭环矫正,提高***的精确性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种动态环境三维重建方法,其特征在于,包括如下步骤:
1)、标定所采用的深度传感器的参数,对场景采集RGB-D图像;
2)、对所述的RGB-D图像中的彩色图像提取ORB特征点;
3)、每2~10帧对场景中的动态物体进行一次检测;
4)、重定位:剔除步骤3)中检测出来的动态点上的ORB特征点,重新利用速度模型和参考帧模型进行对当前帧位姿进行估计,进行再跟踪;
5)、局部优化建图:在局部建图模块中***新的关键帧,对新***的关键帧中的关键点进行BA优化;
6)、基于3D目标检测建立语义八叉树地图:基于步骤3)中3D目标检测的结果,建立3D语义信息库并不断更新,建立语义八叉树地图;
7)、基于BoW视觉词袋方法进行回环检测:利用BoW法提取的特征向量计算前后帧图片的相似度,对相邻帧进行闭环矫正,提高***的精确性。
2.根据权利要求1所述的动态环境三维重建方法,其特征在于,所述的步骤1)中,RGB-D图像包括彩色图和深度图。
3.根据权利要求1所述的动态环境三维重建方法,其特征在于,所述的步骤3)每2~10帧对场景中的动态物体进行一次检测,的具体步骤如下:
3.1)、先通过光流法处理彩色图,对相机的运动建模,利用相邻两帧的特征点对,来求解出相机的单应变换矩阵,然后对当前图像进行反变换后,再和上一帧图像一起求解光流场,有效剔除掉一些相机的运动;
3.2)、通过3D目标检测语义分析法处理彩色-深度图,预先设定该场景中也许会移动的物体种类,首先用2D目标检测神经网络,对彩色帧进行处理,检测出该种类物体所在的位置,再在对应的深度图上找到相应区域,利用RANSAC进行深度信息滤波,估算目标平均深度,从而形成3D语义信息,进一步判断其是否为一个移动物体;
3.3)、使用此创新逻辑来判断动态区域:如果对于某个区域,在光流法和3D目标检测法均判断为动态区域的情况下,以光流法所推断出来的区域边界作为最终结果;而当某个像素点仅仅在3D目标检测法下被判断为动态物体的情况下,将3D目标检测法得到的结果置为最终结果。
4.根据权利要求3所述的动态环境三维重建方法,其特征在于,所述的步骤3.1)中,使用N对点对联立线性方程组使用奇异值分解求解矩阵,使用RANSAC匹配算法得到更加鲁棒的结果,判断得出场景中发生了移动的像素点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439078.9A CN111709982B (zh) | 2020-05-22 | 2020-05-22 | 一种动态环境三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439078.9A CN111709982B (zh) | 2020-05-22 | 2020-05-22 | 一种动态环境三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709982A true CN111709982A (zh) | 2020-09-25 |
CN111709982B CN111709982B (zh) | 2022-08-26 |
Family
ID=72538205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010439078.9A Active CN111709982B (zh) | 2020-05-22 | 2020-05-22 | 一种动态环境三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709982B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150448A (zh) * | 2020-09-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN113808253A (zh) * | 2021-08-31 | 2021-12-17 | 武汉理工大学 | 场景三维重建的动态对象处理方法、***、设备及介质 |
CN117611592A (zh) * | 2024-01-24 | 2024-02-27 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150147047A1 (en) * | 2013-11-27 | 2015-05-28 | Adobe Systems Incorporated | Simulating tracking shots from image sequences |
CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
GB201706499D0 (en) * | 2017-04-25 | 2017-06-07 | Nokia Technologies Oy | Three-dimensional scene reconstruction |
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
CN110378997A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 一种基于orb-slam2的动态场景建图与定位方法 |
CN110533720A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于联合约束的语义slam***及方法 |
CN110555908A (zh) * | 2019-08-28 | 2019-12-10 | 西安电子科技大学 | 基于室内移动目标背景修复的三维重建方法 |
CN110738667A (zh) * | 2019-09-25 | 2020-01-31 | 北京影谱科技股份有限公司 | 一种基于动态场景的rgb-d slam方法和*** |
CN110782490A (zh) * | 2019-09-24 | 2020-02-11 | 武汉大学 | 一种具有时空一致性的视频深度图估计方法及装置 |
-
2020
- 2020-05-22 CN CN202010439078.9A patent/CN111709982B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150147047A1 (en) * | 2013-11-27 | 2015-05-28 | Adobe Systems Incorporated | Simulating tracking shots from image sequences |
CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
GB201706499D0 (en) * | 2017-04-25 | 2017-06-07 | Nokia Technologies Oy | Three-dimensional scene reconstruction |
CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图***及方法 |
CN110378997A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 一种基于orb-slam2的动态场景建图与定位方法 |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
CN110533720A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于联合约束的语义slam***及方法 |
CN110555908A (zh) * | 2019-08-28 | 2019-12-10 | 西安电子科技大学 | 基于室内移动目标背景修复的三维重建方法 |
CN110782490A (zh) * | 2019-09-24 | 2020-02-11 | 武汉大学 | 一种具有时空一致性的视频深度图估计方法及装置 |
CN110738667A (zh) * | 2019-09-25 | 2020-01-31 | 北京影谱科技股份有限公司 | 一种基于动态场景的rgb-d slam方法和*** |
Non-Patent Citations (3)
Title |
---|
HANJIE LIU ET AL.: "Visual SLAM Based on Dynamic Object Removal", 《2019 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 * |
LINYAN CUI: "SDF-SLAM:Semantic Depth Filter SLAM for Dynamic Environments", 《IEEE ACCESS》 * |
房立金等: "基于深度学习的动态场景语义SLAM", 《华中科技大学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150448A (zh) * | 2020-09-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN112150448B (zh) * | 2020-09-28 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN113808253A (zh) * | 2021-08-31 | 2021-12-17 | 武汉理工大学 | 场景三维重建的动态对象处理方法、***、设备及介质 |
CN113808253B (zh) * | 2021-08-31 | 2023-08-15 | 武汉理工大学 | 场景三维重建的动态对象处理方法、***、设备及介质 |
CN117611592A (zh) * | 2024-01-24 | 2024-02-27 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
CN117611592B (zh) * | 2024-01-24 | 2024-04-05 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111709982B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349250B (zh) | 一种基于rgbd相机的室内动态场景的三维重建方法 | |
CN111709982B (zh) | 一种动态环境三维重建方法 | |
CN110533720B (zh) | 基于联合约束的语义slam***及方法 | |
CN111539273A (zh) | 一种交通视频背景建模方法及*** | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
CN112418288B (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
CN110599522B (zh) | 一种视频序列中动态目标检测剔除方法 | |
CN110006444B (zh) | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 | |
CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
CN109977827B (zh) | 一种使用多视图匹配方法的多人三维姿态估计方法 | |
Bourdis et al. | Camera pose estimation using visual servoing for aerial video change detection | |
CN107480603A (zh) | 基于slam和深度摄像头的同步建图与物体分割方法 | |
CN111915651B (zh) | 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法 | |
CN112541423A (zh) | 一种同步定位与地图构建方法和*** | |
Yu et al. | Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes | |
CN117523461B (zh) | 一种基于机载单目相机的运动目标跟踪与定位方法 | |
CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
CN115147344A (zh) | 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法 | |
CN112432653B (zh) | 基于点线特征的单目视觉惯性里程计方法 | |
CN113487631A (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 | |
CN112200917A (zh) | 一种高精度增强现实方法及*** | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
CN116429087A (zh) | 一种适应于动态环境的视觉slam方法 | |
CN111915632B (zh) | 一种基于机器学习的贫纹理目标物体真值数据库构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |