CN109191526A - 基于rgbd摄像头和光编码器的三维环境重建方法及*** - Google Patents

基于rgbd摄像头和光编码器的三维环境重建方法及*** Download PDF

Info

Publication number
CN109191526A
CN109191526A CN201811052260.8A CN201811052260A CN109191526A CN 109191526 A CN109191526 A CN 109191526A CN 201811052260 A CN201811052260 A CN 201811052260A CN 109191526 A CN109191526 A CN 109191526A
Authority
CN
China
Prior art keywords
frame
pose
optical encoder
key frame
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811052260.8A
Other languages
English (en)
Other versions
CN109191526B (zh
Inventor
王亚利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Amy Ronotics Co Ltd
Original Assignee
Hangzhou Amy Ronotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Amy Ronotics Co Ltd filed Critical Hangzhou Amy Ronotics Co Ltd
Priority to CN201811052260.8A priority Critical patent/CN109191526B/zh
Publication of CN109191526A publication Critical patent/CN109191526A/zh
Application granted granted Critical
Publication of CN109191526B publication Critical patent/CN109191526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于RGBD摄像头和光编码器的三维环境重建方法及***,在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计;在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。其通过利用视觉和光编码器估计相机位姿,可以减少环境光照变化对位姿估计的影响;当关键帧初始化失败时,利用光编码器给出位姿变化的估计,可以增强对缺少纹理的环境重建的鲁棒性,可以更广泛地使用。

Description

基于RGBD摄像头和光编码器的三维环境重建方法及***
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于RGBD摄像头和光编码器的三维环境重建方法及***。
背景技术
在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全,因此三维重建比较困难。而多视图的三维重建(类似人的双目定位)相对比较容易,其大致方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系,然后再利用多个二维图像中的信息重建出三维信息。
目前,单纯基于RGBD(RGB+Depth,彩色图+深度图)摄像头的三维环境重建方法,其输入图像为彩色图像和深度图像。其中,彩色图像容易受到过亮、过暗、过曝等环境光照变化的影响,从而导致图像降质,甚至不可用。此外,在缺少纹理的环境中,从彩色图像中无法提取物体的边缘和特征点。而物体的边缘和特征点对相机的位姿估计非常重要,如果无法提取物体的边缘和特征点,则会直接导致相机的位姿估计误差过大,进而影响重建效果。
因此,现有的基于RGBD摄像头的三维环境重建方法,容易受环境及其光照变化的影响,在重建过程中对环境及其光照变化的鲁棒性较低,应用受限。
发明内容
基于此,本发明的目的在于提供一种基于RGBD摄像头和光编码器的三维环境重建方法及***,在环境光照或环境纹理变化导致彩色图像降质或不可作为关键帧使用时,利用光编码器的输出来补偿相机的位姿估计,从而增加了重建过程对环境及其光照变化的鲁棒性,可以更广泛地使用。
本发明提供的一种基于RGBD摄像头和光编码器的三维环境重建方法,包括以下步骤:
在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计;
在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
作为一种可实施方式,根据图像的边缘和特征点,选取关键帧。
作为一种可实施方式,在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计,包括以下步骤:
在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;
根据所述前一帧的位姿和所述帧间位姿变化信息,得到当前帧的位姿估计。
作为一种可实施方式,本发明的基于RGBD摄像头和光编码器的三维环境重建方法,还包括以下步骤:
初始化关键帧;
若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;
若初始化失败,则判断前一帧是否可以作为关键帧;
若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
作为一种可实施方式,在根据当前帧和最近的关键帧,得到当前帧的位姿估计之后,还包括以下步骤:
计算当前帧相对于最近关键帧的位姿及误差;
若误差小于第二设定阈值时,将当前帧保存为前一帧;
若误差大于第二设定阈值时,则标记初始化失败。
作为一种可实施方式,在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差,包括以下步骤:
基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;
若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;
根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;
根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
相应地,本发明提供的一种基于RGBD摄像头和光编码器的三维环境重建***,包括选取模块和重建模块;
所述选取模块,用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化,得到当前帧的位姿估计;
所述重建模块,用于在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
作为一种可实施方式,根据图像的边缘和特征点,选取关键帧。
作为一种可实施方式,所述选取模块包括第一计算单元和第二计算单元;
所述第一计算单元,用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;
所述第二计算单元,用于根据所述前一帧的位姿和所述帧间位姿变化信息,得到当前帧的位姿估计。
本发明提供的基于RGBD摄像头和光编码器的三维环境重建***,还包括初始化模块;
所述初始化模块,用于初始化关键帧;若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;若初始化失败,则判断前一帧是否可以作为关键帧,若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
作为一种可实施方式,所述选取模块还包括第三计算单元;
所述第三计算单元用于计算当前帧相对于最近关键帧的位姿及误差;若误差小于第二设定阈值时,将当前帧保存为前一帧;若误差大于第二设定阈值时,则标记初始化失败。
作为一种可实施方式,所述重建模块包括位姿估计单元、比较单元、第四计算单元和第五计算单元;
所述位姿估计单元,用于基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;
所述比较单元,用于若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;
所述第四计算单元,用于根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;
所述第五计算单元,用于根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
与现有技术相比,本技术方案具有以下优点:
本发明提供的基于RGBD摄像头和光编码器的三维环境重建方法及***,在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计;在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。其通过利用视觉和光编码器估计相机位姿,可以减少环境光照变化对位姿估计的影响;当关键帧初始化失败时,利用光编码器给出位姿变化的估计,可以增强对缺少纹理的环境重建的鲁棒性,可以更广泛地使用。
附图说明
图1为本发明实施例一提供的基于RGBD摄像头和光编码器的三维环境重建方法中的前一关键帧、最近关键帧、前一帧和当前帧在时间轴上的位置示意图;
图2为本发明实施例一提供的基于RGBD摄像头和光编码器的三维环境重建方法的流程示意图;
图3为本发明实施例一提供的基于RGBD摄像头和光编码器的三维环境重建方法中的关键帧的初始化流程示意图;
图4为本发明实施例一提供的基于RGBD摄像头和光编码器的三维环境重建方法中的重建流程示意图;
图5为本发明实施例一提供的基于RGBD摄像头和光编码器的三维环境重建方法中的估计当前位姿的流程示意图;
图6为本发明实施例二提供的基于RGBD摄像头和光编码器的三维环境重建***的结构示意图。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
本发明中的每一个普通帧包含如下信息:摄像头输出的彩色图和深度图、光编码器输出的位姿和相机的位姿。前一关键帧、最近关键帧、前一帧和当前帧在时间轴上的顺序位置,如图1所示。相邻两个关键帧之间一般隔着若干普通帧,前一帧中保存了当前帧的信息。
参见图2,本发明实施例一提供的一种基于RGBD摄像头和光编码器的三维环境重建方法,包括以下步骤:
S100、在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计。
S200、在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
步骤S100中,一般在三维环境重建过程中,第一步做的都是初始化关键帧。关键帧是从普通帧中挑选出来、依时间的先后顺序组成的。关键帧的初始化,就是从普通帧中选出一帧作为第一个关键帧。为了估计后面普通帧的位姿,需要关键帧有足够丰富的边缘或特征点。
本实施例中关键帧的初始化,如图3所示,具体实现过程如下:
S010,接收新到来的普通帧,保存为当前帧;
S011,判断当前帧是否可以作为关键帧;即判断当前帧是否有足够丰富的边缘或特征点。
S012,如果当前帧可以作为关键帧,那么将当前帧保存为第一个关键帧,标记关键帧初始化成功,将当前帧保存为前一帧;然后,可以开始重建过程,进入步骤S021。
S013,如果当前帧不可以作为关键帧,那么接收新到来的普通帧为当前帧,继续判断当前帧是否可以作为关键帧;同时,若当前帧不可以作为关键帧,则标记关键帧初始化失败,进入步骤S022。
S021,若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;
S022,若初始化失败,则判断前一帧是否可以作为关键帧;
S023,若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
具体地,步骤S100可以通过以下步骤实现:
首先,在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;然后,根据前一帧的位姿和帧间位姿变化信息,得到当前帧的位姿估计。
接下来,计算当前帧相对于最近关键帧的位姿及误差;若误差小于第二设定阈值时,将当前帧保存为前一帧;若误差大于第二设定阈值时,则标记初始化失败。
上述摄像头和光编码器相结合的重建过程,通过求当前帧相对于最近关键帧的位姿估计及其误差,当误差小于第二设定阈值时,表示该位姿估计是正确的,所以将当前帧保存为前一帧,并接收新来的普通帧保存为当前帧;当误差大于第二设定阈值时,表示该位姿估计是不正确的,所以需要生成新的关键帧。
进一步地,如果前一帧满足关键帧的条件,那么,保存前一帧为新的关键帧,将前一帧的位姿初始化为4X4的单位阵,标记关键帧初始化成功;然后,估计当前帧相对于最近的关键帧的位姿。
如果前一帧不满足关键帧的条件,那么利用前一帧光编码器的位姿和当前帧光编码器的位姿,得到当前帧和前一帧之间的帧间位姿变化信息,进一步可以得到当前帧的位姿估计;由于前一帧未能成为关键帧,所以标记关键帧初始化不成功。
以上,在关键帧初始化失败时,利用光编码器给出位姿变化的估计,可以增强对缺少纹理的环境重建的鲁棒性。
作为一种可实施方式,上述摄像头和光编码器相结合的重建过程,如图4所示:
S41,接收新到来的普通帧,保存为当前帧;
S42,在关键帧初始化成功后,估计当前帧相对于最近关键帧的位姿及其误差;若误差大于设定阈值,则标记初始化失败,执行步骤S43;若误差小于设定阈值,表示该位姿估计是准确的,执行步骤S47;
S43,在关键帧初始化失败后,判断前一帧是否可以作为关键帧;
S44,如果前一帧可以作为关键帧,那么将前一帧保存为新的关键帧,将前一帧位姿估计初始化为4X4的单位阵,标记关键帧初始化成功;
S45,估计当前帧与最近的关键帧之间的位姿,将当前帧保存为前一帧;
S46,如果前一帧不可以作为关键帧,利用前一帧的光编码器位姿信息和当前帧的光编码器信息得到当前帧和前一帧之间的位姿,进而得到当前帧的位姿估计,标记关键帧初始化不成功;然后,保存当前帧到前一帧(S47),接收新的普通帧到当前帧(S41);
S47,保存当前帧到前一帧,接收新的普通帧并保存为当前帧(S41);
接下来,参见图5,步骤S200可以通过以下步骤实现:
S210、基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;
S220、若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;
S230、根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;
S240、根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
其中,基于通用的视觉方法估计当前帧相对于最近关键帧的位姿及其误差,当误差大于第一设定阈值时,表示视觉方法估计的位姿误差较大;所以,以光编码器输出的位姿做为初始值,再次用视觉方法估计当前帧相对于最近关键帧的位姿估计及其误差。
若误差小于第一设定阈值时,表示此时的位姿估计值更准确,用该位姿估计替换原来的当前帧位姿估计,将该估计误差替换原来的误差,并输出。
本发明实施例提供的一种基于RGBD摄像头和光编码器的三维环境重建方法,在关键帧初始化成功后,开始重建过程;在RGBD摄像头的输出上,用通用的视觉方法得到位姿估计及其误差;当误差过大时,用光编码器的输出作为位姿初始值,重新估计位姿及其误差;直到误差落入设定误差范围后,取新的位姿估计为输出。在生成关键帧时,若前一帧图像不可以作为关键帧,那么用前一帧和当前帧的光编码器输出求帧间位姿变化,得到当前帧的位姿估计。
本实施例中,通过利用视觉和光编码器估计相机位姿,可以减少环境光照变化对位姿估计的影响;当关键帧初始化失败时,利用光编码器给出位姿变化的估计,可以增强对缺少纹理的环境重建的鲁棒性。
基于同一发明构思,本发明实施例二还提供了一种基于RGBD摄像头和光编码器的三维环境重建***,该***与前述方法的原理相同,故该***的实施,可参照前述方法的流程实现,重复之处,不再冗述。
参见图6,本发明实施例二提供的一种基于RGBD摄像头和光编码器的三维环境重建***,包括选取模块100和重建模块200。
其中,选取模块100用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化,得到当前帧的位姿估计;
重建模块200用于在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
本实施例提供的基于RGBD摄像头和光编码器的三维环境重建***,根据图像的边缘和特征点,选取关键帧。
其中,选取模块100包括第一计算单元和第二计算单元。第一计算单元用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;第二计算单元用于根据前一帧的位姿和帧间位姿变化信息,得到当前帧的位姿估计。
选取模块还包括第三计算单元;第三计算单元用于计算当前帧相对于最近关键帧的位姿及误差;若误差小于第二设定阈值时,将当前帧保存为前一帧;若误差大于第二设定阈值时,则标记初始化失败。
进一步地,本实施例提供的基于RGBD摄像头和光编码器的三维环境重建***,还包括初始化模块010;
初始化模块010用于初始化关键帧;若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;若初始化失败,则判断前一帧是否可以作为关键帧,若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
重建模块200包括位姿估计单元、比较单元、第四计算单元和第五计算单元。位姿估计单元用于基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;比较单元用于若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;第四计算单元用于根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;第五计算单元用于根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
本实施例提供的基于RGBD摄像头和光编码器的三维环境重建方法及***,在当环境光照或环境纹理变化,导致彩色图像降质或不可作为关键帧使用时,利用光编码器的输出来补偿相机的位姿估计,增加了重建过程对环境及其光照变化的鲁棒性,使该三维重建方法及***可以更广泛地使用。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (12)

1.一种基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,包括以下步骤:
在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计;
在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
2.根据权利要求1所述的基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,根据图像的边缘和特征点,选取关键帧。
3.根据权利要求1所述的基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息,得到当前帧的位姿估计,包括以下步骤:
在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;
根据所述前一帧的位姿和所述帧间位姿变化信息,得到当前帧的位姿估计。
4.根据权利要求1所述的基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,还包括以下步骤:
初始化关键帧;
若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;
若初始化失败,则判断前一帧是否可以作为关键帧;
若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
5.根据权利要求3所述的基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,在根据当前帧和最近的关键帧,得到当前帧的位姿估计之后,还包括以下步骤:
计算当前帧相对于最近关键帧的位姿及误差;
若误差小于第二设定阈值时,将当前帧保存为前一帧;
若误差大于第二设定阈值时,则标记初始化失败。
6.根据权利要求1至5任一项所述的基于RGBD摄像头和光编码器的三维环境重建方法,其特征在于,在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差,包括以下步骤:
基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;
若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;
根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;
根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
7.一种基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,包括选取模块和重建模块;
所述选取模块,用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化,得到当前帧的位姿估计;
所述重建模块,用于在重建过程中,当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时,以光编码器的输出位姿作为相机的初始位姿,重新估计当前帧相对于最近关键帧的位姿及其误差。
8.根据权利要求7所述的基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,根据图像的边缘和特征点,选取关键帧。
9.根据权利要求7所述的基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,所述选取模块包括第一计算单元和第二计算单元;
所述第一计算单元,用于在选取关键帧时,若前一帧不能作为关键帧,则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息,计算当前帧和前一帧之间的帧间位姿变化信息;
所述第二计算单元,用于根据所述前一帧的位姿和所述帧间位姿变化信息,得到当前帧的位姿估计。
10.根据权利要求7所述的基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,还包括初始化模块;
所述初始化模块,用于初始化关键帧;若初始化成功,则根据当前帧和最近的关键帧,得到当前帧的位姿估计;若初始化失败,则判断前一帧是否可以作为关键帧,若前一帧可以作为关键帧,则将前一帧保存为新的关键帧,并将前一帧位姿初始化为单位阵,标记初始化成功。
11.根据权利要求9所述的基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,所述选取模块还包括第三计算单元;
所述第三计算单元用于计算当前帧相对于最近关键帧的位姿及误差;若误差小于第二设定阈值时,将当前帧保存为前一帧;若误差大于第二设定阈值时,则标记初始化失败。
12.根据权利要求7至11任一项所述的基于RGBD摄像头和光编码器的三维环境重建***,其特征在于,所述重建模块包括位姿估计单元、比较单元、第四计算单元和第五计算单元;
所述位姿估计单元,用于基于通用的视觉方法估计得到当前帧相对于最近关键帧的位姿及其误差;
所述比较单元,用于若该误差大于第一设定阈值,则根据前一帧光编码器的输出位姿和当前帧光编码器的输出位姿,得到帧间位姿;
所述第四计算单元,用于根据帧间位姿和前一帧的位姿,得到当前帧的位姿的初始估计;
所述第五计算单元,用于根据最近关键帧和当前帧的位姿的初始估计,得到当前帧的位姿。
CN201811052260.8A 2018-09-10 2018-09-10 基于rgbd摄像头和光编码器的三维环境重建方法及*** Active CN109191526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811052260.8A CN109191526B (zh) 2018-09-10 2018-09-10 基于rgbd摄像头和光编码器的三维环境重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811052260.8A CN109191526B (zh) 2018-09-10 2018-09-10 基于rgbd摄像头和光编码器的三维环境重建方法及***

Publications (2)

Publication Number Publication Date
CN109191526A true CN109191526A (zh) 2019-01-11
CN109191526B CN109191526B (zh) 2020-07-07

Family

ID=64915950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811052260.8A Active CN109191526B (zh) 2018-09-10 2018-09-10 基于rgbd摄像头和光编码器的三维环境重建方法及***

Country Status (1)

Country Link
CN (1) CN109191526B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法

Also Published As

Publication number Publication date
CN109191526B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
Casser et al. Depth prediction without the sensors: Leveraging structure for unsupervised learning from monocular videos
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
CN110490928A (zh) 一种基于深度神经网络的相机姿态估计方法
CN102903096B (zh) 一种基于单目视频的对象深度提取方法
CN104615234B (zh) 信息处理设备以及信息处理方法
CN108010081B (zh) 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN108428249A (zh) 一种基于光流跟踪和双几何模型的初始位姿估计方法
CN103182172B (zh) 高尔夫挥杆的诊断方法
CN106548519A (zh) 基于orb‑slam和深度相机的真实感的增强现实方法
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN103914820B (zh) 一种基于图像分层增强的图像去雾方法及***
CN103002309B (zh) 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法
CN112001859A (zh) 一种人脸图像的修复方法及***
CN109472830A (zh) 一种基于无监督学习的单目视觉定位方法
CN112308918A (zh) 一种基于位姿解耦估计的无监督单目视觉里程计方法
CN111784775A (zh) 一种标识辅助的视觉惯性增强现实注册方法
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN110210426A (zh) 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
CN109191366A (zh) 基于人体姿态的多视角人体图像合成方法及装置
CN106778576B (zh) 一种基于sehm特征图序列的动作识别方法
CN112183419A (zh) 一种基于光流生成网络和重排序的微表情分类方法
CN107909602A (zh) 一种基于深度学习的运动边界估计方法
CN114202472A (zh) 一种高精度水下成像方法和装置
CN109191526A (zh) 基于rgbd摄像头和光编码器的三维环境重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant