CN107358629B - 一种基于目标识别的室内建图与定位方法 - Google Patents

一种基于目标识别的室内建图与定位方法 Download PDF

Info

Publication number
CN107358629B
CN107358629B CN201710549596.4A CN201710549596A CN107358629B CN 107358629 B CN107358629 B CN 107358629B CN 201710549596 A CN201710549596 A CN 201710549596A CN 107358629 B CN107358629 B CN 107358629B
Authority
CN
China
Prior art keywords
pose
posture
camera
depth image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710549596.4A
Other languages
English (en)
Other versions
CN107358629A (zh
Inventor
刘宏
马佳瑶
宋章军
张国栋
赵晨阳
吴观明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Shenzhen Silver Star Intelligent Technology Co Ltd
Original Assignee
Peking University Shenzhen Graduate School
Shenzhen Silver Star Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School, Shenzhen Silver Star Intelligent Technology Co Ltd filed Critical Peking University Shenzhen Graduate School
Priority to CN201710549596.4A priority Critical patent/CN107358629B/zh
Publication of CN107358629A publication Critical patent/CN107358629A/zh
Application granted granted Critical
Publication of CN107358629B publication Critical patent/CN107358629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于目标识别的室内定位与建图方法，其步骤包括：1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；3)根据3D点云并基于最近迭代点估计相机的姿态；4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；5)利用相机姿态和物体姿态优化姿态图；6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。本发明能在具有大量物体的场景下进行室内定位和地图建立，建图精度高，所用计算资源少。

Description

一种基于目标识别的室内建图与定位方法
技术领域
本发明属于图像处理与模式识别技术领域，具体涉及一种基于目标识别的室内建图与定位方法；通过目标识别辅助和优化进行室内建图和定位，能够较快速度得到细节完整的室内地图和准确的相机姿态定位。
背景技术
图像处理与模式识别是一门交叉学科，近几十年来，图像处理与模式识别技术取得了显著的进步，已开始从实验室慢慢走向市场。随着图像处理与模式识别研究工作的不断发展，针对不同性质图像和不同模式的识别***，其识别精度已经很高了，足以满足市场用户的需求，已经在工业、家电、通信、汽车电子、医疗、家庭服务和消费电子类产品等领域得以应用。但在计票***领域，图像处理与模式识别技术没有得到充分利用。
针对机器人自助室内建图定位，有两种需求：稠密地图和稀疏地图。稀疏地图计算量小，计算速度快，但是存在的问题是信息量少，不足以令机器人完成任务。稠密地图信息量大，但是计算量也大。
目前，室内定位建图稠密方法采用了以图像为核心，这类***的局限性在于，不能理解地图的含义，且过程耗时较多。
发明内容
针对现有技术存在的问题，本发明的目的是提供一种基于目标识别的室内建图与定位方法。本发明将目标识别技术融入到传统室内建图与定位技术中，利用图优化的方式，以约束条件的方式减少计算量，从而提高建图精度，提高计算效率。与传统方法相比，本发明方法的建图精度高，所用计算资源少。
本发明的基于目标识别的室内定位与建图方法，其步骤包括：
1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；
2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；
3)根据3D点云并基于最近迭代点估计相机的姿态；
4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；
5)利用相机姿态和物体姿态优化姿态图，姿态图中相机姿态和物体姿态作为节点，相机姿态和物体姿态间的约束关系作为边；
6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。
进一步地，步骤1)离线地建立目标物体模型数据库。
进一步地，步骤3)基于最近迭代点估计相机姿态的方法是：
a)比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波；
b)通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集；
c)通过最近邻原则建立场景数据集与模型数据集之间的对应关系；
d)根据建立的对应关系，使得对应点间的距离的平方和最小，即完成对相机姿态的估计。
进一步地，步骤4)在线进行识别时，输入实时深度图像，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征。点对特征和离线的模型的描述进行匹配，检索出潜在的匹配，进行对物体的识别。
进一步地，步骤4)将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。
进一步地，步骤5)利用相机姿态和物体姿态之间的耦合关系进行图优化，优化相机的姿态和物体的姿态。
进一步地，步骤6)得到当前环境的三维地图后，处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，以辅助快速更新相机的姿态以及物体的姿态。
本发明还提供一种基于目标识别的室内定位与建图装置，包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
本发明还提供一种存储计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时，实现上述方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明能在具有大量物体的场景下，进行室内定位和地图建立，能够实时地得到稠密地图，占用的存贮空间小，压缩率为传统方法的70分之一。本发明可以应用于基于手持摄像机的实时定位与建图，在导航，虚拟现实等场景可以有广泛的应用。
附图说明
图1为本发明方法的总体流程框架图。
图2为点对特征的示意图。
图3为模型和场景配对的示意图。
图4为投票机制示意图。
具体实施方式
下面结合实施例和附图，对本发明做出详细描述。
图1为本发明方法的总体流程图，该方法具体包括以下步骤：
1、计算物体模型
本发明的应用场景是室内场景，在实时目标检测之前，先离线地建立目标物体模型数据库(该内容不表示在图1中)。
建立目标物体模型数据库的方法是，通过现有的三维重建方法即KinectFusion方法(R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohli,J.Shotton,S.Hodges,and A.Fitzgibbon.KinectFusion:Real-Time Dense SurfaceMapping and Tracking.In Proceedings of the International Symposium on Mixedand Augmented Reality(ISMAR),2011.)扫描物体，得到3D重建的结果，并手动去除地面的杂点，即得到目标物体模型数据库。
2、输入颜色深度图像及表面测量
离线地建立物体模型的描述后，进行在线识别。输入实时RGBD图像(颜色深度图像)，将2D深度图像转换成3D点云并求得每一点的法向量，用于之后的相机姿态估计和物体的识别及物体的姿态估计。并且，用光线投影算法求当前视角下能够看到的场景表面。
3、基于最近迭代点的相机姿态估计
基于最近迭代点(Iterative Closest Point，ICP)的相机姿态估计包括以下步骤：
a.首先，比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，比如分3层抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波。
b.通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集。
c.通过最近邻原则建立场景数据集与模型数据集之间的对应关系。
d.根据上一步中建立的对应关系，使得对应点间的距离的平方和最小，解决已知对应关系情况下相机位姿的相对变换，此时即完成对相机姿态的估计。
4、物体识别及物体姿态更新
由输入的实时RGBD图像得到3D点云，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征。这些点对特征用来和离线的目标物体模型的描述进行匹配，从而检索出潜在的匹配(或称为待选的匹配)。然后将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。
具体来说，该步骤采用基于点对特征的全局描述的3D目标识别方法。点对特征是一种新颖的全局描述子，其可以定义为
F(m1，m2)＝(||d||2∠(n1，d)，∠(n2，d)，∠(n1，n2))，
其中m1,m2为两张图片上的点，||d||2为点m1点m2之间的距离，n1,n2为法向量，∠(a,b)表示两个向量之间的夹角。图2为点对特征的示意图，其中F1表示点之间的距离，F2、F3表示该点处的方向向量，F4表示向量之间的夹角。
本方法以点对特征提出了一种全局描述方法。首先，计算模型表面的所有点对，以ddist和dangle为步长，分别采样距离和角度。然后把相等的特征向量看成一组。然后，计算采样的点对特征空间对于模型的映射。其中有相等的点对特征的点记为集合A，其可以用哈希表表示。这些计算步骤都可以离线进行，如此大大提高在线的计算效率。而在线目标识别的过程中只需要进行以下步骤：
选择场景中的一组参考点，其他场景中的点与参考点配对，配对成功的产生了点对特征。这些点对特征包含全局描述和待选的匹配。给待选的匹配进行投票得到最优的匹配，从而得到最优的物体姿态。这里投票的方法是广义霍夫变换(D.Katsoulas.Robustextraction of vertices in range images by constraining the houghtransform.Lecture Notes in Computer Science,pages 360–369,2003.)。
图3为模型和场景配对的示意图，其中m代表模型中的参考点，s为场景中的参考点，下标i,r分别代表点对中两个不同的点，两组点对具有相似的点对特征，
Figure BDA0001344057970000041
为法向量。T代表点对到三维坐标系x,y,z的映射，Ts→g代表场景参考点到原点坐标系的映射，Tm→g代表模型参考点到原点坐标系的映射，g代表原点坐标，α代表Ts→g到Tm→g的旋转角度，e1为两组点配对所需要的角度。
图4为投票机制示意图，其中mi′和mr′代表与mi与mr配对的点。Fs(sr,si)为点对特征，与模型的描述进行配对，α1至αn为配对成功时的角度参数，如果找到配对的点对记录到记票空间中。图4中，①表示得到点对特征，②表示得到模型描述，③表示将描述与模型配对，④表示找到配对的点对并记录到投票空间中。
5、姿态图优化(基于图优化的姿态优化方法)
为了提高物体姿态估计和相机姿态估计的精确度，利用变量之间的约束关系进行优化，得到当前相机的定位位置和姿态。相机的姿态和物体的姿态作为姿态图的节点，其相连的边为各个变量间的约束。
所有变量的约束如下：
Figure BDA0001344057970000051
其中，Em表示约束度量和，
Figure BDA0001344057970000052
表示i时刻深度相机的姿态；Twoj是物体的姿态；
Figure BDA0001344057970000053
是物体j在第i时刻的六自由度测量；zi表示i时刻相机的六自由度测量；∑i,oj表示测量的协方差；∑i,i+1是相机从i到i+1时刻的测量协方差；
Figure BDA0001344057970000054
是在相机从i到i+1时刻的相对ICP约束；Twi+1表示第i+1时刻深度相机的姿态。
用Levenberg-Marquardt方法(列文伯格-马夸尔特法)求解这个最小二乘问题。通过一个系数的Cholesky算子(R.Kummerle,G.Grisetti,H.Strasdat,K.Konolige,andW.Burgard.g2o:A General Framework for Graph Optimization.In Proceedings ofthe IEEE International Conference on Robotics and Automation(ICRA),2011.)可以解出等式的稀疏解。
6、表面渲染
根据步骤5的姿态图得到最优的物体姿态，然后利用已知的目标物体模型数据库，进行表面渲染，得到当前环境的三维地图，然后处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，将渲染得到的地图与新的测量输入对比，辅助快速更新相机的姿态以及物体的姿态。与传统方法相比，该方法建图精度高，所用计算资源少。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于目标识别的室内定位与建图方法，其步骤包括：
1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；
2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；
3)根据3D点云并基于最近迭代点估计相机的姿态；
4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；
5)利用相机姿态和物体姿态优化姿态图，姿态图中相机姿态和物体姿态作为节点，相机姿态和物体姿态间的约束关系作为边；
6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。
2.如权利要求1所述的方法，其特征在于，步骤1)离线地建立目标物体模型数据库。
3.如权利要求1所述的方法，其特征在于，步骤3)基于最近迭代点估计相机姿态的方法是：
a)比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波；
b)通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集；
c)通过最近邻原则建立场景数据集与模型数据集之间的对应关系；
d)根据建立的对应关系，使得对应点间的距离的平方和最小，即完成对相机姿态的估计。
4.如权利要求1所述的方法，其特征在于，步骤4)在线进行识别时，输入实时深度图像，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征；点对特征和离线的模型的描述进行匹配，检索出潜在的匹配，进行对物体的识别。
5.如权利要求1所述的方法，其特征在于，步骤4)将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。
6.如权利要求1所述的方法，其特征在于，步骤5)利用相机姿态和物体姿态之间的耦合关系进行图优化，优化相机的姿态和物体的姿态。
7.如权利要求1所述的方法，其特征在于，步骤6)得到当前环境的三维地图后，处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，以辅助快速更新相机的姿态以及物体的姿态。
8.一种基于目标识别的室内定位与建图装置，其特征在于，包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7中任一权利要求所述方法中各步骤的指令。
9.一种存储计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时，实现权利要求1至7中任一权利要求所述方法的步骤。
CN201710549596.4A 2017-07-07 2017-07-07 一种基于目标识别的室内建图与定位方法 Active CN107358629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710549596.4A CN107358629B (zh) 2017-07-07 2017-07-07 一种基于目标识别的室内建图与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710549596.4A CN107358629B (zh) 2017-07-07 2017-07-07 一种基于目标识别的室内建图与定位方法

Publications (2)

Publication Number Publication Date
CN107358629A CN107358629A (zh) 2017-11-17
CN107358629B true CN107358629B (zh) 2020-11-10

Family

ID=60292006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710549596.4A Active CN107358629B (zh) 2017-07-07 2017-07-07 一种基于目标识别的室内建图与定位方法

Country Status (1)

Country Link
CN (1) CN107358629B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171790B (zh) * 2017-12-25 2019-02-15 北京航空航天大学 一种基于字典学习的目标重建方法
CN108416312B (zh) * 2018-03-14 2019-04-26 天目爱视（北京）科技有限公司 一种基于可见光拍照的生物特征3d数据识别方法
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
CN110728684B (zh) * 2018-07-17 2021-02-02 北京三快在线科技有限公司 地图构建方法、装置、存储介质及电子设备
CN109459045B (zh) * 2018-09-29 2020-10-09 杭州电子科技大学 一种针对低频gps轨迹的改进交互式投票匹配方法
CN109344813B (zh) * 2018-11-28 2023-11-28 北醒（北京）光子科技有限公司 一种基于rgbd的目标识别和场景建模方法
CN113678168B (zh) 2019-01-28 2023-12-15 弗劳恩霍夫应用研究促进协会 空间中的元素定位
CN109900272B (zh) * 2019-02-25 2021-07-13 浙江大学 视觉定位与建图方法、装置及电子设备
CN110675453B (zh) * 2019-10-16 2021-04-13 北京天睿空间科技股份有限公司 一种已知场景中运动目标的自定位方法
EP3859684A1 (en) * 2020-01-30 2021-08-04 Toyota Jidosha Kabushiki Kaisha Method and system for building a lighting adaptable map of an indoor scene and using it for estimating an unknown light setting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013120509A1 (en) * 2012-02-13 2013-08-22 Ruebben Albert Algorithm for modification of somatic cancer evolution
CN104991463A (zh) * 2015-05-21 2015-10-21 北京云迹科技有限公司 机器人半自主建图方法及***
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN106373141A (zh) * 2016-09-14 2017-02-01 上海航天控制技术研究所 空间慢旋碎片相对运动角度和角速度的跟踪***和跟踪方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013120509A1 (en) * 2012-02-13 2013-08-22 Ruebben Albert Algorithm for modification of somatic cancer evolution
CN104991463A (zh) * 2015-05-21 2015-10-21 北京云迹科技有限公司 机器人半自主建图方法及***
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN106373141A (zh) * 2016-09-14 2017-02-01 上海航天控制技术研究所 空间慢旋碎片相对运动角度和角速度的跟踪***和跟踪方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及***

Also Published As

Publication number Publication date
CN107358629A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN108229416B (zh) 基于语义分割技术的机器人slam方法
JP6430064B2 (ja) データを位置合わせする方法及びシステム
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN100559398C (zh) 自动的深度图像配准方法
CN110686677A (zh) 一种基于几何信息的全局定位方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN114677418A (zh) 一种基于点云特征点提取的配准方法
CN112257722A (zh) 基于抗差非线性高斯-赫尔默特模型的点云拟合方法
CN111028280B (zh) 井字结构光相机***及进行目标有尺度三维重建的方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN108010002A (zh) 一种基于自适应隐式移动最小二乘的结构化点云去噪方法
Makovetskii et al. An algorithm for rough alignment of point clouds in three-dimensional space
CN115239776A (zh) 点云的配准方法、装置、设备和介质
CN111985308B (zh) 一种微分几何的立体视觉空间曲线匹配方法
CN114004900A (zh) 一种基于点线面特征的室内双目视觉里程计方法
Drwięga Incremental 3d maps server based on feature matching for multi-robot systems
Li et al. OCNN: Point cloud-based convolutional neural network for object orientation estimation
Vitiuk et al. Software Package for Evaluation the Stereo Camera Calibration for 3D Reconstruction in Robotics Grasping System.
CN116309883B (zh) 一种3D目标6DoF精确定位方法及***
Liao et al. A point cloud registration method based on point cloud region and application samples
Ge A real-time stereo visual servoing for moving object grasping based parallel algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant