CN111814792B - 一种基于rgb-d图像的特征点提取与匹配方法 - Google Patents

一种基于rgb-d图像的特征点提取与匹配方法 Download PDF

Info

Publication number
CN111814792B
CN111814792B CN202010923532.8A CN202010923532A CN111814792B CN 111814792 B CN111814792 B CN 111814792B CN 202010923532 A CN202010923532 A CN 202010923532A CN 111814792 B CN111814792 B CN 111814792B
Authority
CN
China
Prior art keywords
point
points
feature
attribute
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010923532.8A
Other languages
English (en)
Other versions
CN111814792A (zh
Inventor
李月华
谢天
李小倩
朱世强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202010923532.8A priority Critical patent/CN111814792B/zh
Publication of CN111814792A publication Critical patent/CN111814792A/zh
Application granted granted Critical
Publication of CN111814792B publication Critical patent/CN111814792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于RGB‑D图像的特征点提取与匹配方法，该方法首先对RGB‑D摄像头进行标定，得到RGB‑D相机的内外参，然后采集图片，并根据内外参对图像进行校正，在校正后的RGB图像上通过局部特征提取方法提取特征点，并从深度图上获取该特征点的深度信息，根据特征点的深度信息，计算出深度图中特征点附近的感兴趣区域，并将该区域内的像素转化为三维点云，并选出n个距离特征点最近的点，得到邻近三维点云；最后计算得到邻近三维点云的协方差矩阵并进行奇异值分解，得到从大到小排列的三个特征值λ1、λ2、λ3，根据特征值的大学关系判断特征点的空间几何特征属性，对属于同一种属性的特征点进行特征匹配。本发明的方法原理简单，图像匹配的准确性高。

Description

一种基于RGB-D图像的特征点提取与匹配方法
技术领域
本发明涉及图像特征提取领域，具体涉及一种基于RGB-D图像的特征点提取与匹配方法。
背景技术
对于2维RGB图像目前已经存在多种特征提取及匹配方法，如SIFT、SURF、FAST、BRIEF、ORB等，这些特征在实际算法中已经被广泛的使用。但是在特征相似度高的场景下，如戈壁、沙漠或地外（如月球、火星）环境下，容易造成特征提取不准确或者误匹配的情况。
发明内容
针对现有技术的不足，本发明提出一种基于RGB-D图像的特征点提取与匹配方法，具体技术方案如下：
一种基于RGB-D图像的特征点提取与匹配方法，该方法具体包括如下步骤：
S1：对RGB-D摄像头进行标定，得到RGB-D相机的内外参；
S2：采集图片，并根据S1得到的内外参对图像进行校正，得到校正后的RGB图像；
S3：在校正后的RGB图像上通过局部特征提取方法提取特征点，并从深度图上获取该特征点的深度信息d_depth；
S4：根据特征点的深度信息d_depth，计算出深度图中特征点附近的感兴趣区域，并将该区域内的像素转化为三维点云，并选出n个距离特征点最近的点，得到邻近三维点云；
S5：计算得到邻近三维点云的协方差矩阵并进行奇异值分解，得到从大到小排列的三个特征值λ1、λ2、λ3，当特征值满足λ1/λ2＜1.5、λ2/λ3＞10、λ1/λ3＞10时，则该特征点属性设定为面点；当特征值满足λ1/λ2＞10、λ1/λ3＞10、λ2/λ3＜1.5，则该特征点属性设定为线点；当三个特征值满足λ1/λ2＜1.5、λ1/λ3＜1.5、λ2/λ3＜1.5，则该特征点属性设定为簇点；
S6：对属于同一种属性的特征点进行特征匹配。
进一步地，所述的S4通过如下的子步骤来实现：
S4.1：确定一个以特征点为中心的r×r大小的感兴趣区域，并滤去深度值小于1m和大于7m的像素点；其中，r为感兴趣区域的边长，其用像素的个数表示，通过计算k/d_ depth并向上取整得到；k表示比例系数，控制感兴趣区域的大小；
S4.2：将感兴趣区域像素的二维图像坐标(u i,v i)转换到世界坐标系下的点云(x i,y i, z i)，i=1,2···，其中，特征点对应的三维点表示为(x 0,y 0, z 0)；
S4.3：对比所有点云(x i,y i, z i）与特征点对应的三维点(x 0,y 0, z 0)之间的距离，并选出距离特征点对应的三维点最近的n个三维点，形成邻近三维点云集合{(x 1,y 1, z 1), (x 2,y 2, z 2),···，(x n,y n, z n)}，即{X i}={(x i,y i, z i)}, i=1,2···n。
进一步地，所述的S5通过如下的子步骤来实现：
S5.1：根据下式计算均值
Figure 486141DEST_PATH_IMAGE001
Figure 119729DEST_PATH_IMAGE002
S5.2：计算得到该特征点与其附近点形成点集的协方差矩阵∑
Figure 131547DEST_PATH_IMAGE003
S5.3：对协方差矩阵进行SVD奇异值分解
Figure 955147DEST_PATH_IMAGE004
其中，R为正交矩阵；λ1、λ2、λ3为从大到小排列的三个特征值，当特征值满足λ1/λ2＜1.5、λ2/λ3＞10、λ1/λ3＞10时，则该特征点属性设定为面点；当特征值满足λ1/λ2＞10、λ1/λ3＞10、λ2/λ3＜1.5，则该特征点属性设定为线点；当三个特征值满足λ1/λ2＜1.5、λ1/λ3＜1.5、λ2/λ3＜1.5，则该特征点属性设定为簇点。
进一步地，所述的感兴趣区域的边长r的取值范围为4≤r≤10。
本发明的有益效果如下：
本发明的特征点提取方法原理简单，可以提升RGB-D设备在纹理相似情况下的图像匹配的准确性，可以应用在各种包含RGB信息和深度信息的图像特征提取中。
附图说明
图1为本发明的基于RGB-D图像的特征点提取与匹配方法的流程图；
图2为基于ORB特征提取与匹配的效果图；
图3为本发明的方法的效果图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的基于RGB-D图像的特征点提取与匹配方法是专为RGB-D摄像设备设计的，这里的RGB-D摄像设备主要指Kinect、Xtion等能够同时获取图像信息和物体深度信息的体感设备。在开始之前，首先要用待标定的摄像头拍摄多幅不同视角下的棋盘图片，然后用GML Calibration Toolbox分别计算出RGB摄像头和深度摄像头内参和外参。
如图1所示，本发明的基于RGB-D图像的特征点提取与匹配方法包括如下步骤：
S1：对RGB-D摄像头进行标定，得到RGB-D相机的内外参；
S2：采集图片，并根据S1得到的内外参对图像进行校正，得到校正后的RGB图像；
S3：在校正后的RGB图像上通过局部特征提取方法提取特征点，并从深度图上获取该特征点的深度信息d_depth；
S4：根据特征点的深度信息d_depth，计算出深度图中特征点附近的感兴趣区域，并将该区域内的像素转化为三维点云，并选出n个距离特征点最近的点，得到邻近三维点云；
S4.1：确定一个以特征点为中心的r×r大小的感兴趣区域，滤去深度值小于1m和大于7m的像素点；
其中，r为感兴趣区域的边长，其用像素的个数表示，通过计算k/d_depth并向上取整得到；k表示比例系数，控制感兴趣区域的大小；特征点所表示的三维点距离相机越远，所选择的区域越小，目的是保证选取的感兴趣区域的像素对应的三维点在特征点所表示的三维点附近。r的取值范围优选为4≤r≤10。
S4.2：将感兴趣区域像素的二维图像坐标(u i,v i)转换到世界坐标系下的点云(x i,y i, z i)，i=1,2···，其中，特征点对应的三维点表示为(x 0,y 0, z 0)；
S4.3：对比所有点云(x i,y i, z i）与特征点对应的三维点(x 0,y 0, z 0)之间的距离，并选出距离特征点对应的三维点最近的15个三维点，形成邻近三维点云集合{(x 1,y 1, z 1), (x 2,y 2, z 2),···，(x n,y n, z n)}，即{X i}={(x i,y i, z i)}, i=1,2···15；
S5：计算得到邻近三维点云的协方差矩阵并进行奇异值分解，得到从大到小排列的三个特征值λ1、λ2、λ3，并对其进行归类，具体如下：
S5.1：根据下式计算均值
Figure 874561DEST_PATH_IMAGE001
Figure 365586DEST_PATH_IMAGE002
S5.2：计算得到该特征点与其附近点形成点集的协方差矩阵∑
Figure 548305DEST_PATH_IMAGE003
S5.3：对协方差矩阵进行SVD奇异值分解
Figure 124780DEST_PATH_IMAGE004
其中，R为正交矩阵；λ1、λ2、λ3为从大到小排列的三个特征值，当特征值满足λ1/λ2＜1.5、λ2/λ3＞10、λ1/λ3＞10时，则该特征点属性设定为面点；当特征值满足λ1/λ2＞10、λ1/λ3＞10、λ2/λ3＜1.5，则该特征点属性设定为线点；当三个特征值满足λ1/λ2＜1.5、λ1/λ3＜1.5、λ2/λ3＜1.5，则该特征点属性设定为簇点。
S6：对属于同一种属性的特征点进行特征匹配。
图2是基于ORB特征提取与匹配结果，图3是本发明提出的方法的特征提取与匹配结果。从图2中可以看出，通过传统ORB特征提取的方法，在一些视觉特征近似的环境中容易出现误匹配的情况，本发明提出的方法融合了特征的空间信息，具有相同空间几何特征的特征点才能配准，提高了特征点匹配的准确性，如图3所示。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.一种基于RGB-D图像的特征点提取与匹配方法，其特征在于，该方法具体包括如下步骤：
S1：对RGB-D摄像头进行标定，得到RGB-D相机的内外参；
S2：采集图片，并根据S1得到的内外参对图像进行校正，得到校正后的RGB图像；
S3：在校正后的RGB图像上通过局部特征提取方法提取特征点，并从深度图上获取该特征点的深度信息d_depth；
S4：根据特征点的深度信息d_depth，计算出深度图中特征点附近的感兴趣区域，并将该区域内的像素转化为三维点云，并选出n个距离特征点最近的点，得到邻近三维点云；所述的S4通过如下的子步骤来实现：
S4.1：确定一个以特征点为中心的r×r大小的感兴趣区域，并滤去深度值小于1m和大于7m的像素点；其中，r为感兴趣区域的边长，其用像素的个数表示，通过计算k/d_depth并向上取整得到；k表示比例系数，控制感兴趣区域的大小；
S4.2：将感兴趣区域像素的二维图像坐标(u i,v i)转换到世界坐标系下的点云(x i,y i, z i)，i=1,2···，其中，特征点对应的三维点表示为(x 0,y 0, z 0)；
S4.3：对比所有点云(x i,y i, z i）与特征点对应的三维点(x 0,y 0, z 0)之间的距离，并选出距离特征点对应的三维点最近的n个三维点，形成邻近三维点云集合{(x 1,y 1, z 1), (x 2,y 2, z 2),···，(x n,y n, z n)}，即{X i}={(x i,y i, z i)}, i=1,2···n；
S5：计算得到邻近三维点云的协方差矩阵并进行奇异值分解，得到从大到小排列的三个特征值λ1、λ2、λ3，当特征值满足λ1/λ2＜1.5、λ2/λ3＞10、λ1/λ3＞10时，则该特征点属性设定为面点；当特征值满足λ1/λ2＞10、λ1/λ3＞10、λ2/λ3＜1.5，则该特征点属性设定为线点；当三个特征值满足λ1/λ2＜1.5、λ1/λ3＜1.5、λ2/λ3＜1.5，则该特征点属性设定为簇点；
S6：对属于同一种属性的特征点进行特征匹配。
2.根据权利要求1所述的基于RGB-D图像的特征点提取与匹配方法，其特征在于，所述的S5通过如下的子步骤来实现：
S5.1：根据下式计算均值
Figure 411262DEST_PATH_IMAGE001
Figure 930624DEST_PATH_IMAGE002
S5.2：计算得到该特征点与其附近点形成点集的协方差矩阵∑
Figure 37120DEST_PATH_IMAGE003
S5.3：对协方差矩阵进行SVD奇异值分解
Figure 639003DEST_PATH_IMAGE004
其中，R为正交矩阵；λ1、λ2、λ3为从大到小排列的三个特征值，当特征值满足λ1/λ2＜1.5、λ2/λ3＞10、λ1/λ3＞10时，则该特征点属性设定为面点；当特征值满足λ1/λ2＞10、λ1/λ3＞10、λ2/λ3＜1.5，则该特征点属性设定为线点；当三个特征值满足λ1/λ2＜1.5、λ1/λ3＜1.5、λ2/λ3＜1.5，则该特征点属性设定为簇点。
3.根据权利要求1所述的基于RGB-D图像的特征点提取与匹配方法，其特征在于，所述的感兴趣区域的边长r的取值范围为4≤r≤10。
CN202010923532.8A 2020-09-04 2020-09-04 一种基于rgb-d图像的特征点提取与匹配方法 Active CN111814792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010923532.8A CN111814792B (zh) 2020-09-04 2020-09-04 一种基于rgb-d图像的特征点提取与匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010923532.8A CN111814792B (zh) 2020-09-04 2020-09-04 一种基于rgb-d图像的特征点提取与匹配方法

Publications (2)

Publication Number Publication Date
CN111814792A CN111814792A (zh) 2020-10-23
CN111814792B true CN111814792B (zh) 2020-12-29

Family

ID=72859930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010923532.8A Active CN111814792B (zh) 2020-09-04 2020-09-04 一种基于rgb-d图像的特征点提取与匹配方法

Country Status (1)

Country Link
CN (1) CN111814792B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489215B (zh) * 2020-11-27 2022-09-16 之江实验室 单一绘制批次的具有路面标志的三维道路参数化建模方法
CN114720993A (zh) * 2022-03-30 2022-07-08 上海木蚁机器人科技有限公司 机器人定位方法、装置、电子设备以及存储介质
CN116170601B (zh) * 2023-04-25 2023-07-11 之江实验室 基于四列列向量分块奇异值分解的图像压缩方法
CN117114782B (zh) * 2023-10-24 2024-05-28 佛山电力设计院有限公司 建筑工程造价分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490055B1 (ko) * 2013-10-30 2015-02-06 한국과학기술원 이동 로봇의 위치와 지도를 추정하는 방법 및 이를 수행하는 장치들
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490055B1 (ko) * 2013-10-30 2015-02-06 한국과학기술원 이동 로봇의 위치와 지도를 추정하는 방법 및 이를 수행하는 장치들
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无源信标的移动机器人室内定位技术研究;李月华;《中国博士学位论文全文数据库信息科技辑》;20190115;第91-112页 *

Also Published As

Publication number Publication date
CN111814792A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814792B (zh) 一种基于rgb-d图像的特征点提取与匹配方法
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN108010036B (zh) 一种基于rgb-d相机的物体对称轴检测方法
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN112200203B (zh) 斜视场下弱相关散斑图像的匹配方法
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN110910421A (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
Cherian et al. Accurate 3D ground plane estimation from a single image
CN109493384A (zh) 相机位姿估计方法、***、设备及存储介质
CN109003307B (zh) 基于水下双目视觉测量的捕鱼网目尺寸设计方法
CN108960267A (zh) 用于模型调整的***和方法
CN114998773B (zh) 适用于无人机***航拍图像的特征误匹配剔除方法及***
CN114396875A (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
KR102547333B1 (ko) 깊이 영상 기반 실시간 바닥 검출방법
US11475629B2 (en) Method for 3D reconstruction of an object
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及***
CN111179271B (zh) 一种基于检索匹配的物体角度信息标注方法及电子设备
CN108416815B (zh) 大气光值的测定方法、设备及计算机可读存储介质
Shen et al. A 3D modeling method of indoor objects using Kinect sensor
CN108805896B (zh) 一种应用于城市环境的距离图像分割方法
CN108491826B (zh) 一种遥感影像建筑物的自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant