CN112115953B - 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 - Google Patents

一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 Download PDF

Info

Publication number
CN112115953B
CN112115953B CN202010985540.5A CN202010985540A CN112115953B CN 112115953 B CN112115953 B CN 112115953B CN 202010985540 A CN202010985540 A CN 202010985540A CN 112115953 B CN112115953 B CN 112115953B
Authority
CN
China
Prior art keywords
point
points
feature
image data
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010985540.5A
Other languages
English (en)
Other versions
CN112115953A (zh
Inventor
程明
司雨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202010985540.5A priority Critical patent/CN112115953B/zh
Publication of CN112115953A publication Critical patent/CN112115953A/zh
Application granted granted Critical
Publication of CN112115953B publication Critical patent/CN112115953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于RGB‑D相机结合平面检测与随机抽样一致算法的优化ORB算法，包括以下步骤：S1：使用RGB‑D相机获取图像数据，图像数据包括彩色图像与深度图像；S2：使用ORB算法对图像数据进行特征点提取，使用特征点均匀性评价方法判断特征点分布均匀性；S3：对于特征点分布均匀的图像数据部分，生成点云并且对其进行降采样；S4：对降采样后的点云进行平面检测提取，使用随机抽样一致算法消除误匹配；S5：对于特征点分布不均匀的图像数据部分，使用设置阈值进行特征点提取与非极大值抑制法剔除重叠特征点。本发明可降低计算量，提高特征点提取的准确性，降低误匹配，从而实现移动机器人对精准性与实时性的要求。

Description

一种基于RGB-D相机结合平面检测与随机抽样一致算法的优 化ORB算法
技术领域
本发明是一种基于RGB-D相机结合平面检测与随机抽样一致算法的优化ORB算法，属于室内移动机器人路径规划导航技术领域。
背景技术
近年来，智能移动机器人技术得到迅速发展，已广泛应用于工业、军事、物流、办公和家庭服务等领域。随着RGB-D传感器的出现，采用RGB-D传感器进行移动机器人定位或SLAM的研究迅速发展起来。图像处理和点云处理等相关技术的进步，以及RGB-D传感器具有获取信息丰富、非接触测量、易安装使用和成本低廉等优点，使得RGB-D传感器被广泛地应用于目标识别、跟踪等领域。机器人导航问题中的第一问题就是如何确定场景模型，在过去的十几年里，许多解决方案都依赖于二维传感器如激光、雷达等进行地图的构建以及机器人位姿估计。随着RGB-D相机的问世，越来越多的研究人员开始关注使用RGB-D相机来解决机器人室内环境模型构建的问题，并且产生了很多有有影响力的研究成果。
在目前，视觉SLAM技术逐渐成为一种主流的定位方案，然而单目SLAM无法从一张图像中获取像素点的深度信息，需要通过三角化或者逆深度的方法来估计像素点的深度。并且单目SLAM估计出的深度信息具有尺度不确定性，并且随着定位误差的累积，容易出现“尺度漂移”现象。双目SLAM通过匹配左右摄像头的图像得到匹配特征点，然后根据视差法估计特征点的深度信息。双目SLAM具有测量范围大等优点，但是计算量大且对相机的精度要求高，通常需要GPU加速才能满足实时性要求。RGB-D相机是近年来兴起的一种新型相机，该相机可以通过物理硬件主动获取图像中像素点的深度信息。相比于单目和双目相机，RGB-D相机不需要消耗大量的计算资源来计算像素点的深度，能够直接对周围环境和障碍物进行三维测量，通过RGB-D SLAM技术生成稠密的点云地图，为后续导航规划提供便利。
现在常用的基于RGB-D相机的特征点提取匹配方法有ORB算法与ICP算法。ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(Features fromAccelerated Segment Test)算法发展来的，特征点描述是根据BRIEF(Binary RobustIndependent Elementary Features)特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。ORB算法最大的特点就是计算速度快。这首先得益于使用FAST检测特征点。再次是使用BRIEF算法计算描述子，该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。ICP算法由Besl and McKay 1992，Method for registration of 3-D shapes文章提出。ICP算法的基本原理是：分别在带匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小。这种方法可以提高产生最优解的效率，但是由于计算量较大，使得对于移动机器人来说实用性较差，从而使得成本增大。
发明内容
有鉴于此，本发明的目的在于提供一种基于RGB-D相机结合平面检测与随机抽样一致算法的优化ORB算法，用于降低计算量，提高特征点提取的准确性，降低误匹配，从而实现移动机器人对精准性与实时性的要求。
为解决上述技术问题，本发明采用的技术方案为：
一种基于RGB-D相机结合平面检测与随机抽样一致算法的优化ORB算法，该方法包括以下步骤：
S1：使用RGB-D相机获取图像数据，图像数据包括彩色图像与深度图像；
S2：使用ORB算法对图像数据进行特征点提取，使用特征点均匀性评价方法判断特征点分布均匀性；
S3：对于特征点分布均匀的图像数据部分，生成点云并且对其进行降采样；
S4：对降采样后的点云进行平面检测提取，使用随机抽样一致算法消除误匹配；
S5：对于特征点分布不均匀的图像数据部分，使用设置阈值进行特征点提取与非极大值抑制法剔除重叠特征点；
S6：对于S4消除误匹配后的点云以及S5剔除重叠特征点后的特征点，投影回二维图像平面，重建并使灰度图像均衡化。
优选地，S1中，RGB-D相机包括Kinect相机。
优选地，S2具体包括以下步骤：
S21：使用特征点提取Oriented FAST算法，判别特征点x是否是一个特征点，当判断特征点x是一个特征点时，计算该特征点主方向，并命名该特征点为关键点，使关键点具有方向性；
判别特征点x是否是一个特征点的方法为：以特征点x为中心画圆，该圆过n个像素点，设在圆周上的n个像素点中是否最少有m个连续的像素点与特征点x之间的距离满足均比lx+t大，或者均比lx-t小，如果满足这样的要求，则判断特征点x是一个特征点；
其中，lx代表特征点x与圆上的像素点之间的距离；l代表距离；t代表阈值，是范围的调节量；n＝16；9≤m≤12；
S22：使用特征点描述rBRIEF算法，对图像数据进行高斯平滑处理，以关键点为中心，在邻域内挑选像素点y，并组成n个点对(xi，yi)，I(x，y)相互比较灰度值，I代表灰度值，x>y取1，反之取0，生成n维特征描述符，将n个点对(xi，yi)定义为2*n矩阵S，
Figure BDA0002689061160000031
利用θ对S进行旋转，
Sθ＝RθS (2)
式(2)中，Sθ代表旋转角度为θ的矩阵，θ为沿特征点主方向旋转θ角度；
邻域为以该关键点为中心过k个像素点的圆内选择像素点y；其中，0<k<n；
S23：特征点分布均匀性评价方法，通过不同划分方式将图像数据进行分割，分割后获得特征点分布均匀的图像数据部分和特征点分布不均匀的图像数据部分。
进一步优选地，特征点分布均匀性评价方法为：首先将图像数据初步分割成若干子区域Si，对每个子区域Si再次分割成若干二级子区域Sij，二级子区域Sij包括Si1至Sij个区域，根据二级子区域Sij内的特征点数目评价该区域特征点是否均匀分布；若Si1至Sij特征点数目均相近，相近的计算方法为：通过计算二级子区域统计分布的特征点方差数值，并根据该方差数值判断，当方差数值小于15时，则可以判定Si子区域特征点分布均匀，反之判定不均匀。
进一步优选地，图像数据分割方法包括分割为中心和四周方向、由左上至右下分割或者由左下至右上分割。
优选地，S3具体包括以下步骤：
S31：根据特征点分布均匀的彩色图像与深度图像，采用下式(3)获得点云，
Figure BDA0002689061160000041
式(3)使用像素坐标系o-u-v；cX,cY,fX,fY,s为相机内参；u,v为特征点的像素坐标；d为特征点的深度；特征点的坐标为(X，Y，Z)，若干由坐标定义的点构成点云；
S32：使用网格滤波器进行处理，从点云中提取出平面。
优选地，S4具体包括以下步骤：
S41：平面提取的公式如下：
aX+bY+cZ+d＝0 (4)
式(4)中，a，b，c代表常数；
S42：使用随机抽样一致方法从带有噪声的点云数据中提取平面，提取判定条件为：点云剩余点数大于点云总数的阈值g或者提取平面小于阈值h时，则提取特征点，当提取出这些特征点后，对剩余的点再次进行面提取，直到满足达到提取平面个数阈值h或者剩余点数小于阈值g；
其中，20％≤g≤40％；3≤h≤5。
优选地，S5具体包括以下步骤：
S51：根据S2的oFAST算法改变其中的阈值t，改变后的阈值t为t'，并缩小lx+t'与lx-t'之间的范围，根据特征点提取结果调节t'的范围，确定改变后的t'值使其最优；
S52：若某个关键点的邻域内存在多个关键点时，比较这些特征点数值J的大小，J最大的保留，其余删除，其中该数值J的定义如下：
Figure BDA0002689061160000051
式(5)中，lxy-lx和lx-lxy均代表关键点和已知特征点的距离。
优选地，S6中，投影公式为：
Figure BDA0002689061160000052
式(6)中，s为比例因子，进行投影后，每个平面的灰度图像被重建，将灰度图像进行灰度直方图均衡化之后，使得图像更加清晰分明，并且可以减少深度上带来的噪声。
本发明的有益效果：不论是单个物体的特征点提取还是复数个物体的特征点提取，本发明算法的准确率均明显高于单独使用ORB算法以及ICP算法，而相机的校准误差等参数尽管对结果有些许影响，但本发明算法带来的准确率依然远高于其他算法。另外，由于本发明算法结合了ORB算法，并且之中***了对于区域特征点分布的均匀性判断并结合平面提取与随机抽样一致方法，因此运行时间比起单独使用ORB算法稍长，但不影响本发明算法的实用性。而ICP算法由于计算量过大导致运行时间过长削弱了其实用性并加大了对于移动机器人硬件的需求。可以说本发明算法仅仅牺牲了可以忽略不计的额外运行时间而能大幅提高对图片特征点提取的准确性。故本发明能在保持较少运行时间下提高特征点提取的准确率，从而提高机器人的定位精度与实时性。
附图说明
图1是本发明的流程图；
图2是本发明中freiburg1_desk图片提取前(左)和提取后(右)的图片；
图3是本发明中freiburg1_room图片提取前(左)和提取后(右)的图片；
图4是本发明中freiburg1_teddy图片提取前(左)和提取后(右)的图片。
具体实施方式
下面结合附图以及具体实施例对本发明一种基于机器学习的SCR脱硝***预测模型优化方法作进一步详细说明。
实施例1
如图1所示，一种基于RGB-D相机结合平面检测与随机抽样一致算法的优化ORB算法，该方法包括以下步骤：
S1：使用RGB-D相机获取图像数据，图像数据包括彩色图像与深度图像；
S2：使用ORB算法对图像数据进行特征点提取，使用特征点均匀性评价方法判断特征点分布均匀性；
S3：对于特征点分布均匀的图像数据部分，生成点云并且对其进行降采样；
S4：对降采样后的点云进行平面检测提取，使用随机抽样一致算法消除误匹配；
S5：对于特征点分布不均匀的图像数据部分，使用设置阈值进行特征点提取与非极大值抑制法剔除重叠特征点；
S6：对于S4消除误匹配后的点云以及S5剔除重叠特征点后的特征点，投影回二维图像平面，重建并使灰度图像均衡化。
优选地，S1中，RGB-D相机包括Kinect相机。
优选地，S2具体包括以下步骤：
S21：使用特征点提取Oriented FAST算法(即oFAST算法)，判别特征点x是否是一个特征点，当判断特征点x是一个特征点时，计算该特征点主方向，并命名该特征点为关键点，使关键点(即检测子)具有方向性；
判别特征点x是否是一个特征点的方法为：以特征点x为中心画圆，该圆过16个像素点，设在圆周上的16个像素点中是否最少有12个连续的像素点与特征点x之间的距离满足均比lx+t大，或者均比lx-t小，如果满足这样的要求，则判断特征点x是一个特征点；
其中，lx代表特征点x分别与圆上的12个连续的像素点之间的距离；l代表距离；t代表阈值，是范围的调节量，设定t值可以筛掉距离接近x点的像素点，如果不设t值或t值太小会使满足该判定条件的像素点过多从而使特征点过多，同理t值过大会使判定的特征点过少；
S22：使用特征点描述rBRIEF算法，对图像数据进行高斯平滑处理，以关键点为中心，在邻域内挑选像素点y，并组成6个点对(xi，yi)，点对是随机挑选的，I(x，y)相互比较灰度值，I代表灰度值，x>y取1，反之取0，生成n维特征描述符，将n个点对(xi，yi)定义为2*6矩阵S，
Figure BDA0002689061160000071
利用θ对S进行旋转，
Sθ＝RθS (2)
式(2)中，Sθ代表旋转角度为θ的矩阵，θ为沿特征点主方向旋转θ角度；
邻域为以该关键点为中心过k个像素点的圆内选择像素点y；其中，0<k<n；
S23：特征点分布均匀性评价方法，通过不同划分方式将图像数据进行分割，分割后获得特征点分布均匀的图像数据部分和特征点分布不均匀的图像数据部分。
进一步优选地，特征点分布均匀性评价方法为：首先将图像数据初步分割成若干子区域Si，对每个子区域Si再次分割成若干二级子区域Sij，二级子区域Sij包括Si1至Sij个区域，根据二级子区域Sij内的特征点数目评价该区域特征点是否均匀分布；若Si1至Sij特征点数目均相近，相近的计算方法为：通过计算二级子区域统计分布的特征点方差数值，并根据该方差数值判断，当方差数值小于15时，则可以判定Si子区域特征点分布均匀，反之判定不均匀。
进一步优选地，图像数据分割方法包括分割为中心和四周方向、由左上至右下分割或者由左下至右上分割。
本实施例通过图像分割，对每个区域进行特征点分布情况判断，从而根据不同分布情况运用不同的算法。
优选地，S3具体包括以下步骤：
S31：根据特征点分布均匀的彩色图像与深度图像，采用下式(3)获得点云，
Figure BDA0002689061160000072
式(3)使用像素坐标系o-u-v；cX,cY,fX,fY,s为相机内参；u,v为特征点的像素坐标；d为特征点的深度；特征点的坐标为(X，Y，Z)，若干由坐标定义的点构成点云；
S32：使用网格滤波器进行处理，从点云中提取出平面，并且使用z方向区间滤波器来滤掉距离较远的点。距离较远的点即为与其他点距离过大导致如果不过滤掉会使提取的平面仅有一个点从而增加不符合特征点数的平面。
本实施例通过彩色图像获得色彩信息(即灰度)，通过深度图像获得距离信息，从而能计算像素的3D相机坐标，生成点云。本实施例通过RGB图像和深度图像生成点云。
优选地，S4具体包括以下步骤：
S41：平面提取的公式如下：
aX+bY+cZ+d＝0 (4)
式(4)中，a，b，c代表常数；
S42：使用随机抽样一致方法从带有噪声的点云数据中提取平面，提取判定条件为：点云剩余点数大于总数的30％或者提取平面小于3则提取特征点，当提取出这些特征点后，对剩余的点再次进行面提取，直到满足达到提取平面个数3或者剩余点数小于总数的30％。
优选地，S5具体包括以下步骤：
S51：根据S2的oFAST算法改变其中的阈值t，改变后的阈值t为t'，并缩小lx+t'与lx-t'之间的范围，根据特征点提取结果调节t'的范围，确定改变后的t'值使其最优；
S52：若某个关键点的邻域内存在多个关键点时，比较这些特征点数值J的大小，J最大的保留，其余删除，其中该数值J的定义如下：
Figure BDA0002689061160000081
式(5)中，lxy-lx和lx-lxy均代表关键点和已知特征点的距离。
优选地，S6中，投影公式为：
Figure BDA0002689061160000082
式(6)中，s为比例因子，可根据实际情况进行选取，进行投影后，每个平面的灰度图像被重建，将灰度图像进行灰度直方图均衡化之后，使得图像更加清晰分明，并且可以减少深度上带来的噪声。
根据表1和表2取值进行不同的算法和本算法的特征点提取准确率与运行时间进行比较。
如图2～图4所示，本发明分别对书桌、房间以及泰迪熊进行特征点提取，提取后特征点分布较为均匀并具有代表性与准确性，从而使后续重建后的图像更加清晰。
表1为本发明算法与ORB算法以及ICP算法的3幅图片的特征点提取准确率对比表
图像类别 freiburg1_desk freiburg1_room freiburg1_teddy
ORB算法 83.45％ 76.09％ 85.64％
ICP算法 83.18％ 83.56％ 85.08％
本发明算法 93.44％ 90.28％ 97.21％
表2为本发明算法与ORB算法以及ICP算法的3幅图片的运行时间对比表
图像类别 freiburg1_desk freiburg1_room freiburg1_teddy
ORB算法 0.7523 0.9735 0.6285
ICP算法 1.0028 1.5236 0.9658
本发明算法 0.7886 1.0032 0.6422
从表1可以看出，不论是单个物体的特征点提取还是复数个物体的特征点提取，本发明算法的准确率均明显高于单独使用ORB算法以及ICP算法，而相机的校准误差等参数尽管对结果有些许影响，但本发明算法带来的准确率依然远高于其他算法。
从表2可以看出，由于本发明算法结合了ORB算法，并且之中***了对于区域特征点分布的均匀性判断并结合平面提取与随机抽样一致方法，因此运行时间比起单独使用ORB算法稍长，但不影响本发明算法的实用性。而ICP算法由于计算量过大导致运行时间过长削弱了其实用性并加大了对于移动机器人硬件的需求。可以说本发明算法仅仅牺牲了可以忽略不计的额外运行时间而能大幅提高对图片特征点提取的准确性。
实施例2
本实施例与实施例1的区别仅在于：S21中，m＝9；S42中，点云剩余点数大于总数的40％或者提取平面小于5则提取特征点。
实施例3
本实施例与实施例1的区别仅在于：S21中，m＝10；S42中，点云剩余点数大于总数的20％或者提取平面小于4则提取特征点。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种利用基于RGB-D相机结合平面检测与随机抽样一致算法的优化ORB算法对图像的处理方法，其特征在于，该方法包括以下步骤：
S1：使用RGB-D相机获取图像数据，图像数据包括彩色图像与深度图像；
S2：使用ORB算法对图像数据进行特征点提取，使用特征点均匀性评价方法判断特征点分布均匀性；
S3：对于特征点分布均匀的图像数据部分，生成点云并且对其进行降采样；
S4：对降采样后的点云进行平面检测提取，使用随机抽样一致算法消除误匹配；
S5：对于特征点分布不均匀的图像数据部分，使用设置阈值进行特征点提取与非极大值抑制法剔除重叠特征点；
S6：对于S4消除误匹配后的点云以及S5剔除重叠特征点后的特征点，投影回二维图像平面，重建并使灰度图像均衡化；
S2具体包括以下步骤：
S21：使用特征点提取Oriented FAST算法，判别特征点x是否是一个特征点，当判断特征点x是一个特征点时，计算该特征点主方向，并命名该特征点为关键点，使关键点具有方向性；
判别特征点x是否是一个特征点的方法为：以特征点x为中心画圆，该圆过n个像素点，设在圆周上的n个像素点中是否最少有m个连续的像素点与特征点x之间的距离满足均比lx+t大，或者均比lx-t小，如果满足这样的要求，则判断特征点x是一个特征点；其中，lx代表特征点x与圆上的像素点之间的距离；l代表距离；t代表阈值，是范围的调节量；n＝16；9≤m≤12；
S22：使用特征点描述rBRIEF算法，对图像数据进行高斯平滑处理，以关键点为中心，在邻域内挑选像素点y，并组成n个点对(xi，yi)，I(x，y)相互比较灰度值，I代表灰度值，x>y取1，反之取0，生成n维特征描述符，将n个点对(xi，yi)定义为2*n矩阵S，
Figure FDA0004266324550000011
利用θ对S进行旋转，
Sθ＝RθS (2)
式(2)中，Sθ代表旋转角度为θ的矩阵，θ为沿特征点主方向旋转θ角度；
邻域为以该关键点为中心过k个像素点的圆内选择像素点y；其中，0<k<n；
S23：特征点分布均匀性评价方法，通过不同划分方式将图像数据进行分割，分割后获得特征点分布均匀的图像数据部分和特征点分布不均匀的图像数据部分；
特征点分布均匀性评价方法为：首先将图像数据初步分割成若干子区域Si，对每个子区域Si再次分割成若干二级子区域Sij，二级子区域Sij包括Si1至Sij个区域，根据二级子区域Sij内的特征点数目评价该区域特征点是否均匀分布；若Si1至Sij特征点数目均相近，相近的计算方法为：通过计算二级子区域统计分布的特征点方差数值，并根据该方差数值判断，当方差数值小于15时，则可以判定Si子区域特征点分布均匀，反之判定不均匀。
2.根据权利要求1所述的处理方法，其特征在于，S1中，RGB-D相机包括Kinect相机。
3.根据权利要求1所述的处理方法，其特征在于，图像数据分割方法包括分割为中心和四周方向、由左上至右下分割或者由左下至右上分割。
4.根据权利要求3所述的处理方法，其特征在于，S3具体包括以下步骤：
S31：根据特征点分布均匀的彩色图像与深度图像，采用下式(3)获得点云，
Figure FDA0004266324550000021
式(3)使用像素坐标系o-u-v；cX,cY,fX,fY,s为相机内参；u,v为特征点的像素坐标；d为特征点的深度；特征点的坐标为(X，Y，Z)，若干由坐标定义的点构成点云；
S32：使用网格滤波器进行处理，从点云中提取出平面。
5.根据权利要求4所述的处理方法，其特征在于，S4具体包括以下步骤：
S41：平面提取的公式如下：
aX+bY+cZ+d＝0 (4)
式(4)中，a，b，c代表常数；
S42：使用随机抽样一致方法从带有噪声的点云数据中提取平面，提取判定条件为：点云剩余点数大于点云总数的阈值g或者提取平面小于阈值h时，则提取特征点，当提取出这些特征点后，对剩余的点再次进行面提取，直到满足达到提取平面个数阈值h或者剩余点数小于阈值g；
其中，20％≤g≤40％；3≤h≤5。
6.根据权利要求5所述的处理方法，其特征在于，S5具体包括以下步骤：
S51：根据S2的oFAST算法改变其中的阈值t，改变后的阈值t为t'，并缩小lx+t'与lx-t'之间的范围，根据特征点提取结果调节t'的范围，确定改变后的t'值使其最优；
S52：若某个关键点的邻域内存在多个关键点时，比较这些特征点数值J的大小，J最大的保留，其余删除，其中该数值J的定义如下：
Figure FDA0004266324550000031
式(5)中，lxy-lx和lx-lxy均代表关键点和已知特征点的距离。
7.根据权利要求1所述的处理方法，其特征在于，S6中，投影公式为：
Figure FDA0004266324550000032
式(6)中，s为比例因子，进行投影后，每个平面的灰度图像被重建，将灰度图像进行灰度直方图均衡化之后，使得图像更加清晰分明，并且可以减少深度上带来的噪声；
式(6)使用像素坐标系o-u-v；cX,cY,fX,fY,s为相机内参；u,v为特征点的像素坐标；d为特征点的深度；特征点的坐标为X，Y，Z，若干由坐标定义的点构成点云。
CN202010985540.5A 2020-09-18 2020-09-18 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 Active CN112115953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010985540.5A CN112115953B (zh) 2020-09-18 2020-09-18 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010985540.5A CN112115953B (zh) 2020-09-18 2020-09-18 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法

Publications (2)

Publication Number Publication Date
CN112115953A CN112115953A (zh) 2020-12-22
CN112115953B true CN112115953B (zh) 2023-07-11

Family

ID=73800133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010985540.5A Active CN112115953B (zh) 2020-09-18 2020-09-18 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法

Country Status (1)

Country Link
CN (1) CN112115953B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN112783995B (zh) * 2020-12-31 2022-06-03 杭州海康机器人技术有限公司 一种v-slam地图校验方法、装置及设备
CN112752028B (zh) * 2021-01-06 2022-11-11 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220995A (zh) * 2017-04-21 2017-09-29 西安交通大学 一种基于orb图像特征的icp快速点云配准算法的改进方法
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220995A (zh) * 2017-04-21 2017-09-29 西安交通大学 一种基于orb图像特征的icp快速点云配准算法的改进方法
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Accumulative Errors Optimizaton for Visual Odometry od ORB-SLAM2 Based on RGB-D Cameras;jiangying Qin等;isprs International Journal of Geo-Information;全文 *

Also Published As

Publication number Publication date
CN112115953A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112115953B (zh) 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
WO2018127007A1 (zh) 深度图获取方法及***
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
Bartczak et al. Dense depth maps from low resolution time-of-flight depth and high resolution color views
JP2011243194A (ja) 対応点探索のための画像処理方法
CN106651897B (zh) 一种基于超像素分割的视差修正方法
CN112164145A (zh) 基于点云数据快速提取室内三维线段结构的方法
CN112085802A (zh) 一种基于双目摄像头获取三维指静脉图像的方法
CN111768447A (zh) 一种基于模板匹配的单目相机物***姿估计方法及***
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
Zhou et al. Monet3d: Towards accurate monocular 3d object localization in real time
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
Ma et al. Efficient rotation estimation for 3D registration and global localization in structured point clouds
Chen et al. Multi-stage matching approach for mobile platform visual imagery
CN107122782B (zh) 一种均衡的半密集立体匹配方法
CN113487631A (zh) 基于lego-loam的可调式大角度探测感知及控制方法
CN111179327B (zh) 一种深度图的计算方法
CN112767457A (zh) 一种基于主成分分析的平面点云匹配方法及装置
CN116894876A (zh) 基于实时图像的6-dof的定位方法
Stentoumis et al. Implementing an adaptive approach for dense stereo-matching
Lin et al. An improved sum of squared difference algorithm for automated distance measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant