CN111209834A - 一种orb机器人图像配准方法 - Google Patents
一种orb机器人图像配准方法 Download PDFInfo
- Publication number
- CN111209834A CN111209834A CN201911415766.5A CN201911415766A CN111209834A CN 111209834 A CN111209834 A CN 111209834A CN 201911415766 A CN201911415766 A CN 201911415766A CN 111209834 A CN111209834 A CN 111209834A
- Authority
- CN
- China
- Prior art keywords
- points
- matching
- point
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的一种ORB机器人图像配准方法,包括:利用Hessian矩阵检测特征点的方法从第一图像中提取特征点;针对每一个特征点,获取其与对应的次优匹配点之间的距离除以其与对应的最优匹配点之间的距离的商值作为测量值;剔除测量值小于预设的第一阈值的特征点;对于剩余的各特征点,采用对称测试进行检测,保留对称的特征点和对应的最优匹配点作为匹配对,并集合所有匹配对作为样本;根据样本训练获取特征点到最优匹配点的最终映射模型;对于待配准的两幅图像,将从其中一幅图像提取的特征点输入最终映射模型,最终映射模型输出另一幅图像上与各特征点对应的匹配点。本发明在解决了尺度不变性问题的同时,图像配准精度也得到了很大的提高。
Description
技术领域
本发明涉及图像技术领域,尤其涉及一种ORB机器人图像配准方法。
背景技术
图像配准是机器人图像处理的基础问题,图像配准算法可对两幅不同图像进行匹配,进而获取二者之间的变换关系,是机器人视觉传感中目标识别、引导定位、位姿估计、三维视觉等应用的前提。基于特征的图像配准具有鲁棒性较好和计算复杂度较低的特点,ORB图像配准算法是一种常用的图像配准算法,但是存在不具有尺度不变性的问题,图像配准精确度受到影响。
发明内容
基于背景技术存在的技术问题,本发明提出了一种ORB机器人图像配准方法。
本发明提出的一种ORB机器人图像配准方法,包括:
S1、利用Hessian矩阵检测特征点的方法从第一图像中提取特征点;
S2、采用K-近邻算法在第二图像中检测每一个特征点对应的最优匹配点和次优匹配点;
S3、针对每一个特征点,获取其与对应的次优匹配点之间的距离除以其与对应的最优匹配点之间的距离的商值作为测量值;
S4、剔除测量值小于预设的第一阈值的特征点;对于剩余的各特征点,采用对称测试对特征点和对应的最优匹配点进行检测,并保留对称的特征点和对应的最优匹配点作为匹配对,并集合所有匹配对作为样本;
S5、根据样本训练获取特征点到最优匹配点的最终映射模型;
S6、对于待配准的两幅图像,将从其中一幅图像提取的特征点输入最终映射模型,最终映射模型输出另一幅图像上与各特征点对应的匹配点。
优选的,步骤S1中提取特征点的方法具体包括:
S11、设置第一图像中任一点P的坐标为(x,y),定义尺度为σ的Hessian矩阵为:其中,Lxx(P,σ)、Lxy(P,σ)、Lyy(P,σ)分别是高斯滤波后的图像点P在x方向、xy方向和y方向的二阶导数;
S12、将第一图像中经过Hessian矩阵处理过的每个像素点与其三维邻域的26个点进行大小比较,筛选出大于或等于对应的26个三维领域点中最大值或者小于或等于对应的26个三维领域点中最小值的像素点作为初步特征点;
S13、结合初步特征点,采用三维线性插值法得到亚像素级的特征点;集合初步特征点和亚像素级的特征点,形成从第一图像中提取的特征点。
优选的,步骤S1中,还包括步骤S14:对于提取出的特征点,首先采用求FAST角点主方向的方法计算特征点的主方向,接着采用二进制的鲁棒性独立基本特征生成特征描述子用于描述图像。
优选的,步骤S4中,采用对称测试对特征点和对应的最优匹配点进行检测的具体方法为:针对剩余的各特征点,设左匹配为第一图像中的特征点到第二图像上对应的最优匹配点的匹配,设右匹配为第二图像上的最优匹配点到第一图像中对应的特征点的匹配;对左匹配和右匹配进行检查,获得对称的匹配作为匹配对。
优选的,步骤S5中,采用最小平方中值算法根据样本训练获取特征点到最优匹配点的最终映射模型。
优选的,步骤S5具体包括:S51、从样本中随机抽选部分作为训练子集,采用最小方差计算训练子集中各特征点到对应最优匹配点的映射参数,并结合映射参数建立映射模型;然后计算全部样本与映射模型的偏差作为模型评估值;
S52、重复上一步,获得多个映射模型,并根据模型评估值选择最优的映射模型作为最终映射模型。
优选的,步骤S52中,获取模型评估值中最小值对应的映射模型作为最终映射模型。
本发明提出的一种ORB机器人图像配准方法,首先通过Hessian矩阵检测特征点的方法,使得提取出的特征点具有尺度不变性,然后通过K-近邻算法保证了筛选出的最优匹配点的可靠性;再结合对称测试,进一步筛选匹配对,保证了最终获得的特征点与对应的最终匹配点的可靠性,即保证了用于计算最终映射模型的样本的可靠性,从而保证了计算出的最终映射模型的精度。
本发明中,通过比率测试、对称测试、小平方中值(LMedS)定理对特征点和匹配点进行提纯,在解决了尺度不变性问题的同时,图像配准精度也得到了很大的提高。
附图说明
图1为本发明提出的一种ORB机器人图像配准方法流程图;
图2为本发明提出的另一种ORB机器人图像配准方法流程图;
图3为本发明提出的又一种ORB机器人图像配准方法流程图;
图4为二阶导数求导模板示意图。
具体实施方式
参照图1,本发明提出的一种ORB机器人图像配准方法,包括以下步骤。
S1、利用Hessian矩阵检测特征点的方法从第一图像中提取特征点。
参照图2,本步骤中,特征点的提取具体如下:
S11、设置第一图像中任一点P的坐标为(x,y),定义尺度为σ的Hessian矩阵为:其中,Lxx(P,σ)、Lxy(P,σ)、Lyy(P,σ)分别是高斯滤波后的图像点P在x方向、xy方向和y方向的二阶导数。
本步骤具体实施时,由于求Hessian时要先高斯滤波,然后求二阶导数,在离散的像素点中,可以用一个模板代替,如图4所示。此模板可以极大程度地提高计算速度。图4所示模板的顶行分别为Lxx、Lyy和Lxy;底行中用模板近似为Dxx、Dyy和Dxy表示。图4中白色部分的权值设为-1,黑色部分设为1,其他区域不设置权值,则计算Hessian矩阵行列式的比较精确的近似公式为:
det(H)=DxxDyy-(0.9Dxy)2;其中0.9为实验测得的比较准确的参数。
根据以上公式,便可得到每个像素点的Hessian矩阵行列式的近似值。
S12、将第一图像中经过Hessian矩阵处理过的每个像素点与其三维邻域的26个点进行大小比较,筛选出大于或等于对应的26个三维领域点中最大值或者小于或等于对应的26个三维领域点中最小值的像素点作为初步特征点。
本步骤中,通过最大值筛选和最小值筛选,保证了最终筛选出的初步特征点的特征性。
S13、结合初步特征点,采用三维线性插值法得到亚像素级的特征点;集合初步特征点和亚像素级的特征点,形成从第一图像中提取的特征点。本步骤中,通过亚像素级的特征点的***,保证了最终从第一图像提取的特征点的数量。
同时,本实施方式中,采用Hessian矩阵提取特征点,使得提取出的特征点具有尺度不变性。
具体实施时,本实施方式中,还可针对步骤S1中提取的特征点生成特征点描述子,用于对图像进行描述。具体的,特征点描述子的生成方法为:
步骤S14:对于提取出的特征点,首先采用求FAST角点主方向的方法计算特征点的主方向,接着采用二进制的鲁棒性独立基本特征生成特征描述子用于描述图像。
本实施方式中,根据Hessian矩阵提取的特征点具有尺度不变性。特征点描述子是在特征点的基础上生成的,因此此时的特征点描述子不仅具有旋转不变性,还具有尺度不变性。
S2、采用K-近邻算法在第二图像中检测每一个特征点对应的最优匹配点和次优匹配点。
具体的,本实施方式中,在K-近邻算法中令K=2,即对于每个特征点,在另第二图像中找到两个候选的匹配点,其中一个是最优匹配点,另一个为次优匹配点。
S3、针对每一个特征点,获取其与对应的次优匹配点之间的距离除以其与对应的最优匹配点之间的距离的商值作为测量值。
S4、剔除测量值小于预设的第一阈值的特征点;对于剩余的各特征点,采用对称测试对特征点和对应的最优匹配点进行检测,并保留对称的特征点和对应的最优匹配点作为匹配对,并集合所有匹配对作为样本。
具体的,本实施方式中,结合K-近邻算法对特征点进行筛选的过程中,采用了比率测试,其原理为:如果最优匹配点的测量距离非常小,而次优匹配点的测量距离相对较大,那么最优匹配点是安全可靠的;如果次优匹配点的测量距离接近最优匹配点的测量距离,那么如果选择其中之一作为匹配点很可能出错,此时的最优匹配点和次优匹配点均是不可靠的。比率测试通过检查两个测量距离之间的比值,以除去不安全的匹配,实现对特征点的筛选。具体的,最优匹配点的测量距离,指的是最优匹配点与特征点之间的Hamming距离;次优匹配点的测量距离,指的是次优匹配点与特征点之间的Hamming距离。
具体的,本实施方式中,采用对称测试对特征点和对应的最优匹配点进行检测的具体方法为:针对剩余的各特征点,设左匹配为第一图像中的特征点到第二图像上对应的最优匹配点的匹配,设右匹配为第二图像上的最优匹配点到第一图像中对应的特征点的匹配;对左匹配和右匹配进行检查,获得对称的匹配作为匹配对。
如此,以上两步中,首先结合K-近邻算法和比率测试,保证了筛选出的最优匹配点的可靠性;再结合对称测试,进一步筛选匹配对,保证了最终获得的特征点与对应的最终匹配点的可靠性。
S5、根据样本训练获取特征点到最优匹配点的最终映射模型。本步骤中,具体可采用最小平方中值算法根据样本训练获取特征点到最优匹配点的最终映射模型。
参照图3,采用最小平方中值算法获得最终映射模型的方法具体包括以下步骤:
S51、从样本中随机抽选部分作为训练子集,采用最小方差计算训练子集中各特征点到对应最优匹配点的映射参数,并结合映射参数建立映射模型;然后计算全部样本与映射模型的偏差作为模型评估值。
S52、重复上一步,获得多个映射模型,并根据模型评估值选择最优的映射模型作为最终映射模型。具体的,本步骤中,获取模型评估值中最小值对应的映射模型作为最终映射模型。
本步骤中,对步骤S51的循环次数N,由样本数量、映射模型的模型样板和期望误差决定。
本实施方式中,结合比率和对称测试对样本进行筛选,有利于降低外点个数,具体可将外点所占比例降低到50%以下,从而提高了样本的一致性,保证了计算获得的模型参数的精确。
S6、对于待配准的两幅图像,将从其中一幅图像提取的特征点输入最终映射模型,最终映射模型输出另一幅图像上与各特征点对应的匹配点。
以下结合一个具体的实施例,对以上实施例中获得的最终映射模型进行验证。
本实施例中,所用电脑的处理器为Intel Core i5-7200U,64位操作***,内存为8.00GB,并使用Visual Studio 2013进行仿真实验。为了验证通过本发明获得的最终映射模型进行图像配准时的尺度不变性,以尺度变化的5组图像作测试,分别通过本发明获得的最终映射模型和传统的ORB算法对图像进行配准。从下面表1可以看出,在尺度变化时,本发明获得的最终映射模型的平均配准精度约为95.9%,大大高于ORB的平均配准精度24.2%,说明了本发明获得的最终映射模型在尺度不变性方面的优势。
表1 尺度变化时配准精度对比
以上所述,仅为本发明涉及的较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种ORB机器人图像配准方法,其特征在于,包括:
S1、利用Hessian矩阵检测特征点的方法从第一图像中提取特征点;
S2、采用K-近邻算法在第二图像中检测每一个特征点对应的最优匹配点和次优匹配点;
S3、针对每一个特征点,获取其与对应的次优匹配点之间的距离除以其与对应的最优匹配点之间的距离的商值作为测量值;
S4、剔除测量值小于预设的第一阈值的特征点;对于剩余的各特征点,采用对称测试对特征点和对应的最优匹配点进行检测,并保留对称的特征点和对应的最优匹配点作为匹配对,并集合所有匹配对作为样本;
S5、根据样本训练获取特征点到最优匹配点的最终映射模型;
S6、对于待配准的两幅图像,将从其中一幅图像提取的特征点输入最终映射模型,最终映射模型输出另一幅图像上与各特征点对应的匹配点。
2.如权利要求1所述的ORB机器人图像配准方法,其特征在于,步骤S1中提取特征点的方法具体包括:
S11、设置第一图像中任一点P的坐标为(x,y),定义尺度为σ的Hessian矩阵为:其中,Lxx(P,σ)、Lxy(P,σ)、Lyy(P,σ)分别是高斯滤波后的图像点P在x方向、xy方向和y方向的二阶导数;
S12、将第一图像中经过Hessian矩阵处理过的每个像素点与其三维邻域的26个点进行大小比较,筛选出大于或等于对应的26个三维领域点中最大值或者小于或等于对应的26个三维领域点中最小值的像素点作为初步特征点;
S13、结合初步特征点,采用三维线性插值法得到亚像素级的特征点;集合初步特征点和亚像素级的特征点,形成从第一图像中提取的特征点。
3.如权利要求2所述的ORB机器人图像配准方法,其特征在于,步骤S1中,还包括步骤S14:对于提取出的特征点,首先采用求FAST角点主方向的方法计算特征点的主方向,接着采用二进制的鲁棒性独立基本特征生成特征描述子用于描述图像。
4.如权利要求1所述的ORB机器人图像配准方法,其特征在于,步骤S4中,采用对称测试对特征点和对应的最优匹配点进行检测的具体方法为:针对剩余的各特征点,设左匹配为第一图像中的特征点到第二图像上对应的最优匹配点的匹配,设右匹配为第二图像上的最优匹配点到第一图像中对应的特征点的匹配;对左匹配和右匹配进行检查,获得对称的匹配作为匹配对。
5.如权利要求1所述的ORB机器人图像配准方法,其特征在于,步骤S5中,采用最小平方中值算法根据样本训练获取特征点到最优匹配点的最终映射模型。
6.如权利要求5所述的ORB机器人图像配准方法,其特征在于,步骤S5具体包括:S51、从样本中随机抽选部分作为训练子集,采用最小方差计算训练子集中各特征点到对应最优匹配点的映射参数,并结合映射参数建立映射模型;然后计算全部样本与映射模型的偏差作为模型评估值;
S52、重复上一步,获得多个映射模型,并根据模型评估值选择最优的映射模型作为最终映射模型。
8.如权利要求7所述的ORB机器人图像配准方法,其特征在于,步骤S52中,获取模型评估值中最小值对应的映射模型作为最终映射模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415766.5A CN111209834B (zh) | 2019-12-31 | 2019-12-31 | 一种orb机器人图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415766.5A CN111209834B (zh) | 2019-12-31 | 2019-12-31 | 一种orb机器人图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209834A true CN111209834A (zh) | 2020-05-29 |
CN111209834B CN111209834B (zh) | 2023-05-23 |
Family
ID=70784185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911415766.5A Active CN111209834B (zh) | 2019-12-31 | 2019-12-31 | 一种orb机器人图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209834B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862172A (zh) * | 2020-08-07 | 2020-10-30 | 成都交大光芒科技股份有限公司 | 变电所辅助监控***状态指示灯全天候识别方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2008200301A1 (en) * | 2008-01-22 | 2009-08-06 | The University Of Western Australia | Image recognition |
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN106991695A (zh) * | 2017-03-27 | 2017-07-28 | 苏州希格玛科技有限公司 | 一种图像配准方法及装置 |
-
2019
- 2019-12-31 CN CN201911415766.5A patent/CN111209834B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2008200301A1 (en) * | 2008-01-22 | 2009-08-06 | The University Of Western Australia | Image recognition |
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN106991695A (zh) * | 2017-03-27 | 2017-07-28 | 苏州希格玛科技有限公司 | 一种图像配准方法及装置 |
Non-Patent Citations (1)
Title |
---|
白雪冰;车进;牟晓凯;张英;: "结合快速鲁棒性特征改进ORB的特征点匹配算法" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862172A (zh) * | 2020-08-07 | 2020-10-30 | 成都交大光芒科技股份有限公司 | 变电所辅助监控***状态指示灯全天候识别方法及*** |
CN111862172B (zh) * | 2020-08-07 | 2023-08-01 | 成都交大光芒科技股份有限公司 | 变电所辅助监控***状态指示灯全天候识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111209834B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106446894B (zh) | 一种基于轮廓识别球型目标物位置的方法 | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
US9418313B2 (en) | Method for searching for a similar image in an image database based on a reference image | |
CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
CN108447094B (zh) | 一种单目彩色相机的姿态估算方法及*** | |
KR20170133262A (ko) | 물체 인식 장치, 물체 인식 방법 및 프로그램 | |
CN109493384B (zh) | 相机位姿估计方法、***、设备及存储介质 | |
CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
CN109447062A (zh) | 基于巡检机器人的指针型仪表识别方法 | |
Seib et al. | Object recognition using hough-transform clustering of surf features | |
CN108090492B (zh) | 基于尺度线索抑制的轮廓检测方法 | |
CN110415296A (zh) | 一种有阴影光照下矩形状电器件的定位方法 | |
JP2009129237A (ja) | 画像処理装置及びその方法 | |
CN103077528A (zh) | 基于DCCD-Laplace和SIFT描述符的快速影像匹配方法 | |
Shi et al. | Robust image registration using structure features | |
TWI543117B (zh) | 物件辨識與定位方法 | |
CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
CN111209834B (zh) | 一种orb机器人图像配准方法 | |
CN104573635B (zh) | 一种基于三维重建的微小高度识别方法 | |
CN115690104B (zh) | 一种晶圆裂缝检测方法、装置及存储介质 | |
CN113283478B (zh) | 一种基于特征匹配的装配体多视角变化检测方法及设备 | |
CN112215240B (zh) | 一种提高2d复杂边缘检测精度的优化方法 | |
US20230360262A1 (en) | Object pose recognition method based on triangulation and probability weighted ransac algorithm | |
JP6540577B2 (ja) | 物体認識装置 | |
CN114648544A (zh) | 一种亚像素椭圆提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |