CN108304870B - 点线特征融合的错误匹配剔除方法 - Google Patents

点线特征融合的错误匹配剔除方法 Download PDF

Info

Publication number
CN108304870B
CN108304870B CN201810086579.6A CN201810086579A CN108304870B CN 108304870 B CN108304870 B CN 108304870B CN 201810086579 A CN201810086579 A CN 201810086579A CN 108304870 B CN108304870 B CN 108304870B
Authority
CN
China
Prior art keywords
matching
curve
point
pairs
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810086579.6A
Other languages
English (en)
Other versions
CN108304870A (zh
Inventor
刘红敏
魏玉慧
王国东
罗军伟
王静
贾利琴
雒芬
霍占强
姜国权
王志衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201810086579.6A priority Critical patent/CN108304870B/zh
Publication of CN108304870A publication Critical patent/CN108304870A/zh
Application granted granted Critical
Publication of CN108304870B publication Critical patent/CN108304870B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种点线特征融合的错误匹配剔除方法，包括：从不同角度拍摄同一场景两幅不同图像并输入计算机、利用SIFT技术进行特征点检测及匹配、利用曲线描述子进行曲线匹配、确定各匹配曲线的支撑区域、获取匹配曲线对应支撑区域内的匹配点对、计算曲线支撑区域内特征点到曲线的最小距离、根据匹配曲线对的差异度剔除错误曲线匹配、根据匹配点对的差异度剔除错误点匹配。本发明提供的方法能够简单快速的剔除图像中的错误匹配，具有通用性。

Description

点线特征融合的错误匹配剔除方法
技术领域
本发明涉及计算机视觉中的图像特征匹配领域，特别是图像匹配中点匹配和线匹配方法。
背景技术
特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。目前已有的曲线匹配方法主要有如下两类，第一类是基于曲线形状的匹配方法，第二类方法是基于图像内容的匹配方法[1-3]。两种方法在局部形变较大时，均会产生较多地错误匹配，匹配正确率和总数达不到预期的效果。因此，从现有的匹配结果中去除错误匹配是计算机视觉、模式识别等领域中的一项基本问题，其应有广泛。
现有方法对特征点错误匹配去除方法研究较多，一些算法将线和点结合建立关系实现错误匹配的去除。例如Lourakis等人[4]用两条直线和两个点构成的射影不变量实现平面上直线和点的匹配，但由于点匹配和直线匹配均是未知的，进行自由组合时需要大量时间。为避免在区域内寻找点匹配的组合搜索问题，Fan等人[5]利用已有的特征点匹配结果，提出一种基于点线不变量的直线错误匹配去除方法。但现有点线结合的方法只适用于直线匹配，均无法用于曲线错误匹配的剔除。
参考文献：
[1] Wang Z, Wu F, Hu Z. MSLD: A robust descriptor for line matching[J]. Pattern Recognition, 2009, 42(5):941-953.
[2] 王志衡, 智珊珊, 刘红敏. 基于亮度序的均值标准差描述子[J]. 模式识别与人工智能, 2013, 26(4):91-98.
[3] Liu H.M,Zhi S.S,Wang Z.H.,IOCD: Intensity Order Curve Descriptor[J]. International Journal of Pattern Recognition and ArtificialIntelligence,2013,27 (7):1355011-135037
[4] Lourakis M. I. A., Halkidis S. T, Orphanoudakis S. C. Matchingdisparate views of planar surfaces using projective invariants [J]. ImageVision Computing, 2000, 18 (9) : 673–683.
[5] Fan B, Wu F, Hu Z. Aggregating gradient distributions intointensity orders: A novel local image descriptor[C]// IEEE, 2011:2377-2384.。
发明内容
本发明针对现有曲线匹配和点匹配算法中存在有错误匹配的问题，目的是提供一种将点、线特征融合起来的匹配方法。为了实现本目的，本发明基于点线特征融合的错误匹配剔除方法，包括以下步骤：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；
步骤S2：利用SIFT技术进行特征点检测及匹配；
步骤S3：利用曲线描述子进行曲线匹配；
步骤S4：确定各匹配曲线的支撑区域；
步骤S5：获取匹配曲线对应支撑区域内的匹配点对；
步骤S6：计算曲线支撑区域内特征点到曲线的最小距离；
步骤S7：根据匹配曲线对的差异度剔除错误曲线匹配；
步骤S71：计算匹配曲线对的差异度；
步骤S72：验证匹配曲线对的正确性并剔除错误曲线匹配；
步骤S8：根据匹配点对的差异度剔除错误点匹配；
步骤S81：计算匹配点对的差异度；
步骤S82：验证匹配点对的正确性并剔除错误点匹配。
本发明提供的点线特征融合的错误匹配剔除方法，首先利用已建立的点匹配结果约束、验证曲线匹配的结果，然后利用得到的曲线匹配结果约束、验证点匹配结果。本发明提供的方法不仅能够准确检测出错误的匹配，而且计算简单，不需要复杂变换，在计算复杂性及效率上优于已有方法；同时，该方法具有通用性，可用于各种点匹配和曲线匹配算法结果中错误匹配的剔除。
附图说明
图1为本发明点线特征融合的错误匹配剔除方法流程图。
具体实施方式
如图1所示为本发明点线特征融合的错误匹配剔除方法流程图，包括：采集图像并输入计算机、匹配图像中的特征点、匹配图像中的特征曲线、确定匹配曲线的支撑区域、获取匹配曲线对应支撑区域内的匹配点对、计算曲线支撑区域内特征点到曲线的最小距离、根据匹配曲线对的差异度剔除错误曲线匹配、根据匹配点对的差异度剔除错误点匹配。
各步骤的具体实施细节如下：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机。
步骤S2：利用SIFT技术进行特征点检测与匹配，获得匹配点对集合S(P)={(P i ,P i ’), i =1,2,…,N P }，其中P i 表示第1幅图像中匹配的特征点，P i ’表示第2幅图像中与P i 匹配的特征点，N P 为匹配特征点对的个数。
步骤S3：利用Canny边缘检测算子提取曲线并使用文献IOCD: Intensity order curve descriptor，International Journal of Pattern Recognition & Artificial Intelligence. 2013,27( 7 ),1355011所述亮度序曲线描述子进行曲线匹配，获得匹配曲线对集合S(C)={(C j , C j ’), j =1,2,…,N C }，其中C j 表示第1幅图像中的匹配曲线，C j ’表示第2幅图像中与C j 匹配的曲线，N C 为匹配曲线对的个数。
步骤S4：确定各曲线的支撑区域，具体方式为，对于任一条由Num(C)个点组成的匹配曲线C，记C上任一点为P k ，k=1,2,…,Num(C)，将以P k 为圆心R为半径的圆形区域定义为点P k 的支撑区域并记为G(P k )， C上各点支撑区域覆盖的区域定义为C的支撑区域并记为G(C)= G(P 1 )∪G(P 2 ) ∪…∪G (P Num(C)) 。
步骤S5：获取匹配曲线对应支撑区域内的匹配点对，具体方式为，对于任一匹配曲线对(C j , C j ’)，由步骤S4分别获得C j 、C j ’的支撑区域G(C j )、G(C j ’)，寻找满足如下条件的匹配点对(P, P’)：P∈G(C j )&P’∈G(C j ’)&(P, P’)∈S(P)，得到(C j , C j ’)对应支撑区域内的匹配点对集合S(CP j )={(P l , P l ’), l =1,2,…,N j }，N j 为匹配点对的个数。
步骤S6：计算曲线支撑区域内特征点到曲线的最小距离，具体方式为，对于步骤S5获取的匹配点对集合S(CP j )中的任一匹配点对(P l , P l ’)，计算特征点P l 到曲线C j 上各点距离并记距离最小值为d jl ；计算P l ’到曲线C j ’上各点距离并记距离最小值为d jl ’；获得S(CP j )对应的最小距离集合S(d)={(d jl , d jl ’), l =1,2,…,N j }。
步骤S7：根据匹配曲线对的差异度剔除错误曲线匹配，具体方式如下：
步骤S71：计算匹配曲线对的差异度，具体方式为，对于任一匹配曲线对(C j , C j ’)， 根据步骤S6获得最小距离集合S(d)={(d jl , d jl ’), l =1,2,…,N j }，分别计算G(C j )、G(C j ’) 中最小距离的平均值d j =
Figure DEST_PATH_IMAGE001
、d j ’=
Figure DEST_PATH_IMAGE002
；曲线C j 、C j ’的差异度定义为Dif (C j , C j ’) =|d j - d j ’|。
步骤S72：验证匹配曲线对的正确性并剔除错误曲线匹配，具体方式为，对于任一匹配曲线对(C j , C j ’)，给定阈值T C，T C一般取8~15，如果Dif(C j , C j ’)<T C，则(C j , C j ’)为正确匹配，否则将(C j , C j ’)作为错误匹配剔除。
步骤S8：根据匹配点对的差异度剔除错误点匹配，具体方式如下
步骤S81：计算匹配点对的差异度，具体方式为，对于集合C中的任一匹配点对(P i ,P i ’)，如果P i ∈G(C j )，计算点P i 到曲线C j 的最小距离并记为d ij ；计算点P i ’到曲线C j ’的最小距离并记为d ij ’，则匹配点对(P i , P i ’)的差异度定义为：Dif(P i , P i ’)=| d ij - d ij ’|。
步骤S82：验证匹配点对的正确性并剔除错误点匹配，具体方式为，对于任一匹配点对(P i , P i ’)，定义阈值T P，T P一般取35~45，如果Dif(P i , P i ’)<T P，则(P i , P i ’)为正确匹配，否则将(P i , P i ’)作为错误匹配剔除。
本发明提供的点线特征融合的错误匹配剔除方法，首先利用已建立的点匹配结果约束、验证曲线匹配结果，剔除不满足约束条件的曲线匹配对；然后利用得到的曲线匹配结果约束、验证点匹配结果，实现错误匹配的剔除。本发明提供的方法不仅能够准确检测出错误匹配，而且计算简单，在计算复杂性及效率上优于已有方法；同时，该方法具有通用性，可用于各种点匹配和曲线匹配算法结果中错误匹配的剔除。

Claims (1)

1.一种点线特征融合的错误匹配剔除方法，其特征在于，包括步骤：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；
步骤S2：利用SIFT技术进行特征点检测及匹配，获得匹配点对集合S(P)＝{(Pi,Pi’),i＝1,2,…,NP}，其中Pi表示第1幅图像中匹配的特征点，Pi’表示第2幅图像中与Pi匹配的特征点，NP为匹配特征点对的个数；
步骤S3：利用Canny边缘检测算子提取曲线并使用IOCD亮度序曲线描述子进行曲线匹配，获得匹配曲线对集合S(C)＝{(Cj,Cj’),j＝1,2,…,NC}，其中Cj表示第1幅图像中的匹配曲线，Cj’表示第2幅图像中与Cj匹配的曲线，任一曲线C的IOCD亮度序曲线描述子为IOCD(C)＝sum(DM(C))/‖sum(DM(C))‖,DM(C)为曲线的描述矩阵，NC为匹配曲线对的个数；
步骤S4：确定各曲线的支撑区域，具体方式为，对于任一条由Num(C)个点组成的匹配曲线C，记C上任一点为Pk，k＝1,2,…,Num(C)，将以Pk为圆心R为半径的圆形区域定义为点Pk的支撑区域并记为G(Pk)，C上各点支撑区域覆盖的区域定义为C的支撑区域并记为G(C)＝G(P1)∪G(P2)∪…∪G(PNum(C))；
步骤S5：获取匹配曲线对应支撑区域内的匹配点对，具体方式为，对于任一匹配曲线对(Cj,Cj’)，由步骤S4分别获得Cj、Cj’的支撑区域G(Cj)、G(Cj’)，寻找满足如下条件的匹配点对(P,P’)：P∈G(Cj)&P’∈G(Cj’)&(P,P’)∈S(P)，得到(Cj,Cj’)对应支撑区域内的匹配点对集合S(CPj)＝{(Pl,Pl’),l＝1,2,…,Nj}，Nj为匹配点对的个数；
步骤S6：计算曲线支撑区域内特征点到曲线的最小距离，具体方式为，对于步骤S5获取的匹配点对集合S(CPj)中的任一匹配点对(Pl,Pl’)，计算特征点Pl到曲线Cj上各点距离并记距离最小值为djl；计算Pl’到曲线Cj’上各点距离并记距离最小值为djl’；获得S(CPj)对应的最小距离集合S(d)＝{(djl,djl’),l＝1,2,…,Nj}；
步骤S7：根据匹配曲线对的差异度剔除错误曲线匹配，具体方式如下：
步骤S71：计算匹配曲线对的差异度，具体方式为，对于任一匹配曲线对(Cj,Cj’)，根据步骤S6获得最小距离集合S(d)＝{(djl,djl’),l＝1,2,…,Nj}，分别计算G(Cj)、G(Cj’)中最小距离的平均值
Figure FDA0003220955730000021
曲线Cj、Cj’的差异度定义为Dif(Cj,Cj’)＝|dj-dj’|；
步骤S72：验证匹配曲线对的正确性并剔除错误曲线匹配，具体方式为，对于任一匹配曲线对(Cj,Cj’)，给定阈值TC，TC一般取8～15，如果Dif(Cj,Cj’)<TC，则(Cj,Cj’)为正确匹配，否则将(Cj,Cj’)作为错误匹配剔除；
步骤S8：根据匹配点对的差异度剔除错误点匹配，具体方式如下
步骤S81：计算匹配点对的差异度，具体方式为，对于集合C中的任一匹配点对(Pi,Pi’)，如果Pi∈G(Cj)，计算点Pi到曲线Cj的最小距离并记为dij；计算点Pi’到曲线Cj’的最小距离并记为dij’，则匹配点对(Pi,Pi’)的差异度定义为：Dif(Pi,Pi’)＝|dij-dij’|；
步骤S82：验证匹配点对的正确性并剔除错误点匹配，具体方式为，对于任一匹配点对(Pi,Pi’)，定义阈值TP，TP一般取35～45，如果Dif(Pi,Pi’)<TP，则(Pi,Pi’)为正确匹配，否则将(Pi,Pi’)作为错误匹配剔除。
CN201810086579.6A 2018-01-30 2018-01-30 点线特征融合的错误匹配剔除方法 Expired - Fee Related CN108304870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810086579.6A CN108304870B (zh) 2018-01-30 2018-01-30 点线特征融合的错误匹配剔除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810086579.6A CN108304870B (zh) 2018-01-30 2018-01-30 点线特征融合的错误匹配剔除方法

Publications (2)

Publication Number Publication Date
CN108304870A CN108304870A (zh) 2018-07-20
CN108304870B true CN108304870B (zh) 2021-10-08

Family

ID=62866724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810086579.6A Expired - Fee Related CN108304870B (zh) 2018-01-30 2018-01-30 点线特征融合的错误匹配剔除方法

Country Status (1)

Country Link
CN (1) CN108304870B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488223A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 基于曲线均值标准差描述子的图像曲线特征匹配方法
CN102663441A (zh) * 2012-03-05 2012-09-12 河南理工大学 基于点线关系一致性的错误匹配去除方法
CN106485264A (zh) * 2016-09-20 2017-03-08 河南理工大学 基于梯度序划分及映射策略的曲线描述及匹配方法
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
KR102170689B1 (ko) * 2014-01-14 2020-10-27 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488223A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 基于曲线均值标准差描述子的图像曲线特征匹配方法
CN102663441A (zh) * 2012-03-05 2012-09-12 河南理工大学 基于点线关系一致性的错误匹配去除方法
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
CN106485264A (zh) * 2016-09-20 2017-03-08 河南理工大学 基于梯度序划分及映射策略的曲线描述及匹配方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automatic Optical-to-SAR Image Registration by Iterative Line Extraction and Voronoi Integrated Spectral Point Matching;Haigang Sui;《IEEE Transactions on Geoscience and Remote Sensing 》;20150605;第53卷(第11期);全文 *
ORB特征匹配的误匹配点剔除算法研究;邢凯盛等;《电子测量与仪器学报》;20160815(第08期);全文 *
景像匹配误匹配点的剔除算法;黄锡山等;《中国图象图形学报》;20020825(第08期);全文 *
线特征和SIFT点特征结合的异源图像匹配算法;张姣等;《激光与红外》;20130520(第05期);全文 *
视觉导航特征点匹配及误匹配剔除算法;徐超等;《计算机仿真》;20100415(第04期);全文 *

Also Published As

Publication number Publication date
CN108304870A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
US11210797B2 (en) Systems, methods, and devices for image matching and object recognition in images using textures
US9508151B2 (en) Systems, methods, and devices for image matching and object recognition in images using image regions
CN110546651B (zh) 用于识别对象的方法、***和计算机可读介质
US9846948B2 (en) Systems, methods, and devices for image matching and object recognition in images using feature point optimization
EP3742399A1 (en) Systems and methods for image registration and camera calibration using learned error functions
Zhang et al. Robust metric reconstruction from challenging video sequences
CN105069457B (zh) 图像识别方法和装置
Lepsøy et al. Statistical modelling of outliers for fast visual search
JP2010514041A (ja) 複数画像レジストレーション装置及び方法
JP2011113197A (ja) 画像検索方法およびシステム
CN108550166B (zh) 一种空间目标图像匹配方法
TWI789128B (zh) 人臉識別方法、裝置、設備及存儲介質
CN110111375B (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
Li et al. Multimodal image registration with line segments by selective search
JP2018142189A (ja) プログラム、測距方法、及び測距装置
CN105809678B (zh) 一种短基线条件下两视图间线段特征全局匹配方法
Mishkin et al. Two-view matching with view synthesis revisited
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN108304870B (zh) 点线特征融合的错误匹配剔除方法
Palraj et al. Retinal fundus image registration via blood vessel extraction using binary particle swarm optimization
Tang et al. A GMS-guided approach for 2D feature correspondence selection
Mentzer et al. Self-calibration of wide baseline stereo camera systems for automotive applications
Shen et al. A frame-based probabilistic local verification method for robust correspondence
Xu et al. State measurement of isolating switch using cost fusion and smoothness prior based stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211008