CN101226636A - 一种刚体变换关系的图像的匹配方法 - Google Patents
一种刚体变换关系的图像的匹配方法 Download PDFInfo
- Publication number
- CN101226636A CN101226636A CNA2008100574640A CN200810057464A CN101226636A CN 101226636 A CN101226636 A CN 101226636A CN A2008100574640 A CNA2008100574640 A CN A2008100574640A CN 200810057464 A CN200810057464 A CN 200810057464A CN 101226636 A CN101226636 A CN 101226636A
- Authority
- CN
- China
- Prior art keywords
- image
- template
- weights
- unique point
- transformation relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种应用于符合刚体变换关系模型的图像匹配方法。包括步骤:在当前图像中有规律的选取多个小模板块(或特征点),并判断质量,剔除不合适的(或按质量赋权值);分别在前一图像中找到最匹配的对应位置;根据已知的几何约束,给每个匹配结果的坐标点对赋一个权值;然后拟合出当前图像相对前一图像的刚体变换关系。采用本发明的方法,在只增加少量计算的条件下,能有效提高匹配结果的鲁棒性。本方法应用于超声实时宽视野成像中的图像匹配,获得高质量的成像结果。
Description
技术领域 本发明涉及图像处理技术,具体地说,涉及对符合刚体变换关系的图像间的匹配技术。
背景技术 在一些图像匹配的应用中,相邻的图像间的变换关系符合刚体变换关系。如超声扫描诊断中,探头在目标位置以相对均匀的速度移动,相邻两帧间的位移不大,且变形较小。若要由扫描过程中生成的图像序列生成宽视野图像,考虑到匹配拼接过程中的误差累积效应,一般在匹配中使用刚体变换模型,即认为相邻两帧间只有旋转和平移关系。在这类应用中,若对相邻的两图像使用仿射变换模型或多项式模型等,则相邻两图像间能获得更好的对应。但是多帧向后不断匹配的过程中,变形和误差的累积会使后面的图像失真越来越严重,需用使用全局优化的方法。而在实时匹配拼接成像的场合,全局优化的方法无法顺利使用。解决方法之一是相邻两图像的匹配中使用刚体变换模型。
这里所说的图像的刚体变换模型,即只有旋转和平移关系的模型,即当前图像相对前一图像的变换关系表达为:
其中(X′,Y′)表示当前图像上的坐标,(X,Y)表示在前一图像对应位置的坐标,θ表示旋转角度,(X′0,Y′0)表示平移量。这种变换模型有一个重要的特点,在当前图像上点间的相对位置关系,经变换后不会发生改变,如两点间距离保持不变等。
图像匹配方法主要包括基于模板的匹配和基于特征的匹配,两种思路各有优势。这两种思路的目的都是在相邻的两图像间获得多个“点”坐标对应关系。然后按照特定的模型,利用这些“点”坐标对应关系,计算两图像整体的变换关系。由多个样本点的对应关系计算整体对应关系时,常使用最小二乘方法拟合。最小二乘方法的一个缺点是当有个别样本点偏离整体较大时,会“拉偏”整个拟合结果,而图像匹配过程中,常会出现少数模板(或特征点)误配的情况。图1表示了用最小二乘方法拟合一条直线,其中1为期望结果,2为拟合结果,由于一个点偏离整体较远,而使结果产生较大的偏差。解决这个问题常用的方法是叠代计算,如M估计和随机采样一致性方法等。一方面,这些方法运算量比较大,限制了其在一些需要实时计算的领域的应用。另一方面,它们是通用方法,可以在各种模型下使用,不考虑利用刚体变换模型的特点来提高鲁棒性。
发明内容 本发明充分考虑刚体变换模型下相邻两图像间对应关系的特点,利用图像上点坐标的相对位置关系在刚体变换下保持不变的性质,在不显著增加计算量的条件下,提高匹配结果的鲁棒性。本发明有较低的实现成本和较低的计算复杂度,使本发明的方法可以用于需要较少运算量、较高鲁棒性的领域,如超声设备的实时宽视野成像。
本发明的基本思路为:在当前图像中有规律的选取符合要求的模板(或特征点),分别在前一图像中找到对应的匹配,获得位置对应关系;然后利用选取的模板(或特征点)间的几何约束,判断匹配结果中对应位置处的偏离情况;再按照偏离的程度为各对应的“点”对分配不同权值,由这些位置对应关系加权拟合出当前图像到前一图像的变换关系。
实现本发明思路的技术方案是,利用刚体变换的特点,提供一种鲁棒的图像匹配方法,只相对增加少量计算。具体步骤如下:
A.在当前图像中固定位置有规律的选取多个小模板块(或特征点),并剔除其中质量较差的(或按质量赋权值);
B.每个有效的模板块(或特征点)在前一图像中找到最匹配的对应位置;
C.根据已知的几何约束,给每个有效模板块(或特征点)的匹配结果赋一个权值;
D.由各个对应位置关系和权值,拟合当前图像相对前一图像的变换关系;其特征在于:
步骤A中的模板块(或特征点)是在固定位置,有规律的选取的。
步骤C中以步骤A中给定的位置关系作为几何约束,使匹配结果偏离实际位置关系较远的匹配“点”对,在拟合时占较小比重,用于保证图像刚体变换关系计算的鲁棒性。
采用上述方案,可以在只相对增加少量计算的条件下,有效提高匹配结果的鲁棒性。
附图说明 图1是最小二乘方法拟合直线时的偏差示意图
图2是使用模板匹配时的一种模板选取方式示意图
图3是一个具体实施例的流程示意图
具体实施方式 现在结合附图,描述本发明的一个实施例。
这里使用模板匹配方式作为一个具体例子,详细阐述本发明的实施方式。
当对两图像进行匹配,使用模板匹配的过程就是:首先在当前图像上选取多个小模板块,分别在前一图像上搜索匹配,找到最佳匹配位置,然后用这些小模板块的坐标及其对应匹配位置的坐标计算出两图像间的变换关系。本发明的一个实施例的流程如图3所示,具体步骤如下:
A.在当前图像中待匹配区域有规律的选取多个小模板块,并对各个模板块进行质量判断,剔除质量较差的模板块(或按质量赋权值);
B.每个有效的模板块在前一图像中搜索匹配,找到最匹配的对应位置;
C.根据已知的几何约束,给每个有效模板的匹配结果赋一个权值;
D.由各个有效模板块的对应位置关系和权值,拟合当前图像相对前一图像的变换关系;
本实施例的步骤A中对匹配模板块的选取如图2所示,其中3表示当前图像,4表示当前图像上选取的多个小图像块,选取的位置和数量按实际情况决定,可以(不限于)取为在待匹配区域中的等距的几行几列,以便于计算并获得更好的稳定性。这些小的图像块一般取为矩形,也可以取其它形状。本实施例中,每个模板块的宽高可以取为(像素数)16×16、32×32、48×48、64×64等。
选取的模板块要进行质量判断,剔除质量较差的块(如过于均匀、所有像素接近黑色或白色等),以预先减少错误匹配,增强匹配鲁棒性。若质量差的赋较小权值,质量好的赋较大权值,则整体拟合时使用的权值,是质量权值和步骤C中的匹配结果权值的乘积。
取定的各个有效模板块,分别在前一图像中对应位置附近搜索匹配。在本实施例中,使用计算当前模板和前一图像对应位置处的像素值的绝对差和的方法,绝对差和表示为 其中fi表示当前模板的第i个像素的灰度值,gi表示前一图像中对应位置处的像素灰度值。在整个搜索范围内,SAD值最小的位置,认为是当前模板在前一图像中最匹配的位置。除本实施例中的方法,还有(不限于)使用相关系数匹配的方法,可以得到基本相同的结果。
每个有效模板块在前一图像中计算,找到一个认为最匹配的位置。每个有效模板在当前图像中的坐标和前一图像中对应的最匹配位置的坐标构成了对应点对。由这些点对的关系拟合出当前图像到前一图像的变换关系。两图像间关系符合刚体变换模型,因此每个点对间的坐标变换和图像整体变换关系类似,表示为:
其中(X′i,Y′i)表示当前图像中有效模板的坐标,(Xi,Yi)表示在前一图像中对应最匹配位置的坐标,θ表示旋转角度,(X′0,Y′0)表示平移量。最终目标就是根据已知的多个点对坐标,求出旋转角度和平移量。
各个有效模板的匹配结果中,有时会有少量错误匹配结果,这些错误的匹配会降低拟合结果的鲁棒性。本发明通过选取有效模板时已知的几何关系,给每个有效模板的匹配结果赋一个权值,匹配点对分别按权重大小参加拟合。本实施例中,各个有效模板间的距离已知。假设当前图像中有两个有效模板的位置分别为a、b,它们在前一图像中对应的正确匹配位置为A、B。因为两图像间使用刚体变换模型,所以A、B间的距离应等于a、b间的距离。若A、B间的距离与应有的距离偏离越远,则匹配错误的可能性越大,在拟合中的权重就越小。本实施例中,(不限于)定义每个点对的权重为高斯函数的叠加:
其中求和内的点J表示与I在同一行或在同一列的点,diff_dist(I,J)表示I和J间的距离与它们的对应有效模板i和j间的距离之差,σ决定了高斯函数的开口宽度,用于调节权重的差异程度。权重计算结果不需要高精度,只要能够区分各个小模板块搜索匹配结果的重要性即可,因此可以通过离散化和预先计算查找表的方法提高运算速度。
使用上面给出的“点对”间的变换关系和每个匹配点对的权重,使用加权最小二乘拟合出当前图像和前一图像的刚体变换关系。
本发明的实施例在PC平台上实现,经过实验验证,在只增加少量计算的条件下,能有效提高匹配结果的鲁棒性。同时,本方法应用于超声实时宽视野成像中的图像匹配,获得高质量的成像结果。
Claims (3)
1.一种应用于刚体变换关系模型的图像匹配方法。包括步骤:
A.在当前图像中固定位置有规律的选取多个小模板块(或特征点);
B.每个有效的模板块(或特征点)在前一图像中找到最匹配的对应位置;
C.根据已知的几何约束,给每个有效模板块(或特征点)的匹配结果赋一个权值;
D.由各个对应位置关系和权值,拟合当前图像相对前一图像的变换关系;其特征在于:
步骤A中的模板块(或特征点)是在固定位置、有规律选取的;
步骤C中以步骤A中给定的位置关系为几何约束,使匹配结果偏离实际位置关系较远的“点”对,在拟合时占较小比重,用于保证图像刚体变换关系计算的鲁棒性。
2.根据权利要求1中所述的图像匹配方法,其特征在于:
步骤A中小模板(或特征点)选定后,进行质量判断,剔除质量差的模板(或特征点),以提高匹配鲁棒性。
3.根据权利要求1中所述的图像匹配方法,其特征在于:
步骤A中小模板(或特征点)取定后,进行质量判断,按质量给各个模板赋一个权值。在步骤D中使用的权值为质量权值和步骤C中匹配结果权值的乘积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100574640A CN101226636B (zh) | 2008-02-02 | 2008-02-02 | 一种刚体变换关系的图像的匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100574640A CN101226636B (zh) | 2008-02-02 | 2008-02-02 | 一种刚体变换关系的图像的匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101226636A true CN101226636A (zh) | 2008-07-23 |
CN101226636B CN101226636B (zh) | 2010-06-02 |
Family
ID=39858616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100574640A Expired - Fee Related CN101226636B (zh) | 2008-02-02 | 2008-02-02 | 一种刚体变换关系的图像的匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101226636B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101819680B (zh) * | 2010-05-12 | 2011-08-31 | 上海交通大学 | 图像匹配点对的检测方法 |
CN102194030A (zh) * | 2011-05-19 | 2011-09-21 | 南京医科大学附属口腔医院 | 基于愈合基台牙颌模型的种植义齿个性化基台设计方法 |
CN102224523A (zh) * | 2008-11-25 | 2011-10-19 | Nec软件***科技有限公司 | 立体匹配处理***、立体匹配处理方法和记录媒介 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1745437A1 (en) * | 2004-05-06 | 2007-01-24 | Philips Intellectual Property & Standards GmbH | Pharmacokinetic image registration |
-
2008
- 2008-02-02 CN CN2008100574640A patent/CN101226636B/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102224523A (zh) * | 2008-11-25 | 2011-10-19 | Nec软件***科技有限公司 | 立体匹配处理***、立体匹配处理方法和记录媒介 |
CN102224523B (zh) * | 2008-11-25 | 2014-04-23 | Nec软件***科技有限公司 | 立体匹配处理***、立体匹配处理方法和记录媒介 |
CN101819680B (zh) * | 2010-05-12 | 2011-08-31 | 上海交通大学 | 图像匹配点对的检测方法 |
CN102194030A (zh) * | 2011-05-19 | 2011-09-21 | 南京医科大学附属口腔医院 | 基于愈合基台牙颌模型的种植义齿个性化基台设计方法 |
CN102194030B (zh) * | 2011-05-19 | 2012-11-07 | 南京医科大学附属口腔医院 | 基于愈合基台牙颌模型的种植义齿个性化基台设计方法 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** |
CN109166149B (zh) * | 2018-08-13 | 2021-04-02 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** |
Also Published As
Publication number | Publication date |
---|---|
CN101226636B (zh) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102034101B (zh) | 一种pcb视觉检测中快速圆形标志定位方法 | |
CN100557379C (zh) | 空间圆几何参数的双目立体视觉测量方法 | |
CN101226636B (zh) | 一种刚体变换关系的图像的匹配方法 | |
CN103649674A (zh) | 测量设备以及信息处理设备 | |
CN105608708A (zh) | 基于分块平面拟合的图像二值化方法及装置 | |
CN102590812A (zh) | 基于调频连续波的sar实时成像方法 | |
CN107726975A (zh) | 一种基于视觉拼接测量的误差分析方法 | |
CN103868473B (zh) | 一种基于递推法的高光物体表面相位快速恢复方法 | |
CN104036424A (zh) | 基于二维码的零件快速选配方法及*** | |
CN103198465A (zh) | 一种ct扫描图像旋转误差校正方法 | |
Yang et al. | Probabilistic multi-view fusion of active stereo depth maps for robotic bin-picking | |
CN104166989A (zh) | 一种用于二维激光雷达点云匹配的快速icp方法 | |
US11314220B2 (en) | Non-contact method and system for controlling an industrial automation machine | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN106735995B (zh) | 基于爬行器的焊缝自动跟踪方法及装置 | |
CN101334894A (zh) | 采用单个圆为标定物的摄像机内参数标定方法 | |
US20230134125A1 (en) | Alignment validation in vehicle-based sensors | |
CN101254120B (zh) | 实时超声宽视野成像方法 | |
CN102789644B (zh) | 一种基于两条相交直线的相机标定方法 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及*** | |
CN105046691A (zh) | 一种基于正交消失点的相机自标定方法 | |
Gerg et al. | Real-time, deep synthetic aperture sonar (SAS) autofocus | |
Zheng et al. | Another way of looking at monocular circle pose estimation | |
CN109445229B (zh) | 一种获取含一阶径向畸变的变焦相机焦距的方法 | |
CN101344376A (zh) | 基于单目视觉技术的空间圆几何参数的测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C57 | Notification of unclear or unknown address | ||
DD01 | Delivery of document by public notice |
Addressee: Tang Pin Document name: Notification of Passing Preliminary Examination of the Application for Invention |
|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 Termination date: 20110202 |