CN105469112B - 基于局部线性迁移和刚性模型的图像特征匹配方法及*** - Google Patents

基于局部线性迁移和刚性模型的图像特征匹配方法及*** Download PDF

Info

Publication number
CN105469112B
CN105469112B CN201510807463.3A CN201510807463A CN105469112B CN 105469112 B CN105469112 B CN 105469112B CN 201510807463 A CN201510807463 A CN 201510807463A CN 105469112 B CN105469112 B CN 105469112B
Authority
CN
China
Prior art keywords
image
parameter
matched
matrix
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510807463.3A
Other languages
English (en)
Other versions
CN105469112A (zh
Inventor
梅晓光
马泳
樊凡
黄珺
马佳义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201510807463.3A priority Critical patent/CN105469112B/zh
Publication of CN105469112A publication Critical patent/CN105469112A/zh
Application granted granted Critical
Publication of CN105469112B publication Critical patent/CN105469112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于局部线性迁移和刚性变换的图像特征匹配方法及***,用于通过去除初始匹配点对中的错误的匹配来建立正确的匹配,包括针对待匹配图像间的刚性几何变换建立待匹配图像间几何变换相应的模型,并建立匹配点对为正确匹配的后验概率相应的模型,基于最近邻居匹配点、最小二乘法、最优化方法求解模型参数;计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误。本方法针对待匹配图像之间存在刚性变换的情况进行了建模,大幅降低了匹配的错误率,即使在初步匹配中存在大量错误匹配的情况下,依然保持良好的鲁棒性。

Description

基于局部线性迁移和刚性模型的图像特征匹配方法及***
技术领域
本发明涉及图像特征匹配技术领域,具体地说,本发明涉及基于局部线性迁移和刚性模型的图像特征匹配技术方案。
背景技术
图像匹配的基本目标是将使用不同传感器在不同的时间和视角下获得的同一个场景的两幅图像的相同部位进行对应。
在过去的几十年里,学者们研究了很多方法来解决遥感图像匹配问题。这些方法大致可以分为两类:基于区域的匹配方法和基于特征的匹配方法。前者通过搜索两幅图像中一定区域内原始灰度值的相似程度来寻找匹配信息;后者则利用局部特征的描述子相似性或空间几何约束来寻找匹配点对。在具有少量显著细节的情况中,灰度值提供的信息比局部形状和结构要多,从而基于区域的方法的匹配效果更好。但是基于区域的方法计算量大,且在图像失真和光度改变的情况下并不适用。相反,特征方法具有更好的鲁棒性,可以处理复杂失真的图像,得到广泛的应用。
如何寻找两幅图像中对应的匹配点,形成匹配点对,并确保匹配点对的正确性是图像匹配方法的关键。
基于区域的匹配方法主要有相关法、傅里叶方法和互信息法三种。相关法的主要思想是计算两幅图像中对应窗的相似性,然后将具有最大相似程度的一对作为匹配点对。但相关法在相似性不显著的无纹理区域无法适用,且计算复杂。傅里叶方法利用了图像在频率域的傅里叶表示。与传统的相关方法相比,这种方法在计算效率更高并且对频率类噪声具有很好的鲁棒性。然而,这种方法在处理具有不同谱结构的图像具有一定限制性。互信息法尽管其匹配效果良好,但是它无法得到整个搜索空间中的全局最大值,因此不可避免的会减低它的鲁棒性。
基于特征的匹配方法中,通常采用一种分为两个步骤的策略。第一步,通过特征描述子的相似程度确定一组初始的匹配点对,其中绝大多数是正确匹配,但不可避免的含有大量的错误匹配。第二步,通过通过几何约束来去除错误的匹配,最后便可得到正确的匹配点对和两幅图像之间变换的几何参数。这种策略的典型例子包括RANSAC方法(M.A.Fischler and R.C.Bolles,“Random sample consensus:A paradigm for modelfitting with application to image analysis and automated cartog-raphy,”Commun.ACM,vol.24,no.6,pp.381–395,Jun.1981)、ARHV方法(P.H.S.Torr andA.Zisserman,“MLESAC:A new robust estimator with application to estimatingimage geometry,”Comput.Vis.Image Under-stand.,vol.78,no.1,pp.138–156,Apr.2000)等依赖于参数模型的方法和VFC方法(J.Ma,J.Zhao,J.Tian,A.L.Yuille,andZ.Tu,“Robust point matching via vector field consensus,”IEEE Trans.ImageProcess.,vol.23,no.4,pp.1706–1721,Apr.2014.)、GS方法(H.Liu and S.Yan,“Commonvisual pattern discovery via spatially coher-ent correspondence,”in Proc.IEEEConf.Comput.Vis.Pattern Recog.,Jun.2010,pp.1609–1616.)和ICF方法(X.Li andZ.Hu,“Rejecting misma tches by correspondence function,”Int.J.Comput.Vis.,vol.89,no.1,pp.1–17,Aug.2010).等基于非参数模型的方法。
虽然这些方法在许多领域获得了成功,但是在图像中含有大量因视角变化造成的局部失真以及图像内容较复杂时,初步匹配后会得到很多错误的初始匹配点对,当错误率超过一定比例时,这些方法就不能有效的去除错误。因此亟需一种对初始匹配错误率具有较强鲁棒性的匹配方法。
发明内容
针对现有技术缺陷,本发明提出了一种基于局部线性迁移和刚性模型的图像特征匹配技术方案。
为达到上述目的,本发明采用的技术方案提供一种基于局部线性迁移和刚性模型的图像特征匹配方法,包括以下步骤,
步骤1,建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
针对待匹配图像间的刚性几何变换,建立变换数学模型如下,
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
设已知的一组初始匹配点对中,图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,计算其中第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
步骤2,根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子步骤,
步骤2.1,为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
步骤2.2,根据步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
步骤2.3,通过最优化方法求解模型参数s、R、o、γ、σ,包括以下子步骤,
步骤2.3.1,初始化,包括令γ=γ0,R=I2×2,o=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
步骤2.3.2,更新矩阵P,包括采用步骤1中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数s、R、o如下,
采用下述公式计算参数s,
其中,矩阵将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),λ为预设的参数;
采用下述公式计算参数R,
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得;采用下述公式计算参数o,
o=μy-sRμx
步骤2.3.4,根据步骤2.3.3计算得到的参数s、R、o,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用步骤2.3.1中模型参数公式计算σ;
步骤2.3.5,判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,返回步骤2.3.2;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
而且,步骤2.2包括以下子步骤,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
本发明还相应提供一种基于局部线性迁移和刚性模型的图像特征匹配***,包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
针对待匹配图像间的刚性几何变换,建立变换数学模型如下,
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
设已知的一组初始匹配点对中,图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,计算其中第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数s、R、o、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,R=I2×2,o=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数s、R、o如下,
采用下述公式计算参数s,
其中,矩阵将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),λ为预设的参数;
采用下述公式计算参数R,
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得;采用下述公式计算参数o,
o=μy-sRμx
第二参数计算单元,用于根据第一参数计算单元计算得到的参数s、R、o,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
而且,权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
本发明具有以下优点:
1、本发明针对图像特征匹配提出了一种统一的最大似然框架。与普遍使用的参数模型相比,这种框架可以处理非参数模型情况,应用范围更广。
2、本发明构造了一种局部几何约束对变换模型进行优化。这种约束保存了相邻特征点间的局部结构,因此可用来处理含有大量错误匹配的情况,具有更强的鲁棒性。
具体实施方式
下面通过实施例对本发明技术方案进一步详细说明。
本发明提出的方法首先对待匹配图像刚性变换进行数学建模,然后通过去除初步建立一系列的匹配点对中的错误的匹配来建立正确的匹配。本方法利用带隐变量的贝叶斯最大似然估计进行数学建模。同时,还构造了一种保留相邻特征点间局部结构的几何约束,即使在初步匹配中存在大量错误匹配的情况下,依然保持良好的鲁棒性。
本发明实施例所提供方法主要包括3个步骤:
步骤1,建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型;
针对待匹配图像间的刚性几何变换,建立变换数学模型如下:
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
由于采用现有技术中的图像匹配进行初始匹配所得匹配点对难免有错误,本发明的目的是对其中错误的去掉,则对于已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,其中点x1对应匹配点y1,以此类推,点xN对应匹配点yN,包含N对初始匹配点对,其中第n对匹配点对为正确匹配的后验概率pn可以由如下后验概率数学模型计算得到:
其中,γ和σ均为模型参数,e为数学常量,系数b可由本领域技术人员预先指定,或者采用可变参数,实施例采用2/5,即
步骤2,根据已知的初始匹配点对,即点集X={x1,…,xN}T,Y={y1,…,yN}T,求解所述步骤1中两个模型的参数,包含以下子步骤:
步骤2.1,为每一个匹配点xn,n=1,…,N,分别采用k-d树关联搜索方法搜索与其最近的K个邻居匹配点;具体实施时,本领域技术人员可自行预设K的取值,本实施例中K取15;
步骤2.2,根据所述步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
实施例中,权重矩阵W求解如下,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下:
步骤2.3,通过最优化方法求解未知的数学模型参数:s、R、o、γ、σ;
实施例中未知的数学模型参数s、R、o、γ、σ的求解过程如下:
步骤2.3.1,初始化参数;令参数γ=γ0(具体实施时,本领域技术人员可以自行设定γ的初始值γ0,实施例取γ0=0.9),矩阵R=I2×2(即维度为2×2、元素全部为1的矩阵),参数o=0,矩阵P=IN×N(即维度为N×N、元素全部为1的矩阵),当前迭代次数k=1,采用下述模型参数公式计算σ:
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
步骤2.3.2,更新矩阵P:
采用步骤1中所述后验概率数学模型,计算得到第1,…,N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数s、R、o;
采用下述公式计算参数s:
其中,各矩阵 IN×1即维度为N×1、元素全部为1的矩阵,将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),其中λ为一个预设的参数,具体实施时本领域技术人员可预设取值,本实施例中取100;
采用下述公式计算参数R:
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得,公式如下:
其中,svd()表示对矩阵进行奇异值分解,S为奇异值分解的结果;
采用下述公式计算参数o:
o=μy-sRμx
步骤2.3.4,根据步骤2.3.3计算得到的参数s、R、o,基于当前的t(x)可重新计算参数γ、σ;采用下述公式计算参数γ:
采用步骤2.3.1中所述模型参数公式计算σ;
步骤2.3.5,判别收敛条件:
计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代;否则,即k<kmax且(L-Lold)/Lold>ε,k=k+1,回到步骤2.3.2,具体实施时,本领域技术人员可自选预设最大迭代次数kmax的取值,本实施例的取值为50;
其中,ε是收敛阈值,具体实施时本领域技术人员可预设取值,例如取0.0001,Lold表示上一次执行步骤2.3.5计算得到的L,首次执行步骤2.3.5时,可以令Lold为一个较大的初始值,例如10的6次方,之后执行即可采用上次执行执行步骤2.3.5的计算结果。L的计算公式如下:
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误;
将所述步骤2.3中求解的参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为判断阈值,具体实施时,本领域技术人员可自选预设判断阈值的取值,本实施例中取0.5。
具体实施时,以上流程可采用软件方式实现自动运行。还可以采用模块化方式提供相应***,本发明实施例还相应提供一种基于局部线性迁移和刚性模型的图像特征匹配***,包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
针对待匹配图像间的刚性几何变换,建立变换数学模型如下,
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
设已知的一组初始匹配点对中,图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,计算其中第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数s、R、o、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,R=I2×2,o=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数s、R、o如下,
采用下述公式计算参数s,
其中,矩阵将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),λ为预设的参数;
采用下述公式计算参数R,
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得;采用下述公式计算参数o,
o=μy-sRμx
第二参数计算单元,用于根据第一参数计算单元计算得到的参数s、R、o,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
进一步地,权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
选取RANSAC、ICF、GS方法与本发明进行图像匹配的对比。对比结果如下表,其中正确率是指方法最后给出的匹配点对中是正确匹配点对的比例;遗漏率是指方法在筛选过程中把正确匹配点对判断为错误匹配点对的比例。可以看到本方法用时最短,准确率最高,遗漏率最低。
方法效果对比表
方法 时间(秒) 正确率 遗漏率
RANSAC 16.32 81.38% 1.36%
ICF 2.13 91.27% 18.39%
GS 0.98 70.95% 20.97%
本发明 0.34 98.7% 0.87%
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似方式替代,但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于局部线性迁移和刚性模型的图像特征匹配方法,其特征在于:包括以下步骤,
步骤1,建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
针对待匹配图像间的刚性几何变换,建立变换数学模型如下,
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
设已知的一组初始匹配点对中,图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,计算其中第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
步骤2,根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子步骤,
步骤2.1,为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
步骤2.2,根据步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
步骤2.3,通过最优化方法求解模型参数s、R、o、γ、σ,包括以下子步骤,
步骤2.3.1,初始化,包括令γ=γ0,R=I2×2,o=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
步骤2.3.2,更新矩阵P,包括采用步骤1中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数s、R、o如下,
采用下述公式计算参数s,
其中,矩阵 将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),λ为预设的参数;
采用下述公式计算参数R,
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得;采用下述公式计算参数o,
o=μy-sRμx
步骤2.3.4,根据步骤2.3.3计算得到的参数s、R、o,重新计算参数γ、σ如下,采用下述公式计算参数γ,
采用步骤2.3.1中模型参数公式计算σ;
步骤2.3.5,判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,返回步骤2.3.2;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
2.根据权利要求1所述基于局部线性迁移和刚性模型的图像特征匹配方法,其特征在于:步骤2.2包括以下子步骤,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
3.一种基于局部线性迁移和刚性模型的图像特征匹配***,其特征在于:包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
针对待匹配图像间的刚性几何变换,建立变换数学模型如下,
y=t(x)=sRx+o
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系,s表示待匹配图像间的尺度比例,R是一个2×2的矩阵,表示待匹配图像间的旋转,o是一个2×1的矩阵,表示待匹配图像间的平移;
设已知的一组初始匹配点对中,图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,计算其中第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数s、R、o、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,R=I2×2,o=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数s、R、o如下,
采用下述公式计算参数s,
其中,矩阵 将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),λ为预设的参数;
采用下述公式计算参数R,
R=UDVT
其中,D=diag(1,det(UVT)),det()表示矩阵的行列式,矩阵U和V通过奇异值分解获得;采用下述公式计算参数o,
o=μy-sRμx
第二参数计算单元,用于根据第一参数计算单元计算得到的参数s、R、o,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
4.根据权利要求3所述基于局部线性迁移和刚性模型的图像特征匹配***,其特征在于:权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
CN201510807463.3A 2015-11-19 2015-11-19 基于局部线性迁移和刚性模型的图像特征匹配方法及*** Active CN105469112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510807463.3A CN105469112B (zh) 2015-11-19 2015-11-19 基于局部线性迁移和刚性模型的图像特征匹配方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510807463.3A CN105469112B (zh) 2015-11-19 2015-11-19 基于局部线性迁移和刚性模型的图像特征匹配方法及***

Publications (2)

Publication Number Publication Date
CN105469112A CN105469112A (zh) 2016-04-06
CN105469112B true CN105469112B (zh) 2018-12-14

Family

ID=55606783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510807463.3A Active CN105469112B (zh) 2015-11-19 2015-11-19 基于局部线性迁移和刚性模型的图像特征匹配方法及***

Country Status (1)

Country Link
CN (1) CN105469112B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488754B (zh) * 2015-11-19 2018-09-21 武汉大学 基于局部线性迁移和仿射变换的图像特征匹配方法及***
CN109448031B (zh) * 2018-09-28 2021-04-16 武汉大学 基于高斯场约束和流形正则化的图像配准方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778433A (zh) * 2014-01-15 2014-05-07 东莞华中科技大学制造工程研究院 基于点到直线距离的广义点集匹配方法
CN104599277A (zh) * 2015-01-27 2015-05-06 中国科学院空间科学与应用研究中心 一种面向保积仿射变换的图像配准方法
CN104732546A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 区域相似性和局部空间约束的非刚性sar图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778433A (zh) * 2014-01-15 2014-05-07 东莞华中科技大学制造工程研究院 基于点到直线距离的广义点集匹配方法
CN104599277A (zh) * 2015-01-27 2015-05-06 中国科学院空间科学与应用研究中心 一种面向保积仿射变换的图像配准方法
CN104732546A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 区域相似性和局部空间约束的非刚性sar图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Point Matching via Vector Field Consensus;Jiayi Ma ect.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140831;第23卷(第4期);第1706-1721页 *
基于t分布混合模型的点集非刚性配准算法;周志勇 等;《光学 精密工程》;20130930;第21卷(第9期);第2405-2420页 *

Also Published As

Publication number Publication date
CN105469112A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105469110B (zh) 基于局部线性迁移的非刚性变换图像特征匹配方法及***
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN105488754B (zh) 基于局部线性迁移和仿射变换的图像特征匹配方法及***
CN112581515B (zh) 基于图神经网络的户外场景点云配准方法
CN104732546B (zh) 区域相似性和局部空间约束的非刚性sar图像配准方法
CN101650828B (zh) 摄像机标定中减少圆形目标定位随机误差的方法
CN103440659B (zh) 基于星图匹配的星空图像畸变检测与估计方法
CN113822284B (zh) 一种基于边界注意力的rgbd图像语义分割方法
CN106709943B (zh) 一种基于最优传输的点云配准方法
CN111275192B (zh) 一种同时提高神经网络精确度和鲁棒性的辅助训练方法
Ma et al. Mismatch removal via coherent spatial mapping
CN105469112B (zh) 基于局部线性迁移和刚性模型的图像特征匹配方法及***
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及***
CN108335328B (zh) 摄像机姿态估计方法和摄像机姿态估计装置
CN109448031B (zh) 基于高斯场约束和流形正则化的图像配准方法及***
CN106778925B (zh) 一种人脸识别的姿态超完备人脸自动注册方法及其装置
CN117253062A (zh) 一种任意姿态下的继电器触点图像特征快速匹配方法
Huang et al. Multi-modal medical image registration based on gradient of mutual information and hybrid genetic algorithm
CN110163865B (zh) 一种针对模型拟合中不平衡数据的采样方法
CN112697158A (zh) 一种用于室内外场景的人为回环即时定位和建图方法及***
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN110728296A (zh) 一种加速特征点匹配的两步随机抽样一致性方法及***
CN108205805B (zh) 锥束ct图像间体素稠密对应的自动建立方法
CN113283423A (zh) 基于生成网络的自然场景扭曲文本图像矫正方法及***
CN112906432A (zh) 一种应用于人脸关键点定位任务的检错纠错方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant