CN104616280B - 基于最大稳定极值区域和相位一致性的图像配准方法 - Google Patents
基于最大稳定极值区域和相位一致性的图像配准方法 Download PDFInfo
- Publication number
- CN104616280B CN104616280B CN201410696329.6A CN201410696329A CN104616280B CN 104616280 B CN104616280 B CN 104616280B CN 201410696329 A CN201410696329 A CN 201410696329A CN 104616280 B CN104616280 B CN 104616280B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- subject
- reference picture
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000010606 normalization Methods 0.000 claims abstract description 33
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000002485 combustion reaction Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 abstract description 9
- 230000007547 defect Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000464908 Elliptica Species 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于最大稳定极值区域和相位一致性的图像配准方法,主要解决现有技术提取的特征点重复率低和运算复杂度高的缺陷。其实现步骤为:1、输入存在仿射变换的两幅图像并分别进行最大稳定极值区域检测和匹配;2、拟合两幅图像的匹配区域,并扩大和归一化处理;3、对归一化后的两个区域作带通分解;4、检测基于相位一致性最大矩的特征点,建立检测到的特征点概率分布;5.估计两个点集间的精确仿射变换矩阵;6、根据归一化后的两个区域估计两幅图像间的变换矩阵;7、计算两幅图像间的精确仿射变换矩阵并完成图像配准。本发明能提取出具有较高重复率和正确匹配率的特征点,提高了计算效率,可用于图像融合,图像拼接与三维重建。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种仿射变换图像配准方法,可应用于图像融合,图像拼接与三维重建等领域。
背景技术
在图像融合,图像拼接与三维重建等领域,需要先对同一场景的多幅视图进行配准处理。一般情况下,可以采用基于特征的图像配准方法进行图像配准,这主要是考虑到一些图像特征对于图像的尺度和旋转具有不变性,并且只用特征信息寻找图像间的几何关系具有计算效率高的优点。但是,当两幅图像间存在较大的仿射变换时,在它们中往往很难提取到具有较高重复率或者位置精确的特征,从而导致配准精度不够甚至无法实现配准的问题。
目前,基于特征的图像配准方法中常用的特征信息有尺度不变特征SIFT,最大稳定极值区域MSER特征和完全仿射不变特征ASIFT,例如Lowe D,“Distinctive imagefeatures from scale-invariant keypoints.”International Journal of ComputerVision,vol.60,no.2,pp.91—110.Matas J,Chum O,et al.,“Robust wide-baselinestereo from maximally stable extremal regions.”Image and Vision Computing,vol.22,no.10,pp.761-767.及Morel J M,Yu G,“ASIFT:A new framework for fullyaffine invariant image comparison.”SIAM Journal on Imaging Sciences,vol.2,no.2,pp.438-469.这三篇文献公开的技术均为特征提取及匹配方法,进而可以利用匹配的特征来计算图像间的几何变换参数实现图像配准。其中,基于尺度不变特征SIFT的图像配准方法能够配准尺度较大的图像,并且获得较好的配准效果。但是,当图像间存在较大的仿射变换时,基于尺度不变特征SIFT的特征检测方法往往很少能够获得数目足够且正确率高的匹配点对,因此基于尺度不变特征SIFT的图像配准方法不能配准具有较大仿射变换的图像。基于最大稳定极值区域MSER的图像配准方法,采用最大稳定极值区域MSER的质心作为特征点进行匹配,进而估计图像间的仿射变换参数,由于最大稳定极值区域MSER具有较高的仿射变换不变性,因此能够实现存在较大仿射变换的图像配准,但是由于成像传感器及成像环境的不同,采用的质心往往不能精确反映特征的位置,从而导致配准精度不高。完全仿射不变特征ASIFT算法首先对原图像进行人为模拟的仿射空间采样,获得多幅视图;然后利用尺度不变特征SIFT方法对获得的多幅视图进行特征提取及特征匹配,这样能够获得比尺度不变特征SIFT方法更多的匹配点数,因此基于完全仿射不变特征ASIFT特征的图像配准方法可以配准存在较大仿射变换的图像。该方法存在的不足是,由于该方法对图像在仿射空间上进行模拟,形成各个视角的图像,消耗了大量的内存,同时在提取出大量的正确匹配点时也引进了大量的误匹配点,而要获得较高的图像配准精度,就需要比较复杂的优化过程对误匹配点进行删除,这无疑又增加了计算复杂度。
发明内容
本发明的目的在于改善了上述已有技术的缺点,提出一种基于最大稳定极值区域和相位一致性的仿射变换图像配准方法,以获得更好的仿射变换图像配准效果,并降低运算复杂度,提高计算效率。
为实现上述目的,本发明的技术方案是:通过基于最大稳定极值区域MSER特征的粗匹配获得两幅输入图像的部分拟合区域;采用仿射区域归一化方法克服仿射畸变带来的图像结构的改变;利用Gabor带通滤波器对归一化区域进行带通分解,进而在每个子带图像中进行基于相位一致性最大矩的特征点检测;采用概率分布的方法对检测的特征点集合进行精确配准,并计算两幅输入图像间的仿射变换矩阵。其具体步骤包括如下:
(1)分别输入存在仿射变换的两幅图像A和B,其中A为参考图像,B为待配准图像;
(2)对参考图像A和待配准图像B进行最大稳定极值区域MSER检测及匹配;
(3)对参考图像A和待配准图像B相匹配的最大稳定极值区域分别进行拟合,并得到参考图像A扩大后的椭圆拟合区域和待配准图像B扩大后的椭圆拟合区域;
(4)对上述两个椭圆拟合区域归一化:
4a)分别计算参考图像A和待配准图像B中待归一化的点:
其中,zA和zB分别表示参考图像A和待配准图像B中待归一化的点,MA和MB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的二阶矩矩阵,HA和HB分别表示二阶矩矩阵MA和MB奇异值分解得到的实对称酉矩阵,x′A和x′B分别表示图像A和B中扩大后的椭圆区域的点,μA和μB分别表示参考图像A和待配准图像B中所有最大极值区域MSER的质心的均值;
4b)用参考图像A中所有待归一化点zA构成参考图像的归一化区域P,用待配准图像B所有待归一化点zB构成待配准图像的归一化区域Q;
(5)分别对参考图像A的归一化区域P和待配准图像B的归一化区域Q进行基于Gabor滤波器的带通分解,获得这两幅图像包含不同频率成分的子带图像;
(6)对上述两幅图像的子带图像进行基于相位一致性最大矩的特征点检测,并对检测到的特征点进行基于概率分布的点集配准,得到点集间的变换矩阵T1;
(7)根据参考图像的归一化区域P和待配准图像的归一化区域Q,估计参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2;
(8)根据点集间的变换矩阵T1和参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2计算参考图像A与待配准图像B之间的仿射变换矩阵T:
T=Tc1 -1T1Tc2;
(9)按照仿射变换矩阵T对待配准图像B进行变换,再对变换得到的图像进行双线性插值,完成图像配准。
本发明与现有的技术相比具有以下优点:
第一,本发明由于对输入的参考图像和待配准图像进行了基于最大稳定极值区域MSER的配准,并在获得的椭圆拟合区域中进行基于Gabor滤波器的带通分解和相位一致性最大矩特征点检测,改善了现有技术对存在较大仿射变换的图像进行特征提取的过程中,难以获得较高特征点重复率和正确匹配率的缺陷,使得本发明设计在上述情况下提取到的特征点,具有更高的特征点重复率和正确匹配率。
第二,本发明由于采用了基于概率分布的点集配准策略,改善了现有技术在特征点的匹配过程中要为特征点建立高维描述符的缺陷,使得本发明与现有技术相比占用更少的存储空间,并且具有更高的计算效率。
附图说明
图1为本发明的实现流程图;
图2为本发明对大尺度变化图像的配准仿真效果图;
图3为本发明对存在较大仿射变换图像的配准仿真效果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1,本发明的具体步骤如下:
步骤1,输入图像:分别输入存在仿射变换的两幅图像,一幅作为参考图像A,另一幅作为待配准图像B。
步骤2,对参考图像A和待配准图像B进行最大稳定极值区域MSER检测及匹配。
2a)对参考图像A和待配准图像B分别进行最大稳定极值区域MSER检测,得到多个具有仿射不变性的不规则极值区域;
2b)将多个具有仿射不变性的不规则极值区域一一对应起来,获得初始的最大稳定极值区域MSER匹配对。
步骤3,对参考图像A和待配准图像B相匹配的最大稳定极值区域分别进行拟合,得到参考图像A扩大后的椭圆拟合区域和待配准图像B扩大后的椭圆拟合区域。
本实例采用但不限于利用基于最大稳定极值区域MSER的匹配算法对所述的的两幅图像的匹配区域进行拟合,其步骤如下:
3a)分别检测参考图像A和待配准图像B的最大稳定极值区域MSER的质心;
3b)根据所述两幅图像中得到的最大稳定极值区域MSER的质心,按照下式计算这两幅图像拟合区域的点:
(xA-μA)TUA -1(xA-μA)=(xA-μA)TMA(xA-μA)=1
(xB-μB)TUB -1(xB-μB)=(xB-μB)TMB(xB-μB)=1
其中,xA和xB分别表示参考图像A和待配准图像B中拟合区域的点,μA和μB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的均值,T表示转置,UA和UB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的方差,MA和MB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的二阶矩矩阵;
3c)在参考图像A和待配准图像B中,分别用获得的各自拟合区域点构成各自的初始椭圆拟合区域;
3d)按照下式计算参考图像A中初始椭圆拟合区域的最大容许扩大比例:
其中,kA表示参考图像A中包含初始拟合区域的椭圆长短轴的最大容许扩大倍数,rA和cA分别表示参考图像A的行数和列数,ua和va分别表示参考图像A中所有最大稳定极值区域MSER的质心的均值坐标,xa和ya分别表示参考图像A中拟合区域点的行坐标和列坐标;
3e)按照下式计算待配准图像B中初始椭圆拟合区域的最大容许扩大比例:
其中,kB表示待配准图像B中包含初始拟合区域的椭圆长短轴的最大容许扩大倍数,rB和cB分别表示待配准图像B的行数和列数,ub和vb分别表示待配准图像B中所有匹配最大极值区域的质心的均值坐标,xb和yb分别表示待配准图像B中拟合区域点行坐标和列坐标;
3f)比较参考图像A中初始椭圆拟合区域的最大容许扩大比例kA和待配准图像B中初始椭圆拟合区域的扩大比例kB,将两者中数值较小的作为初始椭圆拟合区域的扩大比例k,即k=min(kA,kB);
3g)根据扩大比例k计算参考图像A和待配准图像B中扩大后的椭圆区域点:
(x′A-μA)TMA(x′A-μA)=k2
(x′B-μB)TMB(x′B-μB)=k2
其中,x′A和x′B分别表示参考图像A和待配准图像B中扩大后的椭圆区域的点,μA和μB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的均值,MA和MB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的二阶矩矩阵;
3h)分别用参考图像A扩大后的椭圆区域的点x′A和待配准图像B扩大后的椭圆区域的点x′B,构成这两幅图像的椭圆拟合区域,即参考图像A的椭圆拟合区域和待配准图像B的椭圆拟合区域。
步骤4,对上述两个椭圆拟合区域归一化:
4a)按照下式分别计算参考图像A中待归一化的点zA和待配准图像B中待归一化的点zB:
其中,MA和MB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域MSER的质心的二阶矩矩阵,HA和HB分别表示二阶矩矩阵MA和MB奇异值分解得到的实对称酉矩阵,x′A和x′B分别表示参考图像A和待配准图像B中扩大后的椭圆区域的点,μA和μB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域MSER的质心的均值;
4b)用参考图像A中所有待归一化点zA构成参考图像的归一化区域P,用待配准图像B中所有待归一化点zB构成待配准图像的归一化区域Q。
步骤5,分别对参考图像A的归一化区域P和待配准图像B的归一化区域Q进行基于Gabor滤波器的带通分解,获得这两幅图像包含不同频率成分的子带图像。
对图像归一化区域的进行带通分解的滤波器有:Gaussian-Laplace带通滤波器,DOG滤波器等。本实例采用Gabor滤波器分别对参考图像A的归一化区域M和待配准图像B的归一化区域N进行带通分解,其步骤如下:
5a)设计具有5个带通滤波器的Gabor带通滤波器组G(u,v,λ):
其中,u和v表示带通滤波器的频域坐标,K表示每个带通滤波器的方向数,K的取值为6,θi表示带通滤波器的朝向,i=-6,-5,-4,...,4,5,6,λ是带通滤波器的尺度因子,每个带通滤波器的λ取值不同,即第一个带通滤波器值的为第二个带通滤波器值的为2,第三个带通滤波器值的为第四个带通滤波器值的为4,第五个带通滤波器值的为
5b)利用上述设计的带通滤波器组,按照下式对从参考图像A和待配准图像B中获得的归一化区域进行带通分解:
其中,IA(x,y)和IB(x,y)分别表示从参考图像A和待配准图像B中获得的归一化区域,F[·]表示傅里叶变换,F-1[·]表示傅里叶逆变换,表示对应于参考图像A的子带图像,表示对应于待配准图像B的子带图像。
步骤6,对上述两幅图像的子带图像进行基于相位一致性最大矩的特征点检测。
对图像的子带图像进行特征点检测的方法有:尺度不变特征SIFT方法,完全仿射不变特征ASIFT方法等。本实例采用基于相位一致性最大矩的特征点检测方法对上述两幅图像的自带图像进行特征点检测,其步骤如下:
6a)分别对参考图像A的各个子带图像,进行基于相位一致性最大矩的特征点检测,再从包含特征点数目最多的子带图像中选择特征点并将其作为参考图像A的特征点检测结果;
6b)按照下式将参考图像A中检测到的特征点构成一个点集:
X=[x1 x2 … xn … xN] 100≤N≤500,
其中,X表示参考图像A中检测到的特征点构成的点集,xn表示参考图像A中检测到的第n个特征点,n=1,2,...,N,N表示参考图像A中检测到的特征点的数目;
6c)分别对待配准图像B的各个子带图像,进行基于相位一致性最大矩的特征点检测,再从包含特征点数目最多的子带图像中选择特征点作为待配准图像B的特征点检测结果;
6d)按照下式用待配准图像B中检测到的特征点构成一个点集:
Y=[y1 y2 … ym … yM] 100≤M≤500
其中,Y表示待配准图像B中检测到的特征点构成的点集,ym表示待配准图像B中检测到的第m个特征点,m=1,2,...,M,M表示待配准图像B中检测到的特征点的数目。
步骤7,对上述检测到的特征点进行基于概率分布的点集配准,得到点集间的变换矩阵T1。
对检测得到的特征点进行点集配准的方法有:尺度不变特征SIFT方法,完全仿射不变特征ASIFT方法等。本实例采用基于基于概率分布的点集配准方法对上述检测到的特征点进行点集配准,其步骤如下:
7a)把待配准图像检测点集Y中的所有点作为高斯混合模型GMM的图心;
7b)根据参考图像检测点集X中的任意一点xn与待配准图像检测点集Y中的点的对应关系,生成条件概率密度函数:
其中,σ表示高斯混合模型中单个高斯函数的标准差,M表示待配准图像检测点集Y中元素的个数;
7c)根据参考图像检测点集X中的所有点与待配准图像检测点集Y中的所有点的对应关系,生成对数似然估计函数:
7d)利用期望最大化EM算法,计算出使对数似然估计函数l(σ,T1)取得极值时的T1矩阵。
步骤8,根据参考图像的归一化区域M和待配准图像的归一化区域N,估计参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2。
其中,MA和MB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的二阶矩矩阵,HA和HB分别表示二阶矩矩阵MA和MB奇异值分解得到的实对称酉矩阵,μA和μB分别表示参考图像A和待配准图像B中所有匹配最大极值区域的质心的均值,θ表示待配准图像B相对于参考图像A的旋转角度。
步骤9,根据点集间的变换矩阵T1和参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2,计算参考图像A与待配准图像B之间的仿射变换矩阵T:
T=Tc1 -1T1Tc2;
步骤10,按照仿射变换矩阵T对待配准图像B进行变换,再对变换得到的图像进行双线性插值,完成图像配准。
本发明的效果可以通过以下仿真进一步说明:
1.仿真条件:所有仿真实验都是在Windows XP操作***下采用Matlab R2009a软件实现。
2.仿真内容:
仿真1
将本发明对一组大尺度变化图像进行配准的实验结果与现有基于尺度不变特征SIFT对该组图像的实验结果进行比较,结果如图2。
其中:
图2(a)为输入的参考图像,
图2(b)为输入的待配准图像,
图2(c)为用基于尺度不变特征SIFT的图像配准方法对两幅输入图像进行配准的结果,
图2(d)为对基于尺度不变特征SIFT的图像配准结果的局部显示,
图2(e)为采用本发明对两幅输入图像进行配准的结果,
图2(f)为对本发明的图像配准结果的局部显示。
从图2可以看出,采用基于尺度不变特征SIFT的图像配准方法得到的配准结果对应的局部区域存在明显的配准误差,而采用本发明获得的配准结果对应的局部区域的配准误差较小。
统计基于尺度不变特征SIFT的图像配准方法和本发明的图像配准方法在特征点总匹配点数、正确匹配点数、正确匹配率及特征点重复率四种客观评价指标,如表1所示。
表1 基于SIFT方法与本发明方法对四种算法评价指标的结果对比
算法 | 总匹配点数 | 正确匹配点数 | 正确匹配率 | 特征点重复率 |
基于SIFT方法 | 156 | 123 | 0.7885 | 0.1692 |
本发明方法 | 340 | 350 | 0.9714 | 0.4920 |
从表1中数据可以看出,本发明所提出的图像配准方法,在配准具有较大尺度变换的图像时,其四种客观评价指标都要优于基于尺度不变特征SIFT的图像配准方法。
仿真2
用本发明和现有基于最大稳定极值区域MSER的图像配准方法以及基于完全仿射不变特征ASIFT的图像配准方法对一组存在较大仿射变换图像进行配准比较,结果如图3。
其中:
图3(a)为输入的参考图像,
图3(b)为输入的待配准图像,
图3(c)为采用基于最大稳定极值区域MSER的图像配准方法对两幅输入图像配准的结果,
图3(d)为采用基于完全仿射不变特征ASIFT的图像配准方法对两幅输入图像配准的结果,
图3(e)为采用本发明方法对两幅输入图像配准的结果,
从图3可以看出,采用基于最大稳定极值区域MSER的图像配准方法得到的配准结果,基于完全仿射不变特征ASIFT的图像配准方法得到的配准结果图以及采用本发明方法得到的配准结果均具有良好的视觉效果。
为了进一步比较各个算法的性能,给出了对上述三种方法统计获得的四种客观评价指标:特征点总匹配点数、正确匹配点数、正确匹配率及特征点重复率,如表2所示。
表2 基于MSER、ASIFT方法及本发明对四种客观评价指标的结果对比
算法 | 总匹配点数 | 正确匹配点数 | 正确匹配率 | 特征点重复率 |
基于MSER方法 | 106 | 90 | 0.8491 | 0.1466 |
基于ASIFT方法 | 1420 | 1375 | 0.9683 | 0.0448 |
本发明方法 | 137 | 137 | 1.0 | 0.7874 |
从表2中数据可以看出,本发明与基于最大极值区域MSER的方法相比,能够获得更多的匹配点数;本发明与基于完全仿射不变特征ASIFT的方法进行比较,虽然基于完全仿射不变特征ASIFT的方法在正确匹配点对数目方面高于本发明方法,但基于完全仿射不变特征ASIFT的方法的特征点重复率是极低的,这导致了大量存储空间的浪费和较高的计算复杂度。因此,本发明方法不仅能获得较高的正确特征匹配率和特征点重复率,而且在提高运算效率方面也有一定的优势。
Claims (7)
1.一种基于最大稳定极值区域和相位一致性的图像配准方法,包括如下步骤:
(1)分别输入存在仿射变换的两幅图像A和B,其中A为参考图像,B为待配准图像;
(2)对参考图像A和待配准图像B进行最大稳定极值区域MSER检测及匹配;
(3)对参考图像A和待配准图像B相匹配的最大稳定极值区域分别进行拟合,并得到参考图像A扩大后的椭圆拟合区域和待配准图像B扩大后的椭圆拟合区域;
(4)对上述两个椭圆拟合区域归一化:
4a)分别计算参考图像A和待配准图像B中待归一化的点:
其中,zA和zB分别表示参考图像A和待配准图像B中待归一化的点,MA和MB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的二阶矩矩阵,HA和HB分别表示二阶矩矩阵MA和MB奇异值分解得到的实对称酉矩阵,x′A和x′B分别表示图像A和B中扩大后的椭圆区域的点,μA和μB分别表示参考图像A和待配准图像B中所有最大极值区域MSER的质心的均值;
4b)用参考图像A中所有待归一化点zA构成参考图像的归一化区域P,用待配准图像B所有待归一化点zB构成待配准图像的归一化区域Q;
(5)分别对参考图像A的归一化区域P和待配准图像B的归一化区域Q进行基于Gabor滤波器的带通分解,获得这两幅图像包含不同频率成分的子带图像;
(6)对上述两幅图像的子带图像进行基于相位一致性最大矩的特征点检测,并对检测到的特征点进行基于概率分布的点集配准,得到点集间的变换矩阵T1;
(7)根据参考图像的归一化区域P和待配准图像的归一化区域Q,估计参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2;
(8)根据点集间的变换矩阵T1和参考图像A与待配准图像B之间的变换矩阵Tc1,Tc2计算参考图像A与待配准图像B之间的仿射变换矩阵T:
T=Tc1 -1T1Tc2;
(9)按照仿射变换矩阵T对待配准图像B进行变换,再对变换得到的图像进行双线性插值,完成图像配准。
2.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(2)所述的对参考图像A和待配准图像B进行最大稳定极值区域MSER检测及匹配,按如下步骤进行:
2a)对参考图像A和待配准图像B分别进行最大稳定极值区域MSER检测,得到多个具有仿射不变性的不规则极值区域;
2b)将多个具有仿射不变性的不规则极值区域一一对应起来,获得初始的最大稳定极值区域MSER匹配对。
3.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(3)所述的对参考图像A和待配准图像B相匹配的最大稳定极值区域分别进行拟合,按如下步骤进行:
3a)分别检测参考图像A和待配准图像B的最大稳定极值区域MSER的质心;
3b)根据所述两幅图像中得到的最大稳定极值区域MSER的质心,按照下式计算这两幅图像拟合区域的点:
(xA-μA)TUA -1(xA-μA)=(xA-μA)TMA(xA-μA)=1
(xB-μB)TUB -1(xB-μB)=(xB-μB)TMB(xB-μB)=1
其中,xA和xB分别表示参考图像A和待配准图像B中拟合区域的点,μA和μB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的均值,T表示转置,UA和UB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的方差,MA和MB分别表示参考图像A和待配准图像B中所有最大稳定极值区域MSER的质心的二阶矩矩阵;
3c)在参考图像A和待配准图像B中,分别用获得的各自拟合区域点构成初始椭圆拟合区域;
3d)按照下式计算参考图像A中初始椭圆拟合区域的最大容许扩大比例:
其中,kA表示参考图像A中包含初始拟合区域的椭圆长短轴的最大容许扩大倍数,rA和cA分别表示参考图像A的行数和列数,ua和va分别表示参考图像A中所有最大稳定极值区域MSER的质心的均值坐标,xa和ya分别表示参考图像A中拟合区域点的行坐标和列坐标;
3e)按照下式计算待配准图像B中初始椭圆拟合区域的最大容许扩大比例:
其中,kB表示待配准图像B中包含初始拟合区域的椭圆长短轴的最大容许扩大倍数,rB和cB分别表示待配准图像B的行数和列数,ub和vb分别表示待配准图像B中所有匹配最大稳定极值区域的质心的均值坐标,xb和yb分别表示待配准图像B中拟合区域点行坐标和列坐标;
3f)将参考图像A中初始椭圆拟合区域的最大容许扩大比例kA和待配准图像B中初始椭圆拟合区域的扩大比例kB中较小的作为初始椭圆拟合区域的扩大比例k,k=min(kA,kB);
3g)根据扩大比例k计算参考图像A和待配准图像B中扩大后椭圆区域的点:
(x′A-μA)TMA(x′A-μA)=k2
(x′B-μB)TMB(x′B-μB)=k2
其中,x′A和x′B分别表示参考图像A和待配准图像B中扩大后的椭圆区域的点,μA和μB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的均值,MA和MB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的二阶矩矩阵;
3h)分别用参考图像A扩大后的椭圆区域的点x′A和待配准图像B扩大后的椭圆区域的点x′B构成这两幅图像的椭圆拟合区域。
4.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(5)所述的分别对参考图像A和待配准图像B中获得的归一化区域进行基于Gabor滤波器的带通分解,按如下步骤进行:
5a)设计具有5个带通滤波器的Gabor带通滤波器组G(u,v,λ):
其中,u和v表示带通滤波器的频域坐标,K表示每个带通滤波器的方向数,K的取值为6,θi表示带通滤波器的朝向,i=-6,-5,-4,...,4,5,6,λ是带通滤波器的尺度因子,每个带通滤波器的λ取值不同,即第一个带通滤波器值的为第二个带通滤波器值的为2,第三个带通滤波器值的为第四个带通滤波器值的为4,第五个带通滤波器值的为
5b)利用设计的带通滤波器组,按照下式对从参考图像A和待配准图像B中获得的归一化区域进行带通分解:
其中,IA(x,y)和IB(x,y)分别表示从参考图像A和待配准图像B中获得的归一化区域,F[·]表示傅里叶变换,F-1[·]表示傅里叶逆变换,表示对应于参考图像A的子带图像,表示对应于待配准图像B的子带图像。
5.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(6)所述的对上述两幅图像的子带图像进行基于相位一致性最大矩的特征点检测,按如下步骤进行:
6a)分别对参考图像A的各个子带图像,进行基于相位一致性最大矩的特征点检测,从包含特征点数目最多的子带图像中选择特征点并将其作为参考图像A的特征点检测结果;
6b)按照下式将参考图像A中检测到的特征点构成一个点集:
X=[x1 x2 …xn… xN]100≤N≤500
其中,X表示参考图像A中检测到的特征点构成的点集,xn表示参考图像A中检测到的第n个特征点,n=1,2,...,N,N表示参考图像A中检测到的特征点的数目;
6c)分别对待配准图像B的各个子带图像,进行基于相位一致性最大矩的特征点检测,从包含特征点数目最多的子带图像中选择特征点并将其作为待配准图像B的特征点检测结果;
6d)按照下式将待配准图像B中检测到的特征点构成一个点集:
Y=[y1 y2 …ym… yM]100≤M≤500
其中,Y表示待配准图像B中检测到的特征点构成的点集,ym表示待配准图像B中检测到的第m个特征点,m=1,2,...,M,M表示待配准图像B中检测到的特征点的数目。
6.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(6)所述的对检测到的特征点进行基于概率分布的点集配准,得到点集间的变换矩阵T1,按如下步骤进行:
6e)把待配准图像检测点集Y中的所有点作为高斯混合模型GMM的图心;
6f)根据参考图像检测点集X中的任意一点xn与待配准图像检测点集Y中的点的对应关系,生成条件概率密度函数:
其中,σ表示高斯混合模型中单个高斯函数的标准差,M表示待配准图像检测点集Y中元素的个数;
6g)根据参考图像检测点集X中的所有点与待配准图像检测点集Y中的所有点的对应关系,生成对数似然估计函数:
6h)利用期望最大化EM算法,计算出使对数似然估计函数l(σ,T1)取得极值时的T1矩阵。
7.根据权利要求1所述的基于最大稳定极值区域和相位一致性的图像配准方法,其中步骤(7)所述的估计参考图像A和待配准图像B之间的变换矩阵Tc1,Tc2,按照下式计算:
其中,MA和MB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的二阶矩矩阵,HA和HB分别表示二阶矩矩阵MA和MB奇异值分解得到的实对称酉矩阵,μA和μB分别表示参考图像A和待配准图像B中所有匹配最大稳定极值区域的质心的均值,θ表示待配准图像B相对于参考图像A的旋转角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410696329.6A CN104616280B (zh) | 2014-11-26 | 2014-11-26 | 基于最大稳定极值区域和相位一致性的图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410696329.6A CN104616280B (zh) | 2014-11-26 | 2014-11-26 | 基于最大稳定极值区域和相位一致性的图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104616280A CN104616280A (zh) | 2015-05-13 |
CN104616280B true CN104616280B (zh) | 2017-07-28 |
Family
ID=53150713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410696329.6A Expired - Fee Related CN104616280B (zh) | 2014-11-26 | 2014-11-26 | 基于最大稳定极值区域和相位一致性的图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104616280B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105741297B (zh) * | 2016-02-02 | 2018-08-24 | 南京航空航天大学 | 一种具有仿射不变性的重复模式图像匹配方法 |
CN106485741A (zh) * | 2016-10-19 | 2017-03-08 | 哈尔滨工业大学 | 一种保留局部结构的非刚点集配准的方法 |
CN106815851B (zh) * | 2017-01-24 | 2019-05-24 | 电子科技大学 | 一种基于视觉测量的栅格圆形油位计自动读数方法 |
CN106996777B (zh) * | 2017-04-21 | 2019-02-12 | 合肥井松自动化科技有限公司 | 一种基于地面图像纹理的视觉导航方法 |
CN108428224B (zh) * | 2018-01-09 | 2020-05-22 | 中国农业大学 | 基于卷积神经网的动物体表温度检测方法及装置 |
CN108537832B (zh) * | 2018-04-10 | 2021-11-26 | 安徽大学 | 基于局部不变灰度特征的图像配准方法、图像处理*** |
CN112233158B (zh) * | 2020-10-14 | 2022-02-15 | 俐玛精密测量技术(苏州)有限公司 | 微纳米ct投影图像的二次投影配准方法 |
CN112986329B (zh) * | 2021-02-07 | 2022-03-25 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751673A (zh) * | 2009-12-24 | 2010-06-23 | 中国资源卫星应用中心 | 基于相位一致特征的多光谱图像配准检测修正方法 |
CN102930525A (zh) * | 2012-09-14 | 2013-02-13 | 武汉大学 | 基于仿射不变特征与单应矩阵的线匹配方法 |
CN103400384A (zh) * | 2013-07-22 | 2013-11-20 | 西安电子科技大学 | 结合区域匹配和点匹配的大视角图像匹配方法 |
CN103914847A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 基于相位一致性和sift的sar图像配准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101677559B1 (ko) * | 2013-03-22 | 2016-11-18 | 한국전자통신연구원 | 영상 정합 장치 및 그것의 동작 방법 |
-
2014
- 2014-11-26 CN CN201410696329.6A patent/CN104616280B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751673A (zh) * | 2009-12-24 | 2010-06-23 | 中国资源卫星应用中心 | 基于相位一致特征的多光谱图像配准检测修正方法 |
CN102930525A (zh) * | 2012-09-14 | 2013-02-13 | 武汉大学 | 基于仿射不变特征与单应矩阵的线匹配方法 |
CN103400384A (zh) * | 2013-07-22 | 2013-11-20 | 西安电子科技大学 | 结合区域匹配和点匹配的大视角图像匹配方法 |
CN103914847A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 基于相位一致性和sift的sar图像配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104616280A (zh) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104616280B (zh) | 基于最大稳定极值区域和相位一致性的图像配准方法 | |
CN103116763B (zh) | 一种基于hsv颜色空间统计特征的活体人脸检测方法 | |
CN103310453B (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
CN101271525B (zh) | 一种快速的图像序列特征显著图获取方法 | |
CN103268497B (zh) | 一种人脸姿态检测方法与在人脸识别中的应用 | |
CN101551863B (zh) | 基于非下采样轮廓波变换的遥感图像道路提取方法 | |
Chen et al. | Robust local features for remote face recognition | |
CN107909059A (zh) | 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 | |
CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
CN102629374B (zh) | 基于子空间投影和邻域嵌入的图像超分辨率重建方法 | |
Tan et al. | Image co-saliency detection by propagating superpixel affinities | |
CN103208097B (zh) | 图像多方向形态结构分组的主分量分析协同滤波方法 | |
CN102663371B (zh) | 一种耦合步态特征的低分辨率人脸识别方法 | |
CN107506688B (zh) | Harris角点检测影像金字塔掌纹ROI识别方法 | |
CN105046664A (zh) | 一种基于自适应epll算法的图像去噪方法 | |
CN108021869A (zh) | 一种结合高斯核函数的卷积神经网络跟踪方法 | |
CN104794729B (zh) | 基于显著性引导的sar图像变化检测方法 | |
CN103034865A (zh) | 一种基于多尺度相对熵的视觉显著区域提取方法 | |
CN104392241A (zh) | 一种基于混合回归的头部姿态估计方法 | |
Redondo-Cabrera et al. | All together now: Simultaneous object detection and continuous pose estimation using a hough forest with probabilistic locally enhanced voting | |
CN105488541A (zh) | 增强现实***中基于机器学习的自然特征点识别方法 | |
CN106023187A (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
CN107958443A (zh) | 一种基于脊线特征和tps形变模型的指纹图像拼接方法 | |
CN103839066A (zh) | 一种源于生物视觉的特征提取方法 | |
CN108197577B (zh) | 联合Sobel和MFRAT的指静脉图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170728 |