CN106023230A - 一种适合变形图像的稠密匹配方法 - Google Patents

Abstract

一种适合变形图像的稠密匹配方法，属于图像匹配技术领域，该方法包括步骤1：分别在左图像和右图像中人工提取匹配特征点对；步骤2：利用二次多项式纠正原始右图像的相对变形，得到纠正后的右图像；步骤3：对左图像和纠正后的右图像进行稠密匹配；步骤4：确定左图像中像素点在原始右图像中的匹配像素点的像素坐标；本发明将多项式纠正和坐标对应关系保存机制用于变形图像的稠密匹配，可用于多种情况下的图像匹配，特别在图像发生较大变形的情况下也能获得较好的匹配效果，同时为多源图像的稠密匹配提供了新的解决思路，在纠正后的图像中采用相对视差约束搜索区域，缩小了匹配点的搜索范围，提高了匹配效率，增加了匹配结果的可靠性。

Description

一种适合变形图像的稠密匹配方法

技术领域

本发明属于图像匹配技术领域，具体涉及一种适合变形图像的稠密匹配方法。

背景技术

针对变形图像对之间的匹配，国内学者开展了较多的关于特征匹配的研究，杨恒等在2010年提出了一种新的局部不变特征检测和描述算法，首先在每一层尺度图像上提取Harris角点，然后在以Harris角点为中心的固定大小的搜索窗内搜索三维尺度空间的极值点作为局部特征点的位置和特征尺度，最后为每个特征点计算主方向，并采用梯度的距离和方向直方图来描述局部特征，完成特征匹配；陈梦婷等在2012年提出了基于Harris角点和SIFT描述符的高分辨率遥感影像匹配算法，首先进行Harris角点提取，然后对得到的点进行SIFT描述，最后使用最近邻/次近邻比值法完成匹配；赵西安等在2012年提出了一种具有尺度与旋转不变性的立体影像自动匹配方法，首先基于方向小波变换构造三尺度特征点算子，进行两尺度匹配，保证其尺度不变性问题，其次构造特征点64维描述向量，解决影像匹配的旋转不变性，最终完成特征匹配；叶沅鑫等在2013年提出了一种结合SIFT和边缘信息的多源遥感影像匹配方法，首先在高斯差分尺度空间进行特征点检测，并采用相位一致性提取可靠的边缘信息，然后结合改进的SIFT和形状上下文对特征点进行描述，最后将欧氏距离作为相似性测度获取同名点，完成特征匹配；张正鹏等在2014年提出了光流特征聚类的车载全景序列影像匹配方法，采用非参数化的均值漂移特征聚类思想，以SIFT多尺度特征匹配点的位置量和光流矢量，构建了影像特征空间的空域和值域，利用特征空间中对应的显著图像光流特征为聚类条件，实现了全景序列影像的匹配，并采用极线几何约束进行了误匹配的剔除；徐秋辉等在2015年提出了改进的DCCD和SIFT描述符的影像匹配方法，采用改进的DCCD快速检测影像上的关键点，然后确定关键点的主方向，生成特征点，采用SIFT描述符描述特征点，得到特征匹配结果后，通过BBF算法和随机采样一致性算法(RANSAC)进行特征点粗匹配和误匹配特征点剔除；张正鹏等在2015年提出了自适应运动结构特征的车载全景序列影像匹配方法，首先以采样点在空间域和光流域的局部空间结构定义自适应的带宽矩阵，采用局部光流特征向量的距离加权法，描述光流域上运动相似性结构特征的松弛扩散过程，然后给出自适应多变量核密度函数的表达形式，并给出了均值漂移向量的求解、终止条件以及种子点的选择方法，最后融合SIFT描述特征与运动结构特征，建立统一的全景影像匹配框架；肖雄武等在2015年提出了一种具有仿射不变性的倾斜影像快速匹配方法，首先通过估算影像的相机轴定向参数计算出初始仿射矩阵，通过逆仿射变换得到纠正影像，对纠正影像进行SIFT匹配，并通过多重约束提高匹配精度和可靠性；闫利等在2015年提出了分片纠正的球面全景影像匹配方法，先将等距形投影的全景影像按经纬度分成若干子影像块，对每个子块进行投影转换以得到畸变纠正后的影像，并对其做SIFT特征描述和提取，合并所有结果即可获得整幅全景影像的特征集，进而完成多幅全景影像间的特征匹配；赵宝玮等在2015年提出了视差约束的改进Hough变换多光谱影像匹配方法，该方法使用金字塔影像匹配策略，顶层金字塔影像通过尺度不变特征转换算子进行匹配来提供初始的视差约束条件，其他各层金字塔左右影像利用改进Hough变换影像方法进行匹配，匹配过程中利用上层匹配结果为当前层影像匹配提供视差约束条件，最终完成特征匹配。

上述学者的研究结果虽然都取得了较好的匹配效果，但是通过特征匹配只能完成低精度的三维表面重建，即得到三维表面的框架，不能完成精度要求较高的三维重建，仍需要通过进一步的稠密匹配来完成。通用的稠密匹配方法通常是采用一定的匹配测度作为衡量两个像素点是否为匹配点的依据，如：绝对差和、差平方和、截断绝对差、归一化互相关、去均值归一化互相关等方法，该类方法对噪声敏感，只能对理想的图像完成稠密匹配，对于发生较大变形的图像，由于利用匹配窗口进行匹配测度计算时，原本为匹配点的像素发生了变形，导致匹配测度计算出现偏差，从而影响到最终的匹配结果。

陈旺等在2009年提出了基于区域边界约束和图割优化的稠密匹配算法，该方法利用区域边界和边界像素间的约束构建能量函数，使得该函数既能求得全局最优解，又能使最终的重建表面较为平滑，最后采用计算机视觉领域中的经典图像获得了较好的稠密匹配结果，该方法在图像发生缩放时，其实现过程中基于窗口的区域匹配会出现偏差。葛亮等在2010年提出了一种改进的立体像对稠密匹配算法，该方法首先利用区域增长技术找到图像中的纹理单一区域，然后将整个区域作为匹配基元以得到纹理单一区域的稠密视差图，最后采用国际标准测试图像进行了实验，证明了方法的可行性与准确性，该方法重点处理了纹理单一区域、但当图像发生变形时，纹理单一的区域也会发生变形，导致算法的效率降低。李海滨等在2012年提出了基于候选点稠密匹配的三维场景重构方法，在空间中建立代表深度信息的网格节点，并对深度方向的节点分布进行合理规划，提高匹配的时效性，同时采用三目视觉***代替双目，通过进行二次判决提高匹配的可靠性，该方法主要针对经典的双目立体图像进行处理，当外参数矩阵未知，且图像间发生相对旋转时，则无法完成图像的极线校正，从而不能完成后续稠密匹配。胡春海等在2013年提出了视差生长与张量相结合的多基线稠密匹配，利用SIFT算子进行初步的特征匹配，采用特征匹配结果作为稠密匹配的根点进行视差生长，并采用三视图进行匹配约束，提高稠密匹配精度，但是采用三视图作为稠密匹配的约束，当图像仅为两幅时，则无法完成算法提出的约束条件，从而影响到最终匹配结果的可靠性。张洁琳等在2014年提出了一种分层匹配方法，首先利用热核信号函数检测特征点，并采用局部融合策略和最远点采样法进行特征匹配结果的优化，在特征点集的基础上构造热核信号描述子，并利用熵将特征点按显著性排序作初始层匹配，再通过特征点各层邻域的局部匹配最终实现由粗到细的稠密匹配，该方法对于纹理重复的区域会造成拓扑关系混淆的问题。

发明内容

针对上述现有技术存在的不足，本发明提供一种适合变形图像的稠密匹配方法。

本发明的技术方案如下：

一种适合变形图像的稠密匹配方法，包括如下步骤：

步骤1：分别在左图像和右图像中人工提取匹配特征点对；

所述左图像和右图像为相对变形的一对原始待匹配图像；所述匹配特征点对大于5对；所述匹配特征点对构成匹配特征点，能够覆盖左图像和原始右图像的重叠区域；

步骤2：利用二次多项式纠正原始右图像的相对变形，得到纠正后的右图像；

步骤2-1：将左图像中匹配特征点的像素坐标转换为像平面直角坐标，将原始右图像中所有像素点的像素坐标转换为像平面直角坐标；

步骤2-2：将匹配特征点的像平面直角坐标代入式(1)所示的二次多项式，求解该二次多项式的系数；

$\left\{\begin{array}{c}{x}^{\′}=a_0+a_1{X}^{\′}+a_2{Y}^{\′}+a_3{X}^{\′2}+a_4{X}^{\′}{Y}^{\′}+a_5{Y}^{\′2}\\ y^{\′}=b_0+b_1{X}^{\′}+b_2{Y}^{\′}+b_3{X}^{\′2}+b_4{X}^{\′}{Y}^{\′}+b_5{Y}^{\′2}\end{array}\right.---\left(1\right)$

其中，(X'，Y')为原始右图像中匹配特征点的像平面直角坐标；(x'，y')为左图像中匹配特征点的像平面直角坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为二次多项式系数；

步骤2-3：对原始右图像中所有像素点进行如下操作，得到纠正后的右图像：首先，将原始右图像中像素坐标为(I，J)的像素点对应的像平面直角坐标(X，Y)代入式(2)所示的二次多项式，得到纠正后该像素点的像平面直角坐标(X_new，Y_new)，然后再将该像平面直角坐标(X_new，Y_new)转换为像素坐标(I_new，J_new)；

$\left\{\begin{array}{c}{X}_{new}=a_0+a_{1}X+a_{2}Y+a_3{X}^2+a_{4}XY+a_5{Y}^2\\ Y_{new}=b_0+b_{1}X+b_{2}Y+b_3{X}^2+b_{4}XY+b_5{Y}^2\end{array}\right.---\left(2\right)$

其中，(X，Y)为原始右图像像素点的像平面直角坐标；(X_new，Y_new)为纠正后的右图像中像素点的像平面直角坐标；a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为由步骤2-2求解的多项式系数；

步骤2-4：根据原始右图像中像素点的像素坐标(I，J)与纠正后右图像中像素点像素坐标(I_new，J_new)的对应关系，划分纠正后的右图像中像素点的类别，根据纠正后的右图像中像素点的类别确定纠正后右图像中像素点的像素坐标(I_new，J_new)位置的灰度值，具体方法为：判断原始右图像中像素点的像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)的对应关系，如果原始右图像中像素点像素坐标(I，J)与纠正后右图像中像素点的像素坐标(I_new，J_new)为一一对应关系，则将该纠正后右图像像素点记为a类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中像素点的像素坐标(I，J)的对应关系，且将原始右图像中像素点的像素坐标(I，J)位置的灰度值赋给正后右图像像素点的像素坐标(I_new，J_new)位置；如果原始右图像中有多个像素点的像素坐标(I，J)与纠正后右图像中同一个像素点的像素坐标(I_new，J_new)对应，则将该纠正后右图像像素点记为b类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中多个像素点的像素坐标(I，J)的对应关系，且将所有与纠正后右图像像素点的像素坐标(I_new，J_new)对应的原始右图像中像素点的像素坐标(I，J)位置的灰度值取平均值后赋给纠正后右图像像素点的像素坐标(I_new，J_new)位置；如果原始右图像中没有像素点与纠正后右图像像素点的像素坐标(I_new，J_new)对应，则将该类纠正后右图像像素点记为c类像素点，并使用双线性内插法计算出纠正后右图像像素点的像素坐标(I_new，J_new)位置的灰度值；

步骤3：对左图像和纠正后的右图像进行稠密匹配；

步骤4：根据左图像中像素点在纠正后右图像中匹配像素点的类别，确定左图像中像素点在原始右图像中的匹配像素点的像素坐标位置，具体方法为：对左图像中每一个像素点依次进行如下操作：如果左图像中像素点在纠正后的右图像中的匹配像素点为a类像素点，则根据步骤2-4中针对a类像素点保存的坐标对应关系，用原始右图像中的像素坐标代替纠正后的右图像中匹配像素点的像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为b类像素点，则对左图像中像素点采用SIFT算子生成特征描述符，对纠正后的右图像中的匹配像素点对应的原始右图像中的多个像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为c类像素点，将该纠正后的右图像中的匹配像素点的像素坐标转换为像平面直角坐标，然后再按照式(2)所示的二次多项式的逆变换，求解该匹配像素点在原始右图像中的像平面直角坐标后，分别对左图像中像素点和原始右图像中相应的像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点的像素坐标。

有益效果：本发明针对匹配图像之间发生变形的图像匹配问题提出的一种适合变形图像的稠密匹配方法，具有一下优点：

1、相对现有解决变形图像匹配问题的方法，本发明可以得到稠密的匹配结果，为完成精细的三维表面重构提供条件，克服了以往解决变形图像匹配问题时只能采用特征匹配的不足；

2、相对于现有稠密匹配方法，本发明可以适应更多情况下的图像匹配，特别在图像发生较大变形的情况下也能获得更好的匹配效果；

3、首次将多项式纠正和坐标对应关系保存机制用于变形图像的稠密匹配，为多源图像的稠密匹配提供了新的解决思路；

4、采用多项式纠正图像间变形，在纠正后的右图像中采用视差约束搜索区域来进行匹配点搜索，缩小了匹配点的搜索范围，降低了匹配过程耗时，提高了匹配效率；

5、采用多项式纠正后的位置作为匹配点搜索的约束条件，增加了匹配过程的可靠性，特别增加了纹理重复等区域匹配结果的可靠性。

附图说明

图1为本发明一种实施方式的适合变形图像的稠密匹配方法流程图；

图2(a)为本发明一种实施方式的待匹配图像对中左图像示意图；

图2(b)为本发明一种实施方式的待匹配图像对中右图像示意图；

图3为本发明一种实施方式纠正后的右图像示意图；

图4(a)为本发明一种实施方式的3×3匹配模版示意图；

图4(b)为本发明一种实施方式的3×3搜索区域示意图。

具体实施方式

下面结合附图对本发明的一种实施方式作详细说明。

如图1所示，本实施方式的适合变形图像的稠密匹配方法，包括如下步骤：

步骤1：分别在左图像和右图像中人工提取9对匹配特征点对，左图像和右图像为相对变形的一对原始待匹配图像；匹配特征点对构成匹配特征点，能够覆盖左图像和右图像的重叠区域，如图2所示，其中图2(a)为左图像，图2(b)为右图像，图2(b)中黑色边框内为右图像与左图像的重叠区域，白色圆框代表特征匹配点分布的位置；

步骤2：利用二次多项式纠正原始右图像的相对变形，得到纠正后的右图像；

步骤2-1：分别将左图像中匹配特征点的像素坐标及原始右图像中所有像素点的像素坐标转换为像平面直角坐标；

设定左图像或右图像中像素点的像素坐标为(I，J)，其中像素坐标系的原点位于图像的左上角，X轴水平方向向右为正，Y轴垂直方向向下为正，结合图像像素大小及像主点坐标，将像素坐标转换为像平面直角坐标(X，Y)，其中像平面直角坐标系的原点位于图像中心，X轴水平方向向右为正，Y轴垂直方向向上为正，转换公式如下：

$\begin{array}{c}X=(J-W/2)\×P-x_0\\ Y=(H/2-I)\×P-y_0\end{array}---\left(1\right)$

其中：W为图像的宽度，H为图像的高度，P为像素大小，x₀为像主点横坐标，y₀为像主点纵坐标；

步骤2-2：将9对将匹配特征点的像平面直角坐标代入式(2)所示的二次多项，求解该二次多项式的系数：

$\left\{\begin{array}{c}{x}^{\′}=a_0+a_1{X}^{\′}+a_2{Y}^{\′}+a_3{X}^{\′2}+a_4{X}^{\′}{Y}^{\′}+a_5{Y}^{\′2}\\ y^{\′}=b_0+b_1{X}^{\′}+b_2{Y}^{\′}+b_3{X}^{\′2}+b_4{X}^{\′}{Y}^{\′}+b_5{Y}^{\′2}\end{array}\right.---\left(2\right)$

其中，(X'，Y')为原始右图像中匹配特征点的像平面直角坐标；(x'，y')为左图像中匹配特征点的像平面直角坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为二次多项式系数；本实施例中二次多项式系数的求解方法如下：

步骤2-2-1、由于在实际求解过程中，式(2)左右两侧的数值不可能绝对相同，因此，将式(2)改写为误差方程的形式：

$\left\{\begin{array}{c}{v}_{x^{\′}}=a_0+a_1{X}^{\′}+a_2{Y}^{\′}+a_3{X}^{\′2}+a_4{X}^{\′}{Y}^{\′}+a_5{Y}^{\′2}-x^{\′}\\ v_{y^{\′}}=b_0+b_1{X}^{\′}+b_2{Y}^{\′}+b_3{X}^{\′2}+b_4{X}^{\′}{Y}^{\′}+b_5{Y}^{\′2}-y^{\′}\end{array}\right.---\left(3\right)$

其中，v_x'和v_y'为二次多项式的求解误差；

步骤2-2-2、将上述误差方程改写为矩阵和向量的形式：v＝AZ-l，具体公式如下：

$\left[\begin{array}{c}{V}_{x^{\′}}\\ V_{y^{\′}}\end{array}\right]=\left[\begin{array}{cccccc}1& X^{\′}& Y^{\′}& X^{\′2}& X^{\′}{Y}^{\′}& Y^{\′2}\\ 1& X^{\′}& Y^{\′}& X^{\′2}& X^{\′}{Y}^{\′}& Y^{\′2}\end{array}\right]\left[\begin{array}{cc}{a}_0& b_0\\ a_1& b_1\\ a_2& b_2\\ a_3& b_3\\ a_4& b_4\\ a_5& b_5\end{array}\right]-\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]---\left(4\right)$

其中：

将9对匹配特征点的像平面直角坐标代入，通过最小二乘方法：Z＝(A^TA)^-1A^Tl，计算多项式的各项系数；

步骤2-3：对原始右图像中所有像素点进行如下操作，得到如图3所示的纠正后的右图像：首先，将原始右图像中像素坐标为(I，J)的像素点对应的像平面直角坐标(X，Y)代入式(2)所示的二次多项式，得到纠正后像素该点的像平面直角坐标(X_new，Y_new)，然后再将该像平面直角坐标(X_new，Y_new)转换为像素坐标(I_new，J_new)

$\left\{\begin{array}{c}{X}_{new}=a_0+a_{1}X+a_{2}Y+a_3{X}^2+a_{4}XY+a_5{Y}^2\\ Y_{new}=b_0+b_{1}X+b_{2}Y+b_3{X}^2+b_{4}XY+b_5{Y}^2\end{array}\right.---\left(5\right)$

其中，(X，Y)为原始右图像像素点的像平面直角坐标；(X_new，Y_new)为原始右图像中像平面直角坐标为(X，Y)的像素点纠正后的像平面直角坐标；a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为步骤2-2求解的多项式系数；

所述对初始像素坐标进行取整具体是将初始像素坐标的横坐标和纵坐标分别加0.5并向下取整；

步骤2-4：对于图3所示的右图像，由于取整操作使原像素坐标(I，J)与像素坐标(I_new，J_new)存在3种对应关系，首先根据原始右图像中像素点的像素坐标(I，J)与纠正后右图像中像素点像素坐标(I_new，J_new)的对应关系，划分纠正后的右图像像素点的类别，然后根据纠正后的右图像中像素点的类别确定纠正后右图像中像素点的像素坐标(I_new，J_new)位置的灰度值，具体方法为：判断原始右图像中像素点的像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)的对应关系，如果原始右图像中像素点像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)的为一一对应关系，则将该类纠正后右图像像素点记为a类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中像素点的像素坐标(I，J)的对应关系，将原始右图像中像素点的像素坐标(I，J)位置的灰度值赋给正后右图像像素点的像素坐标(I_new，J_new)位置；如果有多个原始右图像中像素点的像素坐标(I，J)与纠正后右图像中同一个像素点的像素坐标(I_new，J_new)对应，则将该类纠正后右图像像素点记为b类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中多个像素点的像素坐标(I，J)的对应关系，将所有与纠正后右图像像素点的像素坐标(I_new，J_new)对应的原始右图像中像素点的像素坐标(I，J)位置的灰度值取平均值后赋给纠正后右图像像素点的像素坐标(I_new，J_new)位置；如果没有原始右图像中像素点的像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)对应，则将该类纠正后右图像像素点记为c类像素点，使用双线性内插法计算出纠正后右图像像素点的像素坐标(I_new，J_new)位置的灰度值；

步骤3：对左图像和纠正后的右图像进行稠密匹配；

步骤3-1：在左图像中选定大于1的奇数×大于1的奇数大小的区域作为匹配模板，选择区域中心位置的像素点作为待匹配像素点，本实施方式中选择左图像中像素坐标为(3，3)的像素点作为待匹配像素点，选择3×3大小的区域作为匹配模板，如图4(a)所示深灰色实线框内的区域；

步骤3-2：首先人工从左图像和纠正后的右图像中任意选择一对匹配点，计算左图像和纠正后的右图像的左右视差p和上下视差q；然后在纠正后的右图像中以像素位置为(3+q，3+p)的像素点为中心，选择大于1的奇数×大于1的奇数大小的区域作为搜索区域，即像素坐标包括(2+q，2+p)、(2+q，3+p)、(2+q，4+p)、(3+q，2+p)、(3+q，3+p)、(3+q，4+p)、(4+q，2+p)、(4+q，3+p)、(4+q，4+p)像素位置的区域，本实施方式中p＝566，q＝370，本实施方式像素位置为(373，569)的像素点作为搜索区域中心，选择3×3大小的区域作为搜索区域，如图4(b)所示虚线框内的区域；

步骤3-3：依次以纠正后的右图像中搜索区域内像素点为中心像素点，以每个中心像素点与其周围的若干个像素点组成与匹配模板同样大小的区域作为目标区域，例如以图4(b)所示虚线框内的搜索区域中的像素点位置为(2+q，2+p)的像素点为中心，及其周围的8个像素点组成与图4(a)所示的3×3匹配模板同样大小的区域作为目标区域，如图4(b)所示灰色实线框内的区域；利用公式(6)计算每个目标区域中像素点与匹配模版中像素点的相关系数；然后选择相关系数最大的像素点作为待匹配像素点在纠正后的右图像中的匹配像素点；

所述相关系数计算公式如下：

$\mathrm{\ρ}=\frac{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}(g_{i,j}\·g_{i+r,j+c}^{\′})-\frac{1}{m\·n}\left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g}_{i,j}\right)\left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g}_{i+r,j+c}^{\′}\right)}{\sqrt{\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g^2}_{i,j}-\frac{1}{m\·n}{\left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g}_{i,j}\right)}^2\]\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g}_{i+r,j+c}^{\′2}-\frac{1}{m\·n}{\left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{g}_{i+r,j+c}^{\′}\right)}^2\]}}---\left(6\right)$

式中：ρ为相关系数；(c,r)为中心像素点像素坐标与待匹配像素点像素坐标的差；g_i,j为以左图像匹配模版左上角为像素坐标系坐标原点时，像素坐标(i,j)位置的灰度值；g′_i,j为以纠正后的右图像目标区域左上角为像素坐标系坐标原点时，像素坐标(i,j)位置的灰度值；m、n分别为匹配模版的高度和宽度；g_i+r,j+c为以左图像匹配模版左上角为像素坐标系坐标原点时，像素坐标(i+r,j+c)位置的灰度值；g′_i+r,j+c为以纠正后的右图像目标区域左上角为像素坐标系坐标原点时，像素坐标(i+r,j+c)位置的灰度值；所述高度和宽度以像素为单位，如3×3的匹配区域，表示匹配区域为3个像素的高度和3个像素的宽度；

步骤4：根据左图像中像素点在纠正后右图像中匹配像素点的类别，确定左图像中像素点在原始右图像中的匹配像素点的像素坐标位置，具体方法为：对左图像中每一个像素点依次进行如下操作：如果左图像中像素点在纠正后的右图像中的匹配像素点为a类像素点，根据步骤2-4中针对a类像素点保存的坐标对应关系，用原始右图像中的像素坐标代替纠正后的右图像中匹配像素点的像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为b类像素点，对左图像中像素点采用SIFT算子生成特征描述符，对纠正后的右图像中的匹配像素点对应的原始右图像中的多个像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为c类像素点，将该纠正后的右图像中的匹配像素点的像素坐标转换为像平面直角坐标，然后再按照式(5)所示的二次多项式的逆变换，求解该匹配像素点在原始右像中的像平面直角坐标后，分别对左图像中像素点和原始右图像中相应的像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点的像素坐标，所述原始右图像中相应的像素点，指的是将原始右像中的像平面直角坐标转换为未取整的像素坐标后，再将前述未取整的像素坐标的横坐标和纵坐标分别向上或向下取整后得到的前述未取整像素坐标周围的4个像素点。

Claims (4)

1.一种适合变形图像的稠密匹配方法，其特征在于：所述方法包括：

步骤1：分别在左图像和右图像中人工提取匹配特征点对；

所述左图像和右图像为相对变形的一对原始待匹配图像；所述匹配特征点对大于5对；所述匹配特征点对构成匹配特征点，能够覆盖左图像和右图像的重叠区域；

步骤2：利用二次多项式纠正原始右图像的相对变形，得到纠正后的右图像；

步骤3：对左图像和纠正后的右图像进行稠密匹配；

步骤4：确定左图像中像素点在原始右图像中的匹配像素点的像素坐标。

2.根据权利要求1所述的适合变形图像的稠密匹配方法，其特征在于：所述步骤2包括：

步骤2-1：将左图像中匹配特征点的像素坐标转换为像平面直角坐标，将原始右图像中所有像素点的像素坐标转换为像平面直角坐标；

步骤2-2：将匹配特征点的像平面直角坐标代入式(1)所示的二次多项式，求解该二次多项式的系数；

$\left\{\begin{array}{c}{x}^{\′}=a_0+a_1{X}^{\′}+a_2{Y}^{\′}+a_3{X}^{\′2}+a_4{X}^{\′}{Y}^{\′}+a_5{Y}^{\′2}\\ y^{\′}=b_0+b_1{X}^{\′}+b_2{Y}^{\′}+b_3{X}^{\′2}+b_4{X}^{\′}{Y}^{\′}+b_5{Y}^{\′2}\end{array}\right.---\left(1\right)$

其中，(X'，Y')为原始右图像中匹配特征点的像平面直角坐标；(x'，y')为左图像中匹配特征点的像平面直角坐标，a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为二次多项式系数；

步骤2-3：对原始右图像中所有像素点进行如下操作，得到纠正后的右图像：首先，将原始右图像中像素坐标为(I，J)的像素点对应的像平面直角坐标(X，Y)代入式(2)所示的二次多项式，得到纠正后该像素点的像平面直角坐标(X_new，Y_new)，然后再将该像平面直角坐标(X_new，Y_new)转换为像素坐标(I_new，J_new)；

$\left\{\begin{array}{c}{X}_{new}=a_0+a_{1}X+a_{2}Y+a_3{X}^2+a_{4}XY+a_5{Y}^2\\ Y_{new}=b_0+b_{1}X+b_{2}Y+b_3{X}^2+b_{4}XY+b_5{Y}^2\end{array}\right.---\left(2\right)$

其中，(X，Y)为原始右图像像素点的像平面直角坐标；(X_new，Y_new)为纠正后的右图像中像素点的像平面直角坐标；a₀、a₁、a₂、a₃、a₄、a₅、b₀、b₁、b₂、b₃、b₄、b₅为由步骤2-2求解的多项式系数；

步骤2-4：根据原始右图像中像素点的像素坐标(I，J)与纠正后右图像中像素点像素坐标(I_new，J_new)的对应关系，划分纠正后的右图像像素点的类别，根据纠正后的右图像中像素点的类别确定纠正后右图像中像素点的像素坐标(I_new，J_new)位置的灰度值。

3.根据权利要求1所述的适合变形图像的稠密匹配方法，其特征在于：所述步骤4具体方法为：

对左图像中每一个像素点依次进行如下操作：如果左图像中像素点在纠正后的右图像中的匹配像素点为a类像素点，根据步骤2-4中针对a类像素点保存的坐标对应关系，用原始右图像中的像素坐标代替纠正后的右图像中匹配像素点的像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为b类像素点，对左图像中像素点采用SIFT算子生成特征描述符，根据步骤2-4中针对b类像素点保存的坐标对应关系，对纠正后的右图像中的匹配像素点对应的原始右图像中的多个像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点像素坐标；如果左图像中像素点在纠正后的右图像中的匹配像素点为c类像素点，将该纠正后的右图像中的匹配像素点的像素坐标转换为像平面直角坐标，然后再按照式(2)所示的二次多项式的逆变换，求解该匹配像素点在原始右图像中的像平面直角坐标后，分别对左图像中像素点和原始右图像中相应的像素点采用SIFT算子生成特征描述符，进行SIFT特征匹配，确定左图像中像素点在原始右图像中的匹配像素点的像素坐标。

4.根据权利要求2所述的适合变形图像的稠密匹配方法，其特征在于：所述步骤2-4具体方法为：

判断原始右图像中像素点的像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)的对应关系，如果原始右图像中像素点像素坐标(I，J)与纠正后右图像像素点的像素坐标(I_new，J_new)为一一对应关系，则将该类纠正后右图像像素点记为a类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中像素点的像素坐标(I，J)的对应关系，将原始右图像中像素点的像素坐标(I，J)位置的灰度值赋给纠正后右图像像素点的像素坐标(I_new，J_new)位置；如果原始右图像中有多个像素点的像素坐标(I，J)与纠正后右图像中同一个像素点的像素坐标(I_new，J_new)对应，则将该类纠正后右图像像素点记为b类像素点，并记录纠正后右图像像素点的像素坐标(I_new，J_new)与原始右图像中多个像素点的像素坐标(I，J)的对应关系，将所有与纠正后右图像像素点的像素坐标(I_new，J_new)对应的原始右图像中像素点的像素坐标(I，J)位置的灰度值取平均值后赋给纠正后右图像像素点的像素坐标(I_new，J_new)位置；如果原始右图像中没有像素点与纠正后右图像像素点的像素坐标(I_new，J_new)对应，则将该类纠正后右图像像素点记为c类像素点，使用双线性内插法计算出纠正后右图像像素点的像素坐标(I_new，J_new)位置的灰度值。