CN108171651B - 基于多模型几何拟合和分层单应变换的图像对齐方法 - Google Patents

Abstract

本发明属于图像处理方法，为更好的针对不同的平面区域进行不同的单应变换，本发明采取的技术方案是，基于多模型几何拟合和分层单应变换的图像对齐方法，利用多模型几何拟合的方法将提取的特征匹配点分类，分类之后，图像就有了基础层和过渡层，在基础层采用动态直接线性变换方法，在过渡层采用分层单应估计来提高单应变换的精确度。本发明主要应用于图像处理场合。

Description

基于多模型几何拟合和分层单应变换的图像对齐方法

技术领域

本发明属于图像处理方法，关于图像对齐的问题，本发明介绍了一种通过多模型拟合和分层单应变换来处理图像对齐的新方法，能够对于多平面、复杂的图像达到很好的对齐效果，避免重影和模糊。

背景技术

随着科学技术的发展，图像对齐在点云编码、视频稳定以及计算机视觉占据重要地位。图像对齐的基本过程是通过至少两张不同角度拍摄的图像，构造成一个无缝、高清晰和具有更大视野的图像。

图像对齐的核心和关键问题是图像配准问题，而图像配准的性能又取决于估计的单应变换的精确性。因此，图像的单应变换是多年来图像对齐技术研究的重点和难点。

对于图像对齐的研究，国内外研究人员也提出了很多的对齐算法。Hartley等提出了一种基于全局单应变换的方法，可是这种方法要求视差较小而且由于全局变换的局限性(单应矩阵单一)，这种方法导致了严重的重影和图像变形。Zaragoza等提出了一种局部单应变换的方法，基于动态直接线性变换让多单应矩阵尽可能相似来处理图像对齐的问题。Xiang等提出了线性约束和局部变换相结合的方法，这种方法保证了图像对齐的连续性。图像对齐的算法日益成熟，然而，由于在图像重叠区域直接选取两幅图像其中一个进行变形，这种方法容易在重叠区域产生明显的缝隙。如何对多幅图像进行无缝对齐，仍然是一个具有挑战性的问题。

发明内容

由于图像对齐主要依赖于单应变换的准确性，因此,对于单应变换的研究就成为了对齐问题的处理关键。为了更好的针对不同的平面区域进行不同的单应变换，本发明采取的技术方案是，基于多模型几何拟合和分层单应变换的图像对齐方法，利用多模型几何拟合的方法将提取的特征匹配点分类，分类之后，图像就有了基础层和过渡层，在基础层采用动态直接线性变换方法，在过渡层采用分层单应估计来提高单应变换的精确度。

具体步骤是，

1)针对输入源图像I和目标图像I′,利用尺度不变特征转换方法，获得一系列的特征匹配点—Ω＝{x_i}和Ω′＝{x_i′ }，x_i和x_i′ 分别是I和I′的第i个特征匹配点，将Ω和特征匹配点分类并且每个类的单应变换最小化x_i到相应的匹配点x_i′ 的距离，目标函数为：

其中，

λ＞0是衡量数据项

和平滑项

的权重系数；

1-1)

数据项

的作用是最小化x和它对应的匹配点x′的距离，H_i是3×3的单应变换矩阵，

是x_i的齐次坐标，φ(·)代表齐次坐标到非齐次坐标的变换，距离优化函数和D(H_i,x_i,x_i′ )衡量的是x_i的变换点到它对应的匹配点x_i′ 的距离；

1-2)

平滑项

主要约束相邻的像素点，使之有相同的单应矩阵，Ν(x_i)是三角网格定义的像素点x_i的邻域特征点和邻域关系，如果H_i＝H_j，则惩罚项S(H_i,H_j)为1，其他情况为0；

2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签，相同的标签作为一类，这样，就将所有的匹配点分类到了几个不同的区域，每个区域的边界划分公式如下：

其中，Ω_m是第m个区域的匹配点的集合，s(x_m,i)是特征点x_m,i的尺度分量,W是源图像的宽度，根据公式(5),(6)可知，B_m,l和B_m,r分别表示划分的第m个区域的左边界和右边界，考虑到建筑物图像主要是在前面进行拍摄，所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域，按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。

3)对于基础区域采用动态直接线性变换的方法来估计局部的单应变换，源图像的第m个区域的特征点x_*通过下面的公式变换到对应的匹配点

其中，

是x_*的齐次坐标，单应矩阵H_*的计算方法如下：

h_*是H_*的向量化形式，其为9×1的行向量，a_i是公式

的计算结果：

权重参数wⁱ _*的定义如下：

wⁱ _*＝max(exp(-||x_*-x_i||²/δ²),γ) (10)

x_i是所处理区域的第i个匹配点，x_*是所处理区域的网格个中心点坐标，δ是尺度参数，γ是为了防止处理方法失去其灵活性；

4)过渡层区域采用离散的单应变换进行处理，首先利用动态直接线性变换的方法获得候选的单应矩阵，将单应矩阵集合表示为

T_m是第m个过渡层，通过图像切割达到优化目标函数的目的，

4-1)

其中，数据项中的符号含义如下：

表示第k个元胞的单应矩阵，D(H_k,x_j,x_j′)和公式(3)是相同的定义，权重参数是根据匹配点到第k个元胞的距离来调节匹配点的变换的，

p_k是第k个元胞的中心点。

4-2)平滑项定义为：

H_t是第k个元胞的邻域元胞的单应变换。

本发明的特点及有益效果是：

本发明利用多模型几何拟合和分层单应变换估计的方法，完成了多平面，复杂图像的对齐问题，它具有以下特点：

1、简单易懂，复杂度相对较低，易于实现。

2、对于图像对齐问题，提出一种新的思路，并不是单纯优化单应矩阵，而是从处理过程上进行探索。

3、利用多模型几何拟合的方法，使得复杂的图像可以分成几个不同的区域，有利于后续处理。

4、能量目标函数的优化运用灵活。

附图说明：

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解:

图1是算法流程图；

图2是不同区域的分割图(对应于公式(5)(6)的计算结果)；

图3是4种实验方法的结果比较，从左到右依次是，(a)动态直接线性变换，(b)保形半射影,(c)相似投影，(d)我们的实验结果。每一列从上到下分别是原始图，中间图，结果图，放大图。

具体实施方式

本发明利用多模型几何拟合对图像特证匹配点进行分类，对不同的区域使用不同的单应矩阵估计方法，完成了多平面，复杂图像的对齐问题。

为了更好的针对不同的平面区域进行不同的单应变换，本发明采取的技术方案是，利用多模型几何拟合的方法将提取的特征匹配点分类，分类之后，图像就有了基础层和过渡层，在基础层采用动态直接线性变换方法，在过渡层采用分层单应估计来提高单应变换的精确度。具体方法包括以下步骤：

1)针对输入的两张图像(源图像I和目标图像I′),利用尺度不变特征转换方法，获得一系列的特征匹配点—Ω＝{x_i}和Ω′＝{x_i′ }，x_i和x_i′ 分别是I和I′的第i个特征匹配点。我们的目标是将Ω和特征匹配点分类并且每个类的单应变换可以最小化x_i到相应的匹配点x_i′ 的距离，目标函数为：

其中，

λ＞0是衡量数据项

和平滑项

的权重系数。

1-1)

数据项

的作用是最小化x和它对应的匹配点x′的距离，H_i是3×3的单应变换矩阵，

是x_i的齐次坐标，φ(·)代表齐次坐标到非齐次坐标的变换，距离优化函数和D(H_i,x_i,x_i′ )衡量的是x_i的变换点到它对应的匹配点x_i′ 的距离。

1-2)

平滑项

主要约束相邻的像素点，使之有相同的单应矩阵，Ν(x_i)是三角网格定义的像素点x_i的邻域特征点和邻域关系。如果H_i＝H_j，则惩罚项S(H_i,H_j)为1，其他情况为0。

2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签，相同的标签作为一类，这样，就将所有的匹配点分类到了几个不同的区域，每个区域的边界划分公式如下：

其中，Ω_m是第m个区域的匹配点的集合，s(x_m,i)是特征点x_m,i的尺度分量,W是源图像的宽度，根据公式(5),(6)可知，B_m,l和B_m,r分别表示划分的第m个区域的左边界和右边界。考虑到建筑物图像主要是在前面进行拍摄，所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域，按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。

3)由于基础区域仍然不是一个完美的平面场景，所以利用基本的单应变换会产生非对齐现象，所以，我们采用动态直接线性变换的方法来估计局部的单应变换。源图像的第m个区域的特征点x_*通过下面的公式变换到对应的匹配点

其中，

是x_*的齐次坐标，单应矩阵H_*的计算方法如下：

h_*是H_*的向量化形式，其为9×1的行向量，a_i是公式

的计算结果：

权重参数wⁱ _*的定义如下：

wⁱ _*＝max(exp(-||x*-x_i||²/δ²),γ) (10)

x_i是所处理区域的第i个匹配点，x_*是所处理区域的网格个中心点坐标，δ是尺度参数，γ是为了防止处理方法失去其灵活性。

4)过渡层区域可能包含多个平面，所以离散的单应变换能达到更好的效果，我们首先利用动态直接线性变换的方法获得候选的单应矩阵，将单应矩阵集合表示为

T_m是第m个过渡层，通过图像切割达到优化目标函数的目的，

4-1)

其中，数据项中的符号含义如下：

表示第k个元胞的单应矩阵，D(H_k,x_j,x_j′ )和公式(3)是相同的定义，权重参数是根据匹配点到第k个元胞的距离来调节匹配点的变换的，

p_k是第k个元胞的中心点。

4-2)平滑项定义为：

H_t是第k个元胞的邻域元胞的单应变换。

下面结合附图和具体实施方式进一步详细说明本发明。

1)针对输入的两张图像(源图像I和目标图像I′),利用尺度不变特征转换方法，获得一系列的特征匹配点—Ω＝{x_i}和Ω′＝{x_i′ }，x_i和x_i′ 分别是I和I′的第i个特征匹配点。我们的目标是将Ω和特征匹配点分类并且每个类的单应变换可以最小化x_i到相应的匹配点x_i′ 的距离，目标函数为：

其中，

λ＞0是衡量数据项

和平滑项

的权重系数。

1-1)

数据项

的作用是最小化x和它对应的匹配点x′的距离，H_i是3×3的单应变换矩阵，

是x_i的齐次坐标，φ(·)代表齐次坐标到非齐次坐标的变换，距离优化函数和D(H_i,x_i,x_i′ )衡量的是x_i的变换点到它对应的匹配点x_i′ 的距离。

1-2)

平滑项

主要约束相邻的像素点，使之有相同的单应矩阵，Ν(x_i)是三角网格定义的像素点x_i的邻域特征点和邻域关系。如果H_i＝H_j，则惩罚项S(H_i,H_j)为1，其他情况为0。

2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签，相同的标签作为一类，这样，就将所有的匹配点分类到了几个不同的区域，每个区域的边界划分公式如下：

其中，Ω_m是第m个区域的匹配点的集合，s(x_m,i)是特征点x_m,i的尺度分量,W是源图像的宽度，根据公式(5),(6)可知，B_m,l和B_m,r分别表示划分的第m个区域的左边界和右边界。考虑到建筑物图像主要是在前面进行拍摄，所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域，按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。

3)由于基础区域仍然不是一个完美的平面场景，所以利用基本的单应变换会产生非对齐现象，所以，我们采用动态直接线性变换的方法来估计局部的单应变换。源图像的第m个区域的特征点x_*通过下面的公式变换到对应的匹配点

其中，

是x_*的齐次坐标，单应矩阵H_*的计算方法如下：

h_*是H_*的向量化形式，其为9×1的行向量，a_i是公式

的计算结果：

权重参数wⁱ _*的定义如下：

wⁱ _*＝max(exp(-||x_*-x_i||²/δ²),γ) (9)

x_i是所处理区域的第i个匹配点，x_*是所处理区域的网格个中心点坐标，δ是尺度参数，γ是为了防止处理方法失去其灵活性。

4)过渡层区域可能包含多个平面，所以离散的单应变换能达到更好的效果，我们首先利用动态直接线性变换的方法获得候选的单应矩阵，将单应矩阵集合表示为

T_m是第m个过渡层，通过图像切割达到优化目标函数的目的，

4-1)

其中，数据项中的符号含义如下：

表示第k个元胞的单应矩阵，D(H_k,x_j,x_j′ )和公式(3)是相同的定义，权重参数是根据匹配点到第k个元胞的距离来调节匹配点的变换的，

p_k是第k个元胞的中心点。

4-2)平滑项定义为：

H_t是第k个元胞的邻域元胞的单应变换。

Claims (2)

1.一种基于多模型几何拟合和分层单应变换的图像对齐方法，其特征是，利用多模型几何拟合的方法将提取的特征匹配点分类，分类之后，图像就有了基础层和过渡层，在基础层采用动态直接线性变换方法，在过渡层采用分层单应估计来提高单应变换的精确度，其中，

多模型几何拟合步骤如下：

1)针对输入源图像I和目标图像I′,利用尺度不变特征转换方法，获得一系列的特征匹配点—Ω＝{x_i}和Ω′＝{x_i′}，x_i和x_i′分别是I和I′的第i个特征匹配点，将Ω和特征匹配点分类并且每个类的单应变换最小化x_i到相应的匹配点x_i′的距离，目标函数为：

其中，

λ＞0是衡量数据项

和平滑项

的权重系数；

1-1)

数据项

的作用是最小化x和它对应的匹配点x′的距离，H_i是3×3的单应变换矩阵，

是x_i的齐次坐标，φ(·)代表齐次坐标到非齐次坐标的变换，距离优化函数和D(H_i,x_i,x_i′)衡量的是x_i的变换点到它对应的匹配点x_i′的距离；

1-2)

平滑项

主要约束相邻的像素点，使之有相同的单应矩阵，Ν(x_i)是三角网格定义的像素点x_i的邻域特征点和邻域关系，如果H_i＝H_j，则惩罚项S(H_i,H_j)为1，其他情况为0；

分层单应估计具体步骤如下：

过渡层区域采用离散的单应变换进行处理，首先利用动态直接线性变换的方法获得候选的单应矩阵，将单应矩阵集合表示为

T_m是第m个过渡层，通过图像切割达到优化目标函数的目的，

(1)

其中，数据项中的符号含义如下：

表示第k个元胞的单应矩阵，D(H_k,x_j,x_j′)和公式(3)是相同的定义，权重参数是根据匹配点到第k个元胞的距离来调节匹配点的变换的，

p_k是第k个元胞的中心点，

(2)平滑项定义为：

H_t是第k个元胞的邻域元胞的单应变换。

2.如权利要求1所述的基于多模型几何拟合和分层单应变换的图像对齐方法，其特征是，具体步骤是，

1)利用多模型几何拟合的方法将提取的特征匹配点分类

2)利用多模型几何拟合使得源图像的每一个匹配点都被标记了标签，相同的标签作为一类，这样，就将所有的匹配点分类到了几个不同的区域，每个区域的边界划分公式如下：

其中，Ω_m是第m个区域的匹配点的集合，s(x_m,i)是特征点x_m,i的尺度分量,W是源图像的宽度，根据公式(5),(6)可知，B_m,l和B_m,r分别表示划分的第m个区域的左边界和右边界，考虑到建筑物图像主要是在前面进行拍摄，所以边界只划分出来了左右边界,只包含一类特征点的区域称之为基础区域，按照上述公式计算出来的包含两种特征点的区域称之为过渡区域；

3)对于基础区域采用动态直接线性变换的方法来估计局部的单应变换，源图像的第m个区域的特征点x_*通过下面的公式变换到对应的匹配点

其中，

是x_*的齐次坐标，单应矩阵H_*的计算方法如下：

h_*是H_*的向量化形式，其为9×1的行向量，a_i是公式

的计算结果：

权重参数wⁱ _*的定义如下：

wⁱ _*＝max(exp(-||x_*-x_i||²/δ²),γ) (10)

x_i是所处理区域的第i个匹配点，x_*是所处理区域的网格个中心点坐标，δ是尺度参数，γ是为了防止处理方法失去其灵活性；

4)过渡层区域采用离散的单应变换进行处理。

Images