CN101667293A

CN101667293A - 对多种传感器遥感图像进行高精度稳健配准的方法

Info

Publication number: CN101667293A
Application number: CN200910307634A
Authority: CN
Inventors: 郭琰; 张晔; 谷延锋; 仲伟志
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2009-09-24
Filing date: 2009-09-24
Publication date: 2010-03-10

Abstract

对多种传感器遥感图像进行高精度稳健配准的方法，它涉及遥感图像处理领域，它针对配准过程中控制点分布不均匀的问题，而采用了如下步骤：步骤1：联合点特征和区域特征的粗配准，消除参考图像和输入图像之间比较大的尺度、旋转和平移的差异，通过联合点特征和区域特征匹配实现；步骤2：尺度空间特征提取和大量配准控制点对的匹配，在于提取精细配准所需的大量的控制点对；步骤3：基于控制点信息量的筛选和精细配准，目的在于对控制点按各自包含信息量进行筛选，完成高精度的精细配准。本发明为了运用在多种传感器遥感图像进行高精度稳健配准的方法。

Description

对多种传感器遥感图像进行高精度稳健配准的方法

技术领域

本发明涉及遥感图像处理领域，具体涉及一种对多种传感器遥感图像进行高精度稳健配准的方法。

背景技术

随着遥感传感器技术的发展，不同传感器获取的数据之间的互补性越来越强。如何联合这些不同类型传感器的图像数据进行协同处理，图像配准是其至关重要的前提条件。

图像配准方法主要可分为基于全局技术和局部技术的两大类，全局技术需要利用图像所有的像素信息，计算量较大，而局部技术则提取图像的局部特征进行配准。遥感图像的像素数量庞大，主要采用局部技术的配准，而局部技术的关键在于对配准的参考图像和输入图像中配准控制点的提取与匹配。对于多种传感器获得的遥感图像，其成像的差异造成提取参考图像和输入图像中正确配准控制点对的难度加大，从而很难实现高精度的配准。

现有多传感器遥感图像基于局部技术的配准方法主要采用某种特征提取技术提取参考图像和输入图像中的局部特征(点，线，区域特征)，运用局部特征的不变描述子建立参考图像和输入图像中局部特征的匹配关系，进而获得配准配准控制点对。这些方法大多采用某一种局部特征提取和匹配的方法来获取配准控制点，这种单一的特征提取和匹配方法对图像像素灰度值非线性变化的稳健性差，从而限制了在具有灰度非线性差异的多传感器图像配准中的应用。在基于局部特征的图像配准中，参考图像和输入图像中配准控制点的分布情况将影响最终的配准精度，分布越均匀，配准的均方根误差越小。

发明内容

本发明针对配准过程中控制点分布不均匀的问题，而提出对多种传感器遥感图像进行高精度稳健配准的方法。

本发明对多种传感器遥感图像进行高精度稳健配准的步骤如下：

步骤1：联合点特征和区域特征的粗配准：

点特征的选取：运用尺度不变特征变换分别从参考图像和输入图像中提取供匹配的关键点；运用欧式距离计算参考图像中的关键点与输入图像中的关键点之间的距离，选取所述距离中最小的三对关键点作为候选粗配准点对；

区域特征的选取：运用最大稳定极值区域分别提取参考图像和输入图像中的区域，采用不变矩对参考图像中的区域和输入图像中的区域进行双向匹配获得最相似的三对区域，以区域的重心作为候选粗配准控制点；

粗配准：联合得到的粗配准点对和粗配准控制点进行变换模型参数估计，并对输入图像进行坐标变换及重采样来完成粗配准；

步骤2：尺度空间特征提取和大量配准控制点对的匹配：

尺度空间特征提取：对粗配准后得到的输入图像和参考图像分别建立其多层尺度空间，在所述的尺度空间的每一层运用Harris的角点检测算法提取点特征，将所述的点作为候选点；

大量配准控制点对的匹配：采用互信息作为相似性测度对输入图像和参考图像中候选点进行窗口匹配获得大量的控制点对；

步骤3：基于控制点信息量的筛选和精细配准：

基于控制点信息量的筛选：首先分别将粗配准后的包含控制点的输入图像的公共区域和包含控制点的参考图像的公共区域划分为3×3的子区域，之后再分别对每个子区域中的控制点进行筛选，从而分别得到控制点分布均匀的输入图像和控制点分布均匀的参考图像；

精细配准：在获得分布均匀的控制点对后进行变换模型参数估计，并对粗配准后的包含控制点对的输入图像进行坐标变换及重采样来完成精细配准。

本发明是一种对多种传感器遥感图像进行高精度稳健配准方法，为多传感器遥感应用处理***中必备的数据准备过程，该发明解决了传统单纯采用一种特征进行匹配不能正确地从多传感器遥感图像(全色、红外、多光谱、高光谱、合成孔径雷达成像等)提取控制点对的问题，并且基于控制点对信息量提出了一种控制点均匀分布的策略，从而利用由粗至精的方式实现多传感器遥感图像的高精度配准。

附图说明

图1为本发明所采用的粗配准的流程示意图；图2为采用的以互信息为相似度搜索对应点的搜索示意图，A表示参考图像，B表示输入图像，a表示搜索窗口，b表示估计窗口；图3为基于控制点信息量的筛选和精细配准流程示意图；图4为带有筛选过程的基于控制点信息量的筛选和精细配准流程示意图。

具体实施方式

具体实施方式一：结合图1至图3说明本实施方式，本实施方式的步骤如下：

步骤1：联合点特征和区域特征的粗配准：

点特征的选取：运用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)分别从参考图像和输入图像中提取供匹配的关键点；运用欧式距离计算参考图像中的关键点与输入图像中的关键点之间的距离，选取所述距离中最小的三对关键点作为候选粗配准点对；

区域特征的选取：运用最大稳定极值区域(Maximally Stable Exremal Region，MSER)分别提取参考图像和输入图像中的区域，采用不变矩对参考图像中的区域和输入图像中的区域进行双向匹配获得最相似的三对区域，以区域的重心作为候选粗配准控制点；

联合点特征和区域特征的粗配准，目的在于消除参考图像和输入图像之间比较大的尺度、旋转和平移的差异，为后面的精配准做准备；联合SIFT和MSER的优点在于能够将SIFT精确匹配点特征和MSER提取的区域特征对图像像素非线性变化保持很好的稳健性结合起来，完成粗配准过程。

步骤2：尺度空间特征提取和大量配准控制点对的匹配：

大量配准控制点对的匹配：采用互信息(Mutual Information，MI)作为相似性测度对输入图像和参考图像中候选点进行窗口匹配获得大量的控制点对；

粗配准采用配准控制点对数目有限，完成的是粗略的配准，为了达到高精度的配准，需要提取更多的控制点对，并对控制点的分布进行有效的控制。尺度空间特征提取和配准控制点对的匹配，目的在于提取精细配准所需的大量的控制点对；

步骤3：基于控制点信息量的筛选和精细配准：

基于控制点信息量的筛选：首先分别将粗配准后的包含控制点的输入图像的公共区域和包含控制点的参考图像的公共区域划分为33的子区域，之后再分别对每个子区域中的控制点进行筛选，从而分别得到控制点分布均匀的输入图像和控制点分布均匀的参考图像；

筛选的过程为：

判断子区域中的所有控制点的分布质量是否满足阈值；

不满足阈值，则删除该区域中控制点的信息量最小的控制点，再重新判断该区域的分布质量是否满足阈值，直至满足阈值；满足阈值，则当前区域中的所有控制点的分布均匀。

将所述参考图像和输入图像中每个子区域都判断完成后，分别得到控制点均匀分布的参考图像和控制点均匀分布的参考图像；

判断是分别对输入图像和参考图像中每个子区域中的大量的控制点的信息量的大小进行筛选，以使输入图像和参考图像中每个子区域控制点的分布质量满足阈值要求，从而得到控制点对分布均匀的输入图像和参考图像；也就是对每个子区域中控制点的分布质量进行计算，如果不符合设定阈值，逐个删除信息量小的控制点对至符合要求；

基于控制点信息量的筛选和精细配准，目的在于对控制点按各自包含信息量进行筛选，完成高精度的精细配准。控制点对筛选目的在于使控制点对在参考图像和输入图像中均匀分布，提高配准的精度。

具体实施方式二：本实施方式与具体实施方式一不同点在于步骤1中采用欧式距离计算最小的三对关键点时，设定阈值范围为0.5～0.7；其中欧式距离最佳阈值为0.58、0.6或0.62。其它步骤与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一不同点在于步骤1中采用不变矩判断最相似区域时，设定阈值范围为0.7～0.9，其中设定的最佳阈值为0.78、0.8或0.82。其它步骤与具体实施方式一相同。

具体实施方式四：本实施方式与具体实施方式一不同点在于步骤1中的所述的变换模型采用仿射变换模型，并以最小二乘法求解模型参数；所述的重采样采用双线性差值；其它步骤与具体实施方式一相同。

具体实施方式五：结合图2说明本实施方式，本实施方式与具体实施方式一至四不同点在于步骤2中大量配准控制点对的匹配过程如下：

步骤a：设定搜索窗口，对于输入图象中的一个待匹配候选点在参考图象中找到对应的位置，以所述的位置作为搜索窗口中心位置，设定大小为51×51的搜索窗口；

步骤b：设定估计窗口，在输入图像中以待匹配候选点为中心设定一个41×41估计窗口，在参考图象中以搜索窗口中的每个候选点为中心设定多个41×41估计窗口；

步骤c：灰度相似度计算，将输入图像中的估计窗口逐一与参考图象中的每一个估计窗口进行灰度相似度的计算；

步骤d：将获得的灰度相似度与设定的灰度相似度阈值进行比较；

若获得的灰度相似度小于设定的灰度相似度阈值时，则删除对应的参考图象中的估计窗口中心位置的候选点；

若获得的所有灰度相似度都小于设定的灰度相似度阈值，则将参考图象中的搜索窗口扩大到101×101大小继续执行步骤b和步骤c；

若扩大到101×101大小后获得的所有灰度相似度还都小于设定的灰度相似度阈值，则放弃输入图象中的待匹配候选点的匹配；

否则，将获得的所有大于灰度相似度阈值的灰度相似度中选出其中最大的灰度相似度对应的参考图象中的估计窗口中心位置的候选点作为输入图像中的待匹配候选点的匹配点，获得一个控制点对。

其它步骤与具体实施方式一至四相同。

具体实施方式六：结合图4说明本实施方式，本实施方式与具体实施方式一的不同点在于步骤3，步骤3中每个子区域中控制点的分布质量是基于控制点对信息量来计算：

如下给出对于每一个选定的控制点信息量的计算方法：

对于一个选定的控制点，定义该点的描述符为这个点为中心的局部窗口的一组灰度旋转不变量，采用二阶不变量来表示描述符：

公式一：

\overset{&RightArrow;}{&upsi;} [0 . . 3] = [\begin{matrix} L_{x} L_{x} + L_{y} L_{y} \\ L_{xx} L_{x} L_{x} + 2 L_{xy} L_{x} L_{y} + L_{yy} L_{y} L_{y} \\ L_{xx} + L_{yy} \\ L_{xx} L_{xx} + 2 L_{xy} L_{xy} + L_{yy} L_{yy} \end{matrix}] - - - (1)

其中向量空间

的第一项为灰度梯度的平方，第三项即为拉普拉斯梯度；

控制点的信息量用所述的描述符的熵来表示：

熵的计算需要对向量空间

进行分割，

分割以Manhalanobis距离，及

由于Λ分解为Λ^-1＝P^T DP，

其中D是一个对角阵，P是一个正交阵，

所以Manhalanobis距离又转化为

距离d_M是标准化向量的平均值：

描述符向量经过标准化后，就在各个方向使用同大小的网格单元来计算向量空间的熵；

通过上述计算得到熵的来表示控制点的信息量，计算每个子区域中控制点分布质量，以如下分布质量的方式(Distribution Quality，DQ)来计算：

公式二：

DQ = \sqrt{\frac{Σ_{i = 1}^{n} {(x_{i} - \overset{&OverBar;}{x})}^{2} + Σ_{i = 1}^{n} {(y_{i} - \overset{&OverBar;}{y})}^{2}}{n}} / (M + N) - - - (2)

公式三：

(\overset{&OverBar;}{x}, \overset{&OverBar;}{y}) = (\frac{Σ_{i = 1}^{n} w_{i} x_{i}}{Σ_{i = 1}^{n} w_{i}}, \frac{Σ_{i = 1}^{n} w_{i} y_{i}}{Σ_{i = 1}^{n} w_{i}}) - - - (3)

公式二中M，N为小区域的行和列，公式三中w_i取控制点i的信息量，及以控制点i包含的信息量作为权重，从而计算出每个子区域中控制点分布质量；

将所述的每个子区域中控制点分布质量与设定的阈值进行比较，若符合阈值，则进入下一步；若不符合阈值，则删除当前区域中控制点的信息量小的控制点对重新计算分布质量直至符合阈值；设定阈值范围为2.0～0.3，其中设定的最佳阈值为0.22、0.24或0.26。其它步骤与具体实施方式一相同。

本发明内容不仅限于上述各实施方式的内容，其中一个或几个具体实施方式的组合同样也可以实现发明的目的。

Claims

1.对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于它步骤如下：

步骤1：联合点特征和区域特征的粗配准：

步骤2：尺度空间特征提取和大量配准控制点对的匹配：

步骤3：基于控制点信息量的筛选和精细配准：

2.根据权利要求1所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤2中所述的大量配准控制点对的匹配过程中，获得一个控制点对的过程为：

步骤c：灰度相似度ρ计算，将输入图像中的估计窗口逐一与参考图象中的每一个估计窗口进行灰度相似度ρ的计算；

步骤d：将获得的灰度相似度ρ与设定的灰度相似度阈值ρ_th进行比较；

若获得的灰度相似度ρ小于设定的灰度相似度阈值ρ_th时，则删除对应的参考图象中的估计窗口中心位置的候选点；

若获得的所有灰度相似度ρ都小于设定的灰度相似度阈值ρ_th，则将参考图象中的搜索窗口扩大到101×101大小继续执行步骤b和步骤c；

若扩大到101×101大小后获得的所有灰度相似度ρ还都小于设定的灰度相似度阈值ρ_th，则放弃输入图象中的待匹配候选点的匹配；

否则，将获得的所有大于灰度相似度阈值ρ_th的灰度相似度ρ中选出其中最大的灰度相似度ρ对应的参考图象中的估计窗口中心位置的候选点作为输入图像中的待匹配候选点的匹配点，获得一个控制点对。

3.根据权利要求1或2所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤3中对每个子区域中的控制点进行筛选的过程为：判断子区域中的所有控制点的分布质量是否满足阈值；不满足阈值，则删除该区域中控制点的信息量最小的控制点，再重新判断该区域的分布质量是否满足阈值，直至满足阈值；满足阈值，则当前区域中的所有控制点的分布均匀。

4.根据权利要求3所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于所述的控制点的信息量的计算方法：

公式一：

\overset{&RightArrow;}{&upsi;} [0 . . 3] = [\begin{matrix} L_{x} L_{x} + L_{y} L_{y} \\ L_{xx} L_{x} L_{x} + 2 L_{xy} L_{x} L_{y} + L_{yy} L_{y} L_{y} \\ L_{xx} + L_{yy} \\ L_{xx} L_{xx} + 2 L_{xy} L_{xy} + L_{yy} L_{yy} \end{matrix}] - - - (1)

其中向量空间

的第一项为灰度梯度的平方，第三项即为拉普拉斯梯度；

控制点的信息量用所述的描述符的熵来表示：

熵的计算需要对向量空间

进行分割，

分割以Manhalanobis距离，及

d_{M} ({\overset{&RightArrow;}{&upsi;}}_{1}, {\overset{&RightArrow;}{&upsi;}}_{2}) = \sqrt{{({\overset{&RightArrow;}{&upsi;}}_{1} - {\overset{&RightArrow;}{&upsi;}}_{2})}^{T} Λ^{- 1} ({\overset{&RightArrow;}{&upsi;}}_{1} - {\overset{&RightArrow;}{&upsi;}}_{2})},

由于Λ分解为Λ^-1＝P^TDP，其中D是一个对角阵，P是一个正交阵，

所以Manhalanobis距离又转化为

d_{M} ({\overset{&RightArrow;}{&upsi;}}_{1}, {\overset{&RightArrow;}{&upsi;}}_{2}) = | | D^{1 / 2} P ({\overset{&RightArrow;}{&upsi;}}_{1} - {\overset{&RightArrow;}{&upsi;}}_{2}) | |,

距离d_M是标准化向量的平均值：

{\overset{&RightArrow;}{&upsi;}}_{norm} = D^{1 / 2} P \overset{&RightArrow;}{&upsi;};

描述符向量经过标准化后，就在各个方向使用同大小的网格单元来计算向量空间

的熵；

通过上述计算得到熵的来表示控制点的信息量。

5.根据权利要求3所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于所论述的分布质量以如下来方式计算：

公式二：

DQ = \sqrt{\frac{Σ_{i = 1}^{n} {(x_{i} - \overset{&OverBar;}{x})}^{2} + Σ_{i = 1}^{n} {(y_{i} - \overset{&OverBar;}{y})}^{2}}{n}} / (M + N) - - - (2)

公式三：

(\overset{&OverBar;}{x}, \overset{&OverBar;}{y}) = (\frac{Σ_{i = 1}^{n} w_{i} x_{i}}{Σ_{i = 1}^{n} w_{i}}, \frac{Σ_{i = 1}^{n} w_{i} y_{i}}{Σ_{i = 1}^{n} w_{i}}) - - - (3)

公式二中M，N为子区域的行和列，公式三中w_i取控制点i的信息量，及以控制点i包含的信息量作为权重，从而计算出子区域中所有控制点的分布质量。

6.根据权利要求1或5所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤1中采用欧式距离计算最小的三对关键点时，设定阈值范围为0.5～0.7；其中欧式距离最佳阈值为0.58、0.6或0.62。

7.根据权利要求1或5所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤1中采用不变矩判断最相似区域时，设定阈值范围为0.7～0.9，其中设定的最佳阈值为0.78、0.8或0.82。

8.根据权利要求1或5所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤1中的所述的变换模型采用仿射变换模型，并以最小二乘法求解模型参数；所述的重采样采用双线性差值。

9.根据权利要求3或5所述的对多种传感器遥感图像进行高精度稳健配准的方法，其特征在于步骤3中判断子区域中的所有控制点的分布质量时，设定阈值范围为2.0～0.3，其中设定的最佳阈值为0.22、0.24或0.26。