CN102024155B

CN102024155B - 基于边缘检测的多光谱图像快速匹配方法

Info

Publication number: CN102024155B
Application number: CN201010574797A
Authority: CN
Inventors: 薛晓勇; 吴晓松
Original assignee: GUANGZHOU KEYI PHOTO-ELECTRIC TECHNOLOGY Co Ltd
Current assignee: GUANGZHOU KEYI PHOTO-ELECTRIC TECHNOLOGY Co Ltd
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-10-03
Anticipated expiration: 2030-12-06
Also published as: CN102024155A

Abstract

本发明公开了一种基于边缘检测的多光谱图像快速匹配方法，包括下列几个步骤：A、在任意视场角下，获取同一场景的多光谱灰度图；B、对多光谱灰度图进行图像增强和滤波去噪；C、对去噪后的多光谱图像进行边缘提取；D、用固定大小的方形窗口对多光谱图像的边缘进行过滤，获得边缘的离散点阵图；E、设定求解的匹配参数，并利用粒子群优化方法对匹配参数进行优化计算，获取最佳的匹配参数。本发明所公开的匹配方法对获取多光谱图像时的视场角和探测器镜头没有任何要求，而且具有匹配速度快，鲁棒性强和容错性强的特点。

Description

基于边缘检测的多光谱图像快速匹配方法

技术领域

本发明涉及图像处理技术领域，具体说是一种图像匹配的方法。

技术背景

图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。以灰度为基础的匹配方法有互相关配准方法、傅立叶方法和最大互信息方法等等。以特征为基础的匹配方法是通过提取图像的特征，包括特征点、目标边缘、地形特征线（如脊谷线、河流、道路、房角）等，利用这些特征计算空间变换参数。这些匹配方法并不是适用于所有图像匹配问题，它们往往在某种情况下匹配效果好，而换另外一种情况匹配效果却很差。

对于多光谱图像匹配问题，以灰度为基础的匹配方法往往很难取得很好的匹配效果，这是因为对于不同光谱，成像的原理不同所造成不同光谱图像之间的灰度并不一定具有相关性。

再比如以可见光和红外为例，通过分析和研究表明，它们主要有如下的区别：1）红外图像与可见光图像的成像原理不同。前者依据物体的温度不同或辐射率不同进行成像，而后者依据物体反射率的不同进行成像；2）红外图像与可见光图像的空间分辨率不同。由于红外波段辐射波长较可见光的长，因而红外图像的空间分辨率要比可见光的低；3）红外图像与可见光图像对同一场景的灰度差异较大。可见光图像的灰度与红外图像的灰度相比层次分明，而红外图像的内部灰度变换较为缓慢，层次不鲜明；4）红外图像与可见光图像的纹理特征不同。可见光图像能反映出景物表面的纹理细节信息，而红外图像对景物表面的纹理信息不能很好的反映。根据以上的区别可以发现，对于不同光谱的图像匹配问题，通过像素的相关性和纹理特征实现匹配是行不通的。

然而，无论是可见光图像、红外图像还是其他光谱图像，它们都具备一个共同的特征——边缘。目前利用边缘特征对图像进行匹配的方法主要是利用同轴镜头获取相同视场角下同一场景的多光谱图像，然后对其进行简单的叠加处理。这种方法的缺点是：1、匹配效果差，虽然是利用了同轴镜头，但通常情况下视场角不可能完全一致，加上不同探测器的分辨率不同，导致这种匹配方法的效果很差；2、对探测器镜头的要求高，这种匹配方法通常使用的探测器镜头都是固定的，若更换镜头，就不能实现匹配；3、鲁棒性差，只能用于特定的某些光谱图像的匹配；4、容错性差，这种方法对多光谱图像的图像质量要求高，图像稍有明显形变，就会出现无法匹配的现象。

发明内容

本发明的任务是要解决现有技术难题，提供一种基于边缘检测的，可以对不同视场角获取的同一场景的多光谱图像进行快速匹配的方法，本方法具有较强的鲁棒性和容错性。

技术手段

本发明公开了一种基于边缘检测的多光谱图像快速匹配方法，方法包括以下步骤：

A、获取任意视场角下同一场景的多光谱图像的灰度图；

B、对A步骤获得的各灰度图进行滤波去噪，获得平滑的灰度图像；

C、对B步骤获得的平滑的灰度图进行边缘提取；

D、用预设的矩形窗口过滤掉C步骤得到的图像的部分边缘点，获得边缘离散灰度点阵图；

E、设定要求解的匹配参数，并利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配参数。

在B步骤中对灰度图像滤波去噪之前先对灰度图像进行图像增强处理。

其中C步骤包括：

步骤C1：利用一阶差分模板与B步骤获得的平滑的灰度图卷积，获得图像的梯度幅值和方向；

步骤C2：对步骤C1获得的梯度幅值做非极大值抑制，并将获得的边缘的灰度值设置为灰度值的一个极值，其余各点均设为与边缘灰度值表示颜色相反的另一个灰度极值；

步骤C3：利用双阈值法对步骤C2获得结果进行检测和修补，获得完整的边缘图像。

在步骤C1中所用的一阶差分模板为Sobel算子。

其中Ｄ步骤包括：

步骤D1：利用预设的矩形窗口对C步骤得到的图像的每一个像素点以行或列的扫描方式进行扫描识别；

步骤D2：当矩形窗口的中心点位于图像边缘的任意一像素点时，中心点的灰度值保持不变，窗口内的其余各像素点的灰度值均设为与边缘灰度值表示颜色相反的另一个灰度极值；当矩形窗口的中心点位于非图像边缘的任意一像素点时，矩形窗口内的各像素点的灰度值不变。

矩形窗口为正方形窗口，且大小根据图像边缘的像素点的密集度设置。正方形窗口的边长为3、5、7、9或11个像素点。

其中E步骤包括：

步骤E1：选取D步骤得到的图像中边缘像素点较密集的一幅图像为基准，并随机产生多组匹配参数；

步骤E2：选择步骤E1随机产生的其中的一组匹配参数，并按照该匹配参数改变边缘较稀疏的图像的各个像素点的坐标，并用更改后的图像与基准图像进行匹配；

步骤E3：以步骤E2得到的任意一个新坐标点为中心，对其邻域进行扫描，并根据该邻域内的基准图像的点出现的位置求出该点的匹配度评分；

步骤E4：重复执行步骤E3，直至求出所有新坐标点的匹配度评分，并根据各点的匹配度评分求出匹配效果评价参数；

步骤E5：重复执行步骤E2、步骤E3和步骤E4，求解所有由步骤E1随机产生的匹配参数的匹配效果评价参数；

步骤E6：利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配效果。步骤E6还包括：

步骤E6a：设定粒子数和迭代次数，随机产生多个初始粒子，即E1步骤中随机产生的多组匹配参数，并随机产生初始速度；

步骤E6b：根据当前位置，计算出粒子的适应度，并设置当前位置为个体最好位置；

步骤E6c：对每个粒子按设定的迭代次数循环计算的其位置、适应度和当前粒子的最好位置；

步骤E6d：循环结束后，输出全局最好位置。

本多光谱图像快速匹配方法用于可见光图像和红外图像的快速匹配，或者用于红外图像和紫外图像的快速匹配，或者用于可见光图像和紫外图像的快速匹配，或者用于可见光图像、红外图像和紫外图像三者的快速匹配。

有益效果

本发明有以下优点：1、对获取多光谱图像时的视场角没有限制，视场角可以相同也可以不同；2、匹配结果不受探测器镜的影响，对图像分辨率的大小没有特殊的要求；3、采用窗口过滤技术，过滤部分边缘点，能实现快速的图像匹配；4、匹配效果评价函数可以容纳匹配误差，使得图像匹配方法具有很强的容错性能；5、采用启发式的搜索算法——粒子群优化算法来优化求解匹配参数，它具有很好的全局收敛性能，能快速找到恰当的匹配参数；6、具有很强的鲁棒性，既适用于多光谱图像匹配，也适用于同光谱图像匹配，本方法的提出主要是用于可见光图像和红外图像的匹配。

附图说明

图1为本图像快速匹配方法的流程图；

图2为图像边缘过滤示意图，（a）图为过滤方法示意图，（b）图为过滤后的效果示意图；

图3为粒子群优化方法的流程图。

具体实施方式

参见图1为本发明公开的多光谱图像快速匹配方法的一个基本实施例的流程图，所述方法包括下列步骤：

A、获取任意视场角下同一场景的多光谱图像的灰度图；

C、对B步骤获得的平滑的灰度图进行边缘提取；

E、设定要求解的匹配参数，并利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配效果。

下面对各个步骤进行更进一步的详细说明。

步骤A：获取任意视场角下同一场景的多光谱图像的灰度图。任意视场角说明本方法对获取的图像的分辨率、拍摄角度全无要求，只要是同一场景下的图像均可以使用本方法。获取灰度图的方法通常有两种，一是通过转换公式，二是查找映射表，两种都是共知技术，不再赘述。

步骤B：对A步骤获得的各灰度图进行滤波去噪，获得平滑的灰度图像。由于外部环境干扰和电子设备的影响，获取的多光谱图像会存在噪声，如高斯噪声、椒盐噪声、热噪声和1/f噪声等等，因此，必须对获取的多光谱灰度图进行去噪，通常采用高斯滤波进行去噪。

在滤波之前通常还含有一个对图像进行增强的过程，强调某些感兴趣的特征，抑制不感兴趣的特征，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果。

步骤C：对B步骤获得的平滑的灰度图进行边缘提取。图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。提取边缘包括三个步骤：

步骤C1：利用一阶差分模板与B步骤获得的平滑的灰度图卷积，获得图像的梯度幅值和方向。一阶差分模板有很多，从抗噪声性能考虑，Sobel算子最为合适。

步骤C2：对步骤C1获得的梯度幅值做非极大值抑制，并将获得的边缘的灰度值设置为灰度值的一个极值，其余各点均设为与边缘灰度值表示颜色相反的另一个灰度极值。要确定边缘仅仅得到全局的梯度是不够的，因此为确定边缘，必须保留局部梯度最大的点，称为抑制非极大值。对于任意像素和其八个相邻像素可划分为四个方向，互为对角的像素方向相同，中心像素的梯度方向为四个方向之一。每一个中心像素P与沿着梯度线的两个象素相比，如果中心像素P的梯度幅值不比沿该点梯度方向的两个相邻象素的梯度幅值大，则该中心像素P不是图像的边缘点，其灰度值设为灰度值的一个极值；反之则该中心像素P是图像的边缘点，其灰度值设为灰度值的另一个极值。例如将边缘点的灰度值设为255（白色），其余点的灰度值设为0（黑色）。

步骤D：用预设的矩形窗口过滤掉C步骤得到的图像的部分边缘点，获得边缘离散灰度点阵图。通过步骤C得到多光谱图像的边缘图像，其边缘点数目较多，若直接用于图像匹配，工作量将会很大，不利于实现快速匹配。另外，即使同一场景下，多光谱图像的边缘也不是完全重合，若全部边缘用于匹配计算，那么会使得匹配方法的容错性能降低。因此，在不降低匹配性能的前提下，减少部分边缘点，有利于提高方法的效率和性能。如图2所示，获得边缘离散灰度点阵图包括下列两个步骤：

步骤D1：利用预设的矩形窗口对C步骤得到的图像的每一个像素点以行或列的扫描方式进行扫描识别。如图2（a）所示，矩形窗口一般为正方形，其边长为奇数个像素点，正方形窗口以行扫描的方式逐行扫描。正方形窗口越大，过滤掉的边缘点就越多，得到的边缘离散点也就越少，后续的匹配算法也就越快。但是正方形窗口也不能太大，太大就会影响匹配效果，所以，正方形窗口的边长一般取3、5、7、9或11个像素点，对于边缘比较密集的多光谱图像，比如可见光图像，矩形窗口可以取大一些，而对于边缘比较稀疏的多光谱图像，比如红外图像，矩形窗口就应该取得小一些。

步骤D2：当矩形窗口的中心点位于图像边缘的任意一点时，中心点的灰度值保持不变，窗口内的其余各点的灰度值均设为与边缘灰度值表示颜色相反的另一个灰度极值；当矩形窗口的中心点位于非图像边缘的任意一点时，矩形窗口内的各点的灰度值不变。根据前面所述的本实施例的灰度值设置规则，本步骤结束之后获得的图像效果为图2（b）所示。

步骤E：设定并记录要求解的匹配参数和匹配效果评价参数。对于多光谱图像，如果它们的视场角不同，那么它们的分辨率和像素数目也会有所差别。也就说，它们在尺度上会存在一定的放缩比例。此外，即使多光谱图像的视场角相同，但是由于仪器的调整问题，虽然在拍摄同一场景，但是多光谱图像还是存在一定的偏移，需要平移其中一幅光谱图像才能使它们配准。具体包括下列几个步骤：

步骤E1：选取D步骤得到的边缘较密集的一幅图像（称为光谱1图像）为基准，并随机产生M组匹配参数。

步骤E2：选择步骤E1随机产生的其中的一组匹配参数，并按照该匹配参数改变边缘较稀疏的图像（称为光谱2图像）的各个像素点的坐标，并用更改后的图像与基准图像（光谱1图像）进行匹配。匹配参数有三个，即放大倍数s、X方向的平移量x₀和Y方向上的平移量y₀，光谱2图像某边缘离散点坐标为(x , y)，经变换后得到(x′ , y′)，其变换公式如下：

其中，放大倍数s为正浮点数，x ₀和y ₀为整数。对于任意一组选定的匹配参数（s，x ₀，y ₀），将光谱2图像的每一个边缘离散点坐标转换为新的坐标点。

步骤E3：以步骤E2得到的任意一个新坐标点为中心，对其邻域进行扫描，并根据该邻域内的基准图像的点出现的位置求出该点的匹配度评分。对于变换后的光谱2图像的某个新的坐标点，若在其3×3邻域坐标中至少有一个是光谱1图像的边缘离散点，那么该点的匹配度评分为1；若在其4×4邻域坐标中才有一个是光谱1图像的边缘离散点，那么该点的匹配度评分为 0.8；若在其5×5邻域坐标中才有一个是光谱1图像的边缘离散点，那么该点的匹配度评分为0.6。扫描邻域的大小可以根据用户对容错性的要求来自行设置，一般扫描到5×5邻域就可以。

步骤E4：重复执行步骤E3，直至求出所有新坐标点的匹配度评分，并根据各点的匹配度评分求出匹配效果评价参数fit。给定匹配参数并且获取了所有新坐标点的匹配度评分后，还需要有能够对图像整体匹配效果进行评价的参数，以便确定当达到最好匹配效果时的匹配参数。这个评价标准就是匹配效果评价参数fit。在求fit时，首先要初始化fit=0，然后将各点的匹配度评分相加即可。fit值越大，表示匹配效果越好，反之就越差。

步骤E5：重复执行步骤E2、步骤E3和步骤E4，求解所有由步骤E1随机产生的M组匹配参数的匹配效果评价参数fit。

步骤E6：利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配效果。粒子群优化算法的基本原理如下：设在N维搜索空间中，有M个粒子组成的初始种群, 其中第i个粒子的空间位置为x _i = (x _i1 , x _i2 , ^... , x _iN ) ,其当前飞行速度v _i = (v _i1 , v _i2 , ^... , v _iN )，其中i= 1, 2 , ^... ,M。设置一个适应度函数，对粒子的空间位置进行评价，用计算出来的函数值作为适应值，评价该粒子所处位置的优劣。P _i = (p _i1 , p _i2 , ^... , p _iN )为粒子i所经历的最好位置，即粒子i所经历过的具有最好适应值的位置，称为个体最好位置。对于最大化问题，粒子的适应度函数f (x)越大越好。

用粒子群优化算法进行优化求解匹配参数时，三个匹配参数组成一个粒子(s，x ₀ ，y ₀)，也就是说粒子的维数为3；适应度函数为匹配效果评价参数fit，即为最大化问题的粒子的适应度函数f (x)。用粒子群优化算法进行优化求解匹配参数的流程如图3所示，其具体实现的步骤如下：

步骤E6a：设定粒子数M和迭代次数G，随机产生M个初始粒子，即E1步骤随机产生的M组匹配参数，并随机产生初始速度v(t)。

步骤E6b：根据当前位置，计算出粒子的适应度，即匹配效果评价参数fit；设置当前位置为个体最好位置P(t)。

步骤E6c：按设定的最大迭代次数G进行下列循环运算:

针对每个粒子，作如下运算( fort=1, 2, ^..., G):

1、计算惯性权重ω(t)，更新速度v(t)，并把它限定v _max内；

2、计算当前位置x(t)以及当前位置时适应度函数f (x)：

3、更新当前个体最好位置P(t)：

4、更新当前全局最好位置P _g (t)：

其中ω(t)为惯性权重，ω _max和ω _min分别表示最大和最小惯性权重，一般分别取值1和0；c ₁和c ₂为加速度常数，通常取值为2；rand1()和rand2()是两个相互独立的、在[0,1]中均匀分布的随机函数。为了避免粒子在飞行过程中产生飞离搜索空间的可能性，v _ij通常限定在一定的范围内，v _ij ∈[-v _max , v _max ]，其中v _max = k×x _max，0. 1≤k≤1. 0。

步骤E6d：循环结束后，输出全局最好位置P _g (G)，即为匹配参数最终优化结果。

以上为本发明的一个优选实施例，通过该实施例可知，本发明公开的基于边缘检测的多光谱图像快速匹配方法不要求多光谱图像获取时的视场角相同，而且即使多光谱图像发生较大的错位，仍能取得很好的匹配效果。本方法的核心是采用窗口过滤技术和粒子群优化方法快速获取最佳的匹配参数，在评价匹配效果时，采用匹配效果评价参数fit作为匹配效果的评价标准，在理想情况下，若两图像完全匹配，fit的大小等于光谱2图像的边缘离散点数目。但是在实际中，多光谱图像不可能完全匹配，它们往往会存在多个像素的误差。利用匹配效果评价参数作为匹配效果的评价标准恰好能满足这种实际情况，允许存在一定的误差。因此，本图像匹配方法具有很好的容错性和鲁棒性，为更进一步的处理（如多光谱图像融合、图像拼接等）提供重要的基础。

本发明可以用于可见光图像和红外图像的快速匹配，或者用于红外图像和紫外图像的快速匹配，或者用于可见光图像和紫外图像的快速匹配，或者用于可见光图像、红外图像和紫外图像三者的快速匹配，以及其他需要对多光谱或同光谱图像进行匹配的图像处理过程。

Claims

1.一种基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述图像快速匹配方法包括以下步骤：

A、获取任意视场角下同一场景的多光谱图像的灰度图；

C、对B步骤获得的平滑的灰度图像进行边缘提取；

E、设定要求解的匹配参数，并利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配参数；

其中E步骤包括：

步骤E6：利用粒子群优化方法对匹配参数进行优化求解，获得最佳匹配效果。

2.根据权利要求1所述的基于边缘检测的图像快速匹配方法，其特征在于：在所述B步骤中对灰度图像滤波去噪之前先对灰度图像进行图像增强处理。

3.根据权利要求1所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述C步骤包括：

步骤C1：利用一阶差分模板与B步骤获得的平滑的灰度图像做卷积运算，获得图像的梯度幅值和方向；

4.根据权利要求3所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述步骤C1中所用的一阶差分模板为Sobel算子。

5.根据权利要求1所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述Ｄ步骤包括：

6.根据权利要求5所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述矩形窗口为正方形窗口，且大小根据图像边缘的像素点的密集度设置。

7.根据权利要求6所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述正方形窗口的边长为3、5、7、9或11个像素点。

8.根据权利要求1所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述步骤E6包括：

步骤E6d：循环结束后，输出全局最好位置。

9.根据权利要求1至8中任一权利要求所述的基于边缘检测的多光谱图像快速匹配方法，其特征在于：所述多光谱图像快速匹配方法用于可见光图像和红外图像的快速匹配，或者用于红外图像和紫外图像的快速匹配，或者用于可见光图像和紫外图像的快速匹配，或者用于可见光图像、红外图像和紫外图像三者的快速匹配。