CN103714548B - 基于视觉注意的红外图像与可见光图像配准方法 - Google Patents

Abstract

基于视觉注意机制的红外图像与可见光图像配准方法，步骤如下：输入原始红外和可见光图像，通过视觉注意机制模型获取红外和可见光图像的视觉显著区域；通过Hu矩的不变矩计算，对红外和可见光图像的视觉显著区域进行粗匹配；在粗匹配的红外和可见光图像的视觉显著区域内搜寻质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；基于去均值归一化互相关原理对视觉显著点进行细匹配；采用RANSAC算法对精确匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换，实现图像的配准、输出。本发明通过模拟人眼的视觉注意机制作为图像的特征检测方法提取稳定的特征，经过匹配后，精确实现红外图像与可见光图像的配准。

Description

基于视觉注意的红外图像与可见光图像配准方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于视觉注意机制的红外图像与可见光图像配准方法，通过模拟人眼注意到的图像的“兴趣区域”，利用“兴趣区域”的信息进行红外图像与可见光图像的配准。

背景技术

图像配准技术是将对相同地区，在不同视角、不同时刻、不同传感器或不同光照条件下拍摄的图像进行空间对准的过程。对同一场景进行拍摄得到的图像是真实的三维世界在不同时间向成像平面的一系列投影，图像与图像之间有较大的相关性和信息冗余，所以无论所处理的图像发生何种形式的变化，或由何种传感器获得，总可以利用图像中不变的部分、共性的信息完成配准。

国外从20世纪60年代开始在图像配准领域进行研究，而国内从20世纪90年代初才开始涉足此领域。到20世纪末，单模图像配准问题已基本解决，但是单模图像由于成像源单一，因此得到的信息量也比较单一。多模图像由于来源于不同成像设备，所以能得到比单模图像更加丰富和全面的信息，对这些互补信息进行融合，对于目标识别等任务具有重要意义。图像融合的前提是图像的精确配准。

目前常见的图像配准方式可以分为：基于图像区域的配准方法和基于图像特征的配准方法。基于图像区域的配准方法通常是用图像的某一区域或者整幅图像去估计图像之间在空间几何上的变换参数。常见的基于区域的配准方法有空域相关类方法、相位相关法、概率型测度法等。基于图像特征的配准方法是通过提取图像中对比例、旋转、平移、照度等保持不变的特征，利用图像的高层信息对图像进行配准。常见的基于图像特征的配准方法包括：基于结构性特征的方法，基于小波系数的方法，基于不变量图像描述符的方法和基于局部不变特征的方法等。基于特征的图像配准方法的基本步骤主要包括特征检测、特征匹配、变换模型参数估计及图像重采样与变换。

红外与可见光图像配准是常见的多模图像配准。红外图像反映的是景物的辐射信息，可见光图像反映景物的反射信息，二者输出的图像具有不同的灰度特征。红外图像可在场景内定位具有较高温度的物体，而可见光图像则提供背景信息，将二者融合，便能实现在背景中定位高温物体的功能。但是，由于红外反映景物的辐射信息，而可见光反映景物的反射信息，两者成像条件和场景具有一定复杂性，所以红外与可见光图像间的相关性较小，图像的灰度特性相差很大，缺乏一致性特征，配准难度大。

为了解决红外图像与可见光图像之间的配准问题，在各个领域根据自身需求产生了许多有效的算法，在军事和遥感上针对红外与可见光图像配准的研究较多，这些图像的内容一般都是基于整个场景的，这类图像中可能会有一些较明显的标志物体能提供较利于匹配的特征点，如坦克的边角、区域的边界等；而工业及民用领域上的红外与可见光图像中有时可能很难获取这样的特征点，因为它们往往只是表征了物体的局部区域，针对这类图像的配准问题，如何能稳定地提取红外与可见光图像的共有特征仍是目前亟待解决的难点课题。

发明内容

针对目前多模图像配准存在的不足，本发明的目的在于提供一种基于视觉注意的红外与可见光图像配准方法，以模拟人眼的视觉注意机制作为图像的特征检测方法提取稳定的特征，经过匹配后，精确实现红外图像与可见光图像的配准。

为了实现上述目的，本发明采取如下的技术解决方案：

基于视觉注意机制的红外图像与可见光图像配准方法，包括以下步骤：输入原始红外图像和原始可见光图像，

步骤1、通过视觉注意机制模型获取红外图像和可见光图像的视觉显著区域：

步骤1-1、将原始红外图像和原始可见光图像分别进行灰度处理，得到红外灰度图和可见光灰度图，将红外灰度图作为单一尺度下的红外亮度图，将可见光灰度图作为单一尺度下的可见光亮度图；

步骤1-2、构造m个尺寸为n×n像素、方向为的Gabor滤波器，分别对红外灰度图与可见光灰度图进行滤波，对应得到m幅单一尺度下的红外方向图和m幅单一尺度下的可见光方向图；

步骤1-3、建立图像的多尺度空间：对单一尺度的红外、可见光亮度图和单一尺度的红外、可见光方向图分别逐级进行隔行隔列的降采样和平滑处理，形成各图像的金字塔模型，得到多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图；

步骤1-4、对多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图进行中央周差操作，利用金字塔模型高层图像与低层图像进行减运算，对应得到红外、可见光亮度特征图和红外、可见光方向特征图；

步骤1-5、对红外、可见光亮度特征图和红外、可见光方向特征图分别归一化合并，对应得到红外、可见光亮度显著图和红外、可见光方向显著图；

步骤1-6、线性叠加获取总显著图，通过全局搜索确定视觉显著区域；

将红外亮度显著图和红外方向显著图通过线性叠加得到红外总显著图，将可见光亮度显著图和可见光方向显著图通过线性叠加得到可见光总显著图，分别通过胜者全取策略全局搜索极大值，得到图像的视觉显著区域；

步骤2：通过Hu矩的不变矩计算，对红外图像和可见光图像的视觉显著区域进行粗匹配：

步骤2-1、将原始红外图像和原始可见光图像分别转化为二值图像，通过链码获取前述图像的轮廓；

步骤2-2、将红外图像的视觉显著区域、可见光图像的视觉显著区域分别导入步骤2-1得到的红外图像的轮廓和可见光图像的轮廓中，得到红外图像的视觉显著区域轮廓图和可见光图像的视觉显著区域轮廓图；

步骤2-3、对红外图像和可见光图像的视觉显著区域进行粗匹配，步骤如下：

a.计算视觉显著区域的中心矩u_pq：

$u_{\mathrm{pq}}=\underset{y=1}{\overset{M}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y),p,q=\mathrm{0,1,2}\·\·\·,$

其中，f(x,y)为视觉显著区域轮廓图中像素点的像素灰度值，、为视觉显著区域轮廓图的重心，N为视觉显著区域轮廓图的高度，M为视觉显著区域轮廓图的宽度；

b.归一化中心矩计算式：η_pq＝u_pq/(u₀₀ ^ρ)，其中ρ=(p+q)/2+1；

c.构造Hu矩的不变矩：

M1＝η₂₀+η₀₂，

M2＝(η₂₀-η₀₂)²+4η₁₁ ²，

M3＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

d.计算红外图像与可见光图像的一阶矩比值：M1/M1',及二阶矩比值：M2/M2',M3/M3'，若三组比值都在阈值范围内则视为匹配区域；

步骤3、在粗匹配的红外图像和可见光图像的视觉显著区域内搜寻其质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；

计算红外、可见光视觉显著区域的质心，质心(x₀,y₀)通过下式计算：

$x_0=\frac{\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{xI}(x,y)}{\underset{(x,y)\∈T}{\mathrm{\Σ}}I(x,y)},y_0=\frac{\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{yI}(x,y)}{\underset{(x,y)\∈T}{\mathrm{\Σ}}I(x,y)};$

其中，T表示视觉显著区域，I(x,y)为视觉显著区域内该点亮度值；

步骤4、基于去均值归一化互相关原理对视觉显著点进行细匹配；

选取红外图像的视觉显著点周围l×l区域为模板，将可见光图像的视觉显著点周围l×l区域为待匹配图像，计算模板和待匹配图像的相关系数R(u,v)，对红外图像和可见光图像的视觉显著区域进行精确匹配，当相关系数R(u,v)在0.6以上则视为匹配；

$R(u,v)=\frac{\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}},$

其中，x、y为待匹配图像的大小，U、V为模板的大小,u、v为视觉显著点，f(x,y)为待匹配图像中像素点的像素灰度值，t(x-u,y-v)为模板中像素点的像素灰度值，为模板的灰度均值，为待匹配图像的灰度均值；

步骤5、采用RANSAC算法对细匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换；实现红外图像和可见光图像的配准、输出。

本发明的具体技术方案为，所述步骤1-2中的Gabor滤波器为：

$G(x_0,y_0,w_0)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp [-({x_0}^2+{y_0}^2)/\left(2{\mathrm{\σ}}^2\right)]\×\exp \left(j{w}_0{x}_0\right),$

其中，x₀=xcosθ+ysinθ，y₀=-xsinθ+ycosθ，x、y为空间域像素点的位置坐标，w₀为滤波器的中心频率，θ为Gabor滤波器小波的方向，σ为高斯函数沿两个坐标轴的标准方差，exp（jw₀x₀）为交流成分。

本发明的具体技术方案为，所述步骤1-3中的图像金字塔模型分为6层，从下往上依次为0～5层，其中第0层为原始图像，上一层图像相对下一层图像依次在长度和宽度上减少一半，不同高斯核对应不同尺度的高斯函数对金字塔的每层图像进行卷积，逐层平滑图像。

本发明的具体技术方案为，所述步骤1-4中减运算的规则为0-2、0-3、1-3、1-4、2-4、2-5，可以得到6组图像。

本发明的具体技术方案为，所述金字塔模型中不同层的图像相减时，对小尺寸图像进行插值以保证两幅图像尺寸大小一致。

本发明的具体技术方案为，所述步骤1-5中归一化合并的步骤如下：将每幅特征图通过GBVS方法获取归一化权重系数，再将每幅特征图乘以归一化权重系数，特征图加权叠加后得到显著图。

本发明的具体技术方案为，所述权重系数由每幅特征图的局部最大值M和除局部最大值之外的平均值构成，

本发明的具体技术方案为，所述步骤2-1中通过8连通链码获取图像的轮廓：

a.对二值图从上到下、从左到右搜索像素值为1的点，作为待起始点，执行下一步；

b.将待起始点作为起始点进行跟踪，搜索当前点的下一点，在该点3邻域内，按照链码行走按逆时针方向搜索，对于已跟踪过的点，令其像素值为0，交叉点为3，每个起始点的所有方向搜索完毕后，转入下个起始点；当跟踪遇到边界端点、交叉点或起始点时，定义该链码编码结束，若为交叉点，则令其为下个起始点，继续编码的链码归属于遇到交叉点以前的链码；

一连通边界搜索完毕，继续往向前搜索，重复步骤a和b，直到整幅二值图像搜索完毕，对所有对象编码完成，得到图像的轮廓图。

本发明的具体技术方案为，所述步骤2-3中Hu矩的不变矩比值的阈值范围为0.8～1.2。

由以上技术方案可知，本发明方法基于视觉注意机制模型模拟人眼注意“兴趣区域”，获得图像的视觉显著区域，利用Hu矩的不变矩计算对视觉显著区域粗匹配，通过去均值归一化互相关和RANSAC算法对图像进行精确配准，能够稳定提取红外、可见光图像相应的特征，对于具有旋转、偏移、尺度放缩以及不同视场大小等差异的两幅或多幅图像都能够实现较好的配准，具有较高的配准精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中需要使用的附图做简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图；

图2a是本发明实施例的原始红外图像；

图2b是本发明实施例的原始可见光图像；

图3a是本发明实施例的某一尺度下的红外亮度特征图；

图3b是本发明实施例的某一尺度下的可见光亮度特征图；

图4a是本发明实施例的某一尺度下的红外方向特征图；

图4b是本发明实施例的某一尺度下的可见光方向特征图；

图5a是本发明实施例的红外亮度显著图；

图5b是本发明实施例的可见光亮度显著图；

图6a是本发明实施例的红外方向显著图；

图6b是本发明实施例的可见光方向显著图；

图7a是本发明实施例的红外总显著图；

图7b是本发明实施例的可见光总显著图；

图8a是本发明实施例的红外图像的视觉显著区域示意图；

图8b是本发明实施例的可见光图像的视觉显著区域示意图；

图9a是本发明实施例的红外图像视觉显著区域轮廓的示意图；

图9b是本发明实施例的可见光图像视觉显著区域轮廓的示意图；

图10a是本发明实施例将视觉显著区域导入红外图像轮廓的示意图；

图10b是本发明实施例的将视觉显著区域导入可见光图像轮廓的示意图

图11是本发明实施例可见光图像和红外图像的视觉显著区域的粗匹配结果图；

图12是本发明实施例细匹配后的处理结果图；

图13是本发明实施例提纯操作的结果图；

图14是本发明实施例图像配准的最终结果图。

具体实施方式

视觉注意机制是一种将人目光注视引导到场景中感兴趣物体上的机制。通常进入人们视野的视觉信息是海量的，但是从这些海量的信息中，人们依然能够搜寻到想要的信息。视觉注意是与周围环境完全与众不同的目标物会自动的从视野环境中“跳出”并吸引注意力的关注。

本发明方法包括特征检测和特征匹配两个部分，特征检测基于视觉注意机制模型模拟人眼注意“兴趣区域”，获得图像的视觉显著区域，特征匹配利用Hu矩的不变矩计算对视觉显著区域粗匹配，通过去均值归一化互相关和RANSAC算法对图像进行精确配准，能够稳定提取红外、可见光图像相应的特征，对于具有旋转、偏移、尺度放缩以及不同视场大小等差异的两幅或多幅图像都能够实现较好的配准，具有较高的配准精度。

下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

参照图1，图1为本发明方法的流程图，本发明方法的具体步骤如下：输入原始红外图像和原始可见光图像，如图2a和图2b所示，

步骤1、通过视觉注意机制模型得到红外图像与可见光图像的视觉显著区域，具体步骤如下：

步骤1-1、将原始红外图像和原始可见光图像分别进行灰度处理，得到红外灰度图和可见光灰度图，将红外灰度图作为单一尺度下的红外亮度图，将可见光灰度图作为单一尺度下的可见光亮度图。

步骤1-2、将红外灰度图和可见光灰度图分别通过Gabor滤波器进行滤波，得到对应的单一尺度下的红外方向图和可见光方向图；

构造m个尺寸为n×n像素、方向为的Gabor滤波器，分别对红外灰度图与可见光灰度图进行滤波，对应得到m幅单一尺度下的红外方向图和m幅单一尺度下的可见光方向图；

所述Gabor滤波器为： $G(x_0,y_0,w_0)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp [-({x_0}^2+{y_0}^2)/\left(2{\mathrm{\σ}}^2\right)]\×\exp \left(j{w}_0{x}_0\right),$ 其中，x₀=xcosθ+ysinθ，y₀=-xsinθ+ycosθ，x、y为空间域像素的位置坐标，w₀为滤波器的中心频率，θ为Gabor滤波器小波的方向，σ为高斯函数沿两个坐标轴的标准方差，exp（jw₀x₀）为交流成分；

本实施例中构造的Gabor滤波器为8个尺寸为31×31像素、方向为的Gabor滤波器；通过Gabor滤波器滤波后分别得到红外灰度图在八个方向上的单一尺度下的方向图和可见光灰度图在八个方向上的单一尺度下的方向图，利用Gabor滤波器可找出在特定方向上才能突显的特征。

步骤1-3、建立图像的多尺度空间，对单一尺度的红外、可见光亮度图和单一尺度的红外、可见光方向图分别逐级进行降采样和平滑处理，得到多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图；

对步骤1-1得到的单一尺度的亮度图和步骤1-2得到的单一尺度的方向图分别进行隔行隔列的降采样，形成各图像的金字塔模型；进一步的，本实施例的图像金字塔模型分为6层，从下往上依次为0～5层，其中第0层为原始图像，上一层图像相对下一层图像依次在长度和宽度上减少一半，不同高斯核对应不同尺度的高斯函数对金字塔的每层图像进行卷积，逐层平滑图像，从而得到亮度图和方向图的不同尺度表示；不同的尺度下的图像可以显示不同频段的特征：粗尺度能发现低频细节部分，检测的为轮廓信息；细尺度能发现高频细节部分，检测的为边缘信息，对图像建立尺度空间可以找到不同的尺度下才能突显出来的多样的特征；

步骤1-4、对步骤1-3得到的多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图进行中央周差操作，获取亮度特征图和方向特征图；

中央周差操作中细尺度特征图代表中央区域，粗尺度特征图代表周边区域，将步骤1-3中金字塔模型中高层图像与低层图像两两进行减运算，得到不同层次的高频信息，即不同层次的细节特征。对于本实施例来说，减运算的规则为0-2、0-3、1-3、1-4、2-4、2-5，可以得到6组图像，在图像相减时，对小尺寸图像进行插值以保证两幅图像尺寸大小一致。多尺度的红外亮度图和可见光亮度图经过中央周差操作后，分别对应得到6幅红外亮度特征图和6幅可见光亮度特征图，如图3a为某一尺度下的红外亮度特征图，图3b为某一尺度下的可见光亮度特征图。多尺度的红外方向图和可见光方向图经过中央周差操作后，分别对应得到48幅红外方向特征图和48幅可见光方向特征图，如图4a为某一尺度下的红外方向特征图，图4b为某一尺度下的可见光方向特征图。

步骤1-5、对亮度特征图和方向特征图归一化合并，得到亮度显著图和方向显著图；

将每幅特征图通过GBVS(Graph-Based visual saliency)方法获取归一化权重系数，再将每幅特征图乘以权重系数，加权叠加后得到显著图；如对6幅红外亮度特征图进行特征值归一化操作：找出每幅红外亮度特征图的局部最大值M和除局部最大值之外的平均值，由局部最大值和平均值构成权重系数经过归一化后乘以每幅特征图，再将加权后的6幅亮度特征图叠加合并得到一幅如图5a所示的红外亮度显著图，可见光亮度特征图的操作同上，可见光亮度显著图如图5b所示。

对于方向特征图，对48幅红外方向特征图找出每幅红外方向特征图的局部最大值和除局部最大值之外的平均值，每一幅图乘于归一化后的权重系数，再将加权后的48幅方向特征图叠加合并得到一幅红外方向显著图，如图6a所示；同样，对48幅可见光方向特征图找出每幅可见光方向特征图的局部最大值和除局部最大值之外的平均值，每一幅图乘于归一化后的权重系数，再将48幅方向特征图叠加合并得到一幅可见光方向显著图，如图6b所示。

步骤1-6、线性叠加获取总显著图，通过全局搜索确定视觉显著区域；

将红外亮度显著图和红外方向显著图通过线性叠加得到红外总显著图，即将图5a和图6a线性叠加得到如图7a所示的红外总显著图；将可见光亮度显著图和可见光方向显著图通过线性叠加得到可见光总显著图，即将图5b和图6b线性叠加得到如图7b所示的可见光总显著图，总显著图中的极大值对应图像的最显著的部分，通过胜者全取（Winner-take-all）策略全局搜索极大值，得到图像的视觉显著区域，如图8a和图8b所示。

步骤2：通过Hu矩的不变矩计算，对步骤1得到的红外图像与可见光图像的视觉显著区域进行粗匹配；由于红外和可见光的成像机制不一样，二者输出的图像具有不同的灰度特征，通过视觉注意机制模型得到的视觉显著区域会有差别，通过Hu矩的不变矩的计算对红外图像与可见光图像的视觉显著区域进行粗匹配；

步骤2-1、将原始图像（原始红外图像和原始可见光图像）分别转化为二值图像，通过8连通链码获取原始图像的轮廓，红外图像和可见光图像的操作步骤相同，具体如下：

a.对二值图像从上到下、从左到右搜索像素值为1的点，作为待起始点，执行下一步；

b.将待起始点作为起始点进行跟踪，搜索当前点的下一点，在该点3邻域内按照链码行走按逆时针方向搜索，对于已跟踪过的点，令其像素值为0，交叉点为3，每个起始点的所有方向搜索完毕后，转入下个起始点；当跟踪遇到边界端点、交叉点或起始点时，定义该链码编码结束，若为交叉点，则令其为下个起始点，继续编码的链码归属于遇到交叉点以前的链码；

一连通边界搜索完毕，继续往向前搜索，重复步骤a和b，直到整幅二值图像搜索完毕，对所有对象编码完成，得到图像的轮廓。图9a为红外图像通过8连通链码提取的轮廓，图9b为可见光图像通过8连通链码提取的轮廓。

步骤2-2、将步骤1得到的红外图像的视觉显著区域、可见光图像的视觉显著区域分别导入步骤2-1得到的红外图像的轮廓和可见光图像的轮廓中，得到红外图像的视觉显著区域轮廓图和可见光图像的视觉显著区域轮廓图，如图10a和图10b所示。

步骤2-3、剔除细小边缘和离散点后，利用Hu矩的不变矩计算对红外和可见光图像的视觉显著区域进行粗匹配，步骤如下：

a.计算视觉显著区域的中心矩u_pq：

$u_{\mathrm{pq}}=\underset{y=1}{\overset{M}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y),p,q=\mathrm{0,1,2}\·\·\·,$

其中，f(x,y)为视觉显著区域轮廓图中像素点的像素灰度值，、为视觉显著区域轮廓图的重心，N为视觉显著区域轮廓图的高度，M为视觉显著区域轮廓图的宽度；

b.归一化中心矩计算式：η_pq＝u_pq/(u₀₀ ^ρ)，其中ρ=(p+q)/2+1；

c.构造Hu矩的不变矩：

M1＝η₂₀+η₀₂，

M2＝(η₂₀-η₀₂)²+4η₁₁ ²，

M3＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

d.根据以上步骤分别得到红外图像和可见光图像的不变矩后，计算红外图像与可见光图像不变矩的比值：M1/M1',M2/M2',M3/M3'，M1为红外图像的一阶矩，M2、M3为红外图像的二阶矩，M1'为可见光图像的一阶矩，M2'、M3'为可见光图像的二阶矩，若三组比值都在设定阈值范围内则视为匹配区域，进一步的，该阈值范围为0.8～1.2。

可见光图像和红外图像的视觉显著区域的粗匹配结果如图11所示。

步骤3、在由步骤2得到的粗匹配的红外图像和可见光图像的视觉显著区域内搜寻质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；

统计粗匹配后的视觉显著区域的轮廓信息，计算红外、可见光视觉显著区域的质心，将质心视为视觉显著点，质心(x₀,y₀)通过下式计算：

$x_0=\frac{\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{xI}(x,y)}{\underset{(x,y)\∈T}{\mathrm{\Σ}}I(x,y)},y_0=\frac{\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{yI}(x,y)}{\underset{(x,y)\∈T}{\mathrm{\Σ}}I(x,y)};$

其中，T表示视觉显著区域，I(x,y)为视觉显著区域内像素点亮度值；

步骤4、基于去均值归一化互相关原理对视觉显著点进行细匹配；

选取步骤3得到的红外图像的视觉显著点周围l×l区域为模板，将可见光图像的视觉显著点周围l×l区域为待匹配图像，计算模板和待匹配图像的相关系数R(u,v)，对红外图像和可见光图像的视觉显著区域再次匹配，R(u,v)在0.6以上时则视为匹配；

$R(u,v)=\frac{\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}},$

其中，x、y为待匹配图像的大小，U、V为模板的大小,u、v表示视觉显著点，f(x,y)为待匹配图像中像素点的像素灰度值，t(x-u,y-v)为模板中像素点的像素灰度值，为模板的灰度均值，为待匹配图像的灰度均值；

经过精确匹配后的处理结果如图12所示。

步骤5、采用RANSAC算法对精确匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换；

本发明的RANSAC算法提纯及配准估计函数的计算为现有技术的常规手段，通过重复提取最小点集估算配准估计函数的初始参数，利用初始参数把所有视觉显著点分为符合该函数的内点和不符合的外点，图13所示为具有内点的示意图，利用所有内点重新计算配准估计函数的参数，更新配准估计函数，通过配准估计函数变换图像，实现红外图像和可见光图像的配准、输出，如图14所示。

与传统图像配准方法相比，本发明方法具有良好的稳定性、适应性和鲁棒性，无需人工干预，配准精度高，可以很好适应不同传感器、不同变化的图像，对于具有旋转、偏移、尺度放缩以及不同视场大小等差异的两幅或多幅图像都能够实现图像的精确配准。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于，包括以下步骤：输入原始红外图像和原始可见光图像，

步骤1、通过视觉注意机制模型获取红外图像和可见光图像的视觉显著区域：

步骤1-1、将原始红外图像和原始可见光图像分别进行灰度处理，得到红外灰度图和可见光灰度图，将红外灰度图作为单一尺度下的红外亮度图，将可见光灰度图作为单一尺度下的可见光亮度图；

步骤1-2、构造m个尺寸为n×n像素、方向为的Gabor滤波器，分别对红外灰度图与可见光灰度图进行滤波，对应得到m幅单一尺度下的红外方向图和m幅单一尺度下的可见光方向图；

步骤1-3、建立图像的多尺度空间：对单一尺度的红外、可见光亮度图和单一尺度的红外、可见光方向图分别逐级进行隔行隔列的降采样和平滑处理，形成各图像的金字塔模型，得到多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图；

步骤1-4、对多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图进行中央周差操作，利用金字塔模型高层图像与低层图像进行减运算，对应得到红外、可见光亮度特征图和红外、可见光方向特征图；

步骤1-5、对红外、可见光亮度特征图和红外、可见光方向特征图分别归一化合并，对应得到红外、可见光亮度显著图和红外、可见光方向显著图；

步骤1-6、线性叠加获取总显著图，通过全局搜索确定视觉显著区域；

将红外亮度显著图和红外方向显著图通过线性叠加得到红外总显著图，将可见光亮度显著图和可见光方向显著图通过线性叠加得到可见光总显著图，分别通过胜者全取策略全局搜索极大值，得到图像的视觉显著区域；

步骤2：通过Hu矩的不变矩计算，对红外图像和可见光图像的视觉显著区域进行粗匹配：

步骤2-1、将原始红外图像和原始可见光图像分别转换为二值图像，通过链码获取前述图像的轮廓；

步骤2-2、将红外图像的视觉显著区域、可见光图像的视觉显著区域分别导入步骤2-1得到的红外图像的轮廓和可见光图像的轮廓中，得到红外图像的视觉显著区域轮廓图和可见光图像的视觉显著区域轮廓图；

步骤2-3、对红外图像和可见光图像的视觉显著区域进行粗匹配，步骤如下：

a.计算视觉显著区域的中心矩u_pq：

$u_{pq}=\underset{y=1}{\overset{M}{\Σ}}\underset{x=1}{\overset{N}{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y),p,q=0,1,2...,$

其中，f(x,y)为视觉显著区域轮廓图中像素点的像素灰度值，为视觉显著区域轮廓图的重心，N为视觉显著区域轮廓图的高度，M为视觉显著区域轮廓图的宽度；

b.归一化中心矩计算式：η_pq＝u_pq/(u₀₀ ^ρ)，其中ρ＝(p+q)/2+1；

c.构造Hu矩的不变矩：

M1＝η₂₀+η₀₂，

M2＝(η₂₀-η₀₂)²+4η₁₁ ²，

M3＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

d.计算红外图像与可见光图像的一阶矩比值：M1/M1',及二阶矩比值：M2/M2',M3/M3'，若三组比值都在阈值范围内则视为匹配区域；

步骤3、在粗匹配的红外图像和可见光图像的视觉显著区域内搜寻其质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；

计算红外、可见光视觉显著区域的质心，质心(x₀,y₀)通过下式计算：

$x_0=\frac{\underset{(x,y)\∈T}{\Σ}xI(x,y)}{\underset{(x,y)\∈T}{\Σ}I(x,y)},y_0=\frac{\underset{(x,y)\∈T}{\Σ}yI(x,y)}{\underset{(x,y)\∈T}{\Σ}I(x,y)};$

其中，T为视觉显著区域，I(x,y)为视觉显著区域内像素点亮度值；

步骤4、基于去均值归一化互相关原理对视觉显著点进行细匹配；

选取红外图像的视觉显著点周围l×l区域为模板，将可见光图像的视觉显著点周围l×l区域为待匹配图像，计算模板和待匹配图像的相关系数R(u,v)，对红外图像和可见光图像的视觉显著区域进行精确匹配，当相关系数R(u,v)在0.6以上则视为匹配；

$R(u,v)=\frac{\underset{x=u}{\overset{u+U-1}{\Σ}}\underset{y=v}{\overset{v+V-1}{\Σ}}\[f(x,y)-{\stackrel{\‾}{f}}_{u,v}\]\[t(x-u,y-v)-\stackrel{\‾}{t}\]}{\sqrt{\underset{x=u}{\overset{u+U-1}{\Σ}}\underset{y=v}{\overset{v+V-1}{\Σ}}{\[f(x,y)-{\stackrel{\‾}{f}}_{u,v}\]}^2\underset{x=u}{\overset{u+U-1}{\Σ}}\underset{y=v}{\overset{v+V-1}{\Σ}}{\[t(x-u,y-v)-\stackrel{\‾}{t}\]}^2}},$

其中，x、y为待匹配图像的大小，U、V为模板的大小,u、v为视觉显著点，f(x,y)为待匹配图像中像素点的像素灰度值，t(x-u,y-v)为模板中像素点的像素灰度值，为模板的灰度均值，为待匹配图像的灰度均值；

步骤5、采用RANSAC算法对精确匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换，实现红外图像和可见光图像的配准、输出。

2.根据权利要求1所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述步骤1-2中的Gabor滤波器为：

其中，x₀＝xcosθ+ysinθ，y₀＝-xsinθ+ycosθ，x、y为空间域像素点的位置坐标，w₀为滤波器的中心频率，θ为Gabor滤波器小波的方向，σ为高斯函数沿两个坐标轴的标准方差，exp(jw₀x₀)为交流成分。

3.根据权利要求1或2所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述步骤1-3中的图像金字塔模型分为6层，从下往上依次为0～5层，其中第0层为原始图像，上一层图像相对下一层图像依次在长度和宽度上减少一半，不同高斯核对应不同尺度的高斯函数对金字塔的每层图像进行卷积，逐层平滑图像。

4.根据权利要求3所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述步骤1-4中减运算的规则为0-2、0-3、1-3、1-4、2-4、2-5，可以得到6组图像，在图像相减时，对小尺寸图像进行插值以保证两幅图像尺寸大小一致。

5.根据权利要求3所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述金字塔模型中不同层的图像相减时，对小尺寸图像进行插值以保证两幅图像尺寸大小一致。

6.根据权利要求1所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述步骤1-5中归一化合并的步骤为：将每幅特征图通过GBVS方法获取归一化权重系数，再将每幅特征图乘以归一化权重系数，特征图加权叠加后得到显著图。

7.根据权利要求6所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述权重系数由每幅特征图的局部最大值M和除局部最大值之外的平均值构成，权重系数

8.根据权利要求1所述的基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于：所述步骤2-3中Hu矩的不变矩比值的阈值范围为0.8～1.2。