CN104200450A - 一种红外热图像清晰度增强方法 - Google Patents

Abstract

本发明公开了一种红外热图像清晰度增强方法，包括如下步骤：A采集红外热图像，并进行增强对比度预处理；红外热图像是通过两台平行光轴结构且具有不同焦距的红外热像仪获得，红外热图像包括短焦图像及长焦图像；B扩大短焦图像，并将长焦图像分为低频和高频图像；C利用DLT算法及平移映射表，建立扩大后的短焦图像与原始长焦图像的无穷远平面对齐的映射关系；D建立图像金字塔，计算图像间的水平方向视差；E将长焦图像的高频部分融合到扩大的短焦图像中部分融合到扩大的短焦图像中。本发明相比于高分辨率的红外热像仪，降低了成本；保证了较大视角范围的同时增加了局部区域的清晰度。

Description

一种红外热图像清晰度增强方法

技术领域

本发明涉及红外图像处理领域，具体涉及一种红外热图像清晰度增强方法。

背景技术

针对红外热图像具有灰度范围低，整体图像偏暗，边沿模糊，混叠多种噪声的特点，对红外热图像的预处理非常重要，主要任务包括降低噪声，提升灰度范围，增强边缘等任务。由于红外热像仪的传感器特点，使得其成像分辨率较低，普通商用热像仪的分辨率都不会超过640*480。而更高分辨率的热像仪价格昂贵，现阶段难以大范围应用。因此可以考虑利用低分辨率的图像进行融合，以更低廉的价格获得更好的清晰度。

通常一副红外图像是由前景和背景组成的，往往观测者所需看清楚的图像区域并不是整幅图像，而是以主体所在区域为主，需要获得局部的清晰显示。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种红外热图像清晰度增强方法。

本发明采用如下技术方案：

一种红外热图像清晰度增强方法，包括如下步骤：

A采集红外热图像，并进行增强对比度预处理；所述红外热图像是通过两台平行光轴结构且具有不同焦距的红外热像仪获得，所述红外热图像包括短焦图像及长焦图像；

B扩大短焦图像，并将长焦图像分为低频和高频图像；

C利用DLT算法及平移映射表，建立扩大后的短焦图像与原始长焦图像的无穷远平面对齐的映射关系；

D建立图像金字塔，计算图像间的水平方向视差；

E将长焦图像的高频部分融合到扩大的短焦图像中。

所述A具体包括如下步骤：

A1使用中值滤波算法或双边滤波算法对图像进行平滑去噪处理；

A2使用巴特沃斯锐化滤波器来增强图像高频细节，提升图像整体灰度。

所述B具体包括如下步骤：

B1根据长焦镜头与短焦镜头的焦距比例，扩大预处理后的短焦图像，使得扩大后的短焦图像与长焦图像在公共区域内具有相同的比例尺度；

B2使用高斯低通滤波器，将预处理后的长焦图像分为高频和低频两张图像，滤波的目标是使低频图像的模糊程度与A1得到的短焦图像相当。

所述C具体包括如下步骤：

C1两支镜头按照平行光轴结构并排摆放，在垂直镜头采样的方向1-2m放置一块平面板，板上均匀放置多个点光源；

C2将B1得到扩大的短焦图像，与原始长焦图像作为一组标定照片，在图像上均匀找出多组配点坐标，优选至少10组以上，并记录下来；

C3利用上述多组匹配点，使用直线线性转换算法计算出描述短焦图像及原始长焦图像基于平面板所述外平面的单应矩阵；

C4以扩大的短焦图像为基准，利用单应矩阵和双线性插值算法计算短焦图像及原始长焦图像的坐标映射表；

C5移开C1所述平面板，然后在大于10m的平面上放置多个点光源，通过计算视差，得到无穷远平面对齐的坐标映射表。

所述D具体包括如下步骤：

D1根据得到的坐标映射表，在扩大的短焦图像，确定一个待融合区域，得到待融合区域的坐标起点和待融合区域的大小，即与B2得到低频图像之间的公共区域；

D2将待融合区域作为图像I，将低频图像作为图像J，在坐标映射表的基础上，计算出图像I每个待匹配点的视差向量，形成一张视差向量表。

所述E具体包括如下步骤：

E1将坐标映射表和视差向量表做加法运算得到综合映射表，作为描述扩大的短焦图像与原始长焦图像的匹配关系；

E2待融合区域的坐标起点开始，利用综合映射表及双线性插值算法，把高频图像融合到待融合区域中，增加公共区域的清晰度。

所述D2具体步骤包括：

D21将待融合区域作为图像I，将低频图像作为图像J，分别对上述图像建立三层金字塔结构的图像序列，所述三层金字层包括上、中、下层，所述上层金字塔长和宽为下层金字塔长和宽的1/2；

D22遍历I图像上层的像素点，建立一个3*3的特征块，根据坐标映射表，在图像J上水平单侧方向进行搜索，并根据深度与视差关系的经验限制其搜索范围，使用误差平方差即SSD作为衡量相似性指标，

$\mathrm{SSD}=(i,j)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{(I(i+m,j+n)-J(i^{\′}+m,j^{\′}+n))}^2$

(i',j′)是坐标点(i,j)通过查询映射表得出其在图像J上的对应点坐标，从而确定一定数量的粗匹配点视差偏移量；

D23根据确定的粗匹配点，使用SSD作为相似性评价指标，直接转入下层进行周围四个点的精确比较，直到确定匹配点间在原图上的视差偏移量，形成一张图像I每个点对应的视差偏移量。

所述D1中确定待融合区域，具体为：根据坐标映射表，在扩大的短焦图像中，设定某个坐标(i,j)，使得

0<HP_s(i,j)<1

则记录下该坐标值(i,j)，作为融合区域的起点，要求融合区域的长宽值Width和Height不超过长焦图像的对应尺寸，从而确定下融合区域的位置。

本发明的有益效果：

本发明通过不同焦距图像融合，提高红外图像的局部清晰度；

平行光轴结构为图像配准降低了难度，通过无穷远图像对齐，降低了匹配搜索的维度，建立金字塔结构提高了搜索速度，为图像实时融合提供了可能；通过不同焦距的低分辨率热像仪获取图像，提供了清晰度更好的局部画面，这是一种廉价的解决方案。

附图说明

图1是本发明的工作流程图；

图2是图1中的步骤B和步骤C的工作流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种红外热图像清晰度增强方法，包括如下步骤：

A采集红外热图像，并进行增强对比度预处理；所述红外热图像是通过两台平行光轴结构且具有不同焦距的红外热像仪获得，所述红外热图像包括短焦图像及长焦图像；具体为：

A1使用中值滤波算法或双边滤波算法对图像进行平滑去噪处理，其中关于中值滤波如下计算：

X_o＝Mid{X_i},i∈Z

其中Z是中值滤波的窗口范围，X_i是窗口内的像素值，X_o是中值滤波的输出，Mid表示求中间值。

关于双边滤波有如下计算：

采用由几何空间距离决定的滤波器系数和像素插值决定的滤波器系数叠加，计算权重系数：

,

$\mathrm{Weight}(i,j,k,l)=e^{(-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\&sigma;}}_d^2}-\frac{{|I(i,j)-I(k,l)|}^2}{2{\mathrm{\&sigma;}}_r^2})}$

其中，(i,j)是模板中心坐标，(k,l)是模板内的坐标点，2和是两个滤波器的方差系数。I(i,j)为图像像素值。

根据权重Weight(i,j,k,l)，计算像素输出值I'(i,j)

$I^{\&prime;}(i,j)=\frac{\underset{k,l}{\mathrm{\&Sigma;}}I(i,j)*\mathrm{weight}(i,j,k,l)}{\underset{k,l}{\mathrm{\&Sigma;}}\mathrm{weight}(i,j,k,l)}$

从而计算出整幅滤波图像I'(i,j)。去除红外图像中的随机噪声和颗粒噪声，并较好的保持了图像边缘。

A2使用巴特沃斯锐化滤波器来增强图像高频细节，提升图像整体灰度。

高通滤波器传递函数如下：

$H(u,v)=\frac{1}{1+{[D_0/D(u,v)]}^{2n}}$

其中D₀为截止频率距原点的距离。D(u,v)定义如下：

$D(u,v)={[{(u-M/2)}^2+{(v-N/2)}^2]}^{\frac{1}{2}}$

(u,v)＝(M/2,N/2)为频率矩形的中心。

设f_hp(x,y)表示高通滤波后的图像，f(x,y)表示原图，考虑锐化图像的同时，还需要提升原始图像的整体灰度，则输出图像f_out(x,y)应加入低频分量。

f_out(x,y)＝Af(x,y)+f_hp(x,y)

其中，要求A>0。经试验选择以下参数组合，A＝1.9，D₀＝30。

如图2所示，B扩大短焦图像，并将长焦图像分为低频和高频图像；

B1根据长焦镜头与短焦镜头的焦距之比，如长焦镜头50mm焦距，短焦镜头25mm焦距，则按照相同比例扩大短焦图像，这里就扩大两倍。从而保证使得扩大后的短焦图像与长焦图像在公共区域内具有相同的比例尺度。

B2使用高斯低通滤波器，将长焦图像分为高频和低频两张图像，滤波的目标是使得低频图像的模糊程度与(B1)得到的扩大短焦图像相当。相同的模糊程度是为了低频图像之间更好的匹配，而高频图像是用于图像融合。

C利用DLT算法及平移映射表，建立扩大后的短焦图像与原始长焦图像的无穷远平面对齐的映射关系，具体为：

C1两支镜头按照平行光轴结构并排摆放，并保证基线距离尽量小，比如5cm左右，在垂直镜头采样的方向1-2m放置一块平面板，板上均匀放置20个点光源，点光源为红色贴片LED灯，便于取样匹配点。

C2将B1得到扩大的短焦图像，与原始长焦图像作为一组标定照片，在图像上均匀找出20组配点坐标，分别是P_l和P_s，并记录下来；

C3对P_l和P_s进行归一化处理。其中P_l'和P_s'分别是P_l、P_s归一化后的坐标。

P_l'＝T_lP_l

P_s'＝T_rP_s

其中T_l和T_s是归一化矩阵。 $T_l=\left(\begin{array}{ccc}1/D_l& 0& -E\left(X_l\right)\\ 0& 1/D_l& -E\left(Y_l\right)\\ 0& 0& 1\end{array}\right),$ D_l是归一化前坐标的方差，E(X)和E(Y)是归一化前坐标值的期望，T_s的结构与T_l类似。

C4P_l和P_s之间的对应关系为：

P_l*hP_s＝0

其中， $h=\left[\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right],P_l=\left[\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ w_i^{\&prime;}\end{array}\right],P_s\left[\begin{array}{c}{x}_i\\ y_i\\ w_i\end{array}\right],$ w_i'和w_i为1。

将上式整理成Ah＝0的齐次方程形式。

$\left[\begin{array}{ccc}{0}^T& -w_i^{\&prime;}{P}_i^T& y_i^{\&prime;}{P}_i^T\\ w_i^{\&prime;}{P}_i^T& 0^T& -x_i^{\&prime;}{P}_i^T\\ -y_i^{\&prime;}{P}_i^T& x_i^{\&prime;}{P}_i^T& 0^T\end{array}\right]\left[\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right]\text{=0}$

将20对P_l'和P_s'的匹配点坐标带入上式，构建齐次方程，使用SVD奇异值分解，

A＝UDV^T

h即为V的最后一列。再把h整理成3*3的矩阵形式。

C5对坐标进行反归一化，求出直接描述P_l和P_s关系的H矩阵。

P_l'＝hP_s'

T_lP_l＝khT_sP_s

$P_l=k{T}_l^{-1}h{T}_s{P}_s$

其中k是比例系数，保证了三维向量的第三个分量为1，令

$H=k{T}_l^{-1}h{T}_s$

从而得到描述短焦图像与长焦图像的单应矩阵。即P_l＝HP_s。

C6以扩大的短焦图像为基准，在每个16*16的方框定点P_s(i,j)使用C5求解出的单应性矩阵计算出映射坐标P_l(i,j)，其中i,j均为16的倍数。并对该坐标进行定点化处理，乘以64四舍五入取整，获取离散的坐标映射表。

C7每个16*16的方框内，使用双线性插值的方法和C4得到的坐标映射表计算出方框内部的映射坐标。首先利用如下公式先插值方框四条边，计算出映射坐标,

f(k)＝(f(1)*(64-k)+f(2)*k)/64

然后利用如下公式插值方框内部区域，计算出映射坐标。

f(x,y)＝(f(1)*(64-x)*(64-y)+f(2)*(x)*(64-y)+f(3)*(64-x)*(y)+f(4)*x*y)/128其中f(1)，f(2)，f(3)，f(4)分别指的是方框四个顶点位置的映射坐标。在每一个方框内部，完成上述插值过程，从而获得完整的坐标映射表。

C8垂直热像仪光轴方向布置一个较远的平面(10m以上)，双目热像仪拍摄两张图像，利用C7得到的坐标映射表和双线性插值算法，计算出长焦图像对应的投影变换图像(PT图像)。

C9找到几组PT图像与短焦扩大图像的对应点，计算其水平视差的均值(坐标值之差)，

Offset＝abs(P_l-HP_s)

并记录下来。利用该视差值来平移整个映射表，即可得到无穷远平面对齐的坐标映射表。

D建立图像金字塔，计算图像间的水平方向视差，具体包括如下步骤：

D1根据C9中所得映射表，在短焦扩大图像中，设某个坐标(i,j),使得

0<HP_s(i,j)<1

则记录下该坐标值(i,j)，作为融合区域的起点。要求融合区域的长宽值Width和Height不超过长焦图像的对应尺寸。从而确定下融合区域的位置。该融合区域包含于两者图像的公共区域。

D2将D1确定的融合区域作为图像I，将B2得到低频图像作为图像J，分别对上述图像建立三层金字塔结构的图像序列。上层金字塔长宽为下层的1/2。

D3遍历I图像顶层的像素点，建立一个3*3的特征块，根据C9得到的映射表，在J图像上水平单侧方向进行搜索，并根据深度与视差关系的先验经验限制其搜索范围，使用误差平方差(SSD)最小作为衡量相似性指标

$\mathrm{SSD}=(i,j)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{(I(i+m,j+n)-J(i^{\&prime;}+m,j^{\&prime;}+n))}^2$

(i',j')是坐标点(i,j)通过查询映射表得出其在图像J上的对应点坐标。从而确定一定数量的粗匹配点视差偏移量。

D4根据D3确定的粗匹配点，使用SSD最小作为相似性评价指标，转入下层进行周围四个点的精确比较，直到确定匹配点间在原图上的视差偏移量，形成一张I图像每个点对应的视差偏移量。

D5将C9得到的坐标映射表和D4得到的视差向量表相加，作为描述B1得到的扩大的短焦图像与长焦图像的匹配关系。

D6将扩大的短焦图像作为背景，从D1得到的融合区域起点开始，利用D5得到的综合映射表，使用双线性插值算法，把B2得到的高频图像融合进来，增加公共区域清晰度的图像。

E将长焦图像的高频部分融合到扩大的短焦图像中，具体如下：

将得到的坐标映射表和得到的视差向量表做加法运算，作为描述得到的扩大的短焦图像与原始长焦图像的匹配关系。

从得到的融合区域起点开始，利用得到的综合映射表，使用双线性插值算法，把得到的高频图像融合到的融合区域中，从而增加了公共区域的清晰度。

文中所述的原始长焦图像为未进行预处理的长焦图像，长焦图像为经过处理后的长焦图像。

本发明首先利用不同焦距的红外热像仪采集红外图像。然后利用垂直于光轴方向的外平面板和两张待匹配图像，建立起两张图像无穷远对齐的坐标映射表。最后红外图像经过图像融合算法，将长焦图像的高频部分融合到扩大的短焦图像中。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种红外热图像清晰度增强方法，其特征在于，包括如下步骤：

A采集红外热图像，并进行增强对比度预处理；所述红外热图像是通过两台平行光轴结构且具有不同焦距的红外热像仪获得，所述红外热图像包括短焦图像及长焦图像；

B扩大短焦图像，并将长焦图像分为低频和高频图像；

C利用DLT算法及平移映射表，建立扩大后的短焦图像与原始长焦图像的无穷远平面对齐的映射关系；

D建立图像金字塔，计算图像间的水平方向视差；

E将长焦图像的高频部分融合到扩大的短焦图像中。

2.根据权利要求1所述的增强方法，其特征在于，所述A具体包括如下步骤：

A1使用中值滤波算法或双边滤波算法对图像进行平滑去噪处理；

A2使用巴特沃斯锐化滤波器来增强图像高频细节，提升图像整体灰度。

3.根据权利要求1所述的增强方法，其特征在于，所述B具体包括如下步骤：

B1根据长焦镜头与短焦镜头的焦距比例，扩大预处理后的短焦图像，使得扩大后的短焦图像与长焦图像在公共区域内具有相同的比例尺度；

B2使用高斯低通滤波器，将预处理后的长焦图像分为高频和低频两张图像，滤波的目标是使低频图像的模糊程度与A1得到的短焦图像相当。

4.根据权利要求1所述的增强方法，其特征在于，所述C具体包括如下步骤：

C1两支镜头按照平行光轴结构并排摆放，在垂直镜头采样的方向1-2m放置一块平面板，板上均匀放置多个点光源；

C2将B1得到扩大的短焦图像，与原始长焦图像作为一组标定照片，在图像上均匀找出多组配点坐标，并记录下来；

C3利用上述多组匹配点，使用直线线性转换算法计算出描述短焦图像及原始长焦图像基于平面板所述外平面的单应矩阵；

C4以扩大的短焦图像为基准，利用单应矩阵和双线性插值算法计算短焦图像及原始长焦图像的坐标映射表；

C5移开C1所述平面板，然后在大于10m的平面上放置多个点光源，通过计算视差，得到无穷远平面对齐的坐标映射表。

5.根据权利要求1所述的增强方法，其特征在于，D具体包括如下步骤：

D1根据得到的坐标映射表，在扩大的短焦图像，确定一个待融合区域，得到待融合区域的坐标起点和待融合区域的大小，即与B2得到低频图像之间的公共区域；

D2将待融合区域作为图像I，将低频图像作为图像J，在坐标映射表的基础上，计算出图像I每个待匹配点的视差向量，形成一张视差向量表。

6.根据权利要求1所述的增强方法，其特征在于，E具体包括如下步骤：

E1将坐标映射表和视差向量表做加法运算得到综合映射表，作为描述扩大的短焦图像与原始长焦图像的匹配关系；

E2待融合区域的坐标起点开始，利用综合映射表及双线性插值算法，把高频图像融合到待融合区域中，增加公共区域的清晰度。

7.根据权利要求4所述的增强方法，其特征在于，所述D2具体步骤包括：

D21将待融合区域作为图像I，将低频图像作为图像J，分别对上述图像建立三层金字塔结构的图像序列，所述三层金字层包括上、中、下层，所述上层金字塔长和宽为下层金字塔长和宽的1/2；

D22遍历I图像上层的像素点，建立一个3*3的特征块，根据坐标映射表，在图像J上水平单侧方向进行搜索，并根据深度与视差关系的经验限制其搜索范围，使用误差平方差即SSD作为衡量相似性指标，

$\mathrm{SSD}=(i,j)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{(I(i+m,j+n)-J(i^{\&prime;}+m,j^{\&prime;}+n))}^2$

(i',j′)是坐标点(i,j)通过查询映射表得出其在图像J上的对应点坐标，从而确定一定数量的粗匹配点视差偏移量；

D23根据确定的粗匹配点，使用SSD作为相似性评价指标，直接转入下层进行周围四个点的精确比较，直到确定匹配点间在原图上的视差偏移量，形成一张图像I每个点对应的视差偏移量。

8.根据权利要求5所述的增强方法，其特征在于，所述D1中确定待融合区域，具体为：根据坐标映射表，在扩大的短焦图像中，设定某个坐标(i,j)，使得

0<HP_s(i,j)<1

则记录下该坐标值(i,j)，作为融合区域的起点，要求融合区域的长宽值Width和Height不超过长焦图像的对应尺寸，从而确定下融合区域的位置。