CN109255773A - 基于全变分的异分辨率红外与可见光图像融合方法及*** - Google Patents
基于全变分的异分辨率红外与可见光图像融合方法及*** Download PDFInfo
- Publication number
- CN109255773A CN109255773A CN201811068897.6A CN201811068897A CN109255773A CN 109255773 A CN109255773 A CN 109255773A CN 201811068897 A CN201811068897 A CN 201811068897A CN 109255773 A CN109255773 A CN 109255773A
- Authority
- CN
- China
- Prior art keywords
- image
- iteration
- infrared
- resolution ratio
- iterations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 238000002156 mixing Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012804 iterative process Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 abstract 1
- 238000013178 mathematical model Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于全变分的异分辨率红外与可见光图像融合方法及***,包括建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系;根据源图像,求解所构建的全变分模型的最优解,得到图像融合结果。本发明针对原始红外图像和可见光图像分辨率不同的情况建模,得到的融合图像分辨率高,纹理细节清晰,同时保留了红外图像用像素强度分布凸出热目标的特性,融合结果便于人眼对热目标的判别,视觉效果好。
Description
技术领域
本发明涉及图像融合技术领域,具体地说,本发明涉及一种基于全变分模型的异分辨率红外与可见光图像融合技术方案。
背景技术
图像融合的基本目标是将不同传感器获得的图像组合,生成有助于后续处理或帮助做出决策的信息图像。其中,红外与可见光的组合能够呈现几乎所有物体固有的性质。红外图像通过反射的热辐射成像,不受环境光线影响,可以克服障碍物发现目标,但由于硬件设备和应用环境的限制,红外图像常伴随着分辨率低、噪声大、细节模糊等问题,提高红外图像的分辨率成本高且难度大;可见光图像利用反射光成像,外观信息丰富,但在光线条件差时,目标信息丢失严重。
在过去几十年里,学者们研究了很多算法用于红外与可见光图像的融合,主要可分为像素级、特征级和决策级等三种类别。然而算法普遍要求待融合的红外与可见光图像具备相同的分辨率,在现实情况下,红外图像的分辨率通常要低于对应的可见光图像。此时,若用现有算法进行融合,就不可避免地要重采样源图像。一种方式是下采样可见光图像,但是从信息论的角度看,下采样过程中丢失的高质量纹理信息无法由图像处理恢复;另一种方式是上采样红外图像,但这会引入噪声和不确定性。此外,现有融合算法通常仅关注融合源图像的细节,从而无法充分融合由像素灰度表征的红外热辐射信息。因此,如何在原始可见光与红外图像分辨率不同时,最大程度地融合源图像,并使热目标在融合图像中突出,一直以来是个难题。
发明内容
针对现有融合方法无法处理多分辨率图像融合的缺陷,本发明提供了一种可实现不同分辨率红外与可见光图像融合的技术方案,经本发明融合得到的图像分辨率高,热目标依旧突出,细节清晰,计算成本低,能有效降低获取高分辨率红外与可见光融合图像的成本。
本发明的技术方案提供一种基于全变分的异分辨率红外与可见光图像融合方法,包括以下步骤,
步骤1,建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括执行以下子步骤,步骤1.1,设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比;建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为的m×n融合图像,ψ表示下采样算子;
步骤1.2,针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数;
步骤1.3,对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值;
步骤2,求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下子步骤,
步骤2.1,初始化,包括令t1=1,Y1=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第1次迭代时的给定点,L为ψT(ψYK-R)的Lipschitz常数,ψT定义下采样算子ψ的逆运算,令当前迭代次数K为1;
步骤2.2,令中间变量W=YK-ψT(ψYK-R)/L,其中,YK是第K次迭代时的给定点;
步骤2.3,求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像;
步骤2.4,用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
步骤2.5,计算用于下一次迭代过程的第K+1次迭代时的给定点YK+1,采用的公式如下,
步骤2.6,判别迭代结束条件,满足条件时,最后一次迭代过程中求得的XK作为求得的融合图像X;否则,返回执行步骤2.2。
而且,步骤2.3包括以下子步骤,
步骤2.3.1,初始化,包括令初始步长令当前迭代次数η为1,(U1,T1)=(R0,S0)=(0,0),其中U1,T1,R0,S0是对偶中间变量Uη,Tη,Rη-1,Sη-1的初始值;
步骤2.3.2,计算第η次迭代过程中的矩阵对(Rη,Sη)的值,计算过程如下,
其中,是投影算子;
步骤2.3.3,用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下,
步骤2.3.4,计算用于下一次迭代过程的对偶中间变量Uη+1和Tη+1的值,公式如下,
步骤2.3.5,判别迭代结束条件,当迭代次数η达到最大迭代次数Hv时,结束迭代,当前的作为步骤2.3要求的最优解;迭代次数η没达到最大迭代次数Hv时,返回执行步骤2.3.3。
而且,步骤2.3.2中,投影算子定义如下,
对于矩阵对(A,B),其中,A′和B′通过如下方式求得,
其中,是线性算子,Ai,j和Bi,j分别表示示例矩阵A和B在第i行第j列的值,A′i,j和B′i,j分别表示A′和B′在第i行第j列的值。
而且,步骤2.6中,所述迭代结束条件是,迭代次数K达到预设的最大迭代次数Hu。
本发明还提供一种基于全变分的异分辨率红外与可见光图像融合***,包括以下模块,
第一模块,用于建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括以下单元,第一单元,用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比;建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为的m×n融合图像,ψ表示下采样算子;
第二单元,用于针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数;
第三单元,用于对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值;
第二模块,用于求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下单元,
第一单元,用于初始化,包括令t1=1,Y1=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第1次迭代时的给定点,L为ψT(ψYK-R)的Lipschitz常数,ψT定义下采样算子ψ的逆运算,令当前迭代次数K为1;
第二单元,用于令中间变量W=YK-ψT(ψYK-R)/L,其中,YK是第K次迭代时的给定点;
第三单元,用于求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像;
第四单元,用于用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
第五单元,用于计算用于下一次迭代过程的第K+1次迭代时的给定点YK+1,采用的公式如下,
第六单元,用于判别迭代结束条件,满足条件时,最后一次迭代过程中求得的XK作为求得的融合图像X;否则,命令第二单元工作。
而且,第二模块的第三单元包括以下子单元,
第一子单元,用于初始化,包括令初始步长令当前迭代次数η为1,(U1,T1)=(R0,S0)=(0,0),其中U1,T1,R0,S0是对偶中间变量Uη,Tη,Rη-1,Sη-1的初始值;
第二子单元,用于计算第η次迭代过程中的矩阵对(Rη,Sη)的值,计算过程如下,
其中,是投影算子;
第三子单元,用于用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下,
第四子单元,用于计算用于下一次迭代过程的对偶中间变量Uη+1和Tη+1的值,公式如下,
第五子单元,用于判别迭代结束条件,当迭代次数η达到最大迭代次数Hv时,结束迭代,当前的作为要求的最优解;迭代次数η没达到最大迭代次数Hv时,命令第三子单元工作。
而且,第二子单元中,投影算子定义如下,
对于矩阵对(A,B),其中,A′和B′通过如下方式求得,
其中,是线性算子,Ai,j和Bi,j分别表示示例矩阵A和B在第i行第j列的值,A′i,j和B′i,j分别表示A′和B′在第i行第j列的值。
而且,第六单元中,所述迭代结束条件是,迭代次数K达到预设的最大迭代次数Hu。
本发明具有以下优点:
1、本发明针对异分辨率的红外与可见光图像提出了一种基于全变分模型融合方法。与其他融合方法相比,此方法得到的融合图像分辨率高,纹理细节清晰,且不同于以往融合方法仅致力于保留更多的信息,本发明提出的算法还考虑了信息的特征性及表征的意义,保留了红外图像用像素强度分布凸出热目标的特性,融合结果便于人眼对热目标的判别,视觉效果好。
2、本发明提出的融合方法中包含正则化参数,通过调节此参数可以支持用户主观调节融合图像与可见光图像/红外图像间的相似性。
具体实施方式
下面结合实施例对本发明技术方案进行进一步详细说明。
本发明公开了一种基于全变分模型的异分辨率红外与可见光图像融合方法,包括以下步骤:分别建立融合图像与源图像间的对应关系模型,由此得到融合问题的数学模型;根据源图像对,求解构建的全变分模型的最优解。本发明的融合方法得到的融合图像分辨率高,纹理细节清晰,在凸显热目标方面有优势,视觉效果好。
本发明实施例所提供基于全变分模型的异分辨率红外与可见光图像融合方法包括以下步骤:
步骤1,建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括以下过程,
设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比,并为常数,例如,若可见光图像的分辨率为2.4m,红外图像的分辨率为1.2m,则c=2,实施例中c=2;
步骤1.1,建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为m×n的融合图像,ψ表示下采样算子,下采样利用最邻近插值方式实现,||·||F表示Frobenius范数(弗罗贝尼乌斯范数),其定义为Mi,j表示图像M第i行、第j列的值;
实施例中,下采样优选采用了最邻近插值方式,具体实施时也可以采用双线性插值和双三次插值等插值方式。
步骤1.2,针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数,其定义为
,其中,M表示大小为m×n的图像,Mi,j表示图像M第i行、第j列的值,Mi+1,j表示图像M第i+1行、第j列的值,Mi,j+1表示图像M第i行、第j+1列的值,Mi,n表示图像M第i行、第n列的值,Mi+1,n表示图像M第i+1行、第n列的值,Mm,j表示图像M第m行、第j列的值,Mm,j+1表示图像M第m行、第j+1列的值;
步骤1.3,对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值,具体实施时,λ根据融合需求自主选择,当λ较小时,融合图像更接近红外图像,当λ较大时,融合图像更接近可见光图像,一般在20~200取值,实施例中取50,在大多数情况下可以使融合图像达到较好的视觉效果;
步骤2,求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下子步骤,
步骤2.1,初始化,包括给λ和L赋值,令t1=1,Y1=ψTR,X0=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第一次迭代时的给定点,初始化为上采样后的红外图像,L为中间变量ψT(ψYK-R)的Lipschitz常数(利普希茨常数),ψT定义下采样算子ψ的逆运算,X0表示为融合图像设定的初始值,令当前迭代次数K为1,;实施例中,λ取50,L取1;
其中,ψT(ψYK-R)是对于引入二阶估计模型,在给定点YK,对二阶估计模型求极小值点时运用的中间变量。
步骤2.2,令W=YK-ψT(ψYK-R)/L,其中,YK是大小为m×n的矩阵,当迭代次数K大于1时,YK可由步骤2.5计算得到;
YK表示第K次迭代过程中近似二阶估计模型的起始点,用以计算近似二阶估计模型的极小值点XK;
对于这个函数,本发明引入了二阶估计模型,在指定给定点的情况下,求该二阶估计模型的极小值点;再以前两次迭代过程的极小值点经过线性运算,作为给定点,求取下一次迭代过程中的二阶估计模型的极小值点。YK即表示上述过程的第K-2和K-1次迭代过程得到的极小值点XK-1和XK-2经过线性运算得到的点,也即第K次迭代过程中求二阶估计模型极小值点时依赖的给定点。
将YK作为给定点,可以求取二阶估计模型的极小值点,求解过程中,因为是求取极小值点,所以与常数项无关,忽略目标函数中的常数项,可以得到化简后的目标函数,W为化简后的目标函数中引入的中间变量。
步骤2.3,求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像,即所述最优化问题的最优解;
步骤2.4,用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
这种更新方式,使每次的迭代依赖于前两次的迭代结果,而不仅是前一次的迭代结果,提高了收敛速度。
步骤2.5,计算用于下一次迭代过程的YK+1的值,采用的公式如下,
步骤2.6,判别迭代结束条件,当迭代次数K达到最大迭代次数Hu时,结束迭代,最后一次迭代过程中求得的XK即为求得的融合图像X;当迭代次数K没达到最大迭代次数Hu时,返回执行步骤2.2,具体实施时,最大迭代次数Hu一般在30~200取值,实施例中取Hu=50
进一步地,实施例中步骤2.3包括以下子步骤,
步骤2.3.1,初始化,包括令初始步长令当前迭代次数η为1,(U1,T1)=(R0,S0)=(0,0),这里的U1,T1,R0,S0是对偶中间变量Uη,Tη,Rη-1,Sη-1的初始值,因为(U2,T2)的求解依赖(R1,S1)和(R0,S0),而(R1,S1)可以通过(U1,T1)求得,所以初始赋值时,只需要给(U1,T1)和(R0,S0)赋值;
由于是非平滑的,为了解决这个受限的问题,本发明引入了对偶方法,Uη,Tη,Rη-1,Sη-1是为解决对偶问题引入的对偶中间变量。
步骤2.3.2,计算第η次迭代过程中的矩阵对(Rη,Sη)的值,计算过程如下,
其中,是用来确保和|Sm,j|≤1的投影算子,其定义如下,
对于矩阵对(A,B),其中,A′和B′通过如下方式求得,
其中,是线性算子,定义为:若则Ci,j=Ai,j-Ai-1,j+Bi,j-Bi,j-1,相应的逆运算符为:定义为:若则Ai,j=Ci,j-Ci+1,j,Bi,j=Ci,j-Ci,j+1;
Ai,j和Bi,j分别表示示例矩阵A和B在第i行、第j列的值;Ci,j表示对矩阵对(A,B)用算子进行运算后得到的结果矩阵在第i行、第j列的值;
为了确保A和B在对应位置元素的绝对值和平方和均不超过1,对A和B分别进行投影运算,得到A′和B′,A′i,j和B′i,j分别表示A′和B′在第i行、第j列的值。
Ri,j和Si,j分别表示矩阵R和矩阵S在第i行、第j列的元素的值,Ri,n表示矩阵R在第i行、第n列的元素的值,Sm,j表示矩阵S在第m行和第j列的元素的值。
步骤2.3.3,用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下,
步骤2.3.4,计算用于下一次迭代过程的对偶中间变量Uη+1和Tη+1的值,采用的公式如下,
步骤2.3.5,判别迭代结束条件,当迭代次数η达到此步骤的最大迭代次数Hv时,结束迭代,当前的即为步骤2.3要求的最优解;迭代次数η没达到最大迭代次数Hv时,返回执行步骤2.3.3;具体实施时,最大迭代次数Hv一般在6~20取值,实施例中取Hv=8。
具体实施时,本发明所提供方法可基于软件技术实现自动运行流程,也可采用模块化方式实现相应***。
本发明实施例还提供一种基于全变分的异分辨率红外与可见光图像融合***,包括以下模块,
第一模块,用于建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括以下单元,第一单元,用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比;建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为的m×n融合图像,ψ表示下采样算子;
第二单元,用于针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数;
第三单元,用于对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值;
第二模块,用于求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下单元,
第一单元,用于初始化,包括令t1=1,Y1=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第1次迭代时的给定点,L为ψT(ψYK-R)的Lipschitz常数,ψT定义下采样算子ψ的逆运算,令当前迭代次数K为1;
第二单元,用于令中间变量W=YK-ψT(ψYK-R)/L,其中,YK是第K次迭代时的给定点;
第三单元,用于求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像;
第四单元,用于用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
第五单元,用于计算用于下一次迭代过程的第K+1次迭代时的给定点YK+1,采用的公式如下,
第六单元,用于判别迭代结束条件,满足条件时,最后一次迭代过程中求得的XK作为求得的融合图像X;否则,命令第二单元工作。
各单元具体实现可参见相应步骤,本发明不予赘述。
经实验对比,未经融合的原始红外图像大小为310x225,图像分辨率低,噪声大,但热目标(行人)突出,原始可见光图像大小为620x450,图像分辨率高,纹理细节清晰,但难以发现热目标(行人)。
经过本发明融合方法处理得到的融合图像。可以看到,图像清晰度高,噪声显著减少,对比度强,热目标(行人)突显。
经过传统拉普拉斯金字塔融合方法(LP)处理得到的融合图像。可以看到,虽然热目标可以辨识,但是融合图像中,噪声较为强烈,图像模糊。
经过定向离散余弦变换和PCA方法(DDCTPCA)处理得到的融合图像。可以看到,图像对比度较弱,热目标不够突出,噪声明显。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (8)
1.一种基于全变分的异分辨率红外与可见光图像融合方法,其特征在于:包括以下步骤,
步骤1,建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括执行以下子步骤,
步骤1.1,设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比;建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为的m×n融合图像,ψ表示下采样算子;
步骤1.2,针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数;
步骤1.3,对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值;
步骤2,求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下子步骤,
步骤2.1,初始化,包括令t1=1,Y1=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第1次迭代时的给定点,L为ψT(ψYK-R)的Lipschitz常数,ψT定义下采样算子ψ的逆运算,令当前迭代次数K为1;
步骤2.2,令中间变量W=YK-ψT(ψYK-R)/L,其中,YK是第K次迭代时的给定点;
步骤2.3,求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像;
步骤2.4,用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
步骤2.5,计算用于下一次迭代过程的第K+1次迭代时的给定点YK+1,采用的公式如下,
步骤2.6,判别迭代结束条件,满足条件时,最后一次迭代过程中求得的XK作为求得的融合图像X;否则,返回执行步骤2.2。
2.根据权利要求1所述基于全变分模型的异分辨率红外与可见光图像融合方法,其特征在于:步骤2.3包括以下子步骤,
步骤2.3.1,初始化,包括令初始步长令当前迭代次数η为1,(U1,T1)=(R0,S0)=(0,0),其中U1,T1,R0,S0是对偶中间变量Uη,Tη,Rη-1,Sη-1的初始值;
步骤2.3.2,计算第η次迭代过程中的矩阵对(Rη,Sη)的值,计算过程如下,
其中,是投影算子;
步骤2.3.3,用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下,
步骤2.3.4,计算用于下一次迭代过程的对偶中间变量Uη+1和Tη+1的值,公式如下,
步骤2.3.5,判别迭代结束条件,当迭代次数η达到最大迭代次数Hv时,结束迭代,当前的作为步骤2.3要求的最优解;迭代次数η没达到最大迭代次数Hv时,返回执行步骤2.3.3。
3.根据权利要求2所述基于全变分模型的异分辨率红外与可见光图像融合方法,其特征在于:步骤2.3.2中,投影算子定义如下,
对于矩阵对(A,B),其中,A′和B′通过如下方式求得,
其中,是线性算子,Ai,j和Bi,j分别表示示例矩阵A和B在第i行第j列的值,A′i,j和B′i,j分别表示A′和B′在第i行第j列的值。
4.根据权利要求1或2或3所述基于全变分模型的异分辨率红外与可见光图像融合方法,其特征在于:步骤2.6中,所述迭代结束条件是,迭代次数K达到预设的最大迭代次数Hu。
5.一种基于全变分的异分辨率红外与可见光图像融合***,其特征在于:包括以下模块,
第一模块,用于建立图像融合的全变分模型,用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系,包括以下单元,
第一单元,用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R,其中,c是原始可见光图像分辨率与红外图像分辨率之比;建立融合图像与原始红外图像间对应关系的模型,实现如下,
其中,ε1(X)为数据保真度项,X表示待求的大小为的m×n融合图像,ψ表示下采样算子;第二单元,用于针对融合图像与原始可见光图像之间的梯度约束关系,建立如下的数学模型,
其中,ε2(X)为正则化项,表示离散各向同性全变分范数;
第三单元,用于对数据保真度项ε1(X)和正则化项ε2(X),引入正参数λ控制两项的比重,得到图像融合的全变分模型,
其中,ε(X)为能量函数,表示使能量函数ε(X)取得最小值时的变量X的取值;
第二模块,用于求解构建的图像融合的全变分模型的最优解,得到图像融合结果,包括以下单元,
第一单元,用于初始化,包括令t1=1,Y1=ψTR,其中,t1表示第1次迭代时的步长,Y1表示第1次迭代时的给定点,L为ψT(ψYK-R)的Lipschitz常数,ψT定义下采样算子ψ的逆运算,令当前迭代次数K为1;
第二单元,用于令中间变量W=YK-ψT(ψYK-R)/L,其中,YK是第K次迭代时的给定点;
第三单元,用于求解如下最优化问题,
其中,P为随机变量,是大小为m×n的矩阵,XK表示在第K次迭代中求得的融合图像;
第四单元,用于用第K次迭代过程的步长tK更新下一次迭代过程的步长tK+1,更新公式如下,
第五单元,用于计算用于下一次迭代过程的第K+1次迭代时的给定点YK+1,采用的公式如下,
第六单元,用于判别迭代结束条件,满足条件时,最后一次迭代过程中求得的XK作为求得的融合图像X;否则,命令第二单元工作。
6.根据权利要求5所述基于全变分模型的异分辨率红外与可见光图像融合***,其特征在于:第二模块的第三单元包括以下子单元,
第一子单元,用于初始化,包括令初始步长令当前迭代次数η为1,(U1,T1)=(R0,S0)=(0,0),其中U1,T1,R0,S0是对偶中间变量Uη,Tη,Rη-1,Sη-1的初始值;
第二子单元,用于计算第η次迭代过程中的矩阵对(Rη,Sη)的值,计算过程如下,
其中,是投影算子;
第三子单元,用于用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下,
第四子单元,用于计算用于下一次迭代过程的对偶中间变量Uη+1和Tη+1的值,公式如下,
第五子单元,用于判别迭代结束条件,当迭代次数η达到最大迭代次数Hv时,结束迭代,当前的作为要求的最优解;迭代次数η没达到最大迭代次数Hv时,命令第三子单元工作。
7.根据权利要求6所述基于全变分模型的异分辨率红外与可见光图像融合***,其特征在于:第二子单元中,投影算子定义如下,
对于矩阵对(A,B),其中,A′和B′通过如下方式求得,
其中,是线性算子,Ai,j和Bi,j分别表示示例矩阵A和B在第i行第j列的值,A′i,j和B′i,j分别表示A′和B′在第i行第j列的值。
8.根据权利要求5或6或7所述基于全变分模型的异分辨率红外与可见光图像融合***,其特征在于:第六单元中,所述迭代结束条件是,迭代次数K达到预设的最大迭代次数Hu。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068897.6A CN109255773B (zh) | 2018-09-13 | 2018-09-13 | 基于全变分的异分辨率红外与可见光图像融合方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068897.6A CN109255773B (zh) | 2018-09-13 | 2018-09-13 | 基于全变分的异分辨率红外与可见光图像融合方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109255773A true CN109255773A (zh) | 2019-01-22 |
CN109255773B CN109255773B (zh) | 2021-05-04 |
Family
ID=65047596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811068897.6A Active CN109255773B (zh) | 2018-09-13 | 2018-09-13 | 基于全变分的异分辨率红外与可见光图像融合方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109255773B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060226A (zh) * | 2019-04-11 | 2019-07-26 | 江南大学 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
CN110084748A (zh) * | 2019-03-26 | 2019-08-02 | 温州晶彩光电有限公司 | 一种基于整体变分的红外和可见光图像融合方法 |
CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN115496699A (zh) * | 2022-11-16 | 2022-12-20 | 武汉大学 | 启明星一号卫星高光谱图像融合方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252704A (zh) * | 2014-09-18 | 2014-12-31 | 四川大学 | 基于总广义变分的红外图像多传感器超分辨率重建方法 |
CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
-
2018
- 2018-09-13 CN CN201811068897.6A patent/CN109255773B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252704A (zh) * | 2014-09-18 | 2014-12-31 | 四川大学 | 基于总广义变分的红外图像多传感器超分辨率重建方法 |
CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084748A (zh) * | 2019-03-26 | 2019-08-02 | 温州晶彩光电有限公司 | 一种基于整体变分的红外和可见光图像融合方法 |
CN110084748B (zh) * | 2019-03-26 | 2023-04-25 | 温州晶彩光电有限公司 | 一种基于整体变分的红外和可见光图像融合方法 |
CN110060226A (zh) * | 2019-04-11 | 2019-07-26 | 江南大学 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN110208211B (zh) * | 2019-07-03 | 2021-10-22 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN115496699A (zh) * | 2022-11-16 | 2022-12-20 | 武汉大学 | 启明星一号卫星高光谱图像融合方法及*** |
CN115496699B (zh) * | 2022-11-16 | 2023-02-03 | 武汉大学 | 启明星一号卫星高光谱图像融合方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109255773B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Video frame synthesis using deep voxel flow | |
US10970600B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
CN109255773A (zh) | 基于全变分的异分辨率红外与可见光图像融合方法及*** | |
JP7177062B2 (ja) | 統計モデルを用いた画像データからの深度予測 | |
CN101616310B (zh) | 可变视角及分辨率的双目视觉***目标图像稳定化方法 | |
CN106910192B (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
US20180137611A1 (en) | Novel View Synthesis Using Deep Convolutional Neural Networks | |
CN114782691A (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
CN106027851A (zh) | 基于图像梯度的图像滤波 | |
CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
JP5107409B2 (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法 | |
Zhao et al. | Deep fully convolutional regression networks for single image haze removal | |
CN107403414B (zh) | 一种利于模糊核估计的图像区域选择方法和*** | |
CN107133923A (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
CN107680140A (zh) | 一种基于Kinect相机的深度图像高分辨率重构方法 | |
CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
CN107945110A (zh) | 一种针对光场阵列相机的盲深度超分辨率计算成像方法 | |
CN108090877A (zh) | 一种基于图像序列的rgb-d相机深度图像修复方法 | |
CN101872112A (zh) | 立体摄像自动汇聚*** | |
CN109658361A (zh) | 一种顾及运动估计误差的运动场景超分辨率重建方法 | |
CN102930513B (zh) | 一种视频场景的虚实光照融合方法 | |
CN108924434B (zh) | 一种基于曝光变换的立体高动态范围图像合成方法 | |
CN112215766B (zh) | 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络 | |
CN113344941A (zh) | 一种基于聚焦图像的深度估计方法及图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |