CN104732504A - 基于压缩感知和wbct变换的图像融合方法 - Google Patents

基于压缩感知和wbct变换的图像融合方法 Download PDF

Info

Publication number
CN104732504A
CN104732504A CN201510037279.5A CN201510037279A CN104732504A CN 104732504 A CN104732504 A CN 104732504A CN 201510037279 A CN201510037279 A CN 201510037279A CN 104732504 A CN104732504 A CN 104732504A
Authority
CN
China
Prior art keywords
wbct
coefficient
source images
matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510037279.5A
Other languages
English (en)
Inventor
罗韬
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201510037279.5A priority Critical patent/CN104732504A/zh
Publication of CN104732504A publication Critical patent/CN104732504A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及数字图像处理领域，为能够实现有效的表示和处理图像等高维空间数据，基于压缩感知和WBCT变换的图像融合方法，包括如下步骤：第一步：对待融合的图像进行基于小波的Contourlet变换；第二步：构造一个测量矩阵，分别对LH，HL，HH高频子带测量；第三步：对两幅源图像的低频分量使用采用基于窗口的加权平均(Weighted Average,WA)规则进行像素点级别的评估；第四步：对两幅源图像的测量后的高频分量使用主成分分析法进行融合；第五步：对融合后的高频分量使用分段匹配追踪算法(StOMP)进行重构计算；第六步：使用WBCT逆变换。本发明主要应用于数字图像处理。

Description

基于压缩感知和WBCT变换的图像融合方法
技术领域
本发明涉及数字图像处理领域、图像融合算法领域。具体讲，涉及基于压缩感知和WBCT变换的图像融合方法
背景技术
图像融合通过对不同图像信息的融合弥补了单一信息源获得图像数据的局限性和差异性缺陷，综合利用不同图像之间的互补和冗余信息，获得了对场景更全面准确的图像描述，很大程度上提高了图像质量。基于小波变换的图像融合是目前应用广泛的一种图像融合方法。小波变换具有良好的多尺度和时频局部特性。但是传统小波变换用来表示图像时只拥有有限的方向，即水平、垂直和对角线三个方向，不能更精确的表示图像中的方向信息；而且小波只能表示信号的点奇异性，不能很好的表示图像的各向异性。
将图像融合应用到压缩感知理论框架中。如果不在图像重构之后进行融合，而是直接对各图像极少的测量值用一定的融合方法进行融合，再将融合之后的数据进行传输、储存，重构图像时只需用到极少的融合的数据，那么就可以得到高质量的图像。这样可以大大提高计算的速度，节省传输、储存、重构的成本。
发明内容
为克服现有技术的不足，针对小波变换的局限性，为能够实现有效的表示和处理图像等高维空间数据。为此，本发明采取的技术方案是，基于压缩感知和WBCT变换的图像融合方法，包括如下步骤：
第一步：对待融合的图像进行基于小波的Contourlet(非自适应的方向多尺度分析方法)变换(WBCT)，分别得到低频融合分量和高频融合分量，其中用到的金字塔分解层数为三层，每层的分解方向为2k个，其中k表示分解的层数；
第二步：观测矩阵M×N是用来对N维的原信号进行观测得到M维的观测向量Y，M<<N，然后利用最优化方法从观测值Y中高概率重构，构造一个测量矩阵，分别对LH，HL，HH高频子带测量；得到这三个子带的测量系数值矩阵.而保留低频子带系数LL不变，选取高斯随矩阵作为测量矩阵，进行测量取值。LL:小波分解得到的低低位值；LH:小波分解得到的低高位值；HL:小波分解得到的高低位值；HH:小波分解得到的高高位值；
第三步：对两幅源图像的低频分量使用采用基于窗口的加权平均(Weighted Average,WA)规则进行像素点级别的评估，选取矩阵内各个点对应数值，组成新的矩阵；
第四步：对两幅源图像的测量后的高频分量使用主成分分析法进行融合，得到测量后的融合矩阵；
第五步：对融合后的高频分量使用分段匹配追踪算法(StOMP)进行重构计算，获得适于WBCT逆变换的高频分量；
第六步：使用WBCT逆变换，将各个方向的高频分量和低频分量的融合结果进行结合， 得到融合后图像。
采用基于窗口的加权平均(Weighted Average,WA)规则具体步骤是：
第一步：在源图像中，计算以(m，n)点为中心周围窗口区域内的能量或方差作为该点细节信息强度的度量SA(m,n)、SB(m,n)，SA(m,n)为A源图像点细节信息强度的度量,SB(m,n)为B源图像点细节信息强度的度量，m、n为点坐标；
第二步，计算cA(m，n)和cA(m，n)之间局部的、归一化的互相关系数MAB，cA(m，n)为A源图像系数，cB(m，n)为B源图像系数；
第三步，根据互相关系数大小，采取不同的融合方式:
当MAB≤a时，a为阈值，a＝0.85,说明源图像系数间相关性比较低，选取局部方差大的系数为融合后系数比较合理，即
其中cF(m，n)为融合后图像系数，
当MAB>a时，说明系数间相关性比较大，采用加权平均的方法更为合理，
cF(m，n)＝w(m，n)cA(m，n)+[E(m，n)-w(m，n)]cB(m，n)
其中E(m,n)为单位矩阵，权系数w(m,n)由下式确定： 
压缩感知重构算法进一步细化为：每次匹配追踪时选出的是多个匹配原子而不是单个原子，减少了匹配次数，特定状态下可构成一个匹配滤波器，鉴别出所有振幅大于一个特殊选定的阈值的坐标，用这些选定的坐标做最小二乘，然后减去最小二乘拟合，得到一个新的余量。
与已有技术相比，本发明的技术特点与效果：
压缩感知理论在图像融合的同时对数据进行适当的压缩，减少了采样数据，节省了存储空间，同时又包含了足够的信息量，能通过合适的重建算法对特定的图像或者信号进行精确融合
附图说明
图1算法框图。
图2 WBCT三层分解结构图。
具体实施方式
针对小波变换的局限性，为了更加有效的表示和处理图像等高维空间数据，本发明采用基于小波的Contourlet(非自适应的方向多尺度分析方法)变换(WBCT)。WBCT的实现过程也采用了两级分解，首先，WBCT采用小波变换实现多尺度分解，有效地避免了拉普拉斯滤波器引入的数据冗余，其次，使用方向滤波器组将小波分解得到的高频子带进行方向分解。在小波分解阶段，WBCT采用了可分离滤波器，在DFB(方向滤波器(Directional Filter Banks)阶段，采用了由扇形滤波器组成的不可分离迭代树状方向滤波器组。WBCT两层变换都是无冗余的变换，因此WBCT是非冗余变换。
本发明的核心和目的是基于压缩感知框架下进行两幅图像的有效融合，进而获取更大信息熵更好图像细节的融合图像。基于压缩感知和WBCT变换的图像融合***将大大降低融合***的硬件和运算负担，进而加快了整个***的运行速度。
在压缩感知框架下图像融合的具体步骤如下：
第一步：对待融合的图像进行基于小波的Contourlet变换(WBCT)，分别得到低频融合分量和高频融合分量，其中用到的金字塔分解层数为三层，每层的分解方向为2k个，其中k表示分解的层数。；
第二步：观测矩阵(也称测量矩阵)M×N(M<<N)是用来对N维的原信号进行观测得到M维的观测向量Y，然后可以利用最优化方法从观测值Y中高概率重构。构造一个测量矩阵，分别对LH，HL，HH高频子带测量，得到这三个子带的测量系数值矩阵.而保留低频子带系数LL不变。选取高斯随矩阵作为测量矩阵，进行测量取值(LL:小波分解得到的低低位值；LH:小波分解得到的低高位值；HL:小波分解得到的高低位值；HH:小波分解得到的高高位值)；
第三步：对两幅源图像的低频分量使用采用基于窗口的加权平均(Weighted Average,WA)规则进行像素点级别的评估，选取矩阵内各个点对应数值，组成新的矩阵；
第四步：对两幅源图像的测量后的高频分量使用主成分分析法进行融合，得到测量后的融合矩阵；
第五步：对融合后的高频分量使用分段匹配追踪算法(StOMP)进行重构计算，获得适于WBCT逆变换的高频分量；
第六步：使用WBCT逆变换，将各个方向的高频分量和低频分量的融合结果进行结合，得到融合后图像。
技术路线：
1、图像稀疏 
图像稀疏是图像进行压缩感知的基础。本发明主要采用基于小波的Contourlet变换(WBCT)。见图2.
WBCT的具体实现过程为：对于任意层数的小波分解，以含有细节信息的高频子带HL、LH和HH作为方向分解的对象，对同一尺度上的高频子带施加分解级数相同的方向变换。为了满足各向异性规则，可以在小波分解的最高层做分解级数最多的方向变换，然后对次高层减半方向变换的分解级数。图2是WBCT的分解示意图。
2、测量矩阵的选取
选择高斯随机矩阵为观测矩阵，将很高概率满足RIP(有限等距性质)特性，使得我们可以完全精确重构出源图像。
3、融合算法的设计
对图像进行上述的稀疏运算和压缩感知测量，我们得到了源图像的低频分量和高频分量两部分。低频分量集中了源图像的大部分能量，反映了源图像的近似和平均特征。而高频分量由三部分分量组成，分别是水平分量、垂直分量、对角线分量。高频分量主要表达了图像边缘、亮度、区域轮廓等信息。因为两种分量所含信息类型的不同，所以使用不同行的融合策略。
3.1低频部分融合算法的设计
采用基于窗口的加权平均(Weighted Average,WA)规则
第一步：在源图像中，计算以(m，n)点为中心周围窗口区域内的能量或方差作为该点细节信息强度的度量SA(m,n)、SB(m,n)，SA(m,n)为A源图像点细节信息强度的度量,SB(m,n)为B源图像点细节信息强度的度量，m、n为点坐标；
第二步，计算cA(m，n)和cA(m，n)之间局部的、归一化的互相关系数MAB，cA(m，n)为A源图像系数，cB(m，n)为B源图像系数；
第三步，根据互相关系数大小，采取不同的融合方式:
当MAB≤a时，a为阈值，a＝0.85,说明源图像系数间相关性比较低，选取局部方差大的系数为融合后系数比较合理，即
其中cF(m，n)为融合后图像系数，
当MAB>a时，说明系数间相关性比较大，采用加权平均的方法更为合理，
cF(m，n)＝w(m，n)cA(m，n)+[E(m，n)-w(m，n)]cB(m，n)
其中E(m,n)为单位矩阵，权系数w(m,n)由下式确定： 
3.2高频部分融合算法的设计
图像进过小波变换后会得到三个高频分量。高频分量主要包含了图像中像素点灰度值变化的信息，表达了图像边缘、亮度、区域轮廓等信息，需要在波段较多的情况下，较好得保持源图像的光谱特性。因为主成分分析法能够较好得达到要求，所以采用主成分分析法作为的高频分量的融合方法。此方法是在统计特征的基础上的多维线性变换，通过降维技术，使得多个分量化简到少数几个主要分量上去的方法。它的主要目的在于减少数据的维度，并且 同时保持数据中对方差贡献最大的特征。
4、压缩感知重构算法
本发明采用步移正交匹配追踪算法(Stagewise Orthogonal Matching Pursuit，StOMP)，将OMP算法进行一定程度的简化，降低了稀疏分解精度，提高了计算速度。这一算法的本质在于每次匹配追踪时选出的是多个匹配原子而不是单个原子，减少了匹配次数。特定状态下可构成一个匹配滤波器，鉴别出所有振幅大于一个特殊选定的阈值的坐标，用这些选定的坐标做最小二乘，然后减去最小二乘拟合，得到一个新的余量。

Claims (3)

1.一种基于压缩感知和WBCT变换的图像融合方法，其特征是，包括如下步骤：
第一步：对待融合的图像进行基于小波的Contourlet(非自适应的方向多尺度分析方法)变换(WBCT)，分别得到低频融合分量和高频融合分量，其中用到的金字塔分解层数为三层，每层的分解方向为2k个，其中k表示分解的层数；
第二步：观测矩阵M×N是用来对N维的原信号进行观测得到M维的观测向量Y，M<<N，然后利用最优化方法从观测值Y中高概率重构，构造一个测量矩阵，分别对LH，HL，HH高频子带测量；得到这三个子带的测量系数值矩阵.而保留低频子带系数LL不变，选取高斯随矩阵作为测量矩阵，进行测量取值。LL:小波分解得到的低低位值；LH:小波分解得到的低高位值；HL:小波分解得到的高低位值；HH:小波分解得到的高高位值；
第三步：对两幅源图像的低频分量使用采用基于窗口的加权平均(Weighted Average,WA)规则进行像素点级别的评估，选取矩阵内各个点对应数值，组成新的矩阵；
第四步：对两幅源图像的测量后的高频分量使用主成分分析法进行融合，得到测量后的融合矩阵；
第五步：对融合后的高频分量使用分段匹配追踪算法(StOMP)进行重构计算，获得适于WBCT逆变换的高频分量；
第六步：使用WBCT逆变换，将各个方向的高频分量和低频分量的融合结果进行结合，得到融合后图像。
2.如权利要求1所述的基于压缩感知和WBCT变换的图像融合方法，其特征是，采用基于窗口的加权平均(Weighted Average,WA)规则具体步骤是：
第一步：在源图像中，计算以(m，n)点为中心周围窗口区域内的能量或方差作为该点细节信息强度的度量SA(m,n)、SB(m,n)，SA(m,n)为A源图像点细节信息强度的度量,SB(m,n)为B源图像点细节信息强度的度量，m、n为点坐标；
第二步，计算cA(m，n)和cA(m，n)之间局部的、归一化的互相关系数MAB，cA(m，n)为A源图像系数，cB(m，n)为B源图像系数；
第三步，根据互相关系数大小，采取不同的融合方式:
当MAB≤a时，a为阈值，a＝0.85,说明源图像系数间相关性比较低，选取局部方差大的系数为融合后系数比较合理，即
其中cF(m，n)为融合后图像系数，
当MAB>a时，说明系数间相关性比较大，采用加权平均的方法更为合理，
cF(m，n)＝w(m，n)cA(m，n)+[E(m，n)-w(m，n)]cB(m，n)
其中E(m,n)为单位矩阵，权系数w(m,n)由下式确定：
3.如权利要求1所述的基于压缩感知和WBCT变换的图像融合方法，其特征是，压缩感知重构算法进一步细化为：每次匹配追踪时选出的是多个匹配原子而不是单个原子，减少了匹配次数，特定状态下可构成一个匹配滤波器，鉴别出所有振幅大于一个特殊选定的阈值的坐标，用这些选定的坐标做最小二乘，然后减去最小二乘拟合，得到一个新的余量。
CN201510037279.5A 2015-01-23 2015-01-23 基于压缩感知和wbct变换的图像融合方法 Pending CN104732504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510037279.5A CN104732504A (zh) 2015-01-23 2015-01-23 基于压缩感知和wbct变换的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510037279.5A CN104732504A (zh) 2015-01-23 2015-01-23 基于压缩感知和wbct变换的图像融合方法

Publications (1)

Publication Number Publication Date
CN104732504A true CN104732504A (zh) 2015-06-24

Family

ID=53456375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510037279.5A Pending CN104732504A (zh) 2015-01-23 2015-01-23 基于压缩感知和wbct变换的图像融合方法

Country Status (1)

Country Link
CN (1) CN104732504A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976346A (zh) * 2016-04-28 2016-09-28 电子科技大学 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法
CN107622482A (zh) * 2017-09-13 2018-01-23 电子科技大学 一种基于白带显微成像的图像融合方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN109633760A (zh) * 2018-12-05 2019-04-16 北京大学 一种基于自然电位等效融合成像的地下流体监测方法
CN114399448A (zh) * 2021-11-22 2022-04-26 中国科学院西安光学精密机械研究所 一种基于非下采样剪切波变换的多偏振信息选通融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254314A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 基于压缩感知的可见光和红外图像融合方法
CN103559696A (zh) * 2013-09-29 2014-02-05 南京邮电大学 一种基于压缩感知的图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254314A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 基于压缩感知的可见光和红外图像融合方法
CN103559696A (zh) * 2013-09-29 2014-02-05 南京邮电大学 一种基于压缩感知的图像融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAVID L. DONOHO 等: "Sparse Solution of Underdetermined Systems of Linear Equations by Stagewise Orthogonal Matching Pursuit", 《IEEE TRANSACTIONS ON INFORMATION THEORY》 *
侯超 等: "基于小波-Contourlet变换的智能监控图像融合的增强方法", 《控制工程》 *
周爱平 等: "基于二代 Curvelet变换与 MPCA的可见光与红外图像融合", 《计算机应用》 *
朱石争: "小波域多聚焦图像融合算法的研究", 《中国硕士学位论文全文数据库 信息科技辑》 *
肖易寒: "基于Contourlet变换的全景图像处理关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976346A (zh) * 2016-04-28 2016-09-28 电子科技大学 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法
CN107622482A (zh) * 2017-09-13 2018-01-23 电子科技大学 一种基于白带显微成像的图像融合方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN108830819B (zh) * 2018-05-23 2021-06-18 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN109633760A (zh) * 2018-12-05 2019-04-16 北京大学 一种基于自然电位等效融合成像的地下流体监测方法
CN114399448A (zh) * 2021-11-22 2022-04-26 中国科学院西安光学精密机械研究所 一种基于非下采样剪切波变换的多偏振信息选通融合方法
CN114399448B (zh) * 2021-11-22 2023-04-11 中国科学院西安光学精密机械研究所 一种基于非下采样剪切波变换的多偏振信息选通融合方法

Similar Documents

Publication Publication Date Title
CN104504740A (zh) 压缩感知框架下的图像融合方法
Yang et al. Seismic data reconstruction via matrix completion
CN100557633C (zh) 基于梳状波和拉普拉斯塔形分解的多源图像融合方法
CN104732504A (zh) 基于压缩感知和wbct变换的图像融合方法
CN102142136B (zh) 基于神经网络的声纳图像的超分辨率重建方法
CN102708576A (zh) 基于结构字典的分块图像压缩感知重建方法
CN101303764A (zh) 基于非下采样轮廓波的多传感器图像自适应融合方法
CN103247028A (zh) 一种多假设预测的分块压缩感知图像处理方法
CN104217448A (zh) 基于迭代特征修正的磁共振快速成像方法及***
CN105869126A (zh) 高光谱图像的压缩感知去噪方法
CN103514600B (zh) 一种基于稀疏表示的红外目标快速鲁棒跟踪方法
Qiusheng et al. Compressed sensing MRI based on the hybrid regularization by denoising and the epigraph projection
CN106296583B (zh) 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法
CN113421198B (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
CN108986074B (zh) 一种基于分块稀疏算法的煤矿井下图像处理方法
CN103236041B (zh) 一种基于Contourlet变换的图像超分辨率重建方法
CN102196155A (zh) 基于Surfacelet变换的系数自适应收缩视频去噪方法
CN107133921A (zh) 基于多层次邻域嵌入的图像超分辨率重建方法及***
CN109584190B (zh) 一种基于小波变换低频直方图受限的对比度图像增强方法
CN107622479B (zh) 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法
Liu et al. SAR image denoising based on patch ordering in nonsubsample shearlet domain
Indira et al. Pixel based medical image fusion techniques using discrete wavelet transform and stationary wavelet transform
CN102509268B (zh) 基于免疫克隆选择的非下采样轮廓波域图像去噪方法
CN103747268B (zh) 一种分层自适应阈值视频去噪方法
CN111223044B (zh) 基于密集连接网络的全色图像与多光谱图像融合的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150624