CN104766290B - 一种基于快速nsct的像素信息估计融合方法 - Google Patents

一种基于快速nsct的像素信息估计融合方法 Download PDF

Info

Publication number
CN104766290B
CN104766290B CN201510140920.8A CN201510140920A CN104766290B CN 104766290 B CN104766290 B CN 104766290B CN 201510140920 A CN201510140920 A CN 201510140920A CN 104766290 B CN104766290 B CN 104766290B
Authority
CN
China
Prior art keywords
mrow
msub
mtd
msup
inf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510140920.8A
Other languages
English (en)
Other versions
CN104766290A (zh
Inventor
赵春晖
郭蕴霆
王玉磊
齐滨
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201510140920.8A priority Critical patent/CN104766290B/zh
Publication of CN104766290A publication Critical patent/CN104766290A/zh
Application granted granted Critical
Publication of CN104766290B publication Critical patent/CN104766290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像融合研究领域，具体涉及NSCT的一种基于快速NSCT的像素信息估计融合方法。本发明包括：通过NSCT滤波器间的变换整合，生成分解滤波器组；使用基于像素信息的融合规则对分解得到的低频和高频图像分解进行系数融合；通过与生成分解滤波器组类似的方式生成重构滤波器组，对各个融合子图通过重构滤波器滤波后叠加生成重构图像。在图像分解和重构阶段，以滤波器变换代替传统NSCT中的迭代滤波，将源图像在分解和重构阶段的计算次数缩减至1次，达到理论上的最优解；首次采用全局特征与像素的差异替代像素邻域特征的融合规则计算方式，显著减少计算量，并提高了融合效果。

Description

一种基于快速NSCT的像素信息估计融合方法
技术领域
本发明属于图像融合研究领域，具体涉及NSCT(non-subsampledcontourlettransform,非下采样轮廓波变换)的一种基于快速NSCT的像素信息估计融合方法。
背景技术
图像融合是信息融合的一个重要分支，由于单一传感器对场景的信息获取过于片面，多传感器获取的大量信息又势必造成人类理解的困难，因此，将两幅或多幅由不同传感器获得的图像融合为一幅信息量更大的图像，以帮助人类直观地获取全面信息的图像融合技术，成为了至关重要的技术手段。目前，图像融合已经广泛应用于民用、医学、遥感等各个领域，我国也将该技术列为“863”计划，使之成为计算机技术和空间技术等高新产业领域的关键技术之一。
随着数字图像处理技术，矩阵理论等方法的广泛研究，多种图像表示和图像融合算法相继发展起来。相对于传统的空间域融合算法和经典的多分辨率融合算法，基于多尺度几何分析的图像融合技术在近年来得到国内外学者的广泛关注。在多尺度几何分析中，先将源图像通过多尺度滤波，得到一系列分布在不同频率段的图像，再对其中除了低频子图之外的图像进行方向滤波，最终获得一幅低频图像，和与多尺度滤波级别对应的多组高频方向子图。随后根据不同的子图表现出的不同特点，设计对应的图像融合规则，再对融合之后的各组融合子图进行逆变换，获得最终的融合图像。
在实际应用中，由于图像数据的庞大性，以及多次迭代滤波的计算复杂性，基于多尺度几何分析的图像融合算法往往陷入融合质量与消耗时间的矛盾之中。作为目前最优多尺度几何分析方法之一，NSCT在融合质量上的优异表现使其倍受研究者们的关注，但其大量的计算开销又限制了该技术的广泛应用。
发明内容
本发明的目的在于提供一种对NSCT的实现方式进行优化，减少了运算量，提高了NSCT 算法的效率的基于快速NSCT的像素信息估计融合方法。
本发明的目的是这样实现的：
(1)通过NSCT滤波器间的变换整合，生成分解滤波器组；
(1.1)初始化NSP分解滤波器H0(z）和H1(z）、NSDFB分解滤波器U0(z)和U1(z)，确定NSCT 分解层数K以及每层的方向分解级别ln，n＝1,2,…,K；
(1.2)依据参数n和ln，将初始滤波器H0(z)、H1(z)、U0(z)、U1(z)变换为一系列尺度滤波器和方向滤波器：
Un,j[z]＝∑k∈supp(h)U[z-sn,j]；
其中，为第n级带通滤波器，K是总的分解层数，Un,j为第n级、j方向的方向滤波器， Sn,j为对U0(z)、U1(z)进行第n级、j方向进行变换的采样矩阵；
(1.3)将同一分解流的一系列滤波器进行卷积合并，生成最终的分解滤波器组，并将源图像通过分解滤波器组滤波，获得分解图像，包括一幅低频图像和多幅高频图像；
(2)使用基于像素信息的融合规则对分解得到的低频和高频图像进行系数融合：
(2.1)低频部分：
(2.1.1)计算低频图像的全局信息：
Tlow＝(μlow+Mlow)/2；
其中，Tlow表示低频图像的全局信息，μlow和Mlow分别表示低频图像灰度直方图的均值和中位数；
(2.1.2)根据像素信息量理论计算融合像素的权值：
ωvis＝exp(γ*|Ivis(i,j)-Tvis-low|)；
ωinf＝exp(γ*|Iinf(i,j)-Tinf-low|)；
其中，ω表示权值，下标vis和inf分别表示可见光图像和红外图像，I(i,j)表示坐标为(i,j) 的像素，γ是用于权值比重的参数；
(2.1.3)对源低频图像的像素进行加权，获得融合图像。
其中，F(i,j)表示坐标为(i,j)的融合像素；
(2.2)高频部分：
(2.2.1)计算高频系数矩阵的分类阈值，用于区分平滑区域的系数与边缘区域的系数:
其中，Thigh表示高频图像的分类阈值，μhigh和Mhigh分别表示高频系数直方图的均值和中位数，k表示该子图所属的分解级别；
(2.2.2)对源图像的高频系数进行类别判定，采用不同的规则计算权值
(2.2.3)对高频系数进行加权，获得融合系数矩阵：
其中，F′(i,j)F表示坐标为(i,j)的融合系数；
(3)通过与生成分解滤波器组类似的方式生成重构滤波器组，对各个融合子图通过重构滤波器滤波后叠加生成重构图像。
本发明的有益效果在于：
在图像分解和重构阶段，以滤波器变换代替传统NSCT中的迭代滤波，将源图像在分解和重构阶段的计算次数缩减至1次，达到理论上的最优解；首次采用全局特征与像素的差异替代像素邻域特征的融合规则计算方式，显著减少计算量，并提高了融合效果。
附图说明
图1采用基于快速NSCT的像素信息融合算法流程图；
图2快速NSCT与传统NSCT对比图；
图3三组红外与可见光图像的融合效果图；
图4三组融合图像的各个融合指标；
图5三组融合图像的耗时对比。
具体实施方式
下面结合附图举例对本发明做更详细地描述：
一种基于快速NSCT的像素信息估计融合方法，包括以下几个步骤：
步骤(1)：生成初始NSP分解滤波器组H0(z)、H1(z)，生成初始NSDFB分解滤波器组U0(z)、U1(z)；生成初始NSP分解滤波器组生成初始NSDFB重构滤波器组设置NSP分解层数n，以及每层的方向分解级别li,其中i＝1,2,…,n；
步骤(2)：分别将上述初始滤波器组，依据NSP分解层数n和方向分解级别li，通过采样矩阵调节为一系列多方向多尺度滤波器组。并对同组的一系列滤波器进行合并，获得分解滤波器组；
步骤(3)：将源图像通过分解滤波器组获得分解图像，包括一幅低频图像和多幅高频图像；
步骤(4)：对低频图像和高频图像分别采用像素信息估计方法的低频规则和高频规则进行融合，获得融合后的低频图像和高频图像；
步骤(5)：将融合后的低频图像与高频图像进行与快速NSCT反变换，获得最终的融合图像。
对于NSCT的分解步骤中，采用滤波器变换直接得到最终的分解滤波器组，将源图像直接通过最终分解滤波器组获得分解图像，将其运算次数降为1次。在重构过程中也有同样特征。
目标像素与图像背景的差异值越大，则目标像素所含信息量越大，在图像融合中的权值越高；与目标像素具有相似特征的像素点越少，目标像素的信息量越大，在图像融合中的权值越高。
在低频部分中，通过图像的灰度均值和灰度中位数来估计图像整体的背景亮度，再将每个像素的灰度与整体背景灰度作差，差值越大的像素权重越高。
在高频部分中，同样通过高频系数的均值和中值来估计图像整体的高频系数大小，即分类阈值。低于阈值的系数被赋予较小的权值，高于阈值的系数依据高出阈值的差值赋予较高的权值。具体公式如说明书中所述。
在融合过程中，采用像素特征与全局特征的差异计算融合权值，避免了对每个像素领域信息的多次计算，大大减少了计算量。
本发明针对NSCT在分解层数增加和图像数据较大时面临的计算量急剧增加的问题，对 NSCT中迭代滤波的实现方式进行了改进，采用滤波器间的变换整合代替了传统NSCT中对图像的多次滤波。在不影响分解精度的前提下，通过减少源图像在整个分解过程中的运算次数，来显著降低NSCT算法的时间开销。
本发明通过对像素信息进行估计，通过对比像素信息与整幅图像全局信息的差异来估计融合权重，代替了传统融合规则对每个像素邻域都进行计算的弊端，既减少了运算量，又提高了融合效果。
为实现上述的发明目的，本发明采用下述的技术方案：
首先，通过NSCT滤波器间的变换整合，生成分解滤波器组，具体步骤如下：
1)初始化NSP分解滤波器H0(z)和H1(z)、NSDFB分解滤波器U0(z)和U1(z)。确定NSCT分解层数K，以及每层的方向分解级别ln，n＝1,2,…,K。
2)依据公式(1)、(2)，以及参数n和ln，将初始滤波器H0(z)、H1(z)、U0(z)、U1(z)变换为一系列尺度滤波器和方向滤波器。
Un,j[z]＝∑k∈supp(h)U[z-sn,j](2)
其中，为第n级带通滤波器，K是总的分解层数。Un,j为第n级、j方向的方向滤波器， sn,j为对U0(z)、U1(z)进行第n级、j方向进行变换的采样矩阵。
3)如图1 所示。将同一分解流的一系列滤波器进行卷积合并，生成最终的分解滤波器组。并将源图像通过分解滤波器组滤波，获得分解图像，包括一幅低频图像和多幅高频图像。
其次，使用基于像素信息的融合规则对分解得到的低频和高频图像进行系数融合，具体步骤如下：
低频部分：
1)计算低频图像的全局信息
Tlow＝(μlow+Mlow)/2(3)
其中，Tlow表示低频图像的全局信息，μlow和Mlow分别表示低频图像灰度直方图的均值和中位数。
2)根据像素信息量理论计算融合像素的权值
ωvis＝exp(γ*|Ivis(i,j)-Tvis-low|)(4)
ωinf＝exp(γ*|Iinf(i,j)-Tinf-low|)(5)
其中，ω表示权值，下标vis和inf分别表示可见光图像和红外图像，I(i,j)表示坐标为(i,j) 的像素，γ是用于权值比重的参数。
3)对源低频图像的像素进行加权，获得融合图像。
其中，F(i,j)表示坐标为(i,j)的融合像素。
高频部分：
1)计算高频系数矩阵的分类阈值，用于区分平滑区域的系数与边缘区域的系数
其中，Thigh表示高频图像的分类阈值，μhigh和Mhigh分别表示高频系数直方图的均值和中位数，k表示该子图所属的分解级别。
2)对源图像的高频系数进行类别判定，采用不同的规则计算权值
3)对高频系数进行加权，获得融合系数矩阵。
其中，F′(i,j)F表示坐标为(i,j)的融合系数。
最后，通过与生成分解滤波器组类似的方式生成重构滤波器组，对各个融合子图通过重构滤波器滤波后叠加生成重构图像。
本发明所述的基于快速NSCT和像素信息的图像融合算法，在NSCT的分解和重构步骤时，以滤波器变换代替迭代滤波，大大减少了源图像在分解和重构中的计算次数，提高了NSCT 的运算效率。在系数融合阶段，采用全局特性代替传统算法中的邻域计算，通过像素自身与图像全局特性的差异来确定融合权值，更贴近图像目标与背景的特点与图像融合的本质，提高了融合效果。
参照图1，是采用基于快速NSCT和像素信息估计的图像融合算法流程图，其中，图像分解与重构步骤对耗时影响较大，系数融合步骤对融合效果影响较大。
参照图2，是本发明的快速NSCT分解示意图与传统NSCT分解示意图的对比，其中灰色区域代表滤波器通带。通过变换合并各通道的滤波器，将源图像在每个通道的计算次数缩减为1，大大减少了计算量。
参照图3，本发明对三组红外与可见光图像进行融合的效果图，可以看到，本发明的融合结果完美保留了源图像的主要信息和整体灰度级别，融合图像层次分明，边缘清晰，对比强烈。
参照图4，是三组融合图像的各个融合指标。
参照图5，是本发明对三组图像进行融合的耗时。
上述为本发明特举之实施例，并非用以限定本发明。本发明提供的基于快速NSCT和像素信息估计的图像融合算法同样适用于其他类型的图像融合。在不脱离本发明的实质和范围内，可做些许的调整和优化，以本发明的保护范围以权利要求为准。

Claims (1)

1.一种基于快速NSCT的像素信息估计融合方法，其特征在于，包括如下步骤：
(1)通过NSCT滤波器间的变换整合，生成分解滤波器组；
(1.1)初始化NSP分解滤波器H0(z)和H1(z)、NSDFB分解滤波器U0(z)和U1(z)，确定NSCT分解层数K以及每层的方向分解级别ln，n＝1,2,…,K；
(1.2)依据参数n和ln，将初始滤波器H0(z)、H1(z)、U0(z)、U1(z)变换为一系列尺度滤波器和方向滤波器：
<mrow> <msubsup> <mi>H</mi> <mi>n</mi> <mrow> <mi>e</mi> <mi>q</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>H</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>z</mi> <msup> <mn>2</mn> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> </msup> <mo>)</mo> </mrow> <msubsup> <mi>&amp;Pi;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <msub> <mi>H</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>z</mi> <msup> <mn>2</mn> <mi>k</mi> </msup> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mn>1</mn> <mo>&amp;le;</mo> <mi>n</mi> <mo>&lt;</mo> <msup> <mn>2</mn> <mi>K</mi> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>&amp;Pi;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <msub> <mi>H</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>z</mi> <msup> <mn>2</mn> <mi>k</mi> </msup> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mi>n</mi> <mo>=</mo> <msup> <mn>2</mn> <mi>K</mi> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
Un,j[z]＝∑kU[z-sn,j]；
其中，为第n级带通滤波器，K是总的分解层数，Un,j为第n级、j方向的方向滤波器，sn,j为对U0(z)、U1(z)进行第n级、j方向进行变换的采样矩阵；
(1.3)将同一分解流的一系列滤波器进行卷积合并，生成最终的分解滤波器组，并将源图像通过分解滤波器组滤波，获得分解图像，包括一幅低频图像和多幅高频图像；
(2)使用基于像素信息的融合规则对分解得到的低频和高频图像进行系数融合：
(2.1)低频部分：
(2.1.1)计算低频图像的全局信息：
Tlow＝(μlow+Mlow)/2；
其中，Tlow表示低频图像的全局信息，μlow和Mlow分别表示低频图像灰度直方图的均值和中位数；
(2.1.2)根据像素信息量理论计算融合像素的权值：
ωvis＝exp(γ*|Ivis(i,j)-Tvis-low|)；
ωinf＝exp(γ*|Iinf(i,j)-Tinf-low|)；
其中，ω表示权值，下标vis和inf分别表示可见光图像和红外图像，I(i,j)表示坐标为(i,j)的像素，γ是用于权值比重的参数；
(2.1.3)对源低频图像的像素进行加权，获得融合系数；
<mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;omega;</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mi>inf</mi> </msub> <mo>*</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&amp;omega;</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>f</mi> </mrow> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，F(i,j)表示坐标为(i,j)的低频融合系数；
(2.2)高频部分：
(2.2.1)计算高频图像的系数矩阵的分类阈值，用于区分平滑区域的系数与边缘区域的系数:
<mrow> <msub> <mi>T</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>M</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>*</mo> <mfrac> <mrow> <msup> <mn>2</mn> <mi>k</mi> </msup> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mn>2</mn> <mi>k</mi> </msup> </mfrac> <mo>;</mo> </mrow>
其中，Thigh表示高频图像的系数矩阵分类阈值，μhigh和Mhigh分别表示高频系数直方图的均值和中位数，k表示高频图像所属的分解级别；
(2.2.2)对源图像的高频系数进行类别判定，采用不同的规则计算权值
<mrow> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <mi>&amp;gamma;</mi> <mo>*</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>|</mo> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
<mrow> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mi>inf</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <mi>&amp;gamma;</mi> <mo>*</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>|</mo> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>inf</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <msub> <mi>T</mi> <mrow> <mi>inf</mi> <mo>-</mo> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
(2.2.3)对高频系数进行加权，获得融合系数矩阵：
<mrow> <msup> <mi>F</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>I</mi> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mi>inf</mi> </msub> <mo>*</mo> <msub> <mi>I</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>f</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>+</mo> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mi>inf</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，F′(i,j)表示坐标为(i,j)的高频融合系数；
(3)通过与生成分解滤波器组类似的方式生成重构滤波器组，对各个融合子图通过重构滤波器滤波后叠加生成重构图像。
CN201510140920.8A 2015-03-27 2015-03-27 一种基于快速nsct的像素信息估计融合方法 Active CN104766290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510140920.8A CN104766290B (zh) 2015-03-27 2015-03-27 一种基于快速nsct的像素信息估计融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510140920.8A CN104766290B (zh) 2015-03-27 2015-03-27 一种基于快速nsct的像素信息估计融合方法

Publications (2)

Publication Number Publication Date
CN104766290A CN104766290A (zh) 2015-07-08
CN104766290B true CN104766290B (zh) 2018-02-13

Family

ID=53648102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510140920.8A Active CN104766290B (zh) 2015-03-27 2015-03-27 一种基于快速nsct的像素信息估计融合方法

Country Status (1)

Country Link
CN (1) CN104766290B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574832B (zh) * 2015-12-11 2019-11-15 上海交通大学 基于迭代方向滤波器组可逆深度卷积网络结构
CN107918710B (zh) * 2017-11-22 2020-11-06 桂林电子科技大学 基于凸优化的非下采样图滤波器组的设计方法
CN109166088B (zh) * 2018-07-10 2022-01-28 南京理工大学 基于非降采样小波变换的双波段灰度熔池图像融合方法
WO2020124316A1 (en) * 2018-12-17 2020-06-25 SZ DJI Technology Co., Ltd. Image processing method and apparatus
CN116342660B (zh) * 2022-09-08 2023-12-08 中北大学 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093580A (zh) * 2007-08-29 2007-12-26 华中科技大学 一种基于非子采样轮廓波变换的图像融合方法
EP2833322A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093580A (zh) * 2007-08-29 2007-12-26 华中科技大学 一种基于非子采样轮廓波变换的图像融合方法
EP2833322A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法

Also Published As

Publication number Publication date
CN104766290A (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
Ramamonjisoa et al. Single image depth prediction with wavelet decomposition
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN104766290B (zh) 一种基于快速nsct的像素信息估计融合方法
Zhu et al. Remote sensing image defogging networks based on dual self-attention boost residual octave convolution
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
Xu et al. Multi-exposure image fusion techniques: A comprehensive review
CN108447041B (zh) 一种基于增强学习的多源图像融合方法
CN105096272B (zh) 一种基于双树复小波的除雾方法
Wang et al. MCT-Net: Multi-hierarchical cross transformer for hyperspectral and multispectral image fusion
CN113298147B (zh) 基于区域能量和直觉模糊集的图像融合方法及装置
CN107169928A (zh) 一种基于深层线性映射学习的人脸超分辨率重建算法
CN104008536A (zh) 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法
Mishra et al. Self-FuseNet: data free unsupervised remote sensing image super-resolution
CN107451986B (zh) 一种基于融合技术的单幅红外图像增强方法
Cui et al. Exploring the potential of channel interactions for image restoration
Wang et al. Image super-resolution reconstruction based on generative adversarial network model with feedback and attention mechanisms
Cui et al. Dual-domain strip attention for image restoration
Peng et al. MFDetection: A highly generalized object detection network unified with multilevel heterogeneous image fusion
Luo et al. Multi-modal image fusion via deep laplacian pyramid hybrid network
Huang et al. Atrous pyramid transformer with spectral convolution for image inpainting
Zhou et al. Modality-aware feature integration for pan-sharpening
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
CN104463822A (zh) 基于多尺度全局滤波的多聚焦图像融合方法及其装置
Ran et al. Sketch-guided spatial adaptive normalization and high-level feature constraints based GAN image synthesis for steel strip defect detection data augmentation
Luo et al. Infrared and visible image fusion based on VPDE model and VGG network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant