CN109242812A - 基于显著性检测与奇异值分解的图像融合方法及装置 - Google Patents
基于显著性检测与奇异值分解的图像融合方法及装置 Download PDFInfo
- Publication number
- CN109242812A CN109242812A CN201811055335.8A CN201811055335A CN109242812A CN 109242812 A CN109242812 A CN 109242812A CN 201811055335 A CN201811055335 A CN 201811055335A CN 109242812 A CN109242812 A CN 109242812A
- Authority
- CN
- China
- Prior art keywords
- image
- singular value
- decomposition
- low frequency
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000003044 adaptive effect Effects 0.000 claims abstract description 31
- 210000002569 neuron Anatomy 0.000 claims abstract description 17
- 238000002156 mixing Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 88
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 8
- 238000010008 shearing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010168 coupling process Methods 0.000 abstract description 7
- 238000005859 coupling reaction Methods 0.000 abstract description 7
- 230000003595 spectral effect Effects 0.000 abstract description 7
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008447 perception Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000025679 Bell phenomenon Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供的基于显著性检测与奇异值分解的图像融合方法及装置，采用基于显著性检测与奇异值分解的自适应双通道PCNN模型，该模型首先通过NSST作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带，其次在现有自适应双通道PCNN模型的基础上进行改进，并且针对不同频率的子带图像，分别利用新提出算子进行处理，最终将PCNN模型神经元的全局耦合和脉冲同步特性与NSST的稀疏分解特性相结合，一定程度上解决了红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果。
Description
技术领域
本发明涉及图像融合领域，特别涉及一种基于显著性检测与奇异值分解 的图像融合方法及***。
背景技术
图像融合作为信息融合的一门分支，是一门包含信号处理、基于显著性 检测与奇异值分解的图像融合、计算机技术、图像探测器技术等多种领域的 综合高新技术。图像融合对某一场景获取的多幅图像信息加以综合，最终将 两幅或多幅包含多样、冗余信息的图像合成为一幅含有更丰富信息的新图像。 新的融合图像克服了单幅图像在空间分辨率、物理属性、时间分辨率以及光 谱信息等方面的局限性，能更好地为重要目标的定位、识别和理解提供支撑。
红外(IR)与可见光(VI)传感器之间的信息融合是目前应用最多，同 时也是最具有现实意义的融合方式。通过将可见光的纹理细节信息与红外热 辐射目标的显著信息相结合，有利于在隐藏、伪装和迷惑的情况下更快、更 精确地探测目标。针对IR与VI之间的图像融合，人们提出了许多方法，其 中多尺度分解(MGA)与脉冲式耦合人工神经网络(PCNN)是目前较为常 用的。MGA可以将图像分解成一系列不同尺度，不同频率的子带图像，为后续的融合规则奠定基础；而PCNN可以作为融合规则，由于它特有的仿生机 制，能够保持输入图像空间二维信息的完整性，将图像的信息特征与PCNN 模型的视觉特性完美结合，获得较好的融合效果。鉴于上述两种方法优良的 特性，许多学者将两种工具进行结合，研究基于多尺度分解的PCNN模型图 像融合，并取得一定的成果。文献《A multi-facetedadaptive image fusion algorithm using a multi-wavelet-based matching measurein the PCNN domain[J]. Applied Soft Computing,2017,61:1113–1124》提出在PCNN域中使用基于多 小波匹配度量的多分面自适应图像融合算法，文献《A novel multi-focusimage fusion method using PCNN in nonsubsampled contourlet transform domain[J], Optik,2015,126:2508–2511》等人提出非下采样Contourlet变换域中采用PCNN的多聚焦图像融合方法，文献《Novel fusion method for visible light and infraredimages based on NSST–SF–PCNN[J],Infrared Physics&Technology, 2014,65,103-112》提出基于NSST-SF-PCNN的可见光和红外图像融合新方法。 值得一提的是，在上述方法使用的众多MGA工具中，非下采样剪切波变换 (NSST)是最为先进的一种。NSST由合成小波构造而成，可以由此获得多 方向的紧支撑结构，而且它在分解的过程中不存在下采样操作，同时在方向 局部化阶段采用局部化小尺寸剪切滤波器，能够避免频谱混叠和弱化吉布斯 振铃现象，提高时域卷积计算效率的同时，对图像进行最为精细地稀疏分解， 因此基于NSST与PCNN相结合的融合算法是目前最具有研究价值的。
现有研究方法中的PCNN模型大多以单通道为主，同时模型内部含有大 量不可省略的外设参数，其中多数都要靠经验设置，这导致融合的时效性与 准确性大大降低。文献《A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J],Infrared Physics &Technology,2015,69:53–61》提出一种自适应双通道PCNN模型，将传统单 通道变为双通道模型的同时，很大程度上解决了PCNN模型自适应的问题， 但是最终的融合图却像出现了大量黑色伪影噪声，使得图像过渡不自然，观 感不佳。通过大量实验与仿真发现，上述问题的主要原因是外界刺激与链接 强度的选取出现问题。首先，作为PCNN模型内部最重要的两个参数，外界刺激与链接强度都反映了人眼视觉***对图像中不同特征区域反应的强烈程 度，而研究者们通过采用拉普拉斯能量和，平均梯度，空间频率等算子对两 个参数进行自适应设置。然而针对图像光谱差异较大的异源图像融合时，上 述算子容易导致PCNN模型中外界刺激与链接强度值的稳定性下降，造成融 合图像的不连续和边缘模糊等缺陷；除此外，经过多尺度分解产生的图像低 频子带与高频子带存在本质不同，因此针对不同的子带图像，需要采用不同 的链接强度与不同的外界刺激。基于以上分析，现有的自适应双通道PCNN 模型需要寻找更能反应图像本征特征信息的算子解决光谱差异较大的IR与 VI图像融合。
发明内容
本发明实施例提供了一种基于显著性检测与奇异值分解的图像融合方法 及装置，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显 著性特征完美结合，取得较好的融合效果。
第一方面，本发明实施例中提供一种基于显著性检测与奇异值分解的图 像融合方法，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像 进行多尺度分解得到低频子带系数和高频子带系数；
在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自适应加 权融合,并通过局部结构信息因子LSI作为连接强度处理得到低频融合系数， 针对高频子带系数采用区域视觉对比度和算子SLVC作为其的外界刺激，梯 度奇异值算子GSV作为连接强度处理得到高频融合系数；
利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。
可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图 像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述利用非下采样剪切波变换NSST算法对所述红外图像和所 述可见光图像进行多尺度分解得到低频子带系数和高频子带系数，包括：
利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。
可选地，所述在双通道PCNN模型中针对低频子带系数采用基于FT算法 进行自适应加权融合，并通过局部结构信息因子LSI作为连接强度处理得到 低频融合系数之前，所述方法还包括：
预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
θij(n)＝θij(n-1)-Δ+VθYij(n)； (6)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的 反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度，信息融合域通过判 读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij，Tij表示每个像素 元ij的点火次数。
可选地，所述在双通道PCNN模型中针对低频子带系数采用基于FT算法 进行自适应加权融合,并通过局部结构信息因子LSI作为连接强度处理得到低 频融合系数，包括：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的 显著图SIR与SVI，然后再将两幅图的灰度值进行归一化，分别形成第一加权 系数矩阵S1与第二加权系数矩阵S2；
利用第一加权系数矩阵S1与第二加权系数矩阵S2分别指导基于红外显著 性与可见光显著性的自适应加权融合，具体表达式为：
其中CIR l,k(i,j)与CVI l,k(i,j)分别代表IR与VI图像在(i,j)处的低频子带系 数，I1 l,k(i,j)与I2 l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自 适应加权融合系数；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为 (i,j)，对每一子块进行矩阵奇异值分解，表达式如下：
其中I代表分块后的矩阵，σi代表分块矩阵的奇异值；
利用局部区域奇异值构造局部结构信息因子，即低频分量PCNN模型的 连接强度，具体表达式为：
式中||||F代表矩阵的F-范数，LSI(i,j)值的大小体现图像局部区域内基本结构模式；
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，融合系数的规则如下：
其中UI(n)与UV(n)表示红外与可见光图像的神经元内部活动项，n代表迭 代次数，代表低频融合系数。
可选地，所述针对高频子带系数采用区域视觉对比度和算子SLVC作为 其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频融合系数， 包括：
利用区域视觉对比度和算子SLVC处理D1 l,k(i,j)与D2 l,k(i,j)，形成相应的 高频分量PCNN模型的外界刺激，SLVC表达式如下：
其中m×n为区域窗口的大小，SLVCl,k(i,j)为区域视觉对比度和；LVCl,k(i,j)为区域视觉对比度；α为视觉常数；L(i,j)为Il,k(i,j)处的均值，Il,k(i,j)为经过显著 性加权的高频子带系数，即I1 l,k(i,j)与I2 l,k(i,j)的缩写；NSMLl,k(i,j)是改进的拉 普拉斯能量和算子；w(m,n)代表加权模板；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为 (i,j)，对每一子块先进行梯度分解(GV)，对分解后的每一子块进行矩阵奇异 值分解SVD，表达式如下：
δi代表分块矩阵的奇异值，即局部区域梯度奇异值；
利用其局部区域梯度奇异值构造GSVM，即高频分量PCNN模型的连接 强度，具体表达式为：
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，高频融合系数Dl,k(i,j)的规则如下：
其中n代表迭代次数。
第二方面，本发明实施例中提供一种基于显著性检测与奇异值分解的图 像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可 见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外 图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；
融合系数处理单元，用于在双通道PCNN模型中针对低频子带系数采用 基于FT算法进行自适应加权融合,并通过局部结构信息因子LSI作为连接强 度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子 SLVC作为其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频 融合系数；
融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得 到融合图像。
可选地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述多尺度分解单元具体用于：
利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。
可选地，所述装置还包括：
建立单元，用于预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的 反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度，信息融合域通过判 读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij，Tij表示每个像素 元ij的点火次数。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的基于显著性检测与奇异值分解的图像融合方法及装置，采 用基于显著性检测与奇异值分解的自适应双通道PCNN模型，该模型首先通 过NSST作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高 频子带，其次在现有自适应双通道PCNN模型的基础上进行改进，并且针对 不同频率的子带图像，分别利用新提出算子进行处理，最终将PCNN模型神 经元的全局耦合和脉冲同步特性与NSST的稀疏分解特性相结合，一定程度 上解决了红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和 出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信 息与红外图像的显著性特征完美结合，最终取得较好的融合效果。
附图说明
图1(a)为本发明实施例中提供的基于显著性检测与奇异值分解的图像 融合方法的流程图；
图1(b)为本发明实施例中提供的基于显著性检测与奇异值分解的图像 融合方法中图像的双层NSST分解示意图；
图2为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中FT算法的示意图；
图3为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中自适应双通道PCNN示意图；
图4为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中低频子带的融合示意图；
图5为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中高频子带的融合示意图；
图6为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法的流程示意图；
图7为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中PCNN模型中连接强度与外界刺激算子的效果示意图；
图8为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合 方法中融合实验效果对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施 例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括” 和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一 系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那 些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品 或设备固有的其它步骤或单元。
结合图1至图8所示，本发明实施例中提供一种基于显著性检测与奇异 值分解的图像融合方法，所述方法包括：
S101、获取来自同一场景并进行图像配准的红外图像和可见光图像。
选取来自同一场景并且经过严格配准的红外图像与可见光图像，分别获 取同一场景的红外图像和可见光图像，对红外图像和可见光图像进行特征提 取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征 点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图 像的图像配准。
S102、利用非下采样剪切波变换NSST算法对所述红外图像和所述可见 光图像进行多尺度分解得到低频子带系数和高频子带系数。
本发明实施例中分别采用matlab仿真软件中‘maxflat’和[2，2，3，3]作 为NSST的方向滤波器和金字塔滤波器，利用非采样剪切变换NSST分别对所 述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数 和高频子带系数其中l是分解层数，k是每层 分解方向的数量，(i,j)代表像素元的位置。
S103、在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自 适应加权融合，并通过局部结构信息因子LSI作为连接强度处理得到低频融 合系数，针对高频子带系数采用区域视觉对比度和算子SLVC作为其的外界 刺激，梯度奇异值算子GSV作为连接强度处理得到高频融合系数。
结合图2和3所示，预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
θij(n)＝θij(n-1)-Δ+VθYij(n)； (6)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的 反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度。信息融合域通过判 读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij。对于Δ，我们可 以设置为0.01，以确保动态阈值的衰减速度是平缓并且可接受的；为了限制 每个神经元的点火次数不超过一次，参数Vθ可以简单地分配一个比较大的 值，例如20。Tij表示每个像素元ij的点火次数，它准确地表达了像素元的点 火次数信息,很好地解决迭代次数n的自适应问题。
低频融合规则
结合图2和图7所示，其中，图7中(a)为本发明实施例中提供的基于 显著性检测与奇异值分解的图像融合方法中相同场景的红外图像；图7中(b) 为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中相 同场景的可见光图像；图7中(c)和(d)为本发明实施例中提供的基于显 著性检测与奇异值分解的图像融合方法中低频分量PCNN的外界刺激示意 图；图7中(e)和(f)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中低频分量PCNN的链接强度示意图，采用FT算法分别对 红外图像和可见光图像进行显著性探测，生成相应的显著图SIR与SVI，然后 再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵S1与第二加权 系数矩阵S2；
利用第一加权系数矩阵S1与第二加权系数矩阵S2分别指导基于红外显著 性与可见光显著性的自适应加权融合，具体表达式为：
其中CIR l,k(i,j)与CVI l,k(i,j)分别代表IR与VI图像在(i,j)处的低频子带系 数，I1 l,k(i,j)与I2 l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自 适应加权融合系数；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为 (i,j)，对每一子块进行矩阵奇异值分解，表达式如下：
其中I代表分块后的矩阵，σi代表分块矩阵的奇异值；
结合图5所示，利用局部区域奇异值构造局部结构信息因子，即低频分 量PCNN模型的连接强度，具体表达式为：
式中||||F代表矩阵的F-范数，LSI(i,j)值的大小体现图像局部区域内基本结构模式，体现局部区域包含细节信息的丰富程度，能够表述图像特征的变化。
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，融合系数的规则如下：
其中UI(n)与UV(n)表示红外与可见光图像的神经元内部活动项，n代表迭 代次数，代表低频融合系数。
高频融合规则
结合图5和图7所示，其中，图7中(g)和(h)为本发明实施例中提 供的基于显著性检测与奇异值分解的图像融合方法中高频分量PCNN的外界 刺激示意图，图7中(i)和(j)为本发明实施例中提供的基于显著性检测与 奇异值分解的图像融合方法中高频分量PCNN的链接强度示意图，利用区域 视觉对比度和算子(SLVC)处理D1 l,k(i,j)与D2 l,k(i,j)，形成相应的高频分量 PCNN模型的外界刺激，SLVC表达式如下：
其中m×n为区域窗口的大小，SLVCl,k(i,j)为区域视觉对比度和；LVCl,k(i,j)为区域视觉对比度；α为视觉常数；L(i,j)为Il,k(i,j)处的均值，Il,k(i,j)为经过显著 性加权的高频子带系数，即I1 l,k(i,j)与I2 l,k(i,j)的缩写；NSMLl,k(i,j)是改进的拉 普拉斯能量和算子；w(m,n)代表加权模板；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为 (i,j)，对每一子块先进行梯度分解(GV)，对分解后的每一子块进行矩阵奇异 值分解SVD，表达式如下：
δi代表分块矩阵的奇异值，即局部区域梯度奇异值；
利用其局部区域梯度奇异值构造GSVM，即高频分量PCNN模型的连接 强度，具体表达式为：
GSVM算子在细节和纹理边缘的特征表现突出，能作为图像的局部信息描述 子，表征图像的局部特征，且具有鲁棒性。
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，高频融合系数Dl,k(i,j)的规则如下：
其中n代表迭代次数。
S104、利用NSST逆变换重构低频融合系数和高频融合系数得到融合图 像。
一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大 多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合 结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的， 本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(AVG)2.信息 熵(IE)3.边缘信息保留量(QAB/F)4.标准差(SD)。详细地说，AVG用来 体现图像中的微小细节反差和纹理变化特征；IE可以直接用来衡量图像信息 的丰富程度；SD用来反应像素灰度值的分布状况；QAB/F评价从源图像传递 到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。
本仿真采用基于NSST-SF-PCNN的融合算法、基于GFF的融合算法、基 于VSM的融合算法、基于IFE的融合算法、基于GTF的融合算法等作为对 比，图8中(a)为本发明实施例中提供的基于显著性检测与奇异值分解的图像 融合方法中红外图像；图8中(b)为本发明实施例中提供的基于显著性检测与 奇异值分解的图像融合方法中可见光图像；图8中(c)是基于NSST-SF-PCNN 的融合效果图；图8中(d)是基于CFF的融合效果图；图8中(e)是基于VSM的融合效果图；图8中(f)是基于IFE的融合效果图；图8中(g)是基于GTF 的融合效果图；图8中(h)是本发明实施例中提供的基于显著性检测与奇异值 分解的图像融合方法的融合效果图。
表1表示不同算法的评价指标对比。
图8中(c)与图8中(g)整体观感模糊；图8中(f)依旧亮度过曝；图8中(d) 观感比较接近VI图像，没有将IR图像的显著信息融合进去；图8中(e)的对 比度没有图8中(h)高，并且图像内部的人物轮廓也没有本文算法清晰。从在 评价参数中我们可以发现，与主观观感相似，本文算法的评价参数值均保持 领先，说明本文算法在图像灰度值分布、边缘细节、清晰度等方面优于其他 算法，并且拥有较好的观感，并且融合后的图像对比度较好，整体灰度值过 渡自然，拥有较佳的观感。
本发明提供的基于显著性检测与奇异值分解的图像融合方法，采用基于 显著性检测与奇异值分解的自适应双通道PCNN模型，该模型首先通过NSST 作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带， 其次在现有自适应双通道PCNN模型的基础上进行改进，并且针对不同频率 的子带图像，分别利用新提出算子进行处理，最终将PCNN模型神经元的全 局耦合和脉冲同步特性与NSST的稀疏分解特性相结合，一定程度上解决了 红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外 图像的显著性特征完美结合，最终取得较好的融合效果。
对应地，本发明实施例中提供一种基于显著性检测与奇异值分解的图像 融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可 见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外 图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；
融合系数处理单元，用于在双通道PCNN模型中针对低频子带系数采用 基于FT算法进行自适应加权融合，并通过局部结构信息因子LSI作为连接强 度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子 SLVC作为其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频 融合系数；
融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得 到融合图像。
可选地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述多尺度分解单元具体用于：
利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。
可选地，所述装置还包括：
建立单元，用于预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
θij(n)＝θij(n-1)-Δ+VθYij(n)； (6)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的 反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度，信息融合域通过判 读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij，Tij表示每个像素 元ij的点火次数。
本发明提供的基于显著性检测与奇异值分解的图像融合装置，采用基于 显著性检测与奇异值分解的自适应双通道PCNN模型，该模型首先通过NSST 作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带， 其次在现有自适应双通道PCNN模型的基础上进行改进，并且针对不同频率 的子带图像，分别利用新提出算子进行处理，最终将PCNN模型神经元的全 局耦合和脉冲同步特性与NSST的稀疏分解特性相结合，一定程度上解决了 红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外 图像的显著性特征完美结合，最终取得较好的融合效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 ***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可 读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、 随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种基于显著性检测与奇异值分解的图像融合方 法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想， 在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不 应理解为对本发明的限制。
Claims (10)
1.一种基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；
在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自适应加权融合，并通过局部结构信息因子LSI作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子SLVC作为其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频融合系数；
利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。
2.根据权利要求1所述的基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
3.根据权利要求2所述的基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数，包括：
利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。
4.根据权利要求3所述的基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自适应加权融合，并通过局部结构信息因子LSI作为连接强度处理得到低频融合系数之前，所述方法还包括：
预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
θij(n)＝θij(n-1)-Δ+VθYij(n)； (6)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度，信息融合域通过判读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij，Tij表示每个像素元ij的点火次数。
5.根据权利要求4所述的基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自适应加权融合,并通过局部结构信息因子LSI作为连接强度处理得到低频融合系数，包括：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的显著图SIR与SVI，然后再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵S1与第二加权系数矩阵S2；
利用第一加权系数矩阵S1与第二加权系数矩阵S2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式为：
其中CIR l,k(i,j)与CVI l,k(i,j)分别代表IR与VI图像在(i,j)处的低频子带系数，I1 l,k(i,j)与I2 l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自适应加权融合系数；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块进行矩阵奇异值分解，表达式如下：
其中I代表分块后的矩阵，σi代表分块矩阵的奇异值；
利用局部区域奇异值构造局部结构信息因子，即低频分量PCNN模型的连接强度，具体表达式为：
式中||||F代表矩阵的F-范数，LSI(i,j)值的大小体现图像局部区域内基本结构模式；
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，融合系数的规则如下：
其中UI(n)与UV(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，Cl k(i,j)代表低频融合系数。
6.根据权利要求5所述的基于显著性检测与奇异值分解的图像融合方法，其特征在于，所述针对高频子带系数采用区域视觉对比度和算子SLVC作为其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频融合系数，包括：
利用区域视觉对比度和算子SLVC处理D1 l,k(i,j)与D2 l,k(i,j)，形成相应的高频分量PCNN模型的外界刺激，SLVC表达式如下：
其中m×n为区域窗口的大小，SLVCl,k(i,j)为区域视觉对比度和；LVCl,k(i,j)为区域视觉对比度；α为视觉常数；L(i,j)为Il,k(i,j)处的均值，Il,k(i,j)为经过显著性加权的高频子带系数，即I1 l,k(i,j)与I2 l,k(i,j)的缩写；NSMLl,k(i,j)是改进的拉普拉斯能量和算子；w(m,n)代表加权模板；
对I1 l,k(i,j)与I2 l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块先进行梯度分解GV，对分解后的每一子块进行矩阵奇异值分解SVD，表达式如下：
▽Il,k(i,j)＝|Il,k(i+1,j)-Il,k(i,j)|+|Il,k(i,j+1)-Il,k(i,j)|； (22)
δi代表分块矩阵的奇异值，即局部区域梯度奇异值；
利用其局部区域梯度奇异值构造GSVM，即高频分量PCNN模型的连接强度，具体表达式为：
迭代公式(1)-(7)直到所有神经元都被点火，计算Uij(n),Lij(n),θij(n),Tij(n),Yij(n)，高频融合系数Dl,k(i,j)的规则如下：
其中n代表迭代次数。
7.一种基于显著性检测与奇异值分解的图像融合装置，其特征在于，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；
融合系数处理单元，用于在双通道PCNN模型中针对低频子带系数采用基于FT算法进行自适应加权融合，并通过局部结构信息因子LSI作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子SLVC作为其的外界刺激，梯度奇异值算子GSV作为连接强度处理得到高频融合系数；
融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。
8.根据权利要求7所述的基于显著性检测与奇异值分解的图像融合装置，其特征在于，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
9.根据权利要求8所述的基于显著性检测与奇异值分解的图像融合装置，其特征在于，所述多尺度分解单元具体用于：
利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。
10.根据权利要求9所述的基于显著性检测与奇异值分解的图像融合装置，其特征在于，所述装置还包括：
建立单元，用于预先建立双通道PCNN模型，具体为：
Fij 1(n)＝Iij 1(n)； (1)
Fij 2(n)＝Iij 2(n)； (2)
θij(n)＝θij(n-1)-Δ+VθYij(n)； (6)
其中和作为外界刺激直接输入到接收域，Fij 1(n)和Fij 2(n)代表对称的反馈输入，βij 1(n)和βij 2(n)代表两幅图像相应的链接强度，信息融合域通过判读两幅图像神经元内部项Uij的大小，来决定最终输出的Uij，Tij表示每个像素元ij的点火次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811055335.8A CN109242812A (zh) | 2018-09-11 | 2018-09-11 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811055335.8A CN109242812A (zh) | 2018-09-11 | 2018-09-11 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109242812A true CN109242812A (zh) | 2019-01-18 |
Family
ID=65067778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811055335.8A Pending CN109242812A (zh) | 2018-09-11 | 2018-09-11 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242812A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN111179208A (zh) * | 2019-12-09 | 2020-05-19 | 天津大学 | 基于显著图与卷积神经网络的红外-可见光图像融合方法 |
| CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
| CN111680592A (zh) * | 2020-05-28 | 2020-09-18 | 东风柳州汽车有限公司 | 车内生物检测方法、装置、设备及存储介质 |
| CN112294453A (zh) * | 2020-10-12 | 2021-02-02 | 浙江未来技术研究院(嘉兴) | 一种显微手术术野三维重建***及方法 |
| CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
| CN116091882A (zh) * | 2023-03-28 | 2023-05-09 | 中国科学院光电技术研究所 | 一种基于自适应双通道pcnn的偏振图像融合方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722877A (zh) * | 2012-06-07 | 2012-10-10 | 内蒙古科技大学 | 基于双通道pcnn的多聚焦图像融合方法 |
| CN103037168A (zh) * | 2012-12-10 | 2013-04-10 | 内蒙古科技大学 | 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 |
| CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
| US20150309707A1 (en) * | 2013-12-18 | 2015-10-29 | Flir Systems Ab | Processing an infrared (ir) image based on swipe gestures |
| CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
| CN106327459A (zh) * | 2016-09-06 | 2017-01-11 | 四川大学 | 基于udct和pcnn的可见光与红外图像融合算法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
-
2018
- 2018-09-11 CN CN201811055335.8A patent/CN109242812A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722877A (zh) * | 2012-06-07 | 2012-10-10 | 内蒙古科技大学 | 基于双通道pcnn的多聚焦图像融合方法 |
| CN103037168A (zh) * | 2012-12-10 | 2013-04-10 | 内蒙古科技大学 | 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 |
| US20150309707A1 (en) * | 2013-12-18 | 2015-10-29 | Flir Systems Ab | Processing an infrared (ir) image based on swipe gestures |
| CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
| CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
| CN106327459A (zh) * | 2016-09-06 | 2017-01-11 | 四川大学 | 基于udct和pcnn的可见光与红外图像融合算法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| BOYANG CHENG等: "A novel fusion framework of visible light and infrared images based on singular value decomposition and adaptive DUAL-PCNN in NSST domain", 《INFRARED PHYSICS & TECHNOLOGY》 * |
| BOYANG CHENG等: "Adaptive fusion framework of infrared and visual image using saliency detection and improved dual-channel PCNN in the LNSST domain", 《INFRARED PHYSICS & TECHNOLOGY》 * |
| 戴文战等: "基于人眼视觉特性与自适应PCNN的医学图像融合算法", 《光电子激光》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN111179208A (zh) * | 2019-12-09 | 2020-05-19 | 天津大学 | 基于显著图与卷积神经网络的红外-可见光图像融合方法 |
| CN111179208B (zh) * | 2019-12-09 | 2023-12-08 | 天津大学 | 基于显著图与卷积神经网络的红外-可见光图像融合方法 |
| CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
| CN111680592A (zh) * | 2020-05-28 | 2020-09-18 | 东风柳州汽车有限公司 | 车内生物检测方法、装置、设备及存储介质 |
| CN112294453A (zh) * | 2020-10-12 | 2021-02-02 | 浙江未来技术研究院(嘉兴) | 一种显微手术术野三维重建***及方法 |
| CN112294453B (zh) * | 2020-10-12 | 2022-04-15 | 浙江未来技术研究院(嘉兴) | 一种显微手术术野三维重建***及方法 |
| CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
| CN116091882A (zh) * | 2023-03-28 | 2023-05-09 | 中国科学院光电技术研究所 | 一种基于自适应双通道pcnn的偏振图像融合方法 |
| CN116091882B (zh) * | 2023-03-28 | 2023-12-22 | 中国科学院光电技术研究所 | 一种基于自适应双通道pcnn的偏振图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242812A (zh) | 基于显著性检测与奇异值分解的图像融合方法及装置 | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| CN105719263B (zh) | 基于nsct域底层视觉特征的可见光和红外图像融合方法 | |
| CN109102485A (zh) | 基于nsst和自适应双通道pcnn的图像融合方法及装置 | |
| CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
| CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN109345494A (zh) | 基于潜在低秩表示和结构张量的图像融合方法及装置 | |
| CN106504222A (zh) | 一种基于仿生视觉机理的水下偏振图像融合*** | |
| CN109242813A (zh) | 基于潜在低秩表示与nsst的图像融合方法及装置 | |
| Khan et al. | Localization of radiance transformation for image dehazing in wavelet domain | |
| CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
| CN110163213A (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN109345495A (zh) | 基于能量最小化和梯度正则化的图像融合方法及装置 | |
| CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
| CN109191417A (zh) | 基于显著性检测与改进双通道的自适应融合方法及装置 | |
| CN106815826A (zh) | 基于场景识别的夜视图像彩色融合方法 | |
| CN109712150A (zh) | 基于稀疏表示的光学微波图像融合重建方法和装置 | |
| CN107403434A (zh) | 基于两阶段聚类的sar图像语义分割方法 | |
| CN110570387B (zh) | 一种基于特征级Copula模型相似性的图像融合方法 | |
| CN106886992A (zh) | 一种基于饱和度的彩色多曝光融合图像的质量评价方法 | |
| CN110097617A (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
| Beaulieu et al. | Deep image-to-image transfer applied to resolution enhancement of sentinel-2 images | |
| CN109429051A (zh) | 基于多视图特征学习的无参考立体视频质量客观评价方法 | |
| CN109816617A (zh) | 基于导向滤波和图论显著性的多模态医学图像融合方法 | |
| CN102496144A (zh) | 基于hsv色彩空间的nsct水声图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190118 |
|
| RJ01 | Rejection of invention patent application after publication |