CN115239610B - 图像融合方法、装置、***及存储介质 - Google Patents
图像融合方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN115239610B CN115239610B CN202210897467.5A CN202210897467A CN115239610B CN 115239610 B CN115239610 B CN 115239610B CN 202210897467 A CN202210897467 A CN 202210897467A CN 115239610 B CN115239610 B CN 115239610B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- detail
- layer
- detail layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 149
- 238000012937 correction Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003331 infrared imaging Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像融合方法、装置、***及存储介质，涉及图像处理领域，该方法包括：对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像；将第一基底层图像和第二基底层图像进行融合得到基底层融合图像，基于第一细节层图像和第二细节图像的图像特征计算得到可见光图像和红外图像的互相关系数；通过互相关系数对第二细节层图像进行极性纠正，得到细节层融合图像；将基底层融合图像和细节层融合图像进行图像融合，得到目标融合图像。采用本申请提供的方法可以避免因红外图像和可见光图像的亮度关系不同而导致的边缘部分瑕疵，从而获得与人眼对外界观测相符图像。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种图像融合方法、装置、***及存储介质。
背景技术
图像传感器上设置有一个重要元件：彩色滤光片(color filter)，其主要的作用是可以精确选择通过的小范围波段光波，而反射掉其他不希望通过的波段，此元件对传感器的成像有巨大的影响。
在现有的技术当中，相机的图像传感器会使用红外截止滤光片(IR cut filter)，这种滤光片会将可见光以外的红外光屏蔽，而使可见光(R，G，B)能够照射到图像传感器的感光部分。用此种红外截止滤光片的相机，成像得到的图片为RGB图像，其与人眼对外界的响应非常类似。
但是，使用红外截止滤光片的一大问题也在于此。在较暗或者极暗的场景下，与人眼对外界的响应相似，图像传感器也无法捕捉到足够的光线。因此，其成像图片通常噪声过大。而如果不使用红外截止滤光片，则图像传感器的响应受到红外光的影响。由于红外光的响应一般取决于被摄物体的表面材质的反射率，和人眼所能看到的光线亮暗没有关系，因此，即使是暗光条件下，也能捕捉到足够多的光线，使成像的图片清晰可见。但是其成像结果中景物的亮暗与人眼对外界的观察不符，且图像没有颜色。因此，目前存在通过图像传感器难以获得与人眼对外界观测相符图像的问题。
发明内容
有基于此，本申请实施例的目的在于提供一种图像融合方法、装置、***及存储介质，采用将红外图像和对应的可见光图像进行融合的方式，通过计算红外光局部图像和对应的可见光局部图像的互相关系数对其进行极性纠正，再与可见光图像融合的方式，可以避免因红外图像和可见光图像的亮度关系不同而导致的边缘部分瑕疵，从而获得与人眼对外界观测相符图像。
第一方面，本申请实施例提供一种图像融合方法，包括：
对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像；其中，所述Y红外图像为只有亮度信息的红外图像；
将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；
通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；
将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
在上述实现过程中，将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，再由设计的极性校正参数，即互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像，而且采用本申请中的融合方法，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，可以提高图像质量。
可选地，所述基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数可以包括：
基于所述第一细节层图像和所述第二细节图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数。
可选地，所述基于所述第一细节层图像和所述第二细节图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数可以包括：
基于所述第一细节层图像和所述第二细节图像的像素值计算得到所述互相关系数；其中，计算公式包括：
Correlate_Coef＝Sum_YIR/(Sum_Y*Sum_IR)
所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和。
在上述实现过程中，可以由设计的互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像。
可选地，所述对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像可以包括：
对所述可见光图像进行滤波得到所述第一基底层图像，并由所述可见光图像与所述第一基底层图像的差分结果得到所述第一细节层图像；
对所述Y红外图像进行滤波得到所述第二基底层图像，并由所述Y红外图像与所述第二基底层图像的差分结果得到所述第二细节层图像。
在上述实现过程中，将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，从而提高图像质量。
可选地，所述通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像可以包括：
将所述互相关系数与所述第二细节层图像相乘，以得到所述细节层融合图像。
可选地，在所述对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像之前，所述方法还可以包括：
由第一图像传感器获得RGB彩色图像，由第二图像传感器获得红外图像；其中，所述第一图像传感器上设置有红外截止滤光片；
将所述RGB彩色图像转换为所述可见光图像，以及将所述红外图像进行伽马压缩操作，得到所述Y红外图像。
可选地，所述将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像可以包括：
计算所述第一基底层图像和所述第二基底层图像中每个对应像素值的平均值或加权平均值，以生成所述基底层融合图像。
第二方面，本申请实施例提供一种图像融合装置，包括：
图像拆分单元，用于对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对红外图像进行拆分得到第二基底层图像和第二细节层图像；
第一融合单元，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；
极性纠正单元，用于通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；
第二融合单元，用于将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
可选地，第一融合单元可具体用于：
基于所述第一细节层图像和所述第二细节图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数。
可选地，第一融合单元还可具体用于：
基于所述第一细节层图像和所述第二细节图像的像素值计算得到所述互相关系数；其中，计算公式包括：
Correlate_Coef＝Sum_YIR/(Sum_Y*Sum_IR)
所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和。
可选地，图像拆分单元还可以用于：
对所述可见光图像进行滤波得到所述第一基底层图像，并由所述可见光图像与所述第一基底层图像的差分结果得到所述第一细节层图像；以及对所述Y红外图像进行滤波得到所述第二基底层图像，并由所述Y红外图像与所述第二基底层图像的差分结果得到所述第二细节层图像。
可选地，极性纠正单元可具体用于：
将所述互相关系数与所述第二细节层图像相乘，以得到所述细节层融合图像。
可选地，图像融合装置还可以包括图像获取单元，可用于：
由第一图像传感器获得RGB彩色图像，由第二图像传感器获得红外图像；其中，所述第一图像传感器上设置有红外截止滤光片；以及将所述RGB彩色图像转换为所述可见光图像，以及将所述红外图像进行伽马压缩操作，得到所述Y红外图像。
可选地，第一融合单元还可以用于：
计算所述第一基底层图像和所述第二基底层图像中每个对应像素值的平均值或加权平均值，以生成所述基底层融合图像。
第三方面，本申请实施例提供一种图像融合***，包括：
第一图像传感器，用于获取RGB彩色图像；
第二图像传感器，用于获取红外图像；
可见光成像模块，与所述第一图像传感器连接，用于将所述RGB彩色图像转换为可见光图像；
红外光成像模块，与所述第二图像传感器连接，用于将所述红外图像进行伽马压缩操作，得到Y红外图像；其中，所述Y红外图像为只有亮度信息的红外图像；
可见光分解模块，与所述可见光成像模块连接，用于对所述可见光图像进行拆分得到第一基底层图像和第一细节层图像；
红外光分解模块，与所述红外光成像模块连接，用于对所述Y红外图像进行拆分得到第二基底层图像和第二细节层图像；
存储单元，分别与所述可见光分解模块和所述红外光分解模块连接，用于存储所述第一基底层图像、所述第一细节层图像、第二基底层图像和所述第二细节层图像；
图像融合模块，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；以及将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像融合方法的步骤示意图；
图2为本申请实施例提供的对可见光图像和Y红外图像进行拆分的步骤示意图；
图3为本申请实施例提供的获取可见光图像和Y红外图像的步骤示意图；
图4为本申请实施例提供的图像融合装置的示意图；
图5为本申请实施例提供的图像融合***的示意图；
图6为本申请实施例提供的图像融合模块的示意图；
图7为本申请实施例提供的图像融合示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
申请人在研究的过程中发现，为了改善暗光条件下拍摄的质量，传统的方法是将可见光图像(YUV格式，Y表征亮度，UV表征颜色)与红外光图像(只有Y分量，没有UV分量)进行融合。融合得到的图像中Y分量为红外光图像的Y分量，UV分量为可见光图像的UV分量。但是，在这种图像处理方式中，由于红外光图像的Y分量与人眼对外界的观感不符。导致最后融合后的图像虽然信噪比较好，主观上却有明显的不自然感。
而另一种解决方法是将红外图像拆分成ir_base_layer(亮度图像)和ir_detail_layer(细节图像)，同时，也将可见光图像拆分成y_base_layer(亮度图像)和y_detail_layer(细节图像)。通过y_base_layer和ir_detail_layer的融合，实现在不改变亮度的前提下，优化边缘和细节的目的。但是，由于红外图像和可见光图像的亮度存在较大的差异，甚至在图像的局部可能出现两者亮度关系相反的情况，由此，ir_detail_layer和y_detail_layer也可能出现极性相反的情况。因此，如果直接使用ir_detail_layer进行融合，依然有可能出现画质上的瑕疵。
有基于此，本申请实施例提供的一种图像融合方法，通过计算红外光局部图像和对应的可见光局部图像的互相关系数对其进行极性纠正，再与可见光图像进行融合，从而防止因红外图像和可见光图像的亮度关系不同而导致的边缘部分瑕疵，得到高质量的，与人眼观感相符的图像。请参看图1，图1为本申请实施例提供的图像融合方法的步骤示意图，在该方法中可以包括如下步骤：
在步骤S11中，对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像。
其中，所述Y红外图像为只有亮度信息的红外图像。
本申请实施例中，以IMG_YUV表示可见光图像，以IMG_Y_Base表示第一基底层图像，以IMG_Y_Detail表示第一细节层图像，以IMG_IR_Y表示Y红外图像，以IMG_IR_Base表示第二基底层图像以及以IMG_IR_Detail表示第二细节层图像进行说明。
Y红外图像可以是由红外图像传感器获得红外图像，通过对红外图像进行伽马压缩操作，转换成适合人眼观看的只有亮度信息的Y红外图像。IMG_IR_Y在极暗场景下噪声小，但是其成像结果中的被摄物体亮度不符合人眼观测的结果，且IMG_IR_Y只有亮度信息，没有颜色信息，相当于只有Y通道。因此还需要与含有颜色信息的图像进行融合，从而得到符合人眼观测的图像，而进行融合的方式则可参见S12至S13的步骤。
在步骤S12中，将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数。
在步骤S13中，通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像。
本申请实施例中，通过IMG_Y_Base表征可见光图像的亮度，通过IMG_Y_Detail表征可见光图像的纹理、边缘、噪声等信息，通过IMG_IR_Base表征红外光图像的亮度，通过IMG_IR_Detail表征红外光图像的纹理、边缘、噪声等信息。基底层融合图像以IMG_Fusion_Base表示，细节层融合图像以IMG_Fusion_Detail表示。
其中，IMG_Y_Base和IMG_IR_Base的融合方式可以是通过加权平均融合法、金字塔融合法、梯度域融合法、小波变换法、结构变形法等融合算法，也可以根据实际应用情况具体设置。
本申请实施例中的技术构思为通过互相关系数校正红外图像Detail层的极性，互相关系数是本申请实施例中基于解决红外图像的Detail层和可见光图像的Detail层极性相反情况而设计的融合参数，从而使矫正后Detail层的极性变得和可见光图像相同。
互相关系数的计算方式可以有很多种，其计算方式可以是根据可见光图像和红外图像的边缘信息进行计算，可以是通过图像中每个像素值进行计算，可以是通过图像的纹理信息进行计算，可以是通过图像的噪声值进行计算，也可以是结合上述多种信息，对每种信息的计算结果进行赋权，再综合赋权后的计算结果得到最终的互相关系数。
具体地，通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像的方式可以是将互相关系数与第二细节层图像相乘。
在步骤S14中，将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
其中，IMG_Fusion_Base和IMG_Fusion_Detail进行融合的方式可以参见上述IMG_Y_Base和IMG_IR_Base的融合方式，此处不再赘述。
由此可见，本申请实施例中将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，再由设计的极性校正参数，即互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像，而且采用本申请中的融合方法，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，可以提高图像质量。
在一可选的实施例中，针对步骤S12中基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数的技术特征，本申请实施例提供一种计算互相关系数的施行方式。其中，可以基于第一细节层图像和第二细节图像的像素值计算得到所述互相关系数，计算的公式可以为：
Correlate_Coef＝Sum_YIR/(Sum_Y*Sum_IR)
在计算公式中，Correlate_Coef为计算得到的互相关系数，Sum_Y＝IMG_Y_Detail图像所有像素的加和，Sum_IR＝IMG_IR_Detail图像所有像素的加和，Sum_YIR＝(IMG_Y_Detail*IMG_IR_Detail)图像所有像素的加和。
在计算得到上述互相关系数后，将所述互相关系数与IMG_IR_Detail相乘，便可以得到细节层融合图像。相乘的方式可以是将该互相关系数与IMG_IR_Detail图像中每个像素的像素值相乘，得到IMG_Fusion_Detail。
由此可见，本申请实施例可以由设计的互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像。
在一可选的实施例中，针对步骤S11，本申请实施例提供一种对可见光图像和Y红外图像进行拆分的实现方式，请参看图2，图2为本申请实施例提供的对可见光图像和Y红外图像进行拆分的步骤示意图，其中对可见光图像和Y红外图像进行拆分的步骤可以包括：
在步骤S21中，对所述可见光图像进行滤波得到所述第一基底层图像，并由所述可见光图像与所述第一基底层图像的差分结果得到所述第一细节层图像。
在步骤S22中，对所述Y红外图像进行滤波得到所述第二基底层图像，并由所述Y红外图像与所述第二基底层图像的差分结果得到所述第二细节层图像。
其中，滤波的方式可以是低通滤波，可以对原始的可见光图像进行低通滤波，将滤波后的结果作为Base层，也即第一基底层图像，然后将原图与Base层的差分结果作为Detail层，也即第一细节层图像。滤波也可以是通过双通滤波的方式，得到第一基底层图像和第一细节层图像的方式与低通滤波的方式一样。
同理地，得到第二基底层图像和第二细节层图像的方式也可以参照上述实现方式，此处不再赘述。
由此可见，本申请实施例中将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，从而提高图像质量。
在一可选的实施例中，在步骤S11之前，本申请实施例还提供一种获取可见光图像和Y红外图像的实施方式，请参看图3，图3为本申请实施例提供的获取可见光图像和Y红外图像的步骤示意图，获取可见光图像和Y红外图像的步骤可以为：
在步骤S31中，由第一图像传感器获得RGB彩色图像，由第二图像传感器获得红外图像。
其中，所述第一图像传感器上设置有红外截止滤光片。本申请实施例中，第一图像传感器和第二图像传感器均可以为CMOS传感器或CCD传感器，通过捕捉光信号并将之转化为电信号，并量化为RGB彩色图像IMG_RGB或红外图像IMG_IR，第一图像传感器和第二图像传感器之间的不同在于第一图像传感器上设置有红外截止滤光片，而第二图像传感器上没有设置。
在步骤S32中，将所述RGB彩色图像转换为所述可见光图像，以及将所述红外图像进行伽马压缩操作，得到所述Y红外图像。
示例性地，可以通过白平衡矫正(White Balance Correction)、解马赛克(Demosaic)、伽马压缩曲线(Gamma)以及色域空间转换(CSC)等操作将IMG_RGB转成适合人眼观看的可见光图像IMG_YUV，IMG_YUV在极暗场景下噪声较大，且通常为YUV格式，其中，Y通道表征图像的亮度，UV通道表征图像的颜色。
示例性地，可以通过伽马压缩曲线(Gamma)将可见光图像IMG_IR转换成适合人眼观看亮度的Y红外图像IMG_IR_Y，IMG_IR_Y在极暗场景下噪声小，但是其成像结果中的被摄物体亮度不符合人眼观测的结果，且IMG_IR_Y只有亮度信息，没有颜色信息，相当于只有Y通道。
可选地，针对步骤S12，将第一基底层图像和第二基底层图像进行融合得到基底层融合图像可以包括：
计算所述第一基底层图像和所述第二基底层图像中每个对应像素值的平均值或加权平均值，以生成所述基底层融合图像。
本申请实施例中，可以采用计算像素值的平均值或加权平均值等相对简单的融合方式，也可以采用如上述步骤中提供的更为复杂的融合算法，可以根据实际应用情况具体设置。
基于同一发明构思，本申请实施例还提供一种图像融合装置40，请参看图4，图4为本申请实施例提供的图像融合装置的示意图，图像融合装置40可以包括：
图像拆分单元41，用于对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对红外图像进行拆分得到第二基底层图像和第二细节层图像。
第一融合单元42，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数。
极性纠正单元43，用于通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像。
第二融合单元44，用于将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
由此可见，本申请实施例中首先将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，再由设计的极性校正参数，即互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像，而且采用本申请中的融合方法，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，可以提高图像质量。
可选地，第一融合单元42可具体用于：
基于所述第一细节层图像和所述第二细节图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数。
可选地，第一融合单元42还可具体用于：
基于所述第一细节层图像和所述第二细节图像的像素值计算得到所述互相关系数；其中，计算公式包括：
Correlate_Coef＝Sum_YIR/(Sum_Y*Sum_IR)
所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和。
由此可见，本申请实施例可以由设计的互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像。
可选地，图像拆分单元41还可以用于：
对所述可见光图像进行滤波得到所述第一基底层图像，并由所述可见光图像与所述第一基底层图像的差分结果得到所述第一细节层图像；以及对所述Y红外图像进行滤波得到所述第二基底层图像，并由所述Y红外图像与所述第二基底层图像的差分结果得到所述第二细节层图像。
由此可见，本申请实施例中首先将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，从而提高图像质量。
可选地，极性纠正单元43可具体用于：
将所述互相关系数与所述第二细节层图像相乘，以得到所述细节层融合图像。
可选地，图像融合装置40还可以包括图像获取单元，可用于：
由第一图像传感器获得RGB彩色图像，由第二图像传感器获得红外图像；其中，所述第一图像传感器上设置有红外截止滤光片；以及将所述RGB彩色图像转换为所述可见光图像，以及将所述红外图像进行伽马压缩操作，得到所述Y红外图像。
可选地，第一融合单元42还可以用于：
计算所述第一基底层图像和所述第二基底层图像中每个对应像素值的平均值或加权平均值，以生成所述基底层融合图像。
基于同一发明构思，本申请实施例还提供一种图像融合***50，请参看图5，图5为本申请实施例提供的图像融合***的示意图，图像融合***50可以包括：
第一图像传感器51，用于获取RGB彩色图像。
第二图像传感器52，用于获取红外图像。
可见光成像模块53，与所述第一图像传感器51连接，用于将所述RGB彩色图像转换为可见光图像。
红外光成像模块54，与所述第二图像传感器52连接，用于将所述红外图像进行伽马压缩操作，得到Y红外图像；其中，所述Y红外图像为只有亮度信息的红外图像。
可见光分解模块55，与所述可见光成像模块53连接，用于对所述可见光图像进行拆分得到第一基底层图像和第一细节层图像。
红外光分解模块56，与所述红外光成像模块54连接，用于对所述Y红外图像进行拆分得到第二基底层图像和第二细节层图像。
存储单元57，分别与所述可见光分解模块55和所述红外光分解模块56连接，用于存储所述第一基底层图像、所述第一细节层图像、第二基底层图像和所述第二细节层图像。
图像融合模块58，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；以及将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
可选地，第一图像传感器51可以为CMOS传感器或CCD传感器，能够捕捉光信号并将之转化为电信号，并量化为RGB彩色图像IMG_RGB，传输给后续模块进行处理。第一图像传感器51上带有红外截止滤光片。
可选地，可见光成像模块53中可以包括白平衡矫正(White BalanceCorrection)，解马赛克(Demosaic)，伽马压缩曲线(Gamma)，色域空间转换(CSC)等子模块，通过上述子模块的处理从而将第一图像传感器51获取的RGB彩色图像转换为适合人眼观看的可见光图像IMG_YUV。
可选地，可见光分解模块55可以通过对IMG_YUV的Y通道IMG_Y进行滤波，得到第一基底层图像IMG_Y_Base，主要表征可见光图像的亮度。用IMG_Y减去IMG_Y_Base可以得到第一细节层图像IMG_Y_Detail，主要表征可见光图像的纹理，边缘，噪声等信息。可见光分解模块55只对IMG_Y做操作，对IMG_YUV的UV通道IMG_UV不做操作。可见光分解模块55可以将上述IMG_Y_Base、IMG_Y_Detail以及IMG_YUV的UV通道图像IMG_UV传输到存储单元57进行存储。
可选地，第二图像传感器52通常可以为CMOS传感器或CCD传感器，能够捕捉光信号并将之转化为电信号，并量化为红外图像IMG_IR，传输给后续模块进行处理。第二图像传感器52无红外截止滤光片。
红外光成像模块54通常可以包括伽马压缩曲线(Gamma)等子模块，能够将第二图像传感器52输出的IMG_IR转换成适合人眼观看亮度的IMG_IR_Y。
而红外光分解模块56与可见光分解模块55的工作原理相同，可以将IMG_IR_Y分解为第二基底层图像IMG_IR_Base和第二细节层图像IMG_IR_Detail。红外光分解模块56可以将上述IMG_IR_Base和IMG_IR_Detail传输到存储单元57进行存储。
可选地，存储单元57可以由SRAM，DDR或者HDD构成。
对于图像融合模块58，请参看图6，图6为本申请实施例提供的图像融合模块的示意图，图像融合模块58可以包括Base层融合子模块581、Detail层融合子模块582以及加法子模块583。
图像融合模块58从存储单元57中读入IMG_Y_Base、IMG_Y_Detail、IMG_IR_Base和IMG_IR_Detail，Base层融合子模块581可以将IMG_Y_Base与IMG_IR_Base进行融合，得到IMG_Fusion_Base，融合的实现方式可以参看上述S12至S13的步骤。
Detail层融合子模块582中可以包括互相关计算子模块5821和乘法子模块5822，具体地，请在图6的基础上参看图7，图7为本申请实施例提供的图像融合示意图。
其中，红外图像的信噪比优于可见光图像，噪声少。但是红外图像和可见光图像的对应区域亮度不同，且在图像空间上亮度变化的趋势也不同。例如，在图中IMG_YUV的左上方亮度明显低于右下方的亮度，而IMG_IR的左上方亮度明显高于右下方的亮度。
对于两张图进行Detail层和Base层的拆分，得到IMG_Y_Detail，IMG_Y_Base，IMG_IR_Detail和IMG_IR_Base。其中，拆分的方式可以参看上述S21至S22的步骤。
由互相关计算子模块5821通过上述步骤S12提供的方式计算出互相关系数，例如，图7中IMG_IR和IMG_YUV的边缘极性相反，由此可以得到两者的互相关系数为一个负数，此处假设计算结果为-1.0。
再由乘法子模块5822将互相关系数与IMG_IR_Detail相乘，得到IMG_Fusion_Detail。此时可以看到IMG_IR图像的Detail层的极性已经被矫正过来，变得和IMG_YUV相同。
最终由加法子模块583将IMG_Fusion_Detail和Base层融合子模块581的输出IMG_Fusion_Base相加，得到最终的输出IMG_Fusion_Y。
由于IMG_Fusion_Y的Detail层来源于噪声很小的红外图像，比较IMG_Fusion_Y与原图IMG_Y，可以发现输出图像IMG_Fusion_Y的噪声也变得非常小。
由此可见，本申请实施例中首先将只有亮度信息的红外图像和可见光图像分别差分为基底层和细节层的图像，分别表征图像的亮度信息和纹理、边缘、噪声等信息，再由设计的极性校正参数，即互相关系数，对红外图像的细节层进行极性校正，将经过校正的细节层融合图像与基底层融合图像融合，从而可以得到与人眼对外界观测相符的图像，而且采用本申请中的融合方法，可以结合只有Y通道的红外图像的噪声小的特点，既可以对图像进行降噪，也可以避免画质出现瑕疵，可以提高图像质量。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
所述计算机可读存储介质可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的互相之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像融合方法，其特征在于，包括：
对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像；其中，所述Y红外图像为只有亮度信息的红外图像；
将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节层图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；
通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；
将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像；
其中，所述互相关系数为基于所述Y红外图像的第二细节层图像和所述可见光图像的第一细节层图像极性相反情况而设计的融合参数，所述互相关系数的计算公式包括：
Correlate_Coef=Sum_YIR/(Sum_Y*Sum_IR)；
所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节层图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一细节层图像和所述第二细节层图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数包括：
基于所述第一细节层图像和所述第二细节层图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一细节层图像和所述第二细节层图像的纹理信息、边缘信息、噪声信息或像素值中的至少一项计算得到所述互相关系数包括：
基于所述第一细节层图像和所述第二细节层图像的像素值计算得到所述互相关系数。
4.根据权利要求1所述的方法，其特征在于，所述对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像包括：
对所述可见光图像进行滤波得到所述第一基底层图像，并由所述可见光图像与所述第一基底层图像的差分结果得到所述第一细节层图像；
对所述Y红外图像进行滤波得到所述第二基底层图像，并由所述Y红外图像与所述第二基底层图像的差分结果得到所述第二细节层图像。
5.根据权利要求1所述的方法，其特征在于，所述通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像包括：
将所述互相关系数与所述第二细节层图像相乘，以得到所述细节层融合图像。
6.根据权利要求1所述的方法，其特征在于，在所述对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像之前，所述方法还包括：
由第一图像传感器获得RGB彩色图像，由第二图像传感器获得红外图像；其中，所述第一图像传感器上设置有红外截止滤光片；
将所述RGB彩色图像转换为所述可见光图像，以及将所述红外图像进行伽马压缩操作，得到所述Y红外图像。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像包括：
计算所述第一基底层图像和所述第二基底层图像中每个对应像素值的平均值或加权平均值，以生成所述基底层融合图像。
8.一种图像融合装置，其特征在于，包括：
图像拆分单元，用于对可见光图像进行拆分得到第一基底层图像和第一细节层图像，对Y红外图像进行拆分得到第二基底层图像和第二细节层图像；
第一融合单元，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节层图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；其中，所述互相关系数为基于所述Y红外图像的第二细节层图像和所述可见光图像的第一细节层图像极性相反情况而设计的融合参数，所述互相关系数的计算公式包括：Correlate_Coef=Sum_YIR/(Sum_Y*Sum_IR)；所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节层图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和；
极性纠正单元，用于通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；
第二融合单元，用于将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像。
9.一种图像融合***，其特征在于，包括：
第一图像传感器，用于获取RGB彩色图像；
第二图像传感器，用于获取红外图像；
可见光成像模块，与所述第一图像传感器连接，用于将所述RGB彩色图像转换为可见光图像；
红外光成像模块，与所述第二图像传感器连接，用于将所述红外图像进行伽马压缩操作，得到Y红外图像；其中，所述Y红外图像为只有亮度信息的红外图像；
可见光分解模块，与所述可见光成像模块连接，用于对所述可见光图像进行拆分得到第一基底层图像和第一细节层图像；
红外光分解模块，与所述红外光成像模块连接，用于对所述Y红外图像进行拆分得到第二基底层图像和第二细节层图像；
存储单元，分别与所述可见光分解模块和所述红外光分解模块连接，用于存储所述第一基底层图像、所述第一细节层图像、第二基底层图像和所述第二细节层图像；
图像融合模块，用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像，基于所述第一细节层图像和所述第二细节层图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；通过所述互相关系数对所述第二细节层图像进行极性纠正，得到细节层融合图像；以及将所述基底层融合图像和所述细节层融合图像进行图像融合，得到目标融合图像；其中，所述互相关系数为基于所述Y红外图像的第二细节层图像和所述可见光图像的第一细节层图像极性相反情况而设计的融合参数，所述互相关系数的计算公式包括：Correlate_Coef=Sum_YIR/(Sum_Y*Sum_IR)；所述计算公式中，Correlate_Coef为所述互相关系数，Sum_YIR为所述第一细节层图像和所述第二细节层图像所有像素乘积的加和，Sum_Y为所述第一细节层图像所有像素的加和，Sum_IR为所述第二细节层图像所有像素的加和。
10.根据权利要求9所述的***，其特征在于，所述图像融合模块包括Base层融合子模块、Detail层融合子模块以及加法子模块；
所述Base层融合子模块用于将所述第一基底层图像和所述第二基底层图像进行融合得到基底层融合图像；
所述Detail层融合子模块包括互相关计算子模块和乘法子模块，其中，所述互相关计算子模块用于基于所述第一细节层图像和所述第二细节层图像的图像特征计算得到所述可见光图像和所述红外图像的互相关系数；所述乘法子模块用于将所述互相关系数与所述第二细节层图像相乘，得到所述细节层融合图像；
所述加法子模块用于将所述细节层融合图像和所述基底层融合图像相加，得到所述目标融合图像。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210897467.5A CN115239610B (zh) | 2022-07-28 | 2022-07-28 | 图像融合方法、装置、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210897467.5A CN115239610B (zh) | 2022-07-28 | 2022-07-28 | 图像融合方法、装置、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115239610A CN115239610A (zh) | 2022-10-25 |
| CN115239610B true CN115239610B (zh) | 2024-01-26 |
Family
ID=83677903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210897467.5A Active CN115239610B (zh) | 2022-07-28 | 2022-07-28 | 图像融合方法、装置、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239610B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035188A (zh) * | 2018-07-16 | 2018-12-18 | 西北工业大学 | 一种基于目标特征驱动的智能图像融合方法 |
| CN110363732A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法及其装置 |
| CN110930311A (zh) * | 2018-09-19 | 2020-03-27 | 杭州萤石软件有限公司 | 一种提高红外图像与可见光图像融合的信噪比方法与装置 |
| CN112767291A (zh) * | 2021-01-04 | 2021-05-07 | 浙江大华技术股份有限公司 | 可见光图像和红外图像融合方法、设备及可读存储介质 |
| CN112767289A (zh) * | 2019-10-21 | 2021-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
| CN113170048A (zh) * | 2019-02-19 | 2021-07-23 | 华为技术有限公司 | 一种图像处理的装置和方法 |
| CN114549382A (zh) * | 2022-02-21 | 2022-05-27 | 北京爱芯科技有限公司 | 一种红外图像与可见光图像融合的方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924312B2 (en) * | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
-
2022
- 2022-07-28 CN CN202210897467.5A patent/CN115239610B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363732A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法及其装置 |
| CN109035188A (zh) * | 2018-07-16 | 2018-12-18 | 西北工业大学 | 一种基于目标特征驱动的智能图像融合方法 |
| CN110930311A (zh) * | 2018-09-19 | 2020-03-27 | 杭州萤石软件有限公司 | 一种提高红外图像与可见光图像融合的信噪比方法与装置 |
| CN113170048A (zh) * | 2019-02-19 | 2021-07-23 | 华为技术有限公司 | 一种图像处理的装置和方法 |
| CN112767289A (zh) * | 2019-10-21 | 2021-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
| CN112767291A (zh) * | 2021-01-04 | 2021-05-07 | 浙江大华技术股份有限公司 | 可见光图像和红外图像融合方法、设备及可读存储介质 |
| CN114549382A (zh) * | 2022-02-21 | 2022-05-27 | 北京爱芯科技有限公司 | 一种红外图像与可见光图像融合的方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| Object fusion tracking based on visible and infrared images：A comprehensive review;Xingchen Zhang等;Information Fusion;全文 * |
| 基于卷积稀疏表示的鲁棒性PET和CT图像融合方法;邱陈辉 等;航天医学与医学工程;第33卷(第01期);全文 * |
| 陈昱存.基于深度学习的红外与可见光图像融合算法研究.中国优秀硕士学位论文全文数据库信息科技辑.2022,(第02期),第4章. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115239610A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3343911B1 (en) | Image signal processing method and system | |
| US7697044B2 (en) | Image processing apparatus and image processing method | |
| JP5213670B2 (ja) | 撮像装置及びぶれ補正方法 | |
| JP4837365B2 (ja) | 画像処理システム、画像処理プログラム | |
| KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
| EP1930853A1 (en) | Image signal processing apparatus and image signal processing | |
| US20130329004A1 (en) | Method of and Apparatus for Image Enhancement | |
| CN105960658B (zh) | 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质 | |
| CN105432068B (zh) | 摄像装置、摄像方法及图像处理装置 | |
| US20070273776A1 (en) | Apparatus and method of gamma correction in digital image processing device | |
| JPWO2006134923A1 (ja) | 画像処理装置、コンピュータプログラム製品および画像処理方法 | |
| WO2005081542A1 (ja) | 画像処理方法 | |
| US8648937B2 (en) | Image processing apparatus, image processing method, and camera module | |
| JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
| KR101600312B1 (ko) | 영상처리장치 및 영상처리방법 | |
| CN107852456A (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN107534728B (zh) | 图像处理装置、摄像装置、图像处理方法及存储介质 | |
| US10395347B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
| JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
| CN111654686B (zh) | 去除图像彩噪的方法、去除视频彩噪的方法及相关装置 | |
| US8463034B2 (en) | Image processing system and computer-readable recording medium for recording image processing program | |
| CN115239610B (zh) | 图像融合方法、装置、***及存储介质 | |
| CN114549382B (zh) | 一种红外图像与可见光图像融合的方法及*** | |
| JP3498553B2 (ja) | ビデオカメラ | |
| US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200 Patentee after: Aixin Yuanzhi Semiconductor Co.,Ltd. Country or region after: China Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200 Patentee before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Country or region before: China Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200 Patentee after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Country or region after: China Address before: 201700 room 1190, zone B, floor 11, building 1, No. 158, Shuanglian Road, Qingpu District, Shanghai Patentee before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |