CN114677316B - 可实时的可见光图像与红外图像多通道融合方法及装置 - Google Patents

可实时的可见光图像与红外图像多通道融合方法及装置 Download PDF

Info

Publication number
CN114677316B
CN114677316B CN202210585859.8A CN202210585859A CN114677316B CN 114677316 B CN114677316 B CN 114677316B CN 202210585859 A CN202210585859 A CN 202210585859A CN 114677316 B CN114677316 B CN 114677316B
Authority
CN
China
Prior art keywords
visible light
matrix
infrared
image
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210585859.8A
Other languages
English (en)
Other versions
CN114677316A (zh
Inventor
周振彬
娄珂
宾朝林
秦文礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dingjiang Technology Co ltd
Original Assignee
Shenzhen Dingjiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dingjiang Technology Co ltd filed Critical Shenzhen Dingjiang Technology Co ltd
Priority to CN202210585859.8A priority Critical patent/CN114677316B/zh
Publication of CN114677316A publication Critical patent/CN114677316A/zh
Application granted granted Critical
Publication of CN114677316B publication Critical patent/CN114677316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种可实时的可见光图像与红外图像多通道融合方法及装置，包括：对可见光图像对应的可见光矩阵进行分解，得到可见光低频矩阵和可见光高频矩阵，并对红外图像对应的红外矩阵进行分解，得到红外低频矩阵和红外高频矩阵；根据可见光低频权重和红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，并根据可见光高频权重和红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵；基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵。可见，实施本发明能够融合可见光图像和红外图像，进而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度。

Description

可实时的可见光图像与红外图像多通道融合方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种可实时的可见光图像与红外图像多通道融合方法及装置。
背景技术
在图像分析领域，可见光图像的信息量较大、像素强度较高，可以为计算机视觉任务提供较为直观的细节，但是可见光图像的图像质量容易受到数据收集环境的影响（如照明和天气条件），导致可见光图像中需突出显示的主体内容（如人物）与背景区域的差异不够分明；而基于红外热成像技术生成的红外图像虽然能够根据物体表面的热辐射差异显著区分红外图像中的主体内容和背景区域，但由于红外图像通常为人眼难以区分的灰度级图像，且红外图像的对比度较低、图像较为模糊，导致红外图像的图像纹理不够细致。可见，如何提升图像中主体内容和背景区域的区分度以及提高图像纹理的细致程度显得尤为重要。
发明内容
本发明所要解决的技术问题在于，提供一种可实时的可见光图像与红外图像多通道融合方法及装置，能够融合可见光图像和红外图像，进而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度。
为了解决上述技术问题，本发明第一方面公开了一种可实时的可见光图像与红外图像多通道融合方法，所述方法包括：
对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；
根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；
基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像。
作为一种可选的实施方式，在本发明第一方面中，所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，包括：
基于预先确定出的用于均值卷积运算的均值滤波算子和所述均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到所述可见光图像对应的可见光低频矩阵：
imgC_B=conv(avg,imgC)，
其中，imgC_B用于表示所述可见光低频矩阵，avg用于表示所述均值滤波算子，imgC用于表示所述可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；
基于所述可见光矩阵和所述可见光低频矩阵，确定所述可见光图像对应的可见光高频矩阵：
imgC_F=imgC-imgC_B，
其中，imgC_F用于表示所述可见光高频矩阵。
作为一种可选的实施方式，在本发明第一方面中，在所述根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，所述方法还包括：
确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；
其中，所述确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，包括：
根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵：
imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||p，
imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||p，
其中，(i,j)用于表示所述可见光图像以及所述红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示所述可见光范数矩阵，imgC_G(i,j)用于表示所述可见光高斯滤波矩阵，imgC_M(i,j)用于表示所述可见光中值滤波矩阵，imgT_D(i,j)用于表示所述红外范数矩阵，imgT_G(i,j)用于表示所述红外高斯滤波矩阵，imgT_M(i,j)用于表示所述红外中值滤波矩阵；
根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重：
Figure 60939DEST_PATH_IMAGE001
，
Figure 144433DEST_PATH_IMAGE002
；
其中，imgC_W(i,j)用于表示所述可见光高频权重，imgT_W(i,j)用于表示所述红外高频权重，a、b均为预设权重值，且a+b=1。
作为一种可选的实施方式，在本发明第一方面中，在所述根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵之前，所述方法还包括：
确定所述红外图像对应的彩色矩阵；
根据所述彩色矩阵以及所述红外低频矩阵确定所述红外图像对应的彩色红外低频矩阵imgT_B*imgTC，并根据所述彩色矩阵以及所述红外高频矩阵确定所述红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示所述红外低频矩阵，imgT_F用于表示所述红外高频矩阵，imgTC用于表示所述彩色矩阵：
将所述彩色红外低频矩阵更新为所述红外低频矩阵，将所述彩色红外高频矩阵更新为所述红外高频矩阵。
作为一种可选的实施方式，在本发明第一方面中，所述确定所述红外图像对应的彩色矩阵，包括：
计算所述红外图像在所述可见光图像的每个色彩通道的通道分量；
根据所述红外图像在每个所述色彩通道的通道分量，确定所述红外图像对应的彩色矩阵；
其中，当所述可见光图像为基于RGB空间的三通道图像时，所述计算所述红外图像在所述可见光图像的每个色彩通道的通道分量，包括：
根据所述红外矩阵所表征的温度分布信息，确定所述红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；
根据所述红外矩阵、所述第一标记值l1、所述第二标记值l2和所述第三标记值l3，计算所述红外图像在所述可见光图像的每个色彩通道的通道分量：
Figure DEST_PATH_IMAGE003
，
Figure 503739DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
，
其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示所述红外图像在每个所述色彩通道的通道分量，imgT(i,j)用于表示所述红外矩阵。
作为一种可选的实施方式，在本发明第一方面中，在所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光分解矩阵之前，所述方法还包括：
对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵，并将所述归一化可见光矩阵更新为所述可见光矩阵；
以及，在所述对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外分解矩阵之前，所述方法还包括：
对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到所述红外图像对应的归一化红外矩阵，并将所述归一化红外矩阵更新为所述红外矩阵。
作为一种可选的实施方式，在本发明第一方面中，在所述对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵之前，所述方法还包括：
根据用于图像融合的可见光图像对应的可见光矩阵，判断所述可见光图像是否为基于RGB空间的三通道图像；
当判断结果为否时，基于预设的图像转换方法，将所述可见光矩阵转换成基于所述RGB空间对应的三通道可见光矩阵，并将所述三通道可见光矩阵更新为所述可见光矩阵。
本发明第二方面公开了一种可实时的可见光图像与红外图像多通道融合装置，所述装置包括：
分解模块，用于对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；
融合模块，用于根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；
生成模块，用于基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像。
作为一种可选的实施方式，在本发明第二方面中，所述分解模块对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵的具体方式包括：
基于预先确定出的用于均值卷积运算的均值滤波算子和所述均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到所述可见光图像对应的可见光低频矩阵：
imgC_B=conv(avg,imgC)，
其中，imgC_B用于表示所述可见光低频矩阵，avg用于表示所述均值滤波算子，imgC用于表示所述可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；
基于所述可见光矩阵和所述可见光低频矩阵，确定所述可见光图像对应的可见光高频矩阵：
imgC_F=imgC-imgC_B，
其中，imgC_F用于表示所述可见光高频矩阵。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
第一确定模块，用于在所述融合模块根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；
其中，所述第一确定模块确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重的具体方式包括：
根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵：
imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||p，
imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||p，
其中，(i,j)用于表示所述可见光图像以及所述红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示所述可见光范数矩阵，imgC_G(i,j)用于表示所述可见光高斯滤波矩阵，imgC_M(i,j)用于表示所述可见光中值滤波矩阵，imgT_D(i,j)用于表示所述红外范数矩阵，imgT_G(i,j)用于表示所述红外高斯滤波矩阵，imgT_M(i,j)用于表示所述红外中值滤波矩阵；
根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重：
Figure 360574DEST_PATH_IMAGE006
，
Figure 646193DEST_PATH_IMAGE007
；
其中，imgC_W(i,j)用于表示所述可见光高频权重，imgT_W(i,j)用于表示所述红外高频权重，a、b均为预设权重值，且a+b=1。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
第二确定模块，用于在所述融合模块根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵之前，确定所述红外图像对应的彩色矩阵；并根据所述彩色矩阵以及所述红外低频矩阵确定所述红外图像对应的彩色红外低频矩阵imgT_B*imgTC，以及根据所述彩色矩阵以及所述红外高频矩阵确定所述红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示所述红外低频矩阵，imgT_F用于表示所述红外高频矩阵，imgTC用于表示所述彩色矩阵：
更新模块，用于将所述彩色红外低频矩阵更新为所述红外低频矩阵，将所述彩色红外高频矩阵更新为所述红外高频矩阵。
作为一种可选的实施方式，在本发明第二方面中，所述第二确定模块确定所述红外图像对应的彩色矩阵的具体方式包括：
计算所述红外图像在所述可见光图像的每个色彩通道的通道分量；
根据所述红外图像在每个所述色彩通道的通道分量，确定所述红外图像对应的彩色矩阵；
其中，当所述可见光图像为基于RGB空间的三通道图像时，所述第二确定模块计算所述红外图像在所述可见光图像的每个色彩通道的通道分量的具体方式包括：
根据所述红外矩阵所表征的温度分布信息，确定所述红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；
根据所述红外矩阵、所述第一标记值l1、所述第二标记值l2和所述第三标记值l3，计算所述红外图像在所述可见光图像的每个色彩通道的通道分量：
Figure 821960DEST_PATH_IMAGE003
，
Figure 386671DEST_PATH_IMAGE004
，
Figure 610979DEST_PATH_IMAGE005
，
其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示所述红外图像在每个所述色彩通道的通道分量，imgT(i,j)用于表示所述红外矩阵。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
归一化模块，用于在所述分解模块对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光分解矩阵之前，对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵，还用于在所述分解模块对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外分解矩阵之前，对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到所述红外图像对应的归一化红外矩阵；
所述更新模块，还用于将所述归一化可见光矩阵更新为所述可见光矩阵，并将所述归一化红外矩阵更新为所述红外矩阵。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
判断模块，用于在所述归一化模块对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵之前，根据用于图像融合的可见光图像对应的可见光矩阵，判断所述可见光图像是否为基于RGB空间的三通道图像；
转换模块，用于当所述判断模块判断出所述可见光图像并非所述三通道图像时，基于预设的图像转换方法，将所述可见光矩阵转换成基于所述RGB空间对应的三通道可见光矩阵；
所述更新模块，还用于将所述三通道可见光矩阵更新为所述可见光矩阵。
本发明第三方面公开了另一种可实时的可见光图像与红外图像多通道融合装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的可实时的可见光图像与红外图像多通道融合方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的可实时的可见光图像与红外图像多通道融合方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外低频矩阵和红外图像对应的红外高频矩阵，其中，可见光矩阵中每个元素值均对应可见光图像中其中一个像素点的色彩量化值，红外矩阵中每个元素值均对应红外图像中其中一个像素点的温度量化值；根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，并根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵；基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵，融合矩阵用于生成所述可见光图像和所述红外图像的融合图像。可见，实施本发明能够通过融合可见光图像和红外图像，以使生成的融合图像同时具备可见光图像中信息量大、像素强度高、图像细节直观的优点和红外图像中图像质量稳定、图像主体内容和背景区域的区分度较高的优点，并降低图像数据采集的环境条件对图像质量的影响程度，从而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度，进而提升图像的层次感，降低图像中需突出显示的目标的辨认难度，此外，通过分别将可见光图像和红外图像的低频分量进行融合、可见光图像和红外图像的高频分量进行融合，能够使可见光图像和红外图像用于融合的图像频段更加相近，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种可实时的可见光图像与红外图像多通道融合方法的流程示意图；
图2是本发明实施例公开的另一种可实时的可见光图像与红外图像多通道融合方法的流程示意图；
图3是本发明实施例公开的一种可实时的可见光图像与红外图像多通道融合装置的结构示意图；
图4是本发明实施例公开的另一种可实时的可见光图像与红外图像多通道融合装置的结构示意图；
图5是本发明实施例公开的又一种可实时的可见光图像与红外图像多通道融合装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种可实时的可见光图像与红外图像多通道融合方法及装置，能够通过融合可见光图像和红外图像，以使生成的融合图像同时具备可见光图像中信息量大、像素强度高、图像细节直观的优点和红外图像中图像质量稳定、图像主体内容和背景区域的区分度较高的优点，并降低图像数据采集的环境条件对图像质量的影响程度，从而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度，进而提升图像的层次感，降低图像中需突出显示的目标的辨认难度，此外，通过分别将可见光图像和红外图像的低频分量进行融合、可见光图像和红外图像的高频分量进行融合，能够使可见光图像和红外图像用于融合的图像频段更加相近，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种可实时的可见光图像与红外图像多通道融合方法的流程示意图。其中，图1所描述的可实时的可见光图像与红外图像多通道融合方法可以应用于可见光图像和红外图像的融合流程中，包括实时采集的同一时刻、同一视野的可见光图像与红外图像的融合流程中，例如红外检测录像和可见光检测录像的实时融合过程，本发明实施例不做限定。如图1所示，该可实时的可见光图像与红外图像多通道融合方法可以包括以下操作：
101、对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵。
本发明实施例中，可见光矩阵中每个元素值均对应可见光图像中其中一个像素点的色彩量化值。具体的，当可见光图像的图像尺寸为i×j、对应的色彩通道数目为k时，则可见光矩阵的矩阵形式为i×j×k，可见光矩阵中每个元素值均对应可见光图像中其中一个像素点在其中一个色彩通道对应的色彩量化值。例如，当可见光图像为基于RGB（Red-Green-Blue，红-绿-蓝）空间的三通道图像，即k=3时，可见光矩阵中每个元素值均对应可见光图像中其中一个像素点在RGB空间的R通道、G通道、或B通道对应的色彩量化值。可选的，可见光矩阵中每个元素值均为该元素值对应的像素点在其中一个色彩通道对应的色彩量化值归一化之后所得的归一化色彩量化值。
本发明实施例中，可选的，可以基于低通滤波器或高通滤波器对可见光矩阵进行分解，本发明实施例不做限定。
作为一种可选的实施方式，对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵，可以包括：
基于预先确定出的用于均值卷积运算的均值滤波算子和均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到可见光图像对应的可见光低频矩阵：
imgC_B=conv(avg,imgC)，
其中，imgC_B用于表示可见光低频矩阵，avg用于表示均值滤波算子，imgC用于表示可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；
基于可见光矩阵和可见光低频矩阵，确定可见光图像对应的可见光高频矩阵：
imgC_F=imgC-imgC_B，
其中，imgC_F用于表示可见光高频矩阵。
可见，实施该可选的实施方式能够基于均值滤波算法将可见光矩阵分解成可见光低频矩阵和可见光高频矩阵，提高可见光矩阵分解的准确性和可靠性，从而有利于提升可见光图像和红外图像的融合质量。
在该可选的实施方式中，邻域窗口尺寸表示卷积运算时所选取的邻域窗口内的像素点个数，可选的，邻域窗口尺寸为根据可见光图像的白噪声信息预先确定出的第一邻域窗口尺寸范围（如[ma,mb]）内的任意整数值，优选的，邻域窗口尺寸为第一邻域窗口尺寸范围内针对可见光图像的去噪声处理所得的去噪声结果最优的窗口尺寸。这样能够提高可见光图像分解中的降噪效果，提升图像融合质量。
102、对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外低频矩阵和红外图像对应的红外高频矩阵。
本发明实施例中，红外矩阵中每个元素值均对应红外图像中其中一个像素点的温度量化值。具体的，当红外图像的图像尺寸为i×j时，则可见光矩阵的矩阵形式为i×j。可选的，红外矩阵中每个元素值均为该元素值对应的像素点的温度量化值归一化之后所得的归一化温度量化值。
作为一种可选的实施方式，对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外低频矩阵和红外图像对应的红外高频矩阵，可以包括：
基于预先确定出的用于均值卷积运算的目标均值滤波算子和均值卷积运算对应的目标邻域窗口尺寸，对用于图像融合的红外图像对应的红外矩阵进行卷积运算处理，得到红外图像对应的红外低频矩阵：
imgT_B=conv(avg′,imgT)，
其中，imgT_B用于表示红外低频矩阵，avg′用于表示目标均值滤波算子，imgT用于表示红外矩阵，conv(avg′,imgT)用于表示针对avg′和imgT的卷积运算算法；
基于红外矩阵和红外低频矩阵，确定红外图像对应的红外高频矩阵：
imgT_F=imgT-imgT_B，
其中，imgT_F用于表示红外高频矩阵。
可见，实施该可选的实施方式能够基于均值滤波算法将红外矩阵分解成红外低频矩阵和红外高频矩阵，提高红外矩阵分解的准确性和可靠性，从而有利于提升可见光图像和红外图像的融合质量。
在该可选的实施方式中，可选的，目标邻域窗口尺寸为根据红外图像的白噪声信息预先确定出的第二邻域窗口尺寸范围（如[ma′,mb′]）内的任意整数值，优选的，目标邻域窗口尺寸为第二邻域窗口尺寸范围内针对红外图像的去噪声处理所得的去噪声结果最优的窗口尺寸。进一步可选的，对可见光矩阵进行卷积运算处理时所使用的邻域窗口尺寸与对红外矩阵进行卷积运算处理时所使用的目标邻域窗口尺寸相等。需要说明的是，“邻域窗口尺寸”和“目标邻域窗口尺寸”仅用于区别可见光矩阵和红外矩阵进行卷积运算时所使用的参数。这样能够提高可见光图像分解中的降噪效果，提升图像融合质量。
103、根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵。
本发明实施例中，可选的，可见光低频权重和红外低频权重可以预先设定（例如，可见光低频权重和红外低频权重均为0.5），也可以基于可见光矩阵和红外矩阵计算得到，本发明实施例不做限定。
作为一种可选的实施方式，根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，可以包括：
imgO_B=m1*imgC_B+m2*imgT_B，
其中，imgO_B用于表示低频融合矩阵，m1用于表示可见光低频权重，m2用于表示红外低频权重，imgC_B用于表示可见光低频矩阵，imgT_B用于表示红外低频矩阵。
在该可选的实施方式中，优选的，m1=m2=0.5。
可见，实施该可选的实施方式能够提高低频融合矩阵的融合准确性和可靠性，提升图像融合质量。
104、根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵。
本发明实施例中，可选的，可见光高频权重和红外高频权重可以预先设定，也可以基于可见光矩阵和红外矩阵计算得到，本发明实施例不做限定。
作为一种可选的实施方式，根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵，可以包括：
imgO_F=n1*imgC_F+n2*imgT_F，
其中，imgO_F用于表示高频融合矩阵，n1用于表示可见光高频权重，n2用于表示红外高频权重，imgC_F用于表示可见光高频矩阵，imgT_F用于表示红外高频矩阵。
可见，实施该可选的实施方式能够提高高频融合矩阵的融合准确性和可靠性，提升图像融合质量。
105、基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵，融合矩阵用于生成可见光图像和红外图像的融合图像。
本发明实施例中，可选的，融合图像可以应用于计算机视觉任务中，例如：图像对应环境中的目标检测、识别和跟踪。
作为一种可选的实施方式，基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵，可以包括：
imgO=imgO_B+imgO_F，
其中，imgO用于表示融合矩阵。
可见，实施该可选的实施方式能够提高图像融合的准确性和可靠性，进而提升图像融合质量。
可见，实施本发明实施例能够通过融合可见光图像和红外图像，以使生成的融合图像同时具备可见光图像中信息量大、像素强度高、图像细节直观的优点和红外图像中图像质量稳定、图像主体内容和背景区域的区分度较高的优点，并降低图像数据采集的环境条件对图像质量的影响程度，从而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度，进而提升图像的层次感，降低图像中需突出显示的目标的辨认难度，此外，通过分别将可见光图像和红外图像的低频分量进行融合、可见光图像和红外图像的高频分量进行融合，能够使可见光图像和红外图像用于融合的图像频段更加相近，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量。
需要说明的是，在其他实施例中，步骤101和步骤102的执行顺序没有先后关系，步骤103和步骤104的执行顺序也没有先后关系。
在一个可选的实施例中，在根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵之前，该方法还可以包括：
确定红外图像对应的彩色矩阵；
根据彩色矩阵以及红外低频矩阵确定红外图像对应的彩色红外低频矩阵imgT_B*imgTC，并根据彩色矩阵以及红外高频矩阵确定红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示红外低频矩阵，imgT_F用于表示红外高频矩阵，imgTC用于表示彩色矩阵：
将彩色红外低频矩阵更新为红外低频矩阵，将彩色红外高频矩阵更新为红外高频矩阵。
在该可选的实施例中，彩色矩阵用于使低频融合矩阵和高频融合矩阵的获取过程中可见光分量与红外分量的通道数目和通道类型相匹配。
可见，实施该可选的实施例能够将单通道的红外图像对应的红外低频矩阵和红外高频矩阵转换成多通道的彩色红外低频矩阵和彩色红外高频矩阵，从而提高用于图像融合的可见光图像和红外图像在图像类型上的匹配程度，进而提高图像融合的成功率以及图像的融合质量。
在该可选的实施例中，作为一种可选的实施方式，根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，可以包括：
imgO_B=m1*imgC_B+m2*(imgT_B*imgTC)；
以及，根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵，可以包括：
imgO_F=n1*imgC_F+n2*(imgT_F*imgTC)。
可见，这样能够提高低频融合矩阵和高频融合矩阵的融合准确性和可靠性，进而提升图像融合质量。
在该可选的实施例中，作为另一种可选的实施方式，确定红外图像对应的彩色矩阵，可以包括：
计算红外图像在可见光图像的每个色彩通道的通道分量；
根据红外图像在每个色彩通道的通道分量，确定红外图像对应的彩色矩阵；
其中，当可见光图像为基于RGB空间的三通道图像时，计算红外图像在可见光图像的每个色彩通道的通道分量，包括：
根据红外矩阵所表征的温度分布信息，确定红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；
根据红外矩阵、第一标记值l1、第二标记值l2和第三标记值l3，计算红外图像在可见光图像的每个色彩通道的通道分量：
Figure 599707DEST_PATH_IMAGE003
，
Figure 946375DEST_PATH_IMAGE004
，
Figure 171951DEST_PATH_IMAGE005
，
其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示红外图像在每个色彩通道的通道分量，imgT(i,j)用于表示红外矩阵。
以人体温度为例，人体温度处于37.3℃~38℃为低热状态，人体温度处于38℃~40℃为高烧状态，人体温度处于40℃以上为生命危险状态，因此，可以将37.3℃、38℃以及40℃对应的归一化温度值分别确定为第一标记值l1、第二标记值l2和第三标记值l3。
在该可选的实施方式中，具体的，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示红外图像在RGB空间的R通道、G通道和B通道的通道分量。
可见，实施该可选的实施方式能够通过计算红外图像在可见光图像的每个色彩通道的通道分量进而确定彩色红外矩阵，提高了用于图像融合的可见光图像和红外图像在通道数量和通道类型上的匹配程度，进而提高图像融合的成功率以及图像的融合质量，此外，根据由红外图像的温度表征信息确定出的多个标记值计算红外图像在可见光图像的每个色彩通道的通道分量，有利于提高彩色矩阵与温度信息的匹配程度，进而有利于通过温度信息提高融合图像中主体内容和背景区域的区分度。
在该可选的实施方式中，可选的，根据红外图像在每个色彩通道的通道分量，确定红外图像对应的彩色矩阵，可以包括：
imgTC(i,j)=[imgTC_r(i,j),imgTC_g(i,j),imgTC_b(i,j)]。
这样能够提高确定彩色矩阵的准确性和可靠性。
在另一个可选的实施例中，在对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光分解矩阵之前，该方法还可以包括：
对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到可见光图像对应的归一化可见光矩阵，并将归一化可见光矩阵更新为可见光矩阵；
以及，在对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外分解矩阵之前，该方法还可以包括：
对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到红外图像对应的归一化红外矩阵，并将归一化红外矩阵更新为红外矩阵。
可见，实施该可选的实施例能够对可见光矩阵和红外矩阵中每个元素值进行归一化处理，以提高图像融合过程中可见光分量和红外分量的度量单位的匹配程度，减少由于可见光矩阵和红外矩阵的统计分布性不统一而导致的可见光分量和红外分量不均衡进而导致其中一种图像的特征丢失的情况发生，提升图像融合质量。
在该可选的实施例中，作为一种可选的实施方式，在对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到可见光图像对应的归一化可见光矩阵之前，该方法还可以包括：
根据用于图像融合的可见光图像对应的可见光矩阵，判断可见光图像是否为基于RGB空间的三通道图像；
当判断结果为否时，基于预设的图像转换方法，将可见光矩阵转换成基于RGB空间对应的三通道可见光矩阵，并将三通道可见光矩阵更新为可见光矩阵。
在该可选的实施方式中，可选的，图像转换方法可以包括用于转换图像通道格式的软件转换方法和/或接口转换方法。
可见，实施该可选的实施方式能够在对可见光矩阵进行归一化处理前将非基于RGB空间的三通道图像转换成基于RGB空间的三通道图像，从而有利于提高用于图像融合的可见光图像的图像类型与实际需求的匹配程度，提高图像融合的准确性和可靠性。
在该可选的实施例中，作为另一种可选的实施方式，对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到红外图像对应的归一化红外矩阵之前，该方法还可以包括：
根据用于图像融合的红外图像中每个像素点对应的像素值，确定该像素点对应的温度值，作为该像素点对应的元素值；
根据红外图像中每个像素点对应的元素值，确定红外图像对应的红外矩阵。
在该可选的实施例中，可选的，红外图像中每个像素点对应的像素值可以包括为该像素点对应的灰度值、亮度值、红外热辐射值中的任意一种，本发明实施例不做限定。
可见，实施该可选的实施方式还能够将红外图像中每个像素点的像素值转换成温度值，从而有利于提高用于图像融合的红外分量与温度信息的匹配程度，进而有利于通过温度信息提高融合图像中主体内容和背景区域的区分度。
在又一个可选的实施例中，该方法还可以包括：
基于预设的数据转换方式对融合矩阵进行数据转换及封装处理，得到数据格式为预设格式的融合图像。
可见，实施该可选的实施例还能够将融合后的融合矩阵的数据格式转换成预设格式，提高了图像格式与实际需求的匹配程度。
实施例二
请参阅图2，图2是本发明实施例公开的另一种可实时的可见光图像与红外图像多通道融合方法的流程示意图。其中，图2所描述的可实时的可见光图像与红外图像多通道融合方法可以应用于可见光图像和红外图像的融合流程中，包括实时采集的同一时刻、同一视野的可见光图像与红外图像的融合流程中，例如红外检测录像和可见光检测录像的实时融合过程，本发明实施例不做限定。如图2所示，该可实时的可见光图像与红外图像多通道融合方法可以包括以下操作：
201、对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵。
202、对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外低频矩阵和红外图像对应的红外高频矩阵。
203、根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵。
204、确定可见光图像对应的可见光高频权重和红外图像对应的红外高频权重。
作为一种可选的实施方式，确定可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，可以包括：
根据可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算可见光图像对应的可见光范数矩阵，并根据红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算红外图像对应的红外范数矩阵：
imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||p，
imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||p，
其中，(i,j)用于表示可见光图像以及红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示可见光范数矩阵，imgC_G(i,j)用于表示可见光高斯滤波矩阵，imgC_M(i,j)用于表示可见光中值滤波矩阵，imgT_D(i,j)用于表示红外范数矩阵，imgT_G(i,j)用于表示红外高斯滤波矩阵，imgT_M(i,j)用于表示红外中值滤波矩阵；
根据可见光范数矩阵和红外范数矩阵，计算可见光图像对应的可见光高频权重和红外图像对应的红外高频权重：
Figure 573851DEST_PATH_IMAGE001
，
Figure 817750DEST_PATH_IMAGE002
；
其中，imgC_W(i,j)用于表示可见光高频权重，imgT_W(i,j)用于表示红外高频权重，a、b均为预设权重值，且a+b=1。
在该可选的实施方式中，优选的，a=b=0.5。
在该可选的实施方式中，可选的，范数矩阵计算过程中的p值可以预先设定，也可以由可见光图像和红外图像的图像信息确定得到，进一步的，可见光范数矩阵计算过程中的p值和红外范数矩阵计算过程中的p值可以相等，也可以不相等，该可选的实施方式不做限定。
可见，实施该可选的实施方式能够基于可见光图像对应的高斯滤波矩阵和中值滤波矩阵的相减结果以及红外图像对应的高斯滤波矩阵和中值滤波矩阵的相减结果计算可见光高频权重和红外高频权重，以使可见光图像和红外图像中用于计算可见光高频权重和红外高频权重的图像频段更加相近，从而提高权重计算的精确性以及计算出的权重与融合需求的适配程度，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量，此外，通过基于上述相减结果的范数矩阵计算可见光高频权重和红外高频权重，能够将多通道图像中每个像素点对应的相关权重简化成标量，从而降低图像融合过程的算力，提高图像融合效率。
205、根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵。
本发明实施例中，作为一种可选的实施方式，根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵，可以包括：
imgO_F=imgC_W*imgC_F+imgT_W*imgT_F*imgTC；
其中，imgO_F用于表示高频融合矩阵，imgC_F用于表示可见光高频矩阵，imgT_F用于表示红外高频矩阵，imgTC用于表示彩色红外矩阵。
206、基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵，融合矩阵用于生成可见光图像和红外图像的融合图像。
可见，实施本发明实施例能够通过融合可见光图像和红外图像，以使生成的融合图像同时具备可见光图像中信息量大、像素强度高、图像细节直观的优点和红外图像中图像质量稳定、图像主体内容和背景区域的区分度较高的优点，并降低图像数据采集的环境条件对图像质量的影响程度，从而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度，进而提升图像的层次感，降低图像中需突出显示的目标的辨认难度，此外，通过分别将可见光图像和红外图像的低频分量进行融合、可见光图像和红外图像的高频分量进行融合，能够使可见光图像和红外图像用于融合的图像频段更加相近，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量，此外，通过确定可见光分量和红外分量对应的权重能够提高图像融合的合理性和准确性，进一步提升图像融合质量。
需要说明的是，在其他实施例中，步骤201和步骤202的执行顺序没有先后关系，步骤203和步骤205的执行顺序没有先后关系，步骤201-步骤203中任意步骤与步骤204的执行顺序均没有先后关系。
在一个可选的实施例中，在根据可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算可见光图像对应的可见光范数矩阵之前，该方法还包括：
基于预先确定出的用于高斯卷积运算的第一高斯滤波算子和高斯卷积运算对应的第一高斯邻域窗口尺寸，对可见光矩阵进行卷积运算处理，得到可见光图像对应的可见光高斯滤波矩阵：
imgC_G=conv(gas1,imgC)，
其中，imgC_G用于表示可见光高斯滤波矩阵，gas1用于表示第一高斯滤波算子，imgC用于表示可见光矩阵，conv(gas1,imgC)用于表示针对gas1和imgC的卷积运算算法；
以及，基于预先确定出的用于中值滤波运算的第一中值邻域窗口尺寸，对可见光矩阵进行中值滤波处理，得到可见光图像对应的可见光中值滤波矩阵：
imgC_M=medf(imgC,u1)，
其中，imgC_M用于表示可见光中值滤波矩阵，u1用于表示第一中值邻域窗口尺寸，medf(imgC,u1)用于表示针对imgC的中值滤波算法；
以及，在根据红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算红外图像对应的红外范数矩阵之前，该方法还可以包括：
基于预先确定出的用于高斯卷积运算的第二高斯滤波算子和高斯卷积运算对应的第二高斯邻域窗口尺寸，对红外矩阵进行卷积运算处理，得到红外图像对应的红外高斯滤波矩阵：
imgT_G=conv(gas2,imgT)，
其中，imgT_G用于表示红外高斯滤波矩阵，gas2用于表示第二高斯滤波算子，imgT用于表示红外矩阵，conv(gas2,imgT)用于表示针对gas2和imgT的卷积运算算法；
以及，基于预先确定出的用于中值滤波运算的第二中值邻域窗口尺寸，对红外矩阵进行中值滤波处理，得到红外图像对应的红外中值滤波矩阵：
imgT_M=medf(imgT,u2)，
其中，imgT_M用于表示红外中值滤波矩阵，u2用于表示第二中值邻域窗口尺寸，medf(imgT,u2)用于表示针对imgT的中值滤波算法。
在该可选的实施例中，可选的，第一高斯邻域窗口尺寸、第二高斯邻域窗口算子、第一中值邻域窗口尺寸、第二中值邻域窗口尺寸均为奇整数，进一步可选的，第一高斯邻域窗口尺寸与第二高斯邻域窗口尺寸相匹配，第一中值邻域窗口尺寸与第二中值邻域窗口尺寸相匹配，以及，第一高斯滤波算子与第二高斯滤波算子相匹配。需要说明的是，上述的“第一”“第二”仅用于区别可见光矩阵和红外矩阵对应的运算处理所涉及的参数，而不是用于描述特定顺序。
可见，实施该可选的实施例能够基于预设算法对可见光矩阵和红外矩阵进行高斯滤波处理和中值滤波处理，提高了可见光矩阵和红外矩阵的高斯滤波处理和中值滤波处理的准确性和可靠性。
实施例三
请参阅图3，图3是本发明实施例公开的一种可实时的可见光图像与红外图像多通道融合装置的结构示意图。其中，图3所描述的可实时的可见光图像与红外图像多通道融合装置可以应用于可见光图像和红外图像的融合流程中，包括实时采集的同一时刻、同一视野的可见光图像与红外图像的融合流程中，例如红外检测录像和可见光检测录像的实时融合过程，本发明实施例不做限定。如图3所示，该可实时的可见光图像与红外图像多通道融合装置可以包括：
分解模块301，用于对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外低频矩阵和红外图像对应的红外高频矩阵，其中，可见光矩阵中每个元素值均对应可见光图像中其中一个像素点的色彩量化值，红外矩阵中每个元素值均对应红外图像中其中一个像素点的温度量化值；
融合模块302，用于根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，并根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵；
生成模块303，用于基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵，融合矩阵用于生成可见光图像和红外图像的融合图像。
可见，实施图3所描述的装置能够通过融合可见光图像和红外图像，以使生成的融合图像同时具备可见光图像中信息量大、像素强度高、图像细节直观的优点和红外图像中图像质量稳定、图像主体内容和背景区域的区分度较高的优点，并降低图像数据采集的环境条件对图像质量的影响程度，从而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度，进而提升图像的层次感，降低图像中需突出显示的目标的辨认难度，此外，通过分别将可见光图像和红外图像的低频分量进行融合、可见光图像和红外图像的高频分量进行融合，能够使可见光图像和红外图像用于融合的图像频段更加相近，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量。
在一个可选的实施例中，如图3所示，分解模块301对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光低频矩阵和可见光图像对应的可见光高频矩阵的具体方式可以包括：
基于预先确定出的用于均值卷积运算的均值滤波算子和均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到可见光图像对应的可见光低频矩阵：
imgC_B=conv(avg,imgC)，
其中，imgC_B用于表示可见光低频矩阵，avg用于表示均值滤波算子，imgC用于表示可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；
基于可见光矩阵和可见光低频矩阵，确定可见光图像对应的可见光高频矩阵：
imgC_F=imgC-imgC_B，
其中，imgC_F用于表示可见光高频矩阵。
可见，实施图3所描述的装置还能够基于均值滤波算法将可见光矩阵分解成可见光低频矩阵和可见光高频矩阵，提高可见光矩阵分解的准确性和可靠性，从而有利于提升可见光图像和红外图像的融合质量。
在另一个可选的实施例中，如图4所示，该装置还可以包括：
第一确定模块304，用于在融合模块302根据确定出的可见光图像对应的可见光高频权重和红外图像对应的红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵之前，确定可见光图像对应的可见光高频权重和红外图像对应的红外高频权重；
其中，第一确定模块304确定可见光图像对应的可见光高频权重和红外图像对应的红外高频权重的具体方式可以包括：
根据可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算可见光图像对应的可见光范数矩阵，并根据红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算红外图像对应的红外范数矩阵：
imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||p，
imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||p，
其中，(i,j)用于表示可见光图像以及红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示可见光范数矩阵，imgC_G(i,j)用于表示可见光高斯滤波矩阵，imgC_M(i,j)用于表示可见光中值滤波矩阵，imgT_D(i,j)用于表示红外范数矩阵，imgT_G(i,j)用于表示红外高斯滤波矩阵，imgT_M(i,j)用于表示红外中值滤波矩阵；
根据可见光范数矩阵和红外范数矩阵，计算可见光图像对应的可见光高频权重和红外图像对应的红外高频权重：
Figure 820473DEST_PATH_IMAGE001
，
Figure 782612DEST_PATH_IMAGE002
；
其中，imgC_W(i,j)用于表示可见光高频权重，imgT_W(i,j)用于表示红外高频权重，a、b均为预设权重值，且a+b=1。
可见，实施图4所描述的装置能够基于可见光图像对应的高斯滤波矩阵和中值滤波矩阵的相减结果以及红外图像对应的高斯滤波矩阵和中值滤波矩阵的相减结果计算可见光高频权重和红外高频权重，以使可见光图像和红外图像中用于计算可见光高频权重和红外高频权重的图像频段更加相近，从而提高权重计算的精确性以及计算出的权重与融合需求的适配程度，进而使可见光图像与红外图像之间过渡得更加平滑，提升图像融合质量，此外，通过基于上述相减结果的范数矩阵计算可见光高频权重和红外高频权重，能够将多通道图像中每个像素点对应的相关权重简化成标量，从而降低图像融合过程的算力，提高图像融合效率。
在又一个可选的实施例中，如图4所示，该装置还可以包括：
第二确定模块305，用于在融合模块302根据确定出的可见光图像对应的可见光低频权重和红外图像对应的红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵之前，确定红外图像对应的彩色矩阵；并根据彩色矩阵以及红外低频矩阵确定红外图像对应的彩色红外低频矩阵imgT_B*imgTC，以及根据彩色矩阵以及红外高频矩阵确定红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示红外低频矩阵，imgT_F用于表示红外高频矩阵，imgTC用于表示彩色矩阵：
更新模块306，用于将彩色红外低频矩阵更新为红外低频矩阵，将彩色红外高频矩阵更新为红外高频矩阵。
可见，实施图4所描述的装置还能够将单通道的红外图像对应的红外低频矩阵和红外高频矩阵转换成多通道的彩色红外低频矩阵和彩色红外高频矩阵，从而提高用于图像融合的可见光图像和红外图像在图像类型上的匹配程度，进而提高图像融合的成功率以及图像的融合质量。
在又一个可选的实施例中，如图4所示，第二确定模块305确定红外图像对应的彩色矩阵的具体方式可以包括：
计算红外图像在可见光图像的每个色彩通道的通道分量；
根据红外图像在每个色彩通道的通道分量，确定红外图像对应的彩色矩阵；
其中，当可见光图像为基于RGB空间的三通道图像时，第二确定模块计算红外图像在可见光图像的每个色彩通道的通道分量的具体方式可以包括：
根据红外矩阵所表征的温度分布信息，确定红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；
根据红外矩阵、第一标记值l1、第二标记值l2和第三标记值l3，计算红外图像在可见光图像的每个色彩通道的通道分量：
Figure 660307DEST_PATH_IMAGE003
，
Figure 24293DEST_PATH_IMAGE004
，
Figure 197916DEST_PATH_IMAGE005
，
其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示红外图像在每个色彩通道的通道分量，imgT(i,j)用于表示红外矩阵。
可见，实施图4所描述的装置还能够通过计算红外图像在可见光图像的每个色彩通道的通道分量进而确定彩色红外矩阵，提高了用于图像融合的可见光图像和红外图像在通道数量和通道类型上的匹配程度，进而提高图像融合的成功率以及图像的融合质量，此外，根据由红外图像的温度表征信息确定出的多个标记值计算红外图像在可见光图像的每个色彩通道的通道分量，有利于提高彩色矩阵与温度信息的匹配程度，进而有利于通过温度信息提高融合图像中主体内容和背景区域的区分度。
在又一个可选的实施例中，如图4所示，该装置还可以包括：
归一化模块307，用于在分解模块301对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到可见光图像对应的可见光分解矩阵之前，对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到可见光图像对应的归一化可见光矩阵，还用于在分解模块对用于图像融合的红外图像对应的红外矩阵进行分解，得到红外图像对应的红外分解矩阵之前，对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到红外图像对应的归一化红外矩阵；
更新模块306，还用于将归一化可见光矩阵更新为可见光矩阵，并将归一化红外矩阵更新为红外矩阵。
可见，实施图4所描述的装置还能够对可见光矩阵和红外矩阵中每个元素值进行归一化处理，以提高图像融合过程中可见光分量和红外分量的度量单位的匹配程度，减少由于可见光矩阵和红外矩阵的统计分布性不统一而导致的可见光分量和红外分量不均衡进而导致其中一种图像的特征丢失的情况发生，提升图像融合质量。
在又一个可选的实施例中，如图4所示，该装置还可以包括：
判断模块308，用于在归一化模块307对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到可见光图像对应的归一化可见光矩阵之前，根据用于图像融合的可见光图像对应的可见光矩阵，判断可见光图像是否为基于RGB空间的三通道图像；
转换模块309，用于当判断模块308判断出可见光图像并非三通道图像时，基于预设的图像转换方法，将可见光矩阵转换成基于RGB空间对应的三通道可见光矩阵；
更新模块306，还用于将三通道可见光矩阵更新为可见光矩阵。
可见，实施图4所描述的装置还能够在对可见光矩阵进行归一化处理前将非基于RGB空间的三通道图像转换成基于RGB空间的三通道图像，从而有利于提高用于图像融合的可见光图像的图像类型与实际需求的匹配程度，提高图像融合的准确性和可靠性。
实施例四
请参阅图5，图5是本发明实施例公开的又一种可实时的可见光图像与红外图像多通道融合装置的结构示意图。如图5所示，该可实时的可见光图像与红外图像多通道融合装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的可实时的可见光图像与红外图像多通道融合方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的可实时的可见光图像与红外图像多通道融合方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的可实时的可见光图像与红外图像多通道融合方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种可实时的可见光图像与红外图像多通道融合方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述方法包括：
对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；
根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；
基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像；
在所述根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，所述方法还包括：
确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；
其中，所述确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，包括：
根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵；
根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重。
2.根据权利要求1所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，包括：
基于预先确定出的用于均值卷积运算的均值滤波算子和所述均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到所述可见光图像对应的可见光低频矩阵：
imgC_B=conv(avg,imgC)，
其中，imgC_B用于表示所述可见光低频矩阵，avg用于表示所述均值滤波算子，imgC用于表示所述可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；
基于所述可见光矩阵和所述可见光低频矩阵，确定所述可见光图像对应的可见光高频矩阵：
imgC_F=imgC-imgC_B，
其中，imgC_F用于表示所述可见光高频矩阵。
3.根据权利要求1或2所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述可见光范数矩阵和所述红外范数矩阵分别为：
imgC_D(i,j)=||imgC_G(i,j)-imgC_M(i,j)||p，
imgT_D(i,j)=||imgT_G(i,j)-imgT_M(i,j)||p，
其中，(i,j)用于表示所述可见光图像以及所述红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示所述可见光范数矩阵，imgC_G(i,j)用于表示所述可见光高斯滤波矩阵，imgC_M(i,j)用于表示所述可见光中值滤波矩阵，imgT_D(i,j)用于表示所述红外范数矩阵，imgT_G(i,j)用于表示所述红外高斯滤波矩阵，imgT_M(i,j)用于表示所述红外中值滤波矩阵；
所述可见光高频权重和所述红外高频权重分别为：
Figure 232246DEST_PATH_IMAGE001
，
Figure 320288DEST_PATH_IMAGE002
；
其中，imgC_W(i,j)用于表示所述可见光高频权重，imgT_W(i,j)用于表示所述红外高频权重，a、b均为预设权重值，且a+b=1。
4.根据权利要求1或2所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，在所述根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵之前，所述方法还包括：
确定所述红外图像对应的彩色矩阵；
根据所述彩色矩阵以及所述红外低频矩阵确定所述红外图像对应的彩色红外低频矩阵imgT_B*imgTC，并根据所述彩色矩阵以及所述红外高频矩阵确定所述红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示所述红外低频矩阵，imgT_F用于表示所述红外高频矩阵，imgTC用于表示所述彩色矩阵：
将所述彩色红外低频矩阵更新为所述红外低频矩阵，将所述彩色红外高频矩阵更新为所述红外高频矩阵。
5.根据权利要求4所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述确定所述红外图像对应的彩色矩阵，包括：
计算所述红外图像在所述可见光图像的每个色彩通道的通道分量；
根据所述红外图像在每个所述色彩通道的通道分量，确定所述红外图像对应的彩色矩阵；
其中，当所述可见光图像为基于RGB空间的三通道图像时，所述计算所述红外图像在所述可见光图像的每个色彩通道的通道分量，包括：
根据所述红外矩阵所表征的温度分布信息，确定所述红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；
根据所述红外矩阵、所述第一标记值l1、所述第二标记值l2和所述第三标记值l3，计算所述红外图像在所述可见光图像的每个色彩通道的通道分量：
Figure 852900DEST_PATH_IMAGE003
，
Figure 317379DEST_PATH_IMAGE004
，
Figure 127204DEST_PATH_IMAGE005
，
其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示所述红外图像在每个所述色彩通道的通道分量，imgT(i,j)用于表示所述红外矩阵。
6.根据权利要求4所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，在所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光分解矩阵之前，所述方法还包括：
对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵，并将所述归一化可见光矩阵更新为所述可见光矩阵；
以及，在所述对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外分解矩阵之前，所述方法还包括：
对用于图像融合的红外图像对应的红外矩阵中的每个元素值进行归一化处理，得到所述红外图像对应的归一化红外矩阵，并将所述归一化红外矩阵更新为所述红外矩阵。
7.根据权利要求6所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，在所述对用于图像融合的可见光图像对应的可见光矩阵中的每个元素值进行归一化处理，得到所述可见光图像对应的归一化可见光矩阵之前，所述方法还包括：
根据用于图像融合的可见光图像对应的可见光矩阵，判断所述可见光图像是否为基于RGB空间的三通道图像；
当判断结果为否时，基于预设的图像转换方法，将所述可见光矩阵转换成基于所述RGB空间对应的三通道可见光矩阵，并将所述三通道可见光矩阵更新为所述可见光矩阵。
8.一种可实时的可见光图像与红外图像多通道融合装置，其特征在于，所述装置包括：
分解模块，用于对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；
融合模块，用于根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；
生成模块，用于基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像；
第一确定模块，用于在所述融合模块根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；
其中，所述第一确定模块确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重的具体方式包括：
根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵：
根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重。
9.一种可实时的可见光图像与红外图像多通道融合装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的可实时的可见光图像与红外图像多通道融合方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的可实时的可见光图像与红外图像多通道融合方法。
CN202210585859.8A 2022-05-27 2022-05-27 可实时的可见光图像与红外图像多通道融合方法及装置 Active CN114677316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210585859.8A CN114677316B (zh) 2022-05-27 2022-05-27 可实时的可见光图像与红外图像多通道融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585859.8A CN114677316B (zh) 2022-05-27 2022-05-27 可实时的可见光图像与红外图像多通道融合方法及装置

Publications (2)

Publication Number Publication Date
CN114677316A CN114677316A (zh) 2022-06-28
CN114677316B true CN114677316B (zh) 2022-11-25

Family

ID=82079227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585859.8A Active CN114677316B (zh) 2022-05-27 2022-05-27 可实时的可见光图像与红外图像多通道融合方法及装置

Country Status (1)

Country Link
CN (1) CN114677316B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147325B (zh) * 2022-09-05 2022-11-22 深圳清瑞博源智能科技有限公司 图像融合方法、装置、设备及存储介质
CN116503454B (zh) * 2023-06-27 2023-10-20 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077706A1 (zh) * 2019-10-21 2021-04-29 浙江宇视科技有限公司 图像融合方法、装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN107657217B (zh) * 2017-09-12 2021-04-30 电子科技大学 基于运动目标检测的红外与可见光视频的融合方法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
CN111462028B (zh) * 2020-03-16 2023-06-27 中国地质大学（武汉） 基于相位一致性和目标增强的红外和可见光图像融合方法
CN112233053B (zh) * 2020-09-23 2024-05-07 浙江大华技术股份有限公司 图像的融合方法、装置、设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077706A1 (zh) * 2019-10-21 2021-04-29 浙江宇视科技有限公司 图像融合方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114677316A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN114677316B (zh) 可实时的可见光图像与红外图像多通道融合方法及装置
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
US20220237811A1 (en) Method for Testing Skin Texture, Method for Classifying Skin Texture and Device for Testing Skin Texture
Li et al. A multi-scale fusion scheme based on haze-relevant features for single image dehazing
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111179202B (zh) 一种基于生成对抗网络的单幅图像去雾增强方法和***
CN110047059B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110458787B (zh) 一种图像融合方法、装置及计算机存储介质
Hussein et al. Retinex theory for color image enhancement: A systematic review
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
CA3153067A1 (en) Picture-detecting method and apparatus
CN107909542A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN114022397B (zh) 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN113344796A (zh) 一种图像处理方法、装置、设备及存储介质
CN109754372A (zh) 一种图像去雾处理方法及装置
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置
CN116823674B (zh) 一种跨模态融合的水下图像增强方法
CN110298812B (zh) 一种图像融合处理的方法及装置
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
CN111968087A (zh) 一种植物病害区域检测方法
CN112700396A (zh) 一种人脸图片光照评价方法、装置、计算设备和存储介质
CN116109511A (zh) 红外图像边缘增强的方法和***
CN115700759A (zh) 医学图像显示方法、医学图像处理方法和图像显示***
JP2007243987A (ja) 画像処理方法、画像処理システムおよび画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518066 Qianhai Shimao financial center phase II, No. 3040, Xinghai Avenue, Nanshan street, Shenzhen Hong Kong cooperation zone, Nanshan District, Shenzhen, Guangdong Province 2005

Patentee after: Shenzhen Dingjiang Technology Co.,Ltd.

Address before: 518066 Qianhai Shimao financial center phase II, No. 3040, Xinghai Avenue, Nanshan street, Shenzhen Hong Kong cooperation zone, Nanshan District, Shenzhen, Guangdong Province 2005

Patentee before: SHENZHEN DINGJIANG TECHNOLOGY CO.,LTD.

CP01 Change in the name or title of a patent holder