CN116029954A - 一种图像融合方法及装置 - Google Patents
一种图像融合方法及装置 Download PDFInfo
- Publication number
- CN116029954A CN116029954A CN202310064964.1A CN202310064964A CN116029954A CN 116029954 A CN116029954 A CN 116029954A CN 202310064964 A CN202310064964 A CN 202310064964A CN 116029954 A CN116029954 A CN 116029954A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- weight
- gray
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种图像融合方法及装置，涉及图像处理技术领域，包括：获取待融合的原始图像，原始图像为多传感器图像序列或多曝光图像序列；对原始图像进行灰度化处理，得到灰度图像；通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；对灰度图像进行过曝处理；使用卷积滤波器计算过曝处理后的图像的主体融合权重；结合图像细节权重和主体融合权重获得图像融合权重；通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。本发明所提算法针对像素级图像融合算法计算权值复杂的缺点，不需要计算迭代滤波，能够有效降低复杂度，提高硬件的运算处理性能，从而有效的降低时延，达到图像融合的实时处理。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像融合方法及装置。
背景技术
随着现代成像技术的发展，多种成像方式的协作得到越来越多的应用，多源(多曝光)图像数据的协同处理能够对多种图像进行信息和特征的综合从而获得具有丰富信息的单幅融合图像，能够更加准确全面的描述成像场景。图像融合的方法在军事应用、遥感成像、公共安全、交通监管和医学影响等诸多领域有着广泛的应用需求。
现代成像技术是人类最为重要的信息获取手段之一，通过成像技术获取图像信息几乎覆盖了人类社会活动的各个方面。现代成像方式丰富多样，成像波段覆盖可见光、毫米波、红外、X射线等各个波段，成像的方式和原理虽然各不相同，但是通过不同成像手段得到的图像是从不同的角度对成像对象进行描述，最终目的是揭示事物在不同方面的性质，从而对事物可以进行更为全面的理解和解释。例如遥感图像中，低分辨率多光谱(MS)图像和高分辨率全色(PAN)图像用于获得包含具有增强空间分辨率的多光谱图像光谱内容的融合图像；医学图像中，融合多个模态的数据可以使分析更为可靠准确；监控应用中，可以融合多个频段的图像，例如融合红外图像和可见光图像。智能相机应用中，可以融合多种曝光时间的图像，从而达到画质增强。
图像融合技术包括空间域、变换域和深度学习的融合方法，其中空间域的方法比变换域和基于深度学习的方法简单直接，便于实现。
变换域方法通常有三个阶段组成：图像变换、系数融合和逆变换。与基于空间域方法相比，最显著的特征包括融合图像重建的逆变换阶段。根据所使用的变换，基于变换域的方法可以进一步分为基于多尺度分解的方法、基于梯度域的方法、基于稀疏表示的方法以及其他基于变换的方法。变换域的方法需要进行图像的变换和逆变换，在嵌入式设备算力有限的情况下很难部署实施。
近年来，基于深度学习的方法已经成为图像融合领域一个非常活跃的方向。具有深度结构的神经网络已被广泛证明具有较强的特征表示能力，在各种图像和视觉任务中非常有用，包括图像融合。目前，卷积神经网络(convolutional neural networks,CNNs)和生成式对抗网络(generative adversarial networks,GANs)等深度学习模型已成功应用于图像融合领域。根据所采用的模型，基于深度学习的方法可以进一步分为基于监督的方法和基于非监督的方法。但基于深度学习的方法需要更为复杂的计算，且需要神经网络加速单元才能实时处理，对软硬件要求都很高，实施成本较大，不利于嵌入式设备实现。
空间域方法利用一定的空间特征，根据特定的规则直接在空间域中融合输入源图像。处理时为每个输入图像生成一个权重映射图，并将融合后的图像作为所有输入图像的加权平均。空间域的方法由于简单直接，便于落地实施，工程师较为青睐，但基于空间域的方法需要利用例如迭代滤波的方法来计算融合权重，才能得到较好的结果，迭代滤波不利于实时图像处理。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种图像融合方法。
为了实现上述目的，本发明提供如下技术方案：
一种图像融合方法，包括：
获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
对原始图像进行灰度化处理，得到灰度图像；
通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
对灰度图像进行过曝处理；
使用卷积滤波器计算过曝处理后的图像的主体融合权重；
结合图像细节权重和主体融合权重获得图像融合权重；
通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
优选地，通过图像传感器或摄像头采集原始图像，通过FPGA或ARM实现对原始图像的读取来获得输入图像。
优选地，所述对原始图像O(x,y)进行灰度化处理，得到的灰度图像I(x,y)为：
I(x,y)＝0.299×R+0.587×G+0.114×B
其中，R、G、B为图像的三色通道值；x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
优选地，所述通过高通滤波器卷积灰度图像得到图像细节We(x,y)，并计算图像细节权重
具体为：
We(x,y)＝I(x,y)*h(x,y)
式中，h(x,y)为高通滤波器：
其中，n代表图像序列的编号。
优选地，所述对灰度图像进行过曝处理，具体为：
式中，Idn(x,y)为第n幅过曝处理后的图像，In(x,y)为第n幅图像的灰度图像，α为控制因子，T为大于等于0、小于128的常数。
优选地，所述使用卷积滤波器计算过曝处理后的图像的主体融合权重Wmn(x,y)，具体为：
Wmn(x,y)＝Idn(x,y)*H(x,y)
式中，Idn(x,y)为第n幅过曝处理后的图像，H(x,y)为卷积滤波器；
式中，σ为方差，e为自然指数，x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
优选地，还包括对所述主体融合权重Wmn(x,y)进行归一化，归一化后的主体融合权重为：
优选地，所述结合图像细节权重和主体融合权重获得图像融合权重
具体为：
然后对图像融合权重进行归一化处理得到：
优选地，所述通过图像融合权重对原始图像进行加权融合，获得最终的融合图为：
本发明的另一目的在于提供一种图像融合装置，包括：
图像采集模块，用于获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
图像预处理模块，用于对原始图像进行灰度化处理，得到灰度图像；
图像细节处理模块，用于通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
曝光处理模块，用于对灰度图像进行过曝处理；
主体融合权重计算模块，用于使用卷积滤波器计算过曝处理后的图像的主体融合权重；
图像融合权重计算模块，用于结合图像细节权重和主体融合权重获得图像融合权重；
图像融合模块，用于通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
本发明提供的图像融合方法及装置具有以下有益效果：
本发明提出的方法是针对多传感器图像序列或多曝光图像序列，通过高通滤波器获得图像细节权重，通过卷积滤波获得图像的主体融合权重，然后结合图像细节权重和主体融合权重获得图像融合权重，不需要计算迭代滤波，从而避免了迭代滤波器的计算次数，降低了图像融合的复杂度，提高硬件的运算处理性能，从而有效的降低时延，达到图像融合的实时处理，实现了实时的融合算法。同时，本发明提出的图像融合算法与基于像素级融合算法相比，无需迭代计算精细权重，明显降低了复杂度，能更好的进行实时处理。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1的图像融合方法的流程框图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种图像融合方法，具体如图1所示，包括以下步骤：
步骤一：获取待融合的原始图像O(x,y)，原始图像为彩色图像，而且为多传感器/多曝光图像序列。
具体地，本实施例通过图像传感器或摄像头采集原始图像，通过FPGA或ARM实现对摄像头的读取来获得输入图像，经过前端的图像处理，然后把多传感器图像或或多曝光图像进行位置配准后，作为输入。
多传感器是指由白光、红外或者其他多光谱传感器获取的图像，也可以是单白光传感器获取的不同曝光时常的图像。图像序列就是指上面获得的多张传感器图像或者多张曝光图像。
步骤二：对原始图像O(x,y)进行灰度化处理，得到灰度图像I(x,y)。也就是进行彩色图像灰度化，如果输入为红外图像需要转换为8bit表示的灰度图。
其中I(x,y)为原始图像的灰度图像，可以通过下式计算：
I(x,y)＝0.299×R+0.587×G+0.114×B (1)
其中，R、G、B为图像的三色通道值。
步骤三：图像细节权重的计算；x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
图像细节We(x,y)可以通过高通滤波器卷积原始灰度图像得到。
We(x,y)＝I(x,y)*h(x,y) (2)
h式中，h(x,y)为高通滤波器：
一旦图像细节得到之后，对细节部分还需做如下处理，即计算图像细节权重
其中，n代表图像序列的编号。
步骤四：对灰度图像进行过曝处理。
像素的亮度值决定该像素是否过曝光，为了计算主体融合权重，需要对灰度图像去除过曝造成的权重过大的影响。
其中，Idn(x,y)为第n幅过曝处理后的图像，In(x,y)为第n幅图像的灰度图像，α为控制因子，本发明中选取为0.8；T的选取可以影响算法的融合效果，T为大于等于0，小于128的常数。
步骤五：使用卷积滤波器计算过曝处理后的图像的主体融合权重。
图像的主体融合权值需要通过卷积滤波器来得到。经过滤波器后，可以得到多传感器/多曝光图像序列的主体权重Wmn(x,y)如式(6)：
Wmn(x,y)＝Idn(x,y)*H(x,y) (6)
其中Idn(x,y)为第n幅过曝处理后的图像，H(x,y)为卷积滤波器。
式中，σ为方差，e为自然指数，x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
并对主体权重Wmn(x,y)进行归一化得到：
步骤六：图像融合权重的计算。
具体为结合图像细节权重和主体融合权重获得图像融合权重
然后归一化处理，最后进行HDR图像的加权融合。
步骤七：对原始的图像序列加权融合，获得最终的融合图像。
基于同一个发明构思，本发明还提供了一种图像融合装置，包括图像采集模块、图像预处理模块、图像细节处理模块、曝光处理模块、主体融合权重计算模块、图像融合权重计算模块和图像融合模块。
具体地，图像采集模块用于获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；图像预处理模块用于对原始图像进行灰度化处理，得到灰度图像；图像细节处理模块用于通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；曝光处理模块用于对灰度图像进行过曝处理；主体融合权重计算模块用于使用卷积滤波器计算过曝处理后的图像的主体融合权重；图像融合权重计算模块用于结合图像细节权重和主体融合权重获得图像融合权重；图像融合模块用于通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
本发明所提算法针对像素级图像融合算法计算权值复杂的缺点，针对多传感器图像序列或多曝光图像序列，通过高通滤波器获得图像细节权重，通过卷积滤波获得图像的主体融合权重，然后结合图像细节权重和主体融合权重获得图像融合权重，不需要计算迭代滤波，从而避免了迭代滤波器的计算次数，降低了图像融合的复杂度，提高硬件的运算处理性能，从而有效的降低时延，达到图像融合的实时处理，实现了实时的融合算法。同时，本发明提出的图像融合算法与基于像素级融合算法相比，无需迭代计算精细权重，明显降低了复杂度，FPGA硬件实现能更好的进行实时处理。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (10)
1.一种图像融合方法，其特征在于，包括：
获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
对原始图像进行灰度化处理，得到灰度图像；
通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
对灰度图像进行过曝处理；
使用卷积滤波器计算过曝处理后的图像的主体融合权重；
结合图像细节权重和主体融合权重获得图像融合权重；
通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，通过图像传感器或摄像头采集原始图像。
3.根据权利要求1所述的图像融合方法，其特征在于，所述对原始图像O(x,y)进行灰度化处理，得到的灰度图像I(x,y)为：
I(x,y)＝0.299×R+0.587×G+0.114×B
其中，R、G、B为图像的三色通道值；x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
4.根据权利要求3所述的图像融合方法，其特征在于，所述通过高通滤波器卷积灰度图像得到图像细节We(x,y)，并计算图像细节权重
具体为：
We(x,y)＝I(z,y)*h(x,y)
式中，h(x,y)为高通滤波器：
其中，n代表图像序列的编号。
5.根据权利要求4所述的图像融合方法，其特征在于，所述对灰度图像进行过曝处理，具体为：
式中，Idn(x,y)为第n幅过曝处理后的图像，In(x,y)为第n幅图像的灰度图像，α为控制因子，T为大于等于0、小于128的常数。
6.根据权利要求5所述的图像融合方法，其特征在于，所述使用卷积滤波器计算过曝处理后的图像的主体融合权重Wmn(x,y)，具体为：
Wmn(x,y)＝Idn(x,y)*H(x,y)
式中，Idn(x,y)为第n幅过曝处理后的图像，H(x,y)为卷积滤波器；
式中，σ为方差，e为自然指数，x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
7.根据权利要求6所述的图像融合方法，其特征在于，还包括对所述主体融合权重Wmn(x,y)进行归一化，归一化后的主体融合权重为：
8.根据权利要求7所述的图像融合方法，其特征在于，所述结合图像细节权重和主体融合权重获得图像融合权重
具体为：
然后对图像融合权重进行归一化处理得到：
9.根据权利要求8所述的图像融合方法，其特征在于，所述通过图像融合权重对原始图像进行加权融合，获得最终的融合图为：
10.一种图像融合装置，其特征在于，包括：
图像采集模块，用于获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
图像预处理模块，用于对原始图像进行灰度化处理，得到灰度图像；
图像细节处理模块，用于通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
曝光处理模块，用于对灰度图像进行过曝处理；
主体融合权重计算模块，用于使用卷积滤波器计算过曝处理后的图像的主体融合权重；
图像融合权重计算模块，用于结合图像细节权重和主体融合权重获得图像融合权重；
图像融合模块，用于通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310064964.1A CN116029954A (zh) | 2023-02-06 | 2023-02-06 | 一种图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310064964.1A CN116029954A (zh) | 2023-02-06 | 2023-02-06 | 一种图像融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116029954A true CN116029954A (zh) | 2023-04-28 |
Family
ID=86070580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310064964.1A Withdrawn CN116029954A (zh) | 2023-02-06 | 2023-02-06 | 一种图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029954A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528058A (zh) * | 2023-05-26 | 2023-08-01 | 中国人民解放军战略支援部队航天工程大学 | 一种基于压缩重构的高动态成像方法和*** |
-
2023
- 2023-02-06 CN CN202310064964.1A patent/CN116029954A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528058A (zh) * | 2023-05-26 | 2023-08-01 | 中国人民解放军战略支援部队航天工程大学 | 一种基于压缩重构的高动态成像方法和*** |
| CN116528058B (zh) * | 2023-05-26 | 2023-10-31 | 中国人民解放军战略支援部队航天工程大学 | 一种基于压缩重构的高动态成像方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046880B (zh) | 一种红外目标图像分割方法、***、电子设备及存储介质 | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN114119378A (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
| CN105809640B (zh) | 基于多传感器融合的低照度视频图像增强方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN107909005A (zh) | 基于深度学习的监控场景下人物姿态识别方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| Zhao et al. | An attention encoder-decoder network based on generative adversarial network for remote sensing image dehazing | |
| CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| CN111652817B (zh) | 一种基于人眼视觉感知机理的水下图像清晰化方法 | |
| CN112651469A (zh) | 一种红外与可见光图像融合方法及*** | |
| CN111861949B (zh) | 一种基于生成对抗网络的多曝光图像融合方法及*** | |
| CN116029954A (zh) | 一种图像融合方法及装置 | |
| CN114187214A (zh) | 一种红外与可见光图像融合***及方法 | |
| CN112446835A (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及*** | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| Zheng et al. | Near-infrared Image Enhancement Method in IRFPA Based on Steerable Pyramid. | |
| CN114638764B (zh) | 基于人工智能的多曝光图像融合方法及*** | |
| CN116433822A (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| CN111881924B (zh) | 结合光照不变性与短曝光光照增强的暗光车照识别方法 | |
| CN113963427B (zh) | 一种快速活体检测的方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230428 |
|
| WW01 | Invention patent application withdrawn after publication |