CN110211077A - 一种基于高阶奇异值分解的多曝光图像融合方法 - Google Patents
一种基于高阶奇异值分解的多曝光图像融合方法 Download PDFInfo
- Publication number
- CN110211077A CN110211077A CN201910396691.4A CN201910396691A CN110211077A CN 110211077 A CN110211077 A CN 110211077A CN 201910396691 A CN201910396691 A CN 201910396691A CN 110211077 A CN110211077 A CN 110211077A
- Authority
- CN
- China
- Prior art keywords
- image
- channel image
- luminance
- pixel
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 22
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000002156 mixing Methods 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 111
- 230000008569 process Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 abstract description 6
- 238000005316 response function Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于高阶奇异值分解的多曝光图像融合方法，其将曝光图像的亮度通道图像分成重叠的亮度块，利用高阶奇异值分解获取亮度块的核张量和第三模式因子矩阵，进而获得亮度块的特征系数和活动等级测度，根据亮度块的第一和第二模式因子矩阵及特征系数和活动等级测度获得融合后的亮度块，对得到的亮度通道图像进行线性变换，得到融合后的亮度通道图像；通过计算曝光图像的第一色度通道图像中的像素点的融合系数，得到融合后的第一色度通道图像；通过计算曝光图像的第二色度通道图像中的像素点的融合系数，得到融合后的第二色度通道图像；根据融合后的三个通道的图像得到融合图像；优点是能获得较好的细节纹理和丰富的颜色信息。
Description
技术领域
本发明涉及一种图像融合技术，尤其是涉及一种基于高阶奇异值分解的多曝光图像融合方法。
背景技术
将来自相同场景的两幅或多幅图像的信息组合成一幅更具信息性的图像的过程称为图像融合。多曝光图像融合(Multi-Exposure Image Fusion，MEF)是图像融合的经典应用之一。由于数码相机的动态范围限制，因此自然场景的图像通常比数码相机拍摄的图像具有更大的动态范围。高动态范围(High Dynamic Range，HDR)成像技术根据多幅低动态范围(Low Dynamic Range，LDR)图像估计出相机响应函数(Camera Response Function，CRF)，然后使用相机响应函数的逆操作来重建高动态范围图像。由于当前使用的大多数标准显示器是低动态范围，因此在获取高动态范围图像之后，需要色调映射过程来压缩高动态范围图像的动态范围以用于显示，然而，该过程的计算复杂度很高，并且高动态范围图像的质量取决于相机响应函数的计算精度。因此，多曝光图像融合是复杂的高动态范围成像技术有效且方便的替代方案。
多曝光图像融合将一系列不同曝光的图像相融合，以获得高质量的低动态范围图像，并且不需相机响应函数恢复和色调映射。在A.Goshtasby,“Fusion of multi-exposureimages,”Image and Vision Computing,vol.23,pp.611–618,2005.(多曝光图像融合)一文中使用了块级融合方法，图像被分成统一的块并使用最小平均法以融合出最佳图像块，然而这种方法融合后的图像对比度和饱和度较差。在B.Gu,W.Li,J.Wong,M.Zhu,andM.Wang,“Gradient field multi-exposure images fusion for high dynamic rangeimage visualization,”J.Vis.Commun.Imag.Represent.,vol.23,no.4,pp.604–610,May2012.(用于高动态范围图像可视化的梯度场多曝光图像融合)一文中提出了用迭代方法修改梯度场，采用两次平均滤波和多尺度非线性压缩的方法，通过求解泊松方程然后线性拉伸到公共范围来获得结果，但是该方法容易出现伪影。在S.Raman and S.Chaudhuri,“Bilateral filter based compositing for variable exposure photography,”inProc.Eurographics,2009,pp.1–4.(基于双边滤波器的可变曝光摄影合成)一文中提出了一种有效的使用边缘保留滤波器的场景合成方法，如双边滤波器，由于没有对全局亮度一致性做出限制，使用该方法融合出的图像颜色容易出现失真，图像色调整体偏暗。在K.Ma,H.Li,Z.Wang and D.Meng,“Robust Multi-Exposure Image Fusion:A Structural PatchDecomposition Approach,”IEEE Trans.Image Process.,vol.26,no.5,pp.2519-2532,May 2017.(多曝光图像融合：一种结构块分解方法)一文中提出了使用结构块分解的方法融合多曝光图像，但是该方法不容易获得纹理信息，并且去除伪影的效果也不能令人满意。
发明内容
本发明所要解决的技术问题是提供一种基于高阶奇异值分解的多曝光图像融合方法，其在多曝光图像融合过程中将亮度和色度分别处理，能够获得较好的细节纹理和丰富的颜色信息。
本发明解决上述技术问题所采用的技术方案为：一种基于高阶奇异值分解的多曝光图像融合方法，其特征在于包括以下步骤：
步骤1：选取D幅宽度为M且高度为N的不同的曝光图像；然后将每幅曝光图像从RGB颜色空间转换到YCbCr颜色空间，得到每幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为Yd、Cbd、Crd；其中，D为正整数，D＞1，d为正整数，d的初始值为1，1≤d≤D；
步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：
步骤2_1：使用宽度为且高度为的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为L个亮度块，将Yd中的第i个亮度块记为Bd,i；并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到L个张量，每个张量对应有D个亮度块，将所有曝光图像的亮度通道图像中的第i个亮度块构成的张量记为Ai；其中，r为正整数，min()为取最小值函数，i为正整数，i的初始值为1，1≤i≤L；
步骤2_2：对每个张量进行高阶奇异值分解，对于Ai，对Ai进行高阶奇异值分解后得到Ai＝Si×1Ui×2Vi×3Wi；其中，Si表示Ai的核张量，Ui表示Ai的第一模式因子矩阵，Vi表示Ai的第二模式因子矩阵，Wi表示Ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号；
步骤2_3：获取每个张量对应的每个亮度块的特征系数，将Ai对应的第d个亮度块的特征系数记为其中，Ai对应的第d个亮度块即为Bd,i，表示Ai对应的第d个亮度块即Bd,i的核张量；
步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将Ai对应的第d个亮度块的活动等级测度记为其中，m为正整数，m的初始值为1，n为正整数，n的初始值为1，符号“| |”为取绝对值符号，表示中下标为(m,n)处的值；
步骤2_5：获取每个张量的融合系数矩阵，将Ai的融合系数矩阵记为Ei，其中，k为权重指数，k∈(0,1]；
步骤2_6：计算每个张量对应的融合后的亮度块，将Ai对应的融合后的亮度块记为Fi，Fi＝Ui×Ei×(Vi)T；其中，(Vi)T为Vi的转置；
步骤2_7：根据得到的L个融合后的亮度块，获取由L个融合后的亮度块构成的重叠的亮度通道图像，记为Yout，将Yout中坐标位置为(x,y)的像素点的像素值记为Yout(x,y)；然后将Yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，Yout、的宽度均为M且高度均为N，1≤x≤M，1≤y≤N；
步骤2_8：对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，Ymin表示中的最小像素值，Ymax表示中的最大像素值；
步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：
步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将Cbd中坐标位置为(x,y)的像素点的融合系数记为 其中，1≤x≤M，1≤y≤N，符号“| |”为取绝对值符号，Cbd(x,y)表示Cbd中坐标位置为(x,y)的像素点的像素值；
步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为
步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：
步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将Crd中坐标位置为(x,y)的像素点的融合系数记为 其中，Crd(x,y)表示Crd中坐标位置为(x,y)的像素点的像素值；
步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为
步骤5：将组成的YCbCr颜色空间的图像从YCbCr颜色空间转换到RGB颜色空间，得到多曝光图像的融合图像。
所述的步骤2_1中取r＝2。
所述的步骤2_5中取k＝0.5。
与现有技术相比，本发明的优点在于：
1)本发明方法将RGB图像转换成YCbCr图像，分别对亮度通道和色度通道进行融合处理，避免了亮度信息的改变而影响色度信息，因此融合后的彩色图像保留了较好的纹理细节和颜色信息。
2)本发明方法在亮度通道的融合中使用了高阶奇异值分解(HOSVD，Higher OrderSingular Value Decomposition)技术，其是一种高效的数据分解技术，能够良好地保留数据的结构信息，因此本发明方法将该技术应用到细节变化明显的亮度通道中，用于表示亮度信息，有效地防止了在融合过程中出现伪影，并保留了较好的纹理细节。
附图说明
图1为本发明方法的总体实现框图；
图2a为利用本发明方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2b为利用gsaverage方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2c为利用Gu12方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2d为利用Li12方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2e为利用Li13方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2f为利用lsaverage方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2g为利用Raman09方法对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图2h为利用Vonikakis11对多曝光图像序列“LightHouse”进行融合得到的融合图像；
图3a为利用本发明方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3b为利用gsaverage方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3c为利用Gu12方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3d为利用Li12方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3e为利用Li13方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3f为利用lsaverage方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3g为利用Raman09方法对多曝光图像序列“Madison”进行融合得到的融合图像；
图3h为利用Vonikakis11对多曝光图像序列“Madison”进行融合得到的融合图像；
图4为滑动窗口的大小即亮度块的大小设置为11×11、滑动窗口的步长设置为2时不同取值k对QAB/F的影响；
图5为权重指数取值为0.5、滑动窗口的步长设置为2时不同亮度块的大小对QAB/F的影响；
图6为权重指数取值为0.5、亮度块的大小设置为11×11时滑动窗口的步长大小对QAB/F的影响。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于高阶奇异值分解的多曝光图像融合方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取D幅宽度为M且高度为N的不同的曝光图像；然后将每幅曝光图像从RGB颜色空间转换到YCbCr颜色空间，得到每幅曝光图像的亮度通道(Y)图像、第一色度通道(Cb)图像、第二色度通道(Cr)图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为Yd、Cbd、Crd；其中，D为正整数，D＞1，如取D＝100，d为正整数，d的初始值为1，1≤d≤D。
步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：
步骤2_1：使用宽度为且高度为的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为L个亮度块，将Yd中的第i个亮度块记为Bd,i；在亮度块划分过程中会出现重叠，不同的像素点会有不同次数的叠加，因此并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到L个张量，每个张量对应有D个亮度块，将所有曝光图像的亮度通道图像中的第i个亮度块构成的张量记为Ai；其中， 一般情况下取在本实施例中取r为正整数，min()为取最小值函数，在本实施例中取r＝2，i为正整数，i的初始值为1，1≤i≤L。
步骤2_2：对每个张量进行高阶奇异值分解，对于Ai，对Ai进行高阶奇异值分解后得到Ai＝Si×1Ui×2Vi×3Wi；其中，Si表示Ai的核张量，Ui表示Ai的第一模式因子矩阵，Vi表示Ai的第二模式因子矩阵，Wi表示Ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号。
步骤2_3：获取每个张量对应的每个亮度块的特征系数，将Ai对应的第d个亮度块的特征系数记为其中，Ai对应的第d个亮度块即为Bd,i，表示Ai对应的第d个亮度块即Bd,i的核张量，即Bd,i可以表示为(Vi)T为Vi的转置。
步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将Ai对应的第d个亮度块的活动等级测度记为其中，m为正整数，m的初始值为1，n为正整数，n的初始值为1，符号“| |”为取绝对值符号，表示中下标为(m,n)处的值。
步骤2_5：获取每个张量的融合系数矩阵，将Ai的融合系数矩阵记为Ei，其中，k为权重指数，k∈(0,1]，在本实施例中取k＝0.5。
步骤2_6：计算每个张量对应的融合后的亮度块，将Ai对应的融合后的亮度块记为Fi，Fi＝Ui×Ei×(Vi)T；其中，(Vi)T为Vi的转置。
步骤2_7：根据得到的L个融合后的亮度块，获取由L个融合后的亮度块构成的重叠的亮度通道图像，记为Yout，将Yout中坐标位置为(x,y)的像素点的像素值记为Yout(x,y)；然后将Yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为比如Yout中坐标位置为(x,y)的像素点的重叠次数为3，即属于3个亮度块，像素值分别为50、40、80，那么的值为(50+40+80)除以3；其中，Yout、的宽度均为M且高度均为N，1≤x≤M，1≤y≤N。
步骤2_8：为了保证占据亮度通道的整个范围，以得到更高的对比度图像，对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，Ymin表示中的最小像素值，Ymax表示中的最大像素值。
步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：
步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将Cbd中坐标位置为(x,y)的像素点的融合系数记为 其中，1≤x≤M，1≤y≤N，符号“| |”为取绝对值符号，Cbd(x,y)表示Cbd中坐标位置为(x,y)的像素点的像素值；Cbd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此Cbd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。
步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为
步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：
步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将Crd中坐标位置为(x,y)的像素点的融合系数记为 其中，Crd(x,y)表示Crd中坐标位置为(x,y)的像素点的像素值；Crd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此Crd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。
步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为
步骤5：将组成的YCbCr颜色空间的图像从YCbCr颜色空间转换到RGB颜色空间，得到多曝光图像的融合图像。
为了进一步说明本发明方法的可行性和有效性，进行如下实验。
采用Balloons、BelgiumHouse、Cadik、Candle、Cave、House、Kluki、Lamp、LightHouse、Madison十个具有高对比度和细节的不同场景的多曝光图像序列。表1显示了每个多曝光图像序列的信息，包括名称、空间分辨率和曝光图像数量。
表1多曝光图像序列
| 多曝光图像序列 | 曝光图像尺寸 |
| Balloons | 512×339×9 |
| BelgiumHouse | 512×384×9 |
| Cadik | 512×384×15 |
| Candle | 512×364×3 |
| Cave | 512×384×3 |
| House | 512×340×4 |
| Kluki | 512×341×3 |
| Lamp | 512×342×6 |
| LightHouse | 512×340×3 |
| Madison | 512×384×30 |
在此选择七种经典的多曝光图像融合算法与本发明方法作对比，以验证本发明方法的可行性和有效性。七种经典的多曝光图像融合算法分别是全局平均法简称为gsaverage，在B.Gu,W.Li,J.Wong,M.Zhu,and M.Wang,“Gradient field multi-exposureimages fusion for high dynamic range image visualization,”J.Vis.Commun.Imag.Represent.,vol.23,no.4,pp.604–610,May 2012.(用于高动态范围图像可视化的梯度场多曝光图像融合)一文中提出的方法简称为Gu12，在Z.G.Li,J.H.Zheng,and S.Rahardja,“Detail-enhanced exposure fusion,”IEEE Trans.ImageProcess.,vol.21,no.11,pp.4672–4676,Nov.2012.(细节增强的曝光融合)一文中提出的方法简称为Li12，在S.Li,X.Kang,and J.Hu,“Image fusion with guided filtering,”IEEE Trans.Image Process.,vol.22,no.7,pp.2864–2875,Jul.2013.(带引导滤波的图像融合)一文中提出的方法简称为Li13，局部平均法简称为lsaverage，在S.Raman andS.Chaudhuri,“Bilateral filter based compositing for variable exposurephotography,”in Proc.Eurographics,2009,pp.1–4.(基于双边滤波器的可变曝光摄影合成)一文中提出的方法简称为Raman09，在V.Vonikakis,O.Bouzos,I.Andreadis,“Multi-exposure Image Fusion Based on Illumination Estimation,”SpecializedInformation Publishers Association,pp.135–142,Heraklion,Crete,Greece,2011.(基于光照估计的多曝光图像融合)一文中提出的方法简称为Vonikakis11。
1)主观评价
利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“LightHouse”进行融合，图2a至图2h对应给出了利用上述八种方法得到的融合图像。从图2a中可以看出利用本发明方法得到的融合图像具有良好的对比度和颜色信息；从图2b和图2g中可以看出gsaverage方法和Raman09方法在天空部分对比度较低，并且石头区域更暗并且不能显示更多细节纹理；从图2c中可以看出Gu12方法得到的整幅融合图像的颜色明显失真，融合图像的颜色偏灰，这与实际的颜色完全不同；从图2d中可以看出Li12方法在天空部分显示出了良好的色彩和对比度，但是石头区域的颜色发生了失真；从图2e中可以看出Li13方法可以获得更好的全局对比度，但是该方法在房屋周围出现了光晕伪影；从图2f中可以看出lsaverage方法得到的融合图像的效果最差，整幅融合图像在细节纹理上严重失真；从图2h中可以看出Vonikakis11方法可以在较亮的区域保留不错的纹理细节，但是石头较暗区域的纹理细节会丢失。
利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“Madison”进行融合，图3a至图3h对应给出了利用上述八种方法得到的融合图像。从图3a中可以看出利用本发明方法得到的融合图像具有良好的全局对比度，人像柱子保留了丰富的纹理细节；从图3g和图3h中可以看出Raman09方法和Vonikakis11方法得到的融合图像色调总体偏暗，不能有效地显示出灰暗区域的纹理；从图3b中可以看出gsaverage方法在人像上不能很清晰地显示，并且柱子和窗户色调偏暗；从图3c中可以看出Gu12方法尽管可以较好地显示出轮廓纹理，但是颜色具有严重的失真，融合图像的颜色总体偏灰；从图3d中可以看出Li12方法保留了良好的亮度信息，但有些区域太亮而无法显示细致的纹理；从图3f中可以看出lsaverage方法仍然具有严重的纹理失真；从图3e中可以看出Li13方法可以保持良好的亮度，但全局对比度不够高。
2)客观评价
利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“Balloons”、“BelgiumHouse”、“Cadik”、“Candle”、“Cave”、“House”、“Kluki”、“Lamp”、“LightHouse”、“Madison”进行融合。
在此使用在C.S.Xydeas and V.Petrovic,“Objective image fusionperformance measure,”Electron.Lett.,vol.36,no.4,pp.308–309,Feb.2000.(客观图像融合性能测度)一文中提出的QAB/F作为客观质量评价指标。QAB/F是一个被广泛用于评价融合图像质量的客观评价指标，主要用于分析融合图像的边缘信息，并且QAB/F值越大代表融合图像的质量越好。表2列出了使用QAB/F评价使用不同融合方法得到的融合图像的值，其中每组中最大的两个值以粗体显示。从表2可以看出，本发明方法和Li13方法的性能相近，并明显优于其他方法。
表2使用QAB/F评价使用不同融合方法得到的融合图像的值
对权重指数k、亮度块的大小即滑动窗口的大小、滑动窗口的步长的影响进行分析。
1)权重指数k的影响
在本发明方法中，在亮度通道融合图像的获取过程中将k设置为0.5。图4显示了亮度块的大小设置为11×11、滑动窗口的步长设置为2时不同取值k对QAB/F的影响，图4中的横坐标表示k的取值，纵坐标表示十组融合图像的QAB/F的平均值。从图4中可以看出，随着k的值不断变大，QAB/F的值先变大后变小，当k取0.5时，QAB/F的值最大。
2)亮度块的大小即滑动窗口的大小的影响
在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的大小设置为11×11。图5显示了权重指数取值为0.5、滑动窗口的步长设置为2时不同亮度块的大小对QAB/F的影响，图5中的横坐标表示亮度块的大小，纵坐标表示十组融合图像的QAB/F的平均值。从图5中可以看出QAB/F的值随着亮度块的大小增大而增大，亮度块的大小从3到8个像素点的范围内，QAB/F的值变化趋势较大，变化曲线相对陡峭；亮度块的大小从8到12个像素点的范围内，QAB/F的值变化趋势不是很大，变化曲线相对平坦。
3)滑动窗口的步长的影响
在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的步长设置为2。图6显示了权重指数取值为0.5、亮度块的大小即滑动窗口的大小设置为11×11时滑动窗口的步长大小对QAB/F的影响，图6的横坐标表示滑动窗口的步长的大小，纵坐标表示十组融合图像的QAB/F的平均值。从图6中可以看出，在滑动窗口的步长为1和2时，QAB/F的值大小基本相同，随着滑动窗口的步长的增大，QAB/F的值总体呈不断减小的趋势。
Claims (3)
1.一种基于高阶奇异值分解的多曝光图像融合方法，其特征在于包括以下步骤：
步骤1：选取D幅宽度为M且高度为N的不同的曝光图像；然后将每幅曝光图像从RGB颜色空间转换到YCbCr颜色空间，得到每幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为Yd、Cbd、Crd；其中，D为正整数，D＞1，d为正整数，d的初始值为1，1≤d≤D；
步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：
步骤2_1：使用宽度为且高度为的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为L个亮度块，将Yd中的第i个亮度块记为Bd,i；并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到L个张量，每个张量对应有D个亮度块，将所有曝光图像的亮度通道图像中的第i个亮度块构成的张量记为Ai；其中，r为正整数，min()为取最小值函数，i为正整数，i的初始值为1，1≤i≤L；
步骤2_2：对每个张量进行高阶奇异值分解，对于Ai，对Ai进行高阶奇异值分解后得到Ai＝Si×1Ui×2Vi×3Wi；其中，Si表示Ai的核张量，Ui表示Ai的第一模式因子矩阵，Vi表示Ai的第二模式因子矩阵，Wi表示Ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号；
步骤2_3：获取每个张量对应的每个亮度块的特征系数，将Ai对应的第d个亮度块的特征系数记为 其中，Ai对应的第d个亮度块即为Bd,i，表示Ai对应的第d个亮度块即Bd,i的核张量；
步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将Ai对应的第d个亮度块的活动等级测度记为 其中，m为正整数，m的初始值为1，n为正整数，n的初始值为1，符号“| |”为取绝对值符号，表示中下标为(m,n)处的值；
步骤2_5：获取每个张量的融合系数矩阵，将Ai的融合系数矩阵记为Ei，其中，k为权重指数，k∈(0,1]；
步骤2_6：计算每个张量对应的融合后的亮度块，将Ai对应的融合后的亮度块记为Fi，Fi＝Ui×Ei×(Vi)T；其中，(Vi)T为Vi的转置；
步骤2_7：根据得到的L个融合后的亮度块，获取由L个融合后的亮度块构成的重叠的亮度通道图像，记为Yout，将Yout中坐标位置为(x,y)的像素点的像素值记为Yout(x,y)；然后将Yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，Yout、的宽度均为M且高度均为N，1≤x≤M，1≤y≤N；
步骤2_8：对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，Ymin表示中的最小像素值，Ymax表示中的最大像素值；
步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：
步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将Cbd中坐标位置为(x,y)的像素点的融合系数记为 其中，1≤x≤M，1≤y≤N，符号“| |”为取绝对值符号，Cbd(x,y)表示Cbd中坐标位置为(x,y)的像素点的像素值；
步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为
步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：
步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将Crd中坐标位置为(x,y)的像素点的融合系数记为 其中，Crd(x,y)表示Crd中坐标位置为(x,y)的像素点的像素值；
步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为
步骤5：将组成的YCbCr颜色空间的图像从YCbCr颜色空间转换到RGB颜色空间，得到多曝光图像的融合图像。
2.根据权利要求1所述的一种基于高阶奇异值分解的多曝光图像融合方法，其特征在于所述的步骤2_1中取r＝2。
3.根据权利要求1或2所述的一种基于高阶奇异值分解的多曝光图像融合方法，其特征在于所述的步骤2_5中取k＝0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910396691.4A CN110211077B (zh) | 2019-05-13 | 2019-05-13 | 一种基于高阶奇异值分解的多曝光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910396691.4A CN110211077B (zh) | 2019-05-13 | 2019-05-13 | 一种基于高阶奇异值分解的多曝光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211077A true CN110211077A (zh) | 2019-09-06 |
| CN110211077B CN110211077B (zh) | 2021-03-09 |
Family
ID=67787093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910396691.4A Active CN110211077B (zh) | 2019-05-13 | 2019-05-13 | 一种基于高阶奇异值分解的多曝光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211077B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105383A (zh) * | 2019-11-12 | 2020-05-05 | 杭州电子科技大学 | 一种面向三色视觉的图像融合颜色增强方法 |
| CN112562020A (zh) * | 2020-12-23 | 2021-03-26 | 绍兴图信物联科技有限公司 | 基于最小二乘法的tiff图像和半色调图像格式转换方法 |
| CN112837254A (zh) * | 2021-02-25 | 2021-05-25 | 普联技术有限公司 | 一种图像融合方法、装置、终端设备及存储介质 |
| CN116452437A (zh) * | 2023-03-20 | 2023-07-18 | 荣耀终端有限公司 | 高动态范围图像处理方法及电子设备 |
| CN117391985A (zh) * | 2023-12-11 | 2024-01-12 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
| CN106373105A (zh) * | 2016-09-12 | 2017-02-01 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于低秩矩阵恢复的多曝光图像去伪影融合方法 |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| US20170213330A1 (en) * | 2016-01-25 | 2017-07-27 | Qualcomm Incorporated | Unified multi-image fusion approach |
| CN107370910A (zh) * | 2017-08-04 | 2017-11-21 | 西安邮电大学 | 基于最优曝光的最小包围曝光集合获取方法 |
| CN109074637A (zh) * | 2015-11-27 | 2018-12-21 | 斯佩特罗埃奇有限公司 | 用于从多个相应的输入图像通道生成输出图像的方法和*** |
| CN109636767A (zh) * | 2018-11-30 | 2019-04-16 | 深圳市华星光电半导体显示技术有限公司 | 多曝光图像融合方法 |
-
2019
- 2019-05-13 CN CN201910396691.4A patent/CN110211077B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
| CN109074637A (zh) * | 2015-11-27 | 2018-12-21 | 斯佩特罗埃奇有限公司 | 用于从多个相应的输入图像通道生成输出图像的方法和*** |
| US20170213330A1 (en) * | 2016-01-25 | 2017-07-27 | Qualcomm Incorporated | Unified multi-image fusion approach |
| CN106373105A (zh) * | 2016-09-12 | 2017-02-01 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于低秩矩阵恢复的多曝光图像去伪影融合方法 |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN107370910A (zh) * | 2017-08-04 | 2017-11-21 | 西安邮电大学 | 基于最优曝光的最小包围曝光集合获取方法 |
| CN109636767A (zh) * | 2018-11-30 | 2019-04-16 | 深圳市华星光电半导体显示技术有限公司 | 多曝光图像融合方法 |
Non-Patent Citations (5)
| Title |
|---|
| HUANG, Y.B.等: "《The Speech multi features fusion perceptual hash algorithm based on tensor decomposition》", 《OP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING》 * |
| K.MA等: "Robust Multi-Exposure Image Fusion:A Structural Patch Decomposition Approach", 《IEEE TRANS.IMAGE PROCESS》 * |
| YANG, T.T等: "Multi exposure image fusion algorithm based on YCbCr space", 《IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING》 * |
| 戚余斌等: "基于张量分解和卷积稀疏表示的多曝光图像融合", 《光电工程》 * |
| 朱雄泳等: "基于一致性敏感哈希块匹配的HDR图像去伪影融合方法", 《网络出版地址：HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.2109.TP.20181113.1304.016.HTML》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105383A (zh) * | 2019-11-12 | 2020-05-05 | 杭州电子科技大学 | 一种面向三色视觉的图像融合颜色增强方法 |
| CN111105383B (zh) * | 2019-11-12 | 2023-04-21 | 杭州电子科技大学 | 一种面向三色视觉的图像融合颜色增强方法 |
| CN112562020A (zh) * | 2020-12-23 | 2021-03-26 | 绍兴图信物联科技有限公司 | 基于最小二乘法的tiff图像和半色调图像格式转换方法 |
| CN112562020B (zh) * | 2020-12-23 | 2024-06-07 | 绍兴图信物联科技有限公司 | 基于最小二乘法的tiff图像和半色调图像格式转换方法 |
| CN112837254A (zh) * | 2021-02-25 | 2021-05-25 | 普联技术有限公司 | 一种图像融合方法、装置、终端设备及存储介质 |
| CN112837254B (zh) * | 2021-02-25 | 2024-06-11 | 普联技术有限公司 | 一种图像融合方法、装置、终端设备及存储介质 |
| CN116452437A (zh) * | 2023-03-20 | 2023-07-18 | 荣耀终端有限公司 | 高动态范围图像处理方法及电子设备 |
| CN116452437B (zh) * | 2023-03-20 | 2023-11-14 | 荣耀终端有限公司 | 高动态范围图像处理方法及电子设备 |
| CN117391985A (zh) * | 2023-12-11 | 2024-01-12 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及*** |
| CN117391985B (zh) * | 2023-12-11 | 2024-02-20 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211077B (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211077A (zh) | 一种基于高阶奇异值分解的多曝光图像融合方法 | |
| CN104899845B (zh) | 一种基于lαβ空间场景迁移的多曝光图像融合方法 | |
| RU2400815C2 (ru) | Способ повышения качества цифрового фотоизображения | |
| KR20120107429A (ko) | 구역 기반의 톤 매핑 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| CN106097279B (zh) | 一种高动态图像增强方法 | |
| CN105046653B (zh) | 一种视频雨滴去除方法及*** | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| Vonikakis et al. | Multi-exposure image fusion based on illumination estimation | |
| CN112734650A (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| Kwok et al. | Gray world based color correction and intensity preservation for image enhancement | |
| CN110009574B (zh) | 一种低动态范围图像逆向生成高动态范围图像的方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN103268596A (zh) | 一种降低图像噪声和使颜色接近标准的方法 | |
| CN111612725A (zh) | 一种基于可见光图像对比度增强的图像融合方法 | |
| CN106454144B (zh) | 一种对谷歌眼镜图像过度曝光的校正方法 | |
| Jiang et al. | Color image enhancement with brightness preservation using a histogram specification approach | |
| Liu et al. | Progressive complex illumination image appearance transfer based on CNN | |
| CN113706393A (zh) | 视频增强方法、装置、设备及存储介质 | |
| Jang et al. | Inverse tone mapping operator using sequential deep neural networks based on the human visual system | |
| Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
| CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Li Inventor after: Wu Shengcong Inventor after: Luo Ting Inventor after: Xu Haiyong Inventor after: He Zhouyan Inventor after: Zhang Junjun Inventor before: Li Li Inventor before: Luo Ting Inventor before: Xu Haiyong Inventor before: Wu Shengcong Inventor before: He Zhouyan Inventor before: Zhang Junjun |
|
| CB03 | Change of inventor or designer information |