CN111986129B - 基于多摄图像融合的hdr图像生成方法、设备及存储介质 - Google Patents

基于多摄图像融合的hdr图像生成方法、设备及存储介质 Download PDF

Info

Publication number
CN111986129B
CN111986129B CN202010617015.8A CN202010617015A CN111986129B CN 111986129 B CN111986129 B CN 111986129B CN 202010617015 A CN202010617015 A CN 202010617015A CN 111986129 B CN111986129 B CN 111986129B
Authority
CN
China
Prior art keywords
image
exposure
fusion
hdr
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010617015.8A
Other languages
English (en)
Other versions
CN111986129A (zh
Inventor
符顺
牛永岭
许楚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Link Technologies Co Ltd
Original Assignee
TP Link Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Link Technologies Co Ltd filed Critical TP Link Technologies Co Ltd
Priority to CN202010617015.8A priority Critical patent/CN111986129B/zh
Publication of CN111986129A publication Critical patent/CN111986129A/zh
Application granted granted Critical
Publication of CN111986129B publication Critical patent/CN111986129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多摄图像融合的HDR图像生成方法、终端设备及计算机存储介质，该方法从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像，而且多个摄像头的当前曝光参数由上一帧结果产生；然后以正常曝光图像为基准，对齐至少一张非正常曝光图像；最后将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像。本发明技术方案能够实现多摄像头生成HDR图像，避免单一摄像头连续曝光可能造成的鬼影和偏色问题。

Description

基于多摄图像融合的HDR图像生成方法、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多摄图像融合的HDR图像生成方法、设备及存储介质。
背景技术
现实世界中的场景在亮度上常具有非常高的动态范围。而普通数字成像设备(例如相机)中的传感器感知的动态范围要小的多，导致在拍摄大动态范围时很难在一次曝光图像中展现所有的细节，会在太亮或者太暗的地方形成过曝光或者欠曝光。为了使成像结果变现出丰富的色彩细节和明暗层次，能更好的匹配人眼对现实世界场景的认知特性，高动态范围(High Dynamic Range，简称HDR)成像成为了数字成像设备中越来越流行的一种成像技术。通过HDR成像获得的图像也被称为HDR图像，与之相反的是低动态范围(LowDynamic Range，简称LDR)图像。HDR图像可以提供在场景中较暗到完全被照亮的区域之间的高动态范围。由HDR图像组成的视频可以称为HDR视频。
由于目前缺少成熟的HDR成像传感器，能够一次拍摄出HDR图像，当前的HDR视频生成方法多基于同一原理：通过单一摄像头对同一场景以不同的曝光量多次曝光，实现对整个场景的亮度范围覆盖，然后将这些不同曝光值的图像合成为一张HDR图像，再由多个HDR图像组成HDR视频。
现有的技术如专利CN105163047A提出了一种基于色彩空间转换的HDR图像生成方法、***及拍摄终端，通过获取连续拍摄的曝光度不同的至少三张图像，通过色彩空间转换为图像亮度与色彩分量分离，然后将亮度分量进行相机反映射函数映射、加权求和融合与色调映射，色彩分量进行融合，在通过逆转换获得HDR图像。但是该方法在拍摄存在运动物体的场景时，该物体会在不同照片上的不同位置出现，直接进行亮度的融合会形成鬼影效应，具体表现为合成图像中会出现重影、模糊或虚影现象。其次色彩分量(YUV色彩空间的通道U、V，或者LAB色彩空间的通道A、B)在进行融合处理时是单独处理的，会导致融合后的色彩分量不符合原来相互之间的差异关系，使得画面出现偏色。
发明内容
本发明提供一种基于多摄图像融合的HDR图像生成方法、设备及存储介质，实现多摄像头生成HDR图像，避免单一摄像头连续曝光可能造成的鬼影和偏色问题。
为了解决上述技术问题，本发明提供了一种基于多摄图像融合的HDR图像生成方法，包括：
从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像；其中，所述不同曝光度图像包括：一张正常曝光图像和至少一张非正常曝光图像；拍摄所述非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得；所述第一摄像头为拍摄所述正常曝光图像的摄像头；
以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像；
将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像。
作为上述方案的改进，拍摄所述非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得，具体为：
所述第一摄像头在上一帧拍摄的正常曝光图像为第一图像；
对所述第一图像进行下采样，并根据下采样后第一图像的亮度通道在各位置点的像素值，生成非正常曝光二值化图像；
根据所述非正常曝光二值化图像，分别计算除所述第一摄像头外的其他摄像头在下一帧对应的第一曝光参数，并将所述第一曝光参数作为所述拍摄所述非正常曝光图像的摄像头对应的曝光参数。
作为上述方案的改进，所述根据所述非正常曝光二值化图像，分别计算除所述第一摄像头外的其他摄像头在下一帧对应的第一曝光参数，具体为：
根据所述非正常曝光二值化图像中非正常曝光像素个数占全图像素个数的比例，结合预设的比例区间调节所述其他摄像头在下一帧对应的第一曝光参数，使得所有曝光参数形成以所述第一摄像头为中心，其他摄像头整体曝光参数成阶梯式递增或递减。
作为上述方案的改进，当所有摄像头的传感器型号一致时，则曝光参数为曝光时间。
作为上述方案的改进，，所述以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像，具体为：
根据阈值位图对齐、特征点对齐或块匹配对齐的方法，以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像。
作为上述方案的改进，所述将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像，具体为：
采用拉普拉斯金字塔分解的多曝光融合方法，对所述对齐后的图像进行亮度通道融合；
根据多张图在同一位置上的色差绝对值最大时对应的色度值，对所述对齐后的图像进行色度通道融合；
根据亮度通道、色度通道融合后的图像，生成所述HDR图像。
作为上述方案的改进，所述采用拉普拉斯金字塔分解的多曝光融合方法，对所述对齐后的图像进行亮度通道融合，具体为：
计算每张待融合图像的权重图；
对每张待融合图像的亮度通道进行L级的拉普拉斯金字塔分解，并对每张权重图进行L级的高斯金字塔分解；L为正整数；
计算融合后的每层拉普拉斯分量，并重构获得亮度融合后的图像。
本发明实施例还提供了一种基于多摄图像融合的HDR视频生成方法，根据本发明的HDR图像生成方法，生成若干张HDR图像，并根据生成的HDR图像，生成HDR视频。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的基于多摄图像融合的HDR图像生成方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项所述的基于多摄图像融合的HDR图像生成方法。
本发明的实施例，具有如下有益效果：
本发明提供了一种基于多摄图像融合的HDR图像生成方法、终端设备及计算机存储介质，该方法从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像，而且多个摄像头的当前曝光参数由上一帧结果产生；然后以正常曝光图像为基准，对齐至少一张非正常曝光图像；最后将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像。相比于现有技术使用单摄像头连续拍照不同曝光度图像，再融合生成HDR图像，本发明技术方案能够实现多摄像头生成HDR图像，避免单一摄像头连续曝光可能造成的鬼影和偏色问题。
进一步的，本发明在进行色度融合时，选择色差绝对值最大时对应的色度值，保持了颜色通道之间的差异关系，进一步避免现有技术的偏色问题。
进一步的，本发明在亮度融合时，先进行下采样再进行高斯模糊，能够缩短数据处理时间，提高融合效率。
附图说明
图1是本发明提供的基于多摄图像融合的HDR图像生成方法的一种实施例的流程示意图；
图2为本发明提供的过滤模板的一种实施例的流程图；
图3为本发明提供的亮度通道融合的一种实施例的流程示意图；
图4是本发明提供的终端设备的一个实施例的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明提供的基于多摄图像融合的HDR图像生成方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101至步骤103，各步骤具体如下：
步骤101：从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像；其中，不同曝光度图像包括：一张正常曝光图像和至少一张非正常曝光图像；拍摄非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得。
在本实施例中，采用多个摄像头对同一场景进行同时拍摄，每个摄像头的当前曝光参数是由上一帧结果产生。拍摄出来的图像为不同曝光度图像，包括一张正常曝光图像和至少一张非正常曝光图像。不同的曝光程度分为过曝光、欠曝光和正常曝光。拍摄正常曝光的摄像头为第一摄像头，其他摄像头拍摄非正常曝光图像。
在本实施例中，拍摄非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得，具体包括以下步骤：
步骤1011：第一摄像头在上一帧拍摄的正常曝光图像为第一图像。
步骤1012：对第一图像进行下采样，并根据下采样后第一图像的亮度通道在各位置点的像素值，生成非正常曝光二值化图像。
步骤1013：根据非正常曝光二值化图像，分别计算除第一摄像头外的其他摄像头在下一帧对应的第一曝光参数，并将第一曝光参数作为拍摄非正常曝光图像的摄像头对应的曝光参数。
为了更好的说明本步骤的原理，以下面的例子进行举例说明。
1)第一摄像头在上一帧拍摄的正常曝光图像为第一图像，其他摄像头在上一次拍摄的非正常曝光图像为第二图像。在本举例中，第二图像表示其他摄像头拍摄的所有非正常曝光图像，其包括至少一张图像，因此第一图像和第二图像一共包含K张图像，包含正常曝光图像img_normal和非正常曝光图像img_abnoormalk(k＝1，...，K-1)；图像格式为YUV格式，若图像格式不是YUV格式，则将图像转换为YUV格式。
2)对正常曝光图像img_normal进行下采样，得到下采样后的图片img_normaldown，长宽分别变为原来的1/n1与1/n2，其中n1与n2为正整数，如n1＝8，n2＝8。检测img_normaldown的亮度通道Y在位置(i，j)的像素值yi，j的值，若yi，j小于阈值T1(如25)或yi，j大于阈值T2(如230)时，则该位置像素为非正常曝光像素，在位置(i，j)的像素值设置为ymax(如1)，若T1≤yi，j≤T2，则该位置像素为正常曝光像素，在位置(i，j)的像素值设置为0。在所有像素检测并设置完成后，生成非正常曝光二值化图像img_mask。
3)在执行下一个步骤之前，可以先对非正常曝光二值化图像img_mask进行形态学腐蚀操作，去除图像中存在的噪声，得到图像img_mask2。腐蚀操作可以通过模板对图像滤波来实现，如使用3*3的模板，如图2所示，0和1分别是权重值，0是当前位置的权重值，以0权重位置的像素为中心进行滤波，滤波结果为周围像素的和。当对应像素位置的滤波结果不等于8*ymax，则该位置像素值为0，否则，该像素值为ymax。
4)在去除噪声后，步骤1013具体为：依据img_mask2中非正常曝光像素个数占全图像素个数的比例，结合预设的比例区间调节所述其他摄像头在下一帧对应的第一曝光参数，使得所有曝光参数形成以所述第一摄像头为中心，其他摄像头整体曝光参数成阶梯式递增或递减。
曝光参数包括曝光时间、曝光增益、光圈等参数。因为不同型号的镜头的传感器不一样的话，调节方式也可能不一样。最后调节得出的效果时整体的曝光参数成阶梯式递增或递减，使得拍摄出的图像成阶梯式效果，譬如5张图像分别是最大的过曝光图像、次要的过曝光图像、正常曝光图像、次要的欠曝光图像和最大的欠曝光图像，形成如上所述的阶梯式效果。
如果所有摄像头的传感器型号一致时，则调节的曝光参数可以但不限于为调节曝光时间。譬如当非正常曝光像素个数占全图像素个数的比例为1/2时，若正常曝光的镜头的曝光时间为t，则对于过曝光镜头，最大程度下一帧的曝光时间为2t，其余过曝光镜头的曝光时间在[t,2t]之间成比例提取；欠曝光镜头的曝光时间在[t/2,t]之间成比例提取。又譬如当该比例为1/3时，比例大小取1-1/3＝2/3，过曝光镜头的区间为[t,3t/2]，欠曝光镜头的区间为[2t/3,t]。
本发明根据调节好曝光参数拍摄下一帧的曝光图像，使得整个控制和拍摄形成自适应和自调节，从而为多摄像头生成HDR图像提供了一种切实可行的方法。
步骤102：以正常曝光图像为基准，对齐至少一张非正常曝光图像。
在本实施例中，步骤102具体为：根据阈值位图对齐、特征点对齐或块匹配对齐的方法，以正常曝光图像为基准，对齐至少一张非正常曝光图像。
以块匹配对齐方法为例子，该对准方法包括以下步骤：
步骤1021：将正常曝光图像img_normal划分为m×n个块。m、n为正整数。
步骤1022：在每一个不同曝光度图像img_abnormalk(k＝1，...，K-1)内寻找与img_normal的每一个划分子块block_normalj(j＝1，…，m×n)的最佳匹配块block_abnormalj，k(j＝1，...，m×n)，且该块与block_normalj长宽一致。最佳匹配可以为与img_abnormalk内其它长度一致的块相比，其与block_normalj对应像素的差的绝对值的总和最小。寻找匹配块时，可以根据以下公式进行匹配计算：
其中，参数n1,n2为img_normal图像一个块b内的像素坐标，n1+d1，n2+d2为img_abnormal图像一个块b’内的像素坐标，两个块在位置上存在整体的d1,d2的位置偏差，N1,N2为块的长宽，而且块b和b’的长宽一致。
步骤1023：通过在img_abnormalk搜索每一个块block_normalj的最佳匹配，可以得到与img_abnormalk长宽一致的匹配图img_abnormal_alignk，从而实现图片的对齐。
在本实施例中，阈值位图对齐、特征点对齐为现有技术，在此不再赘述。
步骤103：将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像。
在本实施例中，步骤103包括步骤1031至步骤1033，各步骤具体如下：
步骤1031：采用拉普拉斯金字塔分解的多曝光融合方法，对对齐后的图像进行亮度通道融合。
步骤1032：根据多张图在同一位置上的色差绝对值最大时对应的色度值，对对齐后的图像进行色度通道融合。
步骤1033：根据亮度通道、色度通道融合后的图像，生成所述HDR图像。
在本实施例中，步骤1031具体为：计算每张待融合图像的权重图；对每张待融合图像的亮度通道进行L级的拉普拉斯金字塔分解，并对每张权重图进行L级的高斯金字塔分解；L为正整数；计算融合后的每层拉普拉斯分量，并重构获得亮度融合后的图像。
为了更好的说明本发明的步骤1031，请参见图3，图3是本发明提供的亮度通道融合的一种实施例的流程示意图。如图3所示：
a)对于K张对齐后的图像，计算每张待融合图像的权重图Wk。这里的权重图Wk是每张图中亮度通道Y每个位置的权重，计算方式为：
其中，yk(i,j)∈[0,255],
在计算每个位置的权重后进行权重归一化后：
b)将K张图的亮度通道进行L级的拉普拉斯金字塔分解，并对每张权重图进行L级的高斯金字塔分解。
i.首先计算每张图在亮度通道上的L个拉普拉斯分量lpY1(0)～lpY1(L-1)，……lpYK(0)～lpYK(L-1)，和一个最高层的高斯分量gsY1(L)，...，gsYK(L)。计算方法如下：
对每一张图的Y通道图像g0，大小为M×N，进行1/2下采样，然后将下采样图像通过一个对称的低通滤波器ω(如3×3)，得到一个(M/2)×(N/2)的高斯图像g1，这个过程重复L次，得到一系列尺寸逐级减半的图像g0…gL。将图像g1通过2倍上采样得到大小为M×N的图像EXPAND(g1)，其中EXPAND(·)表示2倍上采样操作。则第0层的拉普拉斯lpY(0)＝g0-EXPAND(g1)；将此过程进行L-1次，得到每层的拉普拉斯分量lpY(i)＝gi-EXPAND(g1+1)，(i＝1，...，N)，最高层的高斯分量gsY(L)＝gL。其中，低通滤波器ω在3×3时如下：
ii.然后，计算每张图在权重上的L+1个拉普拉斯分量gsW1(0)～gsW1(L-1)，……，gsWK(0)～gsWK(L-1)。计算方法如下：对每一张图的权重图W(即gsW(0))，大小为M×N，进行1/2下采样，然后将下采样图像通过一个对称的低通滤波器ω(如3×3)，得到一副的高斯图像gsW(1)，这个过程重复L次，得到一系列尺寸逐级减半的图像gsW(0)，...，gsW(L)。
在本步骤中，先进行下采样，再进行高斯模糊，能够将计算时间缩减到原来的一半以上。此外，高斯模糊的模板大小为3*3，常见的为5*5，当金字塔层数达到一定层数时，两者在效果上并无明显差异，但使用3*3模板的计算时间比5*5的计算时间要短，大约5倍左右。
c)计算融合后的每层拉普拉斯分量。
用gsW1(0)～gsW1(L-1)，…，gsWK(0)～gsWK(L-1)对lpY1(0)～lpY1(L-1)，gsY1(L)，…，lpYK(0)～lpYK(L-1)，gsYK(L)的对应等级进行加权融合。用lpF(i)(x，y)表示融合后的第i层拉普拉斯分解在坐标(x，y)处的值，gsF(i)(x，y)表示融合后的最高层高斯分解在坐标(x，y)处的值。
d)重构获得融合后的亮度通道结果。对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式方法递推，计算完成后，可以得到最后的融合结果G0。
其中，EXPAND(·)表示2倍上采样操作。
在本实施例中，步骤1032的色度融合具体为：对于K个对齐的图像，在坐标(x，y)处的融合后色度值(uf(x，y)，vf(x，y))应为多张图在该位置上的色差绝对值最大时对应的色度值。在YUV空间下，在坐标(x，y)处的融合后色度值按如下公式计算：
其中，ui(x,y)，vi(x,y)为对齐后的K张图像中的第i张图像在坐标(x，y)处的u和v值，abs为绝对值操作，argmax为当结果取最大值时，参数i的具体值。因此，第一个等式坐标左边表示比较K张图像在坐标(x，y)处的值，取最大值时变量i的值，并将这个值赋值给pos。第二个公式中的(uf(x，y)，vf(x，y))为融合后的值。
最后在步骤1033中，在得到亮度通道和色度通道的融合结果后，便得到与正常曝光图像长宽一致的HDR图像。
由上可见，本发明提供了一种基于多摄图像融合的HDR图像生成方法，该方法从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像，而且多个摄像头的当前曝光参数由上一帧结果产生；然后以正常曝光图像为基准，对齐至少一张非正常曝光图像；最后将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像。相比于现有技术使用单摄像头连续拍照不同曝光度图像，再融合生成HDR图像，本发明技术方案能够实现多摄像头生成HDR图像，避免单一摄像头连续曝光可能造成的鬼影和偏色问题。
进一步的，本发明在进行色度融合时，选择色差绝对值最大时对应的色度值，保持了颜色通道之间的差异关系，进一步避免现有技术的偏色问题。
进一步的，本发明在亮度融合时，先进行下采样再进行高斯模糊，能够缩短数据处理时间，提高融合效率。
相应的，本发明还提供了一种基于多摄图像融合的HDR视频生成方法，包括：根据本发明的HDR图像生成方法，生成若干张HDR图像，并根据生成的HDR图像，生成HDR视频。由HDR图像到HDR视频的生成方法，该技术为现有技术，在此不再赘述。
参见图4，图4是本发明提供的终端设备的一个实施例的结构示意图。
本发明实施例提供的一种终端设备，包括处理器71、存储器72以及存储在所述存储器72中且被配置为由所述处理器71执行的计算机程序，所述处理器71执行所述计算机程序时实现上述基于多摄图像融合的HDR图像生成方法在实施例中的步骤，例如图1所示的HDR图像生成方法的所有步骤。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一实施例所述的基于多摄图像融合的HDR图像生成方法。
本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器71是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器72可用于存储所述计算机程序和/或模块，所述处理器71通过运行或执行存储在所述存储器72内的计算机程序和/或模块，以及调用存储在存储器72内的数据，实现所述终端设备的各种功能。所述存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (8)

1.一种基于多摄图像融合的HDR图像生成方法，其特征在于，包括：
从多个摄像头中获取同一场景同时拍摄的多张不同曝光度图像；其中，所述不同曝光度图像包括：一张正常曝光图像和至少一张非正常曝光图像；拍摄所述非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得；所述第一摄像头为拍摄所述正常曝光图像的摄像头；
以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像；
将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像；
其中，所述拍摄所述非正常曝光图像的摄像头对应的曝光参数，是根据第一摄像头在上一帧拍摄的图像计算而获得，具体为：
所述第一摄像头在上一帧拍摄的正常曝光图像为第一图像；
对所述第一图像进行下采样，并根据下采样后第一图像的亮度通道在各位置点的像素值，生成非正常曝光二值化图像；
根据所述非正常曝光二值化图像，分别计算除所述第一摄像头外的其他摄像头在下一帧对应的第一曝光参数，并将所述第一曝光参数作为所述拍摄所述非正常曝光图像的摄像头对应的曝光参数；
其中，根据所述非正常曝光二值化图像中非正常曝光像素个数占全图像素个数的比例，结合预设的比例区间调节所述其他摄像头在下一帧对应的第一曝光参数，使得所有曝光参数形成以所述第一摄像头为中心，其他摄像头整体曝光参数成阶梯式递增或递减。
2.根据权利要求1所述的基于多摄图像融合的HDR图像生成方法，其特征在于，当所有摄像头的传感器型号一致时，则曝光参数为曝光时间。
3.根据权利要求1或2所述的基于多摄图像融合的HDR图像生成方法，其特征在于，所述以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像，具体为：
根据阈值位图对齐、特征点对齐或块匹配对齐的方法，以所述正常曝光图像为基准，对齐所述至少一张非正常曝光图像。
4.根据权利要求3所述的基于多摄图像融合的HDR图像生成方法，其特征在于，所述将对齐后的图像分别进行亮度通道、色度通道的融合，生成HDR图像，具体为：
采用拉普拉斯金字塔分解的多曝光融合方法，对所述对齐后的图像进行亮度通道融合；
根据多张图在同一位置上的色差绝对值最大时对应的色度值，对所述对齐后的图像进行色度通道融合；
根据亮度通道、色度通道融合后的图像，生成所述HDR图像。
5.根据权利要求4所述的基于多摄图像融合的HDR图像生成方法，其特征在于，所述采用拉普拉斯金字塔分解的多曝光融合方法，对所述对齐后的图像进行亮度通道融合，具体为：
计算每张待融合图像的权重图；
对每张待融合图像的亮度通道进行L级的拉普拉斯金字塔分解，并对每张权重图进行L级的高斯金字塔分解；L为正整数；
计算融合后的每层拉普拉斯分量，并重构获得亮度融合后的图像。
6.一种基于多摄图像融合的HDR视频生成方法，其特征在于，根据权利要求1至5任意一项所述的HDR图像生成方法，生成若干张HDR图像，并根据生成的HDR图像，生成HDR视频。
7.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的基于多摄图像融合的HDR图像生成方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-5中任意一项所述的基于多摄图像融合的HDR图像生成方法。
CN202010617015.8A 2020-06-30 2020-06-30 基于多摄图像融合的hdr图像生成方法、设备及存储介质 Active CN111986129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010617015.8A CN111986129B (zh) 2020-06-30 2020-06-30 基于多摄图像融合的hdr图像生成方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010617015.8A CN111986129B (zh) 2020-06-30 2020-06-30 基于多摄图像融合的hdr图像生成方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111986129A CN111986129A (zh) 2020-11-24
CN111986129B true CN111986129B (zh) 2024-03-19

Family

ID=73438433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010617015.8A Active CN111986129B (zh) 2020-06-30 2020-06-30 基于多摄图像融合的hdr图像生成方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111986129B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651911B (zh) * 2020-12-01 2023-10-13 广东工业大学 一种基于偏振图像的高动态范围成像生成方法
CN112233049B (zh) * 2020-12-14 2021-03-02 成都中轨轨道设备有限公司 一种用于提升图像清晰度的图像融合方法
CN112651918A (zh) * 2021-01-15 2021-04-13 北京小米松果电子有限公司 图像处理方法及装置、电子设备、存储介质
CN113012081A (zh) * 2021-01-28 2021-06-22 北京迈格威科技有限公司 图像处理方法、装置和电子***
CN112837254B (zh) * 2021-02-25 2024-06-11 普联技术有限公司 一种图像融合方法、装置、终端设备及存储介质
CN113038025B (zh) * 2021-02-26 2023-06-20 Oppo广东移动通信有限公司 一种图像处理方法及终端、存储介质
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法
CN113706429B (zh) * 2021-07-30 2023-08-04 爱芯元智半导体(上海)有限公司 图像处理方法、装置、电子设备和存储介质
CN114418912B (zh) * 2021-12-27 2024-05-14 杭州意象科技有限公司 多角度光照消除反光、多帧多角度光照图像融合算法
CN114529477B (zh) * 2022-02-28 2024-07-12 山东威高手术机器人有限公司 一种具有高动态范围的双目内窥镜、***及成像方法
EP4369728A1 (en) * 2022-11-10 2024-05-15 Beijing Xiaomi Mobile Software Co., Ltd. Photographing method and device
CN117135468B (zh) * 2023-02-21 2024-06-07 荣耀终端有限公司 图像处理方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163047A (zh) * 2015-09-15 2015-12-16 厦门美图之家科技有限公司 一种基于色彩空间转换的hdr图像生成方法、***及拍摄终端
CN105578042A (zh) * 2015-12-18 2016-05-11 深圳市金立通信设备有限公司 一种图像数据的传输方法及终端
CN107395998A (zh) * 2017-08-24 2017-11-24 维沃移动通信有限公司 一种图像拍摄方法及移动终端
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN108063902A (zh) * 2018-01-08 2018-05-22 信利光电股份有限公司 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
WO2020038069A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备
CN110930440A (zh) * 2019-12-09 2020-03-27 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111147755A (zh) * 2020-01-02 2020-05-12 普联技术有限公司 双摄像头的变焦处理方法、装置及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN105163047A (zh) * 2015-09-15 2015-12-16 厦门美图之家科技有限公司 一种基于色彩空间转换的hdr图像生成方法、***及拍摄终端
CN105578042A (zh) * 2015-12-18 2016-05-11 深圳市金立通信设备有限公司 一种图像数据的传输方法及终端
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
CN107395998A (zh) * 2017-08-24 2017-11-24 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108063902A (zh) * 2018-01-08 2018-05-22 信利光电股份有限公司 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质
WO2020038069A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备
CN110930440A (zh) * 2019-12-09 2020-03-27 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111147755A (zh) * 2020-01-02 2020-05-12 普联技术有限公司 双摄像头的变焦处理方法、装置及终端设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
High dynamic range imaging using camera arrays;Kalpana Seshadrinathan等;《2017 IEEE International Conference on Image Precessing》;725-729 *
Multi-camera platform for panoramic real-time HDR video construction and rendering;Vladan Popovic等;《Journal of Real-Time Image Processing》;697-708 *
Multi-exposure image fusion for dynamic scenes without ghost effect;Ashish V.Vanmali等;《2015 Twenty First National Conference on Communications》;1-6 *
一种改进金字塔的多曝光HDR图像生成方法;周燕琴等;《现代计算机》(第15期);130-136 *
基于YUV空间的高动态范围图像的合成方法;徐桂忠等;《中国传媒大学学报（自然科学版）》;第24卷(第3期);11-13 *
基于质量度量与颜色校正的多曝光图像融合算法;杜永生等;《电子测量与仪器学报》;第33卷(第1期);90-98 *

Also Published As

Publication number Publication date
CN111986129A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN108335279B (zh) 图像融合和hdr成像
US20200134787A1 (en) Image processing apparatus and method
JP4234195B2 (ja) 画像分割方法および画像分割システム
US8860816B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
EP3198853A2 (en) High dynamic range image composition using multiple images
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
Ko et al. Artifact-free low-light video enhancement using temporal similarity and guide map
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN109413335B (zh) 一种双重曝光合成hdr图像的方法和装置
TW201812698A (zh) 具有基於特徵的重影去除的陣列照相機影像組合
CN111028170B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111127303A (zh) 背景虚化方法、装置、终端设备及计算机可读存储介质
US11880963B2 (en) Apparatus and method for image processing
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
US20220100054A1 (en) Saliency based capture or image processing
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
CN111031241A (zh) 图像处理方法及其装置、终端和计算机可读存储介质
CN112258417B (zh) 一种图像生成方法、装置及设备
Merianos et al. A hybrid multiple exposure image fusion approach for HDR image synthesis
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
CN112598609A (zh) 一种动态图像的处理方法及装置
CN110992284A (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant