CN111953893B - 一种高动态范围图像生成方法、终端设备及存储介质 - Google Patents

一种高动态范围图像生成方法、终端设备及存储介质 Download PDF

Info

Publication number
CN111953893B
CN111953893B CN202010608736.2A CN202010608736A CN111953893B CN 111953893 B CN111953893 B CN 111953893B CN 202010608736 A CN202010608736 A CN 202010608736A CN 111953893 B CN111953893 B CN 111953893B
Authority
CN
China
Prior art keywords
area
region
image
exposure
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608736.2A
Other languages
English (en)
Other versions
CN111953893A (zh
Inventor
许楚萍
符顺
牛永岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pulian Intelligent Software Co ltd
Original Assignee
TP Link Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Link Technologies Co Ltd filed Critical TP Link Technologies Co Ltd
Priority to CN202010608736.2A priority Critical patent/CN111953893B/zh
Publication of CN111953893A publication Critical patent/CN111953893A/zh
Application granted granted Critical
Publication of CN111953893B publication Critical patent/CN111953893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种高动态范围图像生成方法、终端设备及存储介质，所述方法包括获取一组图像；其中，所述一组图像为在一个拍摄周期内对同一个场景的至少两帧不同曝光程度的图像，且所述不同曝光程度的图像包括一帧正常曝光图像和至少一帧异常曝光图像；提取所述正常曝光图像中的曝光异常区域，并对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域；对所有图像的所述运动区域和静止区域进行HDR融合，获得融合子区域；将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像。通过实施本发明实施例能够在生成高动态范围图像时能降低时间复杂度。

Description

一种高动态范围图像生成方法、终端设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高动态范围图像生成方法、终端设备及存储介质。
背景技术
由于硬件和技术限制，目前摄影设备和显示设备所能采集和呈现的画面亮度范围远远小于现实场景的亮度范围。在拍摄大光比的现实场景时，强光源(日光、灯具或反光等)照射所形成的高亮度区域因曝光过度显示为白色，而阴影、逆光等黑暗区域因曝光不足显示为黑色，从而导致纹理信息缺失，严重影响成像质量。
高动态范围摄影技术和装置旨在用普通的摄影设备在大光比场景下拍摄时，不出现因曝光过度或者曝光不足而产生无纹理的白色和黑色区域，导致画面信息丢失。
在现有技术中，中国专利CN110611750A采用了融合同一场景同一角度的多张欠曝和正常曝光的图像从而生成夜景高动态图像，但是大多数拍摄场景中通常存在移动的车辆或人物，由于单摄像头拍摄的待融合图像采集时刻不同，融合成的图像可能会存在鬼影或重影的问题。中国专利CN108492262A利用泊松算法在图像上检测和去除移动区域，然后再进行全图的静态场景多曝光图像融合。此方法虽然能够解决鬼影问题，但是全图的运动区域去除算法和全图的图像融合算法增加了时间复杂度，无法满足拍摄高动态范围图像的需求。
发明内容
本发明实施例提供一种高动态范围图像生成方法、终端设备及存储介质，在生成高动态范围图像时能降低时间复杂度。
本发明一实施例提供一种高动态范围图像生成方法，包括：
获取一组图像；其中，所述一组图像为在一个拍摄周期内对同一个场景的至少两帧不同曝光程度的图像，且所述不同曝光程度的图像包括一帧正常曝光图像和至少一帧异常曝光图像；
提取所述正常曝光图像中的曝光异常区域，并对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域；
将所述正常曝光图像的运动区域和静止区域分别与所述异常曝光图像中的对应区域进行融合，获得融合子区域；
将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像。
进一步的，根据预设的亮度阈值对所述正常曝光图像进行过曝和欠曝像素点的检测，生成曝光二值化图像；
将所述曝光二值化图像进行异常值剔除并计算剔除异常值后的曝光二值化图像的各连通域的边界，继而根据所述各连通域的边界提取所述曝光异常区域。
进一步的，所述对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域，具体包括：
计算所述正常曝光图像中所有像素点像素值的中位数获得第一中位数，根据所述第一中位数对所述正常曝光图像进行二值化操作，生成第一二值图像；
计算所述异常曝光图像中所有像素点像素值的中位数获得第二中位数，根据所述第二中位数对所述异常曝光图像进行二值化操作，生成第二二值图像；
根据所述第一二值图像与第二二值图像的差异，提取所述正常曝光视图像的所有运动区域，继而根据所述正常曝光图像的所有运动区域，将所述曝光异常区域中的运动区域和静止区域进行划分。
进一步的，所述将所述正常曝光图像的运动区域和静止区域分别与所述异常曝光图像中的对应区域进行融合，具体包括：
当所述异常曝光图像仅包括第一长曝光图像，且所述曝光异常区域仅包括第一欠曝区域时，分别将所述第一欠曝区域的静止区域与第一待融合静止区域、所述第一欠曝区域的运动区域与第一待融合运动区域，按预设像素值权重进行融合，获得第一欠曝融合子区域；其中，所述第一待融合静止区域为，在所述第一长曝光图像中与所述第一欠曝区域的静止区域位置相对应的图像区域；所述第一待融合运动区域为，在所述第一长曝光图像中与所述第一欠曝区域的运动区域位置相对应的图像区域；在将所述第一欠曝区域的运动区域与所述第一待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像仅包括第一短曝光图像，且所述曝光异常区域仅包括第一过曝区域时，分别将所述第一过曝区域的静止区域与第二待融合静止区域、所述第一过曝区域的运动区域与第二待融合运动区域，按预设像素值权重进行融合，获得第一过曝融合子区域；其中，所述第二待融合静止区域为，在所述第一短曝光图像中与所述第一过曝区域的静止区域位置相对应的图像区域；所述第二待融合运动区域为，在所述第一短曝光图像中与所述第一过曝区域的运动区域位置相对应的图像区域；在将所述第一过曝区域的运动区域与所述第二待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像同时包括第二长曝光图像和第二短曝光图像，且所述曝光异常区域同时包括第二欠曝区域和第二过曝区域时，分别将所述第二欠曝区域的静止区域与第三待融合静止区域、所述第二欠曝区域的运动区域与所述第三待融合运动区域，按预设像素值权重进行融合，获得第二欠曝融合子区域；分别将所述第二过曝区域的静止区域与第四待融合静止区域、所述第二过曝区域的运动区域与第四待融合运动区域，按预设像素值权重进行融合，获得第二过曝融合子区域；其中，所述第三待融合静止区域为，在所述第二长曝光图像中与所述第二欠曝区域的静止区域位置相对应的图像区域；所述第三待融合运动区域为，在所述第二长曝光图像中与所述第二欠曝区域的运动区域位置相对应的图像区域；所述第四待融合静止区域为，在所述第二短曝光图像中与所述第二过曝区域的静止区域相对应的图像区域；所述第四待融合运动区域为，在所述第二短曝光图像中与所述第二过曝区域的运动区域相对应的图像区域；在将所述第二欠曝区域的运动区域与所述第三待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；在将所述第二过曝区域的运动区域与所述第四待融合运动区域进行融合式，随机选取一运动区域作为融合后的运动区域。
进一步的，所述将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像，具体包括：
当所述融合子区域为所述第一欠曝融合子区域时，将所述第一欠曝融合子区域与所述正常曝光图像中的第一欠曝区域进行渐进式融合，获得所述高动态范围图像；
当所述融合子区域为所述第一过曝融合子区域时，将所述第一过曝融合子区域与所述正常曝光图像中的第一过曝区域进行渐进式融合，获得所述高动态范围图像；
当所述融合子区域包括第二欠曝融合子区域和第二过曝融合子区域时，将所述第二欠曝融合子区域与所述正常曝光图像中的第二欠曝区域进行渐进式融合，将所述第二过曝融合子区域与所述正常曝光图像中的第二过曝区域进行渐进式融合。
进一步的，还包括：根据当前拍摄周期中各图像的当前曝光参数以及各图像中曝光异常区域的亮度信息，设定下一拍摄周期中各图像的曝光参数。
在上述实施例的基础上，本发明另一实施例提供了一种高动态范围视频生成方法，包括：获取多个拍摄周期的多组图像，并根据上述任意一项实施例所述的高动态范围图像生成方法，生成每一组图像对应的高动态范围图像，获得若干高动态范围图像；根据所述若干高动态范围图像，生成高动态范围视频。
在上述实施例的基础上，本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一项所述的高动态范围图像生成方法。
在上述实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明上述任意一项所述的高动态范围图像生成方法。
通过实施本发明实施例具有如下有益效果：
本发明实施例提供了一种高动态范围图像生成方法、终端设备及存储介质，所述方法首先获取正常曝光图像和异常曝光图像，然后将正常曝光图像中曝光异常区域进行区域划分，划分为运动区域和静止区域，然后将所有图像的运动区域和静止区域进行融合得到融合子区域，最后将融合子区域与正常曝光图像中曝光异常区域进行融合生成高动态范围图像，相比与现有技术的融合方式，本申请在进行融合时，不需要对正常曝光图像的所有图像区域进行融合，只需要对正常曝光图像中的曝光异常区域进行融合，大大降低了图像融合的时间复杂度，提高了高动态范围图像的生成效率。
附图说明
图1是本发明一实施例提供的一种高动态范围图像生成方法的流程示意图。
图2是本发明一实施例提供的二值化图像去噪滤波器示意图。
图3是本发明一实施例提供的进行曝光异常区域融合的示意图。
图4是本发明一实施例提供的进行曝光异常区域融合的另一示意图。
图5是本发明一实施例提供的进行曝光异常区域融合的又一示意图。
图6是本发明一实施例提供的渐进式合成的原理示意图。
图7是本发明另一实施例提供的一种高动态范围图像生成方法的流程示意图。
图8是本发明一实施例提供的曝光参数控制示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种高动态范围图像生成方法，包括：
步骤S1:获取一组图像；其中，所述一组图像为在一个拍摄周期内对同一个场景的至少两帧不同曝光程度的图像，且所述不同曝光程度的图像包括一帧正常曝光图像和至少一帧异常曝光图像；
步骤S2:提取所述正常曝光图像中的曝光异常区域，并对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域；
步骤S3:对所有图像的所述运动区域和静止区域进行HDR融合，获得融合子区域；
步骤S4:将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像。
对于步骤S1、通过调整摄像装置在一个拍摄周期内，对同一场景按不同曝光参数进行拍摄，获得至少一帧正常曝光图像，和至少一张在异常曝光图像，在一个优选的实施例中异常曝光图像包括以下任意一种或多种组合：长曝光图像和短曝光图像；在正常曝光图像中，图像的纹理和亮暗对比会符合人眼所看到的场景，而长曝光图像是在实际拍摄过程中适当增加曝光量，使得欠曝区域的亮暗对比达到最佳，而短曝光图像是在实际拍摄过程中适当减少曝光量使得过曝区域的亮暗对比达到最佳。在本领域中正常曝光图像，长曝光图像和短曝光图像对于本领域技术人员来说都是清楚的。
对于步骤S2、在一个优选的实施例中通过以下方式提取所述正常曝光图像中的曝光异常区域：
根据预设的亮度阈值对所述正常曝光图像进行过曝和欠曝像素点的检测，生成曝光二值化图像；通过形态学腐蚀操作将所述曝光二值化图像进行异常值剔除；计算剔除异常值后的曝光二值化图像的各连通域的边界，继而根据所述各连通域的边界提取所述曝光异常区域。
具体的，首先对正常曝光图像进行过曝和欠曝像素点的检测，生成曝光二值化图像，假设正常曝光图像的某一位置(i,j)的亮度值yi,j小于阈值T1(假设为25)或大于阈值T2(假设为230)时，则该位置像素为曝光异常像素，否则，该位置像素为正常曝光像素。
紧接着采用形态学腐蚀操作对计算所得的曝光二值化图像进行异常值剔除。腐蚀操作可以通过图2所示的(3×3)模板对图像进行滤波来实现。当对应像素位置的滤波结果不等于8，则该位置判定为异常值，将其转换为正常曝光像素。
最后，计算剔除异常值后的二值化图像的每个连通域的边界，边界框存储曝光异常区域在正常曝光图像中的位置信息，根据这一位置信息即可进行曝光异常区域的提取。
在一个优选的实施例中，对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域，包括：
计算所述正常曝光图像中所有像素点像素值的中位数获得第一中位数，根据所述第一中位数对所述正常曝光图像进行二值化操作，生成第一二值图像；计算所述异常曝光图像中所有像素点像素值的中位数获得第二中位数，根据所述第二中位数对所述异常曝光图像进行二值化操作，生成第二二值图像；根据所述第一二值图像与第二二值图像的差异，提取所述正常曝光图像的所有运动区域，继而根据所述正常曝光图像的所有运动区域，将所述曝光异常区域中的运动区域和静止区域进行划分。
具体的，首先计算正常曝光图像中所有像素点像素值的中位数获得上述第一中位数，然后以第一中位数为分界线，将像素值大于或等于第一中数的像素点的像素值调整为255，将像素值小于第一中数的像素点的像素值调整为0，生成第一二值图像假设为：
Figure BDA0002561625380000081
同理按同样的方法，生成异常曝光图像的第二二值图像例如为
Figure BDA0002561625380000082
然后比较
Figure BDA0002561625380000083
与
Figure BDA0002561625380000084
的差异形成二值图，并去除差异二值图中的异常值，得到的结果即为正常曝光图像中所有的运动区域，然后进一步从所有运动区域中提取出位于曝光异常区域内的图像区域，即可实现曝光异常区域中的运动区域和静止区域的划分。
对于步骤S3、在一个优选的实施例中，所述对所有图像的所述运动区域和静止区域进行HDR融合，获得融合子区域，具体包括：
当所述异常曝光图像仅包括第一长曝光图像，且所述曝光异常区域仅包括第一欠曝区域时，分别将所述第一欠曝区域的静止区域与第一待融合静止区域、所述第一欠曝区域的运动区域与第一待融合运动区域，按预设像素值权重进行融合，获得第一欠曝融合子区域；其中，所述第一待融合静止区域为，在所述第一长曝光图像中与所述第一欠曝区域的静止区域位置相对应的图像区域；所述第一待融合运动区域为，在所述第一长曝光图像中与所述第一欠曝区域的运动区域位置相对应的图像区域；在将所述第一欠曝区域的运动区域与所述第一待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像仅包括第一短曝光图像，且所述曝光异常区域仅包括第一过曝区域时，分别将所述第一过曝区域的静止区域与第二待融合静止区域、所述第一过曝区域的运动区域与第二待融合运动区域，按预设像素值权重进行融合，获得第一过曝融合子区域；其中，所述第二待融合静止区域为，在所述第一短曝光图像中与所述第一过曝区域的静止区域位置相对应的图像区域；所述第二待融合运动区域为，在所述第一短曝光图像中与所述第一过曝区域的运动区域位置相对应的图像区域；在将所述第一过曝区域的运动区域与所述第二待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像同时包括第二长曝光图像和第二短曝光图像，且所述曝光异常区域同时包括第二欠曝区域和第二过曝区域时，分别将所述第二欠曝区域的静止区域与第三待融合静止区域、所述第二欠曝区域的运动区域与所述第三待融合运动区域，按预设像素值权重进行融合，获得第二欠曝融合子区域；分别将所述第二过曝区域的静止区域与第四待融合静止区域、所述第二过曝区域的运动区域与第四待融合运动区域，按预设像素值权重进行融合，获得第二过曝融合子区域；其中，所述第三待融合静止区域为，在所述第二长曝光图像中与所述第二欠曝区域的静止区域位置相对应的图像区域；所述第三待融合运动区域为，在所述第二长曝光图像中与所述第二欠曝区域的运动区域位置相对应的图像区域；所述第四待融合静止区域为，在所述第二短曝光图像中与所述第二过曝区域的静止区域相对应的图像区域；所述第四待融合运动区域为，在所述第二短曝光图像中与所述第二过曝区域的运动区域相对应的图像区域；在将所述第二欠曝区域的运动区域与所述第三待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；在将所述第二过曝区域的运动区域与所述第四待融合运动区域进行融合式，随机选取一运动区域作为融合后的运动区域。
以下对上述融合的具体步骤进行进一步的解释说明：
第一种情况，如图3所示：如果异常曝光图像为长曝光图像(第一长曝光图像)，正常曝光图像内的曝光异常区域为欠曝区域(第一欠曝区域)，首先根据上一步骤对欠曝区域进行静止区域和动态区域的划分，然后根据欠曝区域的静止区域在正常曝光图像中的相对位置，在长曝光图像中将位置相同的图像区域，作为需要进行融合的静止区域即上述定义的第一待融合静止区域，同理得到第一待融合运动区域，然后将欠曝区域的静止区域与长曝光图像的第一待融合静止区域进行融合，将欠曝区域的运动区域与长曝光图像的第一待融合运动区域进行融合。
需要强调的是，在将欠曝区域的运动区域与长曝光图像的第一待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域，即在融合过程中将欠曝区域的运动区域内所有像素点的像素值权重设为0或将第一待融合运动区域内所有像素点的像素值权重设为0，示意性的，假设正常曝光图像中欠曝区域的运动区域的某一像素点A点的像素值为122，第一待融合运动区域中与之对应的像素点B点的像素值为100，在融合时若将A点像素值权重设为0，将B点像素值权重设为1；按上述方式可得到两张待融合图像各像素点的像素值权重，从而得到权值图，紧接着在融合时采用拉普拉斯金字塔方法对两待融合图像及对应的权值图进行下采样和滤波等处理，最终实现图像融合。
通过上述方式将欠曝区域内中运动区域所有像素点与第一待融合运动区域内所有像素点进行融合后，最终的融合的效果就是仅保留了欠曝区域内中的运动区域或第一待融和运动区域；通过这一方式可以仅保留其中一个运动区域的图像，由于对于两个运动区域只保留了其中一个运动区域，这样就不会出现鬼影或重影问题。
而对于静止区域的融合，由于不存在鬼影问题因此没有上述限制；对于欠曝区域的静止区域与长曝光图像的第一待融合静止区域的融合，不用强制性的设置其中一个区域的像素值权中为0；示意性的：对于欠曝区域的静止区域与长曝光图像的第一待融合静止区域的融合，可以将欠曝区域的静止区域中所有像素点的像素值权重设为0.6，将第一待融合静止区域中所有像素点的像素值权重设为0.4，然后进行融合。
第二种情况，如图4所示：如果异常曝光图像是短曝光图像(第一短曝光图像)，且曝光异常区域是过曝区域(第一过曝区域)，那么首先根据过曝区域进行静止区域和动态区域的划分，然后根据过曝区域的静止区域在正常曝光图像中的相对位置，在短曝光图像中将位置相同的图像区域，作为需要进行融合的静止区域即上述定义的第二待融合静止区域，同理得到第二待融合运动区域，然后将过曝区域的静止区域与短曝光图像的第二待融合静止区域进行融合，将过曝区域的运动区域与短曝光图像的第二待融合运动区域进行融合。过曝区域的静止区域与短曝光图像的第二待融合静止区域的融合原理，与上述欠曝区域的静止区域与长曝光图像的第一待融合静止区域的融合原理相同，在此不再赘述；过曝区域的运动区域与短曝光图像的第二待融合运动区域的融合原理，与上述欠曝区域的静止区域与长曝光图像的第一待融合运动区域的融合原理相同，在此也不再赘述。
第三种情况，如图5所示：如果异常曝光图像既有长曝光图像(第二长曝光图像)也有短曝光图像(第二短曝光图像)，且曝光异常区即有欠曝区域(第二欠曝区域)又有过曝区域(第二过曝区域)，那么在融合时，首先对第二欠曝区域进行静止区域和动态区域的划分，然后根据第二欠曝区域的静止区域在正常曝光图像中的相对位置，在长曝光图像中将位置相同的图像区域，作为需要进行融合的静止区域即上述定义的第三待融合静止区域，同理得到第三待融合运动区域，然后根据第二过曝区域的静止区域在正常曝光图像中的相对位置，在短曝光图像中将位置相同的图像区域，作为需要进行融合的静止区域即上述定义的第四待融合静止区域，同理得到第四待融合运动区域；最后将第二欠曝区域的静止区域与长曝光图像的第三待融合静止区域进行融合，将第二欠曝区域的运动区域与长曝光图像的第三待融合运动区域进行融合，将第二过曝区域的静止区域与短曝光图像的第四待融合静止区域进行融合，将第二过曝区域的运动区域与短曝光图像的第四待融合运动区域进行融合。
对于步骤S4、在一个优选的实施例中，所述将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像，具体包括：
当所述融合子区域为所述第一欠曝融合子区域时，将所述第一欠曝融合子区域与所述正常曝光图像中的第一欠曝区域进行渐进式融合，获得所述高动态范围图像；当所述融合子区域为所述第一过曝融合子区域时，将所述第一过曝融合子区域与所述正常曝光图像中的第一过曝区域进行渐进式融合，获得所述高动态范围图像；当所述融合子区域包括第二欠曝融合子区域和第二过曝融合子区域时，将所述第二欠曝融合子区域与所述正常曝光图像中的第二欠曝区域进行渐进式融合，将所述第二过曝融合子区域与所述正常曝光图像中的第二过曝区域进行渐进式融合。
具体的，在步骤S3中生成融合子区域后，可直接将正常曝光图像中的曝光异常区域替换为融合子区域，生成上述高动态范围图像。
而在一个更加优选的实施例中，可将融合子区域与正常曝光图像中的曝光异常区域进行渐进式合成，在将融合子区域与曝光异常区域进行渐进式合成时，对区域的边缘进行渐进式合成，即按照与边缘的距离进行加权融合，使得区域边界自然过渡，具体原理如图6所示：图A为正常曝光图像的各像素点在融合时的像素值权重系数，图B为融合子区域内各像素点在融合时的像素值权重系数；从图中可以看出，在融合区域边缘，输入正常曝光图像的各像素点的权重是从外往中间逐渐减小，而属于融合子区域的各像素点的权重从外往中间逐渐增大(为了方便说明，图中的总权重是设定为10不是1)。这样可以使区域边界自然过渡。
如图7所示，在本发明另一实施例中，还包括步骤S5:根据当前拍摄周期中各图像的当前曝光参数以及各图像中曝光异常区域的亮度信息，设定下一拍摄周期中各图像的曝光参数。上述曝光异常区域的亮度信息可以是曝光异常区域亮度均值，也可以是超过某一亮度阈值的像素点的个数；
具体原理如图8所示：假定第n个拍摄周期内的所有图像帧记为
Figure BDA0002561625380000131
第i个图像帧的下一周期的曝光参数
Figure BDA0002561625380000132
将结合当前帧
Figure BDA0002561625380000133
的曝光异常区域亮度统计信息(可以是曝光异常区域亮度均值，也可以是超过某一亮度阈值的像素点的个数)，当前帧所采用的曝光参数
Figure BDA0002561625380000134
以及预设目标亮度Target_i计算而得，然后使曝光参数在下一个拍摄周期生效，使得第i个视频帧的亮度统计信息在接下来的有限拍摄周期内趋近预设目标亮度。
具体的，预设目标亮度值为target，浮动的上下限为range，曝光参数加减的步长。
首先对曝光异常区域进行分块，并计算并返回分块(8*8)后每一块的平均亮度。首先对64块平均亮度求均值得到曝光异常区域画面平均亮度avg，如果avg<target-range，则曝光参数+步长；如果avg>target+range，则曝光参数-步长；若target-range<＝avg<＝target+range，则曝光参数保持不变。
预设目标亮度是一个经验值，比如希望画面平均亮度在100左右，则设置一个100对应的target。对于正常曝光帧，短曝光帧和长曝光帧的target，只需满足短曝光<正常<长曝光即可。
在上述实施例的基础上，本发明另一实施例提供了一种高动态范围视频生成方法，包括：获取多个拍摄周期的多组图像，并根据上述任意一项实施例所述的高动态范围图像生成方法，生成每一组图像对应的高动态范围图像，获得若干高动态范围图像；根据所述若干高动态范围图像，生成高动态范围视频。其中，根据高动态范围图像，生成高动态范围视频的方法为现有技术，在此不再赘述。
在上述实施例的基础上，本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一项所述的高动态范围图像生成方法。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
因此在本发明另一实施例中提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明上述任意一项所述的高动态范围图像生成方法。
上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
通过实施本发明的实施例，相比与现有技术的融合方式，本申请在进行融合时，不需要对正常曝光图像的所有图像区域进行融合，只需要对正常曝光图像中的曝光异常区域进行融合，大大降低了图像融合的时间复杂度，提高了高动态范围图像的生成效率，此外在融合运动区域时选取两个运动区域中的任意一运动区域作为融合后的运动区域从而达到去鬼影和重影的效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种高动态范围图像生成方法，其特征在于，包括：
获取一组图像；其中，所述一组图像为在一个拍摄周期内对同一个场景的至少两帧不同曝光程度的图像，且所述不同曝光程度的图像包括一帧正常曝光图像和至少一帧异常曝光图像；
提取所述正常曝光图像中的曝光异常区域，并对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域；
将所述正常曝光图像的运动区域和静止区域分别与所述异常曝光图像中的对应区域进行融合，获得融合子区域；
将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像；
所述将所述正常曝光图像的运动区域和静止区域分别与所述异常曝光图像中的对应区域进行融合，获得融合子区域，具体包括：
当所述异常曝光图像仅包括第一长曝光图像，且所述曝光异常区域仅包括第一欠曝区域时，分别将所述第一欠曝区域的静止区域与第一待融合静止区域、所述第一欠曝区域的运动区域与第一待融合运动区域，按预设像素值权重进行融合，获得第一欠曝融合子区域；其中，所述第一待融合静止区域为，在所述第一长曝光图像中与所述第一欠曝区域的静止区域位置相对应的图像区域；所述第一待融合运动区域为，在所述第一长曝光图像中与所述第一欠曝区域的运动区域位置相对应的图像区域；在将所述第一欠曝区域的运动区域与所述第一待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像仅包括第一短曝光图像，且所述曝光异常区域仅包括第一过曝区域时，分别将所述第一过曝区域的静止区域与第二待融合静止区域、所述第一过曝区域的运动区域与第二待融合运动区域，按预设像素值权重进行融合，获得第一过曝融合子区域；其中，所述第二待融合静止区域为，在所述第一短曝光图像中与所述第一过曝区域的静止区域位置相对应的图像区域；所述第二待融合运动区域为，在所述第一短曝光图像中与所述第一过曝区域的运动区域位置相对应的图像区域；在将所述第一过曝区域的运动区域与所述第二待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；
当所述异常曝光图像同时包括第二长曝光图像和第二短曝光图像，且所述曝光异常区域同时包括第二欠曝区域和第二过曝区域时，分别将所述第二欠曝区域的静止区域与第三待融合静止区域、所述第二欠曝区域的运动区域与所述第三待融合运动区域，按预设像素值权重进行融合，获得第二欠曝融合子区域；分别将所述第二过曝区域的静止区域与第四待融合静止区域、所述第二过曝区域的运动区域与第四待融合运动区域，按预设像素值权重进行融合，获得第二过曝融合子区域；其中，所述第三待融合静止区域为，在所述第二长曝光图像中与所述第二欠曝区域的静止区域位置相对应的图像区域；所述第三待融合运动区域为，在所述第二长曝光图像中与所述第二欠曝区域的运动区域位置相对应的图像区域；所述第四待融合静止区域为，在所述第二短曝光图像中与所述第二过曝区域的静止区域相对应的图像区域；所述第四待融合运动区域为，在所述第二短曝光图像中与所述第二过曝区域的运动区域相对应的图像区域；在将所述第二欠曝区域的运动区域与所述第三待融合运动区域进行融合时，随机选取一运动区域作为融合后的运动区域；在将所述第二过曝区域的运动区域与所述第四待融合运动区域进行融合式，随机选取一运动区域作为融合后的运动区域；
所述将所述融合子区域与所述正常曝光图像中的曝光异常区域进行合成，获得高动态范围图像，具体包括：
当所述融合子区域为所述第一欠曝融合子区域时，将所述第一欠曝融合子区域与所述正常曝光图像中的第一欠曝区域进行渐进式融合，获得所述高动态范围图像；
当所述融合子区域为所述第一过曝融合子区域时，将所述第一过曝融合子区域与所述正常曝光图像中的第一过曝区域进行渐进式融合，获得所述高动态范围图像；
当所述融合子区域包括第二欠曝融合子区域和第二过曝融合子区域时，将所述第二欠曝融合子区域与所述正常曝光图像中的第二欠曝区域进行渐进式融合，将所述第二过曝融合子区域与所述正常曝光图像中的第二过曝区域进行渐进式融合，获得所述高动态范围图像。
2.如权利要求1所述的高动态范围图像生成方法，其特征在于，所述提取所述正常曝光图像中的曝光异常区域，具体包括：
根据预设的亮度阈值对所述正常曝光图像进行过曝和欠曝像素点的检测，生成曝光二值化图像；
将所述曝光二值化图像进行异常值剔除并计算剔除异常值后的曝光二值化图像的各连通域的边界，继而根据所述各连通域的边界提取所述曝光异常区域。
3.如权利要求1所述的高动态范围图像生成方法，其特征在于，所述对所述曝光异常区域进行运动区域检测，将所述曝光异常区域划分为运动区域和静止区域，具体包括：
计算所述正常曝光图像中所有像素点像素值的中位数获得第一中位数，根据所述第一中位数对所述正常曝光图像进行二值化操作，生成第一二值图像；
计算所述异常曝光图像中所有像素点像素值的中位数获得第二中位数，根据所述第二中位数对所述异常曝光图像进行二值化操作，生成第二二值图像；
根据所述第一二值图像与第二二值图像的差异，提取所述正常曝光视图像的所有运动区域，继而根据所述正常曝光图像的所有运动区域，将所述曝光异常区域中的运动区域和静止区域进行划分。
4.如权利要求1-3任意一项所述的高动态范围图像生成方法，其特征在于，还包括：
根据当前拍摄周期中各图像的当前曝光参数以及各图像中曝光异常区域的亮度信息，设定下一拍摄周期中各图像的曝光参数。
5.一种高动态范围视频生成方法，其特征在于，包括：获取多个拍摄周期的多组图像，并根据权利要求1-4任意一项所述的高动态范围图像生成方法，生成每一组图像对应的高动态范围图像，获得若干高动态范围图像；根据所述若干高动态范围图像，生成高动态范围视频。
6.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的高动态范围图像生成方法。
7.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至4中任意一项所述的高动态范围图像生成方法。
CN202010608736.2A 2020-06-30 2020-06-30 一种高动态范围图像生成方法、终端设备及存储介质 Active CN111953893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608736.2A CN111953893B (zh) 2020-06-30 2020-06-30 一种高动态范围图像生成方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608736.2A CN111953893B (zh) 2020-06-30 2020-06-30 一种高动态范围图像生成方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN111953893A CN111953893A (zh) 2020-11-17
CN111953893B true CN111953893B (zh) 2022-04-01

Family

ID=73337250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608736.2A Active CN111953893B (zh) 2020-06-30 2020-06-30 一种高动态范围图像生成方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111953893B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598609A (zh) * 2020-12-09 2021-04-02 普联技术有限公司 一种动态图像的处理方法及装置
CN112837254B (zh) * 2021-02-25 2024-06-11 普联技术有限公司 一种图像融合方法、装置、终端设备及存储介质
CN116437222B (zh) * 2021-12-29 2024-04-19 荣耀终端有限公司 图像处理方法与电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978722A (zh) * 2015-07-06 2015-10-14 天津大学 基于背景建模的多曝光图像融合鬼影去除方法
CN107613218A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种高动态范围图像的拍摄方法及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978722A (zh) * 2015-07-06 2015-10-14 天津大学 基于背景建模的多曝光图像融合鬼影去除方法
CN107613218A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种高动态范围图像的拍摄方法及移动终端

Also Published As

Publication number Publication date
CN111953893A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN108335279B (zh) 图像融合和hdr成像
Galdran Image dehazing by artificial multiple-exposure image fusion
CN108898567B (zh) 图像降噪方法、装置及***
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
CN105812675B (zh) 基于亮度分布和运动之间的折中生成场景的hdr图像的方法
US9311901B2 (en) Variable blend width compositing
US20200134787A1 (en) Image processing apparatus and method
TWI396433B (zh) 產生高動態範圍的視訊之系統及處理方法
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN110443766B (zh) 图像处理方法、装置、电子设备及可读存储介质
US10992845B1 (en) Highlight recovery techniques for shallow depth of field rendering
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109413335B (zh) 一种双重曝光合成hdr图像的方法和装置
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
Messikommer et al. Multi-bracket high dynamic range imaging with event cameras
US11977319B2 (en) Saliency based capture or image processing
CN113344821B (zh) 图像降噪方法、装置、终端、存储介质
CN110942427A (zh) 一种图像降噪的方法及装置、设备、存储介质
CN110796041A (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110866486A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN112085686A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240515

Address after: 518000, Building 1, 402, Pulian Science and Technology Park (Phase II), No.8 Road, West Area of Tianliao Community High tech Park, Yutang Street, Guangming District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Pulian Intelligent Software Co.,Ltd.

Country or region after: China

Address before: 518000 the 1st and 3rd floors of the south section of building 24 and the 1st-4th floor of the north section of building 28, Shennan Road Science and Technology Park, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: TP-LINK TECHNOLOGIES Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right