CN113592726A - 高动态范围成像方法、装置、电子设备和存储介质 - Google Patents

高动态范围成像方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113592726A
CN113592726A CN202110732200.6A CN202110732200A CN113592726A CN 113592726 A CN113592726 A CN 113592726A CN 202110732200 A CN202110732200 A CN 202110732200A CN 113592726 A CN113592726 A CN 113592726A
Authority
CN
China
Prior art keywords
dynamic range
image
low dynamic
range image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110732200.6A
Other languages
English (en)
Inventor
刘震
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202110732200.6A priority Critical patent/CN113592726A/zh
Publication of CN113592726A publication Critical patent/CN113592726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种高动态范围成像方法、装置、电子设备和存储介质，方法包括：获取目标物体的低动态范围图像；低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；基于各低动态范围图像，生成不同尺度对应的掩膜；根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。上述方法根据同一目标物体的多帧不同曝光值的图像生成多个尺度的掩膜，并基于掩膜对不同曝光值的图像进行动态范围重建和恢复，可以在避免伪影的出现的前提下，尽可能的恢复更多目标物体的图像细节，提高重建得到的高动态范围图像的图像效果。

Description

高动态范围成像方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种高动态范围成像方法、装置、电子设备和存储介质。
背景技术
动态范围(Dynamic Range)是可变化信号(例如光信号或者声音信号)最大值与最小值的比值。在图像处理领域，动态范围是指图像能够捕获的场景中光曝光值的范围。人眼可观察到的自然场景动态范围可达10000:1，而普通消费级摄影设备(例如智能手机)往往仅能拍摄有限的低动态范围(Low Dynamic Range，LDR)图像(如100:1～300:1)。高动态(High Dynamic Range，HDR)图像动态范围更广，可以更加真实地还原出逼近真实场景的光影效果，因此能够获得层次更加丰富，画面更加真实，质量更高的照片。
获得高动态范围照片的方法有两种：第一种是通过特定的专业设备，但是这种方法价格昂贵，无法在消费电子产品(如智能手机)中普及；更常见的方法是通过融合多帧不同曝光的LDR照片来获得HDR图像。在动态场景下，由于手持相机的抖动或者前景物体的运动，多帧融合容易出现伪影问题。
相关技术中有利用深度学习来进行动态场景下的多帧融合，具体是通过光流对输入的三帧LDR图片进行对齐，然后将对齐后的三帧图像输入融合网络，得到最终HDR图片，但这种方法由于光流在遮挡或者运动幅度过大时容易出现错误从而产生伪影，得到的高动态范围图像效果不佳。
发明内容
基于此，有必要针对上述技术问题，提供一种能够避免伪影的高动态范围成像方法、装置、电子设备和存储介质。
一种高动态范围成像方法，所述方法包括：
获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
基于各所述低动态范围图像，生成不同尺度对应的掩膜；
根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
一种高动态范围成像装置，所述装置包括：
图像获取模块，用于获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
掩膜生成模块，用于基于各所述低动态范围图像，生成不同尺度对应的掩膜；
图像重建模块，用于根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
基于各所述低动态范围图像，生成不同尺度对应的掩膜；
根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
基于各所述低动态范围图像，生成不同尺度对应的掩膜；
根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
上述高动态范围成像方法、装置、电子设备和存储介质，获取目标物体的三种不同曝光值的低动态范围图像，基于各低动态范围图像生成不同尺度对应的掩膜；然后根据各低动态范围图像和各尺度的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。上述方法根据同一目标物体的多帧不同曝光值的图像生成多个尺度的掩膜，并基于掩膜对不同曝光值的图像进行动态范围重建和恢复，可以在避免伪影的出现的前提下，尽可能的恢复更多目标物体的图像细节，提高重建得到的高动态范围图像的图像效果。
附图说明
图1为一个实施例中高动态范围成像方法的流程示意图；
图2为一个实施例中根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像的流程示意图；
图3为一个实施例中将各尺度的第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理的流程示意图；
图4为一个实施例中基于各尺度的掩膜，分别对所在尺度的第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征的流程示意图；
图5为一个实施例中高动态范围成像模型的训练过程的流程示意图；
图6为另一个实施例中高动态范围成像模型的训练过程的流程示意图；
图7(1)(左)为一个具体实施例中第一初始样本低动态范围图像的示意图；
图7(1)(右)为一个具体实施例中第一变换后样本低动态范围图像的示意图；
图7(2)(左)为一个具体实施例中第二初始样本低动态范围图像的示意图；
图7(2)(右)为一个具体实施例中第二变换后样本低动态范围图像的示意图；
图7(3)(左)为一个具体实施例中第三初始样本低动态范围图像的示意图；
图7(3)(右)为一个具体实施例中第三变换后样本低动态范围图像的示意图；
图7(4)(左)为一个具体实施例中第三初始样本低动态范围图像的示意图；
图7(4)(右)为一个具体实施例中第四变换后样本低动态范围图像的示意图；
图8为一个具体实施例中高动态范围成像框架的结构示意图；
图9为一个实施例中高动态范围成像装置的结构框图；
图10为另一个实施例中高动态范围成像装置的结构框图；
图11为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
在一个实施例中，如图1所示，提供了一种高动态范围成像方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括步骤S110至步骤S130。
步骤S110，获取目标物体的低动态范围图像；低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像。
目标物体是指拍摄的照片中包含的目标，在一个实施例中，目标物体可以包括人像、动物、植物等等。在图像处理领域，动态范围是用来描述画面中从最暗的阴影部分到最高的高光部分的光亮强度分布范围。它可以用曝光数值(EV)或者“挡”来进行计量。如果描述一个场景说它的动态范围很广，即表示这个场景中从阴影部分到高光部分之间的曝光数值相差很大，画面的对比对高，层次丰富，比如拍摄夕阳下的剪影时，而其它一些场景的动态范围则小得多。在本实施例中，低动态范围图像是指图像捕获的场景中曝光值的范围为较窄(较低)的范围，即从阴影部分到高光部分之间的曝光数值相差较小。需要说明的是本申请实施例中所提到的高动态范围和低动态范围是一组相对的概念。
进一步地，在本实施例中，获取的低动态范围图像至少包括三张不同动态范围值的图像，以曝光值表示三张图像的动态范围的高低，曝光值由小到大分别记为第一低动态范围图像、第二低动态范围图像和第三低动态范围图像。需要说明的是，在本申请的实施例中，“第一”、“第二”和“第三”仅用于区分不同曝光值的图像，并不代表任何实际意义；在其它实施例中，也可以是第一低动态范围图像、第二低动态范围图像和第三低动态范围图像的曝光值依次降低。
步骤S120，基于各低动态范围图像，生成不同尺度对应的掩膜。
尺度是计算机视觉与图像处理处理领域的一个重要概念。任何一个视觉问题的答案往往依赖于其所在的尺度。而一幅图像中，只有在一定的尺度范围内，一个物体才有意义。比如，要观察一个树，所选择的尺度应该是“米”级；如果观察树上的叶子，所选择的尺度应该是“厘米”级；如果观察输液的细胞结构，则需选择“毫米”或者“微米”级。视觉问题中的“尺度”概念也可以被形象的理解为设备与被观察物体之间的距离：较远的距离对应较大的尺度，较近的距离对应较小的尺度。在图像处理中，尺度表示分辨率测量尺度。
图像掩膜与物理的掩膜类似，用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。掩膜可以用于提取感兴趣区域、屏蔽作用、结构特征提取或者特殊形状图像的制作等等。在一个实施例中，任一尺度的掩膜为掩膜矩阵；其中，掩膜矩阵中的元素值取值范围为[0,1]。
在一个实施例中，基于各低动态范围图像，生成不同尺度对应的掩膜，包括：对第一低动态范围图像、第三低动态范围图像进行拼接，得到拼接后图像；基于拼接后图像生成不同尺度的掩膜。
图像拼接是计算机视觉中的重要分支，它是将两幅以上的具有部分重叠的图像进行无缝拼接从而得到较高分辨率或宽视角的图像。其中，拼接两张图像得到一张图像可以通过任意一种方式实现。在一个实施例中，对第一低动态范围图像、第三低动态范围图像进行拼接得到拼接后图像，包括：对第一低动态范围图像、第三低动态范围图像的RGB(光学三原色：红色、绿色和蓝色)中同一颜色通道进行拼接，得到拼接后图像。在一个具体实施例中，采用concat(合并)函数实现对第一低动态范围图像、第三低动态范围图像的拼接的过程。得到拼接后图像之后，基于拼接后图像生成对应的不同尺度的掩膜。在其他实施例中，也可以通过其他方式实现对两张图像的拼接。
在一个实施例中，基于拼接后图像生成不同尺度的掩膜，包括：基于通过训练确定的引导掩膜编码器和拼接后图像，生成不同尺度的掩膜。
其中，引导掩膜编码器用于生成掩膜，可以提前利用样本数据对预设掩膜编码器框架进行训练确定引导掩膜编码器。其中，训练确定引导掩膜编码器的详细过程将在后续实施例中详细描述，在此不再赘述。进一步地，在本实施例中，将拼接后图像输入训练好的引导掩膜编码器，即可获取引导掩膜编码器输出的不同尺度的掩膜。
进一步地，在一个实施例中，引导掩膜编码器包括多层结构，层数与提取图像特征所用的网络结构层数相同。引导掩膜编码器的任意一层结构均包括卷积层和激活函数。激活函数就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常用的激活函数包括Sigmoid函数(S型生长曲线)、Tanh函数(双曲正切函数)、Relu激活函数(The Rectified Linear Unit)等等。在一个实施例中，将拼接得到的图像输入引导掩膜编码器的第一层网络结构，得到第一层网络结构输出的下采样图像特征和对应的掩膜；将第一层网络结构输出的下采样图像特征输入第二层网络结构，得到第二层网络结构输出的下采样图像特征和对应的掩膜；…。
步骤S130，根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。
在一个实施例中，如图2所示，根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像，包括步骤S131至步骤S133。其中：
步骤S131，分别对第一低动态范围图像、第二低动态范围图像和第三低动态范围图像进行多尺度特征提取，得到不同尺度下的第一低动态范围图像特征、第二低动态范围图像特征，以及第三低动态范围图像特征；各低动态范围图像特征的各尺度与掩膜的各尺度分别对应。
对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如曝光值、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。在一个实施例中，特征提取是计算机视觉和图像处理中的一个概念，它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。
多尺度特征提取从各低动态范围图像分别提取不同尺度的特征，同一图像提取的多尺度图像特征即该图像的金字塔特征；其中，可通过任意一种方式实现对低动态范围图像的多尺度特征提取。在一个实施例中，可通过神经网络对低动态范围图像进行多尺度的特征提取；例如在一个具体实施例中，可采用unet网络中的编码器部分，对于输入的低动态范围图像进行依次下采样，可得到该低动态范围图像的不同尺度的图像特征。其中，unet网络是一个U型对称结构的网络，左侧是卷积层，右侧是上采样层，而本实施例中仅采用unet网络的左侧卷积层部分。进一步地，对不同低动态范围图像进行多尺度特征提取所采用的unet网络共享权重，提取的图像特征的尺度均相同。在其它实施例中，也可以采用其它方式对低动态范围图像进行多尺度特征的提取。
进一步地，在本实施例中，分别对获取的各低动态范围图像进行多尺度特征提取，得到各尺度的第一低动态范围图像的图像特征，各尺度的第二低动态范围图像的图像特征，以及各尺度的第三低动态范围图像的图像特征。
在本实施例中，进行特征提取得到的图像特征的尺度与生成掩膜的尺度对应；进一步地，在一个实施例中，通过设定引导掩膜编码器每一层网络结构的通道数，使引导掩膜编码器与图像特征提取时的尺度保持一致。
步骤S132，基于各尺度的掩膜，分别对所在尺度的第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征。
在生成不同尺度的掩膜之后，利用掩膜将所在尺度的第一低动态范围图像的图像特征、第三低动态范围图像的图像特征融合，可以得到所在尺度的融合后图像特征。可以理解地，对于每一尺度均可得到一个融合后图像特征。融合后图像特征中包含了第一低动态范围图像和第三低动态范围图像在各对应区域的细节。
步骤S133，分别根据各尺度的第二低动态范围图像特征与融合后图像特征进行图像重建，得到目标物体的高动态范围图像。
图像重建的目的是对目标进行测量和观察，在重建图像中大量信息的直观显示是图像重建的任务之一。在一个实施例中，分别根据各尺度的第二低动态范围图像特征与融合后图像特征进行图像重建，得到目标物体的高动态范围图像，包括：分别将各尺度的第二低动态范围图像图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征；将高动态范围图像的图像特征转换为目标物体的高动态范围图像。
其中，对图像特征进行融合可以采用任意一种方式实现。在一个具体实施例中，通过concat函数实现对图像特征的融合，得到高动态范围图像的图像特征。进一步地，在得到高动态范围图像的图像特征后，将高动态范围图像的图像特征转换成对应的高动态范围图像，即目标物体的高动态范围图像。
对图像特征进行转换得到高动态范围图像可以通过任意一种方式实现。例如在一个具体实施例中，通过RCAB(residual channel attention bolck,残差通道注意力模块)实现对高动态范围图像的图像特征进行转换得到高动态范围图像的过程。
进一步地，在一个实施例中，根据第二低动态范围图像的各尺度图像特征与各尺度的融合后图像特征进行图像重建为：根据第二低动态范围图像的各尺度图像特征与各尺度的融合后图像特征进行由粗到细的图像重建。在前述步骤中，对第一低动态范围图像、第二低动态范围图像和第三低动态范围图像进行了多尺度的图像特征提取，且其中提取的第二低动态范围图像特征的尺度与生成的掩膜尺度一一对应，融合后图像特征与生成的掩膜尺度一一对应。在本步骤中，利用各尺度的第二低动态范围图像特征和融合后图像特征构建得到目标物体的高动态范围图像特征，具体为从最低尺度开始对融合后图像特征和第二低动态范围图像特征进行融合，并结合上一尺度的输出结果，最终得到与输入低动态范围图像的尺度相同的高动态范围图像特征。
在一个实施例中，将各尺度的第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征，包括：从最低尺度开始，将所在尺度的图像特征、融合后图像特征与上一尺度的输出特征拼接，得到跨尺度拼接特征；对跨尺度拼接特征进行卷积，得到所在尺度的输出特征；最低尺度的上一尺度的输出特征为预设值；将最高尺度对应的输出特征确定为高动态范围图像的图像特征。
其中，最低尺度为提取图像特征时最后一层所提取的图像特征。本实施例中，对各尺度的融合后图像特征、第二低动态范围图像特征进行融合得到目标物体的高动态范围图像特征的具体过程包括：将属于同一尺度中所对应的第二低动态范围图像特征、融合后图像特征(基于掩膜对第一低动态范围图像特征、第三低动态范围图像特征融合得到)，以及上一尺度的输出特征进行拼接，得到的结果在本实施例中记为跨尺度拼接特征；然后对跨尺度拼接特征进行卷积，得到所在尺度的输出特征。
进一步地，由于从最低尺度开始运算，最低尺度的上一尺度为空，在本实施例中，设定最低尺度的上一尺度输出特征为预设值，如此可保证在每一尺度的运算步骤是相同的，均为将融合后图像特征、第二低动态范围图像特征与上一尺度的输出特征拼接然后进行卷积处理，从而得到所在尺度的输出特征。从最低尺度开始运算，直至得到最高尺度对应的输出结果，即为本实施例中高动态范围图像的图像特征。其中，在一个具体实施例中，将最低尺度的上一尺度的输出特征设定为0。
进一步地，对融合后图像特征、第二低动态范围图像特征于上一尺度的输出特征拼接时，由于上一尺度的输出特征的尺度仍为上一尺度，与当前计算的所在尺度不相同，此时拼接为跨尺度的拼接。在一个实施例中，在进行跨尺度拼接时，将所在尺度的第二低动态范围图像特征、融合后图像特征与上一尺度的输出特征拼接，得到跨尺度拼接特征包括：对上一尺度的输出特征进行上采样，得到上采样图像特征，将所在尺度的第二低动态范围图像特征、融合后图像特征与上采样图像特征进行拼接，得到跨尺度拼接特征。
在一个具体实施例中，以包括4个尺度为例，如图3所示为本实施例中将各尺度的第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理的流程示意图。其中，
Figure BDA0003139534230000101
依次表示从高到低各尺度的融合后图像特征，
Figure BDA0003139534230000102
依次表示从高到低各尺度的第二低动态范围图像特征。
Figure BDA0003139534230000103
依次表示从高到低各尺度的跨尺度拼接特征，“↑”表示上采样操作。
Figure BDA0003139534230000104
依次表示从高到低各尺度的上采样图像特征。其中，下标(1,2,3,4)表示尺度，下标为4表示最高尺度。
上述高动态范围成像方法，获取目标物体的三种不同曝光值的低动态范围图像，基于各低动态范围图像生成不同尺度对应的掩膜；然后根据各低动态范围图像和各尺度的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。上述方法根据同一目标物体的多帧不同曝光值的图像生成多个尺度的掩膜，并基于掩膜对不同曝光值的图像进行动态范围重建和恢复，可以在避免伪影的出现的前提下，尽可能的恢复更多目标物体的图像细节，提高重建得到的高动态范围图像的图像效果。
在一个实施例中，如图4所示，基于各尺度的掩膜，分别对所在尺度的第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征，包括步骤S141至步骤S143：
针对同一尺度：
步骤S141，计算第一低动态范围图像特征与掩膜的第一乘积。
步骤S142，确定1与掩膜的差值，计算差值与第三低动态范围的图像特征的第二乘积。
步骤S143，将第一乘积和第二乘积的和值确定为所在尺度的融合后图像特征。
针对每一尺度，利用所在尺度的掩膜对第一低动态范围图像特征和第二低动态范围图像特征按照上述方式进行融合，即可得到融合后图像特征。在一个实施例中，以
Figure BDA0003139534230000111
表示各尺度融合后特征图像，
Figure BDA0003139534230000112
表示各尺度的第一低动态范围图像特征，
Figure BDA0003139534230000113
表示各尺度的第三低动态范围图像特征，mk表示各尺度对应的掩膜；其中，下标k表示尺度。则上述过程可以通过以下公式表示：
Figure BDA0003139534230000114
本实施例中，提供了一种利用掩膜对两张图像的图像特征进行融合时的运算过程，根据上述方式可将第一低动态范围图像特征、第三低动态范围图像特征融合到一起，适应性的可以获得第一低动态范围图像特征和第三低动态范围图像特征中对应区域的细节，将其保留在融合后图像特征中。
进一步地，在一个实施例中，通过高动态范围成像模型实现如上述任意一个实施例中的高动态范围成像方法。在本实施例中，如图5所示，高动态范围成像模型的训练过程包括步骤S310至步骤S330。
步骤S310，获取初始样本低动态范围图像，初始样本图像包括曝光值依次增加的第一初始样本低动态范围图像、第二初始样本低动态范围图像和第三初始样本低动态范围图像。
在一个实施例中，初始样本低动态范围图像是指获取自然拍摄的照片，进一步地，初始样本为针对同一目标物体拍摄的多张不同曝光值的低动态范围图像。在一个具体实施例中，初始样本低动态范围图像是从Kalantari提出的动态场景数据集中获取，该数据集包含74个训练样本和15个测试样本，且数据的曝光组合(Exposure Value，EV)只有EV-2，EV0，EV+2和EV-3，EV0，EV+3两种组合。
进一步地，在一个实施例中，获取初始样本低动态范围图像之后，还包括：将初始样本低动态范围图像统一裁剪为预设大小的图像；在一个具体实施例中，预设大小为256*256。将初始样本低动态范围图像进行裁剪，可节省GPU(Graphics Processing Unit，图形处理器)的显存。
步骤S320，随机选取各初始样本低动态范围图像中的图像块，针对图像块进行像素值变换处理，得到变换后样本低动态范围图像。
在初始样本图像中随机选取的图像块，并将选中的图像块中像素值进行变换，可模拟极限过曝/欠曝场景较少的问题。可以理解地，选取的图像块的大小通常小于初始样本图像本身的大小。在一个具体实施例中，选取的图像块大小为64*64。
进一步地，对于选取的图像块进行像素值变换处理，包括将图像块中的像素值变换为更高曝光值或者更低曝光值的像素值。用于替换的像素值可基于原始像素值进行变换确定。
在一个实施例中，如图6所示，随机选取各初始样本低动态范围图像中的图像块，针对图像块进行像素值变换处理，得到变换后样本低动态范围图像，包括步骤S321和步骤S322：
步骤S321，随机选取第一初始样本低动态范围图像和第二初始样本低动态范围图像中的第一图像块，将第一图像块中的像素值变换为第一目标像素值，得到第一变换后样本低动态范围图像和第二变换后样本低动态范围图像；第一目标像素值为基于伽马曲线对第一图像块中的原始像素值进行变换得到，第一目标像素值的曝光值大于第一图像块中像素值的曝光值。
由前述步骤可知，第一初始样本低动态范围图像和第二初始样本低动态范围图像的曝光值与第三初始样本低动态范围图像的曝光值相比较低，在本实施例中，在一组初始样本中选取曝光值较低的两张初始样本，分别在两张初始样本中选取同一位置对应的图像块，本实施例中记为第一图像块，将两张初始样本第一图像块中的像素值替换为比原始像素更高曝光值的像素值，在本实施例中记为第一目标像素值。
伽马(Gamma)曲线是一种特殊的色调曲线，当Gamma值等于1的时候，曲线为与坐标轴成45°的直线，这个时候表示输入和输出密度相同。高于1的Gamma值将会造成输出暗化，低于1的Gamma值将会造成输出亮化。在一个具体实施例中，基于伽马曲线对图像块中的像素值进行变换具体可以用以下表达式：输出＝输入/伽马。进一步地，在本实施例中，需将第一图像块中的像素值替换为更高曝光值的像素值，可以从伽马曲线中选取低于1的伽马值对第一图像块中的像素值进行变换，得到变换后的像素值。
进一步地，在将第一初始样本低动态范围图像和第二初始样本低动态范围图像中随机选取第一图像块进行像素值替换，将两张初始样本第一图像块中的像素值替换为曝光值更高的像素值之后，即得到了包含变换后图像块的样本图像，在本实施例中，记为第一变换后样本低动态范围图像和第二变换后样本低动态范围图像。
步骤S322，随机选取第二初始样本低动态范围图像和第三初始样本低动态范围图像中的第二图像块，将第二图像块中的像素值变换为第二目标像素值，得到第三变换后样本低动态范围图像和第四变换后样本低动态范围图像；第二目标像素值为基于伽马曲线对第二图像块中的原始像素值进行变换得到，第二目标像素值的曝光值大于第二图像块中像素值的曝光值。
由前述步骤可知，第二初始样本低动态范围图像和第三初始样本低动态范围图像的曝光值与第一初始样本低动态范围图像的曝光值相比较高，在本实施例中，在一组初始样本中选取曝光值较高的两张初始样本，选取图像块，本实施例中记为第二图像块，将第二图像块中的像素值替换为比原始像素更低曝光值的像素值，在本实施例中记为第二目标像素值。
进一步地，在本实施例中，需将第二图像块中的像素值替换为更低曝光值的像素值，可以从伽马曲线中选取高于1的伽马值对第二图像块中的像素值进行变换，得到变换后的像素值。
更进一步地，在将第二初始样本低动态范围图像和第三初始样本低动态范围图像中随机选取第二图像块进行像素值替换，将第二图像块中的像素值替换为曝光值更低的像素值之后，即得到了包含变换后图像块的样本图像，在本实施例中，记为第二变换后样本低动态范围图像和第三变换后样本低动态范围图像。
在一个实施例中，对于同一初始样本低动态范围图像可以通过图像块像素值变换得到多张变换后样本低动态范围图像。
如图7(1)(左)所示为一个具体实施例中第一初始样本低动态范围图像的示意图，图7(1)(右)为第一变换后样本低动态范围图像的示意图；其中曝光值较低的图像块为第一图像块。如图7(2)(左)所示为一个具体实施例中第二初始样本低动态范围图像的示意图，图7(2)(右)为第二变换后样本低动态范围图像的示意图；其中曝光值较低的图像块为第二图像块。如图7(3)(左)所示为一个具体实施例中第三初始样本低动态范围图像的示意图，图7(3)(右)为第三变换后样本低动态范围图像的示意图；其中曝光值较高的图像块为第三图像块。如图7(4)(左)所示为一个具体实施例中第三初始样本低动态范围图像的示意图，图7(4)(右)为第四变换后样本低动态范围图像的示意图；其中曝光值较高的图像块为第二图像块。
在其它实施例中，也可以随机选取初始样本低动态范围图像，并从其中选取图像块进行像素值的替换。
本实施例中，利用伽马曲线对初始样本图像中随机选取的图像块进行像素值变换，得到变换后样本低动态范围图像，变换后样本低动态范围图像在一定程度上模拟了极限过曝，或者极限欠曝的场景，补充了原始数据集中缺少这类场景的样本图像，增加了样本数据的丰富性。将变换后样本低动态图像后续用于高动态范围成像模型，可得到效果更好的高动态范围成像模型，可以更好的恢复图像细节。
在一个实施例中，对于获取的初始样本低动态范围图像，选择一半图像执行上述随机选取图像块进行像素值替换的步骤，而另一半图像则不进行处理；如此可保证样本数据包含多种不同场景的图像。
步骤S330，基于变换后低动态范围图像和初始样本低动态范围图像对初始高动态范围成像模型框架进行训练，得到高动态范围成像模型。
对获取的初始样本低动态范围图像随机选取图像块变换像素值之后，得到了更加丰富的样本图像数据，基于所有初始样本低动态范围图像、变换后样本低动态范围图像对预先设定的初始高动态范围成像模型框架进行训练，得到高动态范围成像模型。
在一个具体实施例中，采用L1损失函数进行模型训练：
l＝||IGT-IH||1
其中IGT为训练数据的真实高动态范围图像标签，IH为训练时模型生成的预测高动态范围图像。
进一步地，在一个具体实施例中，训练模型时使用Adam优化器训练模型，Adam优化器参数β1＝0.9,β2＝0.999,∈＝10-8，学习率为1e-4，训练代码使用Pytorch框架实现，在2张RTX 2080ti显卡上训练300轮。其中，Adam算法是一种对随机目标函数执行一阶梯度优化的算法，该算法基于适应性低阶矩估计。Adam算法很容易实现，并且有很高的计算效率和较低的内存需求。
本实施例中，提供了构造训练模型所用的样本图像的一种方式，上述方式通过对初始样本中随机选取图像块，并对图像块进行像素值的替换，用此来模拟真实场景中极限过曝或者极限欠曝的场景，用初始样本图像数据和构造得到的变换后样本图像数据进行模型训练，可得到效果更好的模型，模型基于低动态范围图像重建高动态范围图像可恢复更多图像细节。
在一个具体实施例中，以一个详细实施例对上述高动态范围成像方法进行描述：
1、训练模型
从Kalantari提出的动态场景数据集中获取初始样本图像数据。针对该数据集包含的数据样本少，且数据的曝光组合(Exposure Value，EV)只有EV-2，EV0，EV+2和EV-3，EV0，EV+3两种组合，数据中极限过曝或极限欠曝场景较少的问题，本专利提出一种新的跨曝光数据增强方式。如下图所示，最左侧是三帧输入LDR图片，为了模拟极限过曝/欠曝场景，随机在两帧上使用伽马曲线对选定区域像素值进行变换，从而产生下图中间一列的增强数据样本。
2、模型构建
准备好训练数据集后，需要训练深度神经网络。在本实施例中，高动态范围成像框架结构如图8所示。
在本实施例中，高动态范围成像模型的输入是三帧低动态范围像Il，Ir和Ih，输出是高动态范围图像IH。输入图像首先分别经过一个共享权重多尺度特征编码神经网络，提取到三帧LDR图像对应的多尺度特征:
Figure BDA0003139534230000161
和
Figure BDA0003139534230000162
同时，对于Il和Ih，将其输入到一个引导mask编码器中，获得四个对应尺度的mask{m4，m3，m2，m1}，这四个对应尺度的mask随后对
Figure BDA0003139534230000163
和
Figure BDA0003139534230000164
进行融合，用于适应性地获得亮帧Ih和暗帧Il在对应区域的细节，将融合所得的四个尺度上的新特征记为
Figure BDA0003139534230000165
最后，将新得到的特征
Figure BDA0003139534230000166
和参考帧Ir的特征
Figure BDA0003139534230000167
进行一个由粗糙到精细的HDR重建，如图3的示例，从最低尺度开始，将f*、fr以及上一个尺度输出的结果fup拼接起来，送入一个卷积模块中，每一层都依此类推，最终输出高动态范围图像的结果。
其中，进行模型训练时，使用L1损失函数训练。并且在训练模型时，为了节省GPU的显存，训练数据首先裁剪为256x256的大小。使用Adam优化器训练模型，Adam优化器参数β1＝0.9,β2＝0.999,∈＝10-8，学习率为1e-4，训练代码使用Pytorch框架实现，在2张RTX2080ti显卡上训练300轮。
上述实施例中，通过上述高动态范围成像模型基于多张不同曝光值的低动态范围图像进行图像重建，最终生成高动态范围图像，模型基于掩膜进行多尺度特征融合，能够得有效去除伪影。同时对于获取的初始样本数据，采用随机选取图像块替换像素值的方式对样本数据进行增强，模拟了极限过曝或极限欠曝的场景，使得训练得到的模型在过曝饱和区(大光比场景)和极暗场景下表现更加好，能够恢复出很好的图像细节。
进一步地，在一个具体实施例中，将本申请实施例中所提供的高动态范围成像方法与两个传统高动态范围成像方法的效果进行比较，本申请实施例所提供的方法对于高动态范围图像效果更好，伪影更少且可以恢复更多图像细节。
应该理解的是，虽然上述实施例中所涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例中所涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种高动态范围成像装置，包括：图像获取模块910、掩膜生成模块920和图像重建模块930，其中：
图像获取模块910，用于获取目标物体的低动态范围图像；低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
掩膜生成模块920，用于基于各低动态范围图像，生成不同尺度对应的掩膜；
图像重建模块930，用于根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。
上述高动态范围成像装置，获取目标物体的三种不同曝光值的低动态范围图像，基于各低动态范围图像生成不同尺度对应的掩膜；然后根据各低动态范围图像和各尺度的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。上述装置根据同一目标物体的多帧不同曝光值的图像生成多个尺度的掩膜，并基于掩膜对不同曝光值的图像进行动态范围重建和恢复，可以在避免伪影的出现的前提下，尽可能的恢复更多目标物体的图像细节，提高重建得到的高动态范围图像的图像效果。
在一个实施例中，上述装置的掩膜生成模块920包括：拼接子模块，用于对第一低动态范围图像、第三低动态范围图像进行拼接，得到拼接后图像；掩膜生成子模块，用于基于拼接后图像生成不同尺度的掩膜。
在一个实施例中，上述装置的掩膜生成模块920具体用于基于通过训练确定的引导掩膜编码器和拼接后图像，生成不同尺度的掩膜。
在一个实施例中，上述装置的图像重建模块930包括：特征提取子模块，用于分别对第一低动态范围图像、第二低动态范围图像和第三低动态范围图像进行多尺度特征提取，得到不同尺度下的第一低动态范围图像特征、第二低动态范围图像特征，以及第三低动态范围图像特征；各低动态范围图像特征的各尺度与掩膜的各尺度分别对应；融合子模块，用于基于各尺度的掩膜，分别对所在尺度的第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征；重建子模块，用于分别根据各尺度的第二低动态范围图像特征与融合后图像特征进行图像重建，得到目标物体的高动态范围图像。
在一个实施例中，上述装置的融合子模块具体用于：针对同一尺度：计算第一低动态范围图像特征与掩膜的第一乘积；确定1与掩膜的差值，计算差值与第三低动态范围的图像特征的第二乘积；将第一乘积和第二乘积的和值确定为所在尺度的融合后图像特征。
在一个实施例中，上述装置的重建子模块包括：特征融合单元，用于分别将各尺度的第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征；图像转换单元，用于将高动态范围图像的图像特征转换为目标物体的高动态范围图像。
进一步地，在一个实施例中，上述装置的特征融合单元，包括：拼接子单元，用于从最低尺度开始，将所在尺度的第二低动态范围图像特征、融合后图像特征与上一尺度的输出特征拼接，得到跨尺度拼接特征；卷积子单元，用于对跨尺度拼接特征进行卷积，得到所在尺度的输出特征；将最高尺度对应的输出特征确定为高动态范围图像的图像特征；最低尺度的上一尺度的输出特征为预设值。
在一个实施例中，通过高动态范围成像模型实现如上述任意一个实施例中的高动态范围成像方法；在本实施例中，如图10所示，上述装置还包括：模型训练模块：
样本图像获取模块1010，用于获取初始样本低动态范围图像，初始样本图像包括曝光值依次增加的第一初始样本低动态范围图像、第二初始样本低动态范围图像和第三初始样本低动态范围图像；
像素值变换处理模块1020，用于随机选取各初始样本低动态范围图像中的图像块，针对图像块进行像素值变换处理，得到变换后样本低动态范围图像；
训练模块1030，用于基于变换后低动态范围图像和初始样本低动态范围图像对初始高动态范围成像模型框架进行训练，得到高动态范围成像模型。
进一步地，在一个实施例中，上述装置的像素值变换处理模块820，包括：第一像素值变换单元和第二像素值变换单元，其中：
第一像素值变换单元，用于随机选取第一初始样本低动态范围图像和第二初始样本低动态范围图像中的第一图像块，将第一图像块中的像素值变换为第一目标像素值，得到第一变换后样本低动态范围图像和第二变换后样本低动态范围图像；第一目标像素值为基于伽马曲线对第一图像块中的原始像素值进行变换得到，第一目标像素值的曝光值大于第一图像块中像素值的曝光值；第二像素值变换单元，用于随机选取第二初始样本低动态范围图像和第三初始样本低动态范围图像中的第二图像块，将第二图像块中的像素值变换为第二目标像素值，得到第三变换后样本低动态范围图像和第四变换后样本低动态范围图像；第二目标像素值为基于伽马曲线对第二图像块中的原始像素值进行变换得到，第二目标像素值的曝光值大于第二图像块中像素值的曝光值。
关于高动态范围成像装置的具体限定可以参见上文中对于高动态范围成像方法的限定，在此不再赘述。上述高动态范围成像装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图11所示。该电子设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种高动态范围成像方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标物体的低动态范围图像；低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；基于各低动态范围图像，生成不同尺度对应的掩膜；根据各低动态范围图像和各尺度对应的掩膜，进行融合处理和图像重建处理，得到目标物体的高动态范围图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对第一低动态范围图像、第三低动态范围图像进行拼接，得到拼接后图像；基于拼接后图像生成不同尺度的掩膜。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于通过训练确定的引导掩膜编码器和拼接后图像，生成不同尺度的掩膜。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别对第一低动态范围图像、第二低动态范围图像和第三低动态范围图像进行多尺度特征提取，得到不同尺度下的第一低动态范围图像特征、第二低动态范围图像特征，以及第三低动态范围图像特征；各低动态范围图像特征的各尺度与掩膜的各尺度分别对应；基于各尺度的掩膜，分别对所在尺度的第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征；分别根据各尺度的第二低动态范围图像特征与融合后图像特征进行图像重建，得到目标物体的高动态范围图像
在一个实施例中，处理器执行计算机程序时还实现以下步骤：针对同一尺度：计算第一低动态范围图像特征与掩膜的第一乘积；确定1与掩膜的差值，计算差值与第三低动态范围的图像特征的第二乘积；将第一乘积和第二乘积的和值确定为所在尺度的融合后图像特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：分别将各尺度的第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征；将高动态范围图像的图像特征转换为目标物体的高动态范围图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从最低尺度开始，将所在尺度的第二低动态范围图像特征、融合后图像特征与上一尺度的输出特征拼接，得到跨尺度拼接特征；对跨尺度拼接特征进行卷积，得到所在尺度的输出特征；最低尺度的上一尺度的输出特征为预设值；将最高尺度对应的输出特征确定为高动态范围图像的图像特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取初始样本低动态范围图像，初始样本图像包括曝光值依次增加的第一初始样本低动态范围图像、第二初始样本低动态范围图像和第三初始样本低动态范围图像；随机选取各初始样本低动态范围图像中的图像块，针对图像块进行像素值变换处理，得到变换后样本低动态范围图像；基于变换后低动态范围图像和初始样本低动态范围图像对初始高动态范围成像模型框架进行训练，得到高动态范围成像模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：随机选取第一初始样本低动态范围图像和第二初始样本低动态范围图像中的第一图像块，将第一图像块中的像素值变换为第一目标像素值，得到第一变换后样本低动态范围图像和第二变换后样本低动态范围图像；第一目标像素值为基于伽马曲线对第一图像块中的原始像素值进行变换得到，第一目标像素值的曝光值大于第一图像块中像素值的曝光值；随机选取第二初始样本低动态范围图像和第三初始样本低动态范围图像中的第二图像块，将第二图像块中的像素值变换为第二目标像素值，得到第三变换后样本低动态范围图像和第四变换后样本低动态范围图像；第二目标像素值为基于伽马曲线对第二图像块中的原始像素值进行变换得到，第二目标像素值的曝光值大于第二图像块中像素值的曝光值。
在一个实施例中，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种高动态范围成像方法，其特征在于，所述方法包括：
获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
基于各所述低动态范围图像，生成不同尺度对应的掩膜；
根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
2.根据权利要求1所述的高动态范围成像方法，其特征在于，所述基于各所述低动态范围图像，生成不同尺度对应的掩膜，包括：
对所述第一低动态范围图像、第三低动态范围图像进行拼接，得到拼接后图像；
基于所述拼接后图像生成不同尺度的掩膜。
3.根据权利要求2所述的高动态范围成像方法，其特征在于，所述基于所述拼接后图像生成不同尺度的掩膜，包括：
基于通过训练确定的引导掩膜编码器和拼接后图像，生成不同尺度的掩膜。
4.根据权利要求2所述的高动态范围成像方法，其特征在于，根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像，包括：
分别对所述第一低动态范围图像、第二低动态范围图像和第三低动态范围图像进行多尺度特征提取，得到不同尺度下的第一低动态范围图像特征、第二低动态范围图像特征，以及第三低动态范围图像特征；各所述低动态范围图像特征的各尺度与所述掩膜的各尺度分别对应；
基于各尺度的所述掩膜，分别对所在尺度的所述第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征；
分别根据各尺度的所述第二低动态范围图像特征与所述融合后图像特征进行图像重建，得到所述目标物体的高动态范围图像。
5.根据权利要求4所述的高动态范围成像方法，其特征在于，基于各尺度的所述掩膜，分别对所在尺度的所述第一低动态范围图像特征、第三低动态范围图像特征进行融合处理，得到各尺度的融合后图像特征，包括：
针对同一尺度：
计算第一低动态范围图像特征与所述掩膜的第一乘积；
确定1与所述掩膜的差值，计算所述差值与所述第三低动态范围的图像特征的第二乘积；
将所述第一乘积和第二乘积的和值确定为所在尺度的融合后图像特征。
6.根据权利要求4所述的高动态范围成像方法，其特征在于，分别根据各尺度的所述第二低动态范围图像特征与所述融合后图像特征进行图像重建，得到所述目标物体的高动态范围图像，包括：
分别将各尺度的所述第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征；
将所述高动态范围图像的图像特征转换为所述目标物体的高动态范围图像。
7.根据权利要求6所述的高动态范围成像方法，其特征在于，分别将各尺度的所述第二低动态范围图像特征与所在尺度的融合后图像特征进行融合处理，得到高动态范围图像的图像特征，包括：
从最低尺度开始，将所在尺度的所述第二低动态范围图像特征、融合后图像特征与上一尺度的输出特征拼接，得到跨尺度拼接特征；
对所述跨尺度拼接特征进行卷积，得到所在尺度的输出特征；所述最低尺度的上一尺度的输出特征为预设值；
将最高尺度对应的输出特征确定为所述高动态范围图像的图像特征。
8.根据权利要求1至7任意一项所述的高动态范围成像方法，其特征在于，通过高动态范围成像模型实现所述的高动态范围成像方法；
所述高动态范围成像模型的训练过程包括：
获取初始样本低动态范围图像，所述初始样本图像包括曝光值依次增加的第一初始样本低动态范围图像、第二初始样本低动态范围图像和第三初始样本低动态范围图像；
随机选取各所述初始样本低动态范围图像中的图像块，针对所述图像块进行像素值变换处理，得到变换后样本低动态范围图像；
基于所述变换后低动态范围图像和初始样本低动态范围图像对初始高动态范围成像模型框架进行训练，得到所述高动态范围成像模型。
9.根据权利要求8所述的高动态范围成像方法，其特征在于，随机选取各所述初始样本低动态范围图像中的图像块，针对所述图像块进行像素值变换处理，得到变换后样本低动态范围图像，包括：
随机选取所述第一初始样本低动态范围图像和第二初始样本低动态范围图像中的第一图像块，将所述第一图像块中的像素值变换为第一目标像素值，得到第一变换后样本低动态范围图像和第二变换后样本低动态范围图像；所述第一目标像素值为基于伽马曲线对所述第一图像块中的原始像素值进行变换得到，第一目标像素值的曝光值大于所述第一图像块中像素值的曝光值；
随机选取所述第二初始样本低动态范围图像和第三初始样本低动态范围图像中的第二图像块，将所述第二图像块中的像素值变换为第二目标像素值，得到第三变换后样本低动态范围图像和第四变换后样本低动态范围图像；所述第二目标像素值为基于伽马曲线对所述第二图像块中的原始像素值进行变换得到，第二目标像素值的曝光值大于所述第二图像块中像素值的曝光值。
10.一种高动态范围成像装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标物体的低动态范围图像；所述低动态范围图像包括曝光值依次增加的第一低动态范围图像，第二低动态范围图像和第三低动态范围图像；
掩膜生成模块，用于基于各所述低动态范围图像，生成不同尺度对应的掩膜；
图像重建模块，用于根据各所述低动态范围图像和各尺度对应的所述掩膜，进行融合处理和图像重建处理，得到所述目标物体的高动态范围图像。
11.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202110732200.6A 2021-06-29 2021-06-29 高动态范围成像方法、装置、电子设备和存储介质 Pending CN113592726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732200.6A CN113592726A (zh) 2021-06-29 2021-06-29 高动态范围成像方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732200.6A CN113592726A (zh) 2021-06-29 2021-06-29 高动态范围成像方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113592726A true CN113592726A (zh) 2021-11-02

Family

ID=78245173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732200.6A Pending CN113592726A (zh) 2021-06-29 2021-06-29 高动态范围成像方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113592726A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103118A (zh) * 2022-06-20 2022-09-23 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115115518A (zh) * 2022-07-01 2022-09-27 腾讯科技（深圳）有限公司 高动态范围图像的生成方法、装置、设备、介质及产品
CN115115726A (zh) * 2022-05-10 2022-09-27 深圳市元甪科技有限公司 多频电阻抗层析成像图像的重建方法、装置、设备及介质
CN116528058A (zh) * 2023-05-26 2023-08-01 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和***
CN117456313A (zh) * 2023-12-22 2024-01-26 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288217A1 (en) * 2010-01-27 2012-11-15 Jiefu Zhai High dynamic range (hdr) image synthesis with user input
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN105323497A (zh) * 2014-05-30 2016-02-10 苹果公司 恒定包围的高动态范围（cHDR）操作
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN109997351A (zh) * 2016-12-22 2019-07-09 华为技术有限公司 用于生成高动态范围图像的方法和装置
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288217A1 (en) * 2010-01-27 2012-11-15 Jiefu Zhai High dynamic range (hdr) image synthesis with user input
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN105323497A (zh) * 2014-05-30 2016-02-10 苹果公司 恒定包围的高动态范围（cHDR）操作
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法
CN109997351A (zh) * 2016-12-22 2019-07-09 华为技术有限公司 用于生成高动态范围图像的方法和装置
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘震: "一种基于深度学习的多曝光高动态范围成像方法", 现代计算机, no. 06, pages 91 - 94 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115726A (zh) * 2022-05-10 2022-09-27 深圳市元甪科技有限公司 多频电阻抗层析成像图像的重建方法、装置、设备及介质
CN115115726B (zh) * 2022-05-10 2024-06-07 深圳市元甪科技有限公司 多频电阻抗层析成像图像的重建方法、装置、设备及介质
CN115103118A (zh) * 2022-06-20 2022-09-23 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115103118B (zh) * 2022-06-20 2023-04-07 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115115518A (zh) * 2022-07-01 2022-09-27 腾讯科技（深圳）有限公司 高动态范围图像的生成方法、装置、设备、介质及产品
CN115115518B (zh) * 2022-07-01 2024-04-09 腾讯科技（深圳）有限公司 高动态范围图像的生成方法、装置、设备、介质及产品
CN116528058A (zh) * 2023-05-26 2023-08-01 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和***
CN116528058B (zh) * 2023-05-26 2023-10-31 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和***
CN117456313A (zh) * 2023-12-22 2024-01-26 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及***
CN117456313B (zh) * 2023-12-22 2024-03-22 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及***

Similar Documents

Publication Publication Date Title
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN113592726A (zh) 高动态范围成像方法、装置、电子设备和存储介质
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN111669514B (zh) 高动态范围成像方法和装置
WO2021164731A1 (zh) 图像增强方法以及图像增强装置
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN112446834A (zh) 图像增强方法和装置
CN113572962A (zh) 室外自然场景光照估计方法及装置
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN116797504A (zh) 图像融合方法、电子设备及存储介质
CN113284055A (zh) 一种图像处理的方法以及装置
CN116012395A (zh) 一种基于深度可分离卷积的多尺度融合烟雾分割方法
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN114708172A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
Wang et al. Single low-light image brightening using learning-based intensity mapping
CN116258756B (zh) 一种自监督单目深度估计方法及***
CN116797505A (zh) 图像融合方法、电子设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
CN115115518A (zh) 高动态范围图像的生成方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination