CN117710264A - 图像的动态范围校准方法和电子设备 - Google Patents

Abstract

本申请实施例提供一种图像的动态范围校准方法和电子设备，方法包括：获得第一图像和第二图像；所述第一图像是高动态范围的增益图像；所述第二图像是YUV格式的图像；所述第二图像根据标准raw图生成；所述标准raw图是生成所述第一图像电的raw图中的标准raw图；使用所述第二图像对所述第一图像进行动态范围校准，得到目标图像，所述目标图像是高动态范围图像。本申请实施例能够降低电子设备拍摄的HDR图像与真实场景之间的视觉效果差异，提升用户体验。

Description

图像的动态范围校准方法和电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像的动态范围校准方法和电子设备。

背景技术

图像的动态范围是指图像的最亮部分与最暗部分的灰度比值。换言之，图像的动态范围是描述图像中可以呈现出的亮度级别的量度。一般来说，图像的动态范围相对越高，图像中的细节越丰富，越接近于真实环境。为此，电子设备(例如，手机)为用户提供了拍摄高动态范围(high dynamic range，HDR)图像的功能，以使得呈现给用户的图像能够包括更多的图像细节，更好地反映真实场景的视觉效果。

在用户拍摄图像时，电子设备一般会在界面中为用户显示预览视频，供用户基于预览图像完成图像拍摄。然而，电子设备在用户拍摄图像时为用户提供的HDR图像与用户查看到的预览视频中的图像(以下也简称为预览图像)之间的视觉效果存在较大差异，影响用户体验。

发明内容

本申请提供了一种图像的动态范围校准方法和电子设备，能够降低电子设备拍摄的HDR图像与用户查看的预览图像之间的视觉效果差异，提升用户体验。

第一方面，本申请实施例提供一种图像的动态范围校准方法，包括：获得第一图像和第二图像；所述第一图像是高动态范围的增益图像；所述第二图像是YUV格式的图像；所述第二图像根据标准raw图生成；所述标准raw图是生成所述第一图像的raw图中的标准raw图；使用所述第二图像对所述第一图像进行动态范围校准，得到目标图像，所述目标图像是高动态范围图像。该方法中，使用标准raw图生成的YUV格式的第二图像对第一图像进行动态范围校准，该标准raw图是生成第一图像的多帧raw图中的标准raw图，从而提高了生成的HDR图像的图像质量和视觉效果，降低了该HDR图像与用户查看的预览图像之间的视觉效果差异，提升用户体验。

在一种可能的实现方式中，所述使用所述第二图像对所述第一图像进行动态范围校准，得到目标图像，包括：生成所述第一图像的第一权重图和所述第二图像的第二权重图；构建所述第一图像的第一图像金字塔、所述第二图像的第二图像金字塔、所述第一权重图的第三图像金字塔和所述第二权重图的第四图像金字塔；根据所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔生成目标图像。

在一种可能的实现方式中，所述生成所述第一图像的第一权重图和所述第二图像的第二权重图，包括：根据曝光量确定所述第一图像的高斯滤波参数和所述第二图像的高斯滤波参数；根据所述第一图像的高斯滤波参数和所述第二图像的高斯滤波参数更新所述第一图像的第一查找表和所述第二图像的第二查找表；根据所述第一图像的第一查找表生成所述第一图像的第一权重图，根据所述第二图像的第二查找表生成所述第二图像的第二权重图。

在一种可能的实现方式中，构建所述第一权重图的第三图像金字塔和所述第二权重图的第四图像金字塔之前，还包括：对所述第一权重图和所述第二权重图分别进行高斯滤波。

在一种可能的实现方式中，对所述第一权重图进行高斯滤波，包括：对所述第一权重图进行填充处理，得到填充后的第一权重图；根据所述第一图像的高斯滤波参数对所述填充后的第一权重图进行高斯滤波；和/或，对所述第二权重图进行高斯滤波，包括：对所述第二权重图进行填充处理，得到填充后的第二权重图；根据所述第二图像的高斯滤波参数对所述填充后的第二权重图进行高斯滤波。

在一种可能的实现方式中，根据所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔生成目标图像，包括：对所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔进行融合处理，得到第一融合金字塔；对所述第一图像金字塔和所述第二图像金字塔进行融合处理，得到第二融合金字塔；根据所述第一融合金字塔和所述第二融合金字塔重建图像，得到所述目标图像。

在一种可能的实现方式中，所述对所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔进行融合处理，得到第一融合金字塔，包括：对所述第一图像金字塔和所述第三图像金字塔进行融合处理，得到第二融合金字塔；对所述第二图像金字塔和所述第四图像金字塔进行融合处理，得到第三融合金字塔；对所述第二融合金字塔和所述第三融合金字塔进行融合处理，得到所述第一融合金字塔。

在一种可能的实现方式中，所述对所述第一图像金字塔和所述第三图像金字塔进行融合处理，得到第二融合金字塔，包括：所述第一图像金字塔和所述第三图像金字塔的对应点的像素值相乘得到的积，作为所述第二融合金字塔对应点的像素值。

在一种可能的实现方式中，对所述第二融合金字塔和所述第三融合金字塔进行融合处理，得到所述第一融合金字塔，包括：所述第二融合金字塔和所述第三融合金字塔的对应点的像素值相加得到的和，作为所述第一融合金字塔对应点的像素值。

在一种可能的实现方式中，所述获得第一图像和第二图像，包括：接收用户的第一操作；响应于所述第一操作，驱动摄像头拍摄多帧raw图；所述多帧raw图的曝光量不同；根据所述多帧raw图生成所述第一图像；根据所述多帧raw图中的标准raw图生成所述第二图像。

在一种可能的实现方式中，所述根据所述多帧raw图生成所述第一图像，包括：根据所述多帧raw图生成LDR图像；对所述LDR图像进行动态范围扩展，得到所述第一图像。

第二方面，本申请实施例提供一种电子设备，包括：处理器，存储器；其中一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面任一项所述的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项所述的方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的电子设备的一种结构示意图；

图2为本申请实施例提供的电子设备的一种软件结构示意图；

图3为本申请实施例提供的图像的动态范围校准方法的一种流程示意图；

图4为本申请实施例提供的图像的动态范围校准方法的一种界面示意图；

图5为本申请实施例提供的图像的动态范围校准方法的另一种流程示意图；

图6为本申请实施例提供的电子设备的又一种结构示意图；

图7为本申请实施例提供的基于图6所示结构的图像的动态范围校准方法的又一种流程示意图；

图8A为本申请实施例提供的预览视频中的图像示意图；

图8B为本申请实施例提供的未进行动态范围校准的图像示意图；

图8C为本申请实施例提供的进行动态范围校准的图像示意图。

具体实施方式

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

图像的动态范围是指图像的最亮部分与最暗部分的灰度比值。换言之，图像的动态范围是描述图像中可以呈现出的亮度级别的量度。一般来说，图像的动态范围相对越高，图像中的细节越丰富，越接近于真实环境。为此，电子设备(例如，手机)为用户提供了拍摄高动态范围(high dynamic range，HDR)图像的功能，以使得呈现给用户的图像能够包括更多的图像细节，更好地反映真实场景的视觉效果。

在一个实施例中，电子设备在拍摄HDR图像时，驱动摄像头拍摄多帧不同曝光度的raw图，根据多帧raw图生成低动态范围(low dynamic range，LDR)图像，对LDR图像进行动态范围扩展等处理得到HDR图像，将HDR图像作为拍摄得到的图像提供给用户。然而，电子设备生成的上述HDR图像与用户观看的预览视频中的图像(以下也简称为预览图像)之间的视觉效果存在较大差异，可能会出现“真图亮度与预览差异大”、“所见非所得”、“变身明显”等舆情，影响用户体验。

为此，本申请实施例提供了另一种图像的动态范围校准方法，能够在生成HDR图像的过程中对图像的动态范围进行校准，降低HDR图像与预览图像之间的视觉效果差异，提升用户体验。

首先对本申请实施例出现的名词进行示例性说明。

图像的动态范围：是指图像的最亮部分与最暗部分的灰度比值。换言之，图像的动态范围是描述图像中可以呈现出的亮度级别的量度。

YUV：是一种色彩编码模式，其中Y表示亮度(Luminance)，也就是灰度值，U表示色度(Chrominance)，V表示浓度(Chroma)，作用是描述图像色彩和饱和度，用于指定像素的颜色。

图像金字塔：一幅图像的图像金字塔是一系列以金字塔形状(自下而上)逐步降低，且来源于该图像的图像分辨率集合。一幅图像的图像金字塔可以通过梯度向下采样获得，层级越高(越靠近金字塔顶部)，图像越小，分辨率越低。

高斯金字塔：针对一幅图像，通过高斯滤波和下采样生成的该图像的图像金字塔，称为高斯金字塔。在一些实例中，图像的高斯金字塔的最底层为该图像，每向上一层会通过高斯滤波和下采样缩小一次图像的分辨率。

拉普拉斯金字塔：拉普拉斯金字塔为了实现高斯金字塔的图像重建而存在。一幅图像的拉普拉斯金字塔是在该图像的高斯金字塔的基础上生成的，是高斯金字塔与其上一层通过上采样扩大后的差值图像。

raw图：未经处理、也未经压缩的照片格式，换言之，raw图是摄像头中的互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)或者电荷耦合元件(charge coupled device，CCD)图像传感器将捕捉到的光源信号转换为数字信号的原始数据。raw图中记录了图像传感器的原始信息，同时还可以记录摄像头拍摄所产生的的一些元数据，例如感光度(ISO)的设置、快门速度、光圈值、白平衡等。

本申请实施例的电子设备是包括摄像头的电子设备，例如手机，平板电脑(PAD)，智能可穿戴设备例如智能手表，等。

图1示出了电子设备的一种结构示意图，如图1所示，电子设备100可以包括处理器110，存储器120，摄像头130等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

摄像头130用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给图像信号处理(image signal processing，ISP)转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头130，N为大于1的正整数。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的安卓(Android)***为例，示例性说明电子设备100的软件结构。

图2是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为五层，从上至下分别为应用程序层、应用程序框架层(也称：***框架层)、***库和安卓运行时层、硬件抽象层(hardwareabstraction layer，HAL)和内核层。

应用程序层可以包括若干个应用程序(下文简称为应用)。本申请实施例中，应用程序层可以包括：图像拍摄应用，例如相机应用。

应用程序框架层为应用程序层的应用提供应用编程接口(ApplicationProgramming Interface，API)和编程框架，包括各种组件和服务来支持开发者的安卓开发。本申请实施例中，应用程序框架层可以包括摄像头服务等。

***库和安卓运行时层包括***库和安卓运行时(Android Runtime)。***库可以包括多个功能模块，例如表面管理器，libc等。安卓运行时负责安卓***的调度和管理，具体包括核心库和虚拟机。其中，核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库；虚拟机用于运行使用java语言开发的Android应用。

HAL层为位于操作***内核与硬件电路之间的接口层。HAL层包括但不限于：摄像头硬件抽象层(Camera HAL)，用于对图像流进行处理。

内核层是硬件和软件之间的层。内核层可以包括：摄像头驱动等。摄像头驱动用于驱动摄像头。

以下，结合上述图1和图2所示的电子设备的结构对本申请实施例图像的动态范围校准方法进行说明。

图3是本申请实施例提供的图像的动态范围校准方法的一种流程示意图，如图3所示，该方法可以包括：

步骤301：获得第一图像和第二图像；第一图像是高动态范围的增益图像；第二图像是YUV格式的图像；第二图像根据标准raw图生成；标准raw图是生成第一图像的raw图中的标准raw图。

增益图像是指：各个像素点的增益组成的图像，换言之，增益图像中每个像素点的像素值是该像素点的增益。像素点的增益可以是像素点的像素值的倍数值或者增加值等。高动态范围的增益图像是指该增益图像具有高动态范围。

第一图像可以是单通道的图像，每个像素点的单通道像素值也可以称为该像素点的灰度值。

可选地，电子设备可以驱动摄像头在不同曝光量下拍摄多帧raw图，根据多帧raw图生成LDR图像，对LDR图像进行动态范围扩展得到上述第一图像。

其中，对LDR图像进行动态范围扩展的方法可以使用相关动态范围扩展算法例如辐照度重建法、或者直接融合法等实现，本申请实施例不作限定。可选地，对LDR图像进行动态范围扩展时，可以通过神经网络实现。

电子设备在驱动摄像头在不同曝光量下拍摄多帧raw图时，可以先按照电子设备所处环境的亮度等计算曝光量估计值，将该曝光量估计值作为标准曝光量，基于该标准曝光量分别增加和减少曝光量，得到包括上述标准曝光量在内的多个曝光量，在上述多个曝光量下分别拍摄一帧图像，从而可以得到多帧raw图。在一个实例中，电子设备可以使用相关的梯级曝光法拍摄上述多帧raw图。

本申请实施例中，将在上述标准曝光量下拍摄的raw图称为标准raw图。在一些实例中，上述标准raw图也可以称为normalraw图。

在一些实例中，上述标准曝光量也可以称为EV0。EV0指的是在ISO100，光圈1.0，快门1秒或其等效组合拍摄时能达到正确曝光的被摄物亮度。

步骤302：使用第二图像对第一图像进行动态范围校准，得到目标图像，目标图像是高动态范围图像。

上述的第二图像是根据生成第一图像的多个raw中的标准raw图生成的YUV格式的图像，该图像在视觉效果上一般更接近于图像拍摄应用为用户提供的预览视频中的图像，在用户角度来说该图像与真实场景之间的视觉效果差距较小，因此，使用第二图像对第一图像进行动态范围校准，可以使得目标图像更为接近用户预览到的视频图像，从而提高HDR图像的图像质量和视觉效果。

需要说明的是，如果在一些场景下，与图像拍摄应用为用户提供的预览视频中的图像不是第二图像，而是其他图像，也可以将上述第二图像扩展至其他与用户预览到的图像视觉效果接近的图像。

该方法中，使用标准raw图生成的YUV格式的第二图像对第一图像进行动态范围校准，该标准raw图是生成第一图像的多帧raw图中的标准raw图，从而提高了生成的HDR图像的图像质量和视觉效果，降低了HDR图像与预览图像之间的视觉效果差异，提升用户体验。

图4是本申请实施例图像的动态范围校准方法的用户界面实现示意图。如图4所示，可以包括：

用户打开相机应用，进入图像预览界面，例如界面31所示。图像预览界面可以显示预览视频，图像预览界面包括：图像拍摄控件32，用于用户触发图像拍摄。

用户点击图像拍摄控件32，相应的，相机应用检测到用户针对图像拍摄控件32的选择操作，也即检测到用户的图像拍摄触发操作，相机应用触发图像拍摄流程，生成HDR图像并存储。

需要说明的是，相机应用触发的图像拍摄流程中可以执行本申请实施例提供的图像的动态范围校准方法，以使得生成的HDR图像是进行了动态范围校准的HDR图像，提高HDR图像的视觉效果。

需要说明的是，以上图4所示的用户界面实现仅为示例，本申请实施例提供的图像的动态范围校准方法还可以适用于其他图像拍摄场景，例如视频拍摄过程中用户触发的拍照操作或者应用自动触发的拍照操作等。

图5是本申请实施例提供的图像的动态范围校准方法的一种流程示意图，该方法可以由电子设备执行，如图5所示，该方法可以包括：

步骤501：检测到图像拍摄触发操作。

在一个实例中，在图4所示场景下，用户可以在相机应用提供的图像预览界面点击图像拍摄控件32，相应的，电子设备检测到图像拍摄触发操作。

步骤502：响应于图像拍摄触发操作，驱动摄像头拍摄多帧raw图；多帧raw图的曝光量不同。

步骤503：根据多帧raw图生成LDR图像，对LDR图像进行动态范围扩展，得到高动态范围的增益图像drcy。

为了便于说明，以下将高动态范围的增益图像简称为增益图像。

上述的高动态范围的增益图像drcy也即上述的第一图像。

步骤504：根据多帧raw图中的标准raw图生成YUV格式的参考图像ispy。

步骤505：根据曝光量，确定增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数。

可选地，电子设备中可以预先设置不同曝光量对应的增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数，本步骤中可以根据曝光量查找到对应的增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数，从而得到增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数。

可选地，高斯滤波公式可以为：上述高斯滤波参数可以包括公式中的α、m和σ，其中，α表示系数，m表示均值，σ表示协方差。相应的，本申请实施例中，可以将增益图像drcy的高斯滤波参数记为：drc-σ、drc-m、drc-α，可以将参考图像ispy的高斯滤波参数记为：isp-σ、isp-m、isp-α。

步骤506：根据增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数生成增益图像drcy的权重图drcweight1和参考图像ispy的权重图ispyweight1。

可选地，本步骤具体可以包括：

根据增益图像drcy的高斯滤波参数和参考图像ispy的高斯滤波参数，更新增益图像drcy的LUT表drcLUT和参考图像ispy的LUT表ispLUT，

根据增益图像drcy的drcLUT表将增益图像转换为权重图drcweight1，根据参考图像ispy的ispLUT表将参考图像isp转换为权重图ispweight1。

可选地，电子设备中可以预设增益图像drcy的LUT表和参考图像ispy的LUT表，本申请实施例中将增益图像drcy的LUT表记为drcLUT表，将参考图像ispy的LUT表记为ispLUT表，电子设备中预设的drcLUT表和ispLUT表的具体实现本申请实施例不作限定。本步骤中更新drcLUT表和ispLUT表的过程例如如下所示：

根据参考图像ispy的参数isp-m更新参考图像ispy的ispLUT表，具体的，将参考图像ispy的ispLUT表中小于isp-m的灰度值的映射关系更新为将小于isp-m的灰度值映射为isp-m，也即i<isp-m时，将i的映射关系更新为：ispLut[i]＝ispLut[isp-m]；

根据增益图像drcy的参数drc-m以及参考图像ispy更新后的ispLUT表更新增益图像drcy的drcLUT表，具体的，将增益图像drcy的drcLUT表中小于drc-m的灰度值的映射关系更新为：将小于drc-m的灰度值映射为：该灰度值在drcLUT表和ispLUT表中映射值中的较大值，也即i<drc-m时，将i的映射关系更新为：drcLut[i]＝Max(drcLut[i],ispLut[i])；

将参考图像ispy更新后的ispLUT表中灰度值的映射值设置为：最大比特宽度与该灰度值的映射值的差值，也即，将i的映射关系更新为：ispLut[i]＝MaxBitWidth-drcLut[i]。

可选地，上述灰度值i的取值可以为0～1024。

可选地，对于增益图像，将每个像素点(x，y)的灰度值按照drcLUT表查找到的映射值作为该像素点(x，y)的权重值，也即：ispWeight[x，y]＝ispLut[isp[x，y]]，根据各个像素点的权重值生成权重图drcweight1；对于参考图像，将每个像素点(x，y)的灰度值按照ispLUT表查找到的映射值作为该像素点(x，y)的权重值，也即drcWeight[x，y]＝drcLut[drc[x，y]]，根据各个像素点的权重值生成权重图ispweight1。

步骤507：根据增益图像drcy的高斯滤波参数对增益图像drcy的权重图drcweight1进行高斯滤波，得到权重图drcweight2；根据参考图像isp的高斯滤波参数对参考图像isp的权重图ispweight1进行高斯滤波，得到参考图像ispy的权重图ispweight2。

可选地，在对权重图drcweight1和权重图ispweight1进行高斯滤波之前，可以先对权重图drcweight1和权重图ispweight1进行填充(padding)处理，以能够对权重图drcweight1和权重图ispweight1边缘位置的像素点进行高斯滤波处理。

本步骤为可选步骤，通过对权重图进行高斯滤波，可以提高权重图的精确度。

步骤508：构建权重图drcweight2的高斯金字塔T1，构建增益图像drcy的拉普拉斯金字塔L1，构建权重图ispweight2的高斯金字塔T2，构建参考图像ispy的拉普拉斯金字塔L2。

本步骤中构建高斯金字塔和拉普拉斯金字塔的具体方法本申请实施例不作限定，需要说明的是，构建的高斯金字塔1、高斯金字塔2、拉普拉斯金字塔1、拉普拉斯金字塔2的层数等信息相同，以完成后续步骤中的融合处理。

步骤509：对高斯金字塔1、高斯金字塔2、拉普拉斯金字塔1、拉普拉斯金字塔2进行融合处理，得到融合金字塔，对高斯金字塔1和高斯金字塔2进行融合处理，得到权重金字塔。

可选地，本步骤可以包括：

对高斯金字塔T1和拉普拉斯金字塔L1进行融合处理，得到初级融合金字塔F1；

对高斯金字塔T2和拉普拉斯金字塔L2进行融合处理，得到初级融合金字塔F2；

对初级融合金字塔F1和初级融合金字塔F2进行融合处理，得到次级融合金字塔F3。

可选地，对高斯金字塔T1和拉普拉斯金字塔L1进行融合处理，具体可以包括：

将高斯金字塔T1和拉普拉斯金字塔L1的对应点的像素值相乘，将乘积作为初级融合金字塔F1中对应点的像素值。

可选地，对高斯金字塔T2和拉普拉斯金字塔L2进行融合处理，具体可以包括：

将高斯金字塔2和拉普拉斯金字塔2的对应点的像素值相乘，将乘积作为初级融合金字塔2中对应点的像素值。

可选地，对初级融合金字塔F1和初级融合金字塔F2进行融合处理，得到融合金字塔F3，具体可以包括：

初级融合金字塔F1和初级融合金字塔F2的对应点的像素值相加，将得到的和作为融合金字塔F3中对应点的像素值。

可选地，对高斯金字塔T1和高斯金字塔T2进行融合处理，得到权重金字塔W1，具体可以包括：

将高斯金字塔T1和高斯金字塔T2的对应点相加，将得到的和作为权重金字塔W1中对应点的像素值。

步骤510：根据融合金字塔F3和权重金字塔W1重建拉普拉斯金字塔，得到目标图像。

可选地，本步骤可以包括：

将融合金字塔F3和权重金字塔W1的对应点的像素值相除，将得到的商作为目标金字塔中对应点的像素值；

对目标金字塔进行逐层上采样，得到目标图像。

可选地，上述目标图像可以是HDR图像，用于作为相机应用拍摄得到的HDR图像。

图5所示的方法中，使用标准raw图生成的YUV格式的参考图像isp对增益图像进行动态范围校准，生成目标图像，上述标准raw图是生成增益图像的多帧raw图中的标准raw图，从而提高了生成的HDR图像的图像质量和视觉效果。

图6是本申请实施例提供的电子设备的另一种结构示意图，包括：相机应用、摄像头HAL、摄像头驱动和摄像头。

其中，摄像头HAL可以包括：控制模块、LDR图像生成模块、动态范围扩展模块、格式转换模块以及动态范围校准模块。

控制模块可以用于与相机应用以及摄像头驱动通信，还用于确定摄像头拍摄raw图的曝光量等。

LDR图像生成模块用于根据多帧raw图生成LDR图像。

动态范围扩展模块用于对LDR图像进行动态范围扩展，得到高动态范围的增益图像。

格式转换模块用于将raw图转换为YUV格式的参考图像。

动态范围校准模块用于使用参考图像对增益图像进行动态范围校准，得到目标图像。

可选地，电子设备通过例如图2所示的安卓***实现时，相机应用可以位于电子设备的应用层，摄像头HAL可以位于电子设备的HAL层，摄像头驱动可以位于电子设备的内核层，摄像头可以位于电子设备的硬件层。需要说明的是，以上仅为示例，在不同的操作***中，上述结及其所处的层级可以适应性变化，本申请实施例不作限定。

图7是本申请实施例提供的基于图6所示结构的图像的动态范围校准方法的一种流程示意图。如图7所示，该方法可以包括：

步骤701：相机应用检测到拍照触发操作。

步骤702：相机应用向摄像头HAL中的控制模块发送拍照请求。

步骤703：控制模块向摄像头驱动发送拍照指示。

拍照指示中可以指示所需拍摄raw图的曝光量。

步骤704：摄像头驱动接收到拍照指示，驱动摄像头按照曝光量拍摄raw图，得到多帧raw图，将多帧raw图发送给控制模块。

步骤705：控制模块将多帧raw图发送给LDR图像生成模块。

步骤706：LDR图像生成模块接收多帧raw图，根据多帧raw图生成LDR图像，将LDR图像发送给动态范围扩展模块。

步骤707：动态范围扩展模块对LDR图像进行动态扩展，得到HDR增益图像，将HDR增益图像发送给动态范围校准模块。

步骤708：控制模块将多帧raw图中的normalraw图发送给格式转换模块。

步骤709：格式转换模块将normalraw图转换为YUV格式的图像，将YUV图像发送给动态范围校准模块。

步骤705～步骤707与步骤708～步骤709之间的执行顺序不限制。

步骤710：动态范围校准模块使用参考图像对增益图像进行动态范围校准，得到HDR图像。

这里得到的HDR图像也即是上述的目标图像。

本步骤的实现可以参考前述的步骤406～步骤412。

动态范围校准模块使用参考图像对增益图像进行动态范围校准的具体实现可以参考步骤506～步骤511，这里不赘述。

步骤711：动态范围校准模块将目标图像发送给控制模块。

步骤712：控制模块将HDR图像发送给相机应用，相机应用将HDR图像作为拍摄得到的图像进行保存。

需要说明的是，如果摄像头HAL中设置有相机应用访问动态范围校准模块的接口，则动态范围校准模块也可以将目标图像直接发送给相机应用，而不需要控制模块进行转发。

图8A所示图像为图像拍摄应用为用户显示的预览视频中的图像，图8B所示图像为未经过动态范围调整得到的HDR图像示例，图8C所示图像为经过动态范围调整后得到的HDR图像，对比可知，动态范围调整后得到的HDR图像相对于未动态范围调整的HDR图像，没有图像发黑的问题，视觉效果更为接近预览视频中的图像，解决了HDR图像与预览视频中的图像亮度有较大差异的问题。

本申请实施例还提供一种电子设备，包括处理器和存储器，处理器用于实现本申请实施例提供的方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请实施例提供的方法。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像的动态范围校准方法，其特征在于，包括：

获得第一图像和第二图像；所述第一图像是高动态范围的增益图像；所述第二图像是YUV格式的图像；所述第二图像根据标准raw图生成；所述标准raw图是生成所述第一图像的raw图中的标准raw图；

使用所述第二图像对所述第一图像进行动态范围校准，得到目标图像，所述目标图像是高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，所述使用所述第二图像对所述第一图像进行动态范围校准，得到目标图像，包括：

生成所述第一图像的第一权重图和所述第二图像的第二权重图；

构建所述第一图像的第一图像金字塔、所述第二图像的第二图像金字塔、所述第一权重图的第三图像金字塔和所述第二权重图的第四图像金字塔；

根据所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔生成目标图像。

3.根据权利要求2所述的方法，其特征在于，所述生成所述第一图像的第一权重图和所述第二图像的第二权重图，包括：

根据曝光量确定所述第一图像的高斯滤波参数和所述第二图像的高斯滤波参数；

根据所述第一图像的高斯滤波参数和所述第二图像的高斯滤波参数更新所述第一图像的第一查找表和所述第二图像的第二查找表；

根据所述第一图像的第一查找表生成所述第一图像的第一权重图，根据所述第二图像的第二查找表生成所述第二图像的第二权重图。

4.根据权利要求3所述的方法，其特征在于，构建所述第一权重图的第三图像金字塔和所述第二权重图的第四图像金字塔之前，还包括：

对所述第一权重图和所述第二权重图分别进行高斯滤波。

5.根据权利要求4所述的方法，其特征在于，对所述第一权重图进行高斯滤波，包括：

对所述第一权重图进行填充处理，得到填充后的第一权重图；根据所述第一图像的高斯滤波参数对所述填充后的第一权重图进行高斯滤波；

和/或，

对所述第二权重图进行高斯滤波，包括：

对所述第二权重图进行填充处理，得到填充后的第二权重图；

根据所述第二图像的高斯滤波参数对所述填充后的第二权重图进行高斯滤波。

6.根据权利要求2至5任一项所述的方法，其特征在于，根据所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔生成目标图像，包括：

对所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔进行融合处理，得到第一融合金字塔；

对所述第一图像金字塔和所述第二图像金字塔进行融合处理，得到第二融合金字塔；

根据所述第一融合金字塔和所述第二融合金字塔重建图像，得到所述目标图像。

7.根据权利要求6所述的方法，其特征在于，所述对所述第一图像金字塔、所述第二图像金字塔、所述第三图像金字塔和所述第四图像金字塔进行融合处理，得到第一融合金字塔，包括：

对所述第一图像金字塔和所述第三图像金字塔进行融合处理，得到第二融合金字塔；

对所述第二图像金字塔和所述第四图像金字塔进行融合处理，得到第三融合金字塔；

对所述第二融合金字塔和所述第三融合金字塔进行融合处理，得到所述第一融合金字塔。

8.根据权利要求7所述的方法，其特征在于，所述对所述第一图像金字塔和所述第三图像金字塔进行融合处理，得到第二融合金字塔，包括：

所述第一图像金字塔和所述第三图像金字塔的对应点的像素值相乘得到的积，作为所述第二融合金字塔对应点的像素值。

9.根据权利要求7所述的方法，其特征在于，对所述第二融合金字塔和所述第三融合金字塔进行融合处理，得到所述第一融合金字塔，包括：

所述第二融合金字塔和所述第三融合金字塔的对应点的像素值相加得到的和，作为所述第一融合金字塔对应点的像素值。

10.根据权利要求1至5任一项所述的方法，其特征在于，所述获得第一图像和第二图像，包括：

接收用户的第一操作；

响应于所述第一操作，驱动摄像头拍摄多帧raw图；所述多帧raw图的曝光量不同；

根据所述多帧raw图生成所述第一图像；

根据所述多帧raw图中的标准raw图生成所述第二图像。

11.根据权利要求10所述的方法，其特征在于，所述根据所述多帧raw图生成所述第一图像，包括：

根据所述多帧raw图生成LDR图像；

对所述LDR图像进行动态范围扩展，得到所述第一图像。

12.一种电子设备，其特征在于，包括：

处理器，存储器；其中一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行权利要求1至11任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行权利要求1至11任一项所述的方法。