CN106464815B - 高动态范围成像的快速自适应混合的***以及方法 - Google Patents

Abstract

本发明涉及一种高动态范围(high dynamic range,HDR)成像的***以及制作和应用该***的方法。基于高动态范围成像所采集的一组图片的曝光配置，相机中高动态范围模块初始化YUV颜色空间的一查找表(LUTs)。高动态范围模块计算出YUV颜色空间中该组图像的亮度Y分量的权重。基于计算的权重，该HDR模块应用该组图像的Y分量以产生混合的Y分量。该HDR模块结合Y分量以及对应的UV分量以产生了基于YUV颜色空间的单一图像。因此，仅凭借该组图像混合的Y分量，HDR模块有利于将一组图像与混合的HDR成像结合在一起。

Description

高动态范围成像的快速自适应混合的***以及方法

技术领域

公开的实施方式总体上涉及到高动态范围(high dynamic range，HDR)成像，更具体地但不限于，涉及一种在混合的高动态范围图像中以省时且高效的方式结合一组图像的***与方法。

背景技术

高动态范围(High dynamic range，HDR)是用于成像以及摄影的一系列技术，所述技术能用来记录比常规的摄影技术更高的亮度。传统的摄像机不具有高动态范围的功能，其拍摄具有有限的动态范围，导致了场景细节的缺失。例如，当拍摄非高动态范围的图像时，在阴影区域中经常出现曝光不足且在亮光区中经常出现曝光过度，这是因为传感器的有限的动态范围的性能所导致。通常来说，传感器包括常规的电荷耦合装置(CCD)传感器以及互补金属氧化物半导体(CMOS)的传感器，能够获取照明亮度大约1∶1000或者60dB的动态范围。这意味着最大电荷大约为最暗信号的1000倍。然而，许多应用需要在更宽的动态范围的场景下来进行操作，例如1∶10000或者100dB。高动态范围成像技术通过以不同的曝光水平捕捉多个图像并将所述多个图像合成出具有更宽色调范围的单一图像，弥补了具体细节的缺失。为了促进高动态范围图像在较低动态范围的装置上的显示，采用调和映射方法生成具有保存的局部对照的图像。

为获取用于高动态范围成像的多幅图片，现代摄像机提供具有更大的动态范围的自动包围曝光(automatic exposure bracketing，AEB)的特征。基于这种特征，利用从曝光不足到曝光过度的增量式曝光水平能够较容易获取一组图片。

为显示利用高动态范围成像显示多幅图片，传统的方法是通过使用在个人电脑(PC)上运行的应用软件来完成。如今，现代摄像机内置的图像信号处理器(ISP)相比以前具有更强大的功能，这促使厂商发展允许内置高动态范围的特征的更快的高动态范围成像的方法。这种趋势显著性提升了拍摄的便捷性以及效率。此外，如果能够实时的计算以及显示高动态范围成像，高动态范围成像的录像将变成可能。

典型的高动态范围的过程通常包括三个步骤：(1)摄像机反应函数的估计；(2)用于高动态范围成像的多重曝光的一组图像的合成；以及(3)合成后高动态范围图像的调和映射。该相机的成像过程利用从场景亮度E_i及曝光设置k_j至像素亮度Z_i的非线性的映射g(X)进行模型化的处理，通过方程式(1)表示。

g(Z_i，j)＝lnE_i+lnk_j 方程式(1)

其中k_j跟孔径A(F-值)，曝光时间t以及ISO速度S相关。因为存在许多未知的方程式，方程式(1)是超定方程，可以通过最小二乘法求解。通常来说，通过从灰度值至亮度图的查找表(100k up table，LUT)来执行g(X)。

完成求解方程式(1)之后，多重的曝光的合成能够用方程式(2)来表示，

，其中w(X)是代表亮度的权重函数，当场景亮度恢复时，用来表示Z_i，j的权重。典型的权重函数结果曲线在图8中进行阐述。

文献中有很多针对方程式(2)的调和映射。对于普通的显示，简单的调和映射的操作以方程式(3)表示。

其中

为比例亮度且α＝0.18.

由方程式(1)-(3)可以看出，传统的高动态成像的方法经常需要大量的计算资源。例如，传统的方法应用了最小二乘法，其通常通过奇异值分解或者QR分解来求解。除此之外，方程式(2)以及方程式(3)需要逐像素指数以及对数的操作。因此，计算的复杂性成为内置的高动态范围特征中的主要问题，该计算的复杂性使高动态范围成像的视频制作成为不可能。

而且，基于“红、绿、蓝”(RGB)颜色空间的高动态范围成像的传统方法包括一些不足。首先，因为所有的RGB通道都跟亮度水平有关联，相机反应函数的评估需要在所有三个通道进行，这也是计算代价高昂的原因。其次，采样难以覆盖所有的灰度范围，抽样偏差降低了评估的表现。第三，低亮度的光线中色彩杂讯可能降低评估的表现。最后，调和映射可能导致颜色的失真，例如白平衡的失真。

因此，需要提供一种***以及方法，该***以及方法用于合成高动态范围成像的一组图像，以省时以及高效的方式来保存高动态范围成像的质量。

发明内容

本发明提供了一种用于高动态范围成像的方法以及装置。基于该衍生说明，该发明方法利用了之前丢弃的方法点出了高动态辐射地图的恢复。亮度信道利用分别的混合曲线快速计算结合的不同的曝光值。利用现有的方法保存了大量的计算资源。基于亮度(Y)、蓝色-亮度(U)以及红色-亮度(V)的颜色空间，提出的步骤不需要额外的后期处理步骤，从而克服之前的方法所带来的彩色失衡以及荧光缺陷等问题。

因此根据第一部分所揭露的主体，提供了一种高动态范围成像的方法。该方法包括：基于一组查找表(LUTs)计算YUV颜色空间的一组图像的Y分量的权重；混合该组图像的Y分量的所述权重，以产生混合的Y分量；以及将所述混合的Y分量与相应的UV分量相结合以产生YUV颜色空间的单张高动态范围图像。

在一优选的实施方式中，进一步包括基于高动态范围成像的该组图像的曝光设置，初始化所述查找表(LUTs)。

在一优选的实施方式中，进一步包括：利用不同的曝光设置曝光RGB颜色空间中该组图像，使每张图像具有一个唯一的曝光设置；以及在所述计算之前，将该组图像从RGB颜色空间转化至YUV颜色空间。

在一优选的实施方式中，进一步包括：平均YUV颜色空间的该组图像的UV分量值以获取平均UV分量。

在一优选的实施方式中，其中结合的步骤包括结合所述混合的Y分量以及所述平均UV分量，以产生YUV颜色空间的单一的高动态范围图像。

在一优选的实施方式中，进一步包括：将所述单一的高动态范围成像从YUV颜色空间转化至RGB颜色空间，以产生RBG颜色空间的高动态范围成像。

在一优选的实施方式中，其中所述计算Y分量的权重包括基于每幅图像的曝光设置，采用从多个函数中选择一函数计算Y分量。

在一优选的实施方式中，其中所述基于每幅图像的曝光设置，采用从多个函数中选择一函数计算Y分量包括：将第一修正S型函数应用至最大化曝光不足图像的Y分量；将第一修正S型函数的导数应用至正常曝光图像的Y分量；以及将第二修正S型函数应用至最大化过度曝光图像的Y分量。

在一优选的实施方式中，其中所述基于每副图像的曝光设置，采用从多个函数中选择一函数计算Y分量包括：在第一修正S型函数以及第一修S型函数的导数之间，将第一插值函数应用至曝光不足图像的Y分量；在第一修正S型函数的导数以及第二修正S型函数之间，将第二插值函数应用至曝光过度图像的Y分量。

在一优选的实施方式中，其中最大化曝光不足的图像的Y分量的应用包括应用S(x，a)的函数；正常曝光图像的Y分量的应用包括应用

的函数；以及最大化曝光过度的图像的Y分量的应用包括应用S(255-x，a)的函数。

在一优选的实施方式中，其中应用曝光不足图像函数的Y分量的应用包括应用

的函数；以及曝光过度的图像的Y分量的应用包括应用

函数。

在一优选的实施方式中，其中因子α在[0-1]之间的范围，因子β在[0-1]之间的范围。

在一优选的实施方式中，进一步包括：平滑化计算的Y分量的权重。

在一优选的实施方式中，其中平滑化包括应用具有计算的Y分量权重的高斯滤波器。

在一优选的实施方式中，其中平均UV分量包括：应用平均计算方程式到该组图像的每个UV分量。

因此，根据主体的第二部分所阐述的实施方式，提供一具有高动态范围成像的图像摄像机。该相机能够提供一高动态范围模块，用于执行以上实施方式中的任一讨论的方法。

附图说明

为让本发明的上述目的、特征和优点更能明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1为实施例的顶层模块图，描述具有高动态范围能力的相机的实施方式，其中相机用于获取高动态范围图像。

图2为实施例的顶层模块图，描述图1的相机的替代实施例，其中该相机用于获取高动态范围视频。

图3为实施例的顶层模块图，描述图1的相机中的另一替代实施例，其中获取了用于高动态范围成像的一组五张曝光不同曝光度的图像。

图4为实施例的顶层模块图，描述图1的相机中的再一实施例，其中获取了用于高动态范围成像的一组七张曝光不同曝光度的图像。

图5为实例性的流程图，描述利用图1或者图2中显示的高动态范围模块执行方法的实施方式，其中所述方法包括结合YUV颜色空间的一组图像至一个高动态范围图像。

图6为实例性的流程图，描述图5的方法的一种实施方式，其中所述方法包括平均该组图像的UV分量以及初始化曝光设置的LUTs。

图7为实例性的流程图，描述图5或者图6的方法一种实施方式，其中该方法包括将RGB颜色空间的一组图像结合至RGB的颜色空间的高动态范围图像。

图8为实例性的流程图，描述图5，图6或者图7的方法的一种替代实施方式，其中方法包括执行权重计算。

图9为实例性的流程图，进一步阐述了图8的方法的实施方式，其中阐述了所述每个模块的所适用的方程式。

图10为实例性的流程图，进一步阐述了图8的方法的实施方式，其中5个或者更多的图像包括在一组图像中用于高动态范围成像的图像中。

图11为实例性的流程图，进一步阐述了图10的方法的实施方式，其中阐述了每个模块所适用的方程式。

图12为曲线图，显示了传统高动态范围成像方法采用的典型的权重函数的混合曲线。

图13为曲线图，显示了所述方法的实施方式中当a＝-0，05时权重函数的混合曲线。

图14显示了一组具有三个曝光设置：-1EV(图14A)，0EV(图14B)，+1EV(图14C)的三组图像，且其可视化的权重分别显示在图14D、图14E以及图14F中。

图15，图16以及图17为利用上述的方法进行高动态范围成像的实例，其中三幅图像(1EV，0EV，+1EV)用于产生高动态范围图像。

应当注意的是，所述诸图不是依照比例绘制，且在所述诸图中，出于图示目的，具有相似结构或功能的元件通常用相似参考数字来表示。还应当注意的是，所述诸图仅用于便于描述优选实施方式的目的。所述诸图没有图示所描述实施方式的所有方面，且不限制本公开的范围。

具体实施方式

本发明提出了***以及方法，用于高动态范围成像的快速混合。一般而言，虽然能够适用于任何图像采集装置，该图像采集装置能够为高动态范围成像以不同的特定曝光度拍摄一组图像，但是为说明性目的，将参照能够利用从曝光不足到曝光过度的增量曝光水平采集一组图像的相机展现以及描述所述***以及方法。

为了说明所揭露的***以及方法的目的，图14分别展示了利用图14A、图14B以及图14C的增量曝光(-1EV，0EV，+1EV)的一组三张图像的例子。所述三张图片中的每一张图片捕捉场景的某些部分的细节等，例如图14A所拍摄的场景为天空，图14B所拍摄的场景为河流，图14C所拍摄的场景为建筑物以及小船。该***以及方法的目的在于将具有不同曝光度的所述三张图像结合至一张高动态范围图像中，该高动态范围图像保存了三张图像中的每一张的细节。

图1显示了用于实现上述高动态范围成像目的的相机100。正如图1所示，该相机100具有用于接收表现场景198的光线的镜头102。通过所述镜头102接收的光线以用于产生数据流133的光信号131的方式提供给传感器104，该数据流133代表场景198的图像信号。该数据流133传递到图像信号处理器(ISP)110的成像管道。图像信号处理器(ISP)110包括具有高动态范围成像模块114的芯片。图像信号处理器110的自动曝光模块116控制着每张图像的曝光的产生以及储存在存储器106中。如图1中所示，例如，通过传感器104以及图像信号处理器110能够产生一组包括曝光不足的图像106A，正常曝光的图像106B以及曝光过度的图像106C的三张图像。该组三张图像存储于所述存储器106中。该组图像能够通过成像管道112流水线式输送到高动态范围模块114，该高动态范围模块114结合该组图像产生一单一的高动态范围图像。该组流水线式的图像包括每张图片的曝光设置。因此，高动态范围模块114的目的在于拍摄代表特定场景并具有其曝光设置的一组图像以及产生单一的高动态范围图像199。

类似地，为了拍摄高动态范围的视频，图2中显示了相机100，该相机100具有用于接收表现场景198的光线的镜头102。通过所述镜头102接收的光线提供到传感器104中，用于产生数据流131，所述数据流131代表一组连续的图像的流动。控制***120通过变化增益模块118改变传感器104的增益值，从而以不同的曝光时间获取视频中特定帧的一组图像。如图2中所示，例如，通过数据流134，能够获得存储器106中视频的每一帧的具有曝光不足的图像106A，正常曝光图像106B以及曝光过度的图像106C的一组三张图。控制***120通过成像管道112的控制来自存储器106的数据流。该组流水线式的图片包括三幅图像以及每幅图像的曝光设置。所述流水线式的图像通过数据流135提供给ISP 110的高动态范围模块114。鉴于曝光设置，高动态范围模块114结合特定帧数的一组图像以产生单一的高动态范围图像199，所述高动态范围图像199代表了所述视频的所述帧。所述视频中的每一帧采用上述高动态范围图像199方式处理，以生成连续流动的高动态范围图像或者帧，所述连续流动的高动态范围图像或者帧表示视频片段。

虽然仅为说明性的目的，在图1以及图2中已经展示和描述基于三幅图像提供高动态范围成像的所述配置，但是本文所揭露的方法能够适用于任何数量的图像。所揭露的方法典型地用于奇数数目的高动态范围图像。例如，因此该揭露的用于高动态范围图像的方法能够应用于五幅或者更多的具有不同曝光值的图像。在典型的采用自动包围曝光的高动态范围成像的的曝光设置中，在曝光场景198时采用包围曝光。虽然所述曝光可以以任何合适的顺序(或者次序)进行，但典型地，需要首先确定正常曝光。然后，基于选择的正常曝光，以正向及负向上固定间隔的曝光补偿来采集多个图像以形成一系列的图像，该系列图像中包括具有正常曝光的图像。该系列图像的曝光值形成等差数列。例如，对于五张图像的序列，正常曝光值可以设置为0EV，曝光补偿的固定间隔选择为1。因此，该序列的图像的曝光值为(-2EV，-1EV，0EV，+1EV，+2EV)。相同的例子，如果固定间隔选择为2，该系列的图像的曝光值为(-4EV，-2EV，0EV，+2EV，+4EV)。另一方面，所述固定间隔包括任何能产生该系列图像的任何适用的数目。

相关概念应用在了七张或者更多图像的序列。七张图像的序列中，如果正常曝光值设为0EV，固定间隔选择为1，该系列的图像的曝光值为(-3EV，-2EV，-1EV，0EV，+1EV，+2EV，3EV)。相似地，如果固定间隔选择为2，该序列变为(-6EV，-4EV，-2EV，0EV，+2EV，+4EV，6EV)。为了本文揭露的目的，一序列图像等同于一组图像。

图3显示了相机100，所述相机100利用前述段落所描述的中的曝光设置的方法采集具有一组五张图片的高动态范围图像。该组五张图像包括两个曝光不足的图像106A，106D，普通曝光的图像106B以及两张曝光过度的图像106E，106C。106A，106D，106B，106E以及106C的曝光值如上所述的等差数列。图4显示了相机100，所述相机100利用前利用具有一组七张图像获取的高动态范围图像，所述七张图像包括三张曝光不足的图像106A，106F，106D，一张普通曝光的图像106B以及三张曝光过度的图像106E，106G以及106C。除了高动态范围成像中的图像数量之外，图3以及图4中的方式与图1中所示的方式相同。106A，106F，106D，106B，106E，106G，and 106C的曝光值形成了等差数列。

现在，通过图5阐述相机100处理高动态范围图像的一种方法，该方法展示了由高动态范围模块114执行的方法200的实施方式(如图1以及图2所示)。在图5中，方法200提供了两个用于处理该组图像的处理分支：第一处理分支201A处理该图像的Y分量，以及第二分支201B获取该组图像的曝光设置。当高动态范围模块114(如图1以及图2所示)沿着曝光设置接收YUV颜色空间的一组图像，在219中，高动态范围模块114为从该组图像中选出每张图片选择Y分量。接着，在220中，通过调节在229中获取的曝光设置权重计算，高动态范围模块114计算该组图像的每个Y分量的权重220中的权重计算将在图8，图9，图10以及图11中进行讨论。

在206中，基于在220中计算的权重，高动态范围模块114混合该组图像的每张图片的Y分量，以产生混合的(或者合成的)Y分量。接着，在208中，高动态范围模块114结合该组图像中所述混合的Y分量与相应的UV分量以产生YUV颜色空间中的高动态范围图像。

图5中的另外一种实施例的方法200在图6中得到进一步的阐述。为了处理用于高动态范围成像的YUV颜色空间的一组图像，所述方法200提供用于处理该组图像的三种处理分支：第一处理分支201A处理该组图像的Y分量，第二处理分支201B处理该组图像的曝光设置，及第三处理分支201C处理该组图像的UV分量。在202中，当HDR模块114(如图1以及图2所示)沿着它们的曝光设置获取YUV颜色空间的一组图像时，所述高动态模块114为从该组图像中选择的一张图像的每一曝光设置初始化查阅表(LUT)。接着，在220中，同图5相似，通过调节曝光设置权重计算，高动态范围频率模块114计算该组图像的每个Y分量。在206中，基于在220中计算的权重，高动态范围模块114混合该组图像的每张图像的Y分量，以产生一组混合的(或者合成的)Y分量。

方法200的处理分支201A中，高动态范围模块114在209中选择同样一组图像的UV分量，以及在210，计算所述图像中选择的UV分量值的平均值以产生平均UV分量。在208中，高动态范围模块114结合所述混合的Y分量以及所述平均UV分量在YUV颜色空间产生单张高动态范围图像。

方法200的另外一种实施方式，正如图7所示，高动态范围模块114在红绿蓝(RGB)颜色空间处理高动态范围成像的一组图片。与图6所描述的相似，方法200也提供了用于处理该组图像三种处理分支：第一处理分支201A处理该组图像的Y分量，第二处理分支201B处理该组图像的曝光设置，第三处理分支201C处理该组图像的UV分量。依据以上参照图6提出的方法，在202中，高动态范围模块114为从该组图像中选择的一张图像的每一曝光设置初始化查找表(LUT)。与图6中所描述的不同，在201中，在计算该组图像的每张图片的Y分量的权重之前，本实施方式下的高动态范围模块将该图像从RGB颜色空间转换为YUV颜色空间。任何用于将RGB转换为YUV的传统方法都可以在201中进行使用。

将RGB颜色空间转化为YUV颜色空间之后，高动态范围频率模块114计算从该组图像中选择的每张图像的Y分量的权重。与图5以及图6中所描述的相似，在220中，通过调节曝光设置权重计算，HDR模块114计算权重。除了图5以及图6所描述的之外，在205中，HDR模块114还执行平滑操作从而降低了潜在的伪影。在205的平滑化之后，在206中，高动态范围模块114将在组图像中每张图像的Y分量进行混合，从而产生一个混合Y分量。

依据以上参照图6所讨论的方法，在210中，高动态范围模块114获取同样一组图像的UV分量以平均UV分量的数值，从而产生平均UV分量。在208中，高动态范围模块114结合了素数混合Y分量以及所述平均UV分量来产生YUV颜色空间的单一的高动态范围图像。最后，在209中，高动态范围模块114将结合的YVU颜色空间转化为RGB颜色空间以产生高动态范围成像的图像。

基于背景章节所述的现有高动态范围成像的方法的方程式(3)的进一步推导，上述实施方式的方法200进一步发展。在一种实施方式中，图5，图6以及图7中的方法200能够通过将方程式(3)重新改写为：

在该实施方式，如方程式(2)以及方程式(3)所讨论的，方法200取消了调和映射。在传统的高动态范围成像的方法中，在亮度图的恢复之后执行该调和映射，因此造成所述恢复的计算成本昂贵。该实施方式假设f(X)满足近似方程式：

一般地，合理性地推断出f(g(Z_j(x，y))-lnk_j)＝Z_j(x，y)+δ_j，其中δ_j在正常曝光情况下数值较小，在曝光不足的情况下为正值且在曝光过度的情况下为负值。因此，方程式(4)可以重新改写为方程式(5)：

其中∈为畸变，跟参数δ_j有关。如果我们假定该组曝光为对称的并且场景198覆盖了大范围的灰度，E(∈)＝0并且畸变∈能够忽略。因此，该高动态范围成像能够通过不同曝光的混合进行简化。

不同于背景章节所描述的先前的方法，在该实施方式中所使用的权重函数考虑了与图像相关联的曝光设置。从数学的角度上来说，w(Z_j(x，y))替代为w(Z_j(x，y)，k_j)。当选择的三幅图像中一个为曝光不足、一个为正常曝光以及一个为过度曝光时，假设

为修正S型函数，建议权重函数通过方程式(6A)：

定义，其中S′(x，a)是S(x，a)的导数，a用于控制曲线的形状。α以及β为混合因子，与曝光数值呈线性比例关系。

图8阐明了基于方程式(6A)的计算的一种实施方式。图8为流程图，显示了以上参照图6在220中所提出模块化计算权重、在206中所提出的模块化混合Y分量的方式的细节。在221中，高动态范围模块114(如图1以及图2所示)获取一组三张图像：一张最大化曝光不足的图像106A，一张正常曝光的图像106B以及一张最大化曝光过度的图像106C(共同显示于图1-2中)。基于每张图像的不同的曝光设置，高动态范围模块114能够应用不同的方程式来计算从三组图像中选出的的每张图像的权重。在223中，对于最大化曝光不足的图像，高动态范围模块114应用了第一S型函数，S(x，a)。在225中，对于正常曝光图像，高动态范围模块114应用了第一S型函数的导数在228中，对于最大化曝光过度的图像，高动态范围模块114应用了第二修正S型函数，S(255-x，a)。每张图像中的Y分量能够基于计算的权重进行混合。在206中，每张图像的Y分量能够基于计算的权重进行混合，以上述参照图5，6以及7中所提出的方法生成混杂的Y分量。

基于上述对方程式(6A)的描述，计算式(6A)能够抽象为：

根据方程式(6B)的方法的实施方式在图9中显示。当计算Y分量的权重时，本实施方式下的高动态范围模块114在223中对最大化曝光不足的图像应用第一修正S型函数，在225中对正常曝光图像应用第一S型修正函数的导数，在228中对最大化过度曝光的图像的应用第二修正函数。

方法200的另外一个实施方式中，包括对用于高动态范围成像的五幅图像的处理。在该实施方式中，所述五幅图像以不同的、且对称的曝光获得：两个曝光不足的图像，一个正常曝光的图像以及两个曝光过度的图像，正如图1以及图2所描述的5张图像所示以及图3所显示的那样。为了本实施方式的目的，具有最小曝光度的图像的被选为最大化曝光不足图像106A(如图3所示)；正常曝光的图像被选为正常曝光图像，106B；具有最大曝光度的图像被选为最大化曝光过度的图像，106C。除此之外，另一个曝光不足的图像被选为曝光不足的图像，106D，另一个曝光过度的图像被选为曝光过度的图像，106E。为该组五幅图像提供权重函数的实施方式在下文根据方程式(7A)进行阐述。

其中S′(x，a)为S(x，a)的导数，以及a用于改变曲线的形状，α、β为混合因子，与曝光值之间呈线性比例关系。

一种依据方程式图(7A)计算Y分量的权重的方法220的具体实施方式显示于图10中。在图10中，高范围动态成像模块114(如图1至2中所示)获取用于高动态范围图像的一组五幅图像。除了图8中所描述的三幅图像之外，图10在最大化曝光不足处理模块223以及正常曝光处理模块225之间具有一个曝光不足处理模块224。而且，图10具有一个在正常曝光处理模块225以及最大化曝光过度处理模块228之间的曝光过度处理模块227。在224中，对于曝光不足的图像106D，高动态范围模块114应用了第一插值函数

该插值函数为第一修正S型函数S(x，a)以及第一修正S型函数的导数的插值函数。在227中，对于曝光过度的图像106E，高动态范围模块114应用了第二插值函数

该插值函数为第一修正S型函数

以及第二修正S型函数S(255-x，a)。所述五张图像中的每一张的Y分量都基于在206中计算出的权重进行混合，以产生一个混合的Y分量。

方程式(7A)能够简化为：

依据(7B)的方法的实施方式在图11阐述。在该实施方式中，最大曝光不足的图像106A，正常曝光图像106以及最大曝光图像106C的权重可以参照图9所提出的方法进行计算。对于曝光不足的图像106D，高动态范围模块114应用了参照图9所提出的插值函数。对于曝光过度的图像106E，高动态范围模块114应用了参照图9所提出的第二插值函数。在206中，五张图像中的每一张的Y分量基于计算的权重进行混合，以产生混合的Y分量。

虽然图10以及图11的实施方式中是结合一组五张图像阐述的，但是一组七幅或者更多图像(通常为奇数值)也能够通过方法200处理。在处理一组七幅图像的第一实施方式中，所述七幅图像采用参照图1-4所提出的方法进行曝光。

为本实施方式的目的，最大曝光不足的图像、正常曝光的图像以及最大曝光过度的图像可以参照如图10以及图11的描述选出。最大曝光不足的图像以及正常曝光的图像之间的两个图像中的其中一个图像将被选为曝光不足图像106D，在正常曝光图像以及最大曝光过度的图像之间的两个图像中的其中一个图像将被选为曝光过度图像106E。曝光不足图像106D以及曝光过度图像106E的选择通常相对于正常曝光图像106B对称。在本实施方式中，未被选择的其他的两幅图像被忽略。被选中的图像的权重计算可以通过以上参照图10以及图11所提及的方法来确定。被选中的图像的用于权重计算的Y分量在206被混合，以产生混合的图像。

一组七张或者更多图像的处理过程同样适用于方法220的不同实施方式。在处理一组七张图像的一实施方式下，该曝光设置以及最大化曝光不足的图像106A，正常曝光图像106B以及最大化曝光过度图像106C的选择与参照第一示例性实施方式处理一组七张图像中所描述的相同。本实施方式下，在最大化曝光不足图像106A以及正常曝光图像106B之间的两个曝光不足图像(106F，106D)都被选为曝光不足的图像。在正常曝光图像106B以及最大化的曝光过度图像之间的两个曝光过度的图像(106E，106G)都被选为曝光过度的图像。

根据相同的实施方式，当应用方程式7(A)于曝光不足以及曝光过度图像时，确定因子α的简单的示例性的方式为利用每一个曝光补偿值与除了最大化曝光之外的所有曝光不足补偿(或者除了最大化曝光补偿的所有曝光过度补偿值)的总和之间的分式计算。例如，在对应于图像106A，106F，106D，106B，106E，106G及106C的曝光序列(3EV(应该是-3EV)，-2EV，-1EV，0EV，+1EV，+2EV，3EV)中，除了最大化曝光之外的所有曝光补偿不足106F、106D的总和为-3且106F的曝光补偿值为-2；因此，因子α为2/3。当计算106F的权重时，方程式7A成为：

106D的曝光补偿值为-1；因此，参数值α为1/3。当计算106F的权重时，方程式(7A)变为：

同样的方法适用于曝光过度图像106E以及106G。本实施方式中，该组所有的七个图像的Y分量都能够通过在206中进行混合。

在基于方程式(6A)到(7B)的方程式的步骤206中，混合的方案可能产生导致混和的Y分量的伪影，特别的是，当场景198的对比度特别高的时候。方法200中的一种实施方式能够包括用于平滑化计算出的权操作，从而减少伪影。平滑化权重的操作(如图7中所显示)可以发生在一个或者更多的权重计算之后，例如图8以及图9中223，225以及228所示，以及图10以及图11中223，224，225，227以及228所示，以及在图8至图11的步骤206的混合操作之前。正如一个典型例子，高斯滤波器能够用于平滑化计算出的权重，从而降低甚至是克服混合中的伪影。

正如以上所述，为了避免图像质量的失真以及提升高动态范围成像处理的速度，所提出方法的实施方式利用YUV颜色空间处理图像。只有Y分量用来计算动态变化。对于UV分量，所有普通的结合方法都适用。在方法200中的一种实施方式中，UV分量结合了方程式(8)中的简单平均化计算，

请再参阅图6以及图7，处理中的该组图像的UV分量在210中进行简单化平均。在210中的平均化的操作之后，UV分量在208中与混和的Y分量相结合，从而在208中产生了单一的高动态范围图像。

方法200的一实施方式的最大化曝光不足图像、正常曝光图像以及最大化曝光过度图像的权重曲线的典型的图表显示如图13。

图14不仅展示最终的结果，还展示了可视化具有曝光值(-1EV，0EV，+1EV)的三幅图像的权重的实例。图14显示了用于高动态范围图像的一组三张图像，图14A为曝光不足的图像，图14B成为正常曝光图像，以及图14C成为曝光过度的图像。在图14的右边，图14D可视化的显示了在方法200的混合方案中图14A的权重，图14E可视化的显示了混合方案中图14B的权重，及图14F可视化的显示了混合方案中图14C的权重。右手边的图像的明亮区域表示相比于左手边图像的同样区域具有更大的权重，例如，图14A中的天空，左边中间图像的河流，以及图14C的建筑物以及小船。

图14的可视化权重显示了利用方法200(如图8以及图9中所示)结合三幅图像所捕捉的场景198(如图1以及图2中所显示)的所有细节。例如，在图14A中曝光不足的图像捕捉了场景中最亮部分的细节，该部分为天空。图14D显示出图14A的天空部分具有比该图像中的其他部分大的权重。类似地，图14B中正常曝光图像捕捉了河流的细节，且图14E显示出图14B的河流具有更大的权重。图14C中曝光过度的图像捕捉到了最暗部分的细节，该细节为建筑物以及小船，图14F显示出建筑物以及木船具有更大的权重。

图15、图16以及图17为三个实例，显示了三张图像以及利用方法200的实施方式处理后的高动态范围图像。图15A，图16A以及图17A被选为最大化曝光不足图像(-1EV)106A。图15B，图16B以及图17B被选为正常曝光图像(0EV)106B。图15C以及图16C以及17C被选为最大化曝光过度图像(+1EV)106C。图15D、图16D以及图17D为处理后的高动态范围图像199。在图15，图16以及图17的实例中能够看到，场景中高亮和阴暗部分的动态范围在高动态范围图像199中得到了修正，因此该组三张图像的每张图像所采集的细节都反映在了高动态范围图像中。

根据我们的测试结果，当利用ARM Cortex A9处理器进行评估的时候，该处理方法相比于传统的需要高动态范围辐射图恢复的方法快将近10倍。

所揭示的内容可以广泛应用于图像以及视频的高动态范围成像，包括但不限于相机以及具有相机的便携式无线电话。并不排除所揭示的内容同样能够应用于其他宽动态范围成像***。

所公开的实施方式容易具有各种各样的修改和替换形式，并且其特定实例已通过举例方式在图中示出并在本文中详细描述。然而，应理解，所公开的实施方式并不限于所公开的特定形式或方法，相反地，所公开的实施方式应当涵盖所有修改、等效物和替换物。

Claims (13)

1.一种高动态范围成像的方法，包括：

基于一组查找表(LUTs)计算YUV颜色空间的一组图像的Y分量的权重；

混合该组图像的Y分量的所述权重，以产生混合的Y分量；以及

将所述混合的Y分量与相应的UV分量相结合以产生YUV颜色空间的单张高动态范围图像，

所述计算Y分量的权重包括基于每幅图像的曝光设置，采用从多个函数中选择一函数计算Y分量，

所述基于每幅图像的曝光设置，采用从多个函数中选择一函数计算Y分量包括：

将第一修正S型函数应用至最大化曝光不足图像的Y分量；

将第一修正S型函数的导数应用至正常曝光图像的Y分量；

将第二修正S型函数应用至最大化过度曝光图像的Y分量；

在第一修正S型函数以及第一修S型函数的导数之间，将第一插值函数应用至曝光不足图像的Y分量；以及

在第一修正S型函数的导数以及第二修正S型函数之间，将第二插值函数应用至曝光过度图像的Y分量。

2.如权利要求1所述的方法，进一步包括基于高动态范围成像的该组图像的曝光设置，初始化所述查找表(LUTs)。

3.如权利要求1或权利要求2所述的方法，进一步包括：

利用不同的曝光设置曝光RGB颜色空间中该组图像，使每张图像具有一个唯一的曝光设置；以及

在所述计算之前，将该组图像从RGB颜色空间转化至YUV颜色空间。

4.如权利要求1或2所述的方法，进一步包括：

平均YUV颜色空间的该组图像的UV分量值以获取平均UV分量。

5.如权利要求4所述的方法，其中结合的步骤包括结合所述混合的Y分量以及所述平均UV分量，以产生YUV颜色空间的单一的高动态范围图像。

6.如权利要求5所述的方法，进一步包括：

将所述单一的高动态范围成像从YUV颜色空间转化至RGB颜色空间，以产生RBG颜色空间的高动态范围成像。

7.如权利要求1所述的方法，其特征在于：

最大化曝光不足的图像的Y分量的应用包括应用S(x，a)的函数，其中，S(x，a)是所述第一修正S型函数，a是用于控制曲线的形状的参数；

正常曝光图像的Y分量的应用包括应用

的函数，其中，S′(x，a)是S(x，a)的导数；以及

最大化曝光过度的图像的Y分量的应用包括应用S(255-x，a)的函数。

8.如权利要求7所述的方法，其特征在于：

曝光不足图像函数的Y分量的应用包括应用

的函数；以及

曝光过度的图像的Y分量的应用包括应用

的函数，其中，α以及β为混合因子。

9.如权利要求8所述的方法，其特征在于：因子α在[0-1]之间的范围，因子β在[0-1]之间的范围。

10.如权利要求1或2所述的方法，进一步包括：平滑化计算的Y分量的权重。

11.如权利要求10所述的方法，其特征在于：所述平滑化包括：对于计算的Y分量权重应用高斯滤波器。

12.如权利要求4所述的方法，其特征在于：平均UV分量包括：

应用平均计算方程式

到该组图像的每个UV分量。

13.一种具有高动态范围成像能力的成像相机，包括：用于执行如权利要求1-12中任一项的方法的高动态范围模块。

Images