CN106797437B - 使用多个图像的高动态范围图像合成 - Google Patents

Abstract

使用多个图像描述高动态范围图像合成。一些实施例涉及一种***，所述***具有：缓冲器，所述缓冲器用于接收场景的三个不同图像中的每一个图像，每个图像具有对所述场景的不同曝光量；通用处理器，所述通用处理器用于估计所述三个图像之间的对齐；以及成像处理器，所述成像处理器用于基于所述估计的对齐来扭曲所述图像并用于组合所述三个图像以产生单个高动态范围图像。

Description

使用多个图像的高动态范围图像合成

技术领域

本说明书涉及合成多个图像以产生高动态范围图像。

背景技术

小型数码相机已经变得如此廉价，从而被提供在广泛的便携式和可穿戴设备上，从手表到头盔、到计算平板计算机、到媒体播放器、到各种各样的的蜂窝电话。典型的数字传感器在它们可以产生用于静止和视频摄影的图像质量方面具有许多限制。进一步的限制源于数字相机成本和尺寸的限制。针对CCD(电荷耦合器件)以及甚至更加针对基于CMOS(互补金属氧化物半导体)的传感器，所述传感器无法采集许多场景的亮区与暗区之间的完整对比度。较小的传感器相比较大的传感器具有甚至更小的对比度范围。

被摄场景的辐照度(irradiance)范围经常超过了典型数字相机传感器的能力。虽然可以使用快门或者光学设备来降低明亮区域冲击传感器的辐照度，但这也降低了场景的暗区的辐照度。类似地，可以利用较大的镜头或更长的曝光来增加暗场景的辐照度，但是这可能会导致明亮区域超出传感器的极限。传感器因此无法同时采集场景的最亮和最暗部分。换句话说，传感器无法采集场景的全动态范围。因此，同时包含非常亮(例如，阳光)和非常暗(例如，阴影)区域的场景对这种传感器而言具有挑战性。因此，非常亮或非常暗区域任一者而非两者的细节被采集。场景中的大量可用信息丢失，最终在图像质量方面导致较差的用户体验。

为了补偿所述传感器，许多相机使用称为HDR(高动态范围)摄影或成像的技术。场景的全辐照度是通过改变快门速度或镜头孔径利用不同的曝光设置拍摄同一场景的多个图像而采集的。图像然后被组合成单个HDR图像，所述单个HDR图像包括场景的暗区和亮区两者的细节。

附图说明

以示例性而非限制性方式在附图中展示实施方式，在附图中，类似号码指示类似元件。

图1A是在高对比度环境中采集照片的简图。

图1B是视频采集设备的简图。

图2是根据实施例的用于高动态范围处理的图像处理流水线的框图。

图3是图2的根据实施例的用于高动态范围处理的图像处理流水线的替代性框图。

图4是根据实施例的使两个图像解扭曲的简图。

图5是根据实施例的去重影处理流水线的框图。

图6是根据实施例的照度(Luminance)处理流水线的框图。

图7A是根据实施例的色品处理流水线的框图。

图7B是根据实施例的辐照度图处理流水线的框图。

图8是根据实施例的结合了高动态范围采集的摄影设备的框图。

具体实施方式

HDR(高动态范围)合成图像生成需要显著的计算和内存资源。所有图像必须在对用户方便的一定量的时间内被存储、注册和组合。针对手持式相机或固持在移动平台上的相机而言，图像的像素将不会对齐。针对具有移动对象的场景而言，所述对象将不会对齐。非对齐因为图像是在稍微不同的时间拍摄的而产生。相机或场景内的任何移动将引起图像特征未对齐。如果图像是从不同的图像传感器同时得到的，则所述图像将不会对齐，因为不同的传感器位于相机上不同的物理位置处。这可能会导致所产生的HDR图像中的运动伪像。因此，所述图像必须被分析并注册到彼此。难度随着图像传感器生成更多的像素而增加。增加的计算需求也增加了功率要求，这可能更迅速地耗尽便携式设备的电池。本文所描述的技术在低功率移动平台上迅速地执行。多个图像被混合成单个HDR图像，同时补偿了它们之间的局部和全局运动。

在此利用模块化阶段的唯一序列描述了模块化方法。所述模块包括具有防止严重的运动伪像的稳健的局部运动检测的去重影引擎。颜色或色度(Chroma)或色品(Chromaticity)处理模块保留了输出图像的自然外观和感觉，其可被调整以满足不同用户偏好。辐照度图可以用作高对比度显示的输入，而且还用作色调映射算子的输入，所述色调映射算子可以提取适合于标准显示的高对比度图像。所述模块相比其他HDR技术可以在更少的时间内实现。

图1A是采集场景的数字相机的简图。相机102被固持在将相机瞄准在场景110处的摄影师106的手104上。相机因为其不稳定而有可能在摄影者的手上晃动或抖动。如果摄影师已经将相机安装于更大的平台(未示出)(如，不稳定的运载工具)上，这也可能发生。摄影师已经将相机瞄准在具有固定的山脉背景112和移动的前景对象114(如，滑雪者)的场景处。所述场景还具有移动的背景云116。这被提供作为常见的示例，但场景中的元素可以被改变以适应摄影师的期望。

相机102在图1B的扩展视图中示出，其具有使场景成像到图像传感器122上的镜头120。在镜头与图像传感器之间可能存在快门、可控孔径光阑、滤片、遮光罩和其它元件(未示出)。图像传感器数据被提供给采样和保持电路126以将所述数据转换成像素值集。然后在图像处理器128中对像素值进行处理。***由通用处理器130控制，所述通用处理器将用户界面和图像视图呈现在触摸屏显示器124上，并且可以呈现一个或多个附加的用户界面和通信元件。相机可以根据具体的实现方式具有比所示更多或更少的组件。所描述的技术和硬件可用于各种不同类型的相机中的任何相机，包括在智能电话、媒体播放器、手表、眼镜和其他可穿戴设备中的那些相机，以及用于静止或视频摄影的大型专用相机。

图2是可以在具有一个或多个核的单个处理器中或者在多个处理模块中实现的HDR处理流水线的框图。所述技术是在包括多分辨率分析、对齐估计、扭曲、去重影、亮度(Luma)处理和色度处理的多个阶段中实现的。多分辨率分析和对齐估计阶段可以是基于稳健显著性运动估计或以各种其他方式来实现的。在实施例中，多分辨率分析引擎均衡输入亮度平面并执行尺度缩小(例如，高斯金字塔分解)，以便准备用于尺度空间的输入、由粗到细的图像对齐估计。

如图2中所示，三个图像各自从相机流水线204进入对应的图像缓冲器208A、208B、208C到达HDR成像***202。一个或多个图像可以存储在各自相应的缓冲器中。虽然示出了三个图像，但是可以根据特定的实现方式使用更多或更少的图像。在这个特定示例中，每个图像是YUV颜色空间中的帧，然而，可以根据具体实现方式使用其它颜色空间。第一图像208A通常是曝光图像，即，所述图像当被确定为合适时由相机或一些其他曝光确定设备(如，测光计)曝光。

第二图像208B是过度曝光图像，即，具有较长曝光或较大光圈的图像。第三图像是曝光不足图像，即，具有较短曝光时间或较小镜头孔径的图像。典型地，及时地在其他两个图像之间取正常曝光的图像，然而，图像的顺序可以被修改以适应任何特定的实现方式。所述图像成对地连接在一起。正常曝光的图像208A被选择作为参考帧，并且这个图像在一种情况下与过度曝光图像208B配对以得到第一对，并且在另一种情况下与曝光不足图像208C配对以得到第二对。因此，存在参考图像与过度曝光图像的第一配对，以及参考图像与曝光不足图像的第二配对。如果存在多于三个图像，则可以进行更多的配对。

虽然本过程是在调整参考图像中暗区和亮区的背景中进行描述的，但是任何图像都可以用作参考图像。此外，参考图像不一定正确曝光。使用多个图像来分阶段曝光或辐照，不必预先确定正确的曝光。不同的图像可以如所述被组合，并且如果针对场景存在足够的曝光范围，则可以创建合适的合成图像。

由参考图像和过度曝光图像组成的第一对通过至各自缓冲器208A、208B的连接被应用到多分辨率分析和对齐估计块210A。第二对通过至各自缓冲器208A、208C的连接被应用到第二多分辨率分析和对齐估计块210B。为了帮助理解数据通路，与过度曝光图像相关的数据被表示为虚线，与参考帧相关的数据被表示为实线，并且与曝光不足图像相关的数据被表示为点划线。然后通过多分辨率分析和对齐估计块来扭曲图像。如在图2中所示，针对第一对，对齐估计应用于连接的扭曲块212A。此外，过度曝光图像也从缓冲器连接到扭曲212A。扭曲然后调整过度曝光图像的对齐以匹配参考图像208A。类似地，对齐估计块将扭曲参数应用到第二扭曲212B，并且然后将这些扭曲参数应用到曝光不足图像208C，从而使得其随后与正常曝光图像208A对齐。

对齐估计模块计算参考图像与其他两个或更多个图像之间的运动。计算出的运动通常对应于由摄影师移动引起的图像传感器或相机相对固定背景场景的运动。然而，计算出的运动还可以对应于相机或摄影师停靠在其上的平台的移动。例如，如果图像是从移动运载工具的窗口或在摇晃平台上拍摄的，那么运载工具将相对于每个图像之间的场景移动。即使相机并未相对于运载工具移动，这也会发生。

由这个运动计算产生的参数适合由扭曲引擎使用并且从对齐估计模块210A、210B发送到相应的扭曲模块212A，212B，如由虚线和点划线所示。扭曲引擎应用来自所连接的模块的计算出的运动参数和对齐估计。它对所有针对彼此的输入帧进行注册。输入图像的像素然后被对齐，从而使得它们可以被组合以产生HDR图像。扭曲和缩放矩阵可被使用。

利用通过扭曲所对齐的所有图像，过度曝光图像和参考帧然后被应用到去重影214，所述去重影连接到扭曲。去重影块将参考帧与成对的次级帧进行比较的，然后基于所述参考帧去除次级帧中的重影。扭曲和去重影是用于对在不同时间拍摄的图像进行对齐的技术。因为这三个图像是在不同时间拍摄的，所以相机可以从一个图像移动到下一个图像。这是通过扭曲来校正的。通过确定图像中的参考点如何与整体图像的方向对齐，可以使用图像中的特征来重新定向所述图像以与那些相同特征在参考图像中的定向方式匹配。

当扭曲解决了相机的移动时，去重影补偿了图像内的物品的移动。如果在前景中所示的主体114从采集第一图像的时刻到采集下一图像的时刻已经移动了(例如，如图1所示)，则主体114可能被移动位置。去重影移动主体在过度曝光图像中的位置以匹配所述主体在参考帧中的位置。在去重影214A、214B之后，将经对齐且去重影的图像传送至亮度处理216，并且然后至色度处理218。从亮度处理获得的数据被供应至色度处理，以增强所述处理。在色度处理后，可以对图像进行组合以产生可被存储在缓冲器220中以用于显示、传输、或进一步处理的单个HDR图像。替代性地，并且如本文所描述的，可以在亮度和色度处理阶段之前对图像进行组合。

图3是从不同的角度示出图2的相同操作和功能模块的框图。图2利用详细的连接线从功能角度示出了所述操作，所述连接线示出了各个功能模块的输入和输出。在图3的示例中，在被配置成用于支持多个处理器的实施例中从时序角度示出了所述操作。从在图3的左端所指示的相机流水线将这三个图像接收到缓冲器308A、308B、308C中。然后将这些图像应用到处理流水线302中的各个模块，以在右边产生HDR帧320。

所述第一处理是针对有待应用到多分辨率分析块310A上的第一对图像。在出现这种情况之后，然后将所述第一对应用于对齐估计311A。针对第二对，然而，多分辨率分析块被延迟，直到第一时间间隔或时间周期332已经过去。在所述第一时间周期内，仅执行多分辨率分析处理，并且仅针对第一对执行。在由第二边界334标记的第二时间周期内，基于多分辨率分析处理310A对所述第一对执行对齐估计334。此外，将多分辨率分析处理应用于第二对310B。同时应用第一对对齐估计和第二对多分辨率分析。

在由第三边界336标记的第三周期内，第一对被从对齐估计传送到扭曲312A。第二对被从多分辨率分析传送到对齐估计311B。因此，对齐估计和扭曲在同一周期中执行。在由边界338标记的第四周期内，扭曲被应用到第二对并且去重影314被应用到两个对。在第四周期340内，亮度处理316被应用到去重影图像，色度处理318然后被应用，并且结果是从包含在所有三个原始保存的输入图像308A、308B、308C中的数据形成HDR帧320。

划分操作的时间周期指示任务可以如何在不同资源之间共享。在本示例中，图像处理器可以在针对第一对以及然后针对第二对的多分辨率分析估计中以及在针对第一对的扭曲的第三周期内以及在针对第四对的扭曲的第四周期内被100％使用。然而，当图像处理器正在执行其他任务时，同时可以使用通用处理器来执行校准估计311A、311B。然后以交错顺序安排这些任务，从而使得不同的资源可以同时执行不同的过程。这允许HDR图像被更迅速地处理并且对成像处理器的处理需求更少。根据特定处理器的性质，不同处理器之间的各种不同的任务分配是可能的。不同的处理资源可以是同一处理器的不同核、单个封装体中的不同处理器或不同封装体中的不同处理器。不同的处理器可以包括成像信号处理器、图形处理器、算术协处理器、以及其他类型的处理器。

图4示出了可以如何使用图像边界图执行扭曲312A、312B的示例。左侧的第一图像402是输入参考帧。针对扭曲，首先计算输入参考帧404的边界404，如在中心所示。接下来，在中心所示的第二帧406的对齐被确定。然后，将此对齐强加在第二图像406上。如在图中心所示，当两个图像中的场景特征对齐时，然后将第二图像的边界旋转几度(在本情况中顺时针地)。通过执行扭曲，图像的帧被调整，以在简图右侧获得解扭曲的图像408。在这个图像中，次级图像的帧与同参考图像的边界404对齐的边界对齐。这种解扭曲允许在不考虑对齐图像特征的情况下对两个图像进行组合。一个图像上的像素直接与下一个图像上的相同像素相对应。

在一个硬件实现方式中，扭曲是根据所估计的矩阵在ISP(成像信号处理器)内的专用GDC(几何失真校正)硬件块或任何其他硬件加速块上完成的。然而，也可以使用其它硬件或软件实现方式。为了使GDC保持与输入分辨率相同的输出分辨率，扭曲帧可被填充。所述填充可以以任何各种不同的方式来完成。一种简单的方法是通过简单的像素复制。在帧边缘处丢失的像素通过复制邻近像素而被添加。在HDR处理中的其他块确保来自填充、扭曲和其他处理的伪像被衰减。

在HDR合成中，局部运动补偿是常见的缺陷，因为所采集的图像之间经过的时间可以是显著的。受场景元素的移动影响的区域可以从一个单帧(通常为参考帧)中选择，以避免任何移动伪像。受运动影响的区域然后可以与场景的其余部分以相同的方式进行色调映射。

曝光融合算法可以与专用去重影算法一起使用以从融合结果中去除所有局部移动。曝光融合可以用于补偿局部运动，并且还用于补偿三个图像之间的其他差异。差异可能是由对齐不佳的图像、眩光等引起的。在一些实施例中，通过从仅一个帧中取具有显著差异的区域来对所述差异进行补偿。这个帧通常是参考帧，它是具有正常曝光水平的帧。这个水平对应于图像传感器针对场景的曝光水平。

自动曝光***通常尝试在拍摄场景中选择最感兴趣的主体，并且然后选择利用所选主体的亮区和暗区的曝光水平。因此，参考帧具有针对所述场景的最重要部分的最多细节。曝光水平通常是由图像传感器针对场景的曝光持续时间或者由图像传感器与场景之间的孔径大小或者由两者的组合或者通过改变模拟或数字增益来确定的。在一些情况下，应用到场景照明量(如，闪光曝光水平)可以被调整。然而，当所选主体具有非常亮或非常暗的区域时，可能不存在可以拍摄整个场景的曝光水平。当存在多个主体或者没有清晰的主体时，自动曝光***然后可能无法选择期望的主体，并且因此无法选择所述主体的最佳曝光时间。

去重影操作314在流水线302上较早地执行，朝HDR处理的开始，在图像对齐311A、311B和扭曲312A、312B之后。使用对齐和扭曲来修改这三个图像，从而使得它们更接近类似在同一时间拍摄的图像。具有自动确定的曝光或由相机确定的曝光的帧被用作参考帧。此帧被指示在图5的缓冲504A中，为0EV，即，未补偿的。其它帧基于所述参考帧被去重影。此外，所述参考图像与两个目标图像成对地被处理。这可以呈现为3个帧过程中的2对。

图5示出了针对这两对图像中的任一对图像中的一个图像的去重影处理流水线502。参考图像504A和次级图像504B，其可以是过度曝光图像或曝光不足图像。完全相同的块将处理所述第二对，并且附加的块将处理任何更多的对，如果存在多于三个图像的话。针对这个流水线的所述对的这两个图像是从对应的缓冲器504A、504B中检索的并且都从其原始YUV颜色空间转换到RGB颜色空间。参考图像取自缓冲器504A并应用到RGB转换器506A并从那里应用到光度校准508中。类似地，次级图像(被指示为pEv或mEv，即，从参考帧的Ev(曝光值)加上或减去一定量)取自缓冲器504B并转换到RGB颜色空间506B，并且然后像第一图像一样应用到光度校准。RGB颜色空间针对重影检测是优选的，然而，根据特定实现方式，这些操作可以在任何各种不同的颜色空间中执行。

来自参考图像和次级图像的RGB图像都应用到光度校准508内的直方图匹配510。这里，逐像素地比较和匹配R、G和B分量中的每个分量的相对照明。在已经得到直方图后，对参考帧进行尺度缩小512A并且对次级帧也进行尺度缩小512B。这两个尺度缩小的图像应用到检测或重影图模块514。这两个图像都被应用到差异计算516和排除掩码(mask)518。

通过差异计算，两个图像中的颜色值之间的差异被确定。排除掩码518被应用以判定任一图像的任何区域是否应当从重影检测514中被排除。通常，区域将被排除，因为它被如此过度曝光从而不包含任何有用的信息或者如此曝光不足从而主要包含噪声。排除掩码参数是从直方图510中评估的，以确定多对图像中的哪些区域可能是这样过度曝光或曝光不足的，从而使得它们应该从重影检测中排除。排除掩码518应用在应用块520中。这提供了指示哪些区域可以并且哪些区域不应该取自次级图像以及取自主图像的参考图像的图。排除掩码防止信息不足的图像区域用于重影检测。这降低了计算复杂性。

通过利用直方图评估图像以及在RGB颜色空间中生成排除掩码，获得了过度曝光或曝光不足的更准确的视图。在YUV空间中，在图像的三个通道(Y、U和V)之间可能存在串扰，这会使结果模糊。在重影检测发生之前在转换块522中所产生的组合图像再转换回到YUV颜色空间。在重影检测发生之前，U元素和V元素在合并块524中合并，然后在处理块526处针对重影检测对Y分量和组合UV分量进行处理。

重影检测操作通常包括软阈值操作、侵蚀操作、膨胀操作和平滑操作。Y分量然后在尺度放大块528中被缩放返回为全分辨率，而UV分量在合并块530中与排除掩码结果518合并。在重影检测和映射中的这些操作可用于补偿混合534。补偿混合包括亮度混合536和色度混合538。亮度混合从重影检测和尺度放大528中取Y分量，并将所述Y分量与来自主图像和次图像中的原始Y分量进行组合。重影检测Y值用于将来自两个图像和亮度混合块536的Y分量作为因子计入。以类似的方式，来自两个图像的U分量和V分量被应用到色度混合块并且重影检测UV值然后用于在补偿混合块534中控制色度混合538。在这些混合操作之后，产生输出重影检测的YUV图像。

在所展示的示例中，所描述的过程可划分为三个主要的功能块：光度校准或匹配508、运动检测或重影映射514、以及运动补偿或混合534。

光度校准执行参考图像与目标图像的明度(Brightness)匹配。这修改了参考图像，从而使得其具有与目标图像相同的曝光。光度校准是对每个RGB通道单独地使用直方图匹配510完成的。如所示，来自帧缓冲器504A、504B的经转换的图像506A、506B都应用于直方图匹配函数以对RGB颜色空间中的明度水平进行比较。在补偿混合之前应用所述结果以调整参考帧。所述结果也用于确定排除掩码。

运动检测将目标帧与光度校正参照帧进行比较。这是为了获得重影图，所述重影图标记了受运动影响的区域。可以在两个或更多个操作中在尺度缩小的图像512A、512B上完成检测。

第一操作是利用区域排除508生成差异图516。针对每个图像对中的每个RGB通道确定差异。第二操作是饱和区域排除518。受传感器饱和影响的区域被掩蔽并且它们的差值被设置为0。有符号的RGB然后转换522到YUV空间，在所述YUV空间中完成了运动补偿。区域排除过程528也可用于在块530处在流水线中产生一个稍后使用的完整排除掩码。

在应用排除掩码且图像被转换到YUV中后，U和V图被组合524成单个UV图。组合防止错误的重影检测。然后将组合UV分量和Y分量应用于若干重影检测操作。首先，软阈值操作将阈值应用于Y图和UV射中的每一者。所述阈值可以是任何Sigmoid函数或线性斜率分段线性函数。

然后将侵蚀操作、膨胀操作和平滑操作应用于所述阈值图像。侵蚀是用于去除由噪声引起的稀疏检测的形态运算。膨胀通过在侵蚀之后扩大检测而使重影图更紧凑。平滑操作利用低通滤波器对重影图进行滤波，从而使得在混合之后没有维持可见的缝隙。

UV分量然后与排除掩码合并530。为了防止混合中的伪像，单独的YUV掩码中的每一者使用例如模糊逻辑“与”操作与完整的排除掩码相结合。

在所展示的示例中，运动补偿534是在YUV域中完成的，因为YUV颜色空间与亮度和色度分量去相关。光度校正参考帧的转换回到YUV 532的U、V分量562、564与目标帧504B的相应的U、V分量566、568使用作为阿尔法(Alpha)掩码的重影图530进行阿尔法混合(AlphaBlended)538。Y通道552、554使用来自重影检测的Y掩码556进行混合536。U和V通道使用来自重影检测的UV掩码558进行混合。

在这个HDR处理的一些实施例中，照度处理316被执行作为色调映射算子。照度处理恢复饱和区域并使图像的暗区明亮，而不会产生可见的伪像。照度处理的输入是来自去重影阶段314的运动补偿帧的亮度平面。

对于无缝混合，可以使用高斯和拉普拉斯金字塔框架。如在图6的处理流程图中所示，整个流水线可以被视为具有三个阶段：金字塔分解602、权重计算604、以及混合和金字塔重建606。

在金字塔分解中，每个输入帧612(IN(1，2，3))被分解成高斯金字塔(G0(1，2，3)，GL(1，2，3)，G2(1，2，3)，G3(1，2，3))和拉普拉斯金字塔(L0(1，2，3)，L1(1，2，3)，L2(1，2，3)，L3(1，2，3))。各个不同曝光输入照度通过收缩处理被分解成高斯金字塔。针对每个金字塔级别1(1＝0，1，...，N-1)，利用5×5高斯卷积滤波器对图像进行平滑处理并进行抽取，以便得到级别1+1。

在权重图阶段，计算混合权重W0(1，2，3)，WL(1，2，3)，W2(1，2，3)，W3(1，2，3)。针对每个帧(1，2，3)在每个金字塔级别处计算权重图。正常曝光的帧可以用作参考并且两个权重图被计算。曝光不足权重图是通过对曝光不足帧mEv的亮度通道应用分段线性度量而计算。度量用来将较高权重给予曝光不足亮度通道的亮像素。针对过度曝光帧重复所述过程，以获得过度曝光权重图。针对过度曝光帧的度量将较高权重给予暗像素。这两个掩码倒置并相乘以得到针对自动曝光或参考帧的权重图。这种方法避免了基于归一化的除法，这使得它更适合于定点图像信号处理器。

针对混合和重建，扩张算子类似于收缩算子。对图像进行内插并且然后用5×5高斯滤波器对其进行滤波。在输出拉普拉斯金字塔(L0，L1，L2，L3)中的系数被计算为输入拉普拉斯系数的加权和。输出拉普拉斯金字塔然后被应用到每个高斯(G0，GL，G2，G3)并被重建以便输出照度平面(OUT)。

照度处理阶段316输出亮度。颜色处理是在被称为色品处理的单独阶段318中完成的，所述色品处理负责准确的颜色再现。使用单独的操作减少了输出图像上的渗色。色品处理从每个输入帧(运动补偿帧)取色，所述输入帧具有最佳信噪比。暗区的颜色取自过度曝光帧，亮区或饱和区的颜色取自曝光不足帧，并且其他颜色取自自动曝光的帧或参考帧。色品操作可以以级联方式组织，从而使得流水线可以取任何数量的帧作为输入。亮度和色度处理可以同时并行地完成，并且然后对结果进行组合以产生最终的HDR帧。

图7A提供了以上提及的色品处理318的示例。在色度处理中，存在色度处理流水线752。在图7A的示例中，所有三个图像都被接收，缓冲器包含参考帧754A和两个次级帧、曝光不足帧754B和过度曝光帧754C。这些YUV图像中的每一个图像首先在转换块756A、756B和756C中被转换为RGB图像。从这里，在伽马(Gamma)去除块758A、758B和758C中将伽马去除应用于每个图像。根据伽马去除，在亮度分析块760A、760B和760C中确定各图像的亮度值。应用这些亮度确定以将每个图像的RGB值归一化。

每条处理链具有用于基于所确定的亮度值将所述值归一化的归一化块777A、777B和777C。归一化块还接收应用到每个归一化块以去除伽马对归一化RGB值的任何影响的伽马去除组件764。然后，成对地对RGB值进行混合。在图7A的示例中，第一对是参考图像与曝光不足图像754B。然后将这两个图像应用到混合块766A。所述混合块的输出被应用到第二混合块766B，所述第二混合块也接收过度曝光次级图像。

第二块766B然后产生最终输出色度混合块768。这发生在YRGB颜色空间中。针对混合，混合操作部分地是由从原始RGB图像的HSV(色相饱和值)分析中得到的V值引导的。V值是从图像之一中推导的并被发送到混合器。在第一混合器766A的示例中，可以从RGB值进行HSV转换。来自HSV图像的V(值)是从提取块770中提取的，并此V值被提供给分段线性掩码772。然后，掩蔽的V值被应用到混合器引导混合过程。如以上提及的，所述图像已经具有排除掩码以去除对图像的任何极其过度曝光或曝光不足影响。类似地，针对第二配对，V值可以在第二V提取块774中取自过度曝光图像754C，所述V值被应用到分段线性掩码776作为输入以引导第二混合器766B。

如所示，可以在几个步骤中考虑每个级联阶段。首先出现的是YUV到RGB转换756。然后，在线性RGB颜色空间完成归一化762和混合766。因此，早期的操作是将图像转换到非线性RGB空间。然后对经转换的图像进行线性化。在这个示例中，通过使用逆伽马曲线758、760来将非线性RGB图像线性化。如上所述，所述逆伽马曲线也被应用到来自照度处理阶段的亮度通道，以便获得近似的照度通道。

混合掩码是通过在每个像素的M＝max(R，G，B)值上应用分段线性度量772、776而生成的。所输出照度然后被归一化762为输出照度。根据C_新＝C(Y_新/Y)，将每个通道归一化为输出照度，其中，C是RGB通道中的每个通道，并且Y是照度。然后使用之前计算的混合掩码对归一化图像进行阿尔法混合766。

辐照度图可以用于表示落在图像传感器上的光的分布。所述图可以用于占据比任何一个图像采集的范围更大的动态范围，并且，由于这个原因，可以比单独的图像使用更大的位范围。通常，辐照度图使用例如每通道16位而不是标准的8位。然而，位数可以被调整以适应不同的实现方式。辐照度图可以用作支持此较大位范围的高对比度显示器的输入，也可用于色调映射算子。色调映射算子可用来将高对比度的图像转换成例如每通道图像8位或者用于创建图像艺术效果。

图7B示出了辐照度图创建模块702的示例。这可能是图7A的色品处理模块的一部分，但在此被单独示出以使处理流水线更容易理解。这个模块将针对参考帧704A、曝光不足帧704B和过度曝光帧704C的三个去重影后的图像接收到各自的缓冲器中。如上所提及的，这些全部是YUV格式。他们因此在各自的转换块706A、706B和706C中转换回RGB格式。在转换模块中，伽玛值在伽玛去除块708A、708B和708C中被去除以防止伽马值影响辐照度图。

伽马去除图像被转发以用于进行成对处理。因此，去除伽马的参考图像然后被应用到比较块710A，所述比较快将去除伽马的参考图像的曝光值或辐照度与去除伽马的曝光不足图像进行比较。然后在曝光差异块712A中保存并确定所述曝光差异。其结果被应用于混合器714A。混合器714A从模块712A中接收去除伽马后的参考图像以及曝光差异计算。此混合器由从参考图像716A的HSV表示中提取的V值引导。此V值从提取单元716A应用到分段线性掩码718A以驱动混合器。然后将此混合图像应用于与过度曝光图像704C的比较。

正如第一对，由参考图像和过度曝光图像组成的第二对取过度曝光图像并将其应用到第二混合器716B。所述混合器从提取块716B接收在过度曝光次级图像之外的提取的V分量。此V元素被应用于分段线性掩码718B作为混合器的输入。混合器的其他输入是曝光差异计算710B，所述曝光差异计算将参考图像与过度曝光图像进行比较。此曝光差值被应用到第二曝光差异计算器712B，所述计算器从第一对714A接收混合的图像。所述结果作为比较图像被应用于混合器中以与过度曝光图像704C进行比较。此混合结果用来产生辐照度图720，所述辐照度图然后应用到缓冲器中作为辐照RGB值722。

由去重影模块514生成的YUV帧可以用作此模块的输入。转换至RGB颜色空间706、去除伽玛708、使用分段线性掩码718生成混合因素、以及自混合714可以全部以与之前模块中类似的方式来完成。曝光差异计算块712创建去除了伽马的且线性化的帧之间的匹配的直方图或比较图。在输入帧的像素之间的曝光差值可用于在混合之前使用经计算的差值从较低曝光帧添加像素作为倍乘因子。

图8展示了根据一种实现方式的便携式图像采集设备100。成像设备100容纳***板2。所述板2可以包括多个组件，包括但不限于处理器4和至少一个通信封装体6。通信封装体耦合到一个或多个天线16。处理器4物理地和电学地耦合到板2。

根据其应用，图像采集设备100可以包括可以或可以不物理地和电学地耦合到板2的其他组件。这些其他组件包括但不限于易失性存储器(例如DRAM)8、非易失性存储器(例如ROM)9、闪存(未示出)、图形处理器12、数字信号处理器(未示出)、密码处理器(未示出)、芯片组14、天线16、如触摸屏显示器的显示器18、触摸屏控制器20、电池22、音频编解码器(未示出)、视频编解码器(未示出)、功率放大器24、全球定位***(GPS)设备26、罗盘28、加速度计(未示出)、陀螺仪(未示出)、扬声器30、相机32、麦克风阵列34、和大容量存储设备(如硬盘驱动)10，光盘(CD)(未示出)、数字通用盘(DVD)(未示出)等等)。这些组件可以连接到***板2、安装到***板或与任何其他组件组合。

相机阵列可以直接地或通过所述图像芯片耦合到图像芯片36，如成像信号处理器和所述处理器4。图像芯片可以采取各种不同的形式，如图形协处理器、或单独的专用成像管理模块。这种模块或设备可以包括操作用于采集、处理、编辑、压缩、存储、打印和/或显示一个或多个图像的逻辑、算法和/或指令。在一些实施例中，成像管理模块可以包括被实现为成像应用或操作***内的软件的编程例程、功能和/或过程。在各其他实施例中，成像管理模块可以被实现为独立式芯片或集成电路，或者为包括在处理器内、在图形芯片或其它集成电路或芯片内、或者在相机模块内的电路。

通信封装体6使得向和从视频设备100传递数据的无线和/或有线通信成为可能。术语“无线”及其派生词可以用于描述可以通过使用通过非固体介质的经调制的电磁辐射来传达数据的电路、设备、***、方法、技术、通信通道等。所述术语并不意味着相关联的设备不包含任何导线，尽管在一些实施例中它们可能不包括。通信封装体6可以实现多种无线或有线标准或协议中的任何一种，包括但不限于Wi-Fi(IEEE 802.11家族)、WiMAX(IEEE802.16家族)、IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、其以太网衍生物以及被指定为3G，4G，5G及以上的任何其它无线和有线协议。视频设备100可以包括多个通信封装体6。例如，第一通信封装体6可以专用于如Wi-Fi和蓝牙的较短程无线通信，并且第二通信封装体6可以专用于较长程无线通信，如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO、以及其他。

相机32可以包括图1的相机102的所有组件，或与其它视频设备组件和功能共享资源，如存储器8、9、10，处理4和用户界面12、20。处理器4耦合到相机和存储器以接收帧并产生如所述的HDR图像。如上所述，相机还可以包括图像处理***，以与处理器共享任务从而生成HDR图像。

在各种实现方式中，图像采集装置100可以是视频相机、数字单镜头反光或无反光镜相机、蜂窝电话、媒体播放器、膝上计算机、上网本、笔记本、超极本、智能电话、可穿戴设备、平板计算机、个人数字助理(PDA)、超移动PC、或者数字视频记录器。所述图像采集设备可以是固定的、便携式的、或可穿戴的。在进一步的实现方式中，图像采集设备100可以是记录图像帧序列和过程数据的任何其它电子设备。

实施例可以实现为使用母板、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)互连的一个或多个存储器芯片、控制器、CPU(中央处理单元)、微芯片或集成电路的一部分。

对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等的引用表明这样描述的这个或这些个实施例可以包括具体特征、结构、或特性，但并不是每个实施例必定包括这些具体特征、结构、或特性。进一步，某些实施例可具有针对其他实施例所描述的特征的一部分、全部、或不具有任何这些特征。

在以下说明书和权利要求书中，可以使用术语“耦合”及其衍生词。“耦合”用于指示两个或更多个元件彼此协作或相互作用，但是它们之间可以具有或不具有中间物理或电学组件。

如权利要求书中所使用的，除非另有说明，使用序数形容词“第一”、“第二”、“第三”等来描述公共元素仅仅指示相同元素的不同实例被提及，并且不旨在暗示如此描述的元件必须在或者时间上、空间上、排名上、或以任何其它方式处于给定序列中。

附图和前述描述给出了实施例的示例。本领域技术人员将理解，所描述的元件中的一个或多个可以被良好地组合成单个功能元件。可替代地，某些元件可以分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如，本文描述的过程的顺序可以改变并且不限于本文所述的方式。此外，任何流程图的动作不需要以所示的顺序实现；也不一定需要执行所有的动作。此外，不依赖于其他动作的那些动作可以与其他动作并行地执行。实施例的范围决不限于这些特定示例。无论是否在说明书中明确给出，如材料的结构、尺寸和使用上的差异的许多变化都是可能的。实施例的范围至少与所附权利要求给出的一样宽。

下面的示例涉及进一步的实施例。不同实施例的各种特征可以与包括的一些特征和排除的其他特征进行各种组合以适应各种不同的应用。一些实施例涉及一种高动态范围图像处理***，所述***包括：缓冲器，所述缓冲器用于接收场景的三个不同图像中的每一个图像，每一个图像都具有对所述场景的不同曝光量；通用处理器，所述通用处理器用于估计所述三个图像之间的对齐；以及成像处理器，所述成像处理器用于基于所估计的对齐来扭曲所述图像并用于组合所述三个图像以产生单个高动态范围图像。

在进一步的实施例中，当所述成像处理器针对所述三个图像的第一配对来扭曲图像时，所述通用处理器针对所述三个图像的第二配对来估计对齐。

在进一步的实施例中，所述成像处理器将所述三个图像分组成两对——第一对和第二对，每一对都包括从所述三个图像中选择的参考图像，并且其中，当所述成像处理器对所述第一对进行操作时，所述通用处理器对所述第二对进行操作。所述通用处理器成对地估计图像对齐。所述成像处理器成对地执行图像扭曲、去重影和色度处理。所述通用处理器是中央处理单元，并且所述成像处理器被整合到相机模块中。

一些实施例涉及一种用于处理图像以合成高动态范围图像的方法，所述方法包括：在缓冲器中接收场景的三个不同图像中的每一个图像，每一个图像都具有对所述场景的不同曝光量；在通用处理器中估计所述三个图像之间的对齐；以及在成像处理器中基于所估计的对齐来扭曲所述图像并且组合所述三个图像以产生单个高动态范围图像。

进一步的实施例包括：当在所述成像处理器中针对所述三个图像的第一配对来扭曲图像时，在所述通用处理器中针对所述三个图像的第二配对来估计对齐。

在进一步的实施例中，所述成像处理器将所述三个图像分组成两对——第一对和第二对，每一对都包括从所述三个图像中选择的参考图像，并且其中，当所述成像处理器对所述第一对进行操作时，所述通用处理器对所述第二对进行操作。

一些实施例涉及一种方法，所述方法包括：接收至少两个图像，每一个图像代表在不同时刻亮度且具有不同曝光水平的同一场景；计算第一图像与第二图像之间的颜色值差异；确定所述图像中的第一图像的区域被排除；从所计算的差异中排除被排除的区域；将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作所计算的差异；使用所计算的差异来确定重影检测值；使用所述重影检测值以及所述相应区域的所述颜色值来生成组合图像；以及基于去重影来混合所述组合图像的值和色度值。

在进一步的实施例中，判定区域是否被排除包括：判定区域是否饱和。判定区域是否饱和包括：检查所述第一和第二图像的直方图。判定区域是否被排除包括：通过检查所述第一和第二图像的直方图来判定区域是否具有过量噪声。所述图像各自包括多个颜色分量，并且其中，判定区域是否被排除是针对每个颜色分量独立完成的。

在进一步的实施例中，所述至少两个图像在YUV颜色空间中，所述方法进一步包括：在计算颜色值差异之前，将所述至少两个图像转换到RGB颜色空间；以及在确定重影检测值之前，将所述至少两个图像转换到YUV颜色空间。确定重影检测值是针对Y分量和针对组合UV分量独立完成的。

一些实施例涉及一种高动态范围图像处理***，所述***包括：缓冲器，所述缓冲器用于接收至少两个图像，每一个图像代表在不同时刻且具有不同曝光水平的同一场景；差异计算模块，所述差异计算模块用于计算第一图像与第二图像之间的颜色值差异；图像排除模块，所述图像排除模块用于确定所述图像中的第一图像的区域被排除，用于从所计算的差异中排除被排除的区域，并且用于将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作所计算的差异；重影检测模块，所述重影检测模块用于使用所计算的差异来确定重影检测值；以及混合模块，所述混合模块用于使用所述重影检测值以及所述相应区域的所述颜色值来生成组合图像，并且用于基于去重影来混合所述组合图像的亮度值和色度值。

在进一步的实施例中，所述至少两个图像在YUV颜色空间中，所述***进一步包括：颜色空间转换器，所述颜色空间转换器用于：在所述差异计算模块之前，将所述至少两个图像转换到RGB颜色空间；以及第二颜色空间转换器，所述第二颜色空间转换器用于：在所述重影检测模块之前，将所述至少两个图像转换回YUV颜色空间。所述重影检测模块进一步包括：组合器，所述组合器用于合并所述U分量和所述V分量，并且其中，所述重影检测模块针对组合UV分量以及针对Y分量独立地确定重影检测值。

一些实施例涉及一种方法，所述方法包括：扭曲第二图像，从而使得所述第二图像与第一图像对齐，其中，所述第一图像和所述第二图像是同一场景在不同时刻被采集图像，所述图像包括颜色信息并且在具有多个颜色分量的颜色空间中被表示；从所述第一图像和所述第二图像中去除伽马；在去除所述伽马之后将所述第一图像和所述第二图像的照度归一化；以及使用来自所述第一图像的照度值来混合所述第一图像和所述第二图像，以获得具有来自这两个图像的颜色和照度信息的单个图像。

进一步的实施例包括生成所述第一图像和所述第二图像的HSV表示；从所述HSV表示中提取V值；将所述V值应用于分段线性掩码；以及使用所述结果来驱动对所述第一图像和所述第二图像的所述混合。

一些实施例涉及一种便携式相机，所述相机包括：相机，所述相机具有用于产生至少两个图像的图像传感器，每一个图像代表在不同时刻且具有不同曝光水平的同一场景；缓冲器，所述缓冲器用于接收所述至少两个图像；差异计算模块，所述差异计算模块用于计算第一图像与第二图像之间的颜色值差异；图像排除模块，所述图像排除模块用于确定所述图像中的第一个图像的区域被排除，用于从所计算的差异中排除被排除区域，并且用于将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作经计算的差异；重影检测模块，所述重影检测模块用于使用所计算的差异来确定重影检测值；混合模块，所述混合模块用于使用所述重影检测值以及所述对应区域的所述色彩值来生成组合图像，并且用于基于去重影来混合所述组合图像的亮度值和色度值；以及显示器，所述显示器用于将所述组合图像呈现给用户。

Claims (22)

1.一种高动态范围图像处理***，包括：

缓冲器，所述缓冲器用于接收场景的三个不同图像中的每一个图像，所述三个图像包括第一图像、第二图像、以及参考图像，每一个图像都具有对所述场景的不同曝光量；

对齐估计模块，所述对齐估计模块用于使用图像边界图来估计所述三个图像中的由所述第一图像和所述参考图像组成的第一对之间的对齐并用于向扭曲模块发送针对所述第一对的第一扭曲参数集合，所述对齐估计模块用于随后使用图像边界图来估计所述三个图像中的由所述第二图像和所述参考图像组成的第二对之间的对齐并用于向所述扭曲模块发送针对所述第二对的第二扭曲参数集合；以及

所述扭曲模块，所述扭曲模块用于从所述对齐估计模块接收所述第一扭曲参数集合，用于从所述缓冲器接收图像的所述第一对，并且用于在所述对齐估计模块针对图像的所述第二对来估计对齐期间，基于所估计的对齐，通过旋转所述第一图像以使得边界与所述参考图像的边界对齐来扭曲所述第一对中的图像，

所述扭曲模块进一步用于从所述对齐估计模块接收所述第二扭曲参数集合，用于从所述缓冲器接收图像的所述第二对，并且用于在所述对齐估计模块针对图像的所述第二对来估计对齐之后，基于所估计的第二对齐，通过旋转所述第二图像以使得边界与所述参考图像的边界对齐来扭曲所述第二对中的图像，

其中，所述三个图像在所述第一图像和所述第二图像被旋转之后进一步被组合以产生单个高动态范围图像。

2.如权利要求1所述的***，其中，当所述扭曲模块对所述第一对执行扭曲时，所述对齐估计模块估计所述第二对的对齐。

3.如权利要求2所述的***，其中，所述对齐估计模块成对地估计图像对齐。

4.如权利要求3所述的***，其中，所述扭曲模块成对地执行图像扭曲。

5.如权利要求1所述的***，进一步包括：

差异计算模块，所述差异计算模块用于计算所述三个图像之间的颜色值差异；以及

图像排除模块，所述图像排除模块用于确定所述图像中的第一图像的区域被排除，用于从所计算的差异中排除被排除的区域，并且用于将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作所计算的差异；

其中，所述三个图像被组合以产生单个高动态范围图像包括将排除所述被排除区域的三个图像组合成图像。

6.如权利要求5所述的***，其中，判定区域被排除包括：判定区域是否饱和。

7.如权利要求6所述的***，其中，判定区域是否饱和包括：检查所述三个图像的直方图。

8.如权利要求5所述的***，其中，判定区域被排除包括：通过检查所述三个图像的直方图来判定区域是否具有过量噪声。

9.如权利要求5所述的***，其中，所述三个图像各自包括多个颜色分量，并且其中，判定区域被排除是针对每个颜色分量独立完成的。

10.如权利要求9所述的***，其中，所述三个图像在YUV颜色空间中，并且其中，在计算颜色值差异之前进一步将所述三个图像转换到RGB颜色空间。

11.如权利要求1所述的***，所述三个图像通过以下各项操作被合并：

从所述三个图像中去除伽马；

在去除所述伽马之后将所述三个图像的照度归一化；以及

使用来自所述三个图像中的所述参考图像的照度值来混合所述三个图像，以获得具有来自所述三个图像的颜色和照度信息的单个图像。

12.如权利要求11所述的***，其中，混合包括：生成所述三个图像的HSV表示；从所述HSV表示中提取V值；将所述V值应用于分段线性掩码；以及使用结果来驱动对所述三个图像的所述混合。

13.一种用于处理图像以构成高动态范围图像的方法，所述方法包括：

缓冲场景的三个不同图像中的每一个图像，所述三个图像包括第一图像、第二图像、以及参考图像，每一个图像都具有对所述场景的不同曝光量；

在对齐估计模块中使用图像边界图来估计所述三个图像中的由所述第一图像和所述参考图像组成的第一对之间的对齐；

从所述对齐估计模块向扭曲模块发送针对所述第一对的第一扭曲参数集合；

在所述对齐估计模块中使用图像边界图来估计所述三个图像中的由所述第二图像和所述参考图像组成的第二对之间的对齐；

从所述对齐估计模块接收所述第一扭曲参数集合，从缓冲器接收图像的所述第一对，并且在所述对齐估计模块针对图像的所述第二对来估计对齐期间，在所述扭曲模块中，基于所估计的对齐，通过旋转所述第一图像以使得边界与所述参考图像的边界对齐来扭曲所述第一对中的图像；

从所述对齐估计模块向所述扭曲模块发送针对所述第二对的第二扭曲参数集合；

从所述对齐估计模块接收所述第二扭曲参数集合，从所述缓冲器接收图像的所述第二对，并且在所述对齐估计模块针对图像的所述第二对来估计对齐之后，在所述扭曲模块中，基于所估计的对齐，通过旋转所述第二图像以使得边界与所述参考图像的边界对齐来扭曲图像的所述第二对；以及

在旋转所述第一图像和所述第二图像之后，组合所述三个图像以产生单个高动态范围图像。

14.如权利要求13所述的方法，进一步包括：当在所述扭曲模块中针对所述三个图像的第一配对来扭曲图像，在所述对齐估计模块中针对所述三个图像的第二配对来估计对齐。

15.如权利要求13或14所述的方法，其中，当所述扭曲模块对所述第一对进行操作时，所述对齐估计模块估计所述第二对的对齐。

16.如权利要求13所述的方法，进一步包括：

从所述三个图像中去除伽马；

在去除所述伽马之后将所述三个图像的照度归一化，并且

其中，组合进一步包括：使用来自所述三个图像中的一个图像的照度值来混合所述三个图像，以获得具有来自所述三个图像的颜色和照度信息的单个图像。

17.如权利要求13所述的方法，进一步包括：

成对地计算所述三个图像之间的颜色值差异；

确定所述图像中的第一图像的区域被排除；

从所计算的差异中排除被排除的区域；

将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作所计算的差异，并且

其中，组合所述三个图像包括使用所述相对应的区域的颜色值。

18.如权利要求16所述的方法，其中，所述图像各自包括YUV颜色空间中的多个颜色分量，所述方法进一步包括：在计算颜色值差异之前，将所述三个图像转换到RGB颜色空间；以及在组合所述三个图像之前，将至少两个图像转换到YUV颜色空间。

19.一种便携式相机，包括：

相机，所述相机具有用于产生场景的三个图像的图像传感器，所述三个图像包括第一图像、第二图像、以及参考图像，每一个图像代表在不同时刻且具有不同曝光水平的同一场景；

缓冲器，所述缓冲器用于接收场景的三个不同图像中的每一个图像，每一个图像都具有对所述场景的不同曝光量；

对齐估计模块，所述对齐估计模块用于使用图像边界图来估计所述三个图像中的由所述第一图像和所述参考图像组成的第一对之间的对齐并用于向扭曲模块发送针对所述第一对的第一扭曲参数集合，所述对齐估计模块用于随后使用图像边界图来估计所述三个图像中的由所述第二图像和所述参考图像组成的第二对之间的对齐并用于向所述扭曲模块发送针对所述第二对的第二扭曲参数集合；

所述扭曲模块，所述扭曲模块用于从所述对齐估计模块接收所述第一扭曲参数集合，用于从所述缓冲器接收图像的所述第一对，并且用于在所述对齐估计模块针对图像的所述第二对来估计对齐期间，基于所估计的对齐，通过旋转所述第一图像以使得边界与所述参考图像的边界对齐来扭曲所述第一对中的图像，

所述扭曲模块进一步用于从所述对齐估计模块接收所述第二扭曲参数集合，用于从所述缓冲器接收图像的所述第二对，并且用于在所述对齐估计模块针对图像的所述第二对来估计对齐之后，基于所估计的第二对齐，通过旋转所述第二图像以使得边界与所述参考图像的边界对齐来扭曲所述第二对中的图像，其中，所述三个图像在所述第一图像和所述第二图像被旋转之后进一步被组合以产生单个高动态范围图像；以及

显示器，所述显示器用于将组合图像呈现给用户。

20.如权利要求19所述的便携式相机，其中，所述便携式相机进一步包括：

差异计算模块，所述差异计算模块成对地计算第一图像与第二图像之间的颜色值差异；以及

图像排除模块，所述图像排除模块用于确定所述图像中的第一图像的区域被排除，用于从所计算的差异中排除被排除的区域，并且用于将来自所述第二图像的与所述被排除区域相对应的区域的颜色值用作所计算的差异，

其中，使用所述相对应的区域的颜色值来组合所述三个图像。

21.一种机器可读介质，包括存储在所述机器可读介质上的多条指令，所述多条指令当被执行时使计算设备执行如权利要求13-18中的任一项所述的方法。

22.一种用于处理图像以构成高动态范围图像的设备，所述设备包括用于执行如权利要求13-18中的任一项所述的方法的装置。

Images