CN112351212A - 用于多曝光图像融合的利用全局正则化和运动排除的局部直方图匹配 - Google Patents

Abstract

一种方法包括：获取场景的多个图像帧。该多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧。该方法还包括：基于标识运动的运动图在第一图像帧和第二图像帧中排除像素。该方法还包括：基于第一图像帧和第二图像帧的不同部分生成多个局部直方图匹配图。另外，该方法包括：使用局部直方图匹配图生成经直方图匹配的图像帧。

Description

用于多曝光图像融合的利用全局正则化和运动排除的局部直 方图匹配

技术领域

本公开总体上涉及图像捕获***。更具体地，本公开涉及用于多曝光图像融合的利用全局正则化和运动排除的局部直方图匹配。

背景技术

多帧混合算法在各种应用中用于“融合”或组合场景的多个图像帧以便生成场景的最终图像。例如，可以融合多个图像帧以执行高动态范围(HDR)成像或执行运动模糊减少(MBR)。在某些应用中，被融合的图像帧是使用不同的曝光设置(例如，不同的ISO设置和/或不同的曝光时间)捕获的。不幸的是，使用不同的曝光设置所捕获的图像帧通常具有不同的亮度水平，并且通常捕获到场景中不同数量的运动。结果，通常难以融合使用不同的曝光设置所捕获的图像帧。

发明内容

本公开提供了用于多曝光图像融合的利用全局正则化和运动排除的局部直方图匹配。

在第一实施例中，一种方法包括：获取场景的多个图像帧。该多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧。该方法还包括：基于运动图在第一图像帧和第二图像帧中排除像素。该方法还包括：基于第一图像帧和第二图像帧的不同部分生成多个局部直方图匹配图。此外，该方法包括：使用局部直方图匹配图生成经直方图匹配的图像帧。

在第二实施例中，一种电子设备包括至少一个图像传感器和可操作地连接到该至少一个图像传感器的至少一个处理器。该至少一个处理器被配置为从该至少一个图像传感器获取场景的多个图像帧。该多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧。该至少一个处理器还被配置为基于运动图在第一图像帧和第二图像帧中排除像素。该至少一个处理器还被配置为基于第一图像帧和第二图像帧的不同部分生成多个局部直方图匹配图。此外，该至少一个处理器被配置为使用局部直方图匹配图生成经直方图匹配的图像帧。

在第三实施例中，一种包含指令的非暂时性机器可读介质，该指令在被执行时使电子设备的至少一个处理器使用该电子设备的至少一个传感器获取场景的多个图像帧。该多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧。该介质还包含如下指令，该指令在被执行时使该至少一个处理器基于运动图在第一图像帧和第二图像帧中排除像素。该介质还包含如下指令，该指令在被执行时使该至少一个处理器基于第一图像帧和第二图像帧的不同部分生成多个局部直方图匹配图。此外，该介质包含如下指令，该指令在被执行时使该至少一个处理器使用局部直方图匹配图生成经直方图匹配的图像帧。

根据以下附图、说明书和权利要求书，其他技术特征对于本领域技术人员而言是显然的。

在多曝光图像的融合中，本公开的一个实施例执行利用全局正则化和运动排除的局部直方图匹配以防止明显的颜色或亮度失真。

在进行下面的具体实施方式之前，阐述贯穿本专利文件使用的某些词语和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词涵盖直接通信和间接通信两者。术语“包括”和“包含”及其派生词意指包括但不限于。术语“或”是包含性的，意指和/或。短语“与……相关联”及其派生词意指包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、与……可通信、与……协作、交替、并置、与……接近、绑定到或与……绑定、具有、具有……的性质、与或和……有关等。

此外，以下描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并且体现在计算机可读介质中。术语“应用”和“程序”指代适于在合适的计算机可读程序代码中实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、致密盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并且随后被覆盖的介质(例如，可重写光盘或可擦除存储器件)。

如本文所使用的，诸如“具有”、“可以具有”、“包括”或“可以包括”特征(如数字、功能、操作或诸如部件之类的组件)之类的术语和短语指示存在该特征，而不排除存在其他特征。而且，如本文所使用的，短语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”可以包括A和B的所有可能的组合。例如，“A或B”、“A和B中的至少一个”和“A或B中的至少一个”可以指示以下所有情况：(1)包括至少一个A；(2)包括至少一个B；或(3)包括至少一个A和至少一个B。此外，如本文所使用的，术语“第一”和“第二”可以修饰各种组件而无论其重要性如何，并且不限制这些组件。这些术语仅用于区分一个组件和另一个组件。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的顺序或重要性无关。在不脱离本公开的范围的情况下，第一组件可以被表示为第二组件，反之亦然。

将理解，当一元件(例如，第一元件)被称为(可操作地或通信地)“与另一元件耦合”/“耦合到”另一元件(例如，第二元件)或“与另一元件连接”/“连接到”另一元件时，它可以直接或通过第三元件与另一元件耦合或连接/耦合或连接到另一元件。相反，将理解，当一元件(例如，第一元件)被称为“直接与另一元件(例如，第二元件)耦合”/“直接耦合到”另一元件或“直接与另一元件连接”/“直接连接到”另一元件时，没有其他元件(例如，第三元件)介于该元件与该另一元件之间。

如本文所使用的，短语“被配置(或设置)为”可以根据具体情况与短语“适于”、“具有……能力”、“被设计为”、“被适配为”、“被制造为”或“能够”互换使用。短语“被配置(或设置)为”实质上并不意指“专门在硬件中被设计为”。相反，短语“被配置为”可以意指设备可以与另一设备或部件一起执行操作。例如，短语“被配置(或设置)为执行A、B和C的处理器”可以意指可以通过执行存储在存储器件中的一个或更多个软件程序来执行这些操作的通用处理器(例如，CPU或应用处理器)或用于执行这些操作的专用处理器(例如，嵌入式处理器)。

本文所使用的术语和短语仅用于描述本公开的一些实施例，而不是限制本公开的其他实施例的范围。应理解，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。本文所使用的所有术语和短语(包括技术和科学术语和短语)具有与本公开的实施例所属的本领域的普通技术人员通常理解的含义相同的含义。还将理解，诸如在常用词典中定义的那些术语和短语之类的术语和短语应被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且除非本文明确定义，否则它们将不会以理想化或过于形式的意义来解释。在某些情况下，本文定义的术语和短语可以被解释为排除本公开的实施例。

根据本公开的实施例的“电子设备”的示例可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子衣服、电子手镯、电子项链、电子配件、电子纹身、智能镜或智能手表)中的至少一个。电子设备的其他示例包括智能家用电器。智能家用电器的示例可以包括电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，SAMSUNG HOMESYNC、APPLE TV或GOOGLE TV)、智能扬声器或带有集成数字助理的扬声器(例如，SAMSUNG GALAXY HOME、APPLE HOMEPOD或AMAZON ECHO)、游戏机(例如，XBOX、PLAYSTATION或NINTENDO)、电子词典、电子钥匙、便携式摄录机或电子相框中的至少一个。电子设备的其他示例还包括各种医疗设备(例如，各种便携式医疗测量设备(如血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球定位***(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、航行电子设备(例如，航行导航设备或陀螺罗盘)、航空电子设备、安全设备、车载音响、工业或家用机器人、自动柜员机(ATM)、销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、电表或煤气表、洒水器、火灾警报器、恒温器、路灯、烤面包机、健身设备、热水箱、加热器或锅炉)中的至少一个。电子设备的其他示例包括一件家具或建筑物/结构的至少一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、煤气或电磁波的设备)。注意，根据本公开的各种实施例，电子设备可以是上面列出的设备中的一个或其组合。根据本公开的一些实施例，电子设备可以是柔性电子设备。本文公开的电子设备不限于上面列出的设备，并且可以根据技术的发展而包括新的电子设备。

在下面的描述中，根据本公开的各种实施例，参考附图对电子设备进行描述。如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。

可以贯穿本专利文件提供对其他某些词语和短语的定义。本领域普通技术人员应理解，在很多情况下，即使不是大多数情况，这种定义适用于如此定义的词语和短语的先前以及将来的使用。

本申请中的任何描述均不应被理解为暗示任何特定元件、步骤或功能是必须包含在权利要求范围内的必要元素。专利主题的范围仅由权利要求书限定。

附图说明

为了更完整地理解本公开及其优点，现在参考以下结合附图进行的描述，其中相同的附图标记表示相同的部件：

图1示出了根据本公开的实施例的包括电子设备的示例网络配置；

图2示出了根据本公开的实施例的用于多帧融合的示例过程；

图3示出了根据本公开的实施例的用于执行图2的过程中的图像直方图匹配的示例过程；

图4A和图4B示出了根据本公开的实施例的示例参考图像帧、示例非参考图像帧和示例运动图；

图5A和图5B示出了根据本公开的实施例的被划分为多个图块的示例图像帧以及相对于全局直方图匹配图的各图块的局部直方图匹配图；

图6A和图6B示出了根据本公开的实施例的具有大的过度曝光区域的图像帧的示例局部直方图匹配图以及示例经直方图匹配的图像帧；

图7示出了根据本公开的实施例的具有大的曝光不足区域的图像帧的示例局部直方图匹配图；

图8A、图8B和图8C示出了根据本公开的实施例的局部直方图匹配的示例应用；

图9示出了根据本公开的实施例的用于使用利用全局正则化和运动排除的局部直方图匹配进行多曝光图像融合的示例方法；以及

图10A、图10B和图10C示出了根据本公开的实施例的被划分为多个不规则图块的图像帧的示例。

具体实施方式

参考附图描述下文讨论的图1至图10C以及本公开的各种实施例。然而，应理解，本公开不限于这些实施例，并且对其的所有改变和/或等同或替换也属于本公开的范围。在整个说明书和附图中，相同或相似的附图标记可以用于指代相同或相似的元件。

如上所述，多帧混合算法在各种应用中用于“融合”或组合场景的多个图像帧以便产生场景的最终图像，例如在高动态范围(HDR)成像或运动模糊减少(MBR)中。在某些应用中，被融合的图像帧是使用不同的曝光设置(例如，不同的ISO设置和/或不同的曝光时间)捕获的。不幸的是，使用不同的曝光设置所捕获的图像帧通常具有不同的亮度水平，并且通常捕获到场景中不同数量的运动。全局图像直方图匹配算法可以用于调整一个或更多个图像帧的亮度，以便更容易地融合图像帧。但是，全局直方图匹配算法可能会导致各种图像伪影，例如亮度不一致和颜色失真。全局图像直方图匹配的一个问题是它不适于局部图像内容，这可能会导致无法为场景的某些类型的图像区域(例如，图像帧中的天空、树木和人的头发)找到可靠的直方图匹配。结果，通常难以融合使用不同的曝光设置所捕获的图像帧。

本公开提供了将利用全局正则化和运动排除的局部直方图匹配应用于多曝光图像融合的各种技术。如下文更详细地描述的，使用不同的曝光设置捕获场景的多个图像帧，例如，当使用不同的曝光长度捕获不同的图像帧时。排除图像帧中与场景中的运动相关联的像素，并且将图像帧划分为多个部分或“图块”。在一些情况下，将一个图像帧标识为参考图像帧，并且将一个或更多个其他图像帧标识为一个或更多个非参考图像帧且各自划分为图块。为非参考图像帧的每个图块计算局部直方图匹配图，其中局部直方图匹配图标识如何调整来自该图块的图像数据使得其直方图更接近地匹配参考图像帧的相应图块中的图像数据的直方图。可以基于该图像帧的全局直方图匹配图来对一个或更多个局部直方图匹配图进行正则化。例如，一图像图块的局部直方图匹配图的部分或全部可以由包含该图块的图像帧的全局直方图匹配图的部分或全部来替换。然后，可以使用局部直方图匹配图来生成场景的最终图像。

通过排除所捕获的图像帧中与运动相关联的像素，本专利文件中描述的技术有助于减少场景的最终图像中的运动模糊。此外，通过使用局部直方图匹配图，本专利文件中描述的技术可以更容易地适于所捕获的图像帧中不同类型的局部图像内容。此外，通过基于全局直方图匹配图对局部直方图匹配图进行正则化，可以更有效地处理一个或更多个图像帧中某些特定类型的局部图像内容(例如，过度曝光和曝光不足区域)，从而显著地减少那些区域中的图像伪影。

图1示出了根据本公开的包括电子设备的示例网络配置100。图1所示的网络配置100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用网络配置100的其他实施例。

根据本公开的实施例，电子设备101被包括在网络配置100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子设备101可以不包括这些组件中的至少一个，或可以添加至少一个其他组件。

总线110包括用于将组件120-180彼此连接并且用于在组件之间传输通信(例如，控制消息和/或数据)的电路。

处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器120能够对电子设备101的其他组件中的至少一个执行控制和/或执行与通信有关的操作或数据处理。在一些实施例中，处理器120可以是图形处理器单元(GPU)。例如，处理器120可以接收图像数据并且处理图像数据(如下文更详细地讨论的)，以支持使用利用全局正则化和运动排除的局部直方图匹配的多曝光图像融合。

存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件有关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。

程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被表示为操作***(OS)。

内核141可以控制或管理用于执行在其他程序(例如，中间件143、API 145或应用147)中实现的操作或功能的***资源(例如，总线110、处理器120或存储器130)。内核141提供允许中间件143、API 145或应用147访问电子设备101的各个组件的接口，以控制或管理***资源。

应用147包括如下文所讨论的用于图像捕获和图像处理的一个或更多个应用。这些功能可以由单个应用执行，也可以由多个应用执行，其中每个应用执行这些功能中的一个或更多个。中间件143可以例如用作中继器，以允许API 145或应用147与内核141传送数据。可以提供多个应用147。中间件143能够控制从应用147接收的工作请求，例如通过将使用电子设备101的***资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用147中的至少一个来进行。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 145包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。

I/O接口150用作例如可以将从用户或其他外部设备输入的命令或数据传送到电子设备101的其他组件的接口。I/O接口150还可以将从电子设备101的其他组件接收的命令或数据输出到用户或其他外部设备。

显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、量子点发光二极管(QLED)显示器、微机电***(MEMS)显示器或电子纸显示器。显示器160还可以是深度感知显示器，例如多焦点显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以例如使用电子笔或用户的身体部位接收触摸、手势、接近或悬停输入。

例如，通信接口170能够在电子设备101与外部电子设备(例如，第一电子设备102、第二电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信与网络162或164连接，以与外部电子设备进行通信。通信接口170可以是有线或无线收发器或用于发送和接收诸如图像之类的信号的任何其他组件。

无线通信能够将例如长期演进(LTE)、高级长期演进(LTE-A)、第五代无线***(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信***(UMTS)、无线宽带(WiBro)或全球移动通信***(GSM)中的至少一个用作蜂窝通信协议。有线连接可以包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)中的至少一个。网络162或164包括至少一个通信网络，例如计算机网络(如局域网(LAN)或广域网(WAN))、互联网或电话网络。

电子设备101还包括一个或更多个传感器180，其可以计量物理量或检测电子设备101的激活状态并且将所计量或检测到的信息转换为电信号。例如，一个或更多个传感器180包括一个或更多个相机或用于捕获场景图像的其他成像传感器。传感器180还可以包括用于触摸输入的一个或更多个按钮、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁性传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、超声传感器、虹膜传感器或指纹传感器。传感器180还可以包括惯性测量单元，其可以包括一个或更多个加速度计、陀螺仪和其他组件。此外，传感器180可以包括用于控制这里所包括的传感器中的至少一个的控制电路。这些传感器180中的任何一个都可以位于电子设备101内。

第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或可安装电子设备的可穿戴设备(例如，HMD)。当电子设备101安装在电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与电子设备102进行通信。电子设备101可以直接与电子设备102连接以与电子设备102进行通信，而不牵涉单独的网络。电子设备101还可以是包括一个或更多个相机的增强现实可穿戴设备，例如眼镜。

第一外部电子设备102和第二外部电子设备104以及服务器106可以各自是与电子设备101相同或不同类型的设备。根据本公开的某些实施例，服务器106包括由一个或更多个服务器构成的组。此外，根据本公开的某些实施例，在电子设备101上执行的所有或一些操作可以在另一或多个其他电子设备(例如，电子设备102和104或服务器106)上执行。此外，根据本公开的某些实施例，当电子设备101应当自动地或应请求执行某一功能或服务时，代替其自身执行该功能或服务或除了其自身执行该功能或服务之外，电子设备101可以请求另一设备(例如，电子设备102和104或服务器106)执行与之相关联的至少一些功能。另一电子设备(例如，电子设备102和104或服务器106)能够执行所请求的功能或附加功能并且将执行结果传送给电子设备101。电子设备101可以通过按原样或另外地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。虽然图1示出了电子设备101包括通信接口170以经由网络162或164与外部电子设备104或服务器106进行通信，但是根据本公开的一些实施例，电子设备101可以独立地操作而没有单独的通信功能。

服务器106可以包括与电子设备101相同或相似的组件110-180(或其合适的子集)。服务器106可以通过执行在电子设备101上实现的操作(或功能)中的至少一个来支持驱动电子设备101。例如，服务器106可以包括可支持在电子设备101中实现的处理器120的处理模块或处理器。

尽管图1示出了包括电子设备101的网络配置100的一个示例，但是可以对图1进行各种改变。例如，网络配置100可以包括以任何合适的布置的任何数量的每个组件。通常，计算和通信***具有各种各样的配置，并且图1不将本公开的范围限制为任何特定的配置。此外，虽然图1示出了其中可以使用本专利文件中公开的各种特征的一种操作环境，但是这些特征也可以用在任何其他合适的***中。

图2示出了根据本公开的实施例的用于多帧融合的示例过程200。为了便于说明，将图2所示的过程200描述为使用图1所示的电子设备101来执行。然而，图2所示的过程200可以与任何其他合适的电子设备一起使用并且可以在任何合适的***中使用。

通常，过程200用于捕获或以其他方式获取场景的多个图像帧205并且处理图像帧以便生成融合输出图像255。其中，融合输出图像255是通过组合或融合图像帧205中包含的图像数据而产生的。图像帧205中的至少两个是使用不同的曝光设置(例如，不同的曝光长度)捕获的。在一些实施例中，过程200可以接收使用不同的曝光设置所捕获的两个图像帧205。在其他实施例中，过程200可以接收三个或更多个图像帧205，其中至少两个图像帧205是使用不同的曝光设置捕获的。

可以使用任何合适的曝光设置来捕获图像帧205。在一些实施例中，可以使用自动式曝光(被称为“自动曝光”)或其他较长曝光来捕获至少一个图像帧205，并且可以使用相对于自动曝光或较长曝光的较短曝光来捕获至少一个其他图像帧205。自动曝光通常是指由相机或其他设备自动地确定的曝光，通常只需很少的用户输入或没有用户输入。例如，在某些情况下，允许用户指定曝光模式(例如，人像、风景、运动或其他模式)，并且可以基于所选择的曝光模式来生成自动曝光，而无需任何其他用户输入。每个曝光设置通常与相机的不同设置(例如，不同的光圈、快门速度和相机传感器灵敏度)相关联。与自动曝光或其他较长曝光的图像帧相比，较短曝光的图像帧通常更暗，缺少图像细节并且具有更多的噪点。结果，较短曝光的图像帧可以包括一个或更多个曝光不足区域，而自动曝光或其他较长曝光的图像帧可以包括一个或更多个过度曝光区域。注意，虽然下文经常描述为涉及使用至少一个自动曝光的图像帧和至少一个较短曝光的图像帧，但是本专利文件中描述的技术可以与使用不同曝光所捕获的图像帧的任何合适的组合一起使用。

在一些实例中，在捕获操作期间，处理器120可以控制电子设备101的相机或其他图像传感器180，使得图像帧205被快速地捕获，例如以连拍模式。可替代地，如果电子设备101包括多个相机或其他图像传感器180，则可以同时或以重叠的方式捕获图像帧205。触发图像帧205的捕获的捕获请求表示指示需要或期望使用电子设备101捕获场景图像的任何合适的命令或输入。例如，可以响应于用户按下显示器160上呈现的“软”按钮或用户按下“硬”按钮来发起捕获请求。在下文描述的一些实例中，可以假定响应于捕获请求而捕获了两个图像帧205，尽管这里可以捕获多于两个的图像帧。

在过程200内的处理操作期间，一个图像帧205可以用作参考图像帧，而另一图像帧205可以用作非参考图像帧。根据具体情况，参考图像帧可以表示自动曝光或其他较长曝光的图像帧，或者参考图像帧可以表示较短曝光的图像帧。在一些实施例中，默认情况下可以将自动曝光或其他较长曝光的图像帧用作参考图像帧，因为这通常允许在生成场景的合成图像或最终图像时更多地使用具有更多图像细节的图像帧。

如图2所示，预处理操作210接收图像帧205并且以期望的方式预处理图像帧205。作为预处理操作210的一部分，这里可以执行任何合适的预处理功能。例如，预处理操作210可以执行白平衡功能以改变或校正一个或更多个图像帧205中的颜色平衡。作为另一示例，预处理操作210可以执行使用掩模(例如，CFA掩模)从原始图像帧中包含的不完整颜色样本重构全彩色图像帧的功能。

将预处理的图像帧205提供给图像对准操作220，图像对准操作220通常用于将图像帧205对准并且产生对准的图像帧。例如，图像对准操作220可以修改非参考图像帧，使得非参考图像帧中的特定特征与参考图像帧中的相应特征对准。可能需要对准以补偿由电子设备101在图像捕获之间移动或旋转而引起的未对准，未对准会导致图像帧205中的对象略微地移动或旋转(这对于手持式设备是常见的)。图像帧205可以在几何上和光度上都对准。在一些实施例中，图像对准操作220可以使用块搜索中的全局定向快速旋转简报(ORB)特征和局部特征以对准图像帧，但是也可以使用图像配准操作的其他实现方式。注意，这里，参考图像帧在对准期间可以被修改或可以不被修改，而非参考图像帧可以表示在对准期间被修改的唯一图像帧。作为图像对准操作220的一部分，生成运动图，并且运动图可以包括粗略运动图，其中运动图(粗略运动图)反映对准的图像帧中存在运动的一个或更多个区域。

将对准的图像帧205提供给图像直方图匹配操作230，图像直方图匹配操作230通常用于修改非参考图像帧，使得非参考图像帧的直方图更接近地匹配参考图像帧的直方图。其中，图像直方图匹配操作230可以用于使参考图像帧和非参考图像帧两者的亮度水平大致相等并且使参考图像帧和非参考图像帧中的颜色更接近地匹配。图像直方图匹配操作230输出经直方图匹配的图像帧。注意，这里，参考图像帧在直方图匹配期间可以被修改或可以不被修改，而非参考图像帧可以表示在直方图匹配期间被修改的唯一图像帧。根据本公开的实施例，可以通过将参考图像帧和非参考图像帧划分为图块并且按每图块执行直方图匹配来执行局部直方图匹配。下面结合图3描述关于直方图匹配操作230的更多细节。

将经直方图匹配的图像帧提供给图像混合操作240，图像混合操作240混合或以其他方式组合来自图像帧的像素，以便产生场景的至少一个混合图像。每个混合图像通常表示不同曝光的图像帧的融合，其中混合图像中的每个像素是从参考图像帧或非参考图像帧中提取的，或者是来自参考图像帧和非参考图像帧两者的像素的组合。在混合期间，经直方图匹配的帧用于提供准确的运动分析并且生成混合运动图。然后，使用该混合运动图来指导不同曝光的图像帧的混合。这里可以使用各种技术来混合图像帧。

将至少一个混合图像提供给后处理操作250。后处理操作250可以对混合图像执行任何合适的后处理，以产生融合输出图像255。例如，后处理操作250可以执行色调映射或锐化。

可以以任何合适的方式来实现过程200的各种操作。例如，可以使用由电子设备101的至少一个处理器120执行的一个或更多个软件应用或其他软件指令来实现或支持过程200的每个操作。在其他实施例中，可以使用专用硬件组件来实现或支持过程200的至少一些操作。通常，可以使用任何合适的硬件或硬件与软件/固件指令的任何合适的组合来执行过程200的操作。

尽管图2示出了用于多帧融合的过程200的一个示例，但是可以对图2进行各种改变。例如，电子设备101可以执行任何其他期望的功能作为过程200的一部分或作为大型图像处理算法的一部分。作为特定示例，图像帧205可以经历其他合适的预处理和后处理操作。

图3示出了根据本公开的实施例的用于执行图2的过程200中的图像直方图匹配的示例过程300。具体地，图3所示的过程300可以作为图2所示的过程200中的图像直方图匹配操作230的一部分或全部来执行。为了便于说明，图3所示的过程300被描述为使用图1所示的电子设备101来执行。然而，图3所示的过程300可以与任何其他合适的电子设备一起使用并且可以在任何合适的***中使用。

如图3所示，过程300从图像对准操作220接收各种输入，例如粗略运动图(或运动图)305以及图像帧310和315。这里的图像帧310表示参考图像帧，而这里的图像帧315表示非参考图像帧。如上所述，这里的图像帧310、315已经被预处理和对准。在一些实施例中，图像帧310表示自动曝光或其他较长曝光的图像帧，而图像帧315表示较短曝光的图像帧，但是并非必须如此。此外，虽然这里接收到两个图像帧310、315，但是可以获取多于两个的图像帧。

将图像帧310和315提供给运动排除操作320，运动排除操作320通常用于基于粗略运动图305识别一个或更多个图像帧310和315的包含运动的区域并且将那些区域排除在进一步处理之外。例如，运动排除操作320可以基于粗略运动图305生成包含如下值的掩模，所述值指示是否在图像帧310和315中检测到运动，并且可以基于该掩模将图像帧310和315中与运动区域相关联的图像数据排除在进一步处理之外。可替代地，可以通过去除与运动相关联的图像数据来修改图像帧310和315。

将图像帧310和315(或图像帧310和315的修改版本)提供给基于图块的直方图匹配操作330。根据本公开的实施例，图像帧310、315(或其修改版本)被划分为多个图块，并且为图像帧315的每个图块生成局部直方图匹配图。每个局部直方图匹配图标识可以如何修改图像帧315的图块中的图像数据，使得该图像数据的直方图更接近地匹配图像帧310中的相应图块的直方图。基于图块的直方图匹配操作330可以使用任何合适的技术将每个图像帧划分为图块，并且基于图块的直方图匹配操作330可以使用任何合适的技术为图像帧的每个图块中的图像数据计算局部直方图匹配图。基于图块的直方图匹配操作330还可以为图像帧315整体计算全局直方图匹配图，并且基于图块的直方图匹配操作330可以使用任何合适的技术为图像帧的图像数据计算全局直方图匹配图。

全局正则化操作340接收局部直方图匹配图和全局直方图匹配图。全局正则化操作340通常使用图像帧的全局直方图匹配图来可选地正则化该图像帧的图块的一个或更多个局部直方图匹配图。例如，局部直方图匹配图的一部分或全部可以由全局直方图匹配图的一部分或全部来替换，以便说明诸如过度曝光区域和曝光不足区域之类的事项，或者可以确定至少部分地基于全局直方图匹配图的内插值并且在局部直方图匹配图中使用这些内插值。根据正被成像的场景，全局正则化操作340可以修改图像帧的一个或多于一个的局部直方图匹配图(或者可以不修改特定图像帧的局部直方图匹配图)。由此产生将被用于生成场景的最终图像的最终局部直方图匹配图。

直方图匹配操作350使用最终局部直方图匹配图(以及可能地使用全局直方图匹配图)来修改一个或更多个图像帧310、315。在一些实施例中，仅修改非参考图像帧315，但是在其他实施例中可以对两个图像帧310、315都进行修改。直方图匹配操作350可以使用任何合适的技术修改至少一个图像帧。下文参考图8提供可以由直方图匹配操作350执行的操作类型的一个示例。至少，直方图匹配操作350可以输出经直方图匹配的非参考图像帧355，其可以被提供给图像混合操作240。如果图像帧310被修改，则直方图匹配操作350可以输出多个经直方图匹配的图像帧。

可以以任何合适的方式来实现过程300的各种操作。例如，可以使用由电子设备101的至少一个处理器120执行的一个或更多个软件应用或其他软件指令来实现或支持过程300的每个操作。在其他实施例中，可以使用专用硬件组件来实现或支持过程300的至少一些操作。通常，可以使用任何合适的硬件或硬件与软件/固件指令的任何合适的组合来执行过程300的操作。

尽管图3示出了用于执行图2的过程200中的图像直方图匹配的过程300的一个示例，但是可以对图3进行各种改变。例如，电子设备101可以执行任何其他期望的功能作为过程300的一部分或作为大型图像处理算法的一部分。

图4A和图4B示出了根据本公开的实施例的示例参考图像帧410、示例非参考图像帧415和示例运动图405。在这些图像中，出于隐私目的遮盖了人的脸。如在图4A中可以看到的，与非参考图像帧415相比，参考图像帧410是使用较长曝光而捕获的。例如，可以使用EV+0曝光来捕获参考图像帧410，且可以使用EV-1、EV-2或EV-3曝光来捕获非参考图像帧415。结果，参考图像帧410更亮并且包含较多的图像细节，但是参考图像帧410经受更大的运动模糊或饱和度。例如，饱和度(或过饱和度)可以指示如下现象：其中帧的饱和度由于过度曝光而过度地包含光，从而接近无彩色。相反，非参考图像帧415更暗并且包含较少的图像细节，但是非参考图像帧415很少经受或不经受运动模糊或饱和度。

如在图4B中可以看到的，运动图405标识与图像帧410或415相关联的其中发生运动的像素。如上所述，可以在图2中的图像对准操作220期间识别运动图405。在一个实施例中，可以基于参考图像帧410和非参考图像帧415之间的运动矢量来确定运动图405的值。例如，运动图405可以是范围为[0，255]且尺寸为2016×1512的图。运动图405的值越小，则可以指示存在更高的运动可能性。在一个实施例中，当特定像素的运动图405的值小于预设阈值时，可以将对应像素确定为运动像素。例如，可以从通常预测的运动矢量来确定预设阈值。结果，运动图405可以标识图像帧410、415的那些即使在对准之后在图像帧410、415之间仍然继续存在明显差异的区域。

在一个实施例中，可以将运动图405修改为二进制运动图。在二进制运动图中，值1可以表示包含运动的运动像素，而值0可以表示不包含运动的静态像素。可以通过将运动图405的值与预设阈值进行比较来确定二进制运动图的值。例如，可以如下生成二进制运动图：如果所确定的运动图的值小于或等于预设阈值，则将该值替换为1，而如果所确定的运动图的值大于预设阈值，则将该值替换为0。二进制运动图可以用作掩模，以从后续的直方图匹配操作中排除运动像素。

在此特定示例中，一个人在挥动他的手，且与图像的包含该人的胳膊和手的区域425相关联的像素显示出明显的运动(意指超过某个阈值的运动)。结果，可以将区域425中的像素从随后的直方图匹配操作中排除，因为明显的运动容易导致图像帧之间的直方图失配。

尽管图4A和图4B示出了参考图像帧410、非参考图像帧415和运动图405的一个示例，但是可以对图4A和图4B进行各种改变。例如，这里的图像帧和运动图只是示例，且场景的图像及其相关联的运动图可以有很大不同。

图5A和图5B示出了根据本公开的实施例的被划分为多个图块505a-530a的示例图像帧500以及相对于全局直方图匹配图535的各图块的局部直方图匹配图505b-530b。如图5A所示，图像帧500已经被划分为2×3阵列的图块505a-530a。注意，这里的图块505a-530a的数量和布置仅用于说明，并且图像帧可以被划分为任何其他合适数量和布置的图块。此外，在该示例中，图块505a-530a中的每一个通常可以在图像帧500中包含基本相同量的空间，但是如下所述并非必须如此。在一些实施例中，基于图块的直方图匹配操作330可以基于诸如图像帧的大小、图像帧的取向和图像帧的内容之类的各种因素将不同的图像帧划分为不同数量和布置的图块。

基于图块的直方图匹配操作330计算图像帧500的局部直方图匹配图505b-530b和全局直方图匹配图535。每个局部直方图匹配图505b-530b基于相应图块505a-530a(以及另一图像帧的相应图块)的图像内容，而全局直方图匹配图535基于所有图块505a-530a(以及另一图像帧)的图像内容。在该示例中，每个局部直方图匹配图505b-530b由相关联的曲线图中的实线定义，而全局直方图匹配图535由这些曲线图中的虚线定义。在每个曲线图中显示了多条实线和虚线，从而定义用于不同颜色通道的曲线(例如，用于RGB通道的三条不同的实线曲线和三条不同的虚线曲线)。如下文更详细地说明的，可以在各种情况下使用全局直方图匹配图535来修改或替换一个或更多个局部直方图匹配图505b-530b的至少一部分，以便改善场景的最终图像的质量(被称为正则化的过程)。

如上文所指出的，直方图匹配通常将非参考图像帧315的亮度和颜色与参考图像帧310的亮度和颜色进行匹配。这可以通过以下操作来实现：计算非参考图像帧315的全局直方图匹配图和局部直方图匹配图；基于全局直方图匹配图对局部直方图匹配图中的任何一个进行正则化(如果需要的话)；以及修改至少非参考图像帧315中的图像数据，使得修改后的图像数据具有与参考图像帧310中的图像数据的直方图更接近地匹配的直方图。在一些情况下，可以仅修改非参考图像帧315中的图像数据，以便产生经直方图匹配的非参考图像帧355。

可以基于局部直方图匹配图(或其正则化的版本)以任何合适的方式对图像帧进行修改。例如，查找表可以将非参考图像帧315的原始亮度和/或色度像素值映射为经直方图匹配的非参考图像帧355的新的亮度和/或色度像素值。理想地，所得的经直方图匹配的非参考图像帧355具有与参考图像帧310的直方图更接近地匹配的直方图，从而有助于更接近地匹配参考图像帧310的亮度和颜色。

基于图块的局部直方图匹配的使用改善了直方图匹配操作230的整体质量。也就是说，直方图匹配操作230能够考虑图像帧500的不同区域中的局部图像内容并且可以将那些不同区域与另一图像帧中的相应区域更接近地匹配。如图5B所示，全局直方图匹配图535的曲线偏离若干个局部直方图匹配图505b-530b的曲线。因此，跨所有图块505a-530a仅执行全局直方图匹配将可能导致产生伪影，例如亮度不一致和颜色失真。将图像帧划分为图块可以更好地反映与图块相对应的图像内容，进而与全局匹配相比实现了更好的匹配性能。

尽管图5A和图5B示出了被划分为多个图块505a-530a的图像帧500以及相对于全局直方图匹配图535的各图块的局部直方图匹配图505b-530b的一个示例，但是可以对图5A和图5B进行各种改变。例如，用于划分图像帧的图块的数量可以增加或减少，并且图块不必具有统一的尺寸或形状。作为特定示例，可以将图像帧划分为3×3图块、4×2图块或2×4图块，并且可以随不同的分辨率使用不同数量和布置的图块(例如，对于1440×1440图像使用3×3图块，或对于2288×1080图像使用2×4或4×2图块)。

图6A和图6B示出了根据本公开的实施例的具有大的过度曝光区域的图像帧601的示例局部直方图匹配图以及示例经直方图匹配的图像帧602。如图6A所示，图像帧601已经被划分为图块605a-620a，并且已经为各个图块605a-620a生成了局部直方图匹配图605b-620b。此外，已经为图像601生成了全局直方图匹配图635，并且已经相对每个局部直方图匹配图605b-620b绘制了全局直方图匹配图635。

在该示例中，局部直方图匹配图605b、615b、620b相对较好地遵循全局直方图匹配图635。然而，与图块610a相关联的局部直方图匹配图610b没有。这是因为图块610a对应于图像帧601中的高饱和度区域(例如，接近具有低饱和度的无彩色的高光饱和区域)。结果，如椭圆650内所示，局部直方图匹配图610b包括如下RGB曲线，其在曲线的大部分上反映零值，直到曲线随后跳到其最大值。这是由于图像帧601中的高饱和度点的缘故。试图应用使用局部直方图匹配图610b的直方图匹配将因此可能至少在图块610a中并且可能地在相邻图块中导致亮度或颜色失配。为了帮助对此进行补偿，全局正则化操作340可以用全局直方图匹配图635中的值(或基于全局直方图匹配图635的值)替换局部直方图匹配图610b中的值，以在随后的涉及图块610a的直方图匹配操作期间使用。以这种方式产生的所得图像帧602在图6B中示出并且可以更准确地反映原始图像帧601中包含的图像数据。

在一些实施例中，该操作可以如下表示。为了减轻由非参考图像帧中的高饱和度区域引起的问题，通过将局部直方图匹配图610b中的零值替换为全局直方图匹配图635中的相应值的全局正则化过程来改变局部直方图匹配图610b。而且，对于局部直方图匹配图610b中的非零值，全局正则化过程可以在局部曲线与全局曲线之间进行内插以改善匹配性能。例如，可以将以下函数应用于局部直方图匹配图610b中的曲线，其中w是根据图块中的饱和度的量计算出的缩放权重：

尽管图6A和图6B示出了具有大的过度曝光区域的图像帧601的局部直方图匹配图605b-620b的示例以及经直方图匹配的图像帧602的一个示例，但是可以对图6A和图6B进行各种改变。例如，这些图像仅旨在说明可以如何处理图像帧的饱和区域的局部直方图匹配图。其他图像帧将具有其他图像内容和直方图，但是可以在其中应用相同类型的技术。

图7示出了根据本公开的实施例的具有大的曝光不足区域的图像帧701的示例局部直方图匹配图。与具有大的过度曝光(过度饱和)区域的图像帧所呈现的问题类似，具有黑暗(曝光不足)区域的图像也可能无法提供在直方图匹配期间使用的可靠的局部直方图匹配图。考虑图7所示的示例，其示出了被划分为图块705a-710a的图像帧701、与各个图块705a-710a相关联的局部直方图匹配图705b-710b以及与所有图块705a-710a相关联的全局直方图匹配图735。

在该示例中，局部直方图匹配图705b相对较好地遵循全局直方图匹配图735。然而，与图块710a相关联的局部直方图匹配图710b没有。这是因为图块710a对应于图像帧701的黑暗区域。结果，如椭圆750内所示，局部直方图匹配图710b包括如下RGB曲线，其最初增大并且然后在RGB曲线的大部分上以恒定值平展。试图应用使用局部直方图匹配图710b的直方图匹配将因此可能至少在图块710a中并且可能地在相邻图块中导致亮度或颜色失配。为了帮助对此进行补偿，全局正则化操作340可以用全局直方图匹配图735替换局部直方图匹配图710b并且在随后的涉及图块710a的直方图匹配操作期间使用全局直方图匹配图735。以这种方式产生的所得图像帧可以更准确地反映原始图像帧701中包含的图像数据。

在一些实施例中，该操作可以如下表示。为了减轻由非参考图像帧中的黑暗区域引起的问题，通过与上文参考图6A和图6B所说明的用于高饱和区域的过程类似的全局正则化过程来改变局部直方图匹配图710b。然而，不是替换局部直方图匹配图710b中的零值以及基于饱和度的量内插非零值，而是，用于黑暗区域的全局正则化可以将局部直方图匹配图的值替换为相应的全局直方图匹配图的值，如果这两个值之间的差超过预定阈值。例如，可以将以下函数应用于局部直方图匹配图710b中的曲线，其中T_th表示预定阈值，并且f₁[k]可以由以上等式确定：

尽管图7示出了具有大的曝光不足区域的图像帧701的局部直方图匹配图的一个示例，但是可以对图7进行各种改变。例如，该图像仅旨在说明可以如何处理图像帧的较暗区域的局部直方图匹配图。其他图像帧将具有其他图像内容和直方图，但是可以在其中应用相同类型的技术。

图8A、图8B和图8C示出了根据本公开的实施例的局部直方图匹配的示例应用。例如，图8A、图8B和图8C所示的应用可以分别表示上述直方图匹配操作350可以执行局部直方图匹配的一种方式。然而，注意，直方图匹配操作350可以执行任何其他合适的操作以提供局部直方图匹配。

如图8A所示，对图像帧800及其图块805a-830a和局部直方图匹配图805b-830b正进行处理。为了处理图像帧800，逐像素地修改图像帧800的每个像素801。在一些实施例中，这可以仅通过将每个局部直方图匹配图805b-830b应用于其相应图块805a-830a的像素值来完成。

在其他实施例中，图块中每个像素801的值是基于其最邻近图块(例如，其四个最邻近图块)的多个局部直方图匹配图而被内插的。这可以有助于在直方图匹配操作中(在每个图块的边界处)提供平滑度并且避免图块边界周围的不连续性。作为特定示例，图块中每个像素801的值可以基于由其最邻近图块(例如，其四个最邻近图块)的局部直方图匹配图定义的像素值的加权平均而被内插。例如，可以将以下函数应用于其四个最邻近图块的局部直方图匹配图的加权平均：

f(x，y)[k]＝prod0*(1-weightY)+prod1*weighty，

其中，

其中，(x，y)是像素坐标，weightX是x/tileWidth，weightY是y/tileHeight，并且f_tile1[k]、f_tile2[k]、f_tile3[k]和f_tile4[k]表示(x，y)坐标上存在的像素的四个最邻近图块的局部直方图匹配图的值。

对于图8A所示的特定像素801，图块810a中的像素801可以基于来自局部直方图匹配图805b、810b、815b和820b的值。对来自相邻图块的局部直方图匹配图的每个值施加的权重可以基于像素801与相邻图块之间的距离。

对于图8B中所示的特定像素802，图块830a中的像素802可以基于来自局部直方图匹配图815b、820b、825b和830b的值。对来自相邻图块的局部直方图匹配图的每个值施加的权重可以基于像素802与相邻图块之间的距离。例如，像素802可以具有反映最近图块的局部直方图匹配图830b的值的最高权重。此外，应用于像素802的直方图匹配的局部直方图匹配图815b、820b、825b和830b的值的量可以分别根据weightX和weightY而变化，其中weightX是根据像素相对于图块的宽度在x轴上的位置所确定的，weightY是根据像素相对于图块的高度在y轴上的位置所确定的。

如图8C所示，图块805a中的特定像素803和图块830a中的特定像素804可以仅具有两个相邻图块。对于像素803，可以应用最终局部直方图匹配值，其中两个相邻图块的局部直方图匹配图805b和810b分别被反映两次。类似地，对于像素804，可以应用最终局部直方图匹配值，其中两个相邻图块的局部直方图匹配图825b和830b分别被反映两次。对来自相邻图块的局部直方图匹配图的每个值施加的权重可以基于像素803或804与每个相邻图块之间的距离。

尽管图8A、图8B和图8C各自示出了局部直方图匹配的应用的一个示例，但是可以对图8A、图8B和图8C进行各种改变。例如，可以以任何其他合适的方式将局部直方图匹配图应用于一个或更多个图像帧中的图块的像素值。

图9示出了根据本公开的实施例的用于使用利用全局正则化和运动排除的局部直方图匹配进行多曝光图像融合的示例方法900。为了便于说明，图9所示的方法900被描述为使用图1所示的电子设备101来执行。然而，图9所示的方法900可以与任何其他合适的电子设备一起使用并且可以在任何合适的***中使用。

在步骤905中，电子设备101通过使用至少一个传感器(例如，图1中的一个或更多个传感器180)获取场景的多个图像帧205。多个图像帧205可以包括使用较长曝光时间所捕获的参考图像帧310和使用较短曝光时间所捕获的非参考图像帧315。当与参考图像帧310相比时，非参考图像帧315可以呈现曝光不足。

在步骤910中，基于运动图305从多个图像帧中排除像素。运动图305可以在多帧融合算法的预处理或对准操作期间生成。要排除的像素对应于多个图像帧205中包含大量运动的至少一个区域。

在步骤915中，生成多个局部直方图匹配图。例如，每个图像帧205可以被划分为多个图块。然后，可以基于参考图像帧310中的图块与非参考图像帧315中的相应图块的比较(跨图像帧310、315的所有图块)来生成局部直方图匹配图。在步骤920中，生成全局直方图匹配图。可以基于整个参考图像帧310与整个非参考图像帧315的比较来生成全局直方图匹配图。

在步骤925中，可以将全局正则化应用于局部直方图匹配图中的一个或更多个。例如，可以将全局正则化应用于与非参考图像帧315的高度饱和区域或较暗区域相关联的局部直方图匹配图。上文提供了用(或基于)全局直方图匹配图的各部分替换局部直方图匹配图的各部分的示例方法。

在步骤930中，生成并且输出经直方图匹配的图像帧。例如，可以基于局部直方图匹配图(其中的至少一个可能已基于全局直方图匹配图被正则化)来生成经直方图匹配的非参考图像帧355。所得的经直方图匹配的非参考图像帧355可以在亮度和颜色方面接近地匹配参考图像帧310。

在步骤935中，产生场景的最终图像。例如，可以发生混合操作。在混合期间，经直方图匹配的帧用于提供准确的运动分析并且生成混合运动图。使用该混合运动图来指导图像帧310和315的混合。然后，所得的图像可以经历后处理操作以产生融合输出图像255。融合输出图像255可以以任何合适的方式存储、输出或使用。例如，融合输出图像255可以在电子设备101的显示器160上显示，保存到存储在电子设备101的存储器130中的相机胶卷，或附加到将从电子设备101发送的文本消息、电子邮件或其他通信。当然，可以以任何其他或另外的方式使用场景的最终图像。

尽管图9示出了用于使用利用全局正则化和运动排除的局部直方图匹配进行多曝光图像融合的方法900的一个示例，但是可以对图9进行各种改变。例如，虽然被示出为一系列步骤，但是图9中的各个步骤可以重叠、并行发生、以不同顺序发生或以任意次数发生。

应注意，虽然以上将图像帧中的图块示出并且描述为具有规则的形状和布置的均匀图块，但是可以使用其他方法来定义图像帧中的图块。例如，基于图块的直方图匹配操作330可以基于诸如图像帧的大小、图像帧的取向和图像帧的实际内容之类的各种因素将不同的图像帧划分为不同数量和布置的图块。

图10A、图10B和图10C示出了根据本公开的实施例的被划分为多个不规则图块的图像帧1001、1002、1003的示例。在图10A中，图像帧1001包括基于在图像帧1001中检测到的天空的存在以及基于场景内的一个或更多个对象的轮廓而定义的图块。其中，创建了图块，以将建筑物分割为与天空分开的图块。注意，可以创建图块以将场景中的其他对象彼此分割并且与天空分割。

在图10B中，图像帧1002包括在场景的前景中围绕人定义的图块以及定义场景的背景的一个或更多个图块。注意，可以围绕在场景的前景中的一个或更多个对象类似地创建一个或更多个图块。还应注意，根据场景的背景，可以类似地创建用于包含背景的一个或更多个图块。

在图10C中，图像帧1003包括基于图像帧1003中的特征或对象而不规则地成形的图块。在该示例中，图块由场景中的天际线定义，其提供了天然的中断以划分出上下图块。类似地，场景中的山脉提供了天然的中断以划分出左右图块。

在一些实施例中，可以通过首先执行识别场景的前景和背景中的不同区域的前景/背景分割过程来识别图像帧的图块。这里可以使用用于前景/背景分割的各种方法。对于一个或更多个背景区域，可以使用上述方法对多个图像帧中的每个背景区域执行局部直方图匹配。在这些操作期间，可以将前景区域排除在考虑范围之外。对于一个或更多个前景区域，也可以使用上述方法对多个图像帧中的每个前景区域执行局部直方图匹配。在那些操作期间，可以将背景区域排除在考虑范围之外。

其中，该方法还可以改善直方图匹配过程，尤其是在前景区域中。这对于各种场景而言可能是有益的，例如当图像帧的前景区域包括一个或更多个人的皮肤和头发(其在图像处理期间通常容易发生色移和运动)时。这也仍然允许处理场景的背景区域并且获取局部直方图匹配的益处。

尽管图10A、图10B和图10C示出了被划分为图块的图像帧1001、1002、1003的示例，但是可以对这些图进行各种改变。例如，这些图仅旨在说明可以基于图像帧的内容将图像帧分割为图块的示例方式。用于划分图像帧的图块的数量可以增加或减少，并且图块的布置可以根据需要或期望而变化。

尽管已经参考各种示例实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开意在涵盖落入所附权利要求的范围内的这种改变和修改。

Claims (15)

1.一种方法，包括：

获取场景的多个图像帧，所述多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧；

基于标识运动的运动图在所述第一图像帧和所述第二图像帧中排除像素；

基于所述第一图像帧和所述第二图像帧的多个图块生成多个局部直方图匹配图；以及

使用所述局部直方图匹配图生成经直方图匹配的图像帧。

2.根据权利要求1所述的方法，其中，所述运动图包括二进制运动图，

其中，所述二进制运动图通过以下操作生成：

基于所述第一图像帧与所述第二图像帧之间的运动矢量确定运动图的值；

将所确定的运动图中小于或等于预设阈值的值替换为值1；以及

将所确定的运动图中大于预设阈值的值替换为值0。

3.根据权利要求1所述的方法，还包括：

基于所述第一图像帧和所述第二图像帧生成全局直方图匹配图；以及

基于所述全局直方图匹配图，修改所述局部直方图匹配图中的至少一个，

其中，使用所述局部直方图匹配图生成经直方图匹配的图像帧包括：使用所述修改的局部直方图匹配图生成经直方图匹配的图像帧。

4.根据权利要求3所述的方法，其中，修改所述局部直方图匹配图中的至少一个包括：

将指定局部直方图匹配图中的零值替换为所述全局直方图匹配图中的相应值；以及

将所述指定局部直方图匹配图中的非零值替换为在所述指定局部直方图匹配图与所述全局直方图匹配图之间内插的值。

5.根据权利要求4所述的方法，其中，基于所述多个图像帧之一的相应图块中的曝光量，对在所述指定局部直方图匹配图与所述全局直方图匹配图之间内插的值进行加权。

6.根据权利要求4所述的方法，其中，修改所述局部直方图匹配图中的至少一个还包括：

当指定局部直方图匹配图中的值与所述全局直方图匹配图中的相应值之间的差超过预定阈值时，将所述指定局部直方图匹配图中的所述值替换为所述全局直方图匹配图中的所述相应值。

7.根据权利要求1所述的方法，其中，使用所述局部直方图匹配图生成经直方图匹配的图像帧包括：

基于与特定像素相邻的四个图块所对应的四个局部直方图匹配图对图像帧的每个像素值进行内插。

8.一种电子设备，包括：

至少一个图像传感器，获取图像帧；以及

可操作地连接到所述至少一个图像传感器的至少一个处理器，所述至少一个处理器被配置为：

从所述至少一个图像传感器获取场景的多个图像帧，所述多个图像帧包括使用不同曝光所捕获的第一图像帧和第二图像帧；

基于标识运动的运动图在所述第一图像帧和所述第二图像帧中排除像素；

基于所述第一图像帧和所述第二图像帧的多个图块生成多个局部直方图匹配图；以及

使用所述局部直方图匹配图生成经直方图匹配的图像帧。

9.根据权利要求8所述的电子设备，其中，所述运动图包括二进制运动图，

其中，所述二进制运动图通过以下操作生成：

基于所述第一图像帧与所述第二图像帧之间的运动矢量确定运动图的值；

将所确定的运动图中小于或等于预设阈值的值替换为值1；以及

将所确定的运动图中大于预设阈值的值替换为值0。

10.根据权利要求8所述的电子设备，其中，所述至少一个处理器还被配置为：

基于所述第一图像帧和所述第二图像帧生成全局直方图匹配图；以及

基于所述全局直方图匹配图，修改所述局部直方图匹配图中的至少一个，

其中，所述至少一个处理器还被配置为：使用所述修改的局部直方图匹配图生成经直方图匹配的图像帧，以使用所述局部直方图匹配图生成经直方图匹配的图像帧。

11.根据权利要求10所述的电子设备，其中，为了修改所述局部直方图匹配图中的至少一个，所述至少一个处理器被配置为：

将指定局部直方图匹配图中的零值替换为所述全局直方图匹配图中的相应值；以及

将所述指定局部直方图匹配图中的非零值替换为在所述指定局部直方图匹配图与所述全局直方图匹配图之间内插的值。

12.根据权利要求11所述的电子设备，其中，基于所述多个图像帧之一的相应图块中的曝光量，对在所述指定局部直方图匹配图与所述全局直方图匹配图之间内插的值进行加权。

13.根据权利要求11所述的电子设备，其中，为了修改所述局部直方图匹配图中的至少一个，所述至少一个处理器还被配置为：

当指定局部直方图匹配图中的值与所述全局直方图匹配图中的相应值之间的差超过预定阈值时，将所述指定局部直方图匹配图中的所述值替换为所述全局直方图匹配图中的所述相应值。

14.根据权利要求8所述的电子设备，其中，所述至少一个处理器还被配置为：

基于与特定像素相邻的四个图块所对应的四个局部直方图匹配图对图像帧的每个像素值进行内插，以使用所述局部直方图匹配图生成所述经直方图匹配的图像帧。

15.一种包含指令的机器可读介质，所述指令在被执行时使电子设备的至少一个处理器执行权利要求1至7中的任一项所述的方法。

Images