CN107209940A - 使用环境‑闪光灯‑环境图像来检测场景中的运动区域 - Google Patents

Abstract

本文中所描述的***和方法可补偿由使用闪光灯所俘获到的图像中的移动物体产生的像差。在一些实施例中，一种方法包含：在时间t‑Δt₁时俘获第一图像，其中Δt₁表示俘获所述第一图像与俘获第二图像之间的时差；在时间t时俘获所述第二图像，所述第二图像使用闪光灯来俘获。所述方法还包含在时间t+Δt₂时俘获第三图像，其中Δt₂表示俘获所述第二图像与俘获所述第三图像之间的时差；确定所述第一、第二和第三图像中所描绘的物体的运动信息；以及使用所述运动信息和所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分来修改所述第二图像的至少一部分。

Description

使用环境-闪光灯-环境图像来检测场景中的运动区域

技术领域

本发明大体上涉及移除由图像中的移动物体引起的像差。更具体地说，本发明涉及使用图像的序列以确定使用闪光灯源所产生的图像中的描绘物体的运动的区域，并从图像移除此些像差。

背景技术

当俘获图像时，闪光灯可用以通过人造光照明场景。闪光灯可随某段短时间段照明场景，使得移动物体可在所俘获图像中看起来是静止的。然而，当使用闪光灯时，场景的背景可能看起来比前景暗。相比之下，与使用闪光灯所俘获到的图像中产生的背景相比，仅使用环境光所俘获到的图像可提供对背景的更亮的描绘。通过俘获场景的环境图像和闪光灯图像两者并融合所述图像，可产生具有每一图像的优选特征的图像。然而，俘获到第一图像的时间与俘获到第二图像的时间之间的物体的运动可在经融合图像中引起运动区域的出现。

传统上，通过比较所要图像与参考图像并确定所述图像之间的像素差来检测到图像中的运动。使用闪光灯的图像与使用环境照明的图像之间的运动检测具有挑战性且常常引起误报，误报可能是由闪光灯引起和/或在闪光灯和环境图像中具有不同可见区域的阴影的结果。

发明内容

一个创新是一种用于补偿由图像中的移动物体产生的像差的方法。在一些实施例中，所述方法包含：产生场景的具有第一曝光和第一外部照明的第一图像；产生所述场景的具有第二曝光和第二外部照明的第二图像，所述第二曝光和所述第二外部照明不同于所述第一曝光和所述第一外部照明，在所述第一图像之后的时间俘获所述第二图像；以及产生所述场景的具有所述第一曝光和所述第一外部照明的第三图像，在所述第二图像之后的时间俘获所述第三图像。所述方法可进一步包含使用所述第一图像和所述第三图像来确定一或多个运动区域，所述一或多个运动区域指示所述第一图像、所述第二图像和所述第三图像中的一或多者中的指示移动物体在俘获所述第一图像、所述第二图像和所述第三图像的时间段期间的位置的区域。另一创新是一种用于补偿由使用闪光灯照明***俘获到的图像中的移动物体产生的像差的方法。在一些实施例中，所述方法包含：在时间t-Δt₁时俘获第一图像；在时间t时在所述第一图像之后俘获第二图像，所述俘获所述第二图像包含启动所述闪光灯照明***，其中Δt₁表示俘获所述第一图像与俘获所述第二图像之间的时间；以及在时间t+Δt₂时在所述第二图像之后俘获第三图像，其中Δt₂表示俘获所述第二图像与俘获所述第三图像之间的时间。所述方法可进一步包含：确定所述第一、第二和第三图像中所描绘的物体的运动信息；以及使用所述运动信息和所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分来修改所述第二图像的至少一部分。

在一个实例中，使用环境光来俘获所述第一图像和所述第三图像。可使用闪光灯照明***来俘获所述第二图像。所述方法可进一步包含：修改所述第一图像和所述第三图像的一或多个像素；量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及阈值处理对应像素的每一集合之间的所述差值。在一个实例中，确定一或多个运动区域是至少部分基于具有高于阈值的差值的对应像素的每一集合的位置。在一些实施例中，所述方法可进一步包含使用所述第二图像的对应于所述第一图像和所述第三图像中的一或多者中的运动区域的一或多个部分和所述第一图像和所述第三图像中的一或多者的一或多个部分来产生第四图像。在一些实施例中，所述方法进一步包含合并所述第二图像的一部分与所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分。在一个实例中，合并所述第二图像的一部分与所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分包含：将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。

本发明的另一方面是一种计算机可读媒体，在其上存储有指令，所述指令在被执行时执行用于补偿由图像中的移动物体产生的像差的方法。

本发明的另一方面是一种经配置以补偿由图像中的移动物体产生的像差的设备。在一些实施例中，所述设备可包含能够产生用于成像的照明的闪光灯***。在一些实施例中，所述设备可包含耦合到所述闪光灯***的相机。所述相机可经配置以：产生场景的具有第一曝光和第一外部照明的第一图像；产生所述场景的具有第二曝光和第二外部照明的第二图像，所述第二曝光和所述第二外部照明不同于所述第一曝光和所述第一外部照明，在所述第一图像之后的时间俘获所述第二图像；以及产生所述场景的具有所述第一曝光和所述第一外部照明的第三图像，在所述第二图像之后的时间俘获所述第三图像。所述设备还可包含经配置以存储由所述相机俘获的图像的存储器组件。在一些实施例中，所述设备还可包含处理器，所述处理器经配置以使用所述第一图像和所述第三图像来确定一或多个运动区域，所述一或多个运动区域指示所述第一图像、所述第二图像和所述第三图像中的一或多者中的指示移动物体在俘获所述第一图像、所述第二图像和所述第三图像的时间段期间的位置的区域。

在一个实例中，使用环境光来产生所述第一图像和所述第三图像，且使用用以照明所述场景的闪光灯来产生所述第二图像。在一些实施例中，所述处理器经进一步配置以在确定所述一或多个运动区域之前调节所述第一图像和所述第三图像的自动白平衡、自动曝光和自动聚焦参数。在一些实施例中，所述处理器经进一步配置以：修改所述第一图像和所述第三图像的一或多个像素；量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及阈值处理对应像素的每一集合之间的所述差值。在一些实施例中，所述处理器经配置以至少部分基于具有高于阈值的差值的对应像素的每一集合的位置而确定一或多个运动区域。在一些实施例中，所述处理器经进一步配置以使用所述第二图像的对应于所述第一图像和所述第三图像中的一或多者中的运动区域的一或多个部分和所述第一图像和所述第三图像中的一或多者的一或多个部分来产生第四图像。在一些实施例中，所述处理器经进一步配置以合并所述第二图像的一部分与所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分。在一些实施例中，所述处理器经配置以将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。

附图说明

图1A描绘根据说明性实施例的一系列环境-闪光灯-环境图像的实例。

图1B描绘说明确定场景中的运动区域和图解说明的图像的实例。

图1C描绘指示一系列环境-闪光灯-环境图像中的两个环境图像之间的物体的运动的区域的实例。

图2描绘说明根据说明性实施例的环境图像与闪光灯图像的合并的图像的集合的实例。

图3是说明实施一些操作性特征的成像装置的实施例的实例的框图。

图4描绘展示补偿图像中的像差的方法的实施例的实例的流程图。

图5描绘展示确定场景中的运动区域的方法的实施例的实例的流程图。

图6描绘展示确定场景中的运动区域的方法的实施例的另一实例的流程图。

具体实施方式

以下详细描述是针对本发明的某些具体实施例。然而，本发明可以众多不同方式体现。应显而易见的是，本文中的方面可以广泛多种形式体现，且本文中所揭示的任何具体结构、功能或结构与功能仅仅表示本发明的一或多个实施例。本文中所揭示的方面可独立于任何其它方面予以实施，且可以各种方式组合这些方面中的两者或更多者。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，通过使用除了本文所阐述的方面中的一或多者之外或不同于本文所阐述的实施例中的一或多者的其它结构、功能性或结构与功能性，可实施此设备或可实践此方法。

关于数码相机技术而描述本文中所描述的实例、***和方法。可在多种不同数码相机装置上实施本文中所描述的***和方法。这些装置包含通用或专用数码相机***、环境或配置。可合适与本发明一起使用的数码相机***、环境和配置的实例包含(但不限于)数码相机、手持式或笔记本电脑装置和移动装置(例如，电话、智能电话、个人数据助理(PDA)、超级移动个人计算机(UMPC)和移动互联网装置(MID))。

实施例可用以校正包含移动物体的图像中的运动像差。实施例可使用快速连续截取的一系列三个图像以检测场景中的运动区域，第一图像与第三图像具有相同曝光和外部照明。一些实施例使用一系列环境-闪光灯-环境图像。“环境-闪光灯-环境”是指在相对较短时间帧内所俘获到的一系列三个图像，其中使用环境光俘获到第一和第三图像且使用闪光灯来俘获到第二图像。举例来说，可在时间t-Δt₁时使用环境光来曝光第一图像，其中Δt₁表示第一图像与第二图像之间的时间。可随后使用闪光灯源来在时间t时曝光第二图像。可随后在时间t+Δt₂时使用环境光来曝光第三图像，其中Δt₂表示第二图像与第三图像之间的时间。在一些实施例中，Δt₁等于Δt₂。在一些实施例中，Δt₁大于或小于Δt₂。

可在时间上包围闪光灯图像的两个环境图像(在闪光灯图像之前俘获到的第一环境图像和在闪光灯图像之后俘获到的第二环境图像)中确定表示一或多个移动物体的图像的部分。在一些实施例中，一或多个图像参数设定为相同，这是因为俘获使用用于第一图像的环境光、用于第二图像的闪光灯源和用于第三图像的环境光所俘获到的图像的序列中的环境光照亮的图像有助于检测两个环境图像中的物体的运动。举例来说，在一些实施例中，自动白平衡、自动曝光和自动聚焦图像参数(在本文中统称作“3A参数”)中的一或多者可对于两个环境图像设定为相同值或类似值。环境-闪光灯-环境图像中的两者或更多者的部分可融合以移除所谓“重影区域”或运动区域(即，图像的区域中的由物体的运动引起的图像像差)的出现。

在与某些本发明方面相关的方法和设备的说明性实施例中，连续地俘获三个图像以检测场景中的运动区域并允许补偿那些运动区域。其它实施例可仅包含两个图像或包含多于三个图像。图1A说明分别由成像装置(为了易于参考，在本文中有时被称作“相机”)连续地俘获的一系列三个环境-闪光灯-环境101、102和103的实例，图像展示场景中的移动物体105。在时间t-Δt₁时使用环境光来俘获图像101。图像101展示在时间t-Δt₁时物体105的位置，描绘为区域105_A1。在时间t时使用闪光灯源来俘获图像102。Δt₁表示俘获图像101的时间与俘获图像102的时间之间的时间段。图像102展示在时间t时物体105的位置，描绘为区域105_F。在时间t₊Δt₂时使用环境光来俘获图像103。Δt₂表示俘获图像102的时间与俘获图像103的时间之间的时间段。图像103展示在时间t+Δt₂时物体105的位置，描绘为区域105_A2。

两个或多于两个图像可融合(或合并)以产生具有两个或多于两个图像中的每一者的特征的所得图像。在一些实施例中，闪光灯图像与环境图像融合，以使得经融合图像的一或多个区段将具有闪光灯图像的特征，且经融合图像的一或多个区段将具有环境图像的特征。然而，融合俘获场景中的移动物体的两个或多于两个图像可引起经融合图像的指示不同时间点时的移动物体的位置的若干区域。图1A说明通过融合图像101、102与103所产生的经融合环境和闪光灯图像104的实例。图像104展示区域105_A1、105_F和105_A2，其分别描绘在时间t-Δt₁、t和t+Δt₂中时移动物体105的位置。这些区域可被称作运动区域。

在一些实施例中，一种设备和一种方法可使用来自一系列环境-闪光灯-环境图像中的两个环境图像的信息来检测场景中的运动区域。图1B说明用以确定场景中的运动区域的图像的实例。图像109和111分别描绘图像101和103(图1A)的经修改版本，其中图像101和103已经处理以考虑可能被不当地确定为指示运动的一些固有差异，例如，由相机的轻微移动或环境照明的改变引起的差异。对图像的处理可包含模糊图像、将图像转换成灰度、形态图像打开和形态图像关闭。图像109的区域118表示图像101的对应于区域105_A1的经处理区域。图像111的区域119表示图像103的对应于区域105_A2的经处理区域。图像109或111中的一者中的每个像素的值(例如强度值)可从图像109或111中的另一者中的对应像素(对应于图像中的相同位置的像素)的值减去，以量化两个图像中的差异。一对对应像素之间的差异可指示表示移动物体的区域。可接着在预定义值下阈值处理差的绝对值以进一步考虑可能被不当地确定为指示运动的固有差异。图像112描绘展示表示图像109和111中的对应像素之间的差异的绝对值的数据的实例的图形。x轴上的每个位置表示来自图像109和111的一对对应像素。y轴展示每对对应像素中的像素之间的差异的绝对值。图像112进一步展示表示对应像素之间的差异的阈值的线113。确定高于阈值的值以基于图像109与图像111的比较而指示对应像素的位置处的场景中的运动。

经确定为指示运动的像素可在俘获到图像101时(t-Δt₁)和在俘获到图像103时(t+Δt₂)指示移动物体105的位置，位置在图1A中分别由区域105_A1和105_A2表示。t-Δt₁和t+Δt₂时的移动物体105的位置可用以估计移动物体可能已在时间t-Δt₁与t-Δt₂之间时存在。图1C说明指示一系列环境-闪光灯-环境图像中的两个环境图像之间的物体的运动的估计区域的实例。图像114和115描绘区域205，区域205表示如上文参考图1B所描述所确定的时间t-Δt₁与t+Δt₂之间时物体105的经估计位置。出于说明性目的而在图像114中展示区域118和119。如果环境-闪光灯-环境图像中的两者或更多者合并，那么区域205表示场景的运动区域可存在于经融合图像中的区段。

在一些实施例中，一种设备和一种方法可合并(或融合)图像101、图像102与图像103，以产生具有来自闪光灯图像102的一或多个部分和环境图像101的一或多个部分和/或环境图像103的一或多个部分的图像。经融合图像的对应于区域205或区域205的部分的一部分可从图像101、102和103中的一者截取，以使得经融合图像描绘在时间t-Δt₁、t和t+Δt₂中的单个者时的移动物体105的位置。

图2描绘根据一些实施例的图像的集合(图像106、图像107与图像108)的实例，每一图像说明组合图像101、图像102与图像103的一部分以形成不含由物体105的运动引起的像差的所得图像。

图像106描绘具有图像101、102和103(图1A)中的两者或更多者的部分的经融合图像，其中经融合图像的部分对应于已从图像101取得的区205。因此，图像106描绘时间t-Δt₁时的物体105的位置(由区105_A1表示)，其中在俘获到图像102和103时在表示物体的位置的运动区域中不具有像差。

图像107描绘具有图像101、102和103中的两者或更多者的部分的经融合图像，其中经融合图像的部分对应于已从图像102取得的区205。因此，图像107描绘时间t时的物体105的位置(由区105_F表示)，其中在俘获到图像101和103时在表示物体的位置的运动区域中不具有像差。

图像108描绘具有图像101、102和103中的两者或更多者的部分的经融合图像，其中经融合图像的部分对应于已从图像103取得的区205。因此，图像108描绘时间t+Δt₂时的物体105的位置(由区105_A2表示)，其中在俘获到图像101和103时在表示物体的位置的运动区域中不具有像差。

在其它实施方案中，描述为与所说明模块相关联的功能性可实施于其它模块中，如所属领域的技术人员将理解。

图3是说明可用以实施一些实施例的成像装置的实例的框图。成像装置300包含以操作方式连接到成像传感器314的处理器305、透镜310、致动器312、工作存储器370、存储装置375、显示器380、输入装置390和闪光灯395。另外，处理器305连接到存储器320。所说明存储器320存储存储数据值的若干模块，所述数据值定义用以对处理器305进行配置以执行成像装置300的功能的指令。存储器320包含透镜控制模块325、输入处理模块330、参数模块335、运动检测模块340、图像分层模块345、控制模块360和操作***365。

在说明性实施例中，光进入透镜310并聚焦于成像传感器314上。在一些实施例中，成像传感器314可包含电荷耦合装置(CCD)。在另一方面中，成像传感器314可包含互补金属氧化物半导体(CMOS)装置。透镜310可耦合到致动器312且由致动器312移动。致动器312经配置以在操作期间在一系列一或多个透镜移动中移动透镜310。当透镜310到达其移动范围的边界时，透镜310或致动器312可被称作饱和。透镜310可由所属领域中已知的任何方法致动，方法包含音圈电机(VCM)、微机电***(MEMS)或形状记忆合金(shape memory alloy；SMA)。

显示器380经配置以显示经由透镜310所俘获到的图像，且亦可用以实施装置300的配置功能。在一个实施方案中显示器380可经配置以显示由成像装置的使用者经由输入装置390选择的一或多个物体。

输入装置390可呈许多形式，这取决于实施方案。在一些实施方案中，输入装置390可与显示器380集成以便形成触摸屏显示器。在其它实施方案中，输入装置390可包含成像装置300上的单独键或按钮。这些键或按钮可提供用于在显示器380上显示的菜单的导航的输入。在其它实施方案中，输入装置390可以是输入端口。举例来说，输入装置390可实现另一装置到成像装置300的操作性耦合。成像装置300可接着经由输入装置390从附接的键盘或鼠标接收输入。

仍参考图3，处理器305可使用工作存储器370以存储在成像装置300的操作期间动态地产生的数据。举例来说，来自存储于存储器320中的模块中的任一者的指令(下文论述)可在由处理器305执行时存储于工作存储器370中。工作存储器370还可存储动态运行时间数据，例如由正在处理器305上执行的程序使用的堆栈或堆数据。存储装置375可用以存储由成像装置300产生的数据。举例来说，经由透镜310俘获到的图像可存储于存储装置375上。

存储器320可被视为计算机可读媒体且存储若干模块。模块存储定义处理器305的指令的数据值。这些指令对处理器305进行配置以执行装置300的功能。举例来说，在一些方面中，存储器320可经配置以存储致使处理器305执行如下文所描述和如图4到6中所说明的方法400、425和600中的一或多者或其部分的指令。在所说明实施例中，存储器320包含透镜控制模块325、输入处理模块330、参数模块335、运动检测模块340、图像分层模块345、控制模块360和操作***365。

控制模块360可经配置以控制存储器320中的一或多个模块的操作。操作***模块365包含对处理器305进行配置以管理装置300的硬件和软件资源的指令。

透镜控制模块325包含对处理器305进行配置以控制透镜310的指令。透镜控制模块325中的指令可对处理器305进行配置以实现用于透镜310的透镜位置。在一些方面中，透镜控制模块325中的指令可对处理器305进行配置以控制透镜310结合图像传感器314来俘获图像。因此，透镜控制模块325中的指令可表示用于通过图像传感器314和透镜310俘获图像的一个装置。

仍参看图3，在另一方面中，透镜控制模块325可包含对处理器305进行配置以接收透镜310的位置信息的指令，连同其它输入参数。透镜位置信息可包含当前和目标透镜位置。因此，透镜控制模块325中的指令可以是用于产生定义透镜位置的输入参数的一个装置。在一些方面中，透镜控制模块325中的指令可表示用于确定当前和/或目标透镜位置的一个装置。

输入处理模块330包含对处理器305进行配置以从输入装置390读取输入数据的指令。在一个方面中，输入处理模块330可对处理器305进行配置以检测由图像传感器314俘获到的图像内的物体。在另一方面中，输入处理模块330可对处理器305进行配置以从输入装置390接收用户输入并基于输入装置390的用户操控而识别用户选择或配置。因此，输入处理模块330中的指令可表示用于识别或选择图像内的一或多个物体的一个装置。

参数模块335包含指令，所述指令对处理器305进行配置以确定由成像装置300俘获的图像的自动白平衡、自动曝光和自动聚焦参数。参数模块335还可包含对处理器305进行配置以调节一或多个图像的自动白平衡、自动曝光和自动聚焦参数的指令。

运动检测模块340包含对处理器305进行配置以检测图像的可指示物体的运动的区段的指令。在一些实施例中，运动检测模块340包含指令，所述指令对处理器进行配置以比较两个或多于两个图像的区段以检测图像的可指示物体的运动的区段。处理器可通过量化两个或多于两个图像中的像素之间的差异来比较两个或多于两个图像的区段。在一些实施例中，运动检测模块340包含指令，所述指令对处理器进行配置以阈值处理通过量化两个或多于两个图像中的像素之间的差异所确定的值。在一些实施例中，两个或多于两个图像是一系列环境-闪光灯-环境图像中的两个环境图像。运动检测模块340还可包含指令，所述指令对处理器进行配置以在比较之前修改两个或多于两个图像，以考虑图像中的可能被错误地标识为运动区域的固有差异。

图像分层模块345包含对处理器305进行配置以检测图像的可用以增加或修改另一图像的区段的指令。图像分层模块345还可包含对处理器305进行配置以将图像的区段分层在另一图像之上的指令。在说明性实施例中，图像分层模块345可包含用于检测图像的对应于另一图像中的运动区域的区段的指令。图像分层模块345可进一步包含用以使用图像的区段以增加或修改另一图像的对应于运动区域中的像差的区段的指令。图像分层模块345还可包含用以将图像的区段分层到另一图像的区段上的指令。

图4描绘用于补偿由一系列图像中的移动物体产生的像差的过程400的实施例的实例的流程图。过程400在框405处开始，其中在时间t-Δt₁时通过成像装置(例如图3中所描绘的成像装置300)俘获第一图像，例如图1A中所描绘的图像101。可使用环境光俘获第一图像。Δt₁表示成像装置俘获第一图像时与成像装置俘获第二图像时之间的时间段。

在俘获到第一图像之后，过程400移动到框410，其中在时间t时通过成像装置俘获第二图像，例如图1A中所描绘的图像102。可使用照明场景的闪光灯来俘获第二图像。

在俘获到第二图像之后，过程400移动到框415，其中在时间t+Δt₂时通过成像装置俘获第三图像，例如图1A中所描绘的图像103。Δt₂表示成像装置俘获第二图像时与成像装置俘获第三图像时之间的时间段。可使用环境光俘获第三图像。

在俘获到第三图像之后，过程400移动到框420，其中可将第一图像和第三图像的自动白平衡、自动曝光和自动聚焦参数调节成相同值或类似值。

过程400接着移动到过程框425，其中检测运动区域。下文关于图5而描述检测运动区域的实施例。

在检测到运动区域之后，过程移动到框430，其中确定第一图像的、第二图像的和第三图像的对应于指示场景中的在运动中的物体的区域(例如图1C和2中所描绘的区域205)的一或多个部分。

过程400接着移动到框435，其中对来自第一图像、第二图像和第三图像中的一者的对应区域的选择作出确定。

在确定了来自第一图像、第二图像和第三图像中的一者的对应区域的选择之后，过程移动到框440，其中产生具有来自第一图像、第二图像和第三图像中的两者或更多者的部分的图像，其中所述部分中的一者是所确定对应区域。因此，产生图像而不具有运动区域。过程接着结束。

图5描绘说明用于确定一系列环境-闪光灯-环境图像(例如，图1中所描绘的图像101、102与103)中的两个图像之间的运动区域的过程425的实施例的实例的流程图。在一些实施例中，仅环境图像101和103用于运动检测。过程425在框510处开始，其中修改环境-闪光灯-环境图像中的一或多者以考虑可能被不当地确定为指示运动的固有差异，例如，由相机的轻微移动或环境照明的改变引起的差异。举例来说，可通过模糊图像、将图像转换成灰度、通过形态图像打开、通过形态图像关闭或任何其它合适的图像处理技术来修改图像(如果需要)。

在修改了图像之后，过程移动到框520，其中确定对应于经修改图像中的两个图像中的相同位置的像素之间的差异。可通过从经修改图像中的一者中的每个像素的值减去来自另一经修改图像的对应像素的值(例如强度值)来确定差异。非零差值指示在正被比较的两个图像的对应像素中存在差异，此情形可指示物体可能已在两个图像之间的时间段期间在像素中所展示的图像的区域中移动。

在确定了对应像素之间的差值之后，过程425移动到框530，其中阈值处理每一差值的绝对值。可阈值处理每一差值的绝对值与考虑可能被不当地确定为指示运动的固有差异。高于阈值的值可确定为指示环境-闪光灯-环境图像系列中所俘获的场景中的运动。可以是通过实验所确定的预设值。可凭经验确定阈值以最小化错误运动确定，同时识别尽可能多的运动。在一些实施例中，阈值可由用户动态地设定。替代地，可基于用户输入和处理结果而半自动地设定阈值。在阈值处理每一差值的绝对值之后，过程425结束。

图6描绘说明补偿由图像中的移动物体产生的像差的过程400的实施例的实例的流程图，使用用以照明图像中的至少一个物体的闪光灯源来俘获到所述图像。过程600在步骤610处开始，其中使用环境光来产生场景的第一图像(例如，图1A中所描绘的图像101)。第一图像可在时间t-Δt₁时俘获场景，其中Δt₁表示第一图像与第二图像之间的时间段。

在使用环境光产生了第一图像之后，过程移动到步骤620，其中使用用以照明场景的闪光灯来产生场景的第二图像(例如，图1A中所描绘的图像102)，在俘获到第一图像之后俘获到第二图像。第二图像可在时间t时俘获场景。

在使用用以照明场景的闪光灯来产生第二图像之后，过程600移动到步骤630，其中使用环境光来产生场景的第三图像(例如，图1A中所描绘的图像103)，在俘获到第二图像之后俘获到第三图像。第三图像可在时间t+Δt₂时俘获场景，其中Δt₂表示第二图像与第三图像之间的时间段。

在俘获到场景的第三图像之后，过程移动到框640，其中确定一或多个运动区域。确定运动区域可包含确定第一图像和第三图像中的对应像素的特性差异。此些差异可以是(例如)强差或色差。在上文参考图1B和5解释确定一或多个运动区域的实施例。在确定了运动区域之后，过程结束。

本文所揭示的实施方案提供用于无视差和倾斜假影的多个光圈阵列相机的***、方法和设备。所属领域的技术人员将认识到，这些实施例可能用硬件、软件、固件或其任何组合来予以实施。

在一些实施例中，可在无线通信装置中实施上文所论述的电路、过程和***。无线通信装置可以是用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏***、音乐播放器、上网本、无线调制解调器、笔记本电脑、平板装置等。

无线通信装置可包含：一或多个图像传感器；两个或多于两个图像信号处理器；和一个存储器，其包含用于实施上文所论述的过程的指令或模块。装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。

无线通信装置可以无线方式连接到另一电子装置(例如，基站)。无线通信装置可替代地被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包含笔记本电脑或台式电脑、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏***等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准而操作。因此，通用术语“无线通信装置”可包含根据业界标准的不同命名法所描述的无线通信装置(例如，接入终端、用户设备(UE)、远程终端等等)。

可将本文中所描述的功能作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制，此媒体可包含RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用来存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和Blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。应注意，计算机可读媒体可以是有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

本文中所揭示的方法包含用于实现所描述方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可以修改特定步骤和/或动作的次序和/或使用。

应注意，如本文中所使用，术语“耦合”、“正耦合”、“经耦合”或词语“耦合”的其它变化可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文中所使用，术语“多个”指示两个或多于两个。举例来说，多个组件指示两个或更多个组件。

术语“确定”涵盖广泛多种动作，且因此“确定”可包含计算、估计、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查实等等。而且，“确定”可以包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等等。并且，“确定”可包含解析、选择、挑选、建立等等。

除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。

在以上描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践实例。举例来说，可在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它实例中，可详细展示此些组件、其它结构和技术以进一步解释所述方面。

本文中包含数个标题是为了参考目的并辅助定位各个部分。这些标题不意图限制关于其描述的概念的范围。此些概念可在整个说明书中都具有适用性。

还应注意，可将实例描述成过程，这个过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述为依序过程，但是许多操作可同时或并行执行，并且所述过程可重复。此外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、进程、子例程、子程序等。当过程对应于软件函数时，过程的终止对应于函数返回到调用函数或主函数。

提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明不意图于本文中所展示的实施方案，而是将被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (30)

1.一种用于补偿由图像中的移动物体产生的像差的方法，所述方法包括：

产生场景的具有第一曝光和第一外部照明的第一图像；

产生所述场景的具有第二曝光和第二外部照明的第二图像，所述第二曝光和所述第二外部照明不同于所述第一曝光和所述第一外部照明，在所述第一图像之后的时间俘获所述第二图像；

产生所述场景的具有所述第一曝光和所述第一外部照明的第三图像，在所述第二图像之后的时间俘获所述第三图像；以及

使用所述第一图像和所述第三图像来确定一或多个运动区域，所述一或多个运动区域指示所述第一图像、所述第二图像和所述第三图像中的一或多者中的指示移动物体在俘获所述第一图像、所述第二图像和所述第三图像的时间段期间的位置的区域。

2.根据权利要求1所述的方法，其中使用环境光来产生所述第一图像和所述第三图像，且使用用以照明所述场景的闪光灯来产生所述第二图像。

3.根据权利要求1所述的方法，其进一步包括在确定所述一或多个运动区域之前将所述第一图像和所述第三图像的自动白平衡、自动曝光和自动聚焦参数调节成相同值。

4.根据权利要求1所述的方法，其中所述确定一或多个运动区域包括：

修改所述第一图像和所述第三图像的一或多个像素；

量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及

阈值处理对应像素的每一集合之间的所述差值。

5.根据权利要求1所述的方法，其中所述确定一或多个运动区域是至少部分基于具有高于阈值的差值的对应像素的每一集合的所述位置。

6.根据权利要求1所述的方法，其进一步包括使用所述第二图像的对应于所述第一图像和所述第三图像中的一或多者中的运动区域的一或多个部分和所述第一图像和所述第三图像中的一或多者的一或多个部分来产生第四图像。

7.根据权利要求1所述的方法，其进一步包括合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分。

8.根据权利要求7所述的方法，其中

合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分，

包括将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。

9.一种非暂时性计算机可读存储媒体，其存储指令，所述指令在被执行时致使至少一个物理计算机处理器执行调节触摸式输入的位置的方法，所述方法包括：

产生场景的具有第一曝光和第一外部照明的第一图像；

产生所述场景的具有第二曝光和第二外部照明的第二图像，所述第二曝光和所述第二外部照明不同于所述第一曝光和所述第一外部照明，在所述第一图像之后的时间俘获所述第二图像；

产生所述场景的具有所述第一曝光和所述第一外部照明的第三图像，在所述第二图像之后的时间俘获所述第三图像；以及

使用所述第一图像和所述第三图像来确定一或多个运动区域，所述一或多个运动区域指示所述第一图像、所述第二图像和所述第三图像中的一或多者中的指示移动物体在俘获所述第一图像、所述第二图像和所述第三图像的时间段期间的位置的区域。

10.根据权利要求9所述的非暂时性计算机可读存储媒体，其中使用环境光来产生所述第一图像和所述第三图像，且使用用以照明所述场景的闪光灯来产生所述第二图像。

11.根据权利要求9所述的非暂时性计算机可读存储媒体，其中所述方法进一步包括在确定所述一或多个运动区域之前将所述第一图像和所述第三图像的自动白平衡、自动曝光和自动聚焦参数调节成相同值。

12.根据权利要求9所述的非暂时性计算机可读存储媒体，其中所述方法包括：

修改所述第一图像和所述第三图像的一或多个像素；

量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及

阈值处理对应像素的每一集合之间的所述差值。

13.根据权利要求12所述的非暂时性计算机可读存储媒体，其中所述确定一或多个运动区域是至少部分基于具有高于阈值的差值的对应像素的每一集合的所述位置。

14.根据权利要求9所述的非暂时性计算机可读存储媒体，其中所述方法进一步包括使用所述第二图像的对应于所述第一图像和所述第三图像中的一或多者中的运动区域的一或多个部分和所述第一图像和所述第三图像中的一或多者的一或多个部分来产生第四图像。

15.根据权利要求9所述的非暂时性计算机可读存储媒体，其中所述方法进一步包括合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分。

16.根据权利要求15所述的非暂时性计算机可读存储媒体，其中合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分，

包括将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。

17.一种经配置以补偿由图像中的移动物体产生的像差的设备，所述设备包括：

闪光灯***，其能够产生用于成像的照明；

相机，其耦合到所述闪光灯***，其中所述相机经配置以：

产生场景的具有第一曝光和第一外部照明的第一图像；

产生所述场景的具有第二曝光和第二外部照明的第二图像，所述第二曝光和所述第二外部照明不同于所述第一曝光和所述第一外部照明，在所述第一图像之后的时间俘获所述第二图像；

产生所述场景的具有所述第一曝光和所述第一外部照明的第三图像，在所述第二图像之后的时间俘获所述第三图像；

存储器组件，其经配置以存储由所述相机俘获的图像；以及

处理器，其经配置以使用所述第一图像和所述第三图像来确定一或多个运动区域，所述一或多个运动区域指示所述第一图像、所述第二图像和所述第三图像中的一或多者中的指示移动物体在俘获所述第一图像、所述第二图像和所述第三图像的时间段期间的位置的区域。

18.根据权利要求17所述的设备，其中使用环境光来产生所述第一图像和所述第三图像，且使用用以照明所述场景的闪光灯来产生所述第二图像。

19.根据权利要求17所述的设备，其中所述处理器经进一步配置以在确定所述一或多个运动区域之前调节所述第一图像和所述第三图像的自动白平衡、自动曝光和自动聚焦参数。

20.根据权利要求17所述的设备，其中所述处理器经配置以：

修改所述第一图像和所述第三图像的一或多个像素；

量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及

阈值处理对应像素的每一集合之间的所述差值。

21.根据权利要求20所述的设备，其中所述处理器经配置以至少部分基于具有高于阈值的差值的对应像素的每一集合的所述位置而确定一或多个运动区域。

22.根据权利要求17所述的设备，其中所述处理器经进一步配置以使用所述第二图像的对应于所述第一图像和所述第三图像中的一或多者中的运动区域的一或多个部分和所述第一图像和所述第三图像中的一或多者的一或多个部分来产生第四图像。

23.根据权利要求17所述的设备，其中所述处理器经进一步配置以合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分。

24.根据权利要求23所述的设备，其中所述处理器经配置以将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。

25.一种用于补偿由使用闪光灯照明***俘获到的图像中的移动物体产生的像差的方法，所述方法包括：

在时间t-Δt₁时俘获第一图像；

在时间t时在所述第一图像之后俘获第二图像，所述俘获所述第二图像包含启动所述闪光灯照明***，其中Δt₁表示俘获所述第一图像与俘获所述第二图像之间的时间；

在时间t+Δt₂时在所述第二图像之后俘获第三图像，其中Δt₂表示俘获所述第二图像与俘获所述第三图像之间的时间；

确定所述第一、第二和第三图像中所描绘的物体的运动信息；以及

使用所述运动信息和所述第一图像的一部分、所述第三图像的一部分或所述第一图像的一部分和所述第三图像的一部分来修改所述第二图像的至少一部分。

26.根据权利要求25所述的方法，其中使用相同曝光和相同外部照明来俘获所述第一图像和所述第三图像。

27.根据权利要求25所述的方法，其进一步包括在确定所述运动信息之前调节所述第一图像和所述第三图像的自动白平衡、自动曝光和自动聚焦参数。

28.根据权利要求25所述的方法，其中所述确定运动信息包括：

修改所述第一图像和所述第三图像的一或多个像素；

量化对应像素的每一集合之间的差值，对应像素的集合包括所述第一图像或所述第三图像中的一者中的像素和所述第一图像或所述第三图像中的另一者中的像素，所述像素对应于所述图像中的相同位置；以及

阈值处理对应像素的每一集合之间的所述差值。

29.根据权利要求25所述的方法，其中修改所述第二图像的至少一部分包括合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，或

所述第一图像的一部分和所述第三图像的一部分。

30.根据权利要求25所述的方法，其中合并所述第二图像的一部分与所述第一图像的一部分、

所述第三图像的一部分，

或所述第一图像的一部分和所述第三图像的一部分，

包括将所述第一图像、所述第二图像或所述第三图像中的一或多者的一或多个区段分层在所述第一图像、所述第二图像或所述第三图像中的另一者中检测到的运动区域之上，其中所述一或多个区段包括场景的与被图像的运动区域隐蔽的区域相同的区域，其中所述区域不被运动区域隐蔽。