CN105812675B - 基于亮度分布和运动之间的折中生成场景的hdr图像的方法 - Google Patents
基于亮度分布和运动之间的折中生成场景的hdr图像的方法 Download PDFInfo
- Publication number
- CN105812675B CN105812675B CN201610028658.2A CN201610028658A CN105812675B CN 105812675 B CN105812675 B CN 105812675B CN 201610028658 A CN201610028658 A CN 201610028658A CN 105812675 B CN105812675 B CN 105812675B
- Authority
- CN
- China
- Prior art keywords
- exposure
- frame
- motion
- pixels
- next frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 11
- 230000001186 cumulative effect Effects 0.000 description 11
- 238000003066 decision tree Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000005316 response function Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/50—Tuning indicators; Automatic tuning control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
当在当前曝光(Ei)下已经捕捉到对场景成像的当前帧(fi)时,所述方法包括:‑将针对下一帧(fi+1)的曝光(Ei+1)设置为所述当前曝光(Ei)、所述当前帧(fi)的像素的颜色的第一亮度分布(Hfulli)、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布(Hmotioni)的函数,其中,与先前帧(fi)相比较来针对这些像素评估所述运动,‑在所设置的曝光(Ei+1)下捕捉所述下一帧(fi+1),‑将所述下一帧(fi+1)与至少所述当前帧(fi)合并为HDR图像。
Description
技术领域
本发明大致涉及高动态范围(HDR)数字成像,且具体地涉及由成像设备(例如,数码相机)确定并设置图像数据检测的曝光参数以产生场景的高动态范围(HDR)图像。
背景技术
动态范围是传感器或致动器可生成的最大可能信号和最小可能信号之间的比率。本文中使用的术语“动态范围”指代图像捕捉设备(例如,数码相机)的动态范围。
为了捕捉场景的HDR图像,通常由HDR图像捕捉设备在变化的曝光下捕捉该场景的多个帧。在该设备的传统设置中,通常对曝光进行分隔,以使得可覆盖该场景的整个照明分布。这样的过程被称为“包围曝光(exposure bracketing)”。现代的相机允许捕捉3到9个包围曝光,该3到9个包围曝光可间隔1/3个光圈刻度(f-stop)到3个光圈刻度,其中,1个光圈刻度是一个对数单位。光圈刻度是相机镜头的焦距与该镜头的入射光瞳的直径的比率。为了根据这些具有不同曝光的帧创建HDR图像,通过以自身已知的方式将每个曝光的良好曝光部分进行组合来对曝光序列进行合并。一般而言,根据曝光的曝光时间来对曝光进行缩放(scale),且每个帧的每个像素取决于其光强度接收加权因子:越靠近范围的中间的像素接收越高的加权,因为它们更可能描绘有用信息。例如参见:Pradeep Sen、Nima KhademiKalantari、MaziarYaesoubi、SoheilDarabi、Dan B.Goldman以及Eli Shechtman的Robustpatch-based HDR reconstruction of dynamic scenes(ACM Transactions onGraphics,31(6):203:1-203:11,2012)。
通常,用于构建HDR图像的不同帧的曝光是均匀分隔的。因为曝光的均匀分隔,这些解决方案具有多个缺点。首先,可能捕捉到过多的曝光,每个曝光复制了相邻曝光的很多内容。其次,如果曝光间隔得更远,所产生的HDR图像在暗区可能遭受到过多的噪声。
在题为“Metering for exposure stacks”的文章(Orazio Gallo等于2012年在Computer Graphics Forum中发表,第31卷,479-488页(Wiley在线图书馆))中,在捕捉使用来构建HDR图像的该组曝光之前,算法使用低分辨率曝光来估计场景的HDR直方图。基于该直方图测试所有的曝光组合,以决定对于HDR捕捉而言哪个组合对场景是最优的。为了对曝光的选择和放置进行引导,还考虑噪声特性,以使得最终的选择最小化噪声。然后使用这些设置来捕捉该一系列的曝光。由于该方案是设计来捕捉单个HDR图像的,其具有以下缺点:
-没有考虑运动;
-对于视频而言不实际,因为视频要求构建全HDR直方图。这可能导致过多的丢失帧,且因此最终结果可能是低帧率。
相同的结论适用于文档US7382931和US8582001。
在将这样的HDR处理应用于视频捕捉时,使用不同曝光设置来连续地捕捉交替的帧:这样的处理被称为“时间包围(temporal bracketing)”。然而,因为场景中的一些对象可能在捕捉用来构建视频的每幅HDR图像的连续曝光期间移动(或相机可能移动),且因为这些不同的曝光在不同时间捕捉场景,这些曝光的合并可能产生运动伪像。此外,因为HDR图像的频率是视频图像捕捉设备所允许的帧频率的划分,该HDR频率可能过低以至于不能避免运动模糊。
因此,存在对高动态范围与敏锐的运动捕捉之间的折中的需要。
发明内容
本发明的目标是这样的折中。
本发明的主旨是一种生成场景的HDR图像的方法,其中,已在当前曝光下捕捉到对所述场景成像的当前帧,以及已在所述当前帧之前捕捉到对所述场景成像的先前帧,所述方法包括:
-将针对下一帧的曝光设置为所述当前曝光、所述当前帧的像素的颜色的第一亮度分布、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布的函数,其中,与所述先前帧相比较来针对这些像素评估所述运动,
-在所设置的曝光下捕捉所述下一帧,
-将所述下一帧与至少所述当前帧合并为HDR图像。
所述帧(即,先前帧、当前帧和下一帧)中的每个帧在不同时刻对所述场景成像。这些先前帧、当前帧和下一帧可以是连续捕捉到的帧(即,在其之间没有其他帧),或可以是非连续捕捉到的帧(即,在其之间存在其他帧)。
所述运动区域可涉及所述当前帧的没有结合在一起的不同部分。作为对与先前帧的比较的补充,针对这些像素对该运动的评估还可以考虑其他参数。
为了在进行中(on the fly)确定要被合并以得到场景的HDR图像的不同帧的最优曝光设置,所提议的图像/帧捕捉方法有利地考虑该场景的动态范围和该场景中的运动二者。该方法逐帧地动态改变曝光,不仅与现有技术中一样根据场景中的亮度值的分布,还根据在该场景中检测到的运动。该方法有利地利用了局部和全局运动数据以及亮度直方图信息来决定针对给定场景在不产生运动伪像的情况下可能有多少曝光。
与使用预定参数来定义用于生成HDR图像的连续帧的曝光不同,本发明定义在捕捉当前帧之后紧接着的针对下一帧的曝光。
作为第二优点,本发明不降低帧率,因为在序列中生成的HDR图像的数目将会与用于生成这些HDR图像的帧的数目几乎相同。例如,如果场景存在具有极其不同的亮度等级的两个截然不同的区域,该方法将会把曝光与这些等级中的每个等级对准,但将会把曝光进一步间隔开,使得最小化或消除它们之间的重叠,还取决于此,将合并算法应用于后期处理。同样地,如果将暗的对象移动到亮的背景前(或反之),将会围绕移动对象的强度等级来间隔曝光,使得可充分捕捉到其运动。在亮背景区域(或反之)中,该方法将会依靠空间间隔更远的帧,其中,暗(亮)区域中的运动并不强,且允许捕捉全场景的动态范围。因此,虽然向具有运动的区域给予了优先级,如果运动在相邻帧之一中降低,本方法可有利地针对每幅生成的LDR图像重构全场景范围。如果没有降低,与单LDR图像相比,本发明仍然扩展了范围。
优选地,针对当前帧的至少一个像素,所述运动不存在。这意味着该帧实际包括不运动的区域。更一般地,这意味着与先前帧中对应像素相比较来评估当前帧的像素的运动将导致不同的运动值,特别是不同的运动幅度值,特别是包括零。
优选地,将所述针对下一帧的曝光被设置为还是针对所述当前帧的曝光改变优选方向的函数。
优选地,所述方法包括确定针对所述下一帧之后的帧的曝光改变优选方向。
优选地,针对下一帧的曝光的所述设置包括:基于所述第一亮度分布但不基于所述第二亮度分布来估计初始曝光,基于所述第二亮度分布来估计调整曝光,以及对所述针对下一帧的曝光进行最终估计,所述最终估计适于在所述初始曝光和所述调整曝光之间进行选择来作为所述针对下一帧的曝光的值。
本发明的主旨还是一种HDR图像捕捉设备,包括帧传感器和处理器,所述帧传感器被配置为捕捉对场景成像的连续帧,特别是捕捉先前帧和当前曝光下的当前帧,所述处理器被配置为:
-将针对下一帧的曝光设置为所述当前曝光、所述当前帧的像素的颜色的第一亮度分布、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布的函数,其中,与所述先前帧相比较来针对这些像素评估所述运动,
-触发由所述帧传感器在所设置的曝光下捕捉所述下一帧,
-将所述下一帧与至少所述当前帧合并为HDR图像。
附图说明
在阅读通过非限制示例的方式给出并参考附图的描述时,将会更容易理解本发明,在附图中:
图1是根据本发明的主要实施例的视频图像捕捉设备的简化框图;
图2是示出根据本发明的主要实施例的使用图1的视频图像捕捉设备生成场景的HDR图像的方法的图;
图3是当针对下一帧的曝光改变方向是“向上”时该主要实施例中使用的决策树,用于实现针对之后帧的曝光最终估计步骤和针对之后帧的曝光改变方向确定步骤;
图4是当针对下一帧的曝光改变方向是“向下”时该主要实施例中使用的决策树,用于实现针对之后帧的曝光最终估计步骤和针对之后帧的曝光改变方向确定步骤;
图5示出了根据主要实施例的图2上示出的方法的迭代的当前帧fi中的亮度值Z的直方图;
图6示出了与图5相同的亮度值Z直方图,其中,虚线中是累积的直方图。
具体实施方式
本领域技术人员将会意识到,本文中呈现的任何流程图、图表等表示体现本发明的示意性电路的概念性视图。其可在计算机可读介质中实质性地表示并因此由计算机或处理器来执行,而不管这样的计算机或处理器是否被显式地示出。
根据本发明的主要实施例,图1描绘了视频图像捕捉设备(且更具体地,数字视频相机)的简化框图。数字视频相机100包括帧传感器110。帧传感器110可涉及被配置为捕捉场景的图像或帧的光学镜头和光检测电路(例如,CMOS集成电路等)的组合。该帧传感器110由相机响应函数(CRF)以自身已知的方式来表征,该CRF得到亮度值并返回亮度值。该CRF可被视为逆伽马(inverse gamma)。其功能是将图像针对传感器的非线性进行线性化。
可经由总线向处理器120提供帧传感器110检测到的图像数据,以作为捕捉到的帧数据。捕捉到的帧数据包括与帧的不同像素有关的颜色数据。
可使用集成电路微处理器、微控制器、数字信号处理器和一般的处理器之一来实现处理器120。处理器120可被配置为基于例如存储器130中以处理器可执行指令的形式存储的特定图像处理算法来处理接收到的帧数据。处理器120还被配置为通过总线的方式向帧传感器110提供曝光值,以例如允许该帧传感器110在这样的曝光值之下捕捉帧。
可将已处理数据(例如,处理器120生成的HDR图像数据)存储在存储器130中或提供给显示器140以进行查看。应该理解的是,存储器可涉及不同存储器存储设备的任何组合,例如,硬盘驱动器、随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他类型的易失性和/或非易失性存储器。还应该理解的是,可将存储器130实现为多个或离散的存储器,该多个或离散的存储器用于存储已处理图像数据或用来处理捕捉到的图像数据的处理器可执行指令。此外,存储器130可包括用于存储图像数据的可移除存储器,例如,闪存。
显示器140可涉及并入数码相机100的液晶显示器(LCD),用于显示HDR图像数据和捕捉到的图像数据。备选地,应该理解的是,可将外部显示设备耦接到数码相机100以显示和/或输出HDR图像数据。虽然以上已关于数码相机描述了图1,应该理解的是,设备可涉及其他设备,例如,一般的成像设备。
虽然已经将图1的视频图像捕捉设备描述为数字视频相机,还应该理解的是,该设备可涉及其他设备或包括在其他设备中,例如,一般的移动通信设备和便携式通信设备。
现在参考图2,方法的非限制实施例被描绘为在图1的视频图像捕捉设备所生成的视频序列中生成场景的至少一幅HDR图像。本文中使用的“场景”可涉及该设备的用户想要进行捕捉的区域,且可包括在各种照明等级下照亮的一个或多个对象,其中,这些对象中的一个或多个可在设备捕捉连续帧期间移动。如下面将要更详细地讨论的,对照明范围和这些对象的移动的确定可提供用于捕捉连续帧的一个或多个曝光参数。
在下面的描述中,术语“过曝像素”涉及捕捉到的帧的如下像素:针对这些像素,与这些像素相关联的颜色数据对应于超过预定过曝颜色数据阈值thigh的值。在该过曝阈值是颜色数据的最大值时,颜色被认为是饱和的。一般而言,该最大过曝颜色数据阈值低于该最大界限。可在使用来表示颜色的每个颜色通道R、G和B中定义这样的过曝阈值,且因此将R、G和B视为颜色数据。在另一示例中,该过曝颜色数据阈值被定义为过曝亮度阈值,且亮度L被计算为值R、G和B的加权和。仍在更加性能敏感(例如移动电话)的另一示例中,将使用绿色通道来作为亮度的“代理”。类似地,术语“欠曝像素”涉及捕捉到的帧的如下像素:针对这些像素,与这些像素相关联的颜色数据对应于低于预定欠曝颜色数据阈值tlow的值。一般而言,该欠曝颜色数据阈值大于零,虽然其可以等于零。
为了发起根据该非限制实施例的方法,使用帧传感器110,在曝光E0下捕捉第一帧f0,且在曝光E1下捕捉第二帧f1。使用适于根据该两个初始帧的合并生成场景的第一HDR图像的任何已知自动曝光算法,将曝光E0和E1设置为不同的值。因为过曝在视觉上比欠曝更差,优选地,将第二帧的曝光时间将要改变的方向diri+1=1设置为“向下”(即,E1<E0),虽然其也可被设置为“向上”(即,E1>E0)。该方向确定了与当前帧相比,是否以更长(“向上”)或更短(“向下”)的曝光来捕捉帧fi+1=1。特别使用图3和图4中示出的决策树,基于第一帧f0和第二帧f1的特性来计算第三帧fi+2=2的曝光时间优选将要改变的方向diri+2=2。然后,将捕捉到的第一帧f0和第二帧f1以及它们的颜色数据和它们的曝光值E1、E2和针对第三帧f2的曝光改变优选方向值diri+2传递给存储器130以进行存储或传递给处理器120以如下所述地处理。
针对下面两个帧的处理的第一迭代,其中,i=1,第二帧fi=1被称为“当前帧”,第一帧fi-1=0被称为“先前帧”,第三帧fi+1=2被称为“下一帧”,以及在“下一”帧之后的第四帧fi+2=3被称为“之后帧”。由处理器120实现步骤1至6。然后,由传感器110实现步骤6,以在根据步骤1至6计算的曝光Ei+1下捕捉“下一帧”fi+1。
在该第一迭代之后,以i=2启动第二迭代。对于步骤1至6的另一迭代而言,帧fi=2变为“当前帧”,帧fi-1=1变为“之前帧”,帧fi+1=3变为“下一帧”,以及帧fi+2=4变为“之后帧”,使得可在根据步骤1至6再次计算的曝光之下捕捉另一“下一帧”。随着i的值增加直至帧的序列捕捉结束,以此类推,根据该帧的序列,可在然后如下所述地生成场景的HDR图像。
现在将描述这些迭代中的每个迭代的不同步骤。呈现顺序不是一定表示执行这些步骤的顺序。
步骤1-针对当前帧fi的亮度直方图计算,没有考虑运动:
根据当前帧fi(即,捕捉到的最近的帧)的所有像素的颜色的亮度值来通过自身已知的方式计算亮度直方图Hfulli。该计算不考虑像素的运动。
步骤2-计算当前帧fi的运动区Mi,以及根据第一变型,确定当前帧fi的运动区域MRi:
根据运动区来提供与当前帧fi具有相同尺寸的运动幅度图Mi,其中,该图Mi的每个像素具有运动幅度值,运动区是根据当前帧fi与之前帧fi-1之间的移动比较通过自身已知的方式计算的。像素的运动幅度表示从之前帧fi-1到当前帧fi,该像素行进的距离。优选地,将运动幅度值归一化到0(未运动)到1(当前帧的最大运动)之间。例如使用在题为“a real-time multi-dsp motion estimator for mpeg-4h.264avc high definition videoencoding”的文章中公开的运动估计方法来计算该运动区,该文章由Fabrice Urban等于2009年发表在Journal of Real-Time Image Processing(4(1),第23-31页)中。
在将超过零的运动幅度阈值进行固定的第一变型中,该运动幅度图Mi的具有超过该阈值的运动幅度值的所有像素在当前帧fi中形成运动区域MRi。下面在步骤3中呈现不具有运动幅度阈值的第二变型。
步骤3-考虑到当前帧fi的运动的亮度直方图计算:
优选地但不是必须地使用与上述步骤1相同的方法,计算属于步骤1中确定的运动区域MRi的像素的颜色的亮度直方图,称为Hmotioni。这意味着针对该亮度直方图Hmotioni仅考虑属于运动区域MRi的像素。
在步骤1中没有定义运动幅度阈值的第二变型中,由当前帧fi的每个像素的运动幅度来对该像素的亮度值进行加权,该每个像素的运动幅度是根据上述步骤1中确定的运动幅度图Mi而获得的。在亮度值的该加权之后,针对该第二变型,执行对加权亮度直方图(也称为Hmotioni)的计算。
在上述两种变型中,通过该计算获得的亮度分布Hmotioni基于由对应像素的运动加权的颜色数据,其中,与先前帧fi-1相比较来评估该运动。在第一变型中,在向其他像素给出权重值0时,向属于运动区域的像素给出权重值1。
在该阶段,具有两个亮度直方图:
-Hfulli,针对图像中的所有像素。
-Hmotioni,其仅考虑具有非零运动权重的像素,其在然后被视为是运动区域MRi的一部分。
这意味着在Hmotioni中计数的像素也在Hfulli中计数。
在本实施例的另一变型中,可以通过计算图像中不是运动区域MRi的一部分的所有像素的单独直方图来避免对像素的该双重计数。该直方图将会被称为Hglobali。
假设直方图Hfulli由Nfull个条(bin)组成,直方图Hmotioni由Nmotion个条组成,以及直方图Hglobali由Nglobal个条组成。
针对上述三个直方图Hfulli、Hmotioni和Hglobali中的每一个,还如下计算三个其他累积直方图:
根据上述三个直方图Hfulli、Hmotioni和Hglobali中的每一个,还如下计算三个倒转(reverse)的累积直方图:
将在下面的子步骤4.2和4.3中使用这些累积直方图。
步骤4-针对下一帧fi+1的曝光Ei+1的估计:
为了估计针对下一帧fi+1的曝光Ei+1,特别需要由先前的迭代(或由初始化步骤)提供的当前帧fi的曝光值以及曝光改变优选方向diri+1的值。
总共存在三种可能情况:
a.当前帧fi的曝光Ei已经捕捉到整个场景曝光范围,在该情况下,Ei+1←Ei且diri+2=down(因为有效地恢复到初始化条件)。为了测试当前曝光Ei是否充分捕捉场景的动态范围,采用全图像直方图Hfulli的该Nfull个条中的第一个条和最后一个条。对于条的总数是Nfull的直方图而言,针对条阈值h来测试条值Hfulli(0)和Hfulli(Nfull-1)。该阈值的值(其通常对于所有帧是公共的)通常是帧中像素的总数的较小百分数(例如,1%),然而也可以选择为零。如果满足以下条件,可认为当前帧捕捉场景的动态范围:
Hfulli(0)<hAND Hfulli(Nfull-1)<h
b.可找到满足两个条件的曝光设置Ei+1:
-fi+1与fi具有充分重叠
-fi+1正捕捉足够的有用像素
c.不存在这样的曝光Ei+1,例如因为场景辐射分布是双模态的且曝光Ei在两个模态的中间,在该情况下,选择在给定的曝光改变方向上可以选择的最大曝光步长,同时在两个可能的曝光改变方向之一上保持足够的曝光重叠。
图3和图4上示出的决策树的导致估计针对下一帧fi+1的曝光Ei+1的主要的框涉及两个先前的估计,即针对下一帧fi+1的初始曝光Einiti+1的估计,以及针对下一帧fi+1的调整曝光Eadji+1的估计。在下面的子步骤中描述了这些估计。
子步骤4.1-针对下一帧fi+1的初始曝光Einiti+1的估计:
通过以下方式来计算针对下一帧的初始曝光设置Einiti+1:仅使用步骤1中提供的Hfulli,且在方向diri+1上改变曝光,其中,方向diri+1是已根据针对diri+2的计算在下面的步骤5中描述的相同过程来从先前的迭代(或初始化步骤)中计算的。
计算针对当前帧fi与欠曝颜色数据阈值tlow相对应的缺省低阈值亮度值Zlow,i,且计算与过曝颜色数据阈值thigh相对应的缺省高阈值亮度值Zhigh,i。阈值tlow和thigh定义在相对比例(scale)上哪个亮度范围在帧中是有用的。阈值tlow和thigh的值通常对于要捕捉的序列的所有帧而言是公共的。如果帧传感器110被配置为捕捉8比特帧,例如使tlow=0.2和thigh=0.9。因此,针对这样的计算,如果使tlow=0.2,则Zlow,i=tlowx255=51,且如果使thigh=0.9,则Zhigh,i=thighx255=230。
如下所示,为了计算Einiti+1,如果diri+1=up,考虑欠曝颜色数据阈值tlow,且如果diri+1=down,考虑过曝颜色数据阈值thigh。
知道帧传感器110的相机响应函数CRF(参见以上所述)和当前帧fi的曝光时间Ei,现在如下计算与该帧的缺省阈值亮度值Zlow,i或Zhigh,i相对应的该帧的场景辐射值:
其中,CRF-1是相机响应函数CRF的反函数。
图5示出了当前帧fi中亮度值Z的分布(例如,在8比特编码中,0至255)。该分布仅对应于Hfulli。Y轴对应于像素计数,且X轴对应于像素值的颜色数据Z。I(Z)表示被捕捉为Z的场景辐射值。
为了计算diri+1=up时的Einiti+1,应该优选满足图5上示出的以下等式:
I(Zlow,i)=I(Zhigh,i+1) (4)
给定等式(3)和(4),接着是
再次考虑相机响应函数CRF,可以基于与下一帧fi+1对应的值来重新阐述等式(5)
将(5)和(6)合并,给出
等式(7)中唯一未知的是Einiti+1,因此,可以对其求解,根据下式获得针对下一帧fi+1的初始曝光设置:
简言之,可以计算对下一帧fi+1的曝光Einiti+1的估计,使得针对当前帧fi和下一帧fi+1中的特定颜色值,捕捉到相同的场景辐射。对Einiti+1的该选择确保了在当前帧fi和下一帧fi+1中的曝光范围之间存在足够的曝光重叠,且确保了下一帧捕捉到足够数目的在当前帧中欠曝或过曝的像素(即,上述情况4b)。
类似地,仍参考图5上示出的亮度值分布,为了计算diri+1=down时的Einiti+1,根据下面的等式8’来估计下一帧fi+1的初始曝光Einiti+1:
本发明不限于如上所述地计算Einiti+1。可使用在不考虑运动的情况下构建HDR图像的其他已知方法,特别是不仅如上所述使用位于亮度直方图上的阈值Zlow和Zhigh的方法,而且使用该直方图的形状的方法。例如参见US7382931。
子步骤4.2-针对下一帧fi+1的调整曝光Eadji+1的估计:
针对这样的估计,将优选考虑在不同情况下有多少当前帧fi的像素具有过曝或欠曝的颜色,并相应地调整针对下一帧fi+1的曝光。
为了确定下一帧fi+1可接受的过曝/欠曝像素的数目,优选考虑有多少像素受到当前帧fi中局部或全局运动的影响以及是否正在测量当前帧fi中的过曝或欠曝曝光。这些情况中的每一情况导致针对以下阈值的不同值:运动区域MRi内过曝/欠曝像素的百分数的阈值thrmotion,以及整个帧fi中过曝/欠曝像素的百分数的阈值thrfull(或针对未在运动区域MRi中的像素,过曝/欠曝像素的百分数的阈值thrglobal)。下面将会使用这两个阈值thrmotion和thrfull(或thrglobal)来确定下一帧fi+1与当前帧fi应该优选有多大的亮度重叠。
现在将详细描述针对当前帧fi对像素thrmotion的估计。
根据上述步骤2中提供的运动幅度图Mi,针对每个像素位置x,如下设置局部运动指数LMi:
然后,针对当前帧fi获得局部运动图。
此外,如下计算在当前帧fi中具有局部运动的像素的百分数:
经验性地将具有局部运动的像素的最小百分数的值Amin和具有局部运动的像素的最大百分数的值Amax设置为例如Amin=0.1%且Amax=1%。一般而言,这些值对于序列的所有帧而言是公共的。为了确定运动区域MRi如何与Amin和Amax有关,如下简单地对具有运动的像素进行计数。
参考下面的图1,如果具有局部运动的像素的百分数Ai低于Amin,则
-针对diri+1=up时的过曝,设置hrmotion=throver,min且
-针对diri+1=down时的欠曝,设置thrmotion=thrunder,min。
在表1的第一行提出了针对throver,min和thrunder,min的值。
如果具有局部运动的像素的百分数Ai高于Amax,则:
-针对diri+1=up时的过曝,设置thrmotion=throver,max且,
-针对diri+1=down时的欠曝,设置thrmotion=thrunder,max。
在表1的最后一行提出了针对throver,max和thrunder,max的值。
在第三种可能情况Amin<Ai<Amax中,内插(参见表1的中部)过曝/欠曝像素的百分数的阈值thrmotion的值,如下所示:
如果diri+1=up
thrmotion=(thrunder,max-thrunder,min)dA+thrunder,min (9)
如果diri+1=down
thrmotion=(throver,max-throver,min)dA+throver,min (10)
表1
现在,将详细描述针对当前帧fi对像素thrfull的估计(或根据第二实施例,thrglobal)。
如果方向diri+1=up,将阈值thrfull(或thrglobal)设置为表2中给出的阈值thrunder,或如果方向diri+1=down.,将阈值thrfull(或thrglobal)设置为表2中给出的阈值throver。
表2
针对两个累积直方图重复该过程。
运动区域MRi内过曝/欠曝像素的百分数的阈值thrmotion的值是逐帧可变的(特别是当其是根据等式10计算的时),并因此具体针对每个帧进行评估。该值将取决于帧中存在多少运动而改变。
在如上所述地获得针对当前帧fi的运动区域MRi的过曝/欠曝像素的百分数的阈值thrmotion以及针当前帧fi的所有像素的thrfull(或针对不属于运动区域的像素的thrglobal)的值时,选择上述累积直方图中的两个累积直方图以用于后续计算。如果优选针对下一帧增加曝光时间(即,diri+1=up),则优选地选择和在备选实施例中,可以选择和以避免对像素进行双重计数(如上所述)。
如果优选减小曝光时间(即,diri+1=down),则优选选择Cfulli和Cmotioni。在备选实施例中,可以选择Cglobali和Cmotioni,以避免对像素进行双重计数(如上所述)。
该过程优选地选择两个累积直方图,一个用于运动区域,且一个用于全图像或全图像减去运动区域MRi。在上面也已确定两个对应阈值的值:以上根据等式9和10计算的thrmotion在下面对Cmotioni(对应的)的计算中涉及,以及根据实施例的选择,取决于diri+1来根据表2设置的thrfull在下面对Cfulli(对应的)或Cglobali(对应的)的计算中涉及。
图6示出了与图5相同的当前帧fi中亮度/强度值Z的分布(例如,在8比特编码中,0至255)。在虚线形式的曲线上,图6还示出了对被捕捉为Z的场景辐射值进行表示的倒转累积分布.I(Z)。参考该图6,如下确定与上述阈值thrfull相对应的调整阈值亮度Zthr,full,i:在虚线形式的累积直方图Cfulli上(对应的),找到y轴(即,像素计数)等于thrfull的点,且该点在x轴上的投影给出Zthr,full,i的值。
然后,仅在以下情况下将最终的调整阈值亮度值Zthr,i设置为Zthr,motion,i:
Cmotion,i(Zthr,motion,i)≤thrmotion
Cfull,i(Zthr,motion,i)≤thrfull
备选地,仅在以下情况下将最终的调整阈值亮度值Zthr,i设置为Zthr,full,i:
Cmotion,i(Zthr,full,i)≤thrmotion
Cfull,i(Zthr,full,i)≤thrfull
一旦有了该调整阈值亮度值Zthr,i,,通过与在等式3至7中估计上述Einiti+1的相同方式估计针对下一帧fi+1的调整曝光Eadji+1,其中,将Zlow,i替换为Zthr,i,且将Einiti+1替换为Eadji+1。
子步骤4.3-针对下一帧fi+1的曝光Ei+1的最终估计:
如果diri+1=up,遵循图3上示出的决策树,以获得针对下一帧fi+1的曝光Ei+1的最终估计。如果diri+1=down,遵循图4上示出的决策树,以获得针对下一帧fi+1的曝光Ei+1的最终估计。根据这些决策树,结论是Ei+1=Einiti+1或Ei+1=Eadji+1。要注意到,这些决策树考虑到当前帧fi的曝光Ei。
步骤5-确定针对之后帧fi+2的曝光改变优选方向:
该方向diri+2确定是应该利用与针对“下一”帧fi+1的曝光Ei+1相比更长(“向上”)还是更短(“向下”)的曝光时间来捕捉“之后”帧fi+2。根据与针对子步骤4.3使用的决策树相同的决策树来确定在下一迭代时针对“之后”帧fi+2的曝光应优选改变(向上或向下)的方向diri+2。再次参见图3和图4。
步骤6-捕捉下一帧fi+1:
传感器110接收与处理器120在上述步骤4中调整的曝光Ei+1有关的数据。然后,传感器在该曝光Ei+1下捕捉下一帧fi+1。然后,向存储器130传递与该捕捉到的帧fi+1有关的图像数据,以进行存储。
步骤1至6的连续迭代
在上述步骤1至6的第一迭代之后,类似地执行步骤1至6的其他连续迭代,直至捕捉结束。
逐迭代地,将在相应曝光E0、E1、E2、...,Ei-1、Ei、Ei+1、...、EQ-1下对同一场景成像的连续帧f0、f1、f2、...、fi-1、fi、fi+1、...、fQ-1存储在存储器130中,其中,Q是序列的总帧数。
后期处理:生成场景的HDR图像的序列
在如上所述捕捉到Q帧之后,由处理器120应用后期处理步骤,使得可将这些帧分组为具有不同曝光的连续帧的系列,并通过自身已知的方式将每个系列的帧合并为场景的HDR图像。优选地,每个系列包括两个连续帧,且每个帧属于两个系列,使得第一系列的第二帧是第一系列之后的第二系列的第一帧。
优选使用Nima Khademi Kalantari等所著的题为“Patch-based high dynamicrange video”的文章中描述的方法来执行通过合并系列的帧对每幅HDR图像的生成,该文章于2013年发表在ACM Trans.Graph.上(32(6),第202页)。
因而获得场景的HDR图像的视频序列。
在变型中,只要可从存储器130获得与这些帧有关的图像数据,就可执行如上所述的根据连续帧来生成HDR图像。
本发明的优点
根据本发明的方法具有以下优点:
-在所生成的HDR视频序列中最小化运动伪像,同时最大化这些序列的动态范围;
-在本发明的在线部分中(即,在上述步骤1至6的迭代中)捕捉到的几乎每个帧都在后期处理后产生HDR帧,消除了对生成HDR视频序列的其他方法中高帧速相机的需求;
-针对给定HDR图像捕捉最小必要数目的曝光,使得如果场景不需要很多曝光,将捕获捕捉这些曝光;
-针对具有有限处理能力的移动设备特别设计了该方法。
要理解的是,可通过各种硬件、软件、固件、专用处理器或其组合的形式来实现本发明。本发明可被特别实现为硬件和软件的组合。此外,可将软件实现为在程序存储单元上有形地体现的应用程序。可将应用程序上载到包括任何适合架构的机器,并由该机器执行。优选地,在具有硬件(例如,一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可包括操作***和微指令代码。本文中描述的各种处理和功能可以是微指令代码的一部分,或者是应用程序的一部分,或者可以是其组合(可由CPU执行)。此外,可将各种其他外设单元连接到计算机平台,例如,附加数据存储单元和打印单元。
虽然关于具体示例和优选实施例描述了本发明,要理解的是,本发明不限于这些示例和实施例。对于本领域技术人员显而易见的是,要求保护的本发明因此包括本文中描述的具体示例和优选实施例的变型。虽然特定实施例中的一些可单独描述并要求保护,要理解的是,所描述和要求保护的实施例的各种特征可组合使用。权利要求中出现的附图标记仅是说明的方式,并且不应对权利要求的范围造成限制影响。
Claims (8)
1.一种生成场景的HDR图像的方法,其中,已在当前曝光(Ei)下捕捉到对所述场景成像的当前帧(fi),以及已在所述当前帧(fi)之前捕捉到对所述场景成像的先前帧(fi-1),所述方法包括:
-将针对下一帧(fi+1)的曝光(Ei+1)设置为所述当前曝光(Ei)、所述当前帧(fi)的像素的颜色的第一亮度分布(Hfulli)、以及基于所述当前帧(fi)的各个像素的运动幅度对这些像素中的相应像素的亮度值进行加权而得到的这些像素的颜色的第二亮度分布(Hmotioni)的函数,其中,与所述先前帧(fi)相比较来针对这些像素评估所述运动,
-在所设置的曝光(Ei+1)下捕捉所述下一帧(fi+1),
-将所述下一帧(fi+1)与至少所述当前帧(fi)合并为HDR图像。
2.根据权利要求1所述的方法,其中,将所述针对下一帧(fi+1)的曝光(Ei+1)设置为还是针对所述当前帧(fi)的曝光改变优选方向(diri+1)的函数。
3.根据权利要求2所述的方法,包括:确定针对所述下一帧(fi+1)之后的帧(fi+2)的曝光改变优选方向(diri+2)。
4.根据权利要求1至3中任一项所述的方法,其中,针对下一帧(fi+1)的曝光(Ei+1)的所述设置包括:基于所述第一亮度分布(Hfulli)但不基于所述第二亮度分布(Hmotioni)来估计初始曝光(Einiti+1),基于所述第二亮度分布(Hmotioni)来估计调整曝光(Eadji+1),以及对所述针对下一帧(fi+1)的曝光(Ei+1)进行最终估计,所述最终估计适于在所述初始曝光(Einiti+1)和所述调整曝光(Eadji+1)之间进行选择来作为所述针对下一帧(fi+1)的曝光(Ei+1)的值。
5.一种HDR图像捕捉设备,包括帧传感器(110)和处理器,所述帧传感器(110)被配置为捕捉对场景成像的连续帧,特别是捕捉先前帧(fi-1)和当前曝光(Ei)下的当前帧(fi),所述处理器被配置为:
-将针对下一帧(fi+1)的曝光(Ei+1)设置为所述当前曝光(Ei)、所述当前帧(fi)的像素的颜色的第一亮度分布(Hfulli)、以及基于所述当前帧(fi)的各个像素的运动幅度对这些像素中的相应像素的亮度值进行加权而得到的这些像素的颜色的第二亮度分布(Hmotioni)的函数,其中,与所述先前帧(fi)相比较来针对这些像素评估所述运动,
-触发由所述帧传感器(110)在所设置的曝光(Ei+1)下捕捉所述下一帧(fi+1),
-将所述下一帧(fi+1)与至少所述当前帧(fi)合并为HDR图像。
6.根据权利要求5所述的HDR图像捕捉设备,其中,所述处理器还被配置为将所述针对下一帧(fi+1)的曝光(Ei+1)设置为还是针对所述当前帧(fi)的曝光改变优选方向(diri+1)的函数。
7.根据权利要求6所述的HDR图像捕捉设备,其中,所述处理器还被配置为确定针对所述下一帧(fi+1)之后的帧(fi+2)的曝光改变优选方向(diri+2)。
8.根据权利要求5至7中任一项所述的HDR图像捕捉设备,其中,所述处理器还被配置为使得针对下一帧(fi+1)的曝光(Ei+1)的所述设置包括:基于所述第一亮度分布(Hfulli)但不基于所述第二亮度分布(Hmotioni)来估计初始曝光(Einiti+1),基于所述第二亮度分布(Hmotioni)来估计调整曝光(Eadji+1),以及对所述针对下一帧(fi+1)的曝光(Ei+1)进行最终估计,所述最终估计适于在所述初始曝光(Einiti+1)和所述调整曝光(Eadji+1)之间进行选择来作为所述针对下一帧(fi+1)的曝光(Ei+1)的值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15305054.7 | 2015-01-19 | ||
EP15305054.7A EP3046319A1 (en) | 2015-01-19 | 2015-01-19 | Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105812675A CN105812675A (zh) | 2016-07-27 |
CN105812675B true CN105812675B (zh) | 2020-06-12 |
Family
ID=52444239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610028658.2A Active CN105812675B (zh) | 2015-01-19 | 2016-01-15 | 基于亮度分布和运动之间的折中生成场景的hdr图像的方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9648251B2 (zh) |
EP (2) | EP3046319A1 (zh) |
JP (1) | JP6742732B2 (zh) |
KR (1) | KR102638638B1 (zh) |
CN (1) | CN105812675B (zh) |
ES (1) | ES2658061T3 (zh) |
PL (1) | PL3046320T3 (zh) |
TW (1) | TWI682664B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6572004B2 (ja) * | 2015-06-18 | 2019-09-04 | オリンパス株式会社 | 露出制御装置および露出制御方法 |
US10366478B2 (en) * | 2016-05-18 | 2019-07-30 | Interdigital Ce Patent Holdings | Method and device for obtaining a HDR image by graph signal processing |
JP2018022935A (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
US10049463B1 (en) * | 2017-02-14 | 2018-08-14 | Pinnacle Imaging Corporation | Method for accurately aligning and correcting images in high dynamic range video and image processing |
US10334141B2 (en) * | 2017-05-25 | 2019-06-25 | Denso International America, Inc. | Vehicle camera system |
KR102243292B1 (ko) * | 2017-06-02 | 2021-04-22 | 한국전자기술연구원 | 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 |
IT201800003384A1 (it) * | 2018-03-08 | 2019-09-08 | Photosi Spa Unipersonale | Procedimento di valutazione automatica della qualità di foto digitali |
EP3671625B1 (en) | 2018-12-18 | 2020-11-25 | Axis AB | Method, device, and system for enhancing changes in an image captured by a thermal camera |
US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
US11102422B2 (en) * | 2019-06-05 | 2021-08-24 | Omnivision Technologies, Inc. | High-dynamic range image sensor and image-capture method |
CN110213502B (zh) * | 2019-06-28 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
US11200653B2 (en) * | 2019-08-06 | 2021-12-14 | Samsung Electronics Co., Ltd. | Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion |
KR20210019826A (ko) * | 2019-08-13 | 2021-02-23 | 삼성전자주식회사 | Ar 글래스 장치 및 그 동작 방법 |
KR20210053377A (ko) | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 |
CN111246125B (zh) * | 2020-01-17 | 2022-11-01 | 广州盈可视电子科技有限公司 | 一种多路视频流合成方法和装置 |
CN111462268B (zh) * | 2020-03-31 | 2022-11-11 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
CN111586292B (zh) * | 2020-04-23 | 2021-10-22 | 浙江大华技术股份有限公司 | 一种摄像状态的切换方法、装置和计算机设备 |
US11847778B2 (en) * | 2020-08-21 | 2023-12-19 | Apple Inc. | Image capture techniques personalized to individual subjects being imaged |
CN114630053B (zh) * | 2020-12-11 | 2023-12-12 | 青岛海信移动通信技术有限公司 | 一种hdr图像显示方法及显示设备 |
CN112822404B (zh) * | 2021-01-12 | 2022-08-09 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
CN115731146B (zh) * | 2022-12-26 | 2023-05-12 | 中国人民解放军战略支援部队航天工程大学 | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 |
CN117198219B (zh) * | 2023-11-07 | 2024-02-27 | 惠科股份有限公司 | 显示屏显示方法、设备、存储介质及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
CN103108134A (zh) * | 2011-11-11 | 2013-05-15 | 佳能株式会社 | 摄像装置及控制方法 |
CN103581563A (zh) * | 2012-07-18 | 2014-02-12 | 索尼公司 | 图像捕获设备、图像捕获设备控制方法和程序 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US8013909B2 (en) * | 2004-12-29 | 2011-09-06 | Nokia Corporation | Method and apparatus for adjusting exposure in digital imaging |
US8582001B2 (en) | 2009-04-08 | 2013-11-12 | Csr Technology Inc. | Exposure control for high dynamic range image capture |
JP5424921B2 (ja) * | 2009-08-31 | 2014-02-26 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
ES2599174T3 (es) * | 2010-08-23 | 2017-01-31 | Red.Com, Inc. | Vídeo de rango dinámico alto |
JP5713752B2 (ja) * | 2011-03-28 | 2015-05-07 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
JP5693355B2 (ja) | 2011-04-27 | 2015-04-01 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR20130031574A (ko) * | 2011-09-21 | 2013-03-29 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
US9313420B2 (en) * | 2012-01-18 | 2016-04-12 | Intel Corporation | Intelligent computational imaging system |
US9137451B2 (en) * | 2012-03-09 | 2015-09-15 | Htc Corporation | Electronic apparatus and adjustment method thereof |
US20150009355A1 (en) * | 2013-07-05 | 2015-01-08 | Himax Imaging Limited | Motion adaptive cmos imaging system |
JP6446790B2 (ja) * | 2014-02-21 | 2019-01-09 | 株式会社リコー | 画像処理装置、撮像装置、画像補正方法およびプログラム |
-
2015
- 2015-01-19 EP EP15305054.7A patent/EP3046319A1/en not_active Withdrawn
-
2016
- 2016-01-08 TW TW105100456A patent/TWI682664B/zh active
- 2016-01-13 PL PL16150989T patent/PL3046320T3/pl unknown
- 2016-01-13 EP EP16150989.8A patent/EP3046320B1/en active Active
- 2016-01-13 ES ES16150989.8T patent/ES2658061T3/es active Active
- 2016-01-15 CN CN201610028658.2A patent/CN105812675B/zh active Active
- 2016-01-18 JP JP2016007185A patent/JP6742732B2/ja active Active
- 2016-01-19 US US15/001,121 patent/US9648251B2/en active Active
- 2016-01-19 KR KR1020160006432A patent/KR102638638B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
CN103108134A (zh) * | 2011-11-11 | 2013-05-15 | 佳能株式会社 | 摄像装置及控制方法 |
CN103581563A (zh) * | 2012-07-18 | 2014-02-12 | 索尼公司 | 图像捕获设备、图像捕获设备控制方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
EP3046320B1 (en) | 2017-12-13 |
KR102638638B1 (ko) | 2024-02-21 |
TWI682664B (zh) | 2020-01-11 |
EP3046319A1 (en) | 2016-07-20 |
EP3046320A1 (en) | 2016-07-20 |
CN105812675A (zh) | 2016-07-27 |
US9648251B2 (en) | 2017-05-09 |
PL3046320T3 (pl) | 2018-05-30 |
TW201628391A (zh) | 2016-08-01 |
KR20160089292A (ko) | 2016-07-27 |
JP2016134919A (ja) | 2016-07-25 |
JP6742732B2 (ja) | 2020-08-19 |
US20160212355A1 (en) | 2016-07-21 |
ES2658061T3 (es) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105812675B (zh) | 基于亮度分布和运动之间的折中生成场景的hdr图像的方法 | |
US10997696B2 (en) | Image processing method, apparatus and device | |
EP1924966B1 (en) | Adaptive exposure control | |
US8989484B2 (en) | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion | |
JP5389903B2 (ja) | 最適映像選択 | |
KR101026577B1 (ko) | 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체 | |
JP5719418B2 (ja) | ハイダイナミックレンジ画像の露光時間制御方法 | |
US20150109478A1 (en) | Determining an Image Capture Payload Burst Structure Based on a Metering Image Capture Sweep | |
US10171743B2 (en) | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image | |
US10375317B2 (en) | Low complexity auto-exposure control for computer vision and imaging systems | |
US10298853B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108156369B (zh) | 图像处理方法和装置 | |
CN108989699B (zh) | 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 | |
US20140168474A1 (en) | Determining an Image Capture Payload Burst Structure | |
Guthier et al. | Flicker reduction in tone mapped high dynamic range video | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
CN111953893B (zh) | 一种高动态范围图像生成方法、终端设备及存储介质 | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN109005363B (zh) | 成像控制方法、装置、电子设备以及存储介质 | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
CN113822819B (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
Ferrante et al. | An Algorithm for Extended Dynamic Range Video in Embedded Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190514 Address after: France Applicant after: Interactive Digital CE Patent Holding Company Address before: I Si Eli Murli Nor, France Applicant before: Thomson Licensing SA |
|
GR01 | Patent grant | ||
GR01 | Patent grant |