CN111279686A - 用于高动态范围成像的***和方法 - Google Patents
用于高动态范围成像的***和方法 Download PDFInfo
- Publication number
- CN111279686A CN111279686A CN201880069553.9A CN201880069553A CN111279686A CN 111279686 A CN111279686 A CN 111279686A CN 201880069553 A CN201880069553 A CN 201880069553A CN 111279686 A CN111279686 A CN 111279686A
- Authority
- CN
- China
- Prior art keywords
- exposure value
- image
- initial
- brightness
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 title description 29
- 230000015654 memory Effects 0.000 claims abstract description 21
- 239000000203 mixture Substances 0.000 claims abstract description 10
- 241000023320 Luma <angiosperm> Species 0.000 claims description 42
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 42
- 238000002156 mixing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 235000019557 luminance Nutrition 0.000 description 149
- 230000003068 static effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Studio Devices (AREA)
Abstract
本公开的各方面涉及用于生成高动态范围HDR图像的***和方法。一种示例装置可以包含相机、一或多个处理器以及存储器。所述存储器可以包含指令,所述指令当由所述一或多个处理器执行时使所述装置从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值以及用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差。执行所述指令可以进一步使所述装置使用所述第一曝光值捕获所述参考图像,使用所述第二曝光值捕获所述第一非参考图像并且在生成HDR图像时将所述参考图像和所述第一非参考图像混合。
Description
根据35U.S.C.§119的优先权要求
本专利申请要求于2017年11月3日提交的题为“用于高动态范围成像的***和方法(SYSTEMS AND METHODS FOR HIGH-DYNAMIC RANGE IMAGING)”的非临时申请第15/803,505号的优先权,所述非临时申请转让给本专利申请的受让人并且在此通过引用明确并入本文。
技术领域
本公开总体上涉及用于图像捕获装置的***,并且具体地涉及高动态范围(HDR)成像。
背景技术
包含或耦接到一或多个数码相机的装置使用相机传感器来捕获光信息以生成数字图像。当捕获场景的图像帧时,数码相机的相机传感器通常捕获有限的亮度或光强度范围。用有限或标准的亮度范围捕获的常规图像称为有限动态范围(LDR)图像或标准动态范围(SDR)图像。
许多装置使用自动确定的曝光值(例如,自动曝光(AE)设置)和为捕获到的图像捕获的非常有限的亮度范围来捕获LDR或SDR图像。例如,尽管一个人能够感知场景的大亮度范围和光效果(如阴影和色彩对比),但是捕获到的LDR或SDR图像由于其有限的亮度范围而可能显得无声或暗淡。为了补偿与此类捕获到的图像相关联的有限亮度范围,许多数码相机执行高动态范围(HDR)成像以捕获图像。
发明内容
提供本发明内容的目的是以简化形式介绍下文在具体实施方式中进一步描述的一系列概念。本发明内容不旨在标识要求保护的主题的关键特征或必要特征,也不旨在限制要求保护的主题的范围。
本公开的各方面涉及用于生成高动态范围(HDR)图像的***和方法。在一些示例实施方案中,一种装置可以包含相机、一或多个处理器以及存储器。所述存储器可以包含指令,所述指令当由所述一或多个处理器执行时使所述装置从由所述相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值,并且确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差。执行所述指令可以进一步使所述装置使用所述第一曝光值捕获所述参考图像,使用所述第二曝光值捕获所述第一非参考图像,并且将所述参考图像和所述第一非参考图像混合以生成HDR图像。
在另一个实例中,公开了一种方法。所述示例方法包含:从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值;确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;使用所述第一曝光值捕获所述参考图像;使用所述第二曝光值捕获所述第一非参考图像;以及将所述参考图像和所述第一非参考图像混合以生成HDR图像。
在另一个实例中,公开了一种非暂时性计算机可读媒体。所述非暂时性计算机可读媒体可以存储指令,所述指令当由处理器执行时使所述装置执行包含以下的操作:从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值;确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;使用所述第一曝光值捕获所述参考图像;使用所述第二曝光值捕获所述第一非参考图像;以及将所述参考图像和所述第一非参考图像混合以生成HDR图像。
在另一个实例中,公开了一种装置。所述装置包含:用于从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值的装置;用于确定用于捕获第一非参考图像的第二曝光值的装置,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;用于确定用于捕获第二非参考图像的第三曝光值的装置,其中所述第三曝光值基于所述初始曝光值与所述第一曝光值之间的所述差;用于使用所述第一曝光值捕获所述参考图像的装置;用于使用所述第二曝光值捕获所述第一非参考图像的装置;用于使用所述第三曝光值捕获所述第二非参考图像的装置;以及用于将所述参考图像、所述第一非参考图像和所述第二非参考图像混合以生成HDR图像的装置。
附图说明
在附图的图中通过实例而非限制的方式展示了本公开的各方面,并且在附图中相似的参考号指代类似的元件。
图1展示了由相机捕获的示例有限动态范围(LDR)图像。
图2展示了能够被用户感知的亮度范围,以及由相机捕获的图1中的LDR图像的示例亮度范围。
图3展示了对应于图1中的用于高动态范围(HDR)成像的示例LDR图像的示例曝光过度的图像和示例曝光不足的图像。
图4展示了对应于图3中的LDR图像的HDR图像的示例亮度范围。
图5是用于生成HDR图像的示例装置的框图。
图6是描绘用于动态确定用于HDR成像的曝光值的示例操作的说明性流程图。
图7是描绘用于动态确定用于HDR成像的多个曝光值的示例操作的说明性流程图。
图8是描绘用于基于曝光值之间的差和对应于曝光值的亮度值之间的差确定曝光值的示例操作的说明性流程图。
图9A展示了示例初始预览图像。
图9B展示了对应于图9A中的初始预览图像的示例分组。
图9C展示了对应于图9A中的初始预览图像的另一个示例分组。
图10展示了图9A中的预览图像的整体亮度范围。
图11是描绘用于确定具有相同大小的亮度范围的分组的一或多个阈值的示例操作的说明性流程图。
图12是描绘用于创建相同大小的分组的示例操作的说明性流程图。
具体实施方式
本公开的各方面可以用于生成HDR图像。在一些实施方案中,装置可以捕获具有不同亮度范围的多个LDR图像或SDR图像,然后将所述多个捕获到的图像混合以生成HDR图像。通过混合具有不同亮度范围的所述多个捕获到的图像,与常规LDR图像或SDR图像相比,所得到的HDR图像可以具有更大的亮度范围。在以下描述中,使用相机传感器的标准或有限亮度范围捕获的单个图像被称为LDR图像。然而,术语“LDR图像”是出于解释的目的,并且不旨在限制本公开的各方面。例如,LDR图像可以是亮度范围比相关联HDR图像的亮度范围小的任何图像。
数码相机传感器通常捕获LDR图像的有限亮度范围。为了捕获多个LDR图像的不同亮度范围,数码相机传感器可以使用不同的曝光值捕获多个LDR图像。曝光值(EV)可以用f值或档(stop)来表示,并且可以以单位面积的亮度量(如以坎德拉每平方英尺(cd/ft2)或坎德拉每平方米(cd/m2)为单位)的形式进行测量。高一档或多一档是指由相机传感器接收的光量的两倍(如2*x cd/ft2),低一档或少一档是指由相机传感器接收的光量的一半(如x/2cd/ft2)。装置可以通过调整相机快门速度,调整相机传感器灵敏度(例如,通过ISO测量)和/或调整相机光圈大小来调整曝光值(并且因此调整由相机传感器测量的光量)。
许多装置自动确定用于捕获LDR图像的曝光值(如自动曝光(AE)设置)。AE设置可以用于调整相机设置,使得要捕获的图像具有目标亮度。例如,当相机传感器被激活时,可以使用来自所述相机传感器来生成包含多个预览图像的预览流。来自预览流的测量(如颜色对比度、所测量亮度等)可以由装置使用以确定用于捕获图像的初始设置。还可以显示预览流,以帮助用户定位装置或更改相机设置中的一或多个相机设置。在一些方面,可以设置默认的曝光值(如默认档),使得装置捕获具有整体目标亮度的LDR图像。装置可以递归地测量预览图像的亮度并且(通过调整一或多个相机设置)调整曝光值,直到预览图像的所测量亮度等于要捕获的LDR图像的目标亮度。还可以显示预览图像,以帮助用户定位相机和/或调整一或多个相机设置。例如,许多装置允许用户(如通过选择档)设置用于捕获LDR图像的曝光值。
亮度可以是由相机传感器接收的光强度的任何量度。例如,亮度(brightness)可以用亮度(luma)或亮度(luminance)来表示。图像的亮度可以以坎德拉每平方米(cd/m2)、尼特、熙提或表示亮度水平的其它合适单位进行测量。尽管本文描述的实例出于说明性目的而使用术语亮度,但是本公开的各方面可以使用图像的亮度或光强度的任何测量。
图1展示了由相机使用确定的曝光值捕获到的具有目标亮度的示例LDR图像100。由于相机可以捕获的亮度范围有限,因此捕获到的LDR图像100的在区域102A和102B中场景亮度水平较低的区域,以及捕获到的LDR图像100的区域104具有高亮度水平的区域可能显得饱和或褪色。例如,对应于区域102A和102B的场景的细节可能被静音或不可见,因为捕获场景的亮度范围可能高于或大于实际场景中区域102A和102B的亮度水平。相反,对应于区域104的场景的细节可能被静音或不可见,因为捕获场景的亮度范围可能低于或小于实际场景中区域104的亮度水平。
图2展示了对应于可以用户可感知的24个示例档的亮度范围200。图2还展示了对应于可以用于捕获图1中的LDR图像100的5个示例档的示例亮度范围。普通人可以感知到的亮度或光强度范围比典型的相机传感器可以捕获的亮度或光强度范围大。例如,尽管人可以能够感知对应于相机的24个档的亮度范围,但是相机的传感器捕获的范围通常要小得多(如5个档),如图2所示。因此,区域102A和102B中的场景的亮度可以对应于比对应于LDR图像100的亮度范围的档更小或更低的档,并且区域104中的场景的亮度可以对应于比对应于LDR图像100的亮度范围的档更大或更高的档。
在常规的HDR成像中,装置通常使用比用于捕获LDR图像的档大的静态数量的档捕获曝光过度的图像,然后使用比用于捕获LDR图像的档小的相同静态数量的档来捕获曝光不足的图像。图3展示了对应于图1的示例LDR图像100的示例曝光过度的图像300A和示例曝光不足的图像300B。如图3所示,装置使用大于用于捕获LDR图像100的档的曝光值+3档来捕获曝光过度的图像300A,并且使用小于用于捕获LDR图像100的档的曝光值-3档来捕获曝光不足的图像300B。
因为在不同图像100、300A和300B中捕获了不同的亮度范围,所以可以捕获场景的区域102A、102B和104的更多细节。例如,通过使用较高的档(其通过允许更多的光被相机传感器捕获而降低LDR图像中的黑色饱和度),曝光过度的图像300A中较暗的区域302A可以比LDR图像100中的对应区域102A包含更多的细节。类似地,通过使用较低的档(其通过允许更少的光被相机传感器捕获而降低LDR图像中的白色饱和度),曝光不足的图像300B中较亮的区域304可以比LDR图像100中的对应区域104包含更多的细节。以此方式,可以将三个LDR图像100、300A和300B混合,使得所得到的HDR图像包含来自区域302A、区域302B和区域304的细节。
图4展示了从图3中的LDR图像100、300A和300B创建的HDR图像的示例亮度范围400。在图4的实例中,如果如LDR图像100等“正常”曝光图像的常规确定的曝光值(如AE设置)被认为是0档,则装置可以在+3档处捕获曝光过度的图像(如曝光过度的LDR图像300A),并且可以在-3档处捕获曝光不足的图像(如曝光不足的LDR图像300B)。在将三个LDR图像100、300A和300B一起混合之后,如果针对LDR图像100捕获的亮度范围对应于[-2档,+2档],针对曝光不足的LDR图像300B捕获的亮度范围对应于[-5档,-1档],并且针对曝光过度的LDR图像300A捕获的亮度范围对应于[+1档,+5档],那么所得到的HDR图像的亮度范围可以对应于[-5档,+5档]。因为所得到的HDR图像的亮度范围比单个LDR图像的亮度范围更大,所以在所得到的HDR图像中感知的细节可以比在单个LDR图像中感知的细节更多。利用曝光值的包围(如三个图像100、300A和300B的[-3档,0档,+3档])来捕获图像在本文可以被称为曝光包围。对于常规的HDR成像,包围的大小是静态的,并且曝光值之间只有包围的位置发生变化。
常规的HDR成像的一个缺点在于,所得到的HDR图像的亮度范围可能不包含场景的所有亮度水平。例如,如果场景的一或多个部分的亮度超出HDR图像的亮度范围,则在HDR图像中捕获的场景的一或多个部分内的颜色可能会饱和(如变黑或变白)。在一些方面,装置可以调整用于捕获曝光过度的图像或曝光不足的图像的曝光值以包含场景的那些一或多个部分。例如,装置可以确定曝光过度的图像的一部分变白,或者可以确定曝光不足的图像的一部分变黑。然后,装置可以递归地调整曝光过度的图像或曝光不足的图像的曝光值,并且测量所述部分的颜色直到所述部分的颜色不再饱和。
递归地调整每个LDR图像的曝光值会增加在捕获图像之前的确定时间,这会增加捕获图像的时间量,并且因此可能对用户体验产生负面影响。常规的HDR成像的另一个缺点是既需要曝光不足的图像,又需要曝光过度的图像。对于一些场景,与一个曝光过度的图像和一个曝光不足的图像相比,不同的曝光不足的图像(如对于明亮地照亮的场景)或不同的曝光过度的图像(如对于低光亮的场景)对于创建HDR图像来说可能更有用。
本公开的各方面描述了用于自动调整要用于HDR成像的曝光值的***和方法。在一些实施方案中,可调整的曝光值基于场景并且实现曝光的动态包围。进一步地,可以在不使用对用户体验造成负面影响的递归过程的情况下确定曝光值。另外,例如与参考图像的初始曝光值相比,两个另外的曝光值图像不一定是曝光不足的图像和曝光过度的图像。例如,相机可以确定初始AE设置,然后确定是否要使用更高的曝光值、更低的曝光值、或者更高的曝光值和更低的曝光值的组合来捕获其它曝光的LDR图像。
在以下描述中,阐述了许多具体细节,如具体组件、电路和过程的实例,以便提供对本公开的彻底理解。如本文所使用的术语“耦接”意味着直接连接或通过一或多个中间组件或电路连接。而且,在以下描述中并且出于解释的目的,阐述了具体的术语以便提供对本公开的彻底理解。然而,对于本领域技术人员而言应显而易见的是,实践本文所公开的教导可能不需要这些具体细节。在其它实例中,以框图形式示出了众所周知的电路和装置,以避免模糊本公开的教导。下面的详细描述的一些部分以对计算机存储器内的数据位进行操作的程序、逻辑块、处理和其它符号表示的方式呈现。这些描述和表示是数据处理领域的技术人员用来向本领域的其它技术人员最有效地传递其工作实质的手段。在本公开中,程序、逻辑块、过程等被认为是导致期望结果的步骤或指令的自相一致序列。所述步骤是需要对物理量的物理操纵的步骤。通常但不一定,这些量采用能够在计算机***中被存储、转移、组合、比较、和以其它方式操纵的电或磁信号的形式。
然而,应当记住,所有这些术语和类似术语应当与合适的物理量相关联,并且仅仅是应用于这些量的方便标记。除非另外特别说明,否则根据以下讨论可以明显看出,应当理解,在整个说明书讨论中,使用如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“乘法”、“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“得到”、“确定”等术语的讨论是指计算机***或类似电子计算装置的动作和过程,所述计算机***或类似的电子计算装置对在计算机***的寄存器和存储器内表示为物理(电子)量的数据进行操作,并将其转换为在计算机***的存储器或寄存器或其它此类信息存储、传输或显示装置内以类似方式表示为物理量的其它数据。
在附图中,单个框可以被描述为执行一或多个功能;然而,在实际实践中,由所述框执行的一多个功能可以在单个组件中或跨多个组件执行,和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可交换性,以下总体上按照它们的功能描述了各种说明性的组件、块、模块、电路和步骤。将这种功能实施为硬件还是软件取决于强加于整个***上的特定应用和设计约束。熟练的技术人员可以针对每个特定应用以不同的方式实施所描述的功能,但是这种实施决策不应当被解释为导致脱离本公开的范围。而且,示例装置可以包含除所示组件(包含如处理器、存储器等众所周知的组件)之外的组件。
本公开的各方面适用于被配置成或能够捕获图像或视频的任何合适的电子装置(如具有一或多个相机、智能电话、平板计算机、膝上型计算机、数字视频和/或静态相机、web相机等的安全***)。虽然下文关于具有或耦接到一个相机的装置进行了描述,但是本公开的各方面适用于具有任何数量的相机的装置,并且因此不限于具有一个相机的装置。例如,可以通过多相机模块(如双相机)的不同相机传感器来捕获用于HDR成像的不同LDR图像。本公开的各方面适用于捕获静态图像以及适用于捕获视频,并且可以在具有或耦接到具有不同功能的相机(如摄影机或静态图像相机)的装置中实施。
术语“装置”不限于一个或具体数量的物理对象(如一个智能电话、一个相机控制器、一个处理***等)。如本文所使用的,装置可以是具有可以实施本公开的至少一些部分的一或多个部件的任何电子装置。虽然以下描述和实例使用术语“装置”来描述本公开的各个方面,但是术语“装置”不限于对象的具体配置、类型或数量。
图5是用于生成HDR图像的示例装置500的框图。示例装置500可以包含或耦接到相机502、处理器504、存储指令508的存储器506和相机控制器510。装置500可以任选地包含(或耦接到)显示器514和多个输入/输出(I/O)组件516。装置500可以包含未示出的另外的特征或组件。例如,对于无线通信装置可以包含多个收发器和基带处理器的无线接口。装置500可以包含或耦接到除了相机502之外的另外的相机。本公开不应限于任何具体实例或说明,包含示例装置500。
相机502可以能够捕获单独的图像帧(如静态图像)和/或捕获视频(如一系列捕获到的图像帧)。相机502可以是双相机模块或具有多个相机传感器的任何其它合适的模块,并且一或多个传感器可以用于HDR成像。存储器506可以是存储计算机可执行指令508以执行本公开中描述的一或多个操作的全部或一部分的非暂态或非暂时性计算机可读媒体。装置500还可以包含可以耦接到或集成到装置500中的电源518。
处理器504可以是能够执行一或多个软件程序的存储在存储器506内的脚本或指令(如指令508)的一或多个合适的处理器。在一些方面,处理器504可以是执行指令508以使装置500执行任何数量的功能或操作的一或多个通用处理器。在另外的或可替代的方面,处理器504可以包含用于在不使用软件的情况下执行功能或操作的集成电路或其它硬件。虽然在图5的实例中示出为通过处理器504彼此耦接,但是处理器504、存储器506、相机控制器510、任选的显示器514和任选的I/O组件516可以以各种布置彼此耦接。例如,处理器504、存储器506、相机控制器510、任选的显示器514和/或任选的I/O组件516可以通过一或多个本地总线(为简单起见未示出)彼此耦接。
显示器514可以是允许用户交互和/或呈现供用户观看的项目(如捕获到的图像、视频或预览图像)的任何合适的显示器或屏幕。在一些方面,显示器514可以是触敏显示器。I/O组件516可以是或包含用于从用户接收输入(如命令)并且向用户提供输出的任何合适的机构、接口或装置。例如,I/O组件516可以包含(但不限于)图形用户接口、键盘、鼠标、麦克风和扬声器等。显示器514和/或I/O组件516可以向用户提供预览图像和/或接收用于调整相机502的一或多个设置的用户输入。
相机控制器510可以包含图像信号处理器512,所述图像信号处理器可以是用于处理由相机502提供的捕获到的图像帧或视频的一或多个图像信号处理器。在一些示例实施方案中,相机控制器510(如图像信号处理器512)还可以控制相机502的操作。在一些方面,图像信号处理器512可以执行来自存储器的指令(如来自存储器506的指令508或存储在耦接到图像信号处理器512的单独的存储器中的指令)以处理由相机502捕获的图像帧或视频。在其它方面,图像信号处理器512可以包含用于处理由相机502捕获的图像帧或视频的具体硬件。图像信号处理器512可以可替代地或另外包含具体硬件的组合以及执行软件指令的能力。
静态曝光包围可能不足以捕获一些亮度或光强度上不同的场景。另外,在捕获曝光过度的图像或曝光不足的图像之后,递归地调整图像的曝光值,测量亮度并且重新捕获图像直到装置确定在一个曝光值上可能会由于利用确定曝光值捕获图像而造成延迟从而对用户体验产生不利影响。例如,此类延迟可能要求用户在定位相机时保持静止较长一段时间以捕获图像,而要求相机静止较长一段时间可能导致整体运动增加(用户可能会坐立不安、移位或移动更多),或者可能导致局部运动增加(物体可能会进入场景,或者场景中的物体可能移动,从而由于混合多个图像而导致模糊)。进一步地,对于明亮地照亮的场景或昏暗的场景,可能不期望使用曝光过度的图像和曝光不足的图像来(利用AE设置)生成用于HDR成像的参考图像。
图6是描绘用于动态确定用于HDR成像的曝光值的示例操作600的说明性流程图。尽管以下关于图5的装置500描述了示例操作600,但是示例操作600可以由其它合适的装置或相机执行。装置500可以使用一组初始设置或默认设置来激活相机(如激活相机传感器)。例如,初始曝光值(如初始快门速度、相机传感器灵敏度和/或光圈大小)和初始白平衡设置可以用于初始化相机502。当相机传感器(如相机502的相机传感器)被初始化时,相机传感器使用初始设置来捕获信息。装置500可以使用从相机传感器捕获到的信息来创建预览流。例如,相机控制器510可以从相机502接收捕获到的信息并且生成要用于调整初始设置的预览图像。
为了生成HDR图像,装置500可以从预览图像确定用于捕获参考LDR图像的第一曝光值(602)。在一些示例实施方案中,显示器514可以向用户呈现预览图像,并且用户可以使用所显示的预览图像来手动设置一或多个捕获设置,如曝光值。在一些其它示例实施方案中,装置500可以捕获具有目标亮度的LDR图像。装置500可以测量(使用初始设置捕获的)初始预览图像的亮度,然后可以基于目标亮度与所测量亮度之间的差来调整初始设置中的一或多个初始设置。例如,装置500可以调整初始曝光值,使得预览图像的所测量亮度收敛为目标亮度。在一些示例实施方案中,第一曝光值可以是目标亮度等于预览图像的所测量亮度的确定的曝光值。
装置500还可以确定用于捕获非参考LDR图像的第二曝光值(604)。对于常规的HDR成像,装置将第一曝光值增加或减少一定的配置用于HDR成像的静态量(如比确定用于捕获参考LDR图像的档多或少3个档)。与常规的HDR成像相比,装置500可以确定不需要是比用于捕获参考LDR图像的曝光值多或少静态数量的档的第二曝光值。
在一些示例实施方案中,代替第二个曝光值远离第一个曝光值的静态数量的档,第二曝光值可以基于初始曝光值与第一曝光值之间的差。例如,如果装置500使用AE设置来确定所测量亮度(如将预览图像的所测量亮度与目标亮度进行匹配),则初始曝光值与第一曝光值之间的差的量可以对应于第一曝光值与第二曝光值之间的差的量。在确定第二曝光值时,装置500可以任选地确定第一曝光值与初始曝光值之间的差(606)。
一旦装置500确定了用于捕获参考LDR图像的第一曝光值(602),装置500就可以使用第一曝光值来捕获参考LDR图像(608)。类似地,一旦装置500确定了用于捕获参考LDR图像的第二曝光值(604),装置500就可以使用第二曝光值来捕获非参考LDR图像(610)。在捕获参考LDR图像(608)和捕获非参考LDR图像(610)之后,装置500可以将参考LDR图像和非参考LDR图像混合以生成HDR图像(612)。
在一些其它示例实施方案中,装置500可以将多个非参考LDR图像混合以生成HDR图像。在一些方面,装置500可以将三个或三个以上的LDR图像(包含两个或两个以上的非参考LDR图像)混合以生成HDR图像。
在一些示例实施方案中,代替始终使用曝光过度的LDR图像(具有比参考LDR图像的曝光值更大的曝光值)的一个曝光值和使用曝光不足的LDR图像(具有比参考LDR图像的曝光值更小的曝光值)的一个曝光值,装置500可以使用大于参考LDR图像的曝光值的两个曝光值,或者可以使用小于参考LDR图像的曝光值的两个曝光值。另外或可替代地,两个非参考LDR图像的曝光值可以彼此不对应。例如,如果用于捕获第一非参考LDR图像的曝光值是距离参考LDR图像的曝光值四个档,则用于捕获第二非参考LDR图像的曝光值不一定距离参考LDR图像的曝光值四个档。
图7是描绘用于动态确定用于HDR成像的多个曝光值的示例操作700的说明性流程图。尽管以下关于图5的装置500描述了示例操作700,但是示例操作700可以由其它合适的装置或相机执行。例如,装置500可以确定用于捕获第一非参考LDR图像的曝光值,并且可以确定用于捕获第二非参考LDR图像的不同曝光值。装置500可以确定用于捕获参考LDR图像的第一曝光值(702),并且可以确定用于捕获第一非参考LDR图像的第二曝光值(704)。在一些示例实施方案中,第二曝光值可以基于初始曝光值与第一曝光值之间的差。装置500还可以确定用于捕获第二非参考LDR图像的第三曝光值(706)。在一些示例实施方案中,第三曝光值可以基于初始曝光值与第一曝光值之间的差。另外,第三曝光值与第一曝光值之间的差不一定与第二曝光值与第一曝光值之间的差相关。例如,如果第一曝光值与第二曝光值之间的差是六个档,则第一曝光值与第三曝光值之间的差不一定是六个档。
在确定第一曝光值之后,装置500可以使用第一曝光值来捕获参考LDR图像(708)。装置500还可以使用所确定的第二曝光值来捕获第一非参考LDR图像(710)。装置500还可以使用所确定的第三曝光值来捕获第二非参考LDR图像(712)。在捕获了三个LDR图像之后,装置500可以将参考LDR图像、第一非参考LDR图像和第二非参考LDR图像混合以生成HDR图像(714)。
图像之间的亮度差可以与用于捕获图像的曝光值差相关。例如,较暗的图像可以对应于更快的快门速度、更小的光圈大小和/或降低的相机传感器灵敏度。在一些示例实施方案中,亮度差与曝光值差线性相关。在一些方面,如果在捕获图像之前将目标亮度用于调整曝光值,则所测量亮度与目标亮度之间的差与对应的初始曝光值(对于初始测量亮度)与经过调整的曝光值(对于所测量亮度等于目标亮度)之间的差之间的线性相关可以用以下等式(1)来表示:
其中X是实数。当存在线性相关时,用于捕获任何两个图像的曝光值差除以两个图像的对应亮度差可以等于X。因此,将等式(1)扩展到曝光值差通常可以用以下等式(2)来表示:
其中X是实数,曝光值1是第一曝光值,曝光值2是第二曝光值,亮度(曝光值1)是对应于第一曝光值的图像的亮度,并且亮度(曝光值2)是对应于第二曝光值的图像的亮度。例如,曝光值1可以是初始预览图像的初始曝光值,并且亮度(曝光值1)可以是初始预览图像的对应测量亮度。曝光值2可以是确定预览图像的经过调整的曝光值,并且亮度(曝光值2)可以是确定预览图像的对应测量亮度。
在确定用于捕获LDR图像的曝光值时,一些装置设置默认或初始曝光值,使用所设置的曝光值生成预览图像,测量预览图像的亮度,将所测量亮度与目标亮度进行比较,并且确定是否应调整所设置的曝光值。为了确定调整曝光值,递归地更新预览图像,其中测量预览图像的亮度并将所述亮度与目标亮度进行比较,直到所测量亮度等于确定曝光值的预览图像的目标亮度。
装置500可以确定用于捕获LDR图像的曝光值,而不使用调整曝光值的递归过程。在一些示例实施方案中,如果曝光值差与对应于曝光值的亮度差之间存在相关性(如以上等式(1)或等式(2)表示的线性相关),则装置500可以使用相关性来确定非参考LDR图像的曝光值。例如,等式(2)可以重新排序,如以以下等式(3)表示:
曝光值2=曝光值1+X*(亮度(曝光值2)-亮度(曝光值1)) (3)
以此方式,如果已知曝光值1、亮度(曝光值1)、亮度(曝光值2)和线性相关值X,则可以确定曝光值2,而不使用调整曝光值并且测量和比较预览图像的亮度的递归过程。
在一些示例实施方案中,相关值X可以由装置存储以供将来使用。在一个实例中,制造商可以确定相关性并且在装置生产期间将相关性存储在装置的存储器内。然后,装置可以使用所存储的相关性来确定用于HDR成像的一或多个曝光值。所存储的相关性可以是静态的(如在装置寿命期间永不改变),或者所存储的相关性可以是动态的。例如,随着时间的推移使用装置时,快门速度可能降低,相机传感器可能不太敏感,胶片可能在相机镜头之上显影(从而影响捕获到的光量)等。装置可以分析捕获到的图像以确定相关性是否随时间变化。如果装置标识相关性已经改变(如在最后的多个图像之上确定相关性有所不同),则装置可以更新所存储的相关性以供将来在HDR成像中使用。
图8是描绘用于基于曝光值之间的差和对应于曝光值的亮度之间的差确定曝光值的示例操作800的说明性流程图。尽管以下关于图5的装置500描述了示例操作800,但是示例操作800可以由其它合适的装置或相机执行。装置500可以使用初始曝光值来初始化相机502(802)。例如,装置500可以向相机502供电并且使用相机的初始相机传感器灵敏度、快门速度和光圈大小来配置相机502以开始捕获信息。然后,装置500可以使用从初始化的相机502捕获到的信息来生成预览图像(804)。
装置500可以包含要捕获的LDR图像的目标亮度。以此方式,装置500可以使用预览图像来确定在捕获第一LDR图像之前是否要调整曝光值。在一些示例实施方案中,装置500可以测量预览图像的亮度(806)。然后,装置500可以将所测量亮度与第一LDR图像的目标亮度进行比较(808)。如果所测量亮度不等于目标亮度(810),则装置500可以调整曝光值(812)并且使用曝光值生成另一个预览图像(804)。例如,如果所测量亮度大于目标亮度,则装置500可以使相机502的光圈大小更小,可以降低传感器灵敏度和/或可以增加相机快门速度以减小曝光值。
在一些方面,可以在所测量亮度等于目标亮度时确定用于捕获第一LDR图像的曝光值,并且装置500可以确定用于捕获第二LDR图像的曝光值。一旦所测量亮度等于目标亮度(810),装置500就可以确定初始曝光值(用于初始化相机502)与所测量亮度等于目标亮度的经过调整的曝光值之间的差(814)。装置500还可以确定初始测量亮度与目标亮度之间的差(816)。
然后,装置500可以使用第二LDR图像的目标亮度、曝光值差以及亮度差来确定用于捕获第二LDR图像的曝光值(818)。在一些示例实施方案中,亮度差和曝光值差可以呈线性相关。以此方式并且参考等式(1),线性相关值X可以是亮度差除以曝光值差。参考等式(3),装置500可以确定对应于第二LDR图像的目标亮度的曝光值,所述曝光值可以由以下等式(4)表示:
EV(LDR图像2)=EV(LDR图像1)+X*(目标亮度(LDR图像2)-所测量亮度(LDR图像2)) (4)
其中EV(LDR图像2)是用于捕获第二LDR图像的曝光值,EV(LDR图像1)是用于捕获第一LDR图像的曝光值,X是线性相关值,所测量亮度(LDR图像2)是所测量第二LDR图像的亮度,并且目标亮度(LDR图像2)是第二LDR图像的目标亮度。如果整个预览图像用于确定所测量亮度,则所测量第二LDR图像的亮度可以与第一LDR图像的目标亮度相同。例如,如果在确定亮度时使用预览图像的不同部分或分组,则亮度可以不同。
可以以不同的顺序执行示例操作800的步骤,一些步骤可以同时或顺序地执行,可以执行未示出的其它步骤,和/或可以不执行一些示出的步骤。在一个实例中,可以在首先将所测量亮度与第一LDR图像的目标亮度进行比较时确定亮度差(808)。在另一个实例中,可以同时或以不同的顺序确定亮度差和曝光值差。在另外的实例中,如果装置500使用基于线性相关值X的查找表,则装置500可以不确定曝光值差和亮度差,而是可以使用第二LDR图像的目标亮度、所测量第二LDR图像的亮度和第二LDR图像的目标亮度作为参考,以从查找表中确定用于捕获第二LDR图像的曝光值。在查找表的另一个实例中,装置500可以使用初始曝光值、用于捕获第一LDR图像的曝光值以及用于捕获第二LDR图像的目标亮度作为参考,以从查找表中确定用于捕获第二LDR图像的曝光值。
在一些方面,确定用于捕获第二LDR图像的曝光值可以是一步操作,而不需要递归或多次调整。在算法上确定用于捕获第二LDR图像的曝光值的实例中和在使用查找表来确定用于捕获第二LDR图像的曝光值的实例中,装置500可以不需要对曝光值进行递归地调整或不需要对所测量亮度与目标亮度进行比较。如果要捕获两个以上的LDR图像(如三个图像)以进行HDR成像,则装置500可以使用示例操作800或查找表来确定用于捕获其它LDR图像的曝光值。
在常规的HDR成像中,在装置确定用于捕获参考LDR图像的曝光值之后,装置通常使用静态差来确定用于捕获曝光不足的LDR图像和用于捕获曝光过度的LDR图像的曝光值。例如,如果用于捕获参考LDR图像的曝光值为档或f值0,则装置可以使用6个档的静态差来确定用于捕获曝光不足的LDR图像的曝光值(如档或f值-6)并且确定捕获曝光过度的LDR图像的曝光值(如档或f值+6)。如果使用静态差,则调整非参考HDR图像的曝光值可以采用调整曝光值并且测量预览图像的亮度的递归过程。进一步地,如果使用曝光值的静态差,则可能需要另外的曝光LDR图像以包含曝光过度的LDR图像和曝光不足的LDR图像(如代替两个较高曝光LDR图像或两个较低曝光LDR图像)。
在一些示例实施方案中,装置500可以确定第一非参考LDR图像的目标亮度,并且可以确定第二非参考LDR图像的不同的目标亮度。以此方式,装置500可以被配置成捕获多个较高曝光LDR图像,捕获多个较低曝光LDR图像,和/或将曝光值差确定为非静态(如曝光值之间的不同数量的档)。
场景的不同部分可以包含不同的光强度。再次参考图1的LDR图像100中的场景,对应于区域102A和102B的场景的部分的光强度可以比整个场景的平均光强度低。相反,对应于区域104的场景的一部分的光强度可以比整个场景的平均光强度高。装置500可以使用预览图像的一部分来确定LDR图像的目标亮度。以此方式,可以使用预览图像的不同部分来确定不同LDR图像的目标亮度。例如,可以使用预览图像的第一部分来确定第一LDR图像的目标亮度,并且可以使用预览图像的第二部分来确定第二LDR图像的目标亮度。
预览图像的每个像素包含亮度范围内的所测量亮度。例如,每个像素亮度可以是以从0到255的尺度指示亮度(luma)或亮度(luminance)的八位值。在一些示例实施方案中,装置500可以将具有类似亮度的像素分成单独的分组,并且可以使用单独的分组来确定每个分组的目标亮度。例如,如果要捕获三个LDR图像以进行HDR成像,则装置500可以将预览图像的像素划分成不同亮度范围的三个分组。在一些示例实施方案中,将所有像素都划分成分组。在一些其它示例实施方案中,(在未将其余部分放置进分组的情况下)仅将像素的子集划分成分组。另外或可替代地,分组中的像素可以是连续的或空间上分离的。虽然在本公开提供的实例中描述了像素,但是预览图像的适于使用的其它示例空间单元可以包含宏块、像素块,界定区域(如由预览图像中的边缘限定的区域)等。
在一些示例实施方案中,用于将像素划分成分组的预览图像是使用所测量亮度等于参考LDR图像的目标亮度的经过调整的曝光值捕获到的预览图像。例如,参考LDR图像的目标亮度可以是预先确定的,并且所测量亮度可以是预览图像的平均或中间像素亮度值。以此方式,参考LDR图像的曝光值可以取决于预览图像的所有像素的亮度。在一些其它实施方案中,参考LDR图像的曝光值可以取决于仅像素的一部分的亮度。例如,装置500可以仅使用预览图像的中心部分,可以使用与初始预览图像中的亮度范围相比处于中间亮度范围的像素,等等。一旦确定了参考LDR图像的曝光值,装置500就可以将预览图像的像素划分成分组并且基于分组确定非参考LDR图像的目标亮度。
当曝光值发生变化时,亮度变化应跨预览图像的像素类似。在一些示例实施方案中,装置500可以使用初始设置(如初始曝光值)生成的初始预览图像来基于亮度将像素划分成多个分组,其中分组具有非重叠的亮度范围。在一个实例中,装置500可以将像素均匀地划分成分组,使得分组的大小相同(并且分组可以具有不同大小的亮度范围)。在另一个实例中,装置500可以将像素划分成具有相同大小的亮度范围的分组(并且分组可以包含不同数量的像素)。
图9A展示了示例初始预览图像900。初始预览图像900对应于图1中的示例LDR图像100。如果初始预览图像900将被划分成具有相同大小的亮度范围的三个分组,则像素的数目可以在分组之间不同。例如,图9B展示了对应于图9A中的初始预览图像900的示例分组902A、902B和902C。示例分组902A、902B和902C具有不重叠的相同的亮度范围。对于图9B的实例,与分组902A相比,分组902B具有更少的像素。
如果初始预览图像900将被划分成相同大小的三个分组,则第一组中的像素数量可以大约等于第二组中的像素数量,并且可以大约等于第三组中的像素数量。例如,图9C展示了对应于图9A中的初始预览图像900的具有大约相同大小的示例分组904A、904B和904C。分组904A与分组904B具有大约相同的大小。还参考图9B,图9C的分组904A小于图9B的分组902A,例如,因为图9B的分组902A中的一些像素包含在分组904B中而不是图9C的分组904A中。
在一些示例实施方案中,装置500可以使用一或多个亮度阈值来确定将像素放置在哪个分组中。在一些方面,装置500可以针对要划分成数量为N的分组的预览图像确定数量为N-1的阈值。例如,如果要将预览图像划分成三个分组(如图9A中的预览图像900被划分成图9B中的三个分组902A、902B和902C,或者划分成图9C中的三个分组904A、904B和904C),装置500可以确定两个亮度阈值。
图10展示了图9A中的预览图像900的整体亮度范围1000。左侧的整体亮度范围1000被划分成第一亮度范围1002A、第二亮度范围1002B和第三亮度范围1002C。亮度范围1002A、1002B和1002C分别对应于图9B中的分组902A、902B和902C。第一亮度范围1002A与第二亮度范围1002B具有相同的大小,并且与第三亮度范围1002C具有相同的大小。第一亮度范围1002A和第二亮度范围1002B由阈值1006A划分。第二亮度范围1002B和第三亮度范围1002C由阈值1006B划分。如所示出的,阈值1006A和1006B彼此等距,并且分别与整体亮度范围1000的顶部或底部等距。
右侧的整体亮度范围1000被划分成第一亮度范围1004A、第二亮度范围1004B和第三亮度范围1004C。亮度范围1004A、1004B和1004C分别对应于图9C中的分组904A、904B和904C。第一亮度范围1004A和第二亮度范围1004B由阈值1008A划分。第二亮度范围1004B和第三亮度范围1004C由阈值1008B划分。由于分组904A、904B和904C的大小大约相同,因此亮度范围1004A、1004B和1004C可以具有不同的大小。例如,图9B中的分组902A中的图9A中的预览图像900的一些像素处于图9C中的分组904B中。以此方式,亮度范围1004A的大小小于亮度范围1002A的大小。
在一些示例实施方案中,装置500可以确定用于创建预览图像的分组的一或多个阈值。图11是描绘用于确定具有相同大小的亮度范围的分组的一或多个阈值的示例操作1100的说明性流程图。尽管以下关于图5的装置500描述了示例操作1100,但是示例操作1100可以由其它合适的装置或相机执行。首先装置500可以确定要将预览图像划分成的分组的数量(1102)。在一个实例中,分组的数量等于要为HDR图像捕获的LDR图像的数量。
装置500还可以确定预览图像的顶部亮度值(1104),并且可以确定预览图像的底部亮度值(1106)。在一些示例实施方案中,顶部亮度值可以是预览图像中任何像素的最高亮度值,并且底部亮度值可以是预览图像中任何像素的最低亮度值。例如,对于0到255的整体亮度尺度,如果最高亮度值为240(没有其它像素的亮度值大于240),则顶部亮度值可以确定为240。如果具有最低亮度值的像素为20(没有其它像素的亮度值小于20),则底部亮度值可以确定为20。
在一些其它示例实施方案中,顶部亮度值可以是整体亮度尺度的顶部,而无论像素中的任何像素的亮度值是否等于整体亮度尺度的顶部。例如,如果最高亮度值在0到255的整体亮度尺度上为240,则顶部亮度值可以确定为255。类似地,底部亮度值可以是整体亮度尺度的底部,而无论像素中的任何像素的亮度值是否等于整体亮度尺度的底部。例如,如果最低亮度值在0到255的整体亮度尺度上为20,则底部亮度值可以确定为0。
在一些另外的示例实施方案中,装置500可以在确定顶部亮度值和/或确定底部亮度值时忽视一些像素亮度值。在一个实例中,装置500可以确定平均或中值亮度值,并且仅检查亮度值与平均值或中值的偏差处于多个标准偏差内的像素。在另一个实例中,装置500可以确定亮度中的任何异常值像素,并且在确定顶部亮度值和/或底部亮度值之前将所述异常值像素移除。
在确定顶部亮度值和底部亮度值之后,装置500可以确定要创建的每个分组的亮度尺度的大小(1108)。例如,装置500可以将由顶部亮度值和底部亮度值界定的亮度尺度除以要创建的分组的数量(1110)。然后,装置500可以基于每个分组的所确定的亮度尺度大小来确定一或多个阈值(1112)。例如,对于要创建的三个分组(如图9B中的分组902A、902B和902C和图9C中的分组904A、904B和904C),划分第一分组的亮度尺度和第二分组的亮度尺度的阈值(如图10中划分亮度尺度1002A和1002B的阈值1006A)可以为顶部亮度值减去所确定的亮度尺度大小。类似地,划分第二分组的亮度尺度和第三分组的亮度尺度的阈值(如图10中划分亮度尺度1004A和1004B的阈值1006B)可以为底部亮度值加上所确定的亮度尺度大小。
在分组的亮度尺度具有相同大小的一个替代方案中,分组本身可以具有相同大小(如大约相同数量的像素)。图12是描绘用于创建相同大小的分组的示例操作1200的说明性流程图。尽管以下关于图5的装置500描述了示例操作1200,但是示例操作1200可以由其它合适的装置或相机执行。相同大小的分组可以是具有大约相同数量的像素的分组。在一些示例实施方案中,装置500可以确定每个分组的大小(1202)。例如,装置500可以将像素的数量除以要创建的分组的数量(1204)。在一些其它示例实施方案中,如果所有预览图像具有相同大小并且要创建相同数量的分组,则装置500可以基于预览图像的大小和分组的数量使用预先确定数量的像素。
装置500还可以基于像素亮度值对像素进行排序(1206)。装置500可以将第一数量的经过排序的像素(其中数量等于分组的所确定大小)划分成第一分组(1208),然后将下一数量的经过排序的像素(同样,其中数量等于分组的所确定大小)划分成第二分组(1210)。如果要创建另一个分组(1212),则装置500可以将下一数量的经过排序的像素划分成下一分组(1210)。当没有其它分组要创建时(1212),所有分组都已经创建并且示例操作1200结束。在一些示例实施方案中,装置500可以确定作为亮度值中的异常值的一或多个像素(如在预览图像中是噪声或静态的像素)。例如,当对像素进行排序时,装置500可以标识一或多个像素与预览图像中的其它像素分隔亮度的阈值量。因此,装置500可以在确定分组的大小时和在创建分组时确定移除像素。
然后,预览图像的分组可以用于确定要捕获的LDR图像的一或多个曝光值。例如,分组之一可以用于确定参考LDR图像的曝光值,并且其余分组可以用于确定一或多个非参考LDR图像的曝光值。与要求参考LDR图像的曝光值要处于曝光不足的LDR图像的曝光值与曝光过度的LDR图像的曝光值之间的常规HDR成像相比,装置500可以确定参考LDR图像的曝光值大于非参考LDR图像的曝光值,或者装置500可以确定参考LDR图像的曝光值小于非参考LDR图像的曝光值。
在一些示例实施方案中,装置500确定预览图像的哪个分组对应于要捕获的参考LDR图像。然后,像素的分组可以用于确定用于捕获参考LDR图像的曝光值。在一个实例中,确定可以基于感兴趣区域(ROI)。感兴趣区域可以基于用户输入(如用户触摸触敏显示器514的一部分),可以基于预览图像的自动标识的区域(如装置500通过面部识别标识面部),可以基于预览图像中的定位(如预览图像的中心部分)和/或可以基于其它因素。在使用感兴趣区域的一个实例中,如果用户触摸显示器514的一部分来指示感兴趣区域,则装置500可以确定哪个像素分组包含感兴趣区域。在使用感兴趣区域的另一个实例中,如果在预览图像中标识面部,则装置500可以确定哪个像素分组包含所标识的面部。在使用感兴趣区域的另一个实例中,装置500可以确定哪个分组包含预览图像的中心部分的大部分。在一些其它示例实施方案中,如果分组的大小对于预览图像是不同的,则可以使用最大的分组来确定用于捕获参考LDR图像的曝光值。在一些另外的示例实施方案中,如果亮度范围的大小对于预览图像的分组是不同的,则可以使用具有最大亮度范围的分组来确定用于捕获参考LDR图像的曝光值。然后,装置500可以将所确定的分组标识为用于确定参考LDR图像的曝光值的分组。
再次参考图8中的示例操作800,如果将来自初始预览图像的像素分组用于确定参考LDR图像的曝光值,则装置500可以通过测量像素分组的亮度来测量预览图像的亮度(806)。例如,装置500可以确定像素分组的平均亮度或中值亮度。以此方式,像素分组可以用于调整曝光值,使得所测量像素分组的亮度等于参考LDR图像的目标亮度。
在调整曝光值使得像素分组的所测量亮度等于目标亮度(810)之后,可以从使用经过调整的曝光值生成的预览图像(如所测量亮度等于目标亮度的最后生成的预览图像)中确定所述一或多个分组的要用于确定用于捕获非参考LDR图像的曝光值的亮度。以此方式,其它像素分组用于确定所测量亮度,所述亮度用于(如通过查找表或算法上通过以上等式(4))确定用于捕获非参考LDR图像的曝光值。由于任何分组都可以与确定参考LDR图像的曝光值相关联,因此参考LDR图像的曝光值可以比非参考LDR图像的曝光值更高,比非参考LDR图像的曝光值更低,或者处于非参考LDR图像的曝光值之间的任何位置。
一旦确定了要捕获的多个LDR图像的曝光值,装置500就可以使用所确定的曝光值来捕获LDR图像。然后,装置500可以使用任何技术来将LDR图像混合成HDR图像。在一个实例中,可以根据所述多个LDR图像将与来自预览图像的相应像素分组相关联的LDR图像区域拼接在一起。在另一个实例中,可以使用整个参考LDR图像,并且可以使用与预览图像的相应分组相关联的非参考LDR图像的区域来使参考LDR图像的部分变亮或变暗。
除非明确描述为以具体方式实施,否则本文描述的技术可以以硬件、软件、固件或其任意组合实施。被描述为模块或组件的任何特征也可以在集成逻辑装置中一起实施,或者作为离散但可互操作的逻辑装置单独实施。如果以软件实施,则所述技术可以至少部分地由包括指令508的非暂时性处理器可读存储媒体(如图5的示例装置500中的存储器206)实现,所述指令在由处理器504(或图像信号处理器512)执行时使装置500执行上述方法中的一或多种方法。非暂时性处理器可读数据存储媒体可以形成可以包含封装材料的计算机程序产品的一部分。
非暂时性处理器可读存储媒体可以包括随机存取存储器(RAM),如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、其它已知的存储媒体等。另外可替代地,所述技术可以至少部分地由处理器可读的通信媒体来实现,所述处理器可读的通信媒体以指令或数据结构的形式携带或传送代码,并且可以由计算机或其它处理器存取、读取和/或执行。
结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由如图5的示例装置500中的处理器504或图像信号处理器512等一或多个处理器执行。一或多个此类处理器可以包含但不限于一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路***。如本文所使用的术语“处理器”可以指代任何前述结构或适于实施本文所描述的技术的任何其它结构。另外,在一些方面,本文所描述的功能可以设置在如本文所述的配置的专用软件模块和/或硬件模块内。而且,所述技术可以完全在一或多个电路或逻辑元件中实施。通用处理器可以是微处理器,但在替代方案中,所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以实施为计算装置的组合,例如,DSP和微处理器的组合、多个微处理器、结合DSP核的一或多个微处理器或者任何其它此类配置。
虽然本公开示出了说明性方面,但是应当注意,可以在不脱离所附权利要求的范围的情况下在本文中作出各种改变和修改。另外,除非另外明确规定,否则不需要以任何特定顺序执行根据本文描述的方面的方法权利要求的功能、步骤或动作。例如,图6-8和11-12所展示的示例操作的步骤,如果由装置500执行,则相机控制器510、处理器504和/或图像信号处理器512可以以任何顺序和以任何频率执行(如针对每个HDR图像或在由用户请求时(如将装置500放置在特殊的HDR成像模式下))。此外,尽管元件可以以单数形式描述或要求保护,但是除非明确规定限于单数形式,否则设想复数形式。因此,本公开不限于所展示的实例,并且用于执行本文所描述的功能的任何装置都包含在本公开的各方面中。
Claims (30)
1.一种被配置成生成高动态范围HDR图像的装置,所述装置包括:
一或多个处理器;以及
存储器,所述存储器耦接到所述一或多个处理器并且包含指令,所述指令当由所述一或多个处理器执行时使所述装置:
从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值;
确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;
使用所述第一曝光值捕获所述参考图像;
使用所述第二曝光值捕获所述第一非参考图像;并且
将所述参考图像和所述第一非参考图像混合以生成HDR图像。
2.根据权利要求1所述的装置,其中执行所述指令进一步使所述装置:
确定用于捕获第二非参考图像的第三曝光值,其中所述第三曝光值基于所述初始曝光值与所述第一曝光值之间的所述差;并且
使用所述第三曝光值捕获所述第二非参考图像,其中所述HDR图像包括所述参考图像、所述第一非参考图像和所述第二非参考图像的混合。
3.根据权利要求2所述的装置,其中
所述第一曝光值大于所述第二曝光值且大于所述第三曝光值;或者
所述第一曝光值小于所述第二曝光值且小于所述第三曝光值。
4.根据权利要求2所述的装置,其中执行所述指令进一步使所述装置测量所述预览图像的至少一部分的初始亮度,其中
所述第一曝光值基于所述参考图像的目标亮度;
所述第二曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的差;以及
所述第一非参考图像的目标亮度;并且
所述第三曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的所述差;以及
所述第二非参考图像的目标亮度。
5.根据权利要求4所述的装置,其中执行所述指令进一步使所述装置:
将所述预览图像划分成至少第一分组、第二分组和第三分组;
测量所述第二分组的初始亮度;并且
测量所述第三分组的初始亮度,其中所述第一分组是所述预览图像的所述部分,所述第二曝光值进一步基于所述第二分组的所述初始亮度,并且所述第三曝光值进一步基于所述第三分组的所述初始亮度。
6.根据权利要求5所述的装置,其中执行用于划分所述预览图像的所述指令使所述装置:
确定所述预览图像的亮度尺度的第一阈值和第二阈值,其中所述第一阈值和所述第二阈值将所述亮度尺度划分成与所述参考图像相关联的第一亮度范围、与所述第一非参考图像相关联的第二亮度范围以及与所述第二非参考图像相关联的第三亮度范围;
将所述预览图像的部分的亮度与所述第一阈值和所述第二阈值进行比较;
基于所述比较将所述预览图像的所述部分分离成所述第一分组、所述第二分组和所述第三分组。
7.根据权利要求5所述的装置,其中执行所述指令进一步使所述装置确定所述预览图像的曝光值的变化与所述预览图像的亮度的变化之间的相关性,其中所述第二曝光值和所述第三曝光值进一步基于所述相关性。
8.根据权利要求7所述的装置,其中执行用于确定所述第二曝光值和所述第三曝光值的所述指令使所述装置使用基于线性相关性将多个曝光值中的每个曝光值映射到对应目标亮度的查找表。
9.根据权利要求7所述的装置,其中
EV2(确定)是所述第二曝光值;
EV2(初始)是在测量所述第二分组的所述初始亮度时所述预览图像的初始曝光值;
EV1(确定)是所述第一曝光值;
EV1(初始)是在测量所述第一分组的所述初始亮度时所述预览图像的所述初始曝光值;
TB1是所述参考图像的所述目标亮度;
IB1是所述预览图像的所述第一分组的所述初始亮度;
TB2是所述第一非参考图像的所述目标亮度;并且
IB2是所述预览图像的所述第二分组的所述初始亮度;并且
EV3(确定)是所述第三曝光值;
EV3(初始)是在测量所述第二分组的所述初始亮度时所述预览图像的初始曝光值;
EV1(确定)是所述第一曝光值;
EV1(初始)是在测量所述第一分组的所述初始亮度时所述预览图像的所述初始曝光值;
TB1是所述参考图像的所述目标亮度;
IB1是所述预览图像的所述第一分组的所述初始亮度;
TB3是所述第二非参考图像的所述目标亮度;并且
IB3是所述预览图像的所述第三分组的所述初始亮度。
10.根据权利要求1所述的装置,其中执行用于确定所述第二曝光值的所述指令防止所述装置在确定所述第二曝光值之前捕获所述第一非参考图像的先前实例。
11.一种用于生成高动态范围HDR图像的方法,所述方法包括:
从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值;
确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;
使用所述第一曝光值捕获所述参考图像;
使用所述第二曝光值捕获所述第一非参考图像;以及
将所述参考图像和所述第一非参考图像混合以生成HDR图像。
12.根据权利要求11所述的方法,其进一步包括:
确定用于捕获第二非参考图像的第三曝光值,其中所述第三曝光值基于所述初始曝光值与所述第一曝光值之间的所述差;以及
使用所述第三曝光值捕获所述第二非参考图像,其中所述HDR图像包括所述参考图像、所述第一非参考图像和所述第二非参考图像的混合。
13.根据权利要求12所述的方法,其中
所述第一曝光值大于所述第二曝光值且大于所述第三曝光值;或者
所述第一曝光值小于所述第二曝光值且小于所述第三曝光值。
14.根据权利要求12所述的方法,其进一步包括测量所述预览图像的至少一部分的初始亮度,其中
所述第一曝光值基于所述参考图像的目标亮度;
所述第二曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的差;以及
所述第一非参考图像的目标亮度;并且
所述第三曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的所述差;以及
所述第二非参考图像的目标亮度。
15.根据权利要求14所述的方法,其进一步包括:
将所述预览图像划分成至少第一分组、第二分组和第三分组;
测量所述第二分组的初始亮度;以及
测量所述第三分组的初始亮度,其中所述第一分组是所述预览图像的所述部分,所述第二曝光值进一步基于所述第二分组的所述初始亮度,并且所述第三曝光值进一步基于所述第三分组的所述初始亮度。
16.根据权利要求15所述的方法,其中划分所述预览图像包括:
确定所述预览图像的亮度尺度的第一阈值和第二阈值,其中所述第一阈值和所述第二阈值用于将所述亮度尺度划分成与所述参考图像相关联的第一亮度范围、与所述第一非参考图像相关联的第二亮度范围以及与所述第二非参考图像相关联的第三亮度范围;
将所述预览图像的部分的亮度与所述第一阈值和所述第二阈值进行比较;
基于所述比较将所述预览图像的所述部分分离成所述第一分组、所述第二分组和所述第三分组。
17.根据权利要求15所述的方法,其进一步包括:
确定所述预览图像的曝光值的变化与所述预览图像的亮度的变化之间的相关性,其中所述第二曝光值和所述第三曝光值进一步基于所述相关性。
18.根据权利要求17所述的方法,其中
EV2(确定)是所述第二曝光值;
EV2(初始)是在测量所述第二分组的所述初始亮度时所述预览图像的初始曝光值;
EV1(确定)是所述第一曝光值;
EV1(初始)是在测量所述第一分组的所述初始亮度时所述预览图像的所述初始曝光值;
TB1是所述参考图像的所述目标亮度;
IB1是所述预览图像的所述第一分组的所述初始亮度;
TB2是所述第一非参考图像的所述目标亮度;并且
IB2是所述预览图像的所述第二分组的所述初始亮度;并且
EV3(确定)是所述第三曝光值;
EV3(初始)是在测量所述第二分组的所述初始亮度时所述预览图像的初始曝光值;
EV1(确定)是所述第一曝光值;
EV1(初始)是在测量所述第一分组的所述初始亮度时所述预览图像的所述初始曝光值;
TB1是所述参考图像的所述目标亮度;
IB1是所述预览图像的所述第一分组的所述初始亮度;
TB3是所述第二非参考图像的所述目标亮度;并且
IB3是所述预览图像的所述第三分组的所述初始亮度。
19.根据权利要求11所述的方法,其中确定所述第二曝光值包括:
在确定所述第二曝光值之前,防止捕获所述第一非参考图像的先前实例。
20.一种非暂时性计算机可读媒体,其存储含有指令的一或多个程序,所述指令当由装置的一或多个处理器执行时使所述装置通过执行包括以下的操作生成高动态范围HDR图像:
从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值;
确定用于捕获第一非参考图像的第二曝光值,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;
使用所述第一曝光值捕获所述参考图像;
使用所述第二曝光值捕获所述第一非参考图像;以及
将所述参考图像和所述第一非参考图像混合以生成HDR图像。
21.根据权利要求20所述的非暂时性计算机可读媒体,其中执行所述指令进一步使所述装置:
确定用于捕获第二非参考图像的第三曝光值,其中所述第三曝光值基于所述初始曝光值与所述第一曝光值之间的所述差;并且
使用所述第三曝光值捕获所述第二非参考图像,其中所述HDR图像包括所述参考图像、所述第一非参考图像和所述第二非参考图像的混合。
22.根据权利要求21所述的非暂时性计算机可读媒体,其中执行所述指令进一步使所述装置测量所述预览图像的至少一部分的初始亮度,其中
所述第一曝光值基于所述参考图像的目标亮度;
所述第二曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的差;以及
所述第一非参考图像的目标亮度;并且
所述第三曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的所述差;以及
所述第二非参考图像的目标亮度。
23.根据权利要求22所述的非暂时性计算机可读媒体,其中执行所述指令进一步使所述装置:
将所述预览图像划分成至少第一分组、第二分组和第三分组;
测量所述第二分组的初始亮度;并且
测量所述第三分组的初始亮度,其中所述第一分组是所述预览图像的所述部分,所述第二曝光值进一步基于所述第二分组的所述初始亮度,并且所述第三曝光值进一步基于所述第三分组的所述初始亮度。
24.根据权利要求23所述的非暂时性计算机可读媒体,其中执行用于划分所述预览图像的所述指令使所述装置:
确定所述预览图像的亮度尺度的第一阈值和第二阈值,其中所述第一阈值和所述第二阈值用于将所述亮度尺度划分成与所述参考图像相关联的第一亮度范围、与所述第一非参考图像相关联的第二亮度范围以及与所述第二非参考图像相关联的第三亮度范围;
将所述预览图像的块的亮度与所述第一阈值和所述第二阈值进行比较;
基于所述比较将所述预览图像的所述块分离成所述第一分组、所述第二分组和所述第三分组。
25.根据权利要求24所述的非暂时性计算机可读媒体,其中执行所述指令进一步使所述装置确定所述预览图像的曝光值的变化与所述预览图像的亮度的变化之间的相关性,其中所述第二曝光值进一步基于所述相关性,并且所述第三曝光值进一步基于所述相关性。
26.根据权利要求21所述的非暂时性计算机可读媒体,其中
所述第一曝光值大于所述第二曝光值且大于所述第三曝光值;或者
所述第一曝光值小于所述第二曝光值且小于所述第三曝光值。
27.一种被配置成生成高动态范围HDR图像的装置,所述装置包括:
用于从由相机利用初始曝光值捕获的预览图像中确定用于捕获参考图像的第一曝光值的装置;
用于确定用于捕获第一非参考图像的第二曝光值的装置,其中所述第二曝光值基于所述初始曝光值与所述第一曝光值之间的差;
用于确定用于捕获第二非参考图像的第三曝光值的装置,其中所述第三曝光值基于所述初始曝光值与所述第一曝光值之间的所述差;
用于使用所述第一曝光值捕获所述参考图像的装置;
用于使用所述第二曝光值捕获所述第一非参考图像的装置;
用于使用所述第三曝光值捕获所述第二非参考图像的装置;以及
用于将所述参考图像、所述第一非参考图像和所述第二非参考图像混合以生成HDR图像的装置。
28.根据权利要求27所述的装置,其进一步包括测量所述预览图像的至少一部分的初始亮度,其中
所述第一曝光值基于所述参考图像的目标亮度;
所述第二曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的差;以及
所述第一非参考图像的目标亮度;并且
所述第三曝光值进一步基于:
所述初始亮度与所述参考图像的所述目标亮度之间的所述差;以及
所述第二非参考图像的目标亮度。
29.根据权利要求28所述的装置,其进一步包括:
用于将所述预览图像划分成至少第一分组、第二分组和第三分组的装置;
用于测量所述第二分组的初始亮度的装置;以及
用于测量所述第三分组的初始亮度的装置,其中所述第一分组是所述预览图像的所述部分,所述第二曝光值进一步基于所述第二分组的所述初始亮度,并且所述第三曝光值进一步基于所述第三分组的所述初始亮度。
30.根据权利要求27所述的装置,其中
所述第一曝光值大于所述第二曝光值且大于所述第三曝光值;或者
所述第一曝光值小于所述第二曝光值且小于所述第三曝光值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/803,505 | 2017-11-03 | ||
US15/803,505 US10498971B2 (en) | 2017-11-03 | 2017-11-03 | Systems and methods for high-dynamic range imaging |
PCT/US2018/058774 WO2019089975A1 (en) | 2017-11-03 | 2018-11-01 | Systems and methods for high-dynamic range imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111279686A true CN111279686A (zh) | 2020-06-12 |
CN111279686B CN111279686B (zh) | 2021-05-14 |
Family
ID=64402272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880069553.9A Active CN111279686B (zh) | 2017-11-03 | 2018-11-01 | 用于高动态范围成像的***和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10498971B2 (zh) |
CN (1) | CN111279686B (zh) |
WO (1) | WO2019089975A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148968A1 (zh) * | 2023-01-11 | 2024-07-18 | 荣耀终端有限公司 | 一种图像预览方法及终端设备 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9854156B1 (en) | 2016-06-12 | 2017-12-26 | Apple Inc. | User interface for camera effects |
JP2018117320A (ja) * | 2017-01-20 | 2018-07-26 | 株式会社東芝 | 電子ミラーの映像合成装置及び映像合成方法 |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
US10863105B1 (en) * | 2017-06-27 | 2020-12-08 | Amazon Technologies, Inc. | High dynamic range imaging for event detection and inventory management |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
JP7210172B2 (ja) * | 2018-07-06 | 2023-01-23 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN108683862B (zh) * | 2018-08-13 | 2020-01-10 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备及计算机可读存储介质 |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
JP6757392B2 (ja) * | 2018-11-21 | 2020-09-16 | 株式会社モルフォ | 画像生成装置、画像生成方法及び画像生成プログラム |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN110166705B (zh) * | 2019-06-06 | 2021-04-23 | Oppo广东移动通信有限公司 | 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质 |
KR20210016984A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 얼굴이 포함된 영상의 노출 값을 조절하는 전자 장치 |
KR20210101941A (ko) * | 2020-02-11 | 2021-08-19 | 삼성전자주식회사 | 전자 장치 및 그의 hdr 영상 생성 방법 |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) * | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
CN115297254B (zh) * | 2022-07-04 | 2024-03-29 | 北京航空航天大学 | 一种便携式高辐射条件下高动态成像融合*** |
CN115049747B (zh) * | 2022-08-16 | 2022-11-01 | 深圳市华汉伟业科技有限公司 | 一种高动态范围屏幕的色度测量方法和*** |
CN117714835A (zh) * | 2023-08-02 | 2024-03-15 | 荣耀终端有限公司 | 一种图像处理方法、电子设备及可读存储介质 |
CN117278864B (zh) * | 2023-11-15 | 2024-04-05 | 荣耀终端有限公司 | 图像拍摄方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080187235A1 (en) * | 2006-10-19 | 2008-08-07 | Sony Corporation | Image processing apparatus, imaging apparatus, imaging processing method, and computer program |
CN101360192A (zh) * | 2008-08-15 | 2009-02-04 | 苏州大学 | 一种数字光学成像***及其成像方法 |
CN102098444A (zh) * | 2009-12-10 | 2011-06-15 | 三星电子株式会社 | 使用电子快门的多步曝光方法及使用该方法的照相装置 |
CN103518223A (zh) * | 2011-04-18 | 2014-01-15 | 高通股份有限公司 | 高动态范围图像的白平衡优化 |
CN104853106A (zh) * | 2014-02-19 | 2015-08-19 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
US20170187938A1 (en) * | 2015-12-24 | 2017-06-29 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4438847B2 (ja) * | 2007-09-28 | 2010-03-24 | ソニー株式会社 | 撮像装置、撮像制御方法及び撮像制御プログラム |
US8891955B2 (en) | 2008-04-04 | 2014-11-18 | Whitham Holdings, Llc | Digital camera with high dynamic range mode of operation |
JP5294922B2 (ja) * | 2009-02-26 | 2013-09-18 | キヤノン株式会社 | 再生装置および再生方法 |
US8570396B2 (en) | 2009-04-23 | 2013-10-29 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US9137451B2 (en) | 2012-03-09 | 2015-09-15 | Htc Corporation | Electronic apparatus and adjustment method thereof |
US9137456B2 (en) | 2012-06-06 | 2015-09-15 | Apple Inc. | Intelligent auto-exposure bracketing |
US9083935B2 (en) | 2012-06-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Combining multiple images in bracketed photography |
EP2763396A1 (en) | 2013-01-30 | 2014-08-06 | ST-Ericsson SA | Automatic exposure bracketing |
RU2633128C2 (ru) | 2013-02-21 | 2017-10-11 | Конинклейке Филипс Н.В. | Улучшенные способы и устройства кодирования и декодирования hdr изображения |
TWI530911B (zh) * | 2014-02-25 | 2016-04-21 | 宏碁股份有限公司 | 動態曝光調整方法及其電子裝置 |
US9613408B2 (en) | 2014-09-25 | 2017-04-04 | Intel Corporation | High dynamic range image composition using multiple images |
US9704250B1 (en) | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
KR102059256B1 (ko) | 2015-06-05 | 2019-12-24 | 애플 인크. | Hdr 콘텐츠의 렌더링 및 디스플레이 |
TWI576653B (zh) * | 2015-07-31 | 2017-04-01 | 廣達電腦股份有限公司 | 曝光控制系統及其方法 |
US9813635B2 (en) | 2015-08-24 | 2017-11-07 | Motorola Mobility Llc | Method and apparatus for auto exposure value detection for high dynamic range imaging |
US20170214847A1 (en) | 2016-01-22 | 2017-07-27 | Top Victory Investments Ltd. | Method for Setting Shooting Parameters of HDR mode and Electronic Device Using the Same |
-
2017
- 2017-11-03 US US15/803,505 patent/US10498971B2/en not_active Expired - Fee Related
-
2018
- 2018-11-01 WO PCT/US2018/058774 patent/WO2019089975A1/en active Application Filing
- 2018-11-01 CN CN201880069553.9A patent/CN111279686B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080187235A1 (en) * | 2006-10-19 | 2008-08-07 | Sony Corporation | Image processing apparatus, imaging apparatus, imaging processing method, and computer program |
CN101360192A (zh) * | 2008-08-15 | 2009-02-04 | 苏州大学 | 一种数字光学成像***及其成像方法 |
CN102098444A (zh) * | 2009-12-10 | 2011-06-15 | 三星电子株式会社 | 使用电子快门的多步曝光方法及使用该方法的照相装置 |
CN103518223A (zh) * | 2011-04-18 | 2014-01-15 | 高通股份有限公司 | 高动态范围图像的白平衡优化 |
CN104853106A (zh) * | 2014-02-19 | 2015-08-19 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
US20170187938A1 (en) * | 2015-12-24 | 2017-06-29 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148968A1 (zh) * | 2023-01-11 | 2024-07-18 | 荣耀终端有限公司 | 一种图像预览方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111279686B (zh) | 2021-05-14 |
US20190138259A1 (en) | 2019-05-09 |
WO2019089975A1 (en) | 2019-05-09 |
US10498971B2 (en) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111279686B (zh) | 用于高动态范围成像的***和方法 | |
US10630903B2 (en) | Systems and methods for image exposure | |
US20230060489A1 (en) | System and method for generating a digital image | |
EP3836534B1 (en) | Imaging control method, electronic device, and computer-readable storage medium | |
EP3599760B1 (en) | Image processing method and apparatus | |
CN107888840B (zh) | 高动态范围图像获取方法和装置 | |
CN112840637B (zh) | 自动曝光方法 | |
US20160005362A1 (en) | Determination Of Optical Condition And Adjustment Of Display | |
CN107592453B (zh) | 一种拍摄方法及移动终端 | |
CN112655195B (zh) | 自动曝光方法、计算机程序产品和成像*** | |
US20150036878A1 (en) | Image processing apparatus and image processing method | |
US9165210B1 (en) | Systems and methods for localized contrast enhancement | |
US9131172B2 (en) | Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image | |
CN103945145A (zh) | 处理图像的设备和方法 | |
CN111492645B (zh) | 在处于手动模式时使用自动模式设置生成图像 | |
CN108337446A (zh) | 基于双摄像头的高动态范围图像获取方法、装置及设备 | |
US11995809B2 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
CN110677558B (zh) | 图像处理方法与电子装置 | |
CN106454140B (zh) | 一种信息处理方法及电子设备 | |
CN116647760B (zh) | 用于目标检测的宽动态实现方法、装置、相机及存储介质 | |
US11810492B2 (en) | Method for determining ambient light luminance, host, and computer readable storage medium | |
Yao et al. | Intensity mapping function based weighted frame averaging for high dynamic range imaging | |
US20210366084A1 (en) | Deblurring process for digital image processing | |
JP2022121793A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |