CN107533275B - 用于成像设备的空间上可调节的闪光 - Google Patents
用于成像设备的空间上可调节的闪光 Download PDFInfo
- Publication number
- CN107533275B CN107533275B CN201680024477.0A CN201680024477A CN107533275B CN 107533275 B CN107533275 B CN 107533275B CN 201680024477 A CN201680024477 A CN 201680024477A CN 107533275 B CN107533275 B CN 107533275B
- Authority
- CN
- China
- Prior art keywords
- flash
- filter panel
- transparency
- region
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 116
- 238000005286 illumination Methods 0.000 claims description 65
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 53
- 235000019557 luminance Nutrition 0.000 description 43
- 238000012545 processing Methods 0.000 description 31
- 230000009467 reduction Effects 0.000 description 18
- 230000007935 neutral effect Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 230000005055 memory storage Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000098700 Sarcocheilichthys parvus Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007687 exposure technique Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
- G03B7/17—Selection of modes in flash units by exposure control arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0589—Diffusors, filters or refraction means
- G03B2215/0592—Diffusors, filters or refraction means installed in front of light emitter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
Abstract
讨论了与用于成像设备的空间上可调节的闪光曝光有关的技术。这样的技术可以包括基于闪光过滤器面板控制参数来调节与图像设备的闪光模块相邻的闪光过滤器面板的区域透明度,以及通过提供来自闪光模块并穿过闪光过滤器控制面板的闪光灯光来曝光场景。
Description
优先权声明
本申请要求对提交于2015年5月28日的题为“SPATIALLY ADJUSTABLE FLASH FORIMAGING DEVICES(用于成像设备的空间上可调节的闪光)”的美国专利申请序列号14/724,597的优先权,并且其全部内容通过引用被并入。
背景技术
经由相机或集成在诸如移动电话或平板电脑等设备内的相机来获取图像是非常常见的。在诸如低曝光条件之类的一些条件下,成像设备(例如,相机或具有集成相机的设备)可以实现闪光,以试图对场景进行适当曝光。例如,成像设备可以在曝光期间实现全局闪光(例如,闪光灯)。然而,当场景的主体在距闪光不同距离处时,一些主体可能曝光过度或曝光不足。例如,如果第一主体靠近闪光而第二主体距离闪光更远,则适当地曝光第二主体可导致第一主体的曝光过度(例如,第一主体太亮),并且适当地曝光第一主体可导致第二主体的曝光不足(例如,第二主体太暗)。例如,全局闪光可以根据平方反比定律来照明主体,以使得与闪光相距一距离处的闪光强度与该距离的平方反比成比例(例如,闪光强度= 1/距离 2 )。在这种情况下,使用全局闪光的单次曝光可能提供低质量的图像。
目前的技术可尝试使用高动态范围成像(HDR)以及曝光不足和局部对比度增强来克服这些困难。例如,HDR成像可以包括以不同的曝光设置拍摄场景的多个图像并组合所得到的图像。然而,使用这样的多个图像可引入诸如模糊、重影效果以及在获取所述多个图像时保持场景不变的要求之类的问题。此外,HDR成像可能无法工作于高帧速率下的视频捕获模式(例如,如果视频帧之间的时间小于获得多个图像所需的时间),并且HDR成像可以是计算密集型的,并因此不适用于低功率设备。
在曝光不足和局部对比度增强技术中,场景可被曝光不足,以使得没有一个主体被曝光过度(例如,被曝光过度至饱和),并且可以使用局部对比度增强技术来使任何曝光不足的主体变亮。然而,由于表示原始(例如,捕获的)图像数据中的曝光不足的(例如,暗的)主体的非常低的信号水平,这种技术可能增加被增强的图像区域中的图像噪声和/或产生不令人满意的图像结果。例如,可能无法基于局部对比度增强技术来对曝光不足的主体进行合适的表示。
这样,现有技术并没有为场景中在距全局闪光不同距离处的主体提供合适的曝光。此外,用于克服这些困难的技术可能是不实用的和/或会提供低质量和看起来不自然的图像。关于这些考虑和其它考虑,本改进是需要的。随着在各种上下文中获得美学上令人满意的图像的需求变得更加普遍,这样的改进可变得至关重要。
附图说明
本文所述的材料在附图中通过示例的方式而非限制的方式图示出。为了图示的简单和清楚起见,附图中所示的元件不一定按比例绘制。例如,为了清楚起见,相对于其它元件,一些元件的尺寸可能被夸大。此外,在认为适当的情况下,在附图当中重复参考标记以指示对应的或类似的元件。在附图中:
图1是用于提供在空间上调节的闪光曝光的示例曝光设置的例证性图示;
图2图示出从成像设备的有利点(vantage point)来看的示例场景;
图3图示出用于提供在空间上调节的闪光曝光的示例设备;
图4图示出用于提供具有色彩控制的在空间上调节的闪光曝光的示例设备;
图5是用于提供具有色彩控制的在空间上调节的闪光曝光的示例曝光设置的例证性图示;
图6图示出用于提供具有色彩控制的在空间上调节的闪光曝光的示例设备;
图7A和图7B图示出示例闪光过滤器面板和闪光模块配置;
图8图示出用于提供在空间上调节的闪光曝光的示例设备;
图9图示出用于提供在空间上调节的闪光曝光的示例过程;
图10图示出用于提供在空间上调节的闪光曝光的示例过程;
图11是图示出用于提供在空间上调节的闪光曝光的示例过程的流程图;
图12是用于提供在空间上调节的闪光曝光的示例***的例证性图示;
图13是示例***的例证性图示;以及
图14图示出全部根据本公开的至少一些实现布置的示例小形状因子设备。
具体实施方式
现在参照所附图示来描述一个或多个实施例或实现。虽然讨论了具体的配置和布置,但是应当理解,这样做仅仅是为了例证性目的。相关领域的技术人员将认识到,可以采用其它的配置和布置而不脱离本描述的精神和范围。对于相关领域的技术人员来说将显而易见的是,本文描述的技术和/或布置也可以用于除了本文所描述的以外的各种其它***和应用中。
虽然以下描述阐述了可以在诸如例如片上***(SoC)架构之类的架构中证实的各种实现,但是本文描述的技术和/或布置的实现不限于特定架构和/或计算***,并且可以由用于类似目的的任何架构和/或计算***来实现。例如,采用例如多个集成电路(IC)芯片和/或封装的各种架构和/或诸如相机、智能电话等的各种计算设备和/或消费电子(CE)设备可以实现本文描述的技术和/或布置。此外,尽管以下描述可能阐述诸如逻辑实现、***组件的类型和相互关系、逻辑分区/集成选择等的众多具体细节,但是可以在没有这些具体细节的情况下实践所要求保护的主题。在其它情况下,可能不会详细地示出一些材料,诸如例如控制结构和完整的软件指令序列,以免模糊本文公开的材料。
本文公开的材料可以以硬件、固件、软件或其任何组合来实现。本文公开的材料还可以被实现为存储在机器可读介质上的指令,所述指令可以被一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如,计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如,机器可读介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电气的、光学的、声学的、或其它形式的传播信号(例如,载波、红外信号、数字信号等)以及其它。
说明书中对“一个实现”、“实现”、“示例实现”等的引用指示所描述的实现可以包括特定的特征、结构或特性,但不是每个实施例都可一定包括所述特定的特征、结构或特性。此外,这样的短语不一定指代同一实现。此外,当特定的特征、结构或特性被结合一实施例描述时,无论是否在本文中明确描述,都可以主张,结合其它实现来实行这样的特征、结构或特性是在本领域技术人员的知识范围内的。
本文描述的方法、设备、***和制品涉及为成像设备提供在空间上调节的闪光曝光,并且具体涉及用于在提供闪光灯光来曝光场景时调节闪光过滤器面板的区域的透明度。
如上所述,经由成像设备(例如,相机或集成在诸如智能电话等的设备内的相机)获得图像可以是常见的。在一些情况下,成像设备可以使用来自闪光灯或闪光模块等的闪光灯光获得图像。在这种情况下,可能难以同时适当地曝光近处主体和远处主体。例如,如果近处主体被适当曝光,则远处主体可被曝光不足,或者如果远处主体被适当曝光,则近处主体可被曝光过度。在这样的示例中,所得到的图像可能具有较差质量。
在本文讨论的一些实施例中,为成像设备提供在空间上调节的闪光曝光可以包括基于与场景相关联的图像数据确定闪光过滤器面板控制参数。闪光过滤器面板控制参数可以控制具有多个透明度可调节(例如,可调暗)区域的闪光过滤器面板。这些区域可以是可单独控制的,或者它们可以包括可控子区域或像素等。闪光过滤器面板可以是灰度级,以使得提供给场景的闪光的强度可以在空间上被控制,或者闪光过滤器面板可以是色彩,以使得闪光的强度和/或闪光的相对色彩可以在空间上被控制。例如,可以基于在最终曝光之前取得的图像数据(诸如在预闪光操作期间获得的照度或亮度数据、深度数据、对象检测数据等)来生成闪光过滤器面板控制参数。在其它示例中,闪光过滤器面板控制参数可以经由用户或在成像设备等上运行的应用来预设或控制。
基于闪光过滤器面板控制参数,可以控制闪光过滤器面板以使得某些区域在由实现闪光的成像设备执行的曝光期间被调节透明度(例如,调暗和/或调节色彩)。这样的调节可以提供用于曝光场景的闪光灯光的亮度、照明或强度控制。例如,成像设备可以包括具有多个透明度可调区域(例如,灰度级或色彩可调区域)的闪光过滤器面板和耦合到闪光过滤器面板以基于闪光过滤器面板控制参数来调节透明度可调区域的透明度的控制器。在一些示例中,闪光过滤器面板可以是成像设备的集成模块或部分。在这种示例中,闪光过滤器面板可以被设置在闪光模块和闪光模块透镜之间,或者可以与闪光模块透镜相邻,该闪光模块透镜可以与闪光模块相邻。在其它示例中,闪光过滤器面板可以是可拆卸的模块或单元。在这种示例中,闪光过滤器面板可以设置为与闪光模块透镜相邻,该闪光模块透镜可以与闪光模块相邻。此外,在这样的示例中,可以在闪光过滤器面板之上提供诸如盖板玻璃等的盖板透镜以在使用期间对其进行保护。
使用这样的技术和/或设备,可以在没有不希望的过度曝光或曝光不足的情况下和/或在有增强的色彩调节或色彩平衡的情况下捕获所取得的图像。例如,在空间上被控制的闪光曝光(例如,场景的空间尺寸上的闪光强度控制)可以为场景的所有或大多数主体提供适当的曝光照明和/或设置。此外,在色彩闪光过滤器面板示例中,期望的色彩品质可以在空间上被控制(例如,可以在场景的空间尺寸上控制提供给场景的光的色彩和强度)。这样的技术可以提供期望的图像质量,诸如针对场景的由不同环境光源照明的部分的更好的色彩平衡,场景的皮肤区域(例如,对于场景中的人或人们)的附加红色色调等,改进的色彩平衡,改进的闪光灯光的色彩等等。使用这种技术取得的图像可以被进一步处理和/或用于任何合适的目的。
例如,本文讨论的技术可以通过藉由将闪光过滤器面板或膜等放置于成像设备的闪光模块的前方来实现闪光强度的空间可控性来减轻或解决由照明平方反比定律引起的曝光困难。闪光过滤器面板可以集成到闪光模块中,或者作为独立设备与闪光模块分离地提供。
图1是根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例曝光设置100的例证性图示。如图1所示,曝光设置100可以包括使用闪光灯101来取得包括主体103和主体104的场景120的图像的成像设备110。例如,成像设备110可以包括闪光过滤器面板102或闪光过滤器面板102可以被提供在成像设备110的外部,以在空间上调节经由闪光灯101提供给场景120的光的强度和/或色彩。在图1的图示中,为了解释的清楚性起见,闪光过滤器面板102被示出为与闪光灯101和成像设备110分离。然而,如本文其它地方并且尤其是关于图7A和图7B所讨论的,闪光过滤器面板102可以被提供为与闪光灯101相邻(例如,紧邻或在二者之间具有一个或多个组件,诸如闪光模块透镜),以调节提供给场景120的闪光灯光。如本文进一步讨论的,闪光过滤器面板102可以是灰度级闪光过滤器面板(如关于图3的灰度级闪光过滤器面板302进一步讨论的)或色彩闪光过滤器面板(如关于图4和图6的色彩过滤器闪光面板402进一步讨论的)。
成像设备110可以包括具有闪光能力和/或触发闪光灯101的能力的任何合适的成像设备。例如,成像设备110可以是相机、智能电话、超极本、膝上型计算机、平板等。场景120可以是任何合适的场景,其包括任何数量的主体或区域等,诸如主体103和主体104。在图1的示例中,主体103处于场景120的前景中并且与闪光灯101和成像设备110相距距离105,并且主体104处于场景120的背景或中景中并且与闪光灯101和成像设备110相距距离106。然而,场景120可以包括任何数量的主体、区域、对象等。此外,这样的主体可以在距成像设备110任何距离处。
图2图示出根据本公开的至少一些实现布置的从成像设备110的有利点来看的示例场景120。如图所示,主体103可以在场景120的前景中,并且主体104可以在场景120的背景或中景中。例如,如所讨论的,在没有本文所讨论的在空间上调节的闪光控制的情况下,在低光条件下,成像设备110可以触发闪光灯101,以使得主体103或主体104被适当地照明以实现曝光。然而,如果主体103被适当地照明以实现曝光,则对应的闪光灯光可使主体104曝光不足(例如,大体上是暗的),并且如果主体104被适当地照明以实现曝光,则对应的闪光灯光可使主体103过度曝光(例如,大体上是亮的),并且在一些条件下过度曝光至饱和点。
回到图1,如关于透明度降低区域107和完全透明区域108所示的,闪光过滤器面板102可以经由闪光过滤器面板102的像素109(例如,透明度可调区域)来在空间上控制经由闪光灯101提供给场景102的闪光灯光,以取得适当的曝光。透明度降低区域107可以包括诸如一个或多个像素之类的任何数量的像素109。类似地,完全透明区域108可以包括诸如一个或多个像素之类的任何数量的像素109。在图1的示例中,透明度降低区域107中的每个像素109具有相同的透明度降低。然而,在其它示例中,透明度降低区域107中的像素109可以具有不同的透明度降低。如本文所讨论的,闪光过滤器面板102可以具有任何合适数量的像素109。像素109也可以被表征为区域、子区域、透明度可调区域等。此外,在一些示例中,像素109可以是色彩像素,以使得可以控制闪光过滤器面板102的区域的透明度,以调节经由闪光灯101提供至场景120的光的色彩,如本文进一步讨论的那样。如本文所述,术语透明度或透明度降低可以包括灰度级透明度或透明度降低或者色彩透明度或透明度降低。
在图1的示例中,场景120包括两个主体和两个相关联的区域,分别为:主体103和主体104以及透明度降低区域107和完全透明区域108。然而,场景120可以包括任何数量的主体和/或任何数量的关联区域,例如一个主体或三个或更多个主体和/或一个区域或三个或更多个区域。例如,区域的数量可以仅由闪光过滤器面板102的像素109的数量来限制(例如,可存在1到n个区域,其中n是像素109的数量)。此外,闪光过滤器面板的区域可以包括任何数量的像素109,并且这样的区域可以与任何数量的主体相关联或不与场景120的主体相关联。
如所讨论的,闪光过滤器面板102可以在曝光期间在空间上控制闪光灯光以适当地照明场景120。例如,如经由透明度降低区域107和完全透明区域108所示,可以相对于提供给主体104的闪光灯光降低提供给主体103的闪光灯光。如图1所示,主体104可以在距成像设备110的距离106处,并且主体103可以在距成像设备110的距离105处。例如,当距离106大于距离105时,提供给主体104的闪光灯光可经由完全透明区域108来有利地提供,以使得完全透明区域108的像素109处于闪光过滤器面板102中与主体104相关联的位置处。例如,场景120中最远的主体可以经由诸如完全透明区域108之类的完全透明区域而被提供有闪光灯光。
此外,如图所示,可以经由调节透明度降低区域107的透明度以使得闪光过滤器面板102中与主体103相关联的像素109在曝光期间可具有降低的闪光灯光,来降低提供给主体103的闪光灯光。经由闪光过滤器面板102对所提供的闪光灯光的强度的这种空间上的调节可以提供场景120的适当曝光。例如,参考图2,可以使用被在空间上调节以提供主体103和主体104的适当照明的闪光灯光来在单次曝光中对主体104和主体103二者进行适当曝光。
如所讨论的,在所示示例中,透明度降低区域107的所有像素109具有相同的透明度调节、透明度降低、或调暗。在其它示例中,可以在透明度降低区域107当中提供透明度降低区域107的不同的透明度调节、透明度降低、或调暗的像素109。此外,在所示示例中,与主体104相关联的完全透明区域108的像素109未经透明度调节、透明度降低、或调暗等。然而,在其它示例中,可以替代地对完全透明区域108的像素109中的一些或全部进行轻微调暗以便控制经由闪光灯101提供的闪光灯光。如所讨论的,与经由完全透明区域108提供的闪光相比,透明度降低区域的调暗可以在空间上控制提供给主体103的闪光灯光。
可以使用任何一个或多个技术来确定透明度降低区域107中的像素109的透明度降低。例如,可以提供预闪光序列以生成代表场景120的亮度图像、强度图像、照度数据等。这样的图像或数据可以用于确定与主体104相关联的亮度或照度等以及与主体103相关联的亮度或照度等。在一些示例中,可以基于提供主体104(例如,距成像设备110最大距离处的主体)的最佳曝光来确定用于在场景120的最终图像的曝光和图像捕获期间实现的闪光灯101的强度,并且可以将透明度降低区域107中的像素109的透明度降低确定为提供主体104的最佳曝光。在一些示例中,透明度降低区域107中的像素109的透明度降低可以是预闪光序列期间确定的主体104的亮度与主体103的亮度的比率。例如,如果主体103的预闪光测量亮度是主体104的预闪光测量亮度的10倍,则在最终图像捕获期间与主体103相关联的闪光灯光的期望亮度可以是与主体104相关联的闪光灯光的亮度的10%。这样的亮度比率可以通过以下方式来提供:通过藉由将透明度降低区域107的透明度降低90%等来允许经由透明度降低区域107传输经由完全透明区域108传输的闪光灯光的10%。
在其它示例中,透明度降低区域107的透明度降低可以基于到主体104的距离106和到主体103的距离105来确定。可以使用诸如测距技术、深度测绘等的任何合适的一个或多个技术来确定这样的距离。例如,在预曝光处理期间,可以生成与场景120相关联的深度数据或深度图等。深度数据或深度图可以包括来自视点(例如,来自成像设备110、来自近似的焦平面等)的与场景120的主体103、主体104和其它元素的距离相关联的信息。这样的深度数据和位置数据(例如,提供跨图像平面的场景120的元素的位置)可用于提供针对闪光过滤器面板102的区域的透明度控制。例如,可以使用这样的深度图数据来生成距离106和距离105。此外,闪光过滤器面板102的区域和/或像素109可以与场景120的这些主体相关联。在其它示例中,距离106和距离105可以使用诸如自动对焦技术、测距技术等的其它技术来确定。
在确定距离106和距离105的这种示例中,可以基于到场景120中的主体的距离来提供(例如,在场景120的最终曝光期间提供)闪光过滤器面板102的区域和/或像素109的透明度。例如,由于与主体104相关联的距离106是场景120的最大主体距离(例如,场景120中的其它距离处于背景或假设的无限距离等),所以经由闪光灯101提供的闪光灯光可以是基于距离106的,以使得闪光过滤器面板102的其它区域(例如,透明度降低区域107)可以基于为主体104提供的闪光灯光及其相对于距离106的距离来进行调节。可以根据到更近主体的距离与到更远主体的距离的比率的平方来减小到更近主体的闪光灯光。例如,如果距离105是d 1 且距离106是d 2 ,使得d 2 = 3d 1 ,则在最终图像捕获期间的闪光与主体103相关联的闪光灯光的期望亮度可以是与主体104相关联的闪光灯光的亮度的。这样的亮度比率可以通过以下方式来提供:通过藉由将透明度降低区域107的透明度降低88.9%(例如,约90%)等来允许经由透明度降低区域107传输经由完全透明区域108传输的闪光灯光的11.1%。
如所讨论的,闪光过滤器面板102可以提供在空间上调节的闪光曝光。这样的空间上的调节可以向场景的不同主体提供在空间上调节的闪光灯光亮度和/或向场景的不同主体提供在空间上调节的闪光灯光色彩。例如,如关于图4进一步讨论的那样,闪光过滤器面板102可以具有色彩像素,所述色彩像素可以被控制以调节到场景的不同主体的闪光灯光色彩。例如,闪光过滤器面板102的区域可以向场景120的不同区域提供不同的光色彩,以为场景120提供色彩平衡等。在一些示例中,对于闪光过滤器面板102中与场景的检测到的皮肤区域相关联的区域,可以提供更多的红色闪光灯光以增强肤色的成像。在其它示例中,特别是当实现基于发光二极管的闪光灯时,闪光过滤器面板102可用于遍及该场景或场景的前景部分等提供红色闪光灯光,因为在一些实现中,闪光灯光可能色泽接近于蓝色或绿色色调。
参考图1,闪光过滤器面板102可以包括任何数量的像素109,诸如如图所示的20个像素、2至4个像素、20至50个像素、50至100个像素、100至1000个像素或更多像素。此外,在色彩闪光过滤器面板的示例中,可以提供可以全局调节闪光色彩的单个像素。如本文所用,术语区域旨在指示闪光过滤器面板102的可控区域或闪光过滤器面板102的任何其它区域。例如,区域可以由可以被独立地控制以限定区域的子区域或像素等构成。在一些示例中,区域可以是一个像素或任何数量的像素。区域可以具有任何形状,诸如正方形、矩形、圆形等。此外,增加像素109的数量可以增强提供给场景120的在空间上调节的闪光灯光的分辨率。然而,这种增强的分辨率在一些上下文中可能不是关键的。而且,如所讨论的,闪光过滤器面板102可以是能够仅提供闪光灯光照明控制的灰度级面板,或者闪光过滤器面板102可以是能够提供闪光灯光照明控制和闪光灯光色彩控制的色彩面板。闪光过滤器面板102可以包括能够提供这种控制的任何合适的面板,诸如液晶显示面板等。此外,本文讨论的照明和/或色彩闪光灯光控制可以被主动地或动态地控制,以使得该控制是基于场景120的。可以基于在进行最终场景曝光之前基于场景120取得的图像数据来提供这样的技术。例如,图像数据可以是经由预闪光序列取得的亮度图像数据或经由预曝光序列取得的深度数据等等。
图3图示出根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例设备300。如图所示,设备300可以包括灰度级闪光过滤器面板302和控制器303。例如,灰度级闪光过滤器面板302可以提供如本文所讨论的闪光灯光亮度、照明或强度控制。如图所示,灰度级闪光过滤器面板302可以包括包含示例像素301a、301b、301c、301d的像素301。如图所示,可以经由控制器来控制像素301以改变此类像素的透明度。在一些上下文中,像素301可以被表征为子区域等。如所讨论的,一个或多个像素301可以提供闪光过滤器面板102的区域。同样如图所示,灰度级闪光过滤器面板302可以在经由控制器303提供的控制信号311的控制下操作。例如,控制器303可以基于闪光过滤器面板控制参数310生成控制信号311。闪光过滤器面板控制参数310可以从诸如图像处理器等的设备300的任何其它模块或电路接收。例如,闪光过滤器面板控制参数310可以定义用于经由灰度级闪光过滤器面板302实现的透明度参数、用于经由灰度级闪光过滤器面板302实现的输出亮度比率(例如,基于诸如经由闪光模块提供的全亮度之类的全亮度的灰度级闪光过滤器面板302的区域或像素301的亮度百分比)、调暗比率(例如,基于诸如像素301默认全透明度之类的全透明度的灰度级闪光过滤器面板302的区域或像素301的透明度降低)等等。在一些示例中,可以在与灰度级闪光过滤器面板302相关联的坐标系或域中提供闪光过滤器面板控制参数310,并且在其它示例中,闪光过滤器面板控制参数310可以被提供在与图像平面相关联的坐标系或域中。
控制器303可以将闪光过滤器面板控制参数310转译成控制信号311,以在曝光期间控制灰度级闪光过滤器面板302。例如,曝光可以由设备300被集成于其内的成像设备或由与设备300分离的成像设备来执行。例如,设备300可以与图像设备分离地提供,但是耦合到成像设备并且由成像设备经由闪光过滤器面板控制参数310或类似的接口协议来进行控制。
灰度级闪光过滤器面板302可以包括任何合适的过滤器面板,诸如灰度级LCD等。例如,灰度级闪光过滤器面板302可以包括可以是可调暗的或透明度可调的之类的像素301。如图所示,在一些示例中,灰度级闪光过滤器面板302可以提供从关于像素301a所示的全透明度(例如,完全透明)变化到经由像素301d示出的完全不透明(例如,被变黑等)的透明度范围。如本文所使用的,完全透明可以包括针对像素301a的完全打开条件,而并不意味着指示提供给像素301a的所有光都可以穿过像素301a。例如,即使当像素301a处于这样的完全透明或完全打开状态时,一些光也可能被阻挡或散射。类似地,即使在处于变黑状态时,完全不透明或变黑的像素301d也可以允许一些光通过。
灰度级闪光过滤器面板302可以提供完全透明和完全变黑之间的任何数量的中间状态。例如,如图所示,像素301b可以相对于像素301c更透明。在一些示例中,灰度级闪光过滤器面板302可以为像素301中的每一个提供256个状态(例如,从0编码到255),以使得0(或255)为完全透明并且255(或0)为变黑,并且中间值是线性提供的透明度。在其它示例中,可以经由灰度级闪光过滤器面板302提供4、8或16个等等的状态。如所讨论的,灰度级闪光过滤器面板302可以经由控制信号311来控制。例如,控制信号311可以为像素301中的每一个提供要由灰度级闪光过滤器面板302诸如在曝光期间等实现的透明度参数、透明度值等。在一些示例中,灰度级闪光过滤器面板302可以默认为所有像素301全部透明的状态。这样的默认可以为关联的成像设备提供已知的默认,以及为预闪光程序提供完全透明的操作等等。
图4图示出根据本公开的至少一些实现布置的用于提供具有色彩控制的在空间上调节的闪光曝光的示例设备400。如图所示,设备400可以包括色彩闪光过滤器面板402和控制器413。例如,色彩闪光过滤器面板402可以提供如本文所讨论的闪光灯光亮度、照明或强度控制和/或闪光灯光色彩控制。如图所示,色彩闪光过滤器面板402可以包括包含色彩子像素403、404、405的色彩像素401。例如,色彩像素401可以包括红色子像素403、绿色子像素404和蓝色子像素405。在图4的示例中,示出了红绿蓝(RGB)闪光过滤器面板。然而,色彩闪光过滤器面板402可以实现具有任何合适模式的任何合适的色彩空间或方案。
此外,色彩闪光过滤器面板402可以在经由控制器413提供的控制信号411的控制下操作。例如,控制器413可以基于闪光过滤器面板控制参数410生成控制信号411。闪光过滤器面板控制参数410可以从诸如图像处理器等的设备400的另一模块或电路接收。例如,闪光过滤器面板控制参数410可以定义用于经由色彩闪光过滤器面板402实现的亮度和/或色彩透明度参数,用于经由色彩闪光过滤器面板402实现的输出亮度和/或色彩比率(例如,基于诸如经由闪光模块提供的全亮度之类的全亮度的色彩像素401的亮度百分比,和/或色彩色泽比率),调暗比率(例如,基于诸如色彩像素401默认的全透明度之类的全透明度的色彩像素401的透明度降低),等等。例如,控制器413可以将闪光过滤器面板控制参数410转译成控制信号411,以在曝光期间经由设备400被集成于其内的成像设备或由与设备400分离的成像设备来控制色彩闪光过滤器面板402。例如,设备400可以与图像设备分离地提供,但是耦合到成像设备并且由成像设备经由闪光过滤器面板控制参数410或类似的接口协议来进行控制。在一些示例中,闪光过滤器面板控制参数410可以被提供在基于色彩闪光过滤器面板402的坐标空间或域中,并且在其它示例中,闪光过滤器面板控制参数410可以被提供在基于图像平面的坐标空间或域中。
色彩闪光过滤器面板402可以包括任何合适的过滤器面板,诸如彩色LCD等。例如,色彩闪光过滤器面板402可以包括色彩像素401,其可以是可调暗的或透明度可调以及色彩可调的。色彩闪光过滤器面板402可以提供一系列透明度和色彩。例如,色彩过滤器面板402的色彩像素401可以从完全透明变化到完全不透明并且色彩像素401可以在色域上变化范围。例如,色彩像素401可以使得子像素403-405设置为相同的色彩透明度以提供白色或经调暗的白色光,或者色彩像素可以使得子像素403-405设置为不同的色彩透明度以提供色彩过滤器面板的色域内的任何色彩。
色彩闪光过滤器面板402可以提供完全透明和完全变黑之间的任何数量的中间状态(例如,色彩透明度)。在一些示例中,色彩闪光过滤器面板402可以为子像素403-405中的每一个提供256个状态(例如,从0编码到255),以使得0(或255)完全透明并且255(或0)被变黑,并且中间值是线性提供的色彩透明度。在其它示例中,可以为色彩闪光过滤器面板402的子像素403-405提供4、8或16个或类似的状态。如所讨论的,色彩闪光过滤器面板402可以经由控制信号411进行控制。例如,控制信号411可以提供要由色彩闪光过滤器面板402诸如在曝光等期间实现的对于子像素403-405中的每一个的透明度参数、透明度值等等。在一些示例中,色彩闪光过滤器面板402可以默认为所有色彩像素401为完全透明的状态。这样的默认可以为相关联的成像设备提供已知的默认,以及为预闪光程序提供完全透明的操作等等。
如所讨论的,色彩闪光过滤器面板402可以提供闪光曝光期间的闪光灯光的亮度、照明或强度控制和/或闪光灯光色彩控制。例如,为了提供闪光灯光的亮度、照明或强度控制,可以将所有子像素(诸如区域406和407中所示的子像素)控制在相同的透明度调节处。在所示示例中,区域407被示出为完全透明的(例如,以使得区域407中的色彩像素401的子像素是完全透明的)。例如,经由区域407的红色、绿色和蓝色子像素实现的全透明度可以提供经由闪光灯提供的光的色彩(例如,通常为白光或接近白光的光)。例如,为了提供区域407和区域406之间的闪光灯光亮度、照明或强度控制,区域406中的色彩像素401的所有子像素可以被调暗或被透明度调节有如所示的相同的量,以使得在没有在空间上调节的色彩控制的情况下提供在空间上调节的亮度控制。
然而,也如本文所讨论的,在一些示例中,可以修改一个或多个区域的光的色彩,以向场景的各个主体、区域或部分提供在空间上调节了色彩的光。例如,这种色彩调节可以提供针对场景的皮肤区域的增强的闪光灯光(例如,针对场景中的人的有色泽的光),针对场景的色彩平衡等。例如,被提供在闪光模块前方的色彩闪光过滤器面板402可以允许将闪光的色彩调节到色彩过滤器面板402的色域内的任何色彩。此外,如所讨论的,色彩闪光过滤器面板402可以向场景提供这种色彩供给的空间上的控制,以使得场景的不同空间场区、区域、对象、主体等可以在同一曝光期间被提供以色彩闪光过滤器面板402的色域内的任何色度。这样的技术可以为场景的这样的场区、区域、对象、主体等提供增强的闪光色彩,或者提供场景的这样的场区、区域、对象、主体等之间的色彩平衡。
图5是根据本公开的至少一些实现布置的用于提供具有色彩控制的在空间上调节的闪光曝光的示例曝光设置500的例证性图示。如图5所示,曝光设置500类似于如关于图1所讨论的曝光设置100。例如,曝光设置500可以包括使用闪光灯101来取得包括主体103和主体104的场景120的图像的成像设备110。此外,可以提供色彩闪光过滤器面板402以在空间上调节经由闪光灯101提供给场景120的光的强度和/或色彩。在一些示例中,如图所示,场景120可以被环境照明源501和环境照明源503照明。例如,环境照明源501可以提供主要影响主体103的照明而非主要影响主体104的照明的光502。类似地,环境照明源503可以提供主要影响主体104的照明而非主要影响主体103的照明的光504。在所示示例中,提供了两个照明源。然而,曝光设置500可以包括任何数量的照明源。此外,这样的照明源可以各自主要影响单个主体的照明,或者两个或更多个照明源可影响单个或多个主体的照明。例如,可以在曝光设置500中提供各种各样的主体、主***置和照明源。
此外,环境照明源131、133可以是任何照明源,诸如灯泡、阳光、从对象离开的反射等。在一些示例中,来自照明源501的光502和来自照明源503的光504可以具有不同的色彩。例如,如果环境照明源501是太阳光,则光502可以具有基本中性的白色,并且如果环境照明源503是灯泡,则光504可以具有非中性的色彩,诸如具有蓝色色泽、绿色色泽等的基本上白色的光源。在一些示例中,闪光过滤器面板102可以为场景120的曝光提供色彩平衡,以使得在图像捕获期间以基本上中性的白光对主体104和主体103进行曝光。
例如,如果在不使用色彩闪光过滤器面板402的情况下进行曝光设置500的曝光,则分别在主体104和主体103上投射不同色彩的照明源501和照明源503可导致经由成像设备110的图像捕获的困难。例如,成像设备110可以基于主体103或主体104之一或这两个主体来尝试进行色彩平衡或白平衡等,并且所得到的图像可导致主体103和主体104的另一个或两者上的色彩误差和不期望的结果图像。
在一些示例中,经由闪光灯101提供的闪光灯光可以经由色彩闪光过滤器面板402在空间上进行适配,以在曝光期间将相同的色彩光投射到主体103和主体104上。例如,如果光502提供基本上中性的白光,并且光504提供有彩色色泽的光,则色彩闪光过滤器面板402可以对经由闪光灯101提供给主体103的光在空间上进行适配,以使得主体103在经由成像设备110的曝光期间具有基本上中性的白光。例如,完全透明区域508可以允许来自闪光灯101的闪光灯光穿过完全透明区域508而不进行色彩调节,以使得这种光是基本上中性的白光,并且使得主体104上的总体曝光光是基本上中性的白光(例如,照明源501和闪光灯101二者可以提供基本中性的白光)。
此外,色彩闪光过滤器面板402的色彩调节区域507可以更改或调节来自闪光灯101的闪光灯光的色彩,以便为主体103提供色彩调节。可以出于任何合适的目的提供任何色彩调节。例如,闪光灯光的经调节的色彩可以补偿来自照明源503的光504的色泽,以使得用与主体104相同色彩的光来照明主体103。继续用基本上中性的白光照明主体104的示例,色彩调节区域507可以提供色彩更改了的闪光灯光,以使得来自照明源503的光504和来自闪光灯101的在通过色彩闪光过滤器面板402的色彩调节区域507之后的光的组合在曝光期间提供基本上中性的白光以照明主体103。例如,来自照明源503的光504和来自闪光灯101的通过色彩调节区域507之后的光的总和的色彩可以等于由照明源501提供的光502的色彩或由照明源501提供的光502和来自闪光灯101的在通过完全透明区域508之后的光的色彩。此外,如本文其它地方所讨论的,提供给主体103和主体104的光的强度也可以经由色彩闪光过滤器面板402来调节。
图6图示出根据本公开的至少一些实现布置的用于提供具有色彩控制的在空间上调节的闪光曝光的示例设备400。如图所示且如关于图4所讨论的,设备400可以包括具有包括红色子像素403、绿色子像素404和蓝色子像素405的色彩像素401的色彩闪光过滤器面板402和控制器413。如关于完全透明区域508和色彩调节区域507所示,色彩闪光过滤器面板402可以通过在完全透明区域508中提供完全透明的色彩像素401和在色彩调节区域507中提供经色彩调节的色彩像素401来提供基本中性的白光。在一些示例中,如图6所示,这样的中性白光可以由完全透明区域508中的完全透明的色彩像素401提供。在其它示例中,可以通过在完全透明区域508中的一些色彩通道(例如,经由像素中的子像素403-405)中提供透明度降低以补偿由闪光灯提供的光的色彩来提供这样的中性白光。例如,LED闪光灯可能是有蓝色或绿色色泽的,并且在这种示例中,完全透明区域508中的红色子像素403的透明度可以相对于完全透明区域508中的绿色子像素404和蓝色子像素405具有增加的透明度,以补偿闪光灯光。
此外,在色彩调节区域507中,可以通过调节红色、绿色和蓝色色彩通道的透明度(诸如色彩调节区域507中的红色子像素603为完全透明,绿色子像素604较不透明,并且蓝色子像素605甚至更不透明)来提供如所示的色彩调节。例如,这种配置可以在穿过色彩调节区域507中的色彩闪光过滤器面板402而提供的光中提供更多的红色和减少的绿色和蓝色。如本文所讨论的,色彩调节区域507可以被控制成色彩通道的任何数量的色彩透明度状态。这样的状态可以提供经由例如色彩闪光过滤器面板402可用的色域控制。此外,在图6的示例中,色彩调节区域507中的每个像素401被调节为相同的色彩透明度(例如,子像素603-605被调节相同的量)。在其它示例中,色彩调节区域的色彩像素401可以具有不同的子像素透明度。这样的操作可以提供对于场景的空间色彩控制的更大粒度。
如所讨论的,这种空间上的闪光色彩控制可以提供白平衡(例如,匹配提供给诸如主体103和104之类的主体的光的色彩)、色彩平衡、为特定对象主体提供色泽(例如,为人类主体提供增加的红色、黄色或橙色)等。这样的空间上的闪光色彩控制可以经由通过控制器413断言的控制信号411来提供。例如,控制器413可以将闪光过滤器面板控制参数410转译为控制信号411。如所讨论的,在一些示例中,闪光过滤器面板控制参数410可以包括指示透明度、所需色彩等的基于区域、子区域或像素的数据。在一些示例中,闪光过滤器面板控制参数410可以包括以色彩闪光过滤器面板402或图像平面的坐标等的期望的色彩输出模式,以使得控制器413可以经由控制器413将这样的期望的色彩输出模式转译成控制信号411。
如关于图1所讨论的,闪光过滤器面板102、灰度级闪光过滤器面板302或色彩闪光过滤器面板402可以被提供为与诸如闪光灯(例如,闪光灯101)、闪光模块等的闪光源相邻,以提供照明控制(例如,经由灰度级闪光过滤器面板302或色彩闪光过滤器面板402)和/或色彩控制(例如,经由色彩闪光过滤器面板402)。例如,闪光过滤器面板可以被提供为紧邻闪光源或在闪光源和闪光过滤器面板之间具有一个或多个组件。
图7A和图7B图示出根据本公开的至少一些实现布置的示例闪光过滤器面板和闪光模块配置710和720。在图7A和图7B的所示示例中,示出了闪光过滤器面板102。在其它示例中,灰度级闪光过滤器面板302或色彩闪光过滤器面板402可以如图7A和图7B所示地实现。如经由配置710所示,在一些示例中,闪光过滤器面板102可以被提供为紧邻闪光模块701。闪光模块701可以包括任何合适的闪光模块、闪光、闪光灯等。例如,闪光模块701可以包括LED闪光灯、闪光灯管等。例如,闪光模块701可以包括安装在壳体等中的闪光灯或闪光灯光源。
如也经由配置710所示,可以紧邻闪光过滤器面板102来提供闪光灯透镜702。例如,配置710可以包括与闪光模块701紧邻设置的闪光过滤器面板102和紧邻闪光过滤器面板102设置的闪光灯透镜702。如本文所使用的,术语相邻旨在指示物品的相对紧密的邻近,而不是物品一定接触或邻接等。此外,如本文所使用的,术语紧邻旨在指示物品的相对紧密的邻近,物品之间没有其它功能单元,而不是物品一定接触或邻接等。例如,在配置710中,闪光模块701、闪光过滤器面板102和闪光灯透镜702可以邻接或接触或者可以不邻接或接触。
如经由图7B所示,在配置720中,闪光模块701和闪光过滤器面板102可以相邻并且闪光灯透镜702可以被提供在其之间。例如,在配置720中,闪光模块701可以紧邻闪光灯透镜702设置,并且闪光过滤器面板102可以紧邻闪光灯透镜702设置。此外,如图所示,配置720图示出可以提供可选的盖板透镜703。例如,盖板透镜703可以紧邻闪光过滤器面板102来提供,以保护闪光过滤器面板102。
在配置710和720中,所示的组件可以使用任何合适的一个或多个技术(诸如胶合,机械连接(例如,闩锁、夹子、螺钉安装)等)来安装或附接。例如,配置710可以提供适合于集成到成像设备或闪光设备中的集成封装。在一些示例中,配置720可以提供适合于集成到成像设备或闪光设备中的集成封装。在其它示例中,配置720可以将闪光过滤器面板102和可选的盖板透镜703提供为可以为成像设备或闪光设备提供的分离和/或可移除的单元。例如,闪光过滤器面板102和可选的盖板透镜703可以以可移除的方式安装到闪光模块701和/或闪光灯透镜702。在一些示例中,布线或另一种功率和通信耦合可以被提供给闪光过滤器面板102以提供功率信号和控制信号(例如,控制信号311、411或611),以用于控制闪光过滤器面板102。
如所讨论的,可以提供控制信号来控制闪光过滤器面板。同样如所讨论的,控制信号可以是基于闪光过滤器面板控制参数,其可以是基于图像数据分析等来生成的。关于图8-10和本文中的其它地方讨论了这样的技术。
图8图示出根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例设备800。如图所示,设备800可以包括闪光过滤器面板102、闪光模块701、具有图像传感器802的相机模块801、控制器803和图像处理器804。例如,闪光过滤器面板102可以包括本文所讨论的任何闪光过滤器面板,诸如灰度级闪光过滤器面板302或色彩闪光过滤器面板402。此外,闪光模块701可以包括本文所讨论的任何闪光、闪光灯或闪光模块,诸如LED闪光灯、闪光灯管等。此外,如图所示,设备800的相机模块801可以包括图像传感器802。图像传感器802可以包括任何合适的图像传感器,并且图像传感器802可以检测来自场景的光,并将检测到的光转译成表示代表场景的捕获图像的电信号或数据结构等。相机模块801可以包括包含图像传感器802和任何其它机构(例如,快门等)和任何其它电路(例如,图像预处理器等)的任何合适的相机模块,并且相机模块801可以生成图像数据820。
如图所示,图像数据820可以被提供给图像处理器804。图像处理器804可以包括任何合适的图像处理器、图像处理电路和/或相关电路。如图所示,在一些示例中,图像处理器804可以接收图像数据820,并且图像处理器804可以生成闪光过滤器面板控制参数810。例如,图像处理器804可以基于图像数据820和/或由图像处理器804生成的图像数据来生成闪光过滤器面板控制参数810。闪光过滤器面板控制参数810可以包括代表所需亮度模式、调暗模式、闪光过滤器区域透明度调节模式、色彩模式等的任何合适的数据、数据结构、信令等。例如,闪光过滤器面板控制参数810可以包括表示场景的期望亮度调节的数据(例如,与场景的图像平面内的位置相关联的亮度比率)、表示透明度调节参数的数据、场景的色彩调节、表示色彩透明度调节参数的数据等。
在一些示例中,图像数据820可以包括在预闪光序列期间取得的图像数据。例如,预闪光序列可以经由闪光模块701在闪光过滤器面板102具有以全透明度的所有区域的情况下执行闪光灯,以经由图像传感器802取得图像数据820。可以经由图像处理器804评估这样的图像数据820,以确定与图像数据820的区域或主体相关联的亮度值和/或色彩值,并且基于这样的亮度和/或色彩值生成闪光过滤器面板控制参数810。例如,可以分析由图像数据820表示的最暗区域或主体或另一部分,以确定是否可以达到适当的曝光。如果是这样,则可以评估由图像数据820表示的较亮区域,以确定这些区域是否应该经由闪光过滤器面板102来变暗。如果是这样,则闪光过滤器面板控制参数810可以指示透明度降低参数或比率等以降低这些区域的透明度。在其它示例中,可以评估色彩值以确定是否可经由如本文中讨论的闪光色彩调节来有利地应用场景中的主体当中的白平衡或色彩平衡。
此外或在替换方案中,图像数据820可以包括在不实现闪光的预曝光序列期间取得的图像数据。在这样的示例中,可以使用在具有或没有闪光的情况下取得的图像数据820来生成与场景相关联的深度图。例如,图像处理器804可以生成这样的深度图等,其可以用于确定闪光过滤器面板控制参数810。例如,可以基于由图像数据820表示的区域或主体的适当曝光来确定闪光强度,以使得所述区域或主体处于与闪光模块701或相机模块801等的最大主体距离处(例如,在非无限或假设的背景距离处等等)。基于其它区域或主体到处于最大距离处的区域或主体的相对距离,闪光过滤器面板控制参数810可以包括用于最终曝光的透明度调节或降低参数。例如,这样的透明度可以被提供为到主体或区域的距离与到最大主体距离处的主体或区域的距离的比率。例如,主体到图像平面中最大主体处的主体越近,透明度降低越小,并且主体到图像平面中最大主体处的主体前方越远,透明度降低越大。
在其它示例中,可以评估图像数据820以用于对象检测等。例如,可以执行面部检测以检测主体来实现如所讨论的亮度和/或深度数据评估。例如,当试图取得在距闪光模块701不同距离处的人的适当图像时,所讨论的技术可能是特别有利的。在其它示例中,闪光过滤器面板控制参数810可以基于其它检测到的对象而变化。例如,可以在与检测到的车辆、发光对象、玻璃窗等相关联的区域中提供降低透明度的闪光过滤器面板控制参数810,以使得这些对象几乎不提供或不提供眩光。
此外,当实现色彩闪光过滤器面板402时,这种对象检测可以是特别有利的。例如,如所讨论的,检测到的面部区域和/或其它皮肤区域可以经由闪光过滤器面板控制参数810而被提供有红色、黄色或橙色色泽的闪光灯光。例如,图像处理器804可以生成与检测到的对象相关联的边界框或坐标等,并且图像平面内的这些位置可以被转译为闪光过滤器面板控制参数810的区域。这种转译可由图像处理器804或控制器803执行。例如,闪光过滤器面板控制参数810可以以与图像平面相关联的坐标或与闪光过滤器面板102相关联的坐标来表示。
如图所示,闪光过滤器面板控制参数810可以被传送到控制器803,其可以如本文关于控制器303和413所讨论的那样将闪光过滤器面板控制参数810转译成控制信号811。控制信号811可以被提供给闪光过滤器面板102,闪光过滤器面板102可以基于控制信号811如本文所讨论的那样调节区域102的透明度。
图9图示出根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例过程900。过程900可以包括如图9所示的一个或多个操作901-907。过程900可以形成在空间上调节的闪光过程的至少一部分。作为非限制性示例,过程900可以形成用于如本文所讨论的成像设备800的在空间上调节的闪光过程的至少一部分。此外,本文中将参考图8的设备800来描述过程900。
过程900可以始于操作901“图像捕获预览(无闪光)”,其中可以在没有闪光实现的情况下执行图像捕获预览。例如,用户可以通过按下按钮或点击视图屏幕来发起图像捕获序列,以开始自动对焦操作、曝光操作等。在其它示例中,应用可以发起图像捕获序列。响应于这样的请求,图像传感器802可以提供图像捕获以取得图像数据820。这样的图像数据820可以包括用于单次图像捕获或多次图像捕获(例如,帧序列)的图像数据。在一些示例中,可以以比最终图像捕获更低的分辨率执行这种图像捕获预览操作。
如图所示,过程900可在操作902 “自动曝光评估”处继续,其中可进行自动曝光评估处理。例如,可以评估与场景相关联地取得的图像数据,以生成自动曝光统计信息等。例如,图像处理器804可以评估一个或多个图像的图像数据820以生成自动曝光统计信息等。如图所示,如果没有执行曝光(例如,用户或应用没有发起场景的最终曝光等),则过程900可以在下一次迭代处在操作901处继续。如果用户或应用等发起或继续曝光,则自动曝光评估操作902可以包括确定是否需要闪光以适当地曝光场景的判定操作。这样的判定可以是基于例如表示场景的、所生成的自动曝光统计信息。
如果做出不需要闪光的确定,则过程900可在操作907 “捕获最终图像”处继续,其中可在无需闪光的情况下使用任何合适的一个或多个技术来捕获最终图像。例如,可以(例如,基于在操作902处确定的自动曝光统计信息和数据)做出曝光目标已实现的确定并且相机模块801可在没有闪光模块701的操作的情况下经由图像传感器802来取得最终的图像数据。
如果做出需要闪光的确定,则过程可在操作903 “初始化闪光过滤器面板透明度”处继续,其中闪光过滤器面板的区域的透明度可被初始化。例如,可以初始化闪光过滤器面板102(例如,灰度级闪光过滤器面板302,色彩闪光过滤器面板402或本文所讨论的任何其它闪光过滤器面板)。这样的初始化可以经由藉由控制器803提供的控制信号811来执行。初始化可以为闪光过滤器面板的像素提供任何已知的、默认的、或标准的初始化模式。例如,初始化可以为闪光过滤器面板的所有像素或区域提供全透明度。
过程900可以在操作904 “图像捕获预览(闪光)” 处继续,其中可以在有闪光实现的情况下执行图像捕获预览。例如,具有闪光实现的预览可以被表征为预闪光序列等。例如,图像传感器802可以在实现由闪光模块701提供并穿过完全透明的闪光过滤器面板102的闪光灯光期间提供图像捕获。在一些示例中,可以以比最终图像捕获更低的分辨率来执行这种图像捕获预览操作。在一些示例中,可以在这样的图像捕获预览操作期间经由图像处理器804生成如本文所讨论的亮度或照度数据、色彩数据和/或深度数据。在一些示例中,经由操作901取得的图像数据和经由操作903取得的图像数据二者都可以用于执行操作905和/或操作906。
过程900可以在操作905 “自动曝光评估(空间上的)” 处继续,其中可以进行空间上的自动曝光评估处理。例如,可以评估与使用闪光的场景相关联地取得的图像数据以生成自动曝光统计信息等。例如,图像处理器804可以评估如操作904处讨论的使用闪光取得的图像的图像数据820,以生成自动曝光统计信息等。如图所示,如果不需要空间上的闪光控制,则过程900可在操作907处继续,其中如所讨论的那样,可以使用闪光在闪光过滤器面板被调节成应用初始化设置的情况下捕获最终图像。例如,相机模块801可以经由图像传感器802取得最终图像数据,其中闪光模块701使用在操作903处实现的闪光过滤器面板设置基于在操作905处确定的自动曝光统计信息和数据来提供闪光灯光。
如果需要空间上的闪光控制,则过程900可在操作906 “确定闪光过滤器面板控制参数” 处继续,其中可以如本文所讨论的那样确定闪光过滤器面板控制参数。例如,可以基于亮度图像数据(通过基于亮度图像数据内的相对亮度来提供透明度调节参数)、基于深度数据(通过基于来自设备800的深度数据内表示的主体的平方反比来提供透明度调节参数)、基于对取得的图像数据执行的对象检测、基于色彩图像数据以提供色彩平衡等等来经由图像处理器804确定闪光过滤器面板控制参数。
如图所示,如果基于操作905和906没有实现曝光目标,则过程900可以在操作904处继续,其中可以重复在有闪光的情况下的图像捕获预览。例如,如果具有闪光的先前图像捕获预览包括到达饱和点的曝光过度的区段,则操作905和906可能无法取得有效的自动曝光统计信息(例如,用于提供有效的闪光强度)和/或有效的闪光过滤器面板控制参数。在这种情况下,可以以较低的预闪光强度重复具有闪光的图像捕获预览,以试图取得有效的自动曝光统计信息和/或有效的闪光过滤器面板控制参数。这样的处理可以按照需要重复任意次数。
如果实现了曝光目标,则过程900可如所讨论的那样在操作907处继续,其中可以使用具有被调节成应用在操作906处取得的设置的闪光过滤器面板的闪光来捕获最终图像。例如,相机模块801可以经由图像传感器802取得最终图像数据,其中闪光模块701使用在操作905处确定的闪光过滤器面板设置基于在操作905处确定的自动曝光统计信息和数据来提供闪光灯光。如所讨论的,这种闪光过滤器面板设置可以提供在空间上被调节或控制的闪光灯光强度和/或闪光灯光色彩。
对于经由用户实现的任何数量的曝光,过程900可以重复任意次数。过程900可以提供曝光控制环路,以便不使用闪光、使用无空间上的控制的闪光、或使用有空间上的控制的闪光来取得最终图像数据。此外,有空间上的控制的这种闪光可以提供闪光强度的空间上的控制,或者闪光强度的空间上的控制和闪光色彩的空间上的控制,如本文所讨论的那样。
图10图示出根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例过程1000。过程1000可以包括如图10所示的一个或多个操作1001-1006。过程1000可以形成在空间上调节的闪光过程的至少一部分。作为非限制性示例,过程1000可以形成用于如本文所讨论的成像设备1000的在空间上调节的闪光过程的至少一部分。此外,本文将参考图8的设备800描述过程1000。
过程1000可以始于操作1001“图像捕获预览(无闪光)”,其中可以在没有闪光实现的情况下执行图像捕获预览。例如,用户可以通过按下按钮或点击视图屏幕来开始自动对焦操作来发起图像捕获序列,或者应用可以发起图像捕获序列等。响应于这样的请求,图像传感器802可以提供图像捕获以取得图像数据820。这样的图像数据820可以包括以最终图像捕获的分辨率或降低的分辨率来进行单次图像捕获或多次图像捕获的图像数据。
过程1000可在操作1002 “自动曝光评估”处继续,其中可进行自动曝光评估处理。例如,可以评估与场景相关联地取得的图像数据,以生成自动曝光统计信息等。例如,图像处理器804可以评估一个或多个图像的图像数据820以生成这样的自动曝光统计信息。如图所示,如果没有执行曝光,则过程1000可以在下一次迭代处在操作1001处继续。如果用户或应用等发起或继续曝光,则自动曝光评估操作1002可以包括确定是否需要闪光以适当地曝光场景的判定操作。这样的判定可以是基于例如表示场景的、所生成的自动曝光统计信息。
如果做出不需要闪光的确定,则过程1000可在操作1006 “捕获最终图像”处继续,其中可在无需闪光的情况下使用任何合适的一个或多个技术来捕获最终图像。例如,基于在操作1002处确定的自动曝光统计信息和数据,相机模块801可在没有闪光模块701的操作的情况下经由图像传感器802来取得最终的图像数据。
如果做出需要闪光的确定,则过程1000可在操作1003 “生成深度图”处继续,其中可以基于在操作1001处取得的图像数据生成深度图或深度数据等。例如,深度图可包括表示图像数据的区域或主体距视点(例如,距设备800、距近似焦平面等)的距离。
过程1000可以在操作1004 “评估深度图”处继续,其中可以评估深度。可以使用任何合适的一个或多个技术来评估深度图。例如,可以经由图像处理器804来评估深度图,以确定由图像数据802表示的到主体的距离、执行对象检测等。
此外,过程1000可以在操作1005“确定闪光过滤器面板控制参数”处继续,其中可以如本文所讨论的那样确定闪光过滤器面板控制参数。例如,可以基于在操作1003处生成的深度图、操作1004处执行的深度图的评估、和/或在操作1001处取得的图像数据来经由图像处理器804确定闪光过滤器面板控制参数。例如,可以通过基于深度图内的相对距离和/或基于在操作1001处取得的图像数据中的色彩数据生成透明度调节参数来确定闪光过滤器面板控制参数。例如,闪光过滤器面板控制参数可以包括针对闪光过滤器面板的区域或与处于最大主体距离或比最大主体距离更远处的主体或区域相关联的图像平面的区域的全透明度。此外,闪光过滤器面板控制参数可以包括透明度调节,以通过将全透明度乘以到其它区域的距离与最大主体距离的比率的平方来降低其它区域或主体的透明度(例如,对于更接近闪光模块701的那些区域或主体)。例如,如果最大的主体距离为d 1 且另一区域或主体在距离d 2 处(例如,以使得d 2 < d 1 ,则可以将区域的透明度确定为全透明度乘以(d 2 /d 1 )2。此外,可以基于在操作1001处取得的图像数据的评估来进行色彩调节,以提供色彩平衡等。
如图所示,处理1000可以在操作1006处继续实现的曝光目标,如所讨论的那样,其中可以使用具有被调节为应用在操作1005处取得的设置的闪光过滤器面板的闪光来捕获最终图像。例如,相机模块801可以经由图像传感器802取得最终图像数据,其中闪光模块701使用在操作1005处确定的闪光过滤器面板设置基于在操作1002处确定的自动曝光统计信息和数据来提供闪光灯光。如所讨论的,这种闪光过滤器面板设置可以提供在空间上被调节或控制的闪光灯光强度和/或闪光灯光色彩。
对于经由用户实现的任何数量的曝光,过程1000可以重复任意次数。过程1000可以提供用于不使用闪光或使用具有空间上的控制的闪光而取得最终图像数据的曝光控制环路。此外,具有空间上的控制的这种闪光可以提供闪光强度的空间上的控制,或者闪光强度的空间上的控制和闪光色彩的空间上的控制,如本文所讨论的那样。
图11是图示出根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例过程1100的流程图。过程1100可以包括如图11所示的一个或多个操作1101-1103。过程1100可以形成在空间上调节的闪光曝光技术的至少一部分。作为非限制性示例,过程1100可以形成由设备300、400、800或本文所讨论的任何其它设备执行的在空间上调节的闪光曝光技术的至少一部分。此外,本文中将参照图12的***1200描述过程1100。
图12是根据本公开的至少一些实现布置的用于提供在空间上调节的闪光曝光的示例***1200的例证性图示。如图12所示,***1200可以包括一个或多个中央处理单元(CPU)1201、图像处理单元1202和存储器存储1203。同样如图所示,中央处理单元1201可以包括控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212。可以实现这样的模块以执行如本文所讨论的操作。在***1200的示例中,存储器存储1203可以存储图像数据、闪光过滤器面板控制参数、控制信号数据、深度图数据、亮度或照度图数据、自动曝光统计信息、原始图像数据等。
如图所示,在一些示例中,可以经由中央处理单元1201来实现控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212。在其它示例中,可以经由图像处理单元1202或图形处理单元来实现控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212中的一个或多个或部分。在另外的示例中,可以经由成像处理流水线或单元来实现控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212中的一个或多个或部分。
图像处理单元1202可以包括可以提供如本文所讨论的操作的任何数量和类型的图形或图像处理单元。在一些示例中,图像处理单元可以是图像信号处理器。这样的操作可以经由软件或硬件或其组合来实现。例如,图像处理单元1202可以包括专用于操纵从存储器存储1203获得的图像数据的电路。中央处理单元1201可以包括可以为***1200提供控制和其它高级功能和/或提供本文所讨论的任何操作的任何数量和类型的处理单元或模块。存储器存储1203可以是任何类型的存储器,诸如易失性存储器(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如,闪存等)等等。在非限制性示例中,存储器存储1203可以由高速缓存存储器来实现。
在实施例中,可以经由图像处理单元1202的执行单元(EU)来实现控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212中的一个或多个或部分。EU可以包括例如可编程逻辑或电路,诸如可提供各种各样的可编程逻辑功能的一个或多个逻辑核。在实施例中,控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212中的一个或多个或部分可以经由诸如固定功能电路等的专用硬件来实现。固定功能电路可以包括专用逻辑或电路,并且可以提供一组可以映射到用于固定目的或功能的专用逻辑的固定功能入口点。在一些实施例中,控制器803、闪光过滤器面板控制参数模块1210、照度图模块1211和深度图模块1212中的一个或多个或部分可以经由专用集成电路(ASIC)来实现。ASIC可以包括被定制成执行本文讨论的操作的集成电路。
例如,控制器803可以执行本文关于控制器303、413或803所讨论的任何操作,闪光过滤器面板控制参数模块1210可以执行本文关于生成闪光过滤器面板控制参数所讨论的任何操作,照度图模块1211可以执行本文关于生成亮度或照度图或任何其它相关联的数据所讨论的任何操作,并且深度图模块1212可以执行本文关于生成深度图或深度数据或任何其它相关联的数据所讨论的任何操作。
回到图11的讨论,过程1100可以始于操作1101“基于与场景相关联的图像数据确定闪光过滤器面板控制参数”,其中可以基于与场景相关联的图像数据来确定闪光过滤器面板控制参数。例如,如经由中央处理单元1201实现的闪光过滤器面板控制参数模块1210可以生成闪光过滤器面板控制参数。可以使用任何合适的一个或多个技术来生成闪光过滤器面板控制参数。
在一些示例中,确定闪光过滤器面板控制参数可以包括在场景的预闪光曝光期间获得图像数据,基于图像数据来确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,以使得场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联,并且基于第一亮度和第二亮度生成用于闪光过滤器面板的区域的透明度参数。在这样的示例中,图像数据可以包括亮度数据、照明数据、照度图等。例如,如经由中央处理单元1201实现的照度图模块1211可以生成亮度数据、照明数据、照度图等。例如,透明度参数可以是第二亮度与第一亮度的比率。此外,在场景的预闪光曝光期间,闪光过滤器面板的每个区域可以被设置为全透明度。
在一些示例中,确定闪光过滤器面板控制参数可以包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离。可以使用任何合适的一个或多个技术来确定这样的主体距离。例如,图像数据可以包括与场景相关联的深度图,并且可以基于深度图来确定主体距离。例如,如经由中央处理单元1201实现的深度图模块1211可以生成深度图、深度数据等。此外,在一些示例中,第二主体距离可以大于第一主体距离,并且闪光过滤器面板控制参数可以指示针对闪光过滤器面板的第二区域的全透明度以及针对闪光过滤器面板的区域的降低的透明度。例如,降低的透明度可以是全透明度乘以第一距离与第二距离的比率的平方。
处理可以在操作1102“基于闪光过滤器面板控制参数来调节与闪光模块相邻的闪光过滤器面板的区域的透明度”处继续,其中可以基于闪光过滤器面板控制参数调节与成像设备的闪光模块相邻的闪光过滤器面板的区域的透明度。例如,如经由中央处理单元1201实现的控制器803可以基于闪光过滤器面板控制参数生成控制信号,以控制闪光过滤器面板来调节闪光过滤器面板的区域或像素等的透明度。如所讨论的,闪光过滤器面板可以是具有任何数量的透明度可调区域或像素的任何合适的闪光过滤器面板。例如,闪光过滤器面板可以被配置成与闪光模块相邻地安装,如本文所讨论的那样。例如,闪光过滤器面板可以被设置在闪光模块和闪光模块透镜之间,或者闪光过滤器面板和盖板透镜可以被配置成紧邻闪光模块透镜安装,而闪光模块透镜紧邻闪光模块。
在一些示例中,闪光过滤器面板可以是具有不少于20个透明度可调区域的灰度级液晶显示面板。在其它示例中,闪光过滤器面板可以是彩色液晶显示面板,并且所述区域可以是或包括具有红色子像素、绿色子像素和蓝色子像素等的像素。例如,闪光过滤器面板可以是色彩闪光过滤器面板,并且调节区域的透明度可以包括调节该区域的色彩透明度。在一些示例中,区域可以与场景的皮肤区域相关联,并且调节区域的色彩透明度可以包括为第一区域提供红色色泽。在其它示例中,调节区域的色彩透明度可以包括调节色彩透明度以补偿被提供给与闪光过滤器面板的该区域相关联的第一主体的第一环境照明源与被提供给与闪光过滤器面板的第二区域相关联的第二主体的第二环境照明源之间的环境光源色彩差异。在另外的示例中,闪光模块可以包括发光二极管闪光灯并且调节区域的色彩透明度可以包括为该区域提供红色色泽。
处理可以在操作1103“通过提供来自闪光模块并穿过闪光过滤器面板的闪光灯光来曝光场景以生成捕获的图像数据”处继续,其中可以通过提供来自闪光模块并穿过闪光过滤器面板的闪光灯光来曝光场景以生成捕获的图像数据。例如,***1200还可以包括提供闪光灯光的闪光模块和具有用于捕获和/或生成捕获的图像数据(例如,最终捕获的图像数据)的图像传感器的相机模块。***1200可以被提供在如本文所讨论的任何形状因子的设备(诸如相机、智能电话、超级本、膝上型计算机或平板)中。
对于静止图像或视频序列的捕获帧的任何数量的图像捕获操作,过程1100可以重复任意次数。例如,如本文所讨论的闪光模块可以在视频序列的这些帧的捕获期间提供连续的光源。过程1100可以提供高质量的捕获图像数据。可以使用任何合适的图像处理技术来处理这种捕获的图像数据。
本文描述的***的各种组件可以以软件、固件和/或硬件和/或其任何组合来实现。例如,设备300、设备400、设备800、***1200或设备1400的各种组件可以至少部分地由片上计算***(SoC)的硬件(诸如可在多功能设备或计算***(诸如例如膝上型计算机、平板、或智能电话)中发现的那样)来提供。本领域技术人员可以认识到,本文描述的***可以包括在对应的图中未描绘的附加组件。例如,本文讨论的***可以包括诸如扫描器(例如,执行光学扫描以生成扫描的输入图像)、打印机(例如,将输出图像转变为纸或类似的物理介质)、图像预处理电路等为了清楚而未被描绘的附加组件。
虽然在本文中讨论的示例过程的实现方式可以包括以所图示的次序示出的所有操作着手进行,但是本公开在这方面不受限,并且在各种示例中,本文中的示例过程的实现方式可以仅包括所示出的操作的子集、以与所图示次序的不同的次序执行的操作或附加的操作。
此外,可以响应于由一个或多个计算机程序产品提供的指令而着手进行在本文中讨论的操作中的任一个或多个。这样的程序产品可以包括提供指令的信号承载介质,所述指令在由例如处理器执行时可以提供在本文中描述的功能。计算机程序产品可以以任何形式的一个或多个机器可读介质来提供。因此,例如,包括一个或多个图形处理单元或处理器核的处理器可以响应于由一个或多个机器可读介质传达至处理器的程序代码和/或指令或指令集而着手进行本文中的示例过程的一个或多个块。一般地,机器可读介质可以以程序代码和/或指令或指令集的形式来传达软件,所述程序代码和/或指令或指令集可以使得在本文中描述的设备和/或***中的任一个实现如在本文中讨论的设备300、设备400、设备800、***1200或设备1400或任何其它模块或组件的至少部分。
如在本文中描述的任何实现方式中所使用的,术语“模块”是指配置成提供在本文中描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可以体现为软件包、代码和/或指令集或指令,并且“硬件”,如在在本文中描述的任何实现方式中所使用的,可以例如单独地或以任何组合地包括硬接线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。模块可以共同地或单独地体现为形成例如集成电路(IC)、片上***(SoC)等的较大***的部分的电路。
图13是依照本公开的至少一些实现方式布置的示例***1300的说明图。在各种实现方式中,***1300可以是媒体***,尽管***1300不限于该上下文。例如,***1300可以被整合到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备、相机(例如,傻瓜型相机、超变焦相机、数字单反(DSLR)相机相机)等。
在各种实现方式中,***1300包括耦合到显示器1320的平台1302。平台1302可以从诸如(一个或多个)内容服务设备1330或(一个或多个)内容递送设备1340之类的内容设备或者其它类似内容源接收内容。包括一个或多个导航特征的导航控制器1350可以用于与例如平台1302和/或显示器1320交互。以下更加详细地描述这些组件中的每一个。
在各种实现方式中,平台1302可以包括芯片组1305、处理器1310、存储器1312、天线1313、存储1314、图形子***1315、应用1316和/或无线电1318的任何组合。芯片组1305可以提供处理器1310、存储器1312、存储1314、图形子***1315、应用1316和/或无线电1318之间的互相通信。例如,芯片组1305可以包括能够提供与存储1314的互相通信的存储适配器(未描绘)。
处理器1310可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现方式中,处理器1310可以是(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器1312可以被实现为易失性存储器设备,诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储1314可以被实现为非易失性存储设备,诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪存、备有电池的SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现方式中,存储1314可以包括用于当例如包括多个硬盘驱动器时增加针对有价值数字媒体的存储性能增强保护的技术。
图形子***1315可以执行诸如静止的或视频之类的图像的处理以用于显示。图形子***1315可以是例如图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信耦合图形子***1315和显示器1320。例如,接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD顺从技术中的任一个。图形子***1315可以被整合到处理器1310或芯片组1305中。在一些实现方式中,图形子***1315可以是通信耦合到芯片组1305的独立设备。
在本文中描述的图形和/或视频处理技术可以被实现在各种硬件架构中。例如,图形和/或视频功能可以被整合在芯片组内。替代地,可以使用分立的图形和/或视频处理器。作为又一实现方式,图形和/或视频功能可以由包括多核处理器的通用处理器来提供。在其它实施例中,功能可以被实现在消费者电子设备中。
无线电1318可以包括能够使用各种适合的无线通信技术发射和接收信号的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这样的网络进行通信时,无线电1318可以依照以任何版本的一个或多个适用标准进行操作。
在各种实现方式中,显示器1320可以包括任何电视型监视器或显示器。显示器1320可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类电视的设备和/或电视。显示器1320可以是数字和/或模拟的。在各种实现方式中,显示器1320可以是全息显示器。显示器1320还可以是可接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如,这样的投影可以是用于移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用1316的控制之下,平台1302可以在显示器1320上显示用户接口1322。
在各种实现方式中,(一个或多个)内容服务设备1330可以由任何国家的、国际和/或独立的服务来托管且因此经由例如互联网而对平台1302来说可访问。(一个或多个)内容服务设备1330可以耦合到平台1302和/或显示器1320。平台1302和/或(一个或多个)内容服务设备1330可以耦合到网络1360以向网络1360和从网络1360传送(例如发送和/或接收)媒体信息。(一个或多个)内容递送设备1340也可以耦合到平台1302和/或显示器1320。
在各种实现方式中,(一个或多个)内容服务设备1330可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的支持互联网的设备或器具、以及能够在内容提供者与平台1302和/或显示器1320之间经由网络1360或直接地单向或双向传送内容的任何其它类似设备。将领会到,可以经由网络1360传送向和从***1300中的组件和内容提供者中的任一个单向和/或双向地传送内容。内容的示例可以包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备1330接收包括媒体信息、数字信息和/或其它内容的诸如有线电视节目之类的内容。内容提供者的示例可以包括任何有线或***或者无线电或互联网内容提供者。所提供的示例并不意在以任何方式限制依照本公开的实现方式。
在各种实现方式中,平台1302可以从具有一个或多个导航特征的导航控制器1350接收控制信号。控制器1350的导航特征可以用于例如与用户接口1322交互。在各种实施例中,导航控制器1350可以是定点设备,其可以是允许用户将空间(例如连续且多维的)数据输入到计算机中的计算机硬件组件(特别地,人类接口设备)。诸如图形用户接口(GUI)之类的许多***以及电视和监视器允许用户使用身体姿势控制数据并向计算机或电视提供数据。
控制器1350的导航特征的移动可以通过在显示器上显示的指针、光标、聚焦环或其它视觉指示器的移动而被重复在显示器(例如显示器1320)上。例如,在软件应用1316的控制之下,位于导航控制器1350上的导航特征可以被映射到在例如用户接口1322上显示的虚拟导航特征。在各种实施例中,控制器1350可能不是分离的组件,而是被整合到平台1302和/或显示器1320中。然而,本公开不限于在本文中示出或描述的元素或者不被限制在在本文中示出或描述的上下文中。
在各种实现方式中,驱动器(未示出)可以包括使用户能够例如在初始启动之后、在被启用时利用按钮触摸来立即开启和关闭像电视之类的平台1302的技术。甚至当平台被“关闭”时,程序逻辑可以允许平台1302将内容流式传输到媒体适配器或其它(一个或多个)内容服务设备1330或(一个或多个)内容递送设备1340。此外,芯片组1305可以包括针对例如5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在各种实施例中,图形驱动器可以包括高速***组件互连(PCI)图形卡。
在各种实现方式中,可以整合***1300中示出的任一个或多个组件。例如,可以整合平台1302和(一个或多个)内容服务设备1330,或者可以整合平台1302和(一个或多个)内容递送设备1340,或者例如可以整合平台1302、(一个或多个)内容服务设备1330和(一个或多个)内容递送设备1340。在各种实施例中,平台1302和显示器1320可以是集成单元。例如,可以整合显示器1320和(一个或多个)内容服务设备1330,或者可以整合显示器1320和(一个或多个)内容递送设备1340。这些示例不意在限制本公开。
在各种实施例中,***1300可以被实现为无线***、有线***或这二者的组合。当被实现为无线***时,***1300可以包括适于通过无线共享介质进行通信的组件和接口,诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱的部分,诸如RF频谱等。当被实现为有线***时,***1300可以包括适于通过有线通信介质进行通信的组件和接口,诸如输入/输出(I/O)适配器、将I/O适配器与对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、线缆、金属引线、印刷电路板(PCB)、背板、开关结构、半导体材料、双绞线、同轴线缆、光纤等。
平台1302可以建立一个或多个逻辑或物理通道来传送信息。信息可以包括媒体信息和控制信息。媒体信息可以指代表示意在用于用户的内容的任何数据。内容的示例可以包括例如来自语音对话的数据、视频会议、流式传输的视频、电子邮件(“电邮”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音对话的数据可以是例如话音信息、静默时段、背景噪声、舒适噪声、音调等。控制信息可以指代表示意在用于自动化***的命令、指令或控制字的任何数据。例如,控制信息可以用于将媒体信息路由通过***或者指示节点以预定的方式处理媒体信息。然而,实施例不限于图13中示出或描述的元素或者不被限制在图13中示出或描述的上下文中。
如以上所描述的,***1300可以以变化的物理样式或形状因子体现。图14图示了依照本公开的至少一些实现方式布置的示例小形状因子设备1400。在一些示例中,***1300可以经由设备1400实现。在其它示例中,设备300、400或800、***1200或其部分可以经由设备1400实现。在各种实施例中,例如,设备1400可以被实现为具有无线能力的移动计算设备。例如,移动计算设备可以指代具有处理***和诸如一个或多个电池之类的移动电源或电力供应的任何设备。
移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板计算机或智能移动电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、相机等。
移动计算设备的示例还可以包括布置成由人穿戴的计算机,诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、腰带夹计算机、臂带计算机、鞋计算机、衣物计算机以及其它可穿戴计算机。在各种实施例中,例如,移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可能利用被实现为智能电话的移动计算设备作为示例描述了一些实施例,但是可以领会到,也可以使用其它无线移动计算设备来实现其它实施例。实施例不限于该上下文中。
如图14中所示,设备1400可以包括具有正面1401和背面1402的外壳。设备1400包括显示器1404、输入/输出(I/O)设备1406以及集成天线1408。设备1400还可以包括导航特征1412。I/O设备1406可以包括用于将信息输入到移动计算设备中的任何适合的I/O设备。I/O设备1406的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等。还可以通过麦克风(未示出)将信息输入到设备1400中,或者信息可以通过语音识别设备来数字化。如图所示,设备1400可以包括集成到设备1400的背面1402(或其它地方)中的相机1405(例如,包括透镜、孔径和成像传感器)、闪光灯1410和闪光过滤器面板102。在其它示例中,相机1405、闪光灯1410和闪光过滤器面板102可以集成到设备1400的正面1401中,或者可以提供前后的相机、闪光灯和闪光过滤器面板。如图所示,设备1400可以包括闪光过滤器面板102。设备1400可以包括本文所讨论的任何闪光过滤器面板,诸如灰度级闪光过滤器面板302或色彩闪光过滤器面板402等。相机1405和闪光灯1410可以是用于发起图像数据的相机模块的组件,所述图像数据被输出到显示器1404、如本文所讨论的那样进行处理、和/或例如经由天线1408从设备1400远程传送。
可以使用硬件元件、软件元件或这二者的组合来实现各种实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是否使用硬件元件和/或软件元件来实现实施例可以依照任何数目的因素而变化,诸如期望的计算速率、功率水平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。
至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的有代表性的指令来实现,所述机器可读介质表示处理器内的各种逻辑,该逻辑当被机器读取时使该机器构造用于执行在本文中描述的技术的逻辑。称作“IP核”的这样的表示可以存储在有形、机器可读介质上且供应到各种消费者或制造设施以加载到实际上制作逻辑或处理器的构造机器中。
虽然已经参照各种实现方式描述了本文中阐述的某些特征,但是该描述不意图以限制性含义来解释。因此,在本文中描述的实现方式的各种修改,以及对本公开属于的领域中的技术人员显然的其它实现方式被视为处于本公开的精神和范围内。
下面的示例属于其它实施例。
在一个或多个第一实施例中,一种用于为成像设备提供在空间上调节的闪光曝光的方法包括:基于与场景相关联的图像数据来确定闪光过滤器面板控制参数;基于闪光过滤器面板控制参数来调节与成像设备的闪光模块相邻的闪光过滤器面板的区域的透明度;以及通过提供来自闪光模块并穿过闪光过滤器面板的闪光灯光来曝光场景以生成捕获的图像数据。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括:在场景的预闪光曝光期间获取图像数据;基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括:在场景的预闪光曝光期间获取图像数据;基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数,并且所述透明度参数包括第二亮度比第一亮度的比率。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括:在场景的预闪光曝光期间获取图像数据;基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数,并且在场景的预闪光曝光期间,闪光过滤器面板的每个区域被设置为全透明度。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,其中,第二主体距离大于第一主体距离,并且其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的所述区域的降低的透明度。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,其中,第二主体距离大于第一主体距离,其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的所述区域的降低的透明度,并且其中,所述降低的透明度包括全透明度乘以第一距离比第二距离的比率的平方。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,其中,第二主体距离大于第一主体距离,其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的区域的降低的透明度,并且其中,所述降低的透明度包括全透明度乘以第一距离比第二距离的比率的平方。
进一步关于第一实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,并且图像数据包括与场景相关联的深度图。
进一步关于第一实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度。
进一步关于第一实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度,其中,区域与场景的皮肤区域相关联,并且其中,调节区域的色彩透明度包括为第一区域提供红色色泽。
进一步关于第一实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度,其中,调节区域的色彩透明度包括调节色彩透明度以补偿被提供给与闪光过滤器面板的区域相关联的第一主体的第一环境照明源以及被提供给与闪光过滤器面板的第二区域相关联的第二主体的第二环境照明源之间的环境光源色彩差异。
进一步关于第一实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度,其中,闪光模块包括发光二极管闪光灯,并且其中,调节区域的色彩透明度包括为区域提供红色色泽。
进一步关于第一实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度,其中所述区域与场景的皮肤区域相关联并且其中调节区域的色彩透明度包括为第一区域提供红色色泽;或者其中,调节区域的色彩透明度包括调节色彩透明度以补偿被提供给与闪光过滤器面板的区域相关联的第一主体的第一环境照明源以及被提供给与闪光过滤器面板的第二区域相关联的第二主体的第二环境照明源之间的环境光源色彩差异;或者其中,闪光模块包括发光二极管闪光灯,并且其中,调节区域的色彩透明度包括为区域提供红色色泽。
在一个或多个第二实施例中,一种空间上的闪光曝光调节***包括:闪光过滤器面板,该闪光过滤器面板包括多个透明度可调区域,其中闪光过滤器面板被配置成与闪光模块相邻地安装;以及控制器,该控制器被耦合到闪光过滤器面板,控制器要基于闪光过滤器面板控制参数来调节闪光过滤器面板的透明度可调区域的透明度。
进一步关于第二实施例,闪光过滤器面板包括具有不少于20个透明度可调区域的灰度级液晶显示面板。
进一步关于第二实施例,闪光过滤器面板包括彩色液晶显示面板,并且所述区域包括具有红色子像素、绿色子像素和蓝色子像素的像素。
进一步关于第二实施例,***还包括闪光模块透镜和闪光模块,其中,闪光过滤器面板被设置在闪光模块和闪光模块透镜之间。
进一步关于第二实施例,***还包括安装到闪光过滤器面板的盖板透镜,其中,闪光过滤器面板和盖板透镜被配置成紧邻闪光模块透镜地安装,该闪光模块透镜紧邻闪光模块。
进一步关于第二实施例,***还包括图像处理器,该图像处理器要基于与场景相关联的图像数据来生成闪光过滤器面板控制参数。
进一步关于第二实施例,***还包括:图像处理器,该图像处理器要基于与场景相关联的图像数据来生成闪光过滤器面板控制参数,其中,图像数据包括深度数据或照度数据中的至少一个;相机模块,该相机模块包括图像传感器以获得场景的所捕获的图像数据;以及闪光模块,其中,***包括相机、智能电话、超极本、膝上型计算机或平板中的至少一个。
进一步关于第二实施例,***还包括:相机模块,该相机模块包括图像传感器以在场景的预闪光曝光期间获取图像数据;以及图像处理器,该图像处理器要基于图像数据来确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联,并且图像处理器要基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数。
进一步关于第二实施例,***还包括:相机模块,该相机模块包括图像传感器以在场景的预闪光曝光期间获取图像数据;以及图像处理器,该图像处理器要基于图像数据来确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联,并且图像处理器要基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数,并且其中,透明度参数包括第二亮度比第一亮度的比率。
进一步关于第二实施例,***还包括图像处理器,该图像处理器要确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,其中,第二主体距离大于第一主体距离,并且其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的区域的降低的透明度。
进一步关于第二实施例,图像处理器要确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离,其中,第二主体距离大于第一主体距离,并且其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的区域的降低的透明度,并且其中,降低的透明度包括全透明度乘以第一距离比第二距离的比率的平方。
在一个或多个第三实施例中,一种空间上的闪光曝光调节***包括:用于基于与场景相关联的图像数据来确定闪光过滤器面板控制参数的部件;用于基于闪光过滤器面板控制参数来调节与成像设备的闪光模块相邻的闪光过滤器面板的区域的透明度的部件;以及用于通过提供来自闪光模块并穿过闪光过滤器面板的闪光灯光来曝光场景以生成捕获的图像数据的部件。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括:用于在场景的预闪光曝光期间获取图像数据的部件;用于基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度的部件,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及用于基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数的部件。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括:用于在场景的预闪光曝光期间获取图像数据的部件;用于基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度的部件,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及用于基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数的部件,其中所述透明度参数包括第二亮度比第一亮度的比率。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括:用于在场景的预闪光曝光期间获取图像数据的部件;用于基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度的部件,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及用于基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数的部件,其中在场景的预闪光曝光期间,闪光过滤器面板的每个区域被设置为全透明度。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括用于确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离的部件。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括用于确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离的部件,其中,第二主体距离大于第一主体距离,并且其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的所述区域的降低的透明度。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括用于确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离的部件,其中,第二主体距离大于第一主体距离,其中,闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的所述区域的降低的透明度,并且其中,所述降低的透明度包括全透明度乘以第一距离比第二距离的比率的平方。
进一步关于第三实施例,用于确定闪光过滤器面板控制参数的部件包括用于确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离的部件,其中,图像数据包括与场景相关联的深度图。
进一步关于第三实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且其中用于调节区域的透明度的部件包括用于调节区域的色彩透明度的部件。
进一步关于第三实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且其中用于调节区域的透明度的部件包括用于调节区域的色彩透明度的部件,其中,区域与场景的皮肤区域相关联,并且其中,用于调节区域的色彩透明度的部件包括用于为第一区域提供红色色泽的部件。
进一步关于第三实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且其中用于调节区域的透明度的部件包括用于调节区域的色彩透明度的部件,其中,用于调节区域的色彩透明度的部件包括用于调节色彩透明度以补偿被提供给与闪光过滤器面板的区域相关联的第一主体的第一环境照明源以及被提供给与闪光过滤器面板的第二区域相关联的第二主体的第二环境照明源之间的环境光源色彩差异的部件。
进一步关于第三实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且其中用于调节区域的透明度的部件包括用于调节区域的色彩透明度的部件,其中,闪光模块包括发光二极管闪光灯,并且其中,用于调节区域的色彩透明度的部件包括用于为区域提供红色色泽的部件。
在一个或多个第四实施例中,至少一种机器可读介质包括多个指令,所述多个指令响应于在成像设备上被执行而使得成像设备通过以下方式进行在空间上调节的闪光曝光:基于与场景相关联的图像数据来确定闪光过滤器面板控制参数;基于闪光过滤器面板控制参数来调节与成像设备的闪光模块相邻的闪光过滤器面板的区域的透明度;以及通过提供来自闪光模块并穿过闪光过滤器面板的闪光灯光来曝光场景以生成捕获的图像数据。
进一步关于第四实施例,确定闪光过滤器面板控制参数包括:在场景的预闪光曝光期间获取图像数据;基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数。
进一步关于第四实施例,确定闪光过滤器面板控制参数包括:在场景的预闪光曝光期间获取图像数据;基于图像数据确定场景的第一主体的第一亮度和场景的第二主体的第二亮度,其中,场景的第一主体与闪光过滤器面板的区域相关联,并且场景的第二主体与闪光过滤器面板的第二区域相关联;以及基于第一亮度和第二亮度来生成用于闪光过滤器面板的区域的透明度参数,其中所述透明度参数包括第二亮度比第一亮度的比率。
进一步关于第四实施例,确定闪光过滤器面板控制参数包括确定与闪光过滤器面板的区域相关联的第一主体距离和与闪光过滤器面板的第二区域相关联的第二主体距离。
进一步关于第四实施例,第二主体距离大于第一主体距离,并且闪光过滤器面板控制参数指示用于闪光过滤器面板的第二区域的全透明度以及用于闪光过滤器面板的区域的降低的透明度。
进一步关于第四实施例,闪光过滤器面板包括色彩闪光过滤器面板,并且调节区域的透明度包括调节区域的色彩透明度。
在一个或多个第五实施例中,至少一种机器可读介质可以包括多个指令,所述多个指令响应于在计算设备上被执行而使得计算设备实行根据以上实施例中的任一个的方法。
在一个或多个第六实施例中,一种装置可以包括用于执行根据以上实施例中的任一个的方法的部件。
将认识到,实施例不限于如此描述的实施例,而是可以在有修改和更改的情况下进行实践而不脱离随附权利要求的范围。例如,以上实施例可以包括特征的特定组合。然而,以上实施例在这方面不受限,并且在各种实现方式中,以上实施例可以包括仅着手进行这样的特征的子集、着手进行不同次序的这样的特征、着手进行这样的特征的不同组合,和/或着手进行除了明确列出的那些特征之外的附加特征。因此,应当参照随附权利要求连同这样的权利要求有权享有的等同物的完整范围一起来确定实施例的范围。
Claims (21)
1.一种用于为成像设备提供在空间上调节的闪光曝光的方法,包括:
基于与场景相关联的图像数据来确定闪光过滤器面板控制参数,其中,确定所述闪光过滤器面板控制参数包括:
在所述场景的预闪光曝光期间获取所述图像数据;
基于所述图像数据确定所述场景的第一主体的第一亮度和所述场景的第二主体的第二亮度,其中,所述场景的所述第一主体与所述闪光过滤器面板的第一区域相关联,并且所述场景的所述第二主体与所述闪光过滤器面板的第二区域相关联;以及
基于所述第一亮度和所述第二亮度来生成用于所述闪光过滤器面板的区域的透明度参数,其中,所述透明度参数包括所述第二亮度比所述第一亮度的比率;
基于所述闪光过滤器面板控制参数来调节与所述成像设备的闪光模块相邻的闪光过滤器面板的区域的透明度;以及
通过提供来自所述闪光模块并穿过所述闪光过滤器面板的闪光灯光来曝光所述场景以生成捕获的图像数据。
2.根据权利要求1所述的方法,其中,在所述场景的所述预闪光曝光期间,所述闪光过滤器面板的每个区域被设置为全透明度。
3.根据权利要求1所述的方法,其中,确定所述闪光过滤器面板控制参数包括确定与所述闪光过滤器面板的所述第一区域相关联的第一主体距离和与所述闪光过滤器面板的第二区域相关联的第二主体距离。
4.根据权利要求3所述的方法,其中,所述第二主体距离大于所述第一主体距离,并且其中,所述闪光过滤器面板控制参数指示用于所述闪光过滤器面板的所述第二区域的全透明度以及用于所述闪光过滤器面板的所述第一区域的降低的透明度。
5.根据权利要求4所述的方法,其中,所述降低的透明度包括所述全透明度乘以所述第一主体距离比所述第二主体距离的比率的平方。
6.根据权利要求3所述的方法,其中,所述图像数据包括与所述场景相关联的深度图。
7.根据权利要求1所述的方法,其中,所述闪光过滤器面板包括色彩闪光过滤器面板,并且其中,调节所述区域的透明度包括调节所述区域的色彩透明度。
8.根据权利要求7所述的方法,其中,所述区域与所述场景的皮肤区域相关联,并且其中,调节所述区域的色彩透明度包括为第一区域提供红色色泽。
9.根据权利要求7所述的方法,其中,调节所述区域的色彩透明度包括调节所述色彩透明度以补偿被提供给与所述闪光过滤器面板的所述第一区域相关联的第一主体的第一环境照明源以及被提供给与所述闪光过滤器面板的第二区域相关联的第二主体的第二环境照明源之间的环境光源色彩差异。
10.根据权利要求7所述的方法,其中,所述闪光模块包括发光二极管闪光灯,并且其中,调节所述区域的色彩透明度包括为所述区域提供红色色泽。
11.一种空间上的闪光曝光调节***,包括:
闪光过滤器面板,所述闪光过滤器面板包括多个透明度可调区域,其中所述闪光过滤器面板被配置成与闪光模块相邻地安装;
控制器,所述控制器被耦合到所述闪光过滤器面板,所述控制器要基于闪光过滤器面板控制参数来调节所述闪光过滤器面板的所述透明度可调区域的透明度;
相机模块,所述相机模块包括图像传感器以在场景的预闪光曝光期间获取图像数据;以及
图像处理器,所述图像处理器要基于所述图像数据来确定所述场景的第一主体的第一亮度和所述场景的第二主体的第二亮度,其中,所述场景的所述第一主体与所述闪光过滤器面板的第一区域相关联,并且所述场景的所述第二主体与所述闪光过滤器面板的第二区域相关联,并且所述图像处理器要基于所述第一亮度和所述第二亮度来生成用于所述闪光过滤器面板的所述区域的透明度参数,其中,所述透明度参数包括所述第二亮度比所述第一亮度的比率。
12.根据权利要求11所述的***,其中,所述闪光过滤器面板包括具有不少于20个透明度可调区域的灰度级液晶显示面板。
13.根据权利要求11所述的***,其中,所述闪光过滤器面板包括彩色液晶显示面板,并且所述区域包括具有红色子像素、绿色子像素和蓝色子像素的像素。
14.根据权利要求11所述的***,还包括:
闪光模块透镜和所述闪光模块,其中,所述闪光过滤器面板被设置在所述闪光模块和所述闪光模块透镜之间。
15.根据权利要求11所述的***,还包括:
被安装到所述闪光过滤器面板的盖板透镜,其中,所述闪光过滤器面板和所述盖板透镜被配置成紧邻闪光模块透镜地安装,所述闪光模块透镜紧邻所述闪光模块。
16.根据权利要求11所述的***,所述图像处理器要基于与场景相关联的图像数据来生成所述闪光过滤器面板控制参数。
17.根据权利要求11所述的***,所述图像处理器要基于与场景相关联的图像数据来生成所述闪光过滤器面板控制参数,其中,所述图像数据包括深度数据或照度数据中的至少一个;
相机模块,所述相机模块包括图像传感器以获得所述场景的所捕获的图像数据;以及
所述闪光模块,其中,所述***包括相机、智能电话、超极本、膝上型计算机或平板中的至少一个。
18.根据权利要求11所述的***,所述图像处理器要确定与所述闪光过滤器面板的第一区域相关联的第一主体距离和与所述闪光过滤器面板的第二区域相关联的第二主体距离,其中,所述第二主体距离大于所述第一主体距离,并且其中,所述闪光过滤器面板控制参数指示用于所述闪光过滤器面板的所述第二区域的全透明度以及用于所述闪光过滤器面板的所述第一区域的降低的透明度。
19.根据权利要求18所述的***,其中,所述降低的透明度包括所述全透明度乘以所述第一主体距离比所述第二主体距离的比率的平方。
20.一种机器可读介质,包括:
多个指令,所述多个指令响应于在计算设备上被执行而使得所述计算设备实行根据权利要求1-10中的任一项所述的方法。
21.一种装置,包括:
用于执行根据权利要求1-10中的任一项所述的方法的部件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/724,597 US9756256B2 (en) | 2015-05-28 | 2015-05-28 | Spatially adjustable flash for imaging devices |
US14/724,597 | 2015-05-28 | ||
PCT/US2016/028287 WO2016190991A1 (en) | 2015-05-28 | 2016-04-19 | Spatially adjustable flash for imaging devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107533275A CN107533275A (zh) | 2018-01-02 |
CN107533275B true CN107533275B (zh) | 2020-10-16 |
Family
ID=57393587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680024477.0A Active CN107533275B (zh) | 2015-05-28 | 2016-04-19 | 用于成像设备的空间上可调节的闪光 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9756256B2 (zh) |
CN (1) | CN107533275B (zh) |
WO (1) | WO2016190991A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10362237B2 (en) * | 2015-05-26 | 2019-07-23 | Carnegie Mellon University | Structured illumination system for increased dynamic range in quantitative imaging |
DE102016104381A1 (de) * | 2016-03-10 | 2017-09-14 | Osram Opto Semiconductors Gmbh | Optoelektronische Leuchtvorrichtung, Verfahren zum Beleuchten einer Szene, Kamera sowie mobiles Endgerät |
WO2018038340A2 (en) * | 2016-08-24 | 2018-03-01 | Samsung Electronics Co., Ltd. | Electronic device including light-emitting elements and method of operating electronic device |
US11126851B2 (en) * | 2018-04-19 | 2021-09-21 | Hewlett-Packard Development Company, L.P. | Augmented reality labelers |
US10742892B1 (en) * | 2019-02-18 | 2020-08-11 | Samsung Electronics Co., Ltd. | Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device |
CN115526786B (zh) * | 2022-01-25 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020048457A1 (en) * | 2000-10-25 | 2002-04-25 | Nikon Corporation | Electric flash device and camera |
US20050046703A1 (en) * | 2002-06-21 | 2005-03-03 | Cutler Ross G. | Color calibration in photographic devices |
US20130195435A1 (en) * | 2012-01-31 | 2013-08-01 | Jason Yost | Camera flash filter |
CN103297675A (zh) * | 2012-02-24 | 2013-09-11 | 宏达国际电子股份有限公司 | 图像提取方法与相关图像提取*** |
CN103888678A (zh) * | 2012-12-19 | 2014-06-25 | 国际商业机器公司 | 通过实时广播照明参数完成的摄影曝光 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6069659A (en) * | 1997-06-03 | 2000-05-30 | Olympus Optical Co., Ltd. | Strobe device that prevents the flicker of flashlight and flashing method thereof |
JP4275344B2 (ja) * | 2002-01-22 | 2009-06-10 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
US8064647B2 (en) * | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US8705808B2 (en) * | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
US7667766B2 (en) * | 2003-12-18 | 2010-02-23 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Adjustable spectrum flash lighting for image acquisition |
US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US8561071B2 (en) * | 2005-07-11 | 2013-10-15 | International Business Machines Corporation | Process instance serialization |
JP5096017B2 (ja) * | 2007-02-15 | 2012-12-12 | オリンパスイメージング株式会社 | 撮像装置 |
EP2232332A1 (en) * | 2007-12-05 | 2010-09-29 | Nxp B.V. | Flash light compensation system for digital camera system |
US8018525B2 (en) * | 2007-12-21 | 2011-09-13 | Nokia Corporation | Camera flash module and method for controlling same |
EP2107446A1 (en) * | 2008-04-04 | 2009-10-07 | ETH Zurich | System and a method for tracking input devices on LC-displays |
CN101587283B (zh) * | 2008-05-23 | 2011-01-05 | 鸿富锦精密工业(深圳)有限公司 | 成像装置 |
US7920179B2 (en) * | 2008-08-05 | 2011-04-05 | Sony Ericsson Mobile Communications Ab | Shadow and reflection identification in image capturing devices |
US8090246B2 (en) * | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
US20100124041A1 (en) * | 2008-11-17 | 2010-05-20 | Vitaly Druchinin | Systems and methods for controlling flash color temperature |
TWI401522B (zh) * | 2008-12-31 | 2013-07-11 | Altek Corp | Flash intensity adjustment method |
US7995911B2 (en) * | 2009-01-26 | 2011-08-09 | Koninklijke Philips Electronics N.V. | Matching led flash to camera's ambient light compensation algorithm |
US8154650B2 (en) * | 2009-03-23 | 2012-04-10 | Apple Inc. | Electronic device having a camera flash redirector |
US20100253797A1 (en) * | 2009-04-01 | 2010-10-07 | Samsung Electronics Co., Ltd. | Smart flash viewer |
KR101062977B1 (ko) * | 2009-07-24 | 2011-09-07 | 삼성전기주식회사 | 카메라용 플래시를 포함하는 휴대용 단말 및 카메라용 플래시 제어 방법 |
US8459811B2 (en) * | 2009-12-30 | 2013-06-11 | Nokia Corporation | Method and apparatus for illumination |
US20120014683A1 (en) * | 2010-07-15 | 2012-01-19 | Qualcomm Mems Technologies, Inc. | Camera flash system controlled via mems array |
US20120274775A1 (en) * | 2010-10-20 | 2012-11-01 | Leonard Reiffel | Imager-based code-locating, reading and response methods and apparatus |
US20120154627A1 (en) * | 2010-12-20 | 2012-06-21 | William Rivard | Systems and methods for controlling color balance for a photographic illuminator |
TWI459115B (zh) * | 2012-04-20 | 2014-11-01 | Altek Corp | 閃光燈裝置 |
US8964089B2 (en) * | 2012-05-09 | 2015-02-24 | Canon Kabushiki Kaisha | Systems and methods for simulated preview for preferred image exposure |
US9025047B2 (en) * | 2012-12-13 | 2015-05-05 | Samsung Electronics Co., Ltd. | Photographing apparatus and method |
US9338849B2 (en) * | 2013-02-04 | 2016-05-10 | Infineon Technologies Austria Ag | Spatial intensity distribution controlled flash |
US9773151B2 (en) * | 2014-02-06 | 2017-09-26 | University Of Massachusetts | System and methods for contactless biometrics-based identification |
KR102145209B1 (ko) * | 2014-02-12 | 2020-08-18 | 삼성전자주식회사 | 플래시 장치, 영상 촬영 장치, 및 방법 |
US9503654B2 (en) * | 2014-05-30 | 2016-11-22 | Intel Corporation | Automatic anti-glare exposures for imaging devices |
-
2015
- 2015-05-28 US US14/724,597 patent/US9756256B2/en active Active
-
2016
- 2016-04-19 CN CN201680024477.0A patent/CN107533275B/zh active Active
- 2016-04-19 WO PCT/US2016/028287 patent/WO2016190991A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020048457A1 (en) * | 2000-10-25 | 2002-04-25 | Nikon Corporation | Electric flash device and camera |
US20050046703A1 (en) * | 2002-06-21 | 2005-03-03 | Cutler Ross G. | Color calibration in photographic devices |
US20130195435A1 (en) * | 2012-01-31 | 2013-08-01 | Jason Yost | Camera flash filter |
CN103297675A (zh) * | 2012-02-24 | 2013-09-11 | 宏达国际电子股份有限公司 | 图像提取方法与相关图像提取*** |
CN103888678A (zh) * | 2012-12-19 | 2014-06-25 | 国际商业机器公司 | 通过实时广播照明参数完成的摄影曝光 |
Also Published As
Publication number | Publication date |
---|---|
CN107533275A (zh) | 2018-01-02 |
WO2016190991A1 (en) | 2016-12-01 |
US9756256B2 (en) | 2017-09-05 |
US20160352993A1 (en) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533275B (zh) | 用于成像设备的空间上可调节的闪光 | |
CN108352059B (zh) | 从高动态范围视频生成标准动态范围视频的方法和装置 | |
JP6602914B2 (ja) | 照明源として構成されるディスプレイデバイス | |
CN109660782B (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
US20200344455A1 (en) | Method and system of lens shading color correction using block matching | |
CN107810505B (zh) | 实时图像捕获参数的机器学习 | |
KR101792809B1 (ko) | 로컬 톤 곡선 계산을 사용한 이미지 톤 조정 | |
US9398280B2 (en) | AWB using face detection | |
US20140176757A1 (en) | Color balance in digital photography | |
US11017511B2 (en) | Method and system of haze reduction for image processing | |
US11588978B2 (en) | Under-display camera systems and methods | |
CN108702460B (zh) | 使用显示器光来改善前置相机性能 | |
KR20180119157A (ko) | 시간 잡음 감소를 위한 움직임 적응형 스트림 처리 기법 | |
KR20190041586A (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
TW202139685A (zh) | 屏下式相機系統及方法 | |
US20140132618A1 (en) | Electronic device and method for enhancing readability of an image thereof | |
EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
EP3143598A1 (en) | Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor | |
US20230410721A1 (en) | Illumination portions on displays | |
US20240214692A1 (en) | High dynamic range region based compute gating | |
WO2020191574A1 (en) | Systems and methods for controlling brightness of an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |