CN115066880A - 生成捕获图像的方法及电子设备 - Google Patents
生成捕获图像的方法及电子设备 Download PDFInfo
- Publication number
- CN115066880A CN115066880A CN202080090782.6A CN202080090782A CN115066880A CN 115066880 A CN115066880 A CN 115066880A CN 202080090782 A CN202080090782 A CN 202080090782A CN 115066880 A CN115066880 A CN 115066880A
- Authority
- CN
- China
- Prior art keywords
- image
- captured
- light source
- electronic device
- initial images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 48
- 230000000694 effects Effects 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一种方法,包括:在第一动态范围内捕获第一初始图像,其中,第一初始图像在不同的成像设置下被捕获;根据第一初始图像生成第二动态范围的中间图像,其中,第二动态范围高于第一动态范围;根据光检测图像检测光源区域以生成光源图,其中,光检测图像为第一初始图像中的至少一个图像并且适用于检测光源区域;根据中间图像和光源图生成捕获图像,其中,根据光源图确定捕获图像的光源区域的位置,并且根据中间图像确定捕获图像的光源区域的颜色。
Description
技术领域
本申请涉及一种在包括摄像头组件的电子设备中生成捕获图像的方法及这种电子设备。
背景技术
智能手机、平板终端等电子设备在日常生活中被广泛使用。如今,许多电子设备都配备了摄像头组件来捕获图像。一些电子设备是便携式的,很容易携带,使其使用者可以随时随地利用电子设备的摄像头组件轻松地捕获图像。
然而,如果电子设备的用户在夜间捕获图像,则所捕获的图像包括一个或多个过度曝光或光晕的光源区域。在捕获图像后,可以对捕获图像中的过度曝光的光源区域和光晕区域进行图像校正处理。
然而,即使已对捕获图像进行图像校正处理,捕获图像上的光源区域的质量有时对用户来说还是不够的,例如因为其颜色不适合光源区域或引入至捕获图像上的光源区域的散景效果(Bokeh effect)太强。因此,需要一种提高捕获图像上的光源区域质量的技术。
发明内容
本申请旨在解决上述技术问题中的至少一个。因此,本申请需要提供一种生成捕获图像的方法和电子设备。
根据本申请,一种在包括摄像头组件的电子设备中生成捕获图像的方法可以包括:
通过摄像头组件捕获第一动态范围中的多个第一初始图像,其中,多个第一初始图像在不同的成像设置下被捕获;
根据多个第一初始图像生成第二动态范围中的中间图像,其中,第二动态范围高于第一动态范围;
根据光检测图像检测光源区域以生成光源图,其中,光检测图像为多个第一初始图像中的至少一个图像并且适用于检测光源区域;
根据中间图像和光源图生成捕获图像,其中,根据光源图确定捕获图像的光源区域的位置,并且根据中间图像确定捕获图像的光源区域的颜色。
在一些实施例中,在该方法中,捕获多个第一初始图像可包括:在不同的曝光值下捕获多个第一初始图像。
在一些实施例中,在该方法中,光检测图像可以是多个第一初始图像中在最低曝光值下捕获的一个图像。
在一些实施例中,在该方法中,最低曝光值可以低至不足以在第一初始图像中检测到来自光源区域以外的区域的光。
在一些实施例中,在该方法中,最低曝光值可以为负值。
在一些实施例中,在该方法中,还可以包括:
通过摄像头组件捕获第二初始图像;以及
根据多个第一初始图像和第二初始图像计算深度图。
在一些实施例中,在该方法中,生成捕获图像还包括:执行散景渲染处理,以根据深度图将散景效果引入捕获图像。
在一些实施例中,在该方法中,多个第一初始图像可以由摄像头组件的第一主摄像头捕获,并且第二初始图像可以由摄像头组件的第二主摄像头捕获。
在一些实施例中,在该方法中,所述生成捕获图像还可以包括:执行分割过程,以根据中间图像将散景效果引入捕获图像。
在一些实施例中,在该方法中,多个第一初始图像可以由电子设备的背面中的第一主摄像头捕获或者可以由电子设备的摄像头组件的正面中的副摄像头捕获。
根据本申请,一种电子设备可以包括:
能够在第一动态范围内捕获图像的摄像头组件;和
图像处理器,该图像处理器用于:
-通过摄像头组件捕获第一动态范围中的多个第一初始图像,其中,多个第一初始图像在不同的成像设置下被捕获;
-根据多个第一初始图像生成第二动态范围中的中间图像,其中,第二动态范围高于第一动态范围;
-根据光检测图像检测光源区域以生成光源图,其中,光检测图像为多个第一初始图像中的至少一个图像并且适用于检测光源区域;
-根据中间图像和光源图生成捕获图像,其中,根据光源图确定捕获图像的光源区域的位置,并且根据中间图像确定捕获图像的光源区域的颜色。
在一些实施例中,在该电子设备中,当捕获多个第一初始图像时,可以在不同的曝光值下捕获多个第一初始图像。
在一些实施例中,在该电子设备中,光检测图像可以是多个第一初始图像中在最低曝光值下捕获的一个图像。
在一些实施例中,在该电子设备中,最低曝光值可以低至不足以在第一初始图像中检测到来自光源区域以外的区域的光。
在一些实施例中,在该电子设备中,最低曝光值可以是负值。
在一些实施例中,在该电子设备中,图像处理器还可以用于:
通过摄像头组件捕获第二初始图像;以及
根据多个第一初始图像和第二初始图像计算深度图。
在一些实施例中,在该电子设备中,当生成捕获图像时,还可以执行散景渲染处理,以根据深度图将散景效果引入捕获图像。
在一些实施例中,在电子设备中,多个第一初始图像可以由摄像头组件的第一主摄像头捕获,并且第二初始图像可以由摄像头组件的第二主摄像头捕获。
在一些实施例中,在该电子设备中,在生成捕获图像时,还可以通过分割过程根据中间图像将散景效果引入捕获图像。
在一些实施例中,在该电子设备中,多个第一初始图像可以由电子设备的背面中的第一主摄像头捕获或者可以由电子设备的摄像头组件的正面中的副摄像头捕获。
附图说明
本申请的实施例的这些和/或其他方面和优点将从以下参考附图的描述中变得明显和更容易理解,其中:
图1示出了根据本申请第一实施例的电子设备的背面图;
图2示出了根据本申请第一实施例的电子设备的正面图;
图3示出了根据本申请第一实施例的电子设备的框图;
图4示出了由根据本申请第一实施例的电子设备执行的图像捕获处理的流程示意图;
图5示出了根据本申请第二实施例的电子设备的背面图;以及
图6示出了由根据本申请第二实施例的电子设备执行的图像捕获处理的流程示意图。
具体实施方式
以下将详细描述本申请的实施例,其示例将在附图中示出。在整个说明书中,相同或相似的元件以及具有相同或相似功能的元件由相同的附图标记表示。本文中结合附图所描述的实施例是解释性的,旨在解释说明本申请,而不应理解为对本申请的限制。
[第一实施例]
图1示出了根据本申请第一实施例的电子设备的背面图。图2示出了根据本申请第一实施例的电子设备的正面图。
如图1和图2所示,电子设备10可以包括显示器20和摄像头组件30。在本实施例中,摄像头组件30包括第一主摄像头32、第二主摄像头34和副摄像头36。第一主摄像头32和第二主摄像头34可以在电子设备10的背面捕获图像,而副摄像头36可以在电子设备10的正面捕获图像。因此,第一主摄像头32和第二主摄像头34称为外摄像头,而副摄像头36称为内摄像头。
第一主摄像头32和第二主摄像头34可以具有相同的性能和/或特性,或者第一主摄像头32和第二主摄像头34可以具有不同的性能和/或特性。例如,在第一主摄像头32和第二主摄像头34具有彼此不同的性能和/或特性的情况下,第一主摄像头32可以配备有全彩色图像传感器,而第二主摄像头34可以配备有黑白图像传感器。此外,第一主摄像头32可以是适合于捕获静止图像的摄像头,而第二主摄像头34可以是适合于捕获运动图像的摄像头。此外,第一主摄像头32可以是配备有广角镜头的摄像头,而第二主摄像头34可以是配备有远摄镜头的摄像头。
在本实施例中,副摄像头36的性能低于第一主摄像头32和第二主摄像头34的性能。然而,副摄像头36的性能也可以与第一主摄像头32和第二主摄像头34的性能相同。
尽管根据本实施例的电子设备10具有3个摄像头,但是该电子设备也可以具有3个以上的摄像头。例如,电子设备10可以具有3个、4个、5个等主摄像头。
图3示出了根据本申请第一实施例的电子设备的框图。如图3所示,除了显示器20和摄像头组件30之外,电子设备10还可以包括主处理器40、图像信号处理器42、存储器44、电源电路46及通信电路48。显示器20、摄像头组件30、主处理器40、图像信号处理器42、存储器44、电源电路46及通信电路48通过总线50连接在一起。
主处理器40执行存储在存储器44中的一个或多个程序。主处理器40通过执行程序来实现电子设备10的各种应用和数据处理。主处理器40可以是一个或多个计算机处理器。主处理器40不限于一个CPU核,也可以具有多个CPU核。主处理器40可以是电子设备10的主CPU、图像处理单元(IPU)或设置有摄像头组件30的DSP。
图像信号处理器42控制摄像头组件30并处理由摄像头组件30捕获的图像。例如,图像信号处理器42可以对摄像头组件30捕获的图像进行去马赛克处理、降噪处理、自动曝光处理、自动对焦处理、自动白平衡处理、高动态范围处理等处理。
在本实施例中,主处理器40和图像信号处理器42相互协作以获取摄像头组件30所捕获的图像。即就是,主处理器40和图像信号处理器42用于通过摄像头组件30捕获图像并对捕获的图像执行各种图像处理。
存储器44存储将由主处理器40执行的程序和各种数据。例如,捕获图像的数据存储在存储器44中。
存储器44可以是高速RAM存储器或者可以是诸如闪存、磁盘存储器等的非易失性存储器。
电源电路46可以具有诸如锂离子可充电电池的电池(未示出)和用于管理电池的电池管理单元(BMU)。
通信电路48用于接收和发送数据以通过无线通信与互联网或其他设备进行通信。无线通信可以采用任何通信标准或协议,包括但不限于:全球移动通信***(GSM)、码分多址(CDMA)、长期演进(LTE)、增强长期演进(LTE-Advanced)、第五代移动通信***(5G)。
通信电路48可以包括天线和射频(RF)电路。
图4示出了由根据本实施例的电子设备执行的图像捕获处理的流程示意图。在本实施例中,图像捕获处理由主处理器40与图像信号处理器42协同执行。因此,主处理器40和图像信号处理器42构成本实施方式中的图像处理器。
如图4所示,电子设备10通过摄像头组件30的第一主摄像头32捕获第一动态范围内的多个第一初始图像(步骤S10),并通过摄像头组件30的第二主摄像头34捕获第一动态范围内的第二初始图像(步骤S32)。
在本实施例中,例如,摄像头组件30可以具有自动对焦的设置、自动曝光的设置和自动白平衡的设置。换言之,摄像头组件30可以分别具有ISO感光度的设置、曝光时间的设置、曝光值的设置等。
摄像头组件30的成像设置可以由电子设备10自动设置。换言之,用户可以针对摄像头组件30的成像设置选择自动设置。替代地,摄像头组件30的成像设置可以由用户预先设置。换言之,用户可以预先设置摄像头组件30的成像设置的每一项。
此外,在本实施例中,当电子设备10在步骤S10中捕获多个第一初始图像时,电子设备10改变每个第一初始图像的曝光值,以在后续过程中生成第二动态范围内的中间图像。在本实施例中,第一动态范围对应于低动态范围,而第二动态范围对应于高动态范围。
例如,在步骤S10中,电子设备10捕获三个第一初始图像,其中,曝光值的设置分别为-1、0和+1。也就是说,假设电子设备10已将摄像头组件30的曝光值设定为0。为了捕获另外两个第一初始图像,曝光值分别增加1和减少1。
然而,第一初始图像的数量是可选的。例如,在步骤S10中捕获的第一初始图像的数量可以是两个、四个、五个等。
在步骤S12中捕获第二初始图像时,电子设备10捕获第二初始图像的一个图像,以在后续处理中计算深度图。在本实施例中,虽然多个第一初始图像和多个第二初始图像都是在第一动态范围内捕获的,但是第一初始图像的动态范围可以不同于第二初始动态范围的动态范围。换言之,第一动态范围是第一主摄像头32和第二主摄像头34的动态范围。
在本实施例中,曝光值为0的第一初始图像和第二初始图像是同时捕获的,因为处于0的曝光值为成像设置,由电子设备10设置。然而,曝光值为0的第一初始图像的捕获时间和第二初始图像的捕获时间可能不同。
接下来,电子设备10执行高动态范围生成处理(步骤S14)。更具体地,在高动态范围生成处理中,电子设备10根据多个第一初始图像生成第二动态范围中的中间图像。
在本实施例中,电子设备10根据分别以-1、0和1的曝光值捕获的三个第一初始图像来生成中间图像。可以通过将多个低动态范围的第一初始图像进行组合和合成来生成高动态范围的中间图像。
接下来,如图4所示,电子设备10根据在步骤S14中生成的中间图像和在步骤S12中捕获的第二初始图像来计算深度图(步骤S16)。
更具体地,第一主摄像头32的位置与第二主摄像头34的位置不同。因此,根据通过第一主摄像头32捕获的第一初始图像生成的中间图像的视点不同于通过第二主摄像头34捕获的第二初始图像的视点。利用中间图像和第二初始图像的视差,电子设备10可以生成深度图,该深度图指示中间图像和第二主图像中电子设备10与物体表面之间的距离。
例如,深度图可以由主处理器40和/或图像信号处理器42计算。此外,深度图可以在摄像头组件30的摄像头模块内部计算。然而,用于计算深度图的深度图计算电路可以放置在电子设备10中。
接下来,如图4所示,电子设备10根据光检测图像来检测光源区域,通过检测光检测图像中的光源来产生光源图,以指示光源区域在中间图像中的位置(步骤S18)。
光源图可以是一种指示光源中心的图像或者可以是捕获图像上光源中心的一个或多个坐标的集合。光源图可以临时存储在存储器44中。
光检测图像为多个第一初始图像中的至少一个图像并且适用于检测光源区域。例如,在这种情况下,以-1的曝光值捕获的第一初始图像中的一个图像是光检测图像,因为以-1的曝光值捕获的图像是在步骤S10中捕获的多个第一初始图像中曝光值最低的。换言之,-1的曝光值是足够低的,以使得无法在第一初始图像中检测到来自光源区域以外的区域的光。
通常,为了检测光检测图像中的光源区域,曝光值(EV)优选为负值。即,光检测图像应该是在负曝光值下捕获的第一初始图像中的一个图像。在此,曝光值可以由快门速度、ISO感光度和光圈构成。
在本实施例中,为了生成光源图,电子设备10将光检测图像中某区域的亮度与阈值进行比较,若该区域的亮度大于该阈值,则将该区域被视为光源区域。
更具体地,电子设备10将光检测图像中每个区域的亮度与该阈值进行比较。换言之,电子设备10将光检测图像中每一像素的亮度与阈值进行比较,以检测出光检测图像中的光源区域。该阈值可以存储在存储器44中、设置在由主处理器40执行的程序中或者设置在图像信号处理器42中。
例如,在光检测图像中的每个像素包括由256个灰度组成的亮度的情况下,如果像素的亮度值大于128,则电子设备10可以确定该像素在光源区域中。
顺便提及,该阈值不一定设置为特定值,而是也可以设置为百分比。例如,在最大亮度为100%并且最小亮度为0%的情况下,可以将阈值设置为亮度的50%。
此后,电子设备10检测亮度大于该阈值的区域的中心并将该中心确定为光源的中心,以生成光源图。
此外,在本实施例中,虽然电子设备10在计算出深度图之后才检测光检测图像中的光源区域,但是电子设备10可以在计算深度图之前检测光检测图像中的光源区域。在这种情况下,步骤S18在步骤S16之前执行。
例如,可以由主处理器40和/或图像信号处理器42根据光检测图像来检测光源区域。此外,可以根据摄像头组件30捕获的光检测图像来检测光源区域。
接下来,如图4所示,电子设备10执行图像生成处理以生成捕获图像(步骤S20)。在本实施例中,至少根据在步骤S14中生成的中间图像、在步骤S18中生成的光源图以及在步骤S16中计算出的深度图来执行图像生成处理。当然,在步骤S20的图像生成处理中,可以使用其他图像和/或任何信息来生成捕获图像。
在本实施方式中,图像生成处理至少包括光源区域调整处理,该光源区域调整处理将光源区域适当地渲染到捕获图像上。在光源区域调整处理中,根据光源图决定光源区域的位置,并根据中间图像决定光源区域的颜色。
此外,图像生成处理至少包括基于深度图的散景渲染处理。即,在根据多个第一初始图像生成中间图像之后,对中间图像应用散景渲染处理以根据深度图对中间图像的背景进行散焦。换句话说,中间图像的背景通过散景渲染处理被散焦以变得模糊。
一般来说,高动态范围的中间图像的颜色比每一个第一初始图像和每一个第二初始图像的颜色更自然、更精确。另一方面,如果将散景渲染处理应用于高动态范围的中间图像,也会将散景效果引入光源区域,从而使光源区域过于模糊。因此,在本实施例中,根据在步骤S18中生成的光源图来调整光源区域的位置,并根据中间图像的颜色来调整光源区域的颜色。
当步骤S20中的图像生成处理完成时,生成用户想要捕获的捕获图像。当然,生成捕获图像的图像生成处理可以包括应用于中间图像的除了散景渲染处理和光源区域调整处理之外的各种处理。例如,图像生成处理可以包括去马赛克处理、降噪处理、自动曝光处理、自动对焦处理、自动白平衡处理、高动态范围处理等,以生成捕获图像。
例如,图像生成处理可以由主处理器40和/或图像信号处理器42执行。然而,用于执行散景渲染处理的散景渲染电路可以放置在电子设备10中。类似地,用于执行光源区域调整处理的光源区域调整电路可以放置在电子设备10中。
接下来,如图4所示,电子设备10输出捕获图像(步骤S22)。例如,电子设备10可以在显示器20上显示捕获图像。此外,电子设备10可以将捕获图像存储在存储器44中。
电子设备10在步骤S22中输出捕获图像后,本实施例的图像捕获处理完成。
如上所述,根据本实施例的电子设备10,当电子设备10生成捕获图像时,根据光源图和捕获图像的颜色来确定捕获图像上的光源区域的位置,并根据高动态范围的中间图像确定捕获图像上的光源区域。因此,捕获图像上的光源区域更美观、更自然。如此,可以使得用户对根据本实施例的电子设备10的捕获图像的质量感到满意。
此外,由于可以将多个第一初始图像中的一个图像用作光检测图像来检测光源区域,因此不需要摄像头组件30捕获额外的图像或不需要额外的机械元件。因此,在没有任何额外成本的情况下可以提高用户对捕获图像的满意度。
尽管上述电子设备10在步骤S10中改变用于捕获多个第一初始图像中的每一个的曝光值,以便在步骤S14中生成高动态范围内的中间图像,电子设备10可以改变除了用于捕获多个第一初始图像中的每一个图像的曝光值之外的成像设置。例如,电子设备10可改变ISO感光度、曝光时间等,以在步骤S10中捕获多个第一初始图像中的每一个图像。
在任何情况下,在第一初始图像中用于检测光源区域并生成光源图的最合适的图像可被用作步骤S18中的光检测图像。换言之,由于电子设备10为了产生高动态范围的中间图像而捕获多个第一初始图像,则可选择最适合检测光源区域的图像作为步骤S18中的光检测图像。
[第二实施例]
尽管在本申请的第一实施例中电子设备10在其背面具有两个主摄像头,但在本申请的第二实施例中,电子设备10在其背面具有一个主摄像头。在下文中,将说明与第一实施例的不同之处。
图5示出了根据本申请第二实施例的电子设备10的背面图。此外,图5与第一实施例中的图1相对应。根据第二实施例的电子设备10的正面图与第一实施例中的图2大致相同。
如图5所示,根据本实施例的电子设备10具有摄像头组件30,该摄像头组件30包括主摄像头38,但不包括其它的主摄像头。也就是说,根据本实施例的电子设备10的摄像头组件30在电子设备10的背面具有一个主摄像头38,以在电子设备10的背面捕获图像。
如图2所示,在第二实施例中,与第一实施例相同地,电子设备10具有副摄像头36。也就是说,根据第二实施例的电子设备10的摄像头组件30还包括在电子设备10正面的内置摄像头,以便其在正面捕获图像。
图6示出了由根据本申请第二实施例的电子设备执行的图像捕获处理的流程示意图。在本实施例中,图像捕获处理由主处理器40与图像信号处理器42协作执行。因此,主处理器40和图像信号处理器42构成本实施例中的图像处理器。
如图6所示,电子设备10通过摄像头组件30的主摄像头38在第一动态范围内捕获多个第一初始图像(步骤S30),其中,第一动态范围低于第二动态范围。除了由单个主摄像头38捕获多个第一初始图像之外,第二实施例中的步骤S30与第一实施例中的步骤S10基本相同。
另一方面,由于第二实施例的电子设备10的摄像头组件30不具有第二主摄像头34,因此不会捕获第二初始图像。换言之,在第二实施例中省略了第一实施例中捕获第二初始图像的步骤S12。
接下来,如图6所示,电子设备10执行高动态范围生成处理,以便根据多个低动态范围的第一初始图像生成高动态范围的中间图像(步骤S14)。第二实施例中的步骤S14与第一实施例中相应的步骤基本相同。
接下来,如图6所示,电子设备10根据光检测图像来检测光源区域,以通过在光检测图像中检测光源来产生光源图,从而指示光源区域在中间图像中所处的位置(步骤S18)。第二实施例中的步骤S18与第一实施例中相应的步骤基本相同。
接下来,如图6所示,电子设备10执行图像生成处理,以生成捕获图像(步骤S32)。在本实施例中,至少根据在步骤S14中生成的中间图像和在步骤S18中生成的光源图来执行图像生成处理。当然,在步骤S32的图像生成处理中,可以使用其他图像和/或任何信息来生成捕获图像。
然而,因为摄像头组件30包括单个主摄像头38,在根据本实施例的图像生成处理中没有使用深度图。也就是说,在第二实施例中省略了第一实施例中生成深度图的步骤S16。
因此,根据本实施例的图像生成处理包含分割处理以代替散景渲染处理。在分割处理中,在无需第一实施例的步骤S16中计算的深度图的情况下,将散景效果引入捕获图像中。例如,通过分析和识别中间图像中的人脸,将散景效果引入捕获图像中,分割人体轮廓(human silhouette)并将散景效果引入中间图像中人体轮廓的背景。
与第一实施例相同地,根据本实施例的图像生成处理包括光源区域调整处理。即,在本实施例中,根据光源图决定光源区域的位置,并根据中间图像决定光源区域的颜色。
接下来,如图4所示,电子设备10输出捕获图像(步骤S22)。第二实施例中的步骤S22与第一实施例中相应的步骤基本相同。
如上所述,根据本实施例的电子设备10,当电子设备10生成捕获图像时,根据光源图决定捕获图像上的光源区域的位置,并根据高动态范围的中间图像决定捕获图像上的光源颜色。因此,捕获图像上的光源区域可以更美观、更自然。如此,可以使得用户对根据本实施例的电子设备10所捕获的捕获图像的质量感到满意。
此外,即使电子设备10包括单个主摄像头38,电子设备10也可以执行包括光源区域调整处理的图像生成处理。因此,本实施例可以通过摄像头组件30与电子设备10的单个主摄像头38来实施。
类似地,本实施例可以通过电子设备10正面的副摄像头36来实施。换言之,如果副摄像头36捕获多个第一初始图像,则可以根据副摄像头36捕获的多个第一初始图像来执行图6中的图像捕获处理。因此,还可以提高副摄像头36捕获的捕获图像的质量。
在本申请的实施例的描述中,应当理解的是,诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“后部”、“左”、“右”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”等术语应被理解为是指所描述的或所讨论的附图中所示的方向或位置。这些相对术语仅用于简化对本申请的描述,并不表示或暗示所提及的设备或元件必须具有特定的方向,或者以特定的方向构造或运行。因此,这些术语不应解释为对本申请的限制。
此外,诸如“第一”和“第二”之类的术语在本文中用于描述的目的,并不旨在指示或暗示相对重要性或重要性,或暗示所指示的技术特征的数量。因此,用“第一”和“第二”定义的特征可以包括一个或多个该特征。在本申请的描述中,“多个”是指两个或两个以上,除非另有说明。
在对本申请实施例的描述中,除非另有说明或限制,“安装”、“连接”、“联接”等术语是广义的,例如可以是固定连接、可拆卸连接或整体连接;也可以是机械或电气连接;也可以是直接连接或通过中间结构的间接连接;也可以是两个元素的内部通信,本领域技术人员可以根据具体情况来理解。
在本申请的实施例中,除非另有说明或限制,第一特征在第二特征“上”或“下”的结构可以包括第一特征与第二特征直接接触的实施例,并且还可以包括第一特征和第二特征彼此不直接接触,而是通过在它们之间形成的附加特征来接触。此外,第一特征在第二特征的“上面”、“上方”或“顶部”可以包括第一特征笔直地或倾斜地在第二特征的“上面”、“上方”或“顶部”,或仅表示第一特征的高度高于第二特征的高度;而第一特征在第二特征的“下面”、“下方”或“底部”可以包括第一特征正好或倾斜地在第二特征的“下面”、“下方”或“底部”,或者仅表示第一特征的高度低于第二特征的高度。
在以上描述中提供了各种实施例和示例以实现本申请的不同结构。为了简化本申请,上面描述了某些元素和设置。然而,这些元素和设置仅作为示例,并不旨在限制本申请。此外,在本申请的不同示例中可以重复参考数字和/或参考字母。这种重复是为了简化和清楚的目的,而不是指不同实施例和/或设置之间的关系。此外,在本申请中提供了不同工艺和材料的示例。然而,本领域技术人员将理解,也可以应用其他工艺和/或材料。
在整个说明书中对“一个实施例”、“一些实施例”、“一个示例性实施例”、“一个示例”、“一个具体示例”或“一些示例”是指结合实施例或示例描述的特定特征、结构、材料或特性包含在本申请的至少一个实施例或示例中。因此,上述短语在本规范中的出现不一定指本申请同一实施例或示例。此外,特定特征、结构、材料或特性可以以任何合适的方式组合在一个或多个实施例或示例中。
在流程图中描述或在此以其他方式描述的任何过程或方法可以理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的一个或多个模块、片段或代码部分,以及本申请优选实施例的范围包括其他实施方式,本领域技术人员应该理解,这些实施方式中的功能可以以不同于所示或讨论的顺序来实现,包括以基本相同的顺序或以相反的顺序。
此处以其他方式描述的或流程图所示的逻辑和/或步骤,例如用于实现该逻辑功能的可执行指令的特定序列表,可以在任何计算机可读介质中具体实现,这些计算机可读介质供指令执行***、装置或设备(例如,基于计算机的***,包括处理器的***,或其他能够从指令执行***、装置和设备中获取指令并执行指令的***)使用,或供指令执行***、装置和设备的结合使用。至于本说明书,“计算机可读介质”可以是适用于包含、存储、通信、传播或传输程序以供指令执行***、装置或设备使用或指令执行***、装置和设备的结合使用的任何装置。计算机可读介质的更具体示例包括但不限于:具有一根或多根电线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外,计算机可读介质甚至可以是纸或其他能够在其上打印程序的适当介质,这是因为,例如必要时以电子方式获取程序,对纸或其他适当介质进行光学扫描,然后用其他适当方法对其进行编辑、解密或处理,然后将程序存储在计算机内存中。
应当理解,本申请的各个部分可以通过硬件、软件、固件或者它们的组合来实现。在上述实施例中,多个步骤或方法可以通过存储在存储器中并由适当的指令执行***执行的软件或固件来实现。例如,如果是通过硬件实现,同样在另一个实施例中,这些步骤或方法可以通过本领域已知的以下技术中的一种或组合来实现:具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路,具有适当组合逻辑门电路、可编程门阵列(PGA),现场可编程门阵列(FPGA)等的适当组合的专用集成电路。
本领域技术人员应当理解,本申请上述示例性方法中的全部步骤或部分步骤可以通过程序指挥相关硬件来实现。该程序可以存储在计算机可读存储介质中,该程序在计算机上运行时包括本申请方法实施例中的一个或多个步骤的组合。
另外,本申请实施例中的各个功能单元可以集成在一个处理模块中,也可以是各自独立的物理存在,也可以两个或多个单元集成在一个处理模块中。集成模块可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品销售或使用时,集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘、CD等。
尽管已经示出和描述了本申请的实施例,但是本领域技术人员应当理解,这些实施例是解释性的,而不能被解释为限制本申请,并且在不背离本申请范围的情况下,可以对本申请进行改变、修改、替代和变型。
Claims (20)
1.一种在电子设备中生成捕获图像的方法,所述电子设备包括摄像头组件,所述方法包括:
通过所述摄像头组件捕获第一动态范围内的多个第一初始图像,其中,所述多个第一初始图像在不同的成像设置下被捕获;
根据所述多个第一初始图像生成第二动态范围的中间图像,其中,所述第二动态范围高于所述第一动态范围;
根据光检测图像检测光源区域以生成光源图,其中,所述光检测图像为所述多个第一初始图像中的至少一个图像并且适用于检测所述光源区域;
根据所述中间图像和所述光源图生成所述捕获图像,其中,根据所述光源图确定所述捕获图像的所述光源区域的位置,并且根据所述中间图像确定所述捕获图像的所述光源区域的颜色。
2.根据权利要求1所述的方法,其特征在于,所述捕获多个第一初始图像包括:在不同的曝光值下捕获所述多个第一初始图像。
3.根据权利要求2所述的方法,其特征在于,所述光检测图像为所述多个第一初始图像中在最低曝光值下被捕获的一个图像。
4.根据权利要求3所述的方法,其特征在于,所述最低曝光值低至不足以在所述第一初始图像中检测到来自所述光源区域以外的区域的光。
5.根据权利要求4所述的方法,其特征在于,所述最低曝光值为负值。
6.根据权利要求1-5中任一项所述的方法,还包括:
通过所述摄像头组件捕获第二初始图像;以及
根据所述多个第一初始图像和所述第二初始图像计算深度图。
7.根据权利要求6所述的方法,其特征在于,所述生成所述捕获图像还包括:执行散景渲染处理,以根据所述深度图将散景效果引入到所述捕获图像。
8.根据权利要求7所述的方法,其特征在于,所述多个第一初始图像由所述摄像头组件的第一主摄像头捕获,并且所述第二初始图像由所述摄像头组件的第二主摄像头捕获。
9.根据权利要求1-5中任一项所述的方法,其特征在于,所述生成所述捕获图像还包括:执行分割处理,以根据所述中间图像将散景效果引入所述捕获图像。
10.根据权利要求9所述的方法,其特征在于,所述多个第一初始图像由所述电子设备的背面中的第一主摄像头捕获或由所述电子设备的所述摄像头组件的正面中的副摄像头捕获。
11.一种电子设备,包括:
能够捕获第一动态范围内的图像的摄像头组件;和
图像处理器,所述图像处理器被配置成:
通过所述摄像头组件捕获所述第一动态范围内的多个第一初始图像,其中,所述多个第一初始图像在不同的成像设置下被捕获;
根据所述多个第一初始图像生成第二动态范围的中间图像,其中,所述第二动态范围高于所述第一动态范围;
根据光检测图像检测光源区域以生成光源图,其中,所述光检测图像为所述多个第一初始图像中的至少一个图像并且适用于检测所述光源区域;
根据所述中间图像和所述光源图生成所述捕获图像,其中,根据所述光源图确定所述捕获图像的所述光源区域的位置,并且根据所述中间图像确定所述捕获图像的所述光源区域的颜色。
12.根据权利要求11所述的电子设备,其特征在于,当捕获所述多个第一初始图像时,在不同的曝光值下捕获所述多个第一初始图像。
13.根据权利要求12所述的电子设备,其特征在于,所述光检测图像为所述多个第一初始图像中在最低曝光值下捕获的一个图像。
14.根据权利要求13所述的电子设备,其特征在于,所述最低曝光值低至不足以在所述第一初始图像中检测到来自所述光源区域以外的区域的光。
15.根据权利要求14所述的电子设备,其特征在于,所述最低曝光值为负值。
16.根据权利要求11-15中任一项所述的电子设备,所述图像处理器还被配置成:
通过所述摄像头组件捕获第二初始图像;以及
根据所述多个第一初始图像和所述第二初始图像计算深度图。
17.根据权利要求16所述的电子设备,其特征在于,当生成所述捕获图像时,还执行散景渲染处理,以根据所述深度图将散景效果引入所述捕获图像。
18.根据权利要求17所述的电子设备,其特征在于,所述多个第一初始图像由所述摄像头组件的第一主摄像头捕获,并且所述第二初始图像由所述摄像头组件的第二主摄像头捕获。
19.根据权利要求11-15中任一项所述的电子设备,其特征在于,在生成所述捕获图像时,还通过分割处理根据所述中间图像将散景效果引入所述捕获图像。
20.根据权利要求19所述的电子设备,其特征在于,所述多个第一初始图像由所述电子设备的背面中的第一主摄像头捕获或由所述电子设备的所述摄像头组件的正面中的副摄像头捕获。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/074828 WO2021159295A1 (en) | 2020-02-12 | 2020-02-12 | Method of generating captured image and electrical device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115066880A true CN115066880A (zh) | 2022-09-16 |
Family
ID=77291986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090782.6A Pending CN115066880A (zh) | 2020-02-12 | 2020-02-12 | 生成捕获图像的方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115066880A (zh) |
WO (1) | WO2021159295A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140192227A1 (en) * | 2013-01-07 | 2014-07-10 | GM Global Technology Operations LLC | Glaring reduction for dynamic rearview mirror |
US20150146014A1 (en) * | 2013-11-27 | 2015-05-28 | Aptina Imaging Corporation | Imaging systems and methods for location-specific image flare mitigation |
CN110177221A (zh) * | 2019-06-25 | 2019-08-27 | 维沃移动通信有限公司 | 高动态范围图像的拍摄方法及装置 |
US10554890B1 (en) * | 2019-02-18 | 2020-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method for generating low-light images with improved bokeh using mobile electronic device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002544A1 (ja) * | 2015-06-30 | 2017-01-05 | オリンパス株式会社 | 画像処理装置および撮像システム |
CN106534677B (zh) * | 2016-10-27 | 2019-12-17 | 成都西纬科技有限公司 | 一种图像过曝优化方法及装置 |
CN108088658A (zh) * | 2016-11-23 | 2018-05-29 | 深圳华萤光电技术有限公司 | 一种眩光测量方法及其测量*** |
EP3462410A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | A user interface for manipulating light-field images |
-
2020
- 2020-02-12 WO PCT/CN2020/074828 patent/WO2021159295A1/en active Application Filing
- 2020-02-12 CN CN202080090782.6A patent/CN115066880A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140192227A1 (en) * | 2013-01-07 | 2014-07-10 | GM Global Technology Operations LLC | Glaring reduction for dynamic rearview mirror |
US20150146014A1 (en) * | 2013-11-27 | 2015-05-28 | Aptina Imaging Corporation | Imaging systems and methods for location-specific image flare mitigation |
US10554890B1 (en) * | 2019-02-18 | 2020-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method for generating low-light images with improved bokeh using mobile electronic device |
CN110177221A (zh) * | 2019-06-25 | 2019-08-27 | 维沃移动通信有限公司 | 高动态范围图像的拍摄方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021159295A1 (en) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3565236B1 (en) | Control method, control apparatus, mobile terminal and computer-readable storage medium | |
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US11461910B2 (en) | Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device | |
KR101916355B1 (ko) | 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107358593B (zh) | 成像方法和装置 | |
KR20150099302A (ko) | 전자 장치와, 그의 제어 방법 | |
US9961319B2 (en) | Image processing apparatus and control method thereof | |
CN105611182B (zh) | 亮度补偿方法及装置 | |
CN113298735A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110766729B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112653845B (zh) | 曝光控制方法、装置、电子设备及可读存储介质 | |
US11871123B2 (en) | High dynamic range image synthesis method and electronic device | |
CN111434104A (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
JP2013078112A (ja) | 撮像装置 | |
US20130222632A1 (en) | Electronic camera | |
US11368630B2 (en) | Image processing apparatus and image processing method | |
CN115066880A (zh) | 生成捕获图像的方法及电子设备 | |
CN114946170B (zh) | 生成图像的方法和电子设备 | |
US11405562B2 (en) | Image processing apparatus, method of controlling the same, image capturing apparatus, and storage medium | |
CN114762313B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114930799A (zh) | 用于具有多个摄像头的电子设备的方法和电子设备 | |
WO2022222075A1 (en) | Method of generating image data, electronic device, apparatus, and computer readable medium | |
WO2021138797A1 (en) | Method of adjusting captured image and electrical device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |