CN113439286A

CN113439286A - 处理合成图像中的图像数据

Info

Publication number: CN113439286A
Application number: CN201980092411.9A
Authority: CN
Inventors: J.W.格洛茨巴赫; 甄睿文; I.佩库库克森; H.R.谢克
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2019-02-18
Filing date: 2019-06-12
Publication date: 2021-09-24
Also published as: EP3899862A1; US20200265566A1; EP3899862A4; US10949959B2; KR20210118232A; KR102561714B1; WO2020171300A1

Abstract

描述了一种处理合成图像中的图像数据的方法。该方法包括：分析合成图像的图像的多级混合；识别合成图像的锐化转变边界区域；在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

Description

处理合成图像中的图像数据

技术领域

本发明的实施例总体上涉及具有多个相机的设备，并且具体地，涉及用于处理合成(composite)图像中的图像数据的设备和方法。

背景技术

数码相机是捕获以数字格式存储的图像的电子设备。其他电子设备(诸如智能手机、平板或其他便携式设备)通常配备有相机以使得其能够以数字格式捕获图像。随着对相机或具有相机的电子设备的改进功能的需求增加，已经在电子设备中实现了具有不同功能的多个相机。根据一些实现方式，电子设备中的双相机(dual camera)模块可以包含两个不同的镜头/传感器、或者可以具有不同的相机特性，诸如曝光设置。

由具有数码相机的设备捕获到的多个场景包含非常大的动态范围(即，在同一场景中存在非常亮和非常暗的区域)。相机难以使用单次曝光来记录场景，因此通常使用多次曝光，其中使用高动态范围(high dynamic range，HDR)算法来组合图像帧。这些算法可以选择在多次曝光中被最佳曝光的每个图像帧的部分。使用混合(blending)来将这些部分合成在一起。在混合中，使用相应的混合权重将多个图像帧组合在一起，以控制每个帧应该如何对最终结果作出贡献。被称为光晕伪影(halo artifact)的特定伪影通常在场景的亮区域和暗区域之间的转变点(transition point)周围出现。

因此，减少转变伪影(transition artifact)(诸如光晕伪影)的、混合图像的设备和方法是有益的。

发明内容

解决问题的技术方案

描述了一种处理合成图像中的图像数据的方法。该方法包括：分析合成图像的图像的多级(multi-level)混合；识别合成图像的锐化(sharp)转变边界区域；在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

还描述了一种用于增强图像质量的设备。该设备包括处理器电路，该处理器电路被配置为：分析合成图像的图像的多级混合；识别合成图像的锐化转变边界区域；在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

一种其中存储有数据的非暂时性计算机可读存储介质，表示可以由计算机执行以增强图像质量的软件，该非暂时性计算机可读存储介质包括：分析合成图像的图像的多级混合；识别合成图像的锐化转变边界区域；在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

附图说明

图1是具有多个相机的示例性电子设备的框图；

图2是示出与多个图像相关联的不同级的图；

图3是示出使用与多个图像相关联的不同级的权重进行混合的图；

图4是基于两个输入图像来生成混合后的输出图像的框图；

图5是示出对图4的两个输入图像应用衰减信号的曲线图；

图6示出了被混合以形成具有减少的光晕效应的输出图像的图像的示例；以及

图7是示出处理合成图像中的图像数据的方法的流程图。

具体实施方式

下文阐述的设备和方法检测与其中混合控制可以快速地从暗区域变到亮区域的场景相关联的转变边界。在检测到转变边界之后，所述设备和方法提供对混合的控制以抑制光晕伪影。所述设备和方法可以检测光晕伪影将在哪里出现，并且可以控制混合以防止混合后的结果呈现光晕伪影。例如，所述设备和方法可以寻找在混合权重中的大的变化，其中具有大的变化的区域可以标记锐化转变边界。当与具有不同曝光的图像一起使用、或者用于使用闪光灯生成的图像与不使用闪光灯生成的图像混合时，所述电路和方法是有益的。

根据一些实现方式，设备和方法提供了对金字塔混合(pyramid blending)的扩展，其中可以在混合金字塔的多个级应用检测。在混合金字塔的高分辨率级中记录精细细节(fine detail)。在这些级应用较少的控制以避免平滑输出图像中的精细细节。在较低级中记录大尺度转变，因此可以将检测和较多的衰减(也被称为抑制)应用于在较低级中检测到的区域中以控制光晕伪影。因此，所述设备和方法允许以金字塔执行光晕衰减而不丢失输出图像中的精细细节。可以使用可控阈值在每个级应用衰减。低分辨率级中的细节级(detail level)可以在混合权重中存在快速转变的点处降低。控制自适应可以是基于场景内容的。所述设备和方法允许检测光晕区域并控制传递多少高通能量到输出以避免光晕过冲(overshoot)和欠冲(undershoot)。

此外，虽然本说明书包括限定被认为是新颖的、本发明的一种或多种实现方式的特征的权利要求，但是相信根据对结合附图进行的描述的考虑，将更好地理解电路和方法。虽然公开了各种电路和方法，但是应当理解，电路和方法仅仅是本发明布置的示例，其可以以各种形式被实施。因此，在本说明书中公开的具体结构和功能细节不应被解释为限制性的，而是仅仅作为权利要求书的依据，并且作为用于教导所属领域技术人员在实际中的任何适当详细的结构中以各种方式采用发明布置的代表性依据。此外，本文所使用的术语和短语并非旨在限制，而是提供对电路和方法的可理解的描述。

首先转至图1，其示出了具有多个相机的电子设备的框图。电子设备(例如移动设备100)可以是具有一个或多个相机的任何类型的设备。移动设备100可以包括耦合到多个相机104和105的处理器102。相机104和105可以具有不同的特性(诸如不同的焦距或不同的操作特性(诸如不同的曝光时间或对不同的闪光灯的使用))，其中对图像的混合可以涉及如下文更详细描述的具有不同特性的图像。移动设备100可以是适于发送和接收信息的任何类型的设备，诸如智能手机、平板或者接收或提供信息的其他电子设备，诸如可穿戴设备。处理器102可以是ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU、或被配置为执行存储在存储器中的指令的任何其他处理器。处理器102可以在一个或多个处理设备中实现，其中处理器可以是不同的。例如，电子设备可以包括中央处理单元(CPU)以及例如GPU。处理电路的操作可以依赖于软件和硬件两者来实现下文阐述的电路和方法的各种特征。

处理器102可以耦合到显示器106以用于向用户显示信息。处理器102还可以耦合到能够存储与数据相关的信息或与图像数据相关联的信息的存储器108。众所周知，存储器108可以被实现为处理器102的部分、或者可以被实现为除了处理器的任何高速缓存存储器之外的存储器。存储器108可以包括任何类型的存储器，诸如固态驱动(SSD)、闪存、只读存储器(ROM)或提供长期记忆的任何其他存储器元件，其中存储器可以是任何类型的电子驱动的内部存储器或电子设备可访问的外部存储器。

还提供了用户界面110以使得用户能够输入数据和接收数据。记录图像的一些方面可能需要用户的手动输入。用户界面110可以包括通常在便携式通信设备(诸如智能手机、智能手表或平板计算机)上使用的触摸屏用户界面和其他输入/输出(I/O)元件(诸如扬声器和麦克风)。用户界面110还可以包括用于输入或输出数据、可以通过电连接器或通过无线连接(诸如蓝牙或近场通信(NFC)连接)附接至移动设备的设备。

处理器102还可以耦合到接收输入数据或提供数据的其他元件，包括用于活动跟踪的各种传感器120、惯性测量单元(IMU)112和全球定位***(GPS)设备113。例如，惯性测量单元(IMU)112可以提供与设备的运动或方位相关的各种信息，而GPS 113提供与设备相关联的位置信息。可以是移动设备的部分或耦合到移动设备的传感器可以包括例如光强度(诸如环境光或UV光)传感器、接近传感器、环境温度传感器、湿度传感器、心率检测传感器、皮肤电反应(galvanic skin response)传感器、皮肤温度传感器、气压计、速度计、高度计、磁力仪、霍尔传感器、陀螺仪、WiFi收发器、或者可以提供与实现目标相关的信息的任何其他传感器。处理器102可以通过输入/输出(I/O)端口114或耦合到天线118的收发器116来接收输入数据。虽然通过示例的方式示出了电子设备的元件，但是应理解，可以在图1的电子设备中实现其他元件、或者不同地布置电子设备以实现下文阐述的方法。虽然图1中示出了多个相机，但是具有不同特性(诸如不同的曝光特性)的连续帧可以由单个相机捕获。例如，多个帧可以来自改变帧之间的曝光的单个相机。应当注意，对于下文对多个图像的任何参考，可以使用单个相机或多个相机来捕获多个图像。

现在转至图2，其示出了与来自不同相机或来自单个相机的多个图像相关联的不同级，其中由单个相机捕获到的多个图像可以具有不同的曝光特性。根据一些实现方式，不同的相机可以具有不同的曝光时间或对补充光(例如闪光灯)的不同使用。还应理解，图像1和图像2中的每一个图像可以是多帧图像。为了避免转变伪影，可以使用与混合金字塔相关联的多尺度混合算法。传统的混合算法通常难以在暗区域和亮区域之间快速地转变。被称为光晕的特定伪影通常在暗区域和亮区域之间的转变点周围出现。在转变的亮侧上，混合后的结果变得更亮，而在转变的暗侧上，混合后的结果变得太暗。场景转变周围的这个区域看起来非常不自然，这指示相机可能已经应用了合成(synthetic)处理来生成最终图像。下文更详细阐述的电路和方法解决了该转变伪影，以使得混合后的输出结果看起来更自然。

根据一些实现方式，如将参考图3更详细地描述的、实现混合金字塔的电路和方法接受2个不同的图像(诸如长曝光输入和短曝光输入以及混合权重的帧)。给定级(这里示出为具有n个级)中的图像的高权重指示混合后的结果应该使用来自图像之一(诸如短曝光图像)的较高贡献。低混合权重指示混合后的结果应该使用来自另一个图像(诸如长曝光图像)的较高贡献。下文阐述的电路和方法改善合成图像的区域中输出的混合后的结果，其中混合权重从低值快速地转变为高值。

根据图2的示例，提供了n个级，其中级1提供了高细节级并且分辨率级降低到级n，级n表示低级通道(low-level pass)，并且级n可以表示基本级(base level)。可以通过下采样(诸如通过将图像的分辨率减少到例如四分之一)来生成级的分辨率，其中高度和权重维度(dimension)中的每一个的分辨率减少一半，其中将仅使用下一个较高分辨率级的像素的四分之一。也就是说，与级1相比，级2可以仅具有与该图像相关联的像素的数目的四分之一。例如，对于每个图像，对于级1的4个像素中的每一个方形(square)，仅像素中的一个将被用于表示级2中的图像，并且对于级2的4个像素中的每一个方形，仅一个像素将被用于表示级3中的图像，等等。级n中的基本图像是分辨率非常低的图像。虽然通过示例的方式示出了2个图像，但是应理解，可以使用下文阐述的电路和方法来混合多于2个的图像。参考图3提供了与以混合金字塔混合两个图像相关的更多细节。

现在转至图3，其示出了使用与混合金字塔相关联的不同级的权重对多个图像的混合，其中图像1和2可以如上所述被实现为表示来自具有不同曝光的不同相机的图像，并且可以是多帧图像。可替代地，图像1和图像2可以由单个相机捕获，其中多个图像可以具有不同的曝光特性。该对图像与混合权重集一起被传递，该混合权重集定义输入图像应该如何被混合在一起以形成输出图像。在金字塔的每个级，输入图像可以被划分为基本图像和细节图像。基本图像是输入图像的低分辨率版本，而细节图像包含高通(high-pass)信息。基本图像作为输入被传递到金字塔的下一级。在计算了所有的级之后，存在来自金字塔的一个低分辨率基本图像和细节图像集。

在重构(reconstruction)金字塔中，当基本图像和细节图像被组合在一起时，原始输入图像被重构。对于混合应用，图像金字塔的每个级还包含组合来自两个输入图像的信息以创建混合后的细节图像的混合块。金字塔的最低级包含两个输入图像的低频视图。这些低频视图也被混合在一起以形成混合后的基本层。将该混合后的基本层与来自混合金字塔的混合后的细节层一起给到重构金字塔以形成最终混合后的输出图像。应当注意，可以在混合过程期间而不是在混合完成之后执行对转变效应(诸如光晕效应)的校正。根据一种实现方式，混合金字塔可以包括8个级，其中混合可以在特定级中被执行。例如，在图像被检测为具有转变伪影的部分处的混合可以不在具有最高分辨率的前3级(即，图3的示例的级1-3)中被执行，以避免纹理(texture)的丢失。还可以在最低级(即，级n)(其一般是图像的模糊版本并且用于识别转变伪影的位置)中避免混合。例如，如果n＝8，则图像在第八级中的每个像素将表示原始图像中的256×256个像素，并且因此具有相当低的分辨率。如图3所示，权重在右侧生成，并且被用于实现混合。与仅接收权重的传统设备不同，如将在下文更详细地描述，根据图3的实现方式的混合使用权重W0-Wn和导数权重Wd0-N(对于给定级i，一般被指代为Wdi)。虽然通过示例的方式示出了混合金字塔，但是应理解，所述用于处理合成图像中的图像数据的电路和方法可以用于任何多尺度混合操作。

现在转至图4，其示出了用于基于两个输入图像来生成混合后的输出图像的混合控制块402的框图。混合控制块402可以用于基于如图3所示的多个级的混合金字塔来生成输出图像。混合控制块402接收多个图像，这里通过示例的方式示出为第一图像(I1)和第二图像(I2)。混合控制块402还接收权重值(Wi和Wdi))，权重值被应用于如上参考图3所描述的不同级处的图像，以生成混合后的输出图像(Out)。权重值Wi表示权重图(weight map)，其中权重值Wi描述来自第一图像的每个级的权重。如将在下文更详细地描述，Wdi表示高通插值(interpolation)，并且被用于确定衰减值。

如图5的曲线图所示，可以基于Wdi的值来生成针对每个级的、图4的两个输入图像的衰减值A。也就是说，基于不同级的Wdi的不同值，每个级可以具有不同的衰减值A。此外，用于确定不同衰减值的一个或多个等式对于每个级可以是不同的(即，对于每个级，图5的曲线图可以是不同的)。校正光晕伪影的方法是基于在每个金字塔级检测混合权重中的大的转变的。根据用于处理合成图像中的图像数据的电路和方法，每个权重级应该产生基本输出和细节输出。Wdi值提供每个混合级处的权重的导数或变化量。根据一种实现方式，混合金字塔可以是拉普拉斯金字塔。当图像的给定部分的权重中的变化量大时，可能出现光晕。为了校正这样的光晕效应，在图像的该部分处向相同金字塔的输出细节级提供衰减增益。通过衰减或抑制混合后的细节级，防止了混合后的输出出现光晕过冲。Wdi表示在当前级I处从权重金字塔输出的细节，并且可以包括与拉普拉斯函数相关联的二阶导数。也就是说，Wi可以包括图像的像素的一阶导数，并且Wdi可以包括图像的像素的二阶导数，并且表示相对于以上具有更高分辨率的层的图像的差。通过混合控制电路402生成的输出可以表示为：

Out＝(Wi*I1+(1-Wi)*I2)*A (1)

如图5所示，衰减因子A可以使用线性曲线来计算。根据一种实现方式，衰减值可以计算如下：

y＝1-m(x-t1), (2)

其中斜率m可以是：

m＝(1-Amin)/(t2-t1) (3).

因此，通过将级的标准输出乘以小于或等于1的衰减值A来衰减被识别为具有转变伪影的区域中的混合后的输出。根据一种实现方式，A的值可以等于1.0直到与Wdi值相关联的第一阈值t1为止，然后减小到最小Amin直到达到第二阈值t2为止。

为了确定t1和t2的值，确定了差图像Wd，其中

Wi-Wdi＝Wd, (4)

其中Wi可以是基于到低通滤波器(其输出是经下采样的图像)的输入图像的，并且Wdi是基于相应的经下采样的Wi图像的经上采样的版本的。根据一种实现方案，可以在例如拉普拉斯变换之后生成Wdi值(以基于相同分辨率的图像来生成差图像)。选择t1和t2的值，使得所得到的差图像Wd避免亮区域和暗区域之间的转变边缘处的光晕效应。虽然可以采用拉普拉斯技术，但也可以使用其它技术(诸如小波分解)。

图5的曲线图的参数(即，可控阈值Amin、t1和t2)可以是可调的，并且对于金字塔的每个级可以是不同的。混合控制电路402在细节输入被混合时提供衰减因子。在金字塔的最高级处，细节信息还包含关于图像纹理和精细细节的重要信息。可以选择性地应用使用Wdi值进行混合的技术。例如，可以不在一个或多个高分辨率级应用该技术以避免丢失这些重要细节。还可以基于场景来改变参数，其中针对场景来优化参数。根据一种实现方式，可以存储参数库，其中基于对场景的特征的确定来选择来自库的参数组。当图像进入时，参数可以(例如在逐图像基础上)被选择以被应用于执行混合。

现在转至图6，其示出了被混合以形成具有减少的光晕效应的输出图像的示例图像。如图6所示，如上所描述，混合控制块接收两个图像602和604，并且接收权重映射606以生成输出图像608。可以看出，在所生成的输出图像608中的亮区域和暗区域之间的硬转变具有减少的光晕效应。

现在转至图7，其是示出了处理合成图像中的图像数据的方法的流程图。在块702处，诸如通过使用如上所述的Wdi值来分析合成图像的图像的多级混合。在块704处，识别合成图像的锐化转变边界区域。在块706处，在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减。在一些情况下，在特定级可以不应用衰减。在块708处，在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

根据一些实现方式，分析图像的多级混合可以包括分析合成图像的图像的金字塔混合。该方法还可以包括在多个级中的预定级处选择性地应用衰减，包括使用可控阈值应用衰减。例如，可控阈值可以包括用于开始衰减的第一阈值、用于结束衰减的第二阈值以及在衰减期间被应用的最小衰减值。不同的可控阈值可以被应用于合成图像的图像的金字塔混合的不同级。该方法还可以包括：在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减之后，生成合成图像的图像的混合后的输出。虽然描述了方法的特定要素，但是应理解，该方法的附加要素或与要素相关的附加细节可以根据图1-6的公开内容来实现。

因此，光晕衰减技术可以被实现为对传统的混合标准算法的修改。然而，相同的技术可以被应用在其中基本级图像和细节级图像之间存在区别的任何混合算法中。对较低分辨率下的细节的修改减少了光晕效应，因为光晕是影响场景中非常高程度的转变的伪影。该技术在高动态范围成像(其中捕获多个曝光以增加组合图像输出的动态范围)的背景之下被提出。该技术还可以用于在例如组合闪光和无闪光(no flash)图像时帮助减少伪影。该技术避免了在不同曝光之间的转变区域周围的过冲和欠冲。

因此，可以理解，已经描述了用于实现具有有焦距相机的设备的新的电路和方法。所属领域技术人员应理解，将存在并入有所公开的发明的多种备选方案和等效方案。因此，本发明不受前述实现方式的限制，而是仅受所附权利要求的限制。

Claims

1.一种处理合成图像中的图像数据的方法，所述方法包括：

分析合成图像的图像的多级混合；

识别合成图像的锐化转变边界区域；

使用处理器，在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及

使用处理器，在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

2.根据权利要求1所述的方法，其中，分析图像的多级混合包括分析合成图像的图像的金字塔混合。

3.根据权利要求2所述的方法，其中，对合成图像的多级混合的较高级应用较少的衰减以及对合成图像的多级混合的较低级应用较多的衰减包括：在较高级和较低级的预定级处选择性地应用衰减。

4.根据权利要求1所述的方法，其中，对合成图像的多级混合的较高级应用较少的衰减以及对合成图像的多级混合的较低级应用较多的衰减包括：使用可控阈值应用衰减。

5.根据权利要求4所述的方法，其中，所述可控阈值包括用于开始衰减的第一阈值、用于结束衰减的第二阈值以及在衰减期间被应用的最小衰减值。

6.根据权利要求4所述的方法，其中，不同的可控阈值被应用于合成图像的图像的金字塔混合的不同级。

7.根据权利要求1所述的方法，还包括，在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减之后，生成合成图像的图像的混合后的输出。

8.一种用于增强图像质量的设备，所述设备包括：

处理器电路，所述处理器电路被配置为：

分析合成图像的图像的多级混合；

识别合成图像的锐化转变边界区域；

在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减；以及

在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减。

9.根据权利要求8所述的设备，其中，分析图像的多级混合包括分析合成图像的图像的金字塔混合。

10.根据权利要求9所述的设备，其中，对合成图像的多级混合的较高级应用较少的衰减以及对合成图像的多级混合的较低级应用较多的衰减包括：在较高级和较低级的预定级处选择性地应用衰减。

11.根据权利要求8所述的设备，其中，对合成图像的多级混合的较高级应用较少的衰减以及对合成图像的多级混合的较低级应用较多的衰减包括：使用可控阈值应用衰减。

12.根据权利要求11所述的设备，其中，所述可控阈值包括用于开始衰减的第一阈值、用于结束衰减的第二阈值以及在衰减期间被应用的最小衰减值。

13.根据权利要求11所述的设备，其中，不同的可控阈值被应用于合成图像的图像的金字塔混合的不同级。

14.根据权利要求8所述的设备，还包括，在锐化转变边界区域中对合成图像的多级混合的较高级应用较少的衰减以及在锐化转变边界区域中对合成图像的多级混合的较低级应用较多的衰减之后，生成合成图像的图像的混合后的输出。

15.一种包括程序代码的计算机可读存储介质，所述程序代码在由处理器执行时使得装置执行权利要求1-7中的任一项。