CN117934311A - 用于图像处理的方法 - Google Patents

Abstract

用于图像处理，特别是降噪的方法，包括：优选地通过图像传感器获取多个帧；确定每个帧的噪声信息；将多个帧组合为组合图像；从每个帧的噪声信息确定组合图像的残差噪声图；以及基于残差噪声图降低组合图像的噪声，以生成最终的图像估计。

Description

用于图像处理的方法

技术领域

本发明涉及用于图像处理的方法，特别地涉及降噪。此外，本发明涉及实施这种方法的装置和包括这种装置的终端设备。此外，本发明还涉及软件。

背景技术

存在很多方法以降低图像的噪声。其中，特别是在现代移动设备中，使用多帧降噪管道，其中单个场景的多个帧被获取并叠加或融合以降低噪声。因此，通过将图像的像素与来自任何其他帧的像素进行组合，可以减少图像中像素的噪声。此方法对场景中的非移动对象效果很好，但仍然可能导致模糊的特征边缘。随着人工智能(AI)的到来，用于降噪的算法也被熟知。特别地，对于多帧降噪，将相同或相似场景的数个帧输入到AI算法中，并对AI算法进行充分的训练，以降低噪声。然而，由于AI算法依赖于多个帧，必须处理大量的数据，并且AI算法背后的神经网络变得庞大和缓慢。

发明内容

因此，本发明的目的是提供一种用于图像处理的方法，特别是具有改进的降噪性能的降噪的方法。

通过根据权利要求1所述的方法，根据权利要求13所述的装置，根据权利要求14所述的终端设备和根据权利要求15所述的软件存储设备来解决问题。

根据本发明的用于图像处理特别是降噪的方法包括以下步骤：

优选地通过图像传感器获取多个帧；

确定每个帧的噪声信息；

将多个帧组合为组合图像；

从每个帧的噪声信息确定组合图像的残差噪声图；以及

基于残差噪声图对组合图像进行降噪，以生成最终的图像估计。

因此，在第一步中获取多个帧。获取多个帧可以由图像传感器执行，图像传感器是实施实体的一部分，或者可以是任何其他相机的一部分，使得多个帧被传送到实施根据本发明的方法的实体。其中，从相同或相似的场景获取至少两个帧。特别地，多个帧是场景在不同时间的至少部分重叠的图像。因此，多个帧从相同的场景连续地获取并因此可以具有重叠的图像内容，但也可以由于场景中对象的移动或在获取多个帧时相机的移动而具有差异。特别地，每个帧包括噪声，例如可以是加性高斯白噪声或信号相依的泊松高斯噪声。

对于每个帧，确定噪声信息。其中，噪声信息可以包括噪声分布，例如，高斯分布、泊松分布或后两种或其他分布的混合。其中，噪声信息可以以一阶和二阶统计矩的形式提供，例如使用噪声的均值和方差。特别地，对于每个帧的每个像素，存在相应的噪声信息。其中，噪声信息可以从曝光时间、亮度、传感器模型等确定。特别地，一帧的噪声信息可以对于此帧的所有像素是相同或相似的。可替代地，可以单独地确定每个像素的噪声信息。其中，噪声信息可以将相应像素的噪声分布描述为连续值或离散值。

随后，多个帧被组合在单个组合图像中。可以通过常用的融合算法来组合多个帧，这可以是现有技术中的降噪算法的一部分。特别滴，本发明不依赖于具体的融合算法的选择。使用的融合算法接收多个帧，并生成单个组合图像。

在下一个步骤中，为组合图像确定残差噪声图，其中残差噪声图是从每个帧的噪声信息确定的。

通过融合算法融合在一起的那些像素将产生较高的信噪比(SNR)。SNR如何变化由可以融合多少个帧和如何进行融合来确定。得到的融合像素的SNR取决于融合的帧的噪声信息。特别地，残差噪声图包含组合图像的空间噪声信息。其中，通过残差噪声图，优选地在将多个帧组合到组合图像的过程中将残差噪声方差记录为噪声信息。因此，残差噪声图可以表示为组合图像中每个像素计算的残差噪声的方差。

在下一步中，基于残差噪声图，降低组合图像的噪声，以生成最终的图像估计作为方法的结果，其中最终的图像估计与组合图像相比没有噪声或具有降低的噪声。因此，使用残差噪声图以减少或消除组合图像的噪声。

因此，本发明仅使用单个图像即组合图像，用于在将多个帧融合为组合图像后的降噪。其中，也利用每个帧的噪声信息用于组合图像的降噪。其中，生成组合图像中每个融合的图像像素的噪声信息，使得其在数学上对于应用于图像的融合保持有效。这导致逐像素噪声特性，其精确地对应于组合图像。由于仅考虑组合图像用于降噪，因此要在降噪步骤中处理的数据被减少。同时，由于通过残差噪声图考虑了多个帧中的每个帧的噪声信息用于组合图像的降噪，因此提高了去噪性能。

优选地，由经训练的神经网络执行组合图像的降噪，其中神经网络仅接收组合图像和残差噪声图以生成最终的图像估计。因此，神经网络不需要考虑多个帧的大数据量，而是可以仅应用于组合图像。因此，可以减少和简化神经网络的要求和大小，其中如上所述，仍然提高去噪性能。

优选地，使用由训练图像和训练残差噪声图组成的对来训练神经网络。其中，通过将相应的残差噪声图应用于无噪声图像来生成训练图像，使得训练图像包括基于相应的训练残差噪声图的合成的噪声。残差噪声图可以被随机合成，以模拟由融合过程产生的噪声分布的空间变化。训练图像包括合成噪声并且相应的噪声图被应用于将要被训练的神经网络，神经网络的结果与用于评估和训练的无噪声图像相比较。

优选地，残差噪声图包含组合图像的空间变化的噪声信息。因此，残差噪声图包含依赖于生成组合图像时多个帧的组合或融合过程的噪声信息。其中，残差噪声图可以包含组合图像的区域的噪声信息。更优选地，残差噪声图包含组合图像的逐像素噪声信息。

优选地，从每个帧的噪声信息确定组合图像的残差噪声图包含调整帧的重叠区域/像素的噪声信息。其中，如果组合图像的像素是从不同的帧组合/融合的，则残差噪声图中的噪声信息被相应地调整。由于从不同的帧的像素的融合，减少了组合图像的相应的像素的噪声的方差，这被记录在该像素的残差噪声图中(在噪声信息的逐像素记录的情况下)或该像素所属的组合图像的相应区域的残差噪声图中(对于为组合图像的区域记录的噪声信息)。

优选地，在基于残差噪声图降低组合图像的噪声以生成最终图像估计之前，可以至少部分地操作残差噪声图。其中，对残差噪声图的操作可以由外部参数提供，并且可以影响整个残差噪声图或仅影响组合图像中相应部分和区域对应的残差噪声图的部分/区域。特别地，基于组合图像中像素的信噪比对残差噪声图进行像素级操作。因此，滤波强度可以根据操作后的残差噪声图进行调整。

优选地，操作残差噪声图被应用于一个或多个感兴趣区域，其中优选地，感兴趣区域由用户指示为外部参数或被检测到。其中优选地，感兴趣区域可以包括面部、前景对象、组合图像的背景等中的一个或多个。因此，特别地，可以通过操作残差噪声图的相应区域来操作感兴趣区域中的一个或多个。因此，可以增强或降低这些区域的降噪。其中，感兴趣区域的检测可以依赖于边缘检测、图像识别或图像参数，诸如颜色、亮度、对比度等。

优选地，在硬件中实现将多个帧组合成组合图像。特别地，当在硬件(即处理器，FPGA，ASIC，DSP等)中实现时，将多帧组合为一个组合图像的算法可以被加速。

优选地，从每个帧的噪声信息确定组合图像的残差噪声图被实现为软件。由于残差噪声图的性质，计算可以在软件中实现。

优选地，方法被实现为任何ISP的一部分，并且可以以各种方式实现，诸如硬件(HW)、软件(SW)、专用加速器诸如数字信号处理器(DSP)、神经处理单元(NPU)或这些的任何组合。

在本发明的另一方面，提供了一种装置，包括存储器和处理器，其中存储器存储指令，当由处理器执行指令时，执行上述方法的步骤。其中，装置可包括用于图像处理的一个或多个处理器，其中方法的特定任务在不同的处理器上执行。其中，处理器可以被构建为FPGA、ASIC、DSP等。

在本发明的另一方面，提供一种终端设备，诸如智能手机、平板电脑等，包括用于获取多个帧的图像传感器以及前面所述的装置。

在本发明的另一方面，提供一种软件存储设备，存储指令。当由处理器执行指令时，执行上述方法的步骤。

附图说明

在下文中，参照附图更详细地描述本发明。

图1是根据本发明的方法的流程图，

图2是根据本发明的方法的示意图，

图3A和3B是根据本发明的方法与现有技术的比较，

图4A和4B是根据本发明的方法的方面的详细表示，

图5是根据本发明的训练的示意图，

图6是根据本发明的装置，以及

图7是根据本发明的终端设备。

具体实施方式

本发明提供了一种用于图像处理的方法，特别是用于捕获的图像的降噪的方法。本发明被示意性示出在图1中。

在步骤S01中，优选地通过图像传感器获取多个帧。

在步骤S02中，确定每个帧的噪声信息。

在步骤S03中，将多个帧组合为组合图像。

在步骤S04中，根据每个帧的噪声信息确定组合图像的残差噪声图。

在步骤S05中，基于残差噪声图对组合图像进行降噪，生成最终的图像估计。

因此，在步骤S01中获取多个帧。获取多个帧可以由图像传感器执行，图像传感器是实施实体的一部分，或者可以是任何其他相机的一部分，使得多个帧被传送到实施根据本发明方法的实体。其中，从相同或相似的场景获取至少两个帧。特别地，多个帧是场景在不同时间的至少部分重叠的图像。因此，多个帧从同一场景连续地获取并且因此可以具有重叠的图像内容，但由于场景中对象的移动或在获取多个帧时相机的移动也可以具有差异。特别地，每个帧包括噪声，例如可以是加性高斯白噪声或信号相依的泊松高斯噪声。

在步骤S02中，对于每个帧，确定噪声信息。其中，噪声信息可以包括噪声分布，诸如高斯或正态分布、泊松分布等中的一个或多个。其中，噪声信息可以包括噪声分布，例如，高斯分布、泊松分布或后两种或其他分布的混合。其中，噪声信息可以以一阶和二阶统计矩的形式提供，例如使用噪声的均值和方差。特别地，对于每个帧的每个像素，存在相应的噪声信息。其中，噪声信息可以从曝光时间、亮度、传感器模型等确定。特别地，对于每个帧的每个像素，存在相应的噪声信息。其中，噪声信息可以从曝光时间、亮度、传感器模型等确定。特别是，一帧的噪声信息可以对于此帧的所有像素是相同或相似的。可替代地，可以单独地确定每个像素的噪声信息。

在步骤S03中，将多个帧组合为单个组合图像。可以通过常用的融合算法来组合多个帧，这可以是现有技术中的降噪算法的一部分。特别地，本发明不依赖于融合算法的具体选择。使用的融合算法接收多个帧并生成单个组合图像。

在步骤S04中，针对组合图像确定残差噪声图，其中从每个帧的噪声信息确定残差噪声图。通过融合算法融合在一起的那些像素将产生较高的信噪比(SNR)。其中，通过残差噪声图，优选地在将多个帧组合到组合图像的过程中将残差噪声方差记录为噪声信息。SNR如何变化由可以融合多少个帧和如何进行融合两者来确定。得到的融合像素的SNR取决于融合的帧的噪声信息。特别地，残差噪声图包含组合图像的空间噪声信息。

在步骤S05中，基于残差噪声图降低组合图像的噪声，以生成最终的图像估计作为方法的结果。因此，使用残差噪声图来降低组合图像的噪声。

因此，本发明仅使用单个图像即组合图像，用于将多帧图像融合为组合图像后的降噪。其中，也利用每个帧的噪声信息用于组合图像的降噪。其中，生成组合图像中每个融合的图像像素的噪声信息，使得其在数学上对于应用于图像的融合保持有效。这导致逐像素噪声特性，其精确地对应于组合图像。由于仅考虑组合图像用于降噪，因此要在降噪步骤中处理的数据被减少。同时，由于通过残差噪声图考虑了多个帧中的每个帧的噪声信息用于组合图像的降噪，因此提高了去噪性能。

参见图2。在第一部分“1)输入”中，提供了多帧图像10和相应的噪声信息12。其中，多个帧10是场景在不同的后续时间的至少部分重叠的图像。其中，帧10可以被实施设备捕获或被提供给用于图像处理的设备。多个帧10的差异可能是由于捕获设备或相机的移动，或者场景中的移动对象造成的(如图3A和图3B所示例的)。在部分“2)暂时降噪”中进行基于多个帧10的图像的降噪，其中进行配准和翘曲14，以便重叠多个帧的图像内容。同时考虑了噪声信息。例如，噪声信息包含各个帧的噪声分布，或考虑在高斯或泊松分布(白噪声)的情况下此噪声分布的标准偏差。例如，如果帧在配准和翘曲以及融合16步骤中具有由相应的噪声信息指示的噪声的增加的可能性，则此帧在融合或组合多个帧10的过程中将被较少加权。融合16后，只生成单个的组合图像18，其由于融合16的暂时降噪被预去噪。同时，生成残差噪声图20，其中残差噪声图20包含来自各个帧的融合噪声信息。图4A和4B给出了示例。图4A示出具有像素信息44的组合图像40的简化表示，其中，图像40由各个像素信息44组成。图4B所示的残差噪声图42包含组合图像40的逐像素或至少逐区域的噪声信息46。例如，如果组合图像40中的像素43，如图4A所示，是由多个帧10中的至少两个帧的融合产生的，那么由于组合帧的相应噪声信息的融合，也产生了相应的逐像素的噪声信息43'。换句话说，如果示例像素43只从一帧中提取，而不与多个帧10中的其他帧相组合，那么生成的残差噪声图42中得到的像素信息43’就对应于一帧本身的初始像素噪声信息。通过各个像素的融合，降低了融合像素的SNR，并将其记录在残差噪声图中。

参考图2。在部分“3)单帧降噪”中，AI降噪22接收组合图像18和残差噪声图20，并基于组合图像18和残差噪声图20生成去噪图像24或最终的图像估计。AI降噪22可以是预先训练过的神经网络，诸如卷积神经网络。AI降噪22只接收单个图像，即组合图像18，而不是多个帧10。因此，本发明结合了用于时间降噪的多帧图像融合的去噪效果和在AI降噪22中实现的单帧降噪，提供了与现有技术相比增加的降噪性能，同时，与多帧AI降噪相比降低了计算需求。结果如图3A和3B所示，其中图3A示出现有技术的去噪技术的结果，其中图3B示出本发明的结果。从图中可以看出，自行车阴影的细节清晰可见，并且不像去噪伪影那样模糊。

参考图5示出了训练AI降噪22的示例性方式。首先，无噪声图像28与残差噪声图30一起被提供。从无噪声图像28和残差噪声图30中的一个，生成训练图像32，训练图像32包含基于相应的残差噪声图的合成的噪声。此合成的训练图像32和用于合成训练图像32中的噪声的残差噪声图30一起提供给AI降噪22。然后应用AI降噪22，以产生最终的图像估计或降噪图像24。最终的图像估计24与无噪声图像28进行比较，如箭头34所示。如箭头36所示，比较的结果被用作AI降噪22的反馈，以调适AI的神经网络。在对于每个残差噪声图30以及优选多个不同的残差噪声图用多个无噪声图像28进行充分的训练后，可以使用AI降噪22的神经网络。

参照图6示出了根据本发明的装置。装置50包括连接到存储器54的处理器52，其中存储器54包含指令，当由处理器52执行指令时，执行上述方法的步骤。其中，处理器可以被构建为中央处理单元、微控制器、ACIS、数字信号处理器(DSP)、FPGA等。特别地，装置50可包含多于一个处理器，其中方法的各个任务由不同的处理器执行。例如，将多个帧组合成组合图像可以由单个处理器执行，从而在硬件中实现，其中组合图像18的残差噪声图20的生成可以由存储在存储器54中的软件算法执行。

参考图7示出终端设备60，包括连接到存储器64的处理器62。此外，终端设备60包括图像传感器66，以便获取多个帧。此外，存储器64包含指令，当处理器执行该指令时，执行上述方法的步骤。其中，处理器62可以被构建为中央处理单元、微控制器、ACIS、数字信号处理器(DSP)、FPGA等。特别地，终端设备60可以包含多于一个处理器，其中方法的各个任务由不同的处理器执行。例如，将多个帧组合成组合图像可以由单个处理器执行，从而在硬件中实现，其中组合图像18的残差噪声图20的生成可以由存储在存储器54中的软件算法执行。

Claims (15)

1.一种用于图像处理的方法，特别是用于降噪的方法，包括：

优选地通过图像传感器获取多个帧；

确定每个帧的噪声信息；

将多个帧组合为组合图像；

根据每个帧的噪声信息确定组合图像的残差噪声图；以及

基于残差噪声图降低组合图像的噪声，以生成最终的图像估计。

2.根据权利要求1所述的方法，其中通过经训练的神经网络进行组合图像的降噪，其中神经网络接收组合图像以及残差噪声图以生成最终的图像估计。

3.根据权利要求2所述的方法，其中神经网络通过训练图像以及一个或多个训练残差噪声图训练，其中训练图像包括基于训练残差噪声图的合成噪声。

4.根据权利要求1至3中任何一个所述的方法，其中残差噪声图包含组合图像的空间变化的噪声信息。

5.根据权利要求1至4中任何一个所述的方法，其中从每个帧的噪声信息确定组合图像的残差噪声图包含调整帧的重叠区域/像素的噪声信息。

6.根据权利要求1至5中任何一个所述的方法，其中残差噪声图包含逐像素的噪声信息。

7.根据权利要求1至6中任何一个所述的方法，其中噪声信息包括噪声分布，优选是高斯分布、泊松分布或其混合，其中特别地，噪声信息是一阶统计矩以及二阶统计矩。

8.根据权利要求1至7中任何一个所述的方法，其中，在基于残差噪声图降低组合图像的噪声以生成最终图像估计之前，至少部分地操作残差噪声图，其中，优选地基于组合图像中像素的信噪比，逐像素地操作残差噪声图。

9.根据权利要求8所述的方法，其中操作残差噪声图被应用于一个或多个感兴趣区域，其中感兴趣区域优选地由用户指示或被检测。

10.根据权利要求9所述的方法，其中感兴趣区域包括面部、前景对象、背景中的一个或多个。

11.根据权利要求1至10中任何一个所述的方法，其中多个帧是不同时间的场景的至少部分重叠的图像。

12.根据权利要求1至11中任何一个所述的方法，其中在硬件中实现将多个帧组合为组合图像，和/或其中在软件中实现从每个帧的噪声信息确定组合图像的残差噪声图。

13.一种包括存储器以及处理器的装置，其中存储器存储指令，当处理器执行所述指令时，执行根据权利要求1至12中任何一个所述的方法的步骤。

14.一种终端设备，包括获取多个帧的图像传感器以及根据权利要求13所述的装置。

15.一种软件存储设备，存储指令，当由处理器执行指令时，执行根据权利要求1至12中任何一个所述的方法的步骤。