CN113724144A - 一种图像处理方法及终端设备上的图像信号处理器 - Google Patents

Abstract

本公开公开了一种图像处理方法，包括以下步骤：从图像传感器获取初始图像数据；将图像数据解构为N个图像金字塔层，其中，N为大于2的整数；将k＝N的图像金字塔层与k＝N‑1的图像金字塔层进行重构，以创建中间层，其中k＝N，...，1；将中间层与后续的图像金字塔层重构，以创建新的中间层，并重复该步骤，直到将最后一个中间层与k＝1的图像金字塔层进行重构，以生成最终图像；其中，对至少一个中间层和/或图像金字塔层应用色调映射算子。

Description

一种图像处理方法及终端设备上的图像信号处理器

技术领域

本公开涉及一种图像处理方法，特别是图像的色调映射过程，一种用于执行该方法的图像信号处理器(ISP，image signal processor)、以及一种包括该ISP的终端设备。

背景技术

如今的数码相机和图像传感器只能对现实生活中的动态范围中的有限范围进行采集。此外，所采集图像的观看环境，如移动设备显示装置、计算机显示装置、电视机等，可能它们支持的动态范围甚至比数码相机和图像传感器所能采集的范围更窄。

为了缓解这一问题，将色调映射过程应用于所采集的图像数据。色调映射是将代表相对高动态范围的图像像素映射到动态范围相对较低的观看环境(即显示媒介)的过程。在此过程中，色调映射过程负责使图像的呈现尽可能接近真实世界场景。其中色调映射是从采集图像数据到将最终图像呈现给观众之间的图像处理的关键模块之一，它负责改变图像的对比度和亮度，以成功地将现实世界的原始高动态范围转换/映射到在低动态范围的显示装置上显示的图像。

尤其是，众所周知，基于金字塔的色调映射算法可以用来增强图像的动态范围。因此，图像数据被解构为多个(N个)级或层。例如，在高斯-金字塔算法中，第一级是初始图像数据的高斯(Gaussian)滤波图像，其分辨率较初始图像数据为低。第二级是第一级的高斯滤波图像，其分辨率相对于第一级为低，以此类推直到顶级。其他滤波器，例如拉普拉斯(Laplacian)滤波器，可以代替高斯-滤波器用于将初始图像数据解构为多个级。随后，一级或多级的对比度被相应地调整，之后从顶级开始，这些级被重构以形成具有增强动态范围的最终图像。然而，由于数字成像传感器和图像观看媒介(即显示装置)的动态范围有限，通常对场景进行欠曝光，这是以欠曝光的暗影区域为代价来避免高亮部分的烧蚀或饱和。因此，已知的映射算法导致最终图像具有细节丢失和动态范围不足这些不可接受的结果。

发明内容

本公开的目的是提供一种图像处理方法，特别是一种提高最终图像动态范围的色调映射方法。

以上问题由权利要求1的图像处理方法、权利要求14的ISP和权利要求15的终端设备来解决。

根据本公开的图像处理方法，特别是图像色调映射算法，包括以下步骤：

从图像传感器获取初始图像数据；

将图像数据解构成N个图像金字塔层，其中，N为大于2的整数；

将k＝N的图像金字塔层(即顶层)与k＝N-1的图像金字塔层进行重构，以创建中间层，其中，k＝N，...，1；

将中间层与后续的图像金字塔层进行重构，以创建新的中间层，并重复该步骤，直到将最后的中间层与k＝1的图像金字塔层进行重构，以生成最终图像。其中，k＝N的图像金字塔层也被表示为顶层，并且k＝1的图像金字塔层被表示为底层。重构开始时，k＝N的图像金字塔层(即顶层)与随后的k＝N-1的图像金字塔层进行重构。通过对这两层的重构，就会产生一中间层。这个中间层是下一个重构步骤的起点，与随后的k＝N-2的图像金字塔层进行重构，以创建新的中间层，这个中间层是下一个重构步骤的起始层，以此类推。这个过程一直持续到达到k＝1的图像金字塔层(即底层)。在这一步骤中，最新的中间层与k＝1的图像金字塔层(即底层)进行重构，以生成最终图像。其中，N是大于2的整数。

根据本公开，色调映射算子被应用到至少一个中间层上。如此，通过上述重构N个图像金字塔层的步骤产生的至少一个中间层的色调被改变或操控。通过将色调映射算子应用于中间层，通过影响初始图像数据的期望色调(亮度、中间色调或阴影)，可以在最终图像中，以直观和令用户愉悦的方式，定制最终图像的显示。因此，通过本公开的色调映射算子可以使阴影区域变亮，在相对明亮的区域中的黑暗物体可以不受影响，既不会产生伪影也不会损失对比度。

可选地，色调映射算子应用于至少两个或更多中间层，甚至更可选地应用于每个中间层。因此，色调映射被分配在各中间层上，以实现期望的结果。其中，色调映射可以根据控制算法进行分配，该控制算法可以通过图像统计(例如图像的直方图)来分析图像的内容，或者可以执行基于AI的图像分类/分析。

可选地，色调映射算子被应用于初始图像数据和/或最终图像，以进一步调整最终图像的显示。此外或替选地，色调映射算子被应用于顶层，即k＝N的图像金字塔层。

可选地，将对比度操控应用于N个图像金字塔层中的至少一个、可选地应用于多于一个，更可选地应用于每一个。另外或替选地，将对比度操控应用于中间层中的至少一个、可选地应用于多于一个且更可选地应用于每一个。因此，通过将对比度操控应用于至少一个图像金字塔层或中间层，可以操控最终图像的对比度和/或进一步增强最终图像的动态范围。

可选地，色调映射算子被局部地应用于各中间层的子区域。其中，图像数据的子区域是比完整图像的面积小的区域。特别是，色调映射算子被应用于相应中间层之一的多于一个子区域。替选地，色调映射算子被全局地应用于完整的相应中间层。因此，为了具体控制最终图像的效果，局部或全局色调映射均是可行的。其中，可以将局部色调映射应用于一个或多个中间层，同时将全局色调映射应用于至少一个或多个其他中间层。因此，局部色调映射和全局色调映射可以自由选择并应用于不同的中间层。

可选地，对比度操控被局部地应用于图像金字塔层的子区域和/或中间层的子区域。其中，图像金字塔层的子区域和/或中间层的子区域是比完整的图像金字塔层和/或中间层的面积小的区域。特别是，对比度操控被应用于相应图像金字塔层的多于一个子区域和/或相应中间层的多于一个子区域。替选地，对比度操控被全局地应用于完整的各个图像金字塔层和/或中间层。因此，为了具体控制最终图像的效果，局部或全局的对比度操控均是可行的。其中，可以将局部对比度操控应用于一个或多个中间层和/或一个或多个图像金字塔层，同时将全局对比度操控应用于至少一个或多个其他中间层和/或图像金字塔层。因此，局部对比度调节和全局对比度调节可以自由选择，并且优选在上述亮度操控之外，将对比度调节应用于不同的中间层和/或图像金字塔层。

可选地，另外将色调映射算子应用于最终图像。另外或替选地，将色调映射算子应用于初始图像数据。

可选地，另外将对比度操控应用于最终图像。另外或替选地，对比度操控被应用于初始图像数据。另外或替选地，对比度操控被应用于顶层，即k＝N的图像金字塔层。

可选地，重构是通过以下方式进行：

Img_k(i，j)＝L_k(i，j)，其中，k＝Top_level

这里，k＝N-1，...，1，

对于第N层：

Img_k(i，j)＝Upscale(Img_k+1(i，j))+L_k(i，j)，

其中，L_k(i，j)为k层的图像金字塔层，UPSCALE是k+1层与k层之间的分辨率自适应函数，IMG_k(i，j)是各中间层，IMG_k＝1是最终图像。这里，i，j用于描述图像中各像素的位置。

可选地，色调映射(tone-mapping)是以如下方式应用：

Img_k(i，j)＝ToneMapping(Img_k(i，j))。

如果色调映射被应用到其中一个中间层IMG_k上，如果色调映射直接被应用于其中一个图像金字塔层L_k(i，j)那么，色调映射将以如下方式应用：L_k(i，j)＝ToneMapping(L_k(i，j))。

可选地，图像数据被解构成拉普拉斯-金字塔(Laplacian-Pyramid)。这里，对于Laplacian-Pyramid，可选地，k＝1的图像金字塔层是将初始图像数据的分辨率降低后的拉普拉斯滤波图像，并且后续直到顶层的各图像金字塔层是将前一层的分辨率降低后的拉普拉斯滤波图像。当然，可以使用不同的滤波器将初始图像数据解构为各图像金字塔。特别是，在解构初始图像数据期间可以组合使用不同的滤波器。

可选地，将图像解构成多个图像金字塔层，其中顶层，即金字塔中的k＝N的图像金字塔层是原始图像的低分辨率表示，而下面的其他层则携带边缘信息。一些例子可以是基于拉普拉斯(Laplacian)变换和小波(Wavelet)变换的金字塔。

可选地，色调映射算子被实现为亮度操控。

可选地，亮度操控是由以下预定义函数之一给出的函数关系来实现：例如伽玛(Gamma)函数，如out＝in^Gamma(也称为Gamma校正)；或对比度增强的Sigmoid函数，如由以下公式给出：

其中，p是给定或预设的参数。这里，“in”指代的是输入像素，“out”指代的是各函数关系的输出像素。

可选地，应用的色调映射算子，特别是应用的亮度操控的确定依赖于场景内容的一个或多个参数，例如高/低对比度场景、人像或景观场景、室内场景、光源、移动物体等等。因此，色调映射算子或亮度操控可以适应具体的用户需求和/或给定的环境，以实现最终图像的预期效果。

可选地，应用的色调映射算子，特别是应用的亮度操控是由环境属性的一个或多个参数确定出，例如低/高动态范围、低/高勒克斯(lux)、图像传感器的总增益、图像的噪声、亮度直方图和用户偏好。因此，色调映射算子或亮度操控可以适应具体的用户需求和/或给定的环境，以实现最终图像的预期效果。

可选地，亮度操控以查找表(LUT，Look-up Table)来实现。其中，查找表可以是预定义的函数关系，也可以根据场景内容、环境属性、图像传感器的总增益、图像传感器的噪声、亮度直方图和用户偏好中的一个或多个生成。因此，通过查找表，提供了一种快速方法，以便将亮度操控应用到各自中间层或各自图像金字塔层。

可选地，初始图像数据和最终图像之间的总色调映射，特别是总亮度操控，被分配位于一个或多个中间层色调映射之间。因此，总色调映射，特别是总亮度操控可以被分配在至少两个中间层之间。这里，特别是总色调映射且尤其是总亮度操控可以以被均匀分配，从而对每个中间层施加相同的色调映射/亮度操控。替选地，至少两个色调映射或亮度操控可以是不相等的，那么总亮度操控将是不均匀分配的，以满足进一步的需求，并提供更高的自由度以实现最终图像的预期效果。这里，分配可以根据场景内容来确定，例如初始图像数据的整体亮度。可选地，对于较亮的图像，亮度操控可能是均匀分配的；而对于较暗的图像，亮度操控在不同地中间层之间可能是不均匀地分配地。这里，总色调映射可以根据控制算法进行分配，该控制算法可以通过图像的直方图等图像统计来分析图像的内容，或者可以执行基于AI的图像分类/分析。此外，对于亮度处理来说，如果能够将LUT分布在各层上，则不仅能够决定是否修改亮部、中间色调或阴影，而且还能够基于图像分析来控制上述这些调节方式以及控制上述这些调节针对的位置区域。例如，如果基于图像内容分析的决策表明阴影中的小细节应该被抑制而较大的细节应该被增强，这将可以通过本公开提出的解决方案来实现。

此外，本公开的目的是提供一种图像信号处理器(ISP，image signalprocessor)，其被配置为执行上述方法的各步骤。

此外，本公开的目的在于提供一种终端设备，包括被配置为执行前述方法步骤的ISP，以及与ISP连接的图像传感器，以获取图像数据并将图像数据提供给ISP作进一步处理。

附图说明

参照附图对本公开作进一步说明。附图如下：

图1是基于金字塔方式的色调映射过程的示例；

图2是根据本公开的第一实施例；

图3是根据本公开的第二实施例；

图4是根据本公开的查找表的确定；

图5是根据本公开的亮度操控的分配；

图6A至6C是根据本公开的结果的对比；

图7是对图6A至6C的对比的详细分析；

图8A至8C是根据本公开的最终图像的示例；

图9是根据本公开实施例的装置。

具体实施方式

图1示出了基于金字塔的色调映射过程的示例，该过程可以以输入图像作为初始图像数据、通过基于拉普拉斯-金字塔(Laplacian-Pyramid)的色调映射来实现，初始图像数据优选来自图像传感器。该图像数据被解构成具有N个图像金字塔层的图像金字塔。在图1给出的例子中，N＝4，其中对于基于Laplacian-Pyramid的图像金字塔，一个拉普拉斯滤波器被应用于输入图像的初始图像数据，这里，输入图像为k＝1的图像金字塔层，即底层。随后，在底层应用拉普拉斯滤波器，结合下采样步骤，生成下一个图像金字塔层，即k＝2的图像金字塔层。该步骤将进一步进行，直到达到k＝N的图像金字塔，即顶层。其中，数字N可以取决于输入图像的分辨率，也可以取决于诸如计算能力等其他参数来选择。之后，拉普拉斯图像金字塔从顶层开始逐层重构，直至底层；其中，在重构过程中，对重构过程中产生的中间层进行亮度操控。当拉普拉斯图像金字塔的所有层被重构后，生成的最终图像包括一个改进的动态范围。其中，阴影区域被照亮，相对明亮区域的黑暗物体将保持不变，且并不会降低图像中的对比度。

图2为本公开的方法的示意图。在第一步骤S01中，从图像传感器获取初始图像数据。

在步骤S02中，将初始图像数据解构为N个图像金字塔层，其中，N为大于2的整数。

在步骤S03中，首先将k＝N的图像金字塔层与k＝N-1的图像金字塔层进行重构，以创建中间层；随后，将中间层与随后的k＝N-2的图像金字塔层进行重构，以创建新的中间层，并对k＝N-2，...，1重复该步骤，直到将最后一个中间层与k＝1的图像金字塔层进行重构，以生成最终图像，其中色调映射算子被应用到至少一个中间层上。

拉普拉斯金字塔的重构被描述如下：

Img_k(i，j)＝Upscale(Img_k+1(i，j))+L_k(i，j)，其中，k＝N-1，...，1

Img_k(i，j)＝L_k(i，j)，这里，k＝N，即顶层。

其中，L_k(i，j)为第k层的图像金字塔层，UPSCALE是第k+1层的图像金字塔层与第k层的图像金字塔层之间的分辨率自适应函数。IMG_k是各中间层，其中，k＝N，...，1，IMG_k＝1是最终图像。此外，i，j表示各图像的像素位置。

在对图像金字塔进行重构的过程中，在重构某一级并生成相应的中间层后，在继续重构下一级之前，先对生成的中间层进行色调映射。这个附加的步骤是以如下方式实现：

Img_k(i，j)＝ToneMapping(Img_k(i，j))。

在此，色调映射算子可应用于多个中间层中的一个。可选地，色调映射算子被应用于多于一个中间层，并且可选地应用于每个中间层。在这种情况下，在一图像金字塔层与前一个中间层重构之前，将色调映射算子应用于前一个中间层。图3中示意性地描述了这种情况，其中在步骤S031中，k＝N的图像金字塔层与k＝N-1的图像金字塔层被重构以创建中间层。在步骤S032中，对中间层应用第一色调映射算子。之后，在步骤S033中，将被调节后的中间层与k＝N-2的图像金字塔层重构，以创建新的中间层。在步骤S034中，在将新的中间层与下一个图像金字塔层重构之前，对该新的中间层应用进一步的色调映射算子。将这些步骤重复进行，直到在步骤S035中将最后的中间层与k＝1的图像金字塔层(即底层)进行重构，以生成最终图像。因此，在通过将前一个中间层与各金字塔图像层重构而创建新的中间层的每一个步骤之后，一个色调映射算子被应用到这个新的中间层。

这里，色调映射算子可以被实现为亮度操控。亮度操控可以被提供为以下之一：函数关系、Gamma函数(也称为Gamma校正)、或对比度增强的Sigmoid函数。

可选地，亮度操控以查找表(LUT)的形式提供。

如图4所示，亮度操控可以被实现为亮度控制，该亮度控制被配置为针对每个层生成独立应用于该层上的LUT。其中，亮度控制可以考虑以下：应用的用户偏好或手动控制、调谐/配置参数以及帧信息，如勒克斯、增益、曝光信息、直方图等。基于上述信息与亮度控制一起，生成应用于各个图层的LUT。然而，本公开并不限于特定的LUT或亮度操控。

为达到期望的显示效果而被应用在图像上的整体亮度操控或总亮度操控，可以被分配在不同的层中。在图5中对此进行了展示。在图5的顶部，以应用于图像的总亮度操控为例。不同的LUT可以根据前文所述来实现。该总亮度操控被分配在一个或多个中间层的亮度操控之间。其中，总亮度操控可以均匀地分配在不同层之间。另外，总亮度操控可以被以不同的方式应用于不同的中间层。在这种情况下，不同层的LUT是不同的。

图6A显示了根据本公开的方法的示例，该方法通过在重构图像金字塔期间，使用被分配在各中间层中的亮度操控，来从左到右逐渐增强阴影区域。其中，图像的对比度被保留，只有阴影区域被增亮，由此增强了动态范围，并提供了令用户满意的真实场景的显示效果。

作为比较，图6B显示了在拉普拉斯金字塔的顶层应用亮度操控，来从左到右逐渐增强阴影区域，这将导致亮度分布不均和伪影，即产生欠曝光区域。同样，在图6C中显示了只对完成金字塔重构后的最终图像应用亮度操控，来从左到右逐渐增强阴影区域，这会提高图像的亮度，但没有提升图像的动态范围。

图7A显示了图6A中的中间图像(中等亮度)和右边图像(最亮)之间的比率图像。其中灰色区域显示了与原图像相比差异较大的像素，深色像素受到的影响则很小。类似地，图7B显示了图6B的中间图像(中等亮度)和右边图像(最亮)之间的比率图像，图7C显示了图6C的中间图像(中等亮度)和右边图像(最亮)之间的比率图像。从这个比较可以看出，通过本公开的方法，在进行重构时，通过对中间层应用亮度操控，可以很好地分离明/暗区域，如此，亮度操控只影响暗部区域，而亮部区域保持不变，以保留对比度。如图7A所示，本公开分别优于图6B、6C和7B、7C所示的其它替代方案。在图7B和7C中出现了欠曝光区域和对比度损失。图8A、8B和8C分别显示了根据与图6A、6B和6C对应的方法所得到的最终图像。图8A显示了本公开的最终图像，具有高动态范围而没有损失对比度，并且具有均匀分布的亮度而图像中不存在细节损失或欠曝光区域。图8B和图8C存在暗晕或对比度劣化，而图8A所示的本公开的方法能够在不产生伪影也不损失对比度的情况下操控亮度。

现在请参考图9，该图显示了实现上述方法的设备10。可选地，上述方法在处理器12中实现，例如ISP、应用专用集成电路(ASIC，application-specific integratedcircuit)和现场可编程门阵列(FPGA，Field Programmable Gate Array)、通用处理器或图形处理器。此外，该方法可以是通过硬件实现的，也可以是通过软件实现的。可选地，处理器12连接到图像传感器14。图像传感器14可以是电荷耦合器件(CCD，Charge-CoupledDevice)传感器，可以是一个摄像头或类似的设备。通过图像传感器14可以获取初始图像数据。来自图像传感器14的该初始图像数据被传送到处理器12以根据本公开进行处理。可选地，处理器还连接到显示器16，以显示最终图像。

该设备10可以由任何一种终端实现，例如数码相机、智能手机、平板电脑、笔记本电脑或计算机等。此外，虽然在图9中图像传感器14、处理器12和显示器16被表示为在一个设备10中实现，但各个模块可以在多于一个设备中实现。因此，图像传感器14可以在智能手机中实现，以进行拍照。然后，由图像传感器14获取的初始图像数据可以通过通信连接传送到服务器或任何其他计算设备。服务器或其他计算设备可以包括处理器12以执行根据本公开实施例的方法。然后，最终图像可以被传送到智能手机、平板电脑或包括显示装置16的任何其他设备，以显示最终图像。这里，来自服务器或其他计算设备的最终图像可以被传送到获取初始图像数据的同一设备或其他设备。可选地，最终图像可以可选地存储在云存储或任何其他存储设备中，并且之后按需传送到显示设备，以显示最终图像。

Claims (15)

1.一种图像处理方法，包括：

从图像传感器获取初始图像数据；

将所述初始图像数据解构成N个图像金字塔层，其中，N为大于2的整数；

将k＝N的所述图像金字塔层与k＝N-1的所述图像金字塔层进行重构，以创建中间层，其中，k＝N，…，1；

将所述中间层与后续的所述图像金字塔层进行重构，以创建新的中间层，并重复该步骤，直到将最后的中间层与k＝1的所述图像金字塔层进行重构，以生成最终图像；

其中，色调映射算子被应用到至少一个中间层上。

2.根据权利要求1所述的方法，其特征在于，所述色调映射算子被应用于所述中间层中的每一个，和/或所述N个图像金字塔层中的每一个。

3.根据权利要求1或2所述的方法，其特征在于，所述色调映射算子被局部地应用于各所述中间层的子区域，和/或各所述图像金字塔层的子区域。

4.根据权利要求1或3所述的方法，其特征在于，所述色调映射算子被全局地应用于完整的各所述中间层。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述色调映射算子被应用于以下至少之一：所述最终图像；所述图像数据；k＝N的所述图像金字塔层。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述重构是通过以下方式进行：

IMG_k(i，j)＝UPSCALE(IMG_k+1(i，j))+L_k(i，j)，

其中，k＝N-1，...，1，并且，IMG_k(i，j)＝L_k(i，j)用于第N层的所述图像金字塔层，其中，L_k(i，j)为第k层的所述图像金字塔层，UPSCALE为第k+1层的所述图像金字塔层与第k层的所述图像金字塔层之间的分辨率自适应函数，IMG_k(i，j)为各所述中间层，IMG_k＝1为所述最终图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述色调映射算子是以如下至少一种方式应用：

IMG_k(i，j)＝ToneMapping(IMG_k(i，j))；

L_k(i，j)＝ToneMapping(L_k(i，j))。

8.根据权利要求1至7中任一项所述的方法，其特征在于，将所述图像数据解构成拉普拉斯-金字塔Laplacian-Pyramid，其中，k＝1层是将所述图像数据的分辨率降低后的拉普拉斯滤波图像，后续各层是将前一层的分辨率降低后的拉普拉斯滤波图像。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述色调映射算子被实现为亮度操控。

10.根据权利要求9所述的方法，其特征在于，所述亮度操控被实现为以下的其中之一：函数关系、伽玛Gamma函数、对比度增强的Sigmoid函数。

11.根据权利要求9或10所述的方法，其特征在于，所述亮度操控由以下至少一个参数确定：场景内容、环境属性、所述图像传感器的总增益、所述图像传感器的噪声、亮度直方图和用户偏好。

12.根据权利要求9至11中任一项所述的方法，其特征在于，所述亮度操控被实现为查找表。

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述图像数据和所述最终图像之间的总色调映射被均匀分配于一个以上的中间层色调映射之间。

14.一种图像信号处理器ISP，配置为执行权利要求1至13中任何一项的方法的步骤。

15.一种终端设备，包括根据权利要求14所述的图像信号处理器和连接到所述图像信号处理器的图像传感器，所述图像传感器用于获取所述图像数据并向所述图像信号处理器提供所述图像数据。

Images