CN113298735A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种图像处理方法、装置、电子设备和存储介质，所述方法包括：通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合所述多帧图像的增强图像；通过第二线程生成所述多帧图像中基准图像的景深图像；所述景深图像至少包括所述基准图像中背景区域的景深信息；根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。实施本申请实施例，能够并行处理画质增强和图像虚化的计算，在减少算法耗时的同时提升图像质量。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及影像技术领域，具体涉及图像处理方法、装置、电子设备及存储介质。

背景技术

目前，大部分智能手机等电子设备均具有拍摄功能。然而，受限于成像设备的硬件条件，拍摄到的图像可能存在欠曝、过曝等质量问题。为了提升图像质量，部分电子设备可通过软件算法对拍摄到的图像进行优化。然而，在实践中发现，图像本身的数据量较大，图像优化算法的计算量也较大，导致算法耗时过长。

发明内容

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够并行处理画质增强和图像虚化的计算，在减少算法耗时的同时提升图像质量。

本申请实施例公开一种图像处理方法，所述方法包括：通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合所述多帧图像的增强图像；通过第二线程生成所述多帧图像中基准图像的景深图像；所述景深图像至少包括所述基准图像中背景区域的景深信息；根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。

本申请实施例公开一种图像处理装置，包括：第一处理模块，用于通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合所述多帧图像的增强图像；第二处理模块，用于通过第二线程生成所述多帧图像中基准图像的景深图像；所述景深图像至少包括所述基准图像中背景区域的景深信息；虚化模块，用于根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。

本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任一项图像处理方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例公开的任一项图像处理方法。

与相关技术相比，本申请实施例具有以下有益效果：

通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合多帧图像的增强图像；通过第二线程生成多帧图像中基准图像的景深图像。景深图像至少包括基准图像中背景区域的景深信息，因此可以景深图像为基础生成虚化参数，并且利用虚化参数对已进行画质增强的增强图像进行虚化处理，最终生成的图像既包括画质增强效果，又具有图像虚化效果，图像质量得到提升。此外，通过两个不同的并行线程进行图像增强和图像虚化，可以同时进行图像增强和图像虚化的计算，有利于减少算法耗时。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一个实施例公开的一种图像处理电路的结构示意图；

图2是一个实施例公开的一种图像处理方法的流程示意图；

图3是一个实施例公开的一种通过第一线程进行画质增强处理的流程示意图；

图4是一个实施例公开的一种通过第二线程生成景深图像的流程示意图；

图5是一个实施例公开的另一种图像处理方法的流程示意图；

图6是一个实施例公开的另一种通过第二线程生成景深图像的流程示意图；

图7是一个实施例公开的另一种图像处理方法的流程示意图；

图8是一个实施例公开的一种增强图像中虚化区域的示例图；

图9是一个实施例公开的一种图像处理装置的结构示意图；

图10是一个实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，电子设备拍摄得到的图像质量容易受到场景亮度的影响。例如，在低照度场景容易导致拍摄到的图像画质欠曝光；在高亮场景容易导致拍摄到的图像画质过曝。为了减少场景亮度导致的图像质量问题，往往对拍摄到的图像进行画质增强处理。其中，画质增强处理的算法可包括但不限于高动态光照渲染(High-Dynamic Range，HDR)算法。

除了画质增强处理，在拍摄人像时为了烘托人像主体，电子设备往往也会对拍摄到的图像进行图像虚化处理。若拍摄到的图像既需要进行画质增强处理，又需要进行图像虚化处理，则电子设备一般会先对拍摄到的图像进行画质增强处理，并且以画质增强结果为基础及进行图像虚化。在实践中发现，诸如HDR算法等画质增强处理算法往往以多帧图像为处理对象，因此算法的计算量较大，算法耗时较长，从而导致图像处理的整体耗时过长。

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质能够并行处理画质增强和图像虚化的计算，在减少算法耗时的同时可以保证图像质量。以下分别进行详细说明。

请参阅图1，图1是一个实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于智能手机、智能平板、智能手表等电子设备，但不限于此。如图1所示，图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(Image Signal Processing，ISP)处理器140、逻辑控制器150以及显示器160。

图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，ISP处理器140可将自动曝光参数设置为多个不同的曝光值，并将自动曝光参数传输至控制逻辑器150。控制逻辑器150可根据自动曝光参数确定成像设备110的控制参数和姿态传感器120的控制参数。其中，可根据自动曝光参数至少确定曝光控制的积分时间，以使成像设备110可拍摄得到曝光值不同的多帧图像，并将多帧图像传输至ISP处理器140。

ISP处理器140可通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合多帧图像的增强图像。同时，ISP处理器140可通过第二线程从多帧图像中确定基准图像，并生成基准图像的景深图像，其中景深图像可至少包括基准图像中背景区域的景深信息。

在得到第一线程的增强图像和第二线程的景深图像之后，ISP处理器140可根据景深图像生成虚化参数，并利用生成的虚化参数对增强图像进行虚化处理。

请参阅图2，图2是一个实施例公开的一种图像处理方法的流程示意图，该方法可适用于前述任意一种电子设备，具体不做限定。如图2所示，该方法可包括以下步骤：

210、通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合多帧图像的增强图像。

线程可指进程中的实际运作单位，一条线程可指进程中一个单一顺序的控制流，一个进程中可以并行多个线程。第一线程和第二线程可为任意两个不同的并行线程，例如可以是同一个图像处理进程中两个并行的线程，但不限于此。

电子设备可根据不同的曝光值拍摄得到多帧图像。其中，上述的多帧图像的图像格式可为RAW图像、YUV图像或者RGB图像，但不限于此。多帧图像可包括曝光值较低的低曝光图像、曝光值较高的高曝光图像以及曝光值适中的正常曝光图像。低曝光图像的曝光值较低，曝光时间较短，低曝光图像的亮度较暗；高曝光图像的曝光值较高，曝光时间较长，高曝光图像的亮度较高；正常曝光图像的曝光值和曝光时长适中，图像亮度也适中。

电子设备可以在第一线程中对曝光值不同的多帧图像进行画质增强处理，画质增强处理可融合多帧图像中的信息，以得到画质提升的增强图像。画质增强处理算法可包括但不限于HDR算法、多帧降噪算法。

220、通过第二线程生成上述的多帧图像中基准图像的景深图像。

电子设备可以在得到曝光值不同的多帧图像之后进行基准图像的选取。可选的，基准图像可以为多帧图像中曝光值处于目标范围内的图像，目标范围可小于第一曝光值且大于第二曝光值。第一曝光值和第二曝光值可根据实际的业务需求设置，具体不做限定。示例性的，目标范围可根据业务经验设置为正常曝光图像对应的曝光值范围，即基准图像可为正常曝光图像。进一步可选的，第一曝光值还可为多帧图像中最大的曝光值，第二曝光值可为多帧图像中最小的曝光值。即，基准图像可为多帧图像中曝光值处于中间范围的图像。

需要说明的是，基准图像的确定可以在得到多帧图像之后，以及在步骤210和步骤220之前执行，而步骤210和步骤220可同时执行。

电子设备在确定出基准图像之后，可以通过第二线程生成基准图像的景深图像。景深图像可至少包括基准图像中背景区域的景深信息；或者，景深图像也可包括基准图像中各个像素点的景深信息。其中，景深信息可至少包括景深值，景深值用于指示背景区域中的物体与成像设备之间的物理距离。

电子设备可以在第二线程中对基准图像进行深度估计，以确定出基准图像中每个像素点的景深值等景深信息。电子设备可通过结构光、飞行时间(Time of Flight，TOF)、双目立体成像、单目相位检测、基于深度学习或者机器学习的单目深度估计等方法对基准图像进行深度估计，但不限于此。

示例性的，在通过结构光进行深度估计时，电子设备可投射特定的光信号到被拍摄的物体表面，由成像设备在拍摄图像的同时采集特定光信号的反射信息，从而根据物体表面带来的光信号变化计算物体的景深信息。

示例性的，在通过TOF进行深度估计时，电子设备可发射红外线等不可见光，并通过红外传感器等不可见光传感器捕捉不可见光被物体反射后的反射光信号，并根据不可见光从发射到接收所需的飞行时间确定被拍摄物体的景深信息。

示例性的，在通过双目立体成像进行深度估计时，电子设备可通过两个成像设备对同一个拍摄物体进行拍摄，并对两个成像设备拍摄得到的图像进行双目匹配和三角测量，从而基于三角原理确定被拍摄物体的景深信息。

示例性的，在通过基于深度学习或者机器学习的方法进行单目深度估计时，可采用monoDepth、SfMLearner、vid2depth、GeoNet等算法。

电子设备在得到基准图像中每个像素点的景深信息之后，可进一步在第二线程中根据景深图像中的景深信息确定出基准图像中的背景区域。其中，基准图像的背景区域像素点在景深图像中的景深值一般大于前景区域像素点在景深图像中的景深值。

可选的，可设置有景深阈值，电子设备可将景深值大于景深阈值的像素点识别为基准图像的背景区域像素点。其中，景深阈值可根据实际的业务需求设置，或者景深阈值也可根据景深图像中各个像素点的景深信息确定，例如景深阈值可为各个像素点景深值的中位数，具体不做限定。

230、根据景深图像生成虚化参数，并利用生成的虚化参数对增强图像进行虚化处理。

电子设备可根据景深图像中背景区域的景深信息生成虚化参数。其中，虚化参数作用于增强图像，可用于对增强图像进行虚化处理。虚化参数可包括但不限于：虚化等级或者虚化区域。

虚化等级可用于指示对图像区域进行虚化处理的程度的参数，虚化等级越高，虚化处理后的图像区域越模糊；反之，虚化等级越低，虚化处理后的图像区域越清晰。

示例性的，电子设备可获取景深图像中背景区域包括的各个像素点的景深值，并确定各个像素点的平均景深值，再根据平均景深值确定虚化等级，平均景深值可与虚化等级呈正相关关系，平均景深值越大，虚化等级越高，虚化处理后的图像区域越模糊。

示例性的，电子设备也可预先设置景深值与虚化等级之间的对应关系，电子设备可根据景深图像中背景区域包括的各个像素点的景深值，从上述的对应关系中查找出与各个像素点对应的虚化等级。

虚化区域可指增强图像中需要进行虚化处理的图像区域。电子设备在对增强图像进行虚化处理时，可对增强图像中的虚化区域进行虚化处理，其它图像区域可保持不变。

示例性的，电子设备可根据景深图像的背景区域确定增强图像的背景区域，并进一步将增强图像的背景区域确定为虚化区域，将增强图像中除背景区域以外的前景区域确定为保持不变的区域。其中，电子设备可将景深图像的背景区域直接确定为增强图像的背景区域，或者对景深图像的背景区域进行修正，将修正后的背景区域确定为增强图像的背景区域。

在本申请实施例中，增强图像中可包括一个或多个虚化区域，每个虚化区域对应的虚化等级可以相同，也可以不同，具体不做限定。

需要说明的是，基准图像和增强图像虽然为不同的图像，但基准图像和增强图像中前景区域和背景区域的分界类似，基准图像中各个像素点的景深信息与增强图像中各个像素点的景深信息也类似。因此，根据基准图像的景深图像生成的虚化参数可直接用于增强图像的虚化处理，也能够在增强图像上取得良好的虚化效果。

电子设备可以通过第一线程执行步骤230；或者，也可通过第二线程执行步骤230；或者，还可以在步骤210执行完毕时结束第一线程，在步骤220执行完毕时结束第二线程，并另外通过新的第三线程执行步骤230，具体不做限定。

示例性的，若通过第一线程执行步骤240，则可以在执行步骤220得到景深图像时，将第二线程中的景深图像传输至第一线程，通过第一线程根据景深图像生成虚化参数，并利用虚化参数对增强图像进行虚化处理。

示例性的，若通过第二线程执行步骤230，则可以在执行步骤210得到增强图像后，将第一线程中的增强图像传输至第二线程，通过第二线程根据执行步骤220得到的景深图像生成虚化参数，并利用虚化参数对增强图像进行虚化处理。

由于第一线程和第二线程可同时执行，第一线程中增强图像的生成时刻可能不同于第二线程中景深图像的生成时刻。若在图像生成时刻更晚的线程中执行步骤230，可以在生成景深图像或者增强图像的同时完成另一图像在不同线程之间的传输，有利于进一步减少算法整体的耗时。例如，当第一线程中的画质增强处理采用HDR算法等计算量较大的算法，而第二线程中的景深图像的生成采用TOF等计算量较小的算法时，第二线程中景深图像的生成时刻可能早于第一线程中增强图像的生成时刻。此时，若在第一线程中执行步骤230，则可以在通过第一线程生成增强图像的同时将第二线程中已生成的景深图像传输至第一线程，无需等待第一线程生成增强图像之后再传输。因此，第一线程生成增强图像后，可马上根据获取到的景深图像生成虚化参数，并利用虚化参数对生成的增强图像进行虚化处理。

可见，在前述实施例中，可通过两个不同的并行线程处理画质增强和图像虚化的计算，无需先进行画质增强，在画质增强结果的基础上计算虚化参数，而是可以利用景深图像计算虚化参数，有利于减少算法耗时。同时，生成的虚化参数仍然作用于画质增强的结果，即虚化参数可作用于增强图像，可以使得最终生成的图像既包括画质增强效果，又具有图像虚化效果，可以在减少算法耗时的同时保证图像质量。

为了更好地说明本申请实施例公开的图像处理方法。以下内容对第一线程和第二线程中执行的步骤进行说明。

请参阅图3，图3是一个实施例公开的一种通过第一线程进行画质增强处理的流程示意图。需要说明的是，图3所示的步骤可以通过第一线程执行，以下内容不再赘述。如图3所示，可包括以下步骤：

310、对曝光值不同的多帧图像分别进行亮度对齐、图像配准和运动目标检测。

亮度对齐，可指将曝光值不同，亮度不同的多帧图像调整为相同的亮度。

图像配准，可指识别多帧图像中同属于同一物体的像素点，并将属于同一物体的像素点确定为匹配点对。在图像拍摄时，由于抖动等原因，拍摄得到的多帧图像之间可能存在细微的差别，该差别可通过图像配准进行校正。示例性的，电子设备可从多帧图像中分别提取特征描述子，并根据提取出的特征描述子在多帧图像中进行特征匹配，得到匹配出的多个点对。电子设备可进一步对匹配出的多个点对进行筛选，如通过RANSAC算法从多个点对中去除一些匹配错误的点对，从而得到匹配点对。电子设备根据多帧图像中每帧图像之间的匹配点对计算变换参数，可根据变化参数对多帧图像进行图像配准。

运动目标检测，可指对处于运动状态的目标进行检测。

320、根据多帧图像中每帧图像的运动目标检测结果确定对多帧图像进行融合时的权重图。

运动目标检测结果可包括单帧图像中运动目标所在的图像区域，电子设备可为运动目标所在的图像区域赋予较低的融合权重，从而得到权重图。

330、根据权重图对曝光值不同的多帧图像进行图像融合，得到融合图像。

其中，电子设备通过执行步骤310-步骤330，可将曝光值不同的多帧图像合成为高动态范围的HDR图像。

340、将融合图像从高动态范围映射至低动态范围，以得到增强图像。

电子设备可通过色调映射(Tone-Mapping)等压缩算法将融合图像从高动态范围映射为低动态范围(Low-Dynamic Range，LDR)。可选的，若通过第一线程进行处理的多帧图像为RAW格式，则可以在将融合图像从高动态范围映射至低动态范围之后，进行图像格式转换，将RAW格式的低动态范围融合图像转换为RGB图像或者YUV图像，并将格式转换后的图像作为增强图像。

可见，电子设备可以在第一线程中融合曝光值不同的多帧图像生成增强图像，增强图像的光影层次饱满，过曝或欠曝的现象较少。在此基础上进一步对增强图像进行图像虚化，最终生成的图像既能烘托拍摄主体，又具有饱满的光影效果。

请参阅图4，图4是一个实施例公开的一种通过第二线程生成景深图像的流程示意图。需要说明的是，图4所示的步骤可以通过第二线程执行，以下内容不再赘述。如图4所示，可包括以下步骤：

410、识别基准图像中人像区域和头发区域，得到人像分割结果及发丝抠图结果。

电子设备可识别基准图像中的人像区域，得到人像分割结果。人像分割结果可为人像掩模，可用于指示基准图像中的人像区域。

其中，识别人像区域的方法可包括但不限于以下图像分割方法：基于图论的分割方法、基于聚类的分割方法、基于语义的分割方法、基于实例的分割方法、基于deeplab系列的网络模型的分割方法、基于U型网络(U-Net)的分割方法或者基于全卷积网络(FullyConvolutional Network，FCN)的分割方法。

或者，识别人像区域的方法也可包括但不限于以下人像抠图方法：泊松抠图(Poisson Matting)方法、基于贝叶斯理论的贝叶斯抠图(Bayes Matting)、基于数据驱动的机器学习抠图方法或者封闭式表面抠图方法等不使用深度学习的传统抠图方法，或者运用诸如卷积神经网络(Convolutional Neutral Network，CNN)等人工神经网络的基于深度学习的抠图方法。

电子设备还可识别基准图像的头发区域，得到发丝抠图结果。发丝抠图结果可为头发掩模，用于指示基准图像中的头发区域。

其中，可通过深度学习方法识别基准图像的头发区域。例如，可构建包括编码器和解码器的发丝识别模型，并利用发丝样本数据对发丝识别模型进行训练，使得发丝识别模型具有发丝识别能力，能够识别属于头发的像素点。发丝样本数据可包括人像数据和人像数据所携带的发丝掩模标签，发丝掩模标签用于指示人像数据中的头发区域。电子设备将基准图像输入至发丝识别模型，发丝识别模型可识别基准图像包括的各个像素点是否属于头发，从而可根据被识别为属于头发的像素点确定基准图像的头发区域。

在步骤410中，电子设备可分别识别基准图像的人像区域或者头发区域，即并行处理识别人像区域和识别头发区域的步骤。

或者，电子设备也可以先识别基准图像的人像区域，得到人像分割结果，再根据人像分割结果识别基准图像的头发区域。其中：

电子设备可识别基准图像的人像区域，得到人像分割结果。可选的，上述的人像分割结果可为三值的人像掩模，可用于指示基准图像的人像区域、背景区域以及人像区域或背景区域的交界区域。

电子设备再将人像分割结果与基准图像进行通道拼接，得到拼接图像。电子设备可进一步识别拼接图像的头发区域，作为基准图像的头发区域。基于人像分割结果和基准图像进行头发区域的识别，可以提高发丝识别的准确性。

示例性的，基准图像可为RGB图像，人像分割结果可为基准图像的三值掩模，三值掩模包括三种不同的像素值，分别对应于人像区域中像素点的像素值，背景区域中像素点的像素值、人像区域和背景区域的交界区域中像素点的像素值。电子设备在得到三值掩模之后，可将三值掩模拼接为基准图像除R、G、B通道以外的第4个通道，得到拼接图像。电子设备可将拼接图像输入至上述的发丝识别模型，并根据发丝识别模型输出的头发区域确定基准图像的头发区域。

420、对基准图像进行深度估计，得到基准图像的深度图像。

电子设备可通过结构光、飞行时间(Time of Flight，TOF)、双目立体成像、单目相位检测、基于深度学***面指导(From Big toSmall，BTS)的深度估计方法。

示例性的，可构建包括编码器和解码器的深度估计模型，并利用深度样本数据对深度估计模型进行训练，使得深度估计模型具有深度估计能力，深度游样本数据可包括人像数据和人像数据所携带的景深信息。电子设备将基准图像输入至深度估计模型，深度估计模型可计算基准图像包括的每个像素点对应的景深信息，从而得到基准图像的深度图像。

430、根据人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正，得到基准图像的景深图像。

深度图像包括基准图像中每个像素点对应的景深信息，因此电子设备可先根据景深信息确定深度图像的前景区域和背景区域，从而可进一步生成基准图像的景深图像。

示例性的，可设置有景深阈值，景深信息包括景深值；电子设备可将深度图像中景深值大于景深阈值的像素点识别为背景区域像素点；将景深值小于或等于景深阈值的像素点设置为前景区域像素点。

基于景深信息划分的前景区域和背景区域与实际的前景区域和背景区域可能存在一定误差。因此，电子设备可进一步利用人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正。在修正时，可以人像分割结果和发丝抠图结果为准。

示例性的，电子设备可将基于景深信息确定出的背景区域与人像分割结果指示的人像区域或发丝抠图结果指示的头发区域进行对比，若背景区域与人像区域或者头发区域存在重合区域，则将该重合区域修正为属于前景区域。或者，电子设备可将基于景深信息确定出的前景区域与人像分割结果指示的人像区域或发丝抠图结果指示的头发区域进行对比，若前景区域中包括人像区域或者头发区域中不存在的独有区域，则将该独有区域修正为属于背景区域。

可见，利用人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正，可以使得修正后深度图像的前景区域和背景区域的划分更加准确，而修正后的深度图像可作为基准图像的景深图像。因此，电子设备可生成既包含像素点的景深信息，又能准确指示基准图像的前景区域和背景区域的景深图像。

在前述实施例中，电子设备可以在第二线程中对基准图像分别进行人像识别、发丝识别和深度估计，并且可以融合人像分割结果、发丝抠图结果以及深度估计得到的深度图像生成景深图像。景深图像既包含像素点的景深信息，又能准确指示基准图像的前景区域和背景区域。因此，可以景深图像为基准生成准确的虚化参数。

示例性的，请参阅图5，图5是一个实施例公开的另一种图像处理方法的流程示意图。如图5所示：

曝光值不同的多帧图像可输入第一线程510，通过第一线程510进行HDR等画质增强处理，得到增强图像。

从曝光值不同的多帧图像中确定出基准图像，并将基准图像输入第二线程520。通过第二线程520分别识别基准图像的人像区域和头发区域，并对基准图像进行深度估计，再将人像分割结果、发丝抠图结果和深度估计得到的深度图像进行融合，得到景深图像。其中，如图5所示，可以先识别基准图像的人像区域，得到人像分割结果，再根据人像分割结果识别基准图像的头发区域。

电子设备可根据第二线程输出的景深图像生成虚化参数，并利用虚化参数对第一线程输出的增强图像进行虚化处理，最终得到的虚化图像中既包括画质增强效果，又具有图像虚化效果，可以在减少算法耗时的同时保证图像质量。

在一个实施例中，为了进一步减少算法耗时，前述步骤410和步骤420可通过第二线程中的两个不同的子线程并行处理。即，第二线程可包括：第一子线程和第二子线程。请参阅图6，图6是一个实施例公开的另一种通过第二线程生成景深图像的流程示意图。如图6所示，可包括以下步骤：

610、通过第一子线程对基准图像进行预处理，得到预处理后的基准图像。

电子设备可通过第一子线程对基准图像进行预处理，预处理可包括旋转、缩放、归一化等一种或多种操作。

旋转操作，可指将基准图像的某个像素点为中心旋转一定角度的操作。电子设备可根据基准图像的宽度和高度判断基准图像的拍摄方向，例如当宽度大于高度时，基准图像的拍摄方向为横拍；当高度大于宽度时，基准图像的拍摄方向为竖拍。或者，根据拍摄到基准图像的成像设备记录的拍摄方向值判断基准图像的拍摄方向。其中，拍摄方向可包括：横拍或者竖拍。

缩放操作，可指对基准图像的图像尺寸进行缩小或放大的操作。示例性的，若网络模型的输入图像的图像尺寸与基准图像的图像尺寸不一致时，电子设备可对基准图像执行缩小或放大的操作，以使缩小或放大后的基准图像的图像尺寸与网络模型的输入图像的图像尺寸一致。例如，若网络模型的输入图像的图像尺寸为640*480，则需要将基准图像的图像尺寸缩小或放大至640*480。前述的网络模型可包括但不限于：用于识别人像区域的人像分割模型、用于识别头发区域的发丝识别模型、用于进行深度估计的深度估计模型。

归一化操作，可指对基准图像中各个像素点的图像数据值映射到至[0,1]的范围内。归一化操作可包括：将基准图像中每个像素点对应的RGB三通道的数值进行先减均值再除方差的操作。示例性的，假设均值为127.5，则针对基准图像中任意一个像素点对应的RGB通道的数值X，先减均值再除方差的操作可通过以下公式表示：(X-127.5)/127.5。或者，归一化操作可包括：将基准图像中每个像素点对应的RGB三通道的数值直接除以255。示例性的，针对基准图像中任意一个像素点对应的RGB通道的数值X，直接除以255的操作可通过以下公式表示：X/255。

620、通过第一子线程识别基准图像的人像区域，得到人像分割结果。

630、通过第一子线程对人像分割结果进行归一化，将归一化后的人像分割结果与基准图像进行通道拼接，得到拼接图像，并识别拼接图像的头发区域，作为基准图像的发丝抠图结果。

电子设备在得到人像分割结果之后，以及将人像分割结果与基准图像进行通道拼接之前，还可先对人像分割结果进行归一化，以使归一化后的人像分割结果与归一化后的基准图像对应相同的数值范围。

640、通过第二子线程对预处理后的基准图像进行深度估计，得到基准图像的深度图像，并将第二子线程中的深度图像传输至第一子线程。

在本申请实施例中，发丝识别可以根据人像识别得到的人像分割结果以及基准图像进行，可以在同一个子线程中执行人像识别和发丝识别。

因此，电子设备在对基准图像进行预处理之后，可以将预处理后的基准图像分为两路数据：一路数据执行前述的步骤620-步骤630，在第一子线程中继续进行人像区域和头发区域的识别；另一路数据输入至第二子线程，执行前述的步骤640，在第二子线程中进行深度估计。由于第一子线程和第二子线程是两个并行的线程，因此第一子线程和第二子线程中的步骤可以同时执行。

需要说明的是，在一些可能的实施例中，若电子设备分别对基准图像进行人像识别和发丝识别，则第二线程也可包括三个并行的子线程。预处理后的基准图像可分为三路数据，分别输入至三个并行的子线程，电子设备可通过三个并行的子线程分别进行人像识别、发丝识别和深度估计。

650、通过第一子线程根据人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正，得到基准图像的景深图像。

电子设备可将第二子线程中的深度图像传输至第一子线程，并且在第一子线程中先根据及景深信息确定深度图像的前景区域和背景区域，再以第一子线程中识别出的人像分割结果和发丝抠图结果为准，对基于景深信息确定出的前景区域和背景区域进行修正，从而使得最终生成的景深图像既包含像素点的景深信息，又能准确指示基准图像的前景区域和背景区域，根据景深图像生成的虚化参数可以在增强图像上取得良好的虚化效果。

可见，在前述实施例中，在第二线程中，可通过两个并行的子线程进行人像和发丝的识别，以及进行深度估计，从而可以减少生成景深图像所需的耗时，有利于进一步减少图像处理算法整体的算法耗时。

请参阅图7，图7是一个实施例公开的另一种图像处理方法的流程示意图。如图7所示，可包括以下步骤：

710、通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合多帧图像的增强图像。

720、通过第二线程生成上述的多帧图像中基准图像的景深图像。

730、根据景深图像中背景区域的景深信息，将增强图像的背景区域划分为一个或多个虚化区域。

电子设备根据景深图像确定增强图像的背景区域，并根据景深图像中背景区域的景深信息对增强图像的背景区域进行划分。可选的，同一个虚化区域内的像素点在景深图像中对应的景深值之间的差值可以小于预设阈值；不同虚化区域内的像素点在景深图像中对应的景深值之间的差值可以大于或等于预设阈值。

示例性的，请参阅图8，图8是一个实施例公开的一种增强图像中虚化区域的示例图。如图8所示，增强图像的背景区域被划分为虚化区域810和虚化区域820。虚化区域810可为白色区域，虚化区域820可为包括线条的区域。其中，虚化区域810在景深图像中对应的景深值可大于虚化区域820。

740、根据各个虚化区域在景深图像中的景深信息，确定各个虚化区域的虚化等级，并根据虚化等级对各个虚化区域进行虚化处理。

电子设备在将增强图像的背景区域划分为各个虚化区域之后，可进一步根据虚化区域的景深信息确定虚化等级。即，各个虚化区域可对应有各自的虚化等级。其中，每个虚化区域的虚化等级可与虚化区域对应的景深信息呈正相关关系；或者，也可与虚化区域对应的景深信息呈负相关关系。

示例性的，请继续参阅图8，若虚化等级与虚化区域对应的景深信息呈正相关关系，则虚化区域810的虚化等级可大于虚化区域820的虚化等级。在虚化处理后，虚化区域810相较于虚化区域820更模糊。

750、根据虚化参数生成光斑渲染参数，并利用光斑渲染参数对增强图像的光斑图像进行光斑渲染处理。

电子设备还可对增强图像中的光斑图像进行光斑渲染处理，也可改善图像质量。其中，光斑渲染参数可包括但不限于：光斑渲染半径。

可选的，当虚化参数包括虚化等级时，光斑渲染半径可与虚化等级呈正相关关系。示例性的，虚化等级越高，光斑渲染半径越大。

当虚化参数包括虚化等级和虚化区域时，光斑渲染半径可根据光斑图像所在的虚化区域的虚化等级确定。示例性的，针对虚化等级越大的虚化区域，光斑渲染半径也越大。

需要说明的是，前述的步骤730-步骤740可以通过同一个线程执行，步骤750可以通过与步骤730-步骤740相同或者不同的线程执行。示例性的，步骤730和步骤740可以通过第一线程执行，步骤740可以通过第二线程执行。

可见，在前述实施例中，电子设备可通过两个不同的并行线程进行图像增强和图像虚化的计算，可以在减少算法耗时的同时提升图像质量。此外，在进行图像虚化处理时，电子设备还可以根据景深信息将待虚化的背景区域划分为不同的虚化区域，并利用各自对应的虚化等级对各个虚化区域进行虚化处理，有利于使得虚化效果过渡自然。更进一步地，还可以对图像进行光斑渲染，可以进一步提升图像质量。

请参阅图9，图9是一个实施例公开的一种图像处理装置的结构示意图，该图像处理装置可适用于前述的电子设备。如图9所示，该图像处理装置900，可包括：第一处理模块910、第二处理模块920、虚化模块930。

第一处理模块910，可用于通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合多帧图像的增强图像；

第二处理模块920，可用于通过第二线程生成多帧图像中基准图像的景深图像；景深图像至少包括基准图像中背景区域的景深信息。可选的，基准图像的曝光值可处于目标范围内，目标范围小于第一曝光值且大于第二曝光值。

虚化模块930，可用于根据景深图像生成虚化参数，并利用虚化参数对增强图像进行虚化处理。

在一个实施例中，第二线程可包括：第一子线程和第二子线程。

第二处理模块920，可包括：第一处理单元、第二处理单元和生成单元。

第一处理单元，可用于通过第一子线程识别基准图像中的人像区域和头发区域，得到人像分割结果及发丝抠图结果；

第二处理单元，可用于通过第二子线程对基准图像进行深度估计，得到基准图像的深度图像；深度图像包括基准图像中每个像素点对应的景深信息；

生成单元，可用于通过第二线程根据人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正，得到基准图像的景深图像。

在一个实施例中，第一处理单元，还可用于通过第一子线程对基准图像进行预处理，得到预处理后的基准图像；以及，通过第一子线程从预处理后的基准图像中识别出人像区域和头发区域；

第二处理单元，还可用于通过第二子线程对预处理后的基准图像进行深度估计，得到基准图像的深度图像。

在一个实施例中，第一处理单元，还可用于通过第一子线程识别基准图像的人像区域，得到人像分割结果；人像分割结果用于指示基准图像的人像区域、背景区域以及人像区域和背景区域的交界区域；以及，通过第一子线程对人像分割结果与基准图像进行通道拼接，得到拼接图像；以及，通过第一子线程识别拼接图像的头发区域，作为基准图像的发丝抠图结果。

在一个实施例中，第二处理单元，还可用于在通过第二子线程对基准图像进行深度估计，得到基准图像的深度图像之后，将第二子线程中的深度图像传输至第一子线程；

第一处理单元，还可用于通过第一子线程根据人像分割结果和发丝抠图结果对深度图像的前景区域和背景区域进行修正，得到基准图像的景深图像。

在一个实施例中，第一处理模块910，还可用于将第一线程中的增强图像传输至第二线程；

虚化模块930，还可用于通过第二线程根据景深图像生成虚化参数，并利用虚化参数对增强图像进行虚化处理。

在一个实施例中，虚化参数可包括：虚化等级和虚化区域。

虚化模块930，还可用于根据景深图像中背景区域的景深信息，将增强图像的背景区域划分为一个或多个虚化区域；以及，根据各个虚化区域在景深图像中的景深信息，确定各个虚化区域的虚化等级，并根据虚化等级对各个虚化区域进行虚化处理。

在一个实施例中，图像处理装置900，还可包括：光斑渲染模块。

光斑渲染模块，可用于根据虚化参数生成光斑渲染参数，并利用光斑渲染参数对增强图像的光斑图像进行光斑渲染处理。

可见，在前述实施例中，图像处理装置可通过两个不同的并行线程处理画质增强和图像虚化的计算，无需先进行画质增强，在画质增强结果的基础上计算虚化参数，而是可以利用景深图像计算虚化参数，有利于减少算法耗时。同时，生成的虚化参数仍然作用于画质增强的结果，即虚化参数可作用于增强图像，可以使得最终生成的图像既包括画质增强效果，又具有图像虚化效果，可以在减少算法耗时的同时保证图像质量。

请参阅图10，图10是一个实施例公开的一种电子设备的结构示意图。

如图10所示，该电子设备1000可以包括：

存储有可执行程序代码的存储器1010；

与存储器1010耦合的处理器1020；

其中，处理器1020调用存储器1010中存储的可执行程序代码，执行本申请实施例公开的任意一种图像处理方法。

需要说明的是，图10所示的电子设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种图像处理方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种图像处理方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合所述多帧图像的增强图像；

通过第二线程生成所述多帧图像中基准图像的景深图像；所述景深图像至少包括所述基准图像中背景区域的景深信息；

根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。

2.根据权利要求1所述的方法，其特征在于，所述第二线程包括：第一子线程和第二子线程；所述通过第二线程生成所述多帧图像中基准图像的景深图像，包括：

通过所述第一子线程识别所述基准图像中的人像区域和头发区域，得到人像分割结果及发丝抠图结果，并通过所述第二子线程对所述基准图像进行深度估计，得到所述基准图像的深度图像；所述深度图像包括所述基准图像中每个像素点对应的景深信息；

通过所述第二线程根据所述人像分割结果和所述发丝抠图结果对所述深度图像的前景区域和背景区域进行修正，得到所述基准图像的景深图像。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一子线程识别所述基准图像中人像区域和头发区域，并通过所述第二子线程对所述基准图像进行深度估计，得到所述基准图像的深度图像，包括：

通过所述第一子线程对基准图像进行预处理，得到预处理后的基准图像；

通过所述第一子线程从所述预处理后的基准图像中识别出人像区域和头发区域；

通过所述第二子线程对所述预处理后的基准图像进行深度估计，得到所述基准图像的深度图像。

4.根据权利要求2所述的方法，其特征在于，所述通过所述第一子线程识别所述基准图像中的人像区域和头发区域，得到人像分割结果及发丝抠图结果，包括：

通过所述第一子线程识别所述基准图像的人像区域，得到人像分割结果；所述人像分割结果用于指示所述基准图像的人像区域、背景区域以及人像区域和背景区域的交界区域；

通过所述第一子线程对所述人像分割结果与所述基准图像进行通道拼接，得到拼接图像；

通过所述第一子线程识别所述拼接图像的头发区域，作为所述基准图像的发丝抠图结果。

5.根据权利要求2所述的方法，其特征在于，在所述通过所述第二子线程对所述基准图像进行深度估计，得到所述基准图像的深度图像之后，所述方法还包括：

将所述第二子线程中的深度图像传输至所述第一子线程；

以及，所述通过所述第二线程根据所述人像分割结果和所述发丝抠图结果对所述深度图像的前景区域和背景区域进行修正，得到所述基准图像的景深图像，包括：

通过所述第一子线程根据所述人像分割结果和所述发丝抠图结果对所述深度图像的前景区域和背景区域进行修正，得到所述基准图像的景深图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理，包括：

将所述第一线程中的增强图像传输至所述第二线程；

通过所述第二线程根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。

7.根据权利要求1所述的方法，其特征在于，所述虚化参数包括：虚化等级和虚化区域；以及，所述根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理，包括：

根据所述景深图像中背景区域的景深信息，将所述增强图像的背景区域划分为一个或多个虚化区域；

根据各个虚化区域在所述景深图像中的景深信息，确定所述各个虚化区域的虚化等级，并根据所述虚化等级对所述各个虚化区域进行虚化处理。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述虚化参数生成光斑渲染参数，并利用所述光斑渲染参数对所述增强图像的光斑图像进行光斑渲染处理。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述基准图像的曝光值处于目标范围内，所述目标范围小于第一曝光值且大于第二曝光值。

10.一种图像处理装置，其特征在于，包括：

第一处理模块，用于通过第一线程对曝光值不同的多帧图像进行画质增强处理，得到融合所述多帧图像的增强图像；

第二处理模块，用于通过第二线程生成所述多帧图像中基准图像的景深图像；所述景深图像至少包括所述基准图像中背景区域的景深信息；

虚化模块，用于根据所述景深图像生成虚化参数，并利用所述虚化参数对所述增强图像进行虚化处理。

11.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。

Images