CN110378943A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：获取单目摄像头采集到的待处理图像；提取所述待处理图像的不同层次的图像特征；将所述不同层次的图像特征进行融合，得到融合特征；对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，深度分布特征图中各像素点的像素值为深度值。通过该方式获取单目摄像头采集图像的深度分布特征，不仅降低了获取深度分布特征的硬件设备要求，减少了硬件设备的计算量，且在通过深度分布特征进行图像虚化时，图像的真实度更高。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着社会潮流的不断发展，人们的审美意识不断发生变化，越来越多的人希望可以通过图像采集装置获得满足个人需求的图像。

为了能够实现对图像的处理得到不同效果，通常需要确定图像的深度。一种具体的应用是可以根据图像的深度进行虚化处理，如使图像人物突出背景虚化，或使图像背景突出人物虚化。

为了能够更好的处理图像，需要获知图像内容的不同深度。目前单目摄像头采集的图像仅具有一个深度。相关技术中采用基于分割的方法来区分出单目摄像头采集的图像深度。该方法主要原理是将像素划分为前景和背景，用前景和背景表示不同的深度，然后在原始图像上对背景像素进行虚化处理。但该方法对于背景的所有像素只有一种深度，导致图像虚化效果不真实。

此外，现有技术中还可以采用双目摄像机来确定图像中的不同深度，进而进行虚化。该方法中需要双目摄像机拍摄两张图像，然后根据两张图像的视差估算图像的深度。但是，该方法对硬件设备的要求较高，且计算量大，很难实时应用。

有鉴于此，需要一种新的图像处理方法，来确定图像的深度。

发明内容

本公开提供了一种图像处理方法、装置及电子设备、存储介质，用于至少解决相关技术中图像深度估计准确度差的问题。

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取单目摄像头采集到的待处理图像；

提取所述待处理图像的不同层次的图像特征；

将所述不同层次的图像特征进行融合，得到融合特征；

对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值。

可选的，所述将所述不同层次的图像特征进行融合，得到融合特征之前，还包括：

通过多尺寸的卷积核对所述不同层次的图像特征中最高层次的图像特征进行处理，得到超高层图像特征；

将所述不同层次的图像特征进行融合，得到融合特征，包括：

将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征。

可选的，所述将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征包括：

按照所述图像特征的层次由高到低的顺序依序执行特征融合操作，且每次进行所述特征融合操作后处理结果的输出通道数依序降低，其中，

第一次执行所述特征融合操作时，将所述超高层图像特征以及所述最高层次的图像特征进行特征融合，得到处理结果；

针对所述第一次执行所述特征融合操作之外的每一次所述特征融合操作，其输入信息均为上一次所述特征融合操作的处理结果以及相应层次的图像特征；

其中，所述特征融合操作的次数小于或等于所述不同层次的图像特征的层次总数；最后一次所述特征融合操作的处理结果的分辨率与所述待处理图像的分辨率相同。

可选的，所述融合特征具有至少两个通道，将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征，包括：

对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图。

可选的，所述对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值之后，还包括：

从所述待处理图像的所述深度分布特征图中获取选定的对焦点和待模糊像素点各自的深度值；

确定所述选定的对焦点和所述待模糊像素点的深度值的绝对差值；

根据确定的所述绝对差值，确定模糊半径；其中，所述模糊半径和所述绝对差值正相关；

根据所述模糊半径和预先选定的卷积核，确定模糊核；其中供选择的所述卷积核的形状包括至少两种；

对以所述待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。

可选的，所述对焦点的位置采用对焦框区域表示，所述获取选定的对焦点包括：

将所述待处理图像按照对焦框大小进行分割，得到图像块，并确定各所述图像块内像素点的深度统计值；

确定对焦框区域的取值范围为确定的所述深度统计值的取值范围；

接收所述对焦框区域的第一操作指令，所述第一操作指令中包括所述对焦框区域的取值；

根据所述第一操作指令，在所述待处理图像中选取指定图像块作为对焦框区域，其中，所述指定图像块内的像素点的深度统计值为所述第一操作指令中包括的对焦框区域的取值。

可选的，所述根据模糊半径和预先选定的卷积核，确定模糊核之前，所述方法还包括：

接收针对模糊半径的第二操作指令，所述第二操作指令中包括光圈值；

确定所述光圈值与确定的所述模糊半径的乘积作为最终的模糊半径。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

获取单元，被配置为获取单目摄像头采集到的待处理图像；

提取单元，被配置为提取所述待处理图像的不同层次的图像特征，

融合单元，被配置为将所述不同层次的图像特征进行融合得到融合特征；

处理单元，被配置为对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值。

可选的，所述装置还包括：

金字塔单元，被配置为在融合单元将所述不同层次的图像特征进行融合，得到融合特征之前，通过多尺寸的卷积核对所述不同层次的图像特征中最高层次的图像特征进行处理，得到超高层图像特征；

所述融合单元将所述不同层次的图像特征进行融合，得到融合特征，包括：

将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征。

可选的，所述融合单元被配置为：

按照所述图像特征的层次由高到低的顺序依序执行特征融合操作，且每次进行所述特征融合操作后处理结果的输出通道数依序降低，其中，

第一次执行所述特征融合操作时，将所述超高层图像特征以及所述最高层次的图像特征进行特征融合，得到处理结果；

针对所述第一次执行所述特征融合操作之外的每一次所述特征融合操作，其输入信息均为上一次所述特征融合操作的处理结果以及相应层次的图像特征；

其中，所述特征融合操作的次数小于或等于所述不同层次的图像特征的层次总数；最后一次所述特征融合操作的处理结果的分辨率与所述待处理图像的分辨率相同。

可选的，所述融合特征具有至少两个通道，所述融合单元被配置为：

对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图。

可选的，所述装置还包括：

模糊单元，被配置为在所述处理单元对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值之后，从所述待处理图像的所述深度分布特征图中获取选定的对焦点和待模糊像素点各自的深度值；

确定所述选定的对焦点和所述待模糊像素点的深度值的绝对差值；

根据确定的所述绝对差值，确定模糊半径；其中，所述模糊半径和所述绝对差值正相关；

根据所述模糊半径和预先选定的卷积核，确定模糊核；其中供选择的所述卷积核的形状包括至少两种；

对以所述待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。

可选的，所述对焦点的位置采用对焦框区域表示，所述装置还包括：

对焦点选定单元，被配置为将所述待处理图像按照对焦框大小进行分割，得到图像块，并确定各所述图像块内像素点的深度统计值；

确定对焦框区域的取值范围为确定的所述深度统计值的取值范围；

接收所述对焦框区域的第一操作指令，所述第一操作指令中包括所述对焦框区域的取值；

根据所述第一操作指令，在所述待处理图像中选取指定图像块作为对焦框区域，其中，所述指定图像块内的像素点的深度统计值为所述第一操作指令中包括的对焦框区域的取值。

可选的，所述装置还包括：

模糊半径确定单元，被配置为所述根据模糊半径和预先选定的卷积核，确定模糊核之前，接收针对模糊半径的第二操作指令，所述第二操作指令中包括光圈值；

确定所述光圈值与确定的所述模糊半径的乘积作为最终的模糊半径。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，用以实现如第一方面所述的方法。

根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开公开的一种图像处理方法、装置及电子设备、存储介质，首先通过单目摄像头采集到的待处理图像，然后提取待处理图像的不同层次的图像特征，之后将不同层次的图像特征进行融合，得到融合特征，最后对所述融合特征进行处理后得到所述待处理图像的深度分布特征图。通过该方式不仅降低了获取深度分布特征的硬件设备要求，减少了硬件设备的计算量，且在通过深度分布特征图进行图像虚化时，图像的真实度更高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本公开实施例提供的深度检测网络模型的结构示意图；

图2为本公开实施例提供的深度可分离卷积结构的示意图；

图3为本公开实施例提供的一种深度检测网络模型的结构示意图；

图4为本公开实施例提供的一种深度检测网络模型的结构示意图；

图5为本公开实施例提供的一种深度检测网络模型的结构示意图；

图6为本公开实施例提供的一种图像处理方法的流程示意图；

图7为本公开实施例提供的一种虚化处理方法的流程示意图；

图8为本公开实施例提供的确定选定的对焦点的流程示意图；

图9为本公开实施例提供的图像块的示意图；

图10为本公开实施例提供的图像虚化的界面示意图；

图11为本公开实施例提供的图像虚化效果的示意图；

图12为本公开实施例提供的一种图像处理装置的结构示意图；

图13为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应理解这样的描述在适当情况下可以互换，以便本公开的实施例能够以除了本公开的图示或描述的内容以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，为了确定图像的深度可通过基于背景分割的方法，该方法主要是通过卷积神经网络(Convolutional Neural Networks,CNN)对图像中的像素点进行分类。该方法中预测图像中每个像素的分类得分后，通过设置一个分数阈值将每个像素分为背景像素和前景像素，得到由背景和前景表示的两个深度。

然而基于分割的背景虚化，对不同场景图像的鲁棒性低，只能处理二分类的场景，如手机的人像模式。在进行虚化处理时，该方法得到的深度对复杂场景虚化效果不好；且对于背景的所有像素只有一种模糊程度，导致图像虚化效果不真实。此外，基于图像分割信息，只能聚焦前景，虚化背景，无法对其他深度范围进行聚焦和焦外虚化。

相关技术中，为了确定图像的深度还提供了基于双目视觉的深度估计方法，该方法通过两台摄像机拍摄得到两张图像后，由于两张图像的拍摄视角的差异，可通过立体几何学方法估算出图像深度。

该方法是基于双目摄像机进行深度估计，至少需要两台摄像机因此对硬件设备的要求较高，且在进行深度估计时需要通过立体几何的方法进行计算，导致计算量大，难以实时应用。

基于上述的特征，因此需要一种新的图像处理方法，来确定图像的深度。

本公开实施例中提供的原理说明如下：

本公开中图像深度估计的核心目的是根据输入的红绿蓝(Red、Green、Blue，RGB)颜色值生成对应的深度图，其中RGB代表红、绿、蓝三个通道的颜色，几乎包括了人类视力所能感知的所有颜色。然而对单目摄像头采集的图像的深度估计是一个不适定问题。因为同一张二维图像可能由无数个不同的三维场景投影得到。基于此，本公开提供一种深度检测网络模型。该网络模型为深度学习网络模型能够自动的学习二维图像中和深度相关的特征，例如透视和纹理信息、物体大小、物***置和遮挡等特征来解决前述不适定的问题。

为便于了解本公开实施例提供的技术方案，这里先对本公开实施例涉及的关键名词进行说明。该关键名词包括深度分布特征图，顾名思义，深度分布特征图中每个像素点的像素值为深度值，那么原二维图像中各像素点在深度分布特征图中能够找到与之对应的深度值。实施时，为了便于处理，深度分布特征图可以指与待处理图像深度数据对应的热力图或灰度图等，只要能够表达出不同的深度，均适用于本公开实施例。在了解深度分布特征图的含义后，下面为便于理解本公开中如何确定单目摄像头采集的图像的深度，对前述深度检测网络模型做进一步说明。该网络模型的训练样本是由基于单目摄像头采集的图像，并用图像中各像素点的深度分布特征图作为训练样本的标签得到的。通过训练样本对网络模型进行训练后，该网络模型能够从图像中提取出不同层次的图像特征，可包含从低层到高层之间的多个层次的图像特征，然后对不同层次的图像特征进行融合，得到既能包含低层特征又能够包含高层特征的图像特征。然后在预测阶段，该网络模型能够对融合的图像特征进行处理，得到图像的深度分布特征图。由于图像中每个像素点在深度分布特征图中都有对应的深度值，相对于基于分割的方法而言，本公开提供的图像处理方法能够预测得到图像中不同像素的深度，而不是简单的二分类为前景和背景。相对于基于双目视觉的深度估计方法而言，不需要使用昂贵的摄像设备，节约硬件成本，也不需要通过立体几何学方法估算图像深度，故此降低了计算量。

在本公开中，网络模型的训练样本是通过图像处理操作对训练样本进行处理得到的，其中，所述图像处理操作包括以下中的至少一种：图像对比度调整、旋转图像、随机剪裁图像、图像像素扰动。如：增加或降低图像的对比度、将图像左右旋转等方式。通过该方式不仅增加了训练样本的数量，也降低了模型受外界因素干扰的程度，例如前述对比度的调整，对于低光照和低对比度的图像具有良好的深度预测效果。旋转图像、随机剪裁图像、随机剪裁图像等使得训练样本能够涵盖图像的一些简单变形的样本，使得训练的网络模型能够适用于具有简单变形的样本。

此外，为了能便于构建训练样本，以及适用于后续的网络模型的训练，由于不同拍摄场景的训练样本的深度分布特点是不一致的，为了使得网络模型能够适用于不同的场景，训练样本中可包括至少两类不同场景的训练样本子集。

为了便于构造训练样本，本公开中不同场景的训练样本子集中的样本数量可不同。在此情况下，通过设置不同场景训练样本的权重值可以保证网络模型训练时输入网络模型中各场景的图片均衡，以防网络模型训练的时候出现偏差。也即在训练所述深度检测网络模型过程中，可根据不同场景的采样权重从各场景的训练样本子集中获取训练样本进行训练，其中，样本数量多的场景的采样权重低于样本数量少的场景的采样权重。在一个实施例中，每个场景训练样本的采样权重是通过将样本总数除以该场景的训练样本计算得到的，其中，场景的训练样本数量越多采样权重越小，场景的训练样本数量越少采样权重越大，由此来平衡输入网络模型的各场景训练样本的数量。

当然，除了上述确定权重的方法之外，也可以根据训练过程产生的训练结果和经验值配置不同场景的采样权重，只要能够达到均衡学习各场景中的训练样本的目的即可。

在一个实施例中，样本标签中的深度特征分布图可采用双目摄像头对所述训练样本进行深度估计得到；也可采用激光雷达获取训练样本中各像素点的深度值。具体实施时，可以根据实际需求确定训练样本对应的深度分布特征图，均适用于本公开。

在介绍了本公开采用的训练样本，以及预测深度的基本原理后，下面结合附图对本公开实施例提供的网络模型结构做进一步说明。

如图1所示，该网络模型包括：深度卷积模块10、特征融合模块11以及深度预测模块12。

深度卷积模块10用于提取待处理图像的不同层次的图像特征。

其中，不同层次的图像特征包括图像从低层到高层的多个层次的图像特征。

特征融合模块11用于将深度卷积模块10提取的不同层次的图像特征进行融合，得到融合特征。

深度预测模块12用于对融合特征进行处理得到待处理图像的深度分布特征图，深度分布特征图中各像素点的像素值为深度值。

如前所述，本公开实施例中通过该网络模型对图像进行处理不仅可以预测二维图像中不同像素的图像深度得到层次丰富的图像深度，同时还降低了对硬件设备的要求，且降低了计算量。由于计算量降低，硬件设备要求不高，可适于实时的图像处理。

下面着重对本公开的网络模型中包括的各个模块分别进行说明：

一、深度卷积模块10

本公开的实施例中，为了能够加快处理速度，采用轻量级的网络模型对图像进行处理，深度卷积模块包括依次串联的至少两个深度可分离卷积单元，其中不同的深度可分离卷积单元的输出通道数不同，每个深度可分离卷积单元的输出通道数大于输入通道数，且深度可分离卷积单元的输出通道数按照深度可分离卷积单元的串联顺序依序增加。

其中，每个深度可分离卷积单元包括深度可分离卷积结构的网络层以及与所述网络层串联的一个下采样层；所述网络层用于对输入的信息进行特征提取得到相应层次的图像特征，所述下采样层用于对所述相应层次的图像特征进行下采样。

如图2所示，深度可分离卷积结构包括：深度卷积结构和逐点卷积结构，其中，深度卷积结构与逐点卷积结构串联连接，每个深度卷积结构包括：深度卷积层、批量归一化(Batch Normalization，BN)层以及激励(Rectified Linear Unit，ReLU)层，每个逐点卷积结构包括：逐点卷积层、BN层以及ReLU层。由于深度可分离卷积结构中应用了逐点卷积结构，使得深度可分离单元在进行特征提取时，降低了计算量。

每个深度可分离单元均采用深度可分离的卷积结构，故此降低特征提取时的计算量，且通过下采样层对待处理图像的特征进行下采样处理可以减少后续操作的处理数据量并保留主要的特征，以便于提高处理速度。

二、特征融合模块11和金字塔模块

在一个实施例中，为了融合不同层次的图像特征，特征融合模块可包括：至少两个依次串联连接的第二融合卷积单元；所述第二融合卷积单元的总数量小于或等于所述深度卷积模块输出的图像特征的层次的总数量；每个第二融合卷积单元的输入通道数大于输出通道数；且各第二融合卷积单元的输出通道数按照第二融合卷积单元串联顺序依序降低。

采用该结构的特征融合模块，通过依次串联连接的第二融合卷积单元，且输入通道数大于输出通道数可以有效地融合深度卷积单元高层和低层的图像特征。

在本公开的实施例中提供的深度检测网络模型的结构示意图可如图3所示，其中，深度卷积模块的结构仅以包括4个深度可分离单元为例进行说明，4个深度可分离单元依次串联连接，分别命名为第一个深度可分离卷积单元、第二个深度可分离卷积单元、第三个深度可分离卷积单元以及第四个深度可分离卷积单元。其中，第一个深度可分离单元的输入通道数为3个输出通道数为16个，第二个深度可分离单元的输入通道数为16个输出通道数为32个，第三个深度可分离单元的输入通道数为32个输出通道数为64个，第四个深度可分离单元的输入通道数为64个输出通道数为128个，该深度卷积模块的深度可分离单元提取的图像特征的层次依照深度可分离单元的串联顺序依次提高，其中第一深度可分离单元提取的图像特征信息在四个深度可分离单元中为最低层的特征，第四深度可分离单元提取的图像特征信息在四个深度可分离单元中为最高层的图像特征。

继续如图3所示，与上述深度卷积模块相对应的特征融合模块中可包括3个依次串联连接的第二融合卷积单元，分别命名为第一个第二融合卷积单元、第二个第二融合卷积单元以及第三个第二融合卷积单元。其中，第一个第二融合卷积单元的输入通道数为128个输出通道数为64个，第二个第二融合卷积单元的输入通道数为64个输出通道数为32个，第三个第二融合卷积单元的输入通道数为32个输出通道数为16个，可将第四个深度卷积单元提取的特征输入至第一个第二融合卷积单元得到输出结果与第三个深度卷积单元特征进行特征融合，之后将得到的结果与第二深度卷积单元提取的特征进行融合得到融合特征，并将得到的融合特征输入到深度预测模块中得到一个通道的深度分布特征图，其中，深度预测模块的输入通道数为16个，输出通道数为1个。通过深度预测模块可以输出具有一个通道的深度分布特征图，本公开实施例中通过热力图表示个像素点的深度分布值，其中，热力图中颜色越红的区域待处理图像像素点对应的深度值越大，热力图中颜色越蓝的区域待处理图像像素点对应的深度值越小。

在一个可选的实施例中，本公开中为了能够进一步提高深度预测的准确度，提供另一个深度检测网络模型，如图4所示，该深度检测网络模型不仅包括上述深度卷积模块10、特征融合模块11以及深度预测模块12，还可包括：金字塔模块13。

深度卷积模块10将得到的最高层次的图像特征输入给金字塔模块13；金字塔模块13通过多尺寸的卷积核对输入的最高层次的图像特征进行处理，得到超高层图像特征；特征融合模块11具体用于对金字塔模块13输出的超高层图像特征和所述深度卷积模块10输入的不同层次的图像特征进行融合，得到融合特征。

本公开实施例中提供网络模型，通过增加金字塔模块可提取待处理图像中更高层的图像特征，使得到深度特征分布图的精准度更高。

在一个实施例中，金字塔模块包括：至少两个并联的并联卷积单元以及一个第一融合卷积单元，其中，所述至少两个并联卷积单元并联连接后，一端与所述第一融合卷积单元串联连接，另一端与所述深度卷积模块连接；

每个并联卷积单元的输入信息为所述深度卷积模块输出的最高层次的图像特征，每个并联卷积单元通过多尺寸的卷积核对输入信息进行卷积处理，得到处理结果，并将所述处理结果输入给第一融合卷积单元，其中，不同并联卷积单元采用的卷积核尺寸不同；且，各并联卷积单元的输入通道数与输出通道数相同；所述第一融合卷积单元，用于对各并联卷积单元的处理结果进行特征融合，得到超高层图像特征。

金字塔模块通过采用不同尺度的卷积核，可以获取每个像素点感受野在待处理图像中的对应位置关系，可以获取待处理图像的超高层的图像特征，因此使得网络模型对深度特征分布图的预测准确度进一步提高。

在一个实施例中，在深度检测网络模型中，增加了金字塔模块后，与金字塔模块相对应的特征融合模块，可包括：至少两个依次串联连接的第二融合卷积单元；所述第二融合卷积单元的总数量小于或等于所述深度卷积模块输出的图像特征的层次的总数量；每个第二融合卷积单元的输入通道数大于输出通道数；且各第二融合卷积单元的输出通道数按照第二融合卷积单元串联顺序依序降低。

其中，第一个第二融合卷积单元用于对金字塔模块输出的超高层图像特征以及所述深度卷积模块输出的最高层次的图像特征进行特征融合，并将处理结果输入给下一个第二融合卷积单元。

除第一个第二融合卷积单元之外的每个第二融合卷积单元，用于对输入信息进行特征融合，所述输入信息包含上一个第二融合卷积单元的处理结果以及所述深度卷积模块输出的相应层次的图像特征，其中，深度卷积模块输入给第二融合卷积单元的图像特征层次按照第二融合卷积单元的串联顺序依序降低。

通过应用该特征融合模块，可以将深度卷积模块和金字塔模块提取的图像特征进行特征融合，不仅兼顾了图像的高层特征和低层特征，还逐渐恢复图像的分辨率。

三、深度预测模块12

在一个实施例中，如前文图3所述，输入给所述深度预测模块的融合特征具有至少两个通道，所述深度预测模块具体用于对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图。

深度预测模块通过融合至少两个通道的融合特征，可以计算出每个像素点对应的深度值，得到深度特征分布图。

另外，前文所述的并联卷积单元、第一融合卷积单元、第二融合卷积单元的结构可均为深度可分离卷积结构。深度可分离结构可降低深度检测网络模型进行图像特征提取时的计算量，提高计算效率。

参见图5为本公开提供的一种深度检测网络模型的应用示意图，其中，深度卷积模块的结构仅以包括4个深度可分离单元为例进行说明，4个深度可分离单元依次串联连接，其中，第一个深度可分离单元的输入通道为3个输出通道为16个，第二个深度可分离单元的输入通道为16个输出通道数为32个，第三个深度可分离单元的输入通道数为32个输出通道数为64个，第四个深度可分离单元的输入通道数为64个输出通道数为128个，该深度卷积模块的深度可分离单元提取的图像特征的层次依照深度可分离单元的连接顺序依次提高，其中第一深度可分离单元提取的图像特征信息在四个深度可分离单元中为最低层的特征，第四深度可分离单元提取的图像特征信息在四个深度可分离单元中为最高层的特征。

金字塔模块包括4个并联的并联卷积单元，四个并联卷积单元的输入通道数和输出通道数均为128个，但是四个并联卷积单元的卷积核不同，并依从上到下的顺序依次倍增，如第一个并联卷积单元的卷积核为1×1，第二个并联卷积单元的卷积核为2×2，第三个并联卷积单元的卷积核为4×4，第四个并联卷积单元的卷积核为8×8，通过采用不同尺度的卷积核可以获取每个像素点在原图上感受野在整幅图上的相对关系。将四个并联卷积单元提取的图像特征输入到第一融合卷积单元中进行特征融合，其中，第一融合卷积单元的输入通道数为512个，输出通道数为128个，在第一融合卷积单元进行特征融合时需要对并联卷积单元中输出的图像特征进行上采样，以提高图像的分辨率，进而进行特征融合。

特征融合模块的结构，以包括3个依次串联连接的第二融合卷积单元为例进行说明，其中，第一个第二融合卷积单元的输入通道数为128个输出通道数为64个，第二个第二融合卷积单元的输入通道数为64个输出通道数为32个，第三个第二融合卷积单元的输入通道数为32个输出通道数为16个，将第一融合卷积单元输出的超高特征与第四个深度可分离卷积单元中的最高层特征输入到第一个第二融合卷积单元进行特征融合，得到第一结果，之后将得到的第一结果与第三个深度可分离卷积单元中的特征进行特征融合，得到第二结果，最后将第二结果与第二个深度可分离卷积单元中的特征进行特征融合，得到融合特征。

将得到的融合特征输入到深度预测模块中可以得到一个通道的深度分布特征图，其中所述深度预测模块的输入通道数为16个，输出通道数为1个。

通过上述方式构建深度检测网络模型，还需要将训练样本输入到网络模型中进行训练，并根据训练结果对网络模型的模型参数进行调整，从而得到用于预测单目深度的合适模型。

另外，在将训练样本输入到网络模型后，可以得到网络模型预测的深度特征分布图，与训练样本标签中特征分布图可能会存在一定的差异因此需要对网络模型中的参数进行调整。

其中，网络模型是通过采用至少两个损失函数得到的综合损失量进行训练的，其中，所述至少两个损失函数分别用于计算所述深度检测模型检测的训练样本的深度分布特征图和训练样本的标签之间的损失分量；所述综合损量为对各损失分量进行加权求和得到的；所述至少两个损失函数包括以下中的至少两种：Reversed HuBer(反向胡贝尔函数)、第一坐标轴方向以及第二坐标轴方向的梯度损失函数以及像素法向量的损失函数，其中，所述第一坐标轴方向垂直于所述第二坐标轴方向。

Reversed HuBer擅长学习图像特征较多的复杂训练样本，第一坐标轴方向以及第二坐标轴方向的梯度损失函数擅长学习图像垂直边缘的特征，像素法向量的损失函数擅长学习图像特征较少的简单训练样本，通过多个损失函数的应用可以兼顾对难样本和简单样本的学习，提高网络模型的学习效率。

在一个实施例中，可通过随机梯度下降法优化网络模型的参数，得到训练好的网络模型，之后通过校验样本对网络模型进行校验，并通过平均相对误差以及均方根误差对网络模型的预测结果进行评价，得到网络模型预测准确度。

在一个实施例中，得到深度检测网络模型后，可通过该网络模型进行图像处理，参见图6为本公开提供的一种图像处理方法的流程图，该方法的发明构思和前述网络模型类似，有益效果也相似，后文将不再重复赘述。该方法包括：

步骤601：获取单目摄像头采集到的待处理图像。

步骤602：提取所述待处理图像的不同层次的图像特征。

步骤603：将所述不同层次的图像特征进行融合，得到融合特征，所述深度分布特征图中各像素点的像素值为深度值。

在一个实施例中，在步骤603之前，还可执行通过多尺寸的卷积核对所述不同层次的图像特征中最高层次的图像特征进行处理，得到超高层图像特征。

得到超高层图像特征后，步骤603可执行为：将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征。具体可实施为：

按照所述图像特征的层次由高到低的顺序依序执行特征融合操作，且每次进行所述特征融合操作后处理结果的输出通道数依序降低，其中，

第一次执行所述特征融合操作时，将所述超高层图像特征以及所述最高层次的图像特征进行特征融合，得到处理结果；

针对所述第一次执行所述特征融合操作之外的每一次所述特征融合操作，其输入信息均为上一次所述特征融合操作的处理结果以及相应层次的图像特征；

其中，所述特征融合操作的次数小于或等于所述不同层次的图像特征的层次总数；最后一次所述特征融合操作的处理结果的分辨率与所述待处理图像的分辨率相同。

参照图5第一次特征融合操作是第一卷积模块输出的超高层图像特征与第四个深度可分离卷积单元中的最高层次的图像特征，之后每次特征融合操作可参照图5执行。

通过该方式可以提取待处理图像更高层次的图像特征，以便提取的深度分布特征图更加真实。

步骤604：对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，深度分布特征图中各像素点的像素值为深度值。

在一个实施例中，所述融合特征具有至少两个通道，将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征，可实施为对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图(如前文所述的热力图/灰度图)。

在一个实施例中，得到图像的深度的一个具体应用可以为对图像进行虚化处理。本公开同时提供了一种具体的虚化处理的方法。在得到待处理图像的深度分布特征图后，如图7所示，本公开提供的图像处理方法可还包括如下步骤：

步骤701：从所述待处理图像的所述深度分布特征图中获取选定的对焦点和待模糊像素点各自的深度值。

步骤702：确定所述选定的对焦点和所述待模糊像素点的深度值的绝对差值。

步骤703：根据确定的所述绝对差值，确定模糊半径；其中，所述模糊半径和所述绝对差值正相关；

其中，模糊半径和绝对差值正相关。即绝对差值越大，模糊半径越大；绝对差值越小，模糊半径越小。

步骤704：根据所述模糊半径和预先选定的卷积核，确定模糊核；其中供选择的所述卷积核的形状包括至少两种。

在一个实施例中，本公开实施例中，卷积核的形状可包括以下形状中的至少两种：心形、五角星形、圆形、五边形以及蝴蝶形等。具体实施时，可以根据实际需求确定其他的几何形状，均适用于本公开实施例。

本公开提供了多种卷积核的形状，用户可根据需要选择合适的卷积核形状对不同场景的图像进行虚化，提高了用户的体验度。

步骤705：对以所述待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。

具体地，用户通过点击屏幕选取待处理图像对焦点A后，获取对焦点A的坐标(X0，Y0)，并根据深度网络检测模型获取待处理图像的深度特征分布图，获取对焦点A的深度值Z0，之后获取待模糊像素点的深度值Zi，并计算对焦点和待模糊像素点的深度值的绝对差值。根据确定的绝对差值，确定模糊半径。

用户可选择多个卷积核，每个卷积核对应一个模板。模板的尺寸不一定与模糊半径一致，故此，在确定模糊半径和卷积核之后，可将卷积核缩放到模糊半径的大小，得到模糊核，最后对以待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。如选择的模糊核为蝴蝶形，则可得到具有蝴蝶形虚化效果的图像，若选择的模糊核为心形和圆形，则可得到既具有心形又具有圆形光斑效果的虚化图像。

为了实现获得不同效果的图像，本公开实施例可提供如图8所示的操作界面。该操作界面中可包括以下功能项中的至少一种：

焦点调整功能项，用于调整对焦点的位置；

修正功能项，用于调整模糊半径的大小；

焦点尺寸调整项，用于调整对焦框的尺寸。

一、针对焦点调整功能项

其中，所述对焦点的位置采用对焦区域表示，步骤701中确定选定的对焦点可包括如图8所示，可包括如下步骤：

步骤7011：将所述待处理图像按照对焦框大小进行分割，得到图像块，并确定各所述图像块内像素点的深度统计值。

需要说明的是，对待处理图像按照从左到右，丛上到下的顺序按照对焦框的大小进行分割，得到图像快，故此图像块间可能存在部分重叠的情况，如图9所示，将图像划分成3*3共9个小图像块，每4个相邻的小图像块构成一个大图像块，共得到4个大图像块分别为第一—第四图像块，其中第一图像块与第四图像块中有一个小图像块重叠。

步骤7012：确定对焦框区域的取值范围为确定的所述深度统计值的取值范围。

需要说明的是，深度统计值的取值范围中，深度统计值中的最小值为各图像块中各像素点深度平均值中深度最小值，深度统计值的最大值为各图像块中各像素点深度平均值中深度最大值。

在一个实施例中，将各图像块中的平均深度值进行归一化处理，得到深度统计值的取值范围0～1。其中，0对应图像块的平均深度的最小值，1对应图像块的平均深度的最大值。

步骤7013：接收所述对焦框区域的第一操作指令，所述第一操作指令中包括所述对焦框区域的取值。

步骤7014：根据所述第一操作指令，在所述待处理图像中选取指定图像块作为对焦框区域，其中，所述指定图像块内的像素点的深度统计值为所述第一操作指令中包括的对焦框区域的取值。

在一个实施例中，在进行图像虚化前可通过拖曳对焦框选定对焦区域，也可以通过滑动焦点滑块选定对焦区域，若已经得到拍摄完成的图像，可通过滑动焦点滑块从新选定对焦区域。

本公开提供的图像虚化界面如图10所示，其中Focus与图片中的方框代表对焦范围，Focus表示焦点调整功能项，与第一操作指令相对应，其取值范围0～1。用户操作时，可通过拖动方框，也可以通过滑动滑竿对对焦位置进行调整，随着对焦位置变化，Focus的数值也会发生变化。

二、针对修正功能项

根据模糊半径和预先选定的卷积核，确定模糊核之前，所述方法还包括：

接收针对模糊半径的第二操作指令，所述第二操作指令中包括光圈值；确定所述光圈值与确定的所述模糊半径的乘积作为最终的模糊半径。

在一个实施例中，模糊半径的修正功能项的取值范围可为0-1。在此取值区间内，模糊半径会不同比例的缩小。当，取值为1时为不缩小模糊半径，取值为0时，相当于不对图像进行虚化。

通过对模糊半径的调整，可以实现在模糊半径的维度上调整虚化的效果，便于用户观察虚化效果，选择喜欢的效果。

如图10所示，Blur代表光圈值大小表示模糊半径的修正功能项，与第二操作指令相对应，Blur取值范围0～1，值越大代表光圈值越大，光圈越大，景深越浅，背景越模糊。

三、针对焦点尺寸调整项

接收针对对焦框尺寸调整项的第三操作指令，确定对焦框的尺寸。

图10中的Range代表对焦框尺寸调整项，与第三操作指令相对应，取值范围0～1，值越大，代表对焦框越大，清晰范围越大。根据图像的深度，由用户将选择要对焦的目标区域形成对应的大光圈图，如图10-a、图10-b，对焦点不同，形成不同深度统计值的对焦框进行虚化的效果。

当对焦位置确定后，用户可以调整光圈值大小，形成不同景深效果的图片，如图10-a、图10-c。

当对焦框位置确定后，用户也可以调整Rang大小，形成不同清晰范围的图片，如图10-a、图10-d。

其中，Show Mask对应图像虚化交互界面启动与关闭。

参见图11为通过深度分布特征图得到的虚化效果图，其中11-a为可提供选择的卷积核的界面图，图11-b为卷积核为心形得到的心形光斑的虚化效果图，图11-c为卷积核为蝴蝶形得到的蝴蝶形光斑的虚化效果图。当待模糊像素点深度与对焦深度越远时，虚化效果更明显，光斑效果更大，像素点越亮，光斑效果更明显，图片的艺术化效果更强。

参阅图12，为本公开实施例中一种图像处理装置示意图，该装置包括：

获取单元120，被配置为获取单目摄像头采集到的待处理图像。

提取单元121，被配置为提取所述待处理图像的不同层次的图像特征。

融合单元122，被配置为将所述不同层次的图像特征进行融合，得到融合特征。

处理单元123，被配置为对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，深度分布特征图中各像素点的像素值为深度值。

可选的，所述装置还包括：

金字塔单元，被配置为在融合单元将所述不同层次的图像特征进行融合，得到融合特征之前，通过多尺寸的卷积核对所述不同层次的图像特征中最高层次的图像特征进行处理，得到超高层图像特征；

所述融合单元122，被配置为：

将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征。

可选的，所述融合单元122被配置为：

按照所述图像特征的层次由高到低的顺序依序执行特征融合操作，且每次进行所述特征融合操作后处理结果的输出通道数依序降低，其中，

第一次执行所述特征融合操作时，将所述超高层图像特征以及所述最高层次的图像特征进行特征融合，得到处理结果；

针对所述第一次执行所述特征融合操作之外的每一次所述特征融合操作，其输入信息均为上一次所述特征融合操作的处理结果以及相应层次的图像特征；

其中，所述特征融合操作的次数小于或等于所述不同层次的图像特征的层次总数；最后一次所述特征融合操作的处理结果的分辨率与所述待处理图像的分辨率相同。

可选的，所述融合特征具有至少两个通道，所述融合单元122被配置为：

对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图。

可选的，所述装置还包括：

模糊单元，被配置在所述处理单元123对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值之后，从所述待处理图像的所述深度分布特征图中获取选定的对焦点和待模糊像素点各自的深度值；

确定所述选定的对焦点和所述待模糊像素点的深度值的绝对差值；

根据确定的所述绝对差值，确定模糊半径；其中，所述模糊半径和所述绝对差值正相关；

根据所述模糊半径和预先选定的卷积核，确定模糊核；其中供选择的所述卷积核的形状包括至少两种；

对以所述待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。

可选的，所述对焦点的位置采用对焦框区域表示，所述装置还包括：

对焦点选定单元，被配置为将所述待处理图像按照对焦框大小进行分割，得到图像块，并确定各所述图像块内像素点的深度统计值；

确定对焦框区域的取值范围为确定的所述深度统计值的取值范围；

接收所述对焦框区域的第一操作指令，所述第一操作指令中包括所述对焦框区域的取值；

根据所述第一操作指令，在所述待处理图像中选取指定图像块作为对焦框区域，其中，所述指定图像块内的像素点的深度统计值为所述第一操作指令中包括的对焦框区域的取值。

可选的，所述装置还包括：

模糊半径确定单元，被配置为所述模糊单元根据模糊半径和预先选定的卷积核，确定模糊核之前，接收针对模糊半径的第二操作指令，所述第二操作指令中包括光圈值；

确定所述光圈值与确定的所述模糊半径的乘积作为最终的模糊半径。

在介绍了本公开示例性实施方式中的智能终端控制方法和装置之后，接下来，介绍本公开的另一示例性实施方式的电子设备。所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

在一些可能的实施方式中，根据本公开的电子设备如图13所示，可以包括：处理器1300；用于存储所述处理器1300可执行指令的存储器1301；

其中，所述处理器1300被配置为执行所述指令，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的图像处理方法中的步骤。例如，处理器可以执行如图6中所示的步骤601-步骤604。本公开提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

获取单目摄像头采集到的待处理图像；

提取所述待处理图像的不同层次的图像特征；

将所述不同层次的图像特征进行融合，得到融合特征；

对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取单目摄像头采集到的待处理图像；

提取所述待处理图像的不同层次的图像特征；

将所述不同层次的图像特征进行融合，得到融合特征；

对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值。

2.根据权利要求1所述的方法，其特征在于，所述将所述不同层次的图像特征进行融合，得到融合特征之前，还包括：

通过多尺寸的卷积核对所述不同层次的图像特征中最高层次的图像特征进行处理，得到超高层图像特征；

将所述不同层次的图像特征进行融合，得到融合特征，包括：

将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征包括：

按照所述图像特征的层次由高到低的顺序依序执行特征融合操作，且每次进行所述特征融合操作后处理结果的输出通道数依序降低，其中，

第一次执行所述特征融合操作时，将所述超高层图像特征以及所述最高层次的图像特征进行特征融合，得到处理结果；

针对所述第一次执行所述特征融合操作之外的每一次所述特征融合操作，其输入信息均为上一次所述特征融合操作的处理结果以及相应层次的图像特征；

其中，所述特征融合操作的次数小于或等于所述不同层次的图像特征的层次总数；最后一次所述特征融合操作的处理结果的分辨率与所述待处理图像的分辨率相同。

4.根据权利要求2所述的方法，其特征在于，所述融合特征具有至少两个通道，将所述不同层次的图像特征和所述超高层图像特征进行融合，得到融合特征，包括：

对所述融合特征的至少两个通道进行处理，得到具有一个通道的深度分布特征图。

5.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值之后，还包括：

从所述待处理图像的所述深度分布特征图中获取选定的对焦点和待模糊像素点各自的深度值；

确定所述选定的对焦点和所述待模糊像素点的深度值的绝对差值；

根据确定的所述绝对差值，确定模糊半径；其中，所述模糊半径和所述绝对差值正相关；

根据所述模糊半径和预先选定的卷积核，确定模糊核；其中供选择的所述卷积核的形状包括至少两种；

对以所述待模糊像素点为基准的所述模糊半径内的各像素点，采用所述模糊核进行虚化处理。

6.根据权利要求5所述的方法，其特征在于，所述对焦点的位置采用对焦框区域表示，所述获取选定的对焦点包括：

将所述待处理图像按照对焦框大小进行分割，得到图像块，并确定各所述图像块内像素点的深度统计值；

确定对焦框区域的取值范围为确定的所述深度统计值的取值范围；

接收所述对焦框区域的第一操作指令，所述第一操作指令中包括所述对焦框区域的取值；

根据所述第一操作指令，在所述待处理图像中选取指定图像块作为对焦框区域，其中，所述指定图像块内的像素点的深度统计值为所述第一操作指令中包括的对焦框区域的取值。

7.根据权利要求5所述的方法，其特征在于，所述根据模糊半径和预先选定的卷积核，确定模糊核之前，所述方法还包括：

接收针对模糊半径的第二操作指令，所述第二操作指令中包括光圈值；

确定所述光圈值与确定的所述模糊半径的乘积作为最终的模糊半径。

8.一种图像处理装置，其特征在于，包括：

获取单元，被配置为获取单目摄像头采集到的待处理图像；

提取单元，被配置为提取所述待处理图像的不同层次的图像特征，

融合单元，被配置为将所述不同层次的图像特征进行融合，得到融合特征；

处理单元，被配置为对所述融合特征进行处理后得到所述待处理图像的深度分布特征图，所述深度分布特征图中各像素点的像素值为深度值。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-7中任一项所述的一种图像处理的方法。

10.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-7中任一权利要求所述的方法。