CN107945105B - 背景虚化处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种背景虚化处理方法、装置及设备，其中，方法包括：获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；检测主图像中是否存在预设的目标对象；若检测获知存在目标对象，则确定与目标对象对应的目标区域；根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息；应用预设的第二景深算法获取非目标区域的第二景深信息，其中，第一景深算法的计算精度高于第二景深算法；根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理。由此，实现了虚化处理时保护目标对象不被虚化，提高了图像处理的视觉效果。

Description

背景虚化处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种背景虚化处理、装置及设备。

背景技术

通常，为了突出拍照的主体，会对拍照的背景区域进行虚化处理，然而，当前终端设备受限于处理器的处理能力的限制，导致对一些图像进行虚化时，可能会导致拍摄主体的图像被虚化，比如，用户在摆出剪刀手姿势进行拍照时，可能会将剪刀手对应的图像进行虚化，导致虚化效果较差。

申请内容

本申请提供一种背景虚化处理方法、装置及设备，以解决现有技术中，终端设备受限于处理器的处理能力的限制，导致对一些图像进行虚化时，可能会导致拍摄主体的图像被虚化的技术问题。

本申请实施例提供一种背景虚化处理方法，包括：获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；检测所述主图像中是否存在预设的目标对象；若检测获知存在所述目标对象，则确定与所述主图像中所述目标对象对应的目标区域；根据所述主图像和所述副图像，应用预设的第一景深算法计算所述目标区域的第一景深信息；应用预设的第二景深算法获取所述主图像中的非目标区域的第二景深信息；根据所述第一景深信息对所述目标区域的背景区域进行虚化处理；根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理。

本申请另一实施例提供一种背景虚化处理装置，包括：第一获取模块，用于获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；检测模块，用于检测所述主图像中是否存在预设的目标对象；确定模块，用于在检测获知存在所述目标对象时，确定与所述主图像中所述目标对象对应的目标区域；第二获取模块，用于根据所述主图像和所述副图像，应用预设的第一景深算法计算所述目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息；处理模块，用于根据所述第一景深信息对所述目标区域的背景区域进行虚化处理，以及根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理。

本申请又一实施例提供一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本申请上述实施例所述的背景虚化处理方法。

本申请还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请上述实施例所述的背景虚化处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像，并检测主图像中是否存在预设的目标对象，若检测获知存在目标对象，则确定与目标对象对应的目标区域，并根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息，进而，根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理。由此，实现了虚化处理时保护目标对象不被虚化，提高了图像处理的视觉效果。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例的背景虚化处理方法的流程图；

图2是根据本申请一个实施例的三角测距的原理示意图；

图3是根据本申请一个实施例的双摄像头景深获取示意图；

图4是根据本申请另一个实施例的背景虚化处理方法的流程图；

图5是根据本申请又一个实施例的背景虚化处理方法的流程图；

图6是根据本申请一个具体实施例的背景虚化处理方法的流程图；

图7(a)是根据现有技术的背景虚化处理效果示意图；

图7(b)是根据本申请一个实施例的背景虚化处理效果示意图；

图8是根据本申请一个实施例的背景虚化处理装置的结构示意图；

图9是根据本申请另一个实施例的背景虚化处理装置的结构示意图；

图10是根据本申请又一个实施例的背景虚化处理装置的结构示意图；以及

图11是根据本申请另一个实施例的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的背景虚化处理方法、装置及设备。

图1是根据本申请一个实施例的背景虚化处理方法的流程图，如图1所示，该方法包括：

步骤101，获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像。

步骤102，检测主图像中是否存在预设的目标对象。

具体而言，双摄像头***通过主图像和副图像计算景深信息，其中，双摄像头***包括一个获取拍摄主体主图像的主摄像头，和一个辅助主图像获取景深信息的副摄像头，其中，主摄像头和副摄像头的设置方式可以为沿着水平方向设置，或者，也可以是沿着竖直方向设置等，为了更加清楚的描述双摄像头如何获取景深信息，下面参考附图说明双摄像头获取景深信息的原理：

在实际应用中，人眼分辩景深信息主要是依靠双目视觉分辨景深信息，这与双摄像头分辨景深信息的原理一样，主要是依靠如图2所示的三角测距的原理实现的，基于图2中，在实际空间中，画出了成像对象，以及两个摄像头所在位置O_R和O_T，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两个摄像头进行成像，从而得到两张拍摄图像。

其中，P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为X_R，P’点距离所在拍摄图像的左侧边界的距离为X_T。O_R和O_T分别为两个摄像头，这两个摄像头在同一平面，距离为B。

基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离Z，具有如下关系：

基于此，可以推得

其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。

当然，除了三角测距法，也可以采用其他的方式来计算主图像的景深信息，比如，主摄像头和副摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，在本申请的一个实施例中，可以根据这种比例关系获取上述距离Z。

举例而言，如图3所示，通过主摄像头获取的主图像以及副摄像头获取的副图像，计算出不同点差异的图，这里用视差图表示，这个图上表示的是两张图上相同点的位移差异，但是由于三角定位中的位移差异和Z成正比，因此很多时候视差图就直接被用作景深信息图。

双摄***在对图像的背景区域进行虚化时，可能会导致有些不希望虚化的目标对象的图像被虚化，因而，为了便于保证用户不希望虚化的目标对象不被虚化，检测主图像中是否存在目标对象，该目标对象可以包括特定的手势动作(比如剪刀手、加油手势等)，可以包括著名建筑物(比如万里长城、黄山等)，或者，可以包括某些特定的形状的物体等(比如圆形物体、三角形物体等)。

应当理解的是，根据应用场景的不同，可采用不同的方式实现主图像中是否存在预设的目标对象的检测，示例如下：

作为一种示例：

在本示例中，预先设置包含目标对象的轮廓边缘的模板信息，检测主图像的前景区域中拍摄场景的轮廓边缘，将预设的模板信息与轮廓边缘进行匹配，若匹配成功，则检测获知主图像中存在预设的目标对象。

其中，在本示例中，预设的模板信息中的轮廓边缘可以包括目标对象的轮廓边缘的坐标值，各个像素点之间的位置关系等。

可以理解，在本示例中，仅仅通过拍摄场景的轮廓边缘识别前景区域中是否存在目标对象，提高了检测效率，以便于进一步提高图像处理效率。

作为另一种示例：

在本示例中，预先设置包含目标对象形状信息的模板信息，该目标对象的形状信息包含目标对象的外部轮廓信息和内部填充图案信息，检测主图像的前景区域中拍摄场景的形状信息，将预设的模板信息与形状信息进行匹配，若匹配成功，则检测获知主图像中存预设的目标对象。

可以理解，在本示例中，通过拍摄场景的形状信息识别前景区域中是否存在目标对象，避免了对一些外部轮廓相似的拍摄主体形状的误判，提高了识别的准确率。

在一些示例中，还可结合上述两种示例，先对轮廓边缘识别后，再进行形状信息识别，以提高识别准确率。

步骤103，若检测获知存在目标对象，则确定与主图像中目标对象对应的目标区域。

步骤104，根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息。

步骤105，应用预设的第二景深算法获取主图像中的非目标区域的第二景深信息。

具体地，如果检测获知存在目标对象，则为了避免对目标对象的虚化，确定出目标对象对应的目标区域，并根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息，其中，第一景深算法的计算精度高于第二景深算法，由此，一方面，非目标对象对应的背景区域的计算景深的算法为计算精度相对较低的第二景深算法，由此，运算量小于第一景深算法，可减轻终端设备的运行压力，避免虚化处理时间较长，导致图像处理耗时加大，另一方面，对目标对象对应的目标区域的计算景深的算法为计算精度相对较高的第一景深算法，由此，保证了目标对象区域不被虚化，且由于仅仅对目标对象对应的目标区域采用第一景深算法，对终端设备的处理器的运行压力影响不大，不会明显增加图像处理时间。

当然，在具体实施过程中，为了满足用户的个性化需求，实现趣味性的图像处理效果，第一景深算法的计算精度也可以等于或者低于第二景深算法，在此不作限制。

在本申请的一个实施例中，当检测主图像中不存在预设的目标对象之后，如果检测不到预设的目标对象，则应用第二景深算法计算主图像的第三景深信息，根据第三景深信息对主图像的背景区域进行虚化处理，以减轻***的处理压力。

步骤106，根据第一景深信息对目标区域的背景区域进行虚化处理。

步骤107，根据第二景深信息对非目标区域的背景区域进行虚化处理。

具体地，在分别根据不同的计算精度计算出目标区域和目标区域的景深信息后，根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理，虚化处理后的图像中目标对象得到了保护。

具体而言，在实际应用中，可以根据应用场景的不同采用不同的方式实现根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理，示例说明如下：

第一种示例：

如图4所示，步骤103中的根据第一景深信息对目标区域的背景区域进行虚化处可包括：

步骤201，根据第一景深信息和主图像的对焦区域确定目标区域的第一前景区域景深信息和第一背景区域景深信息。

可以理解，目标区域中可能包含目标对象所在前景区域，同时包含目标对象以外的背景区域，因而，为了进一步对目标对象所在的区域进行处理，根据第一景深信息和主图像的对焦区域确定目标区域的第一前景区域景深信息和第一背景区域景深信息，其中，目标区域中位于对焦区域之前的清晰成像的范围为第一前景区域，目标区域中位于对焦区域之后的清晰成像的范围为第一背景区域。

需要说明的是，根据应用场景的不同，对目标区域分离第一前景景深和第一背景区域的方式不同，举例说明如下：

第一种示例：

可获取拍摄的相关参数，以根据拍摄摄像头的公式计算目标区域中焦点区域之外的图像区域的景深信息。

在本示例中，可获取拍摄摄像头的容许弥散圆直径、光圈值、焦距、对焦距离等参数，从而根据公式：第一前景区域景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方+光圈值*容许弥散圆直径*对焦距离)计算出第一前景区域，已根据第一前景区域分离出前景，并根据公式第一背景区域景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方-光圈值*容许弥散圆直径*对焦距离)计算出目标区域的背景的第一背景区域景深信息。

第二种示例:

根据双摄像头分别获取的当前目标区域的景深数据信息确定焦点区域之外的图像区域的景深地图,根据景深地图确定焦点区域之前的第一前景区域和焦点区域之后的第一背景区域。

具体而言，在本示例中，由于两个摄像头的位置并不相同，因而，两个后置摄像头相对与拍摄的目标对象具有一定的角度差和距离差，因此二者获取的预览图像数据也存在一定的相位差。

举例而言，对于拍摄目标对象上的A点，在摄像头1的预览图像数据中，A点对应的像素点坐标为(30，50)，而在摄像头2的预览图像数据中，A点对应的像素点坐标为(30，48)，A点在两个预览图像数据中对应的像素点的相位差为50-48＝2。

在本示例中，可预先根据实验数据或者摄像头参数建立景深信息与相位差的关系，进而，可根据目标图像中各像素点在两个摄像头获取的预览图像数据中的相位差查找对应的景深信息。

举例来说，对于上述A点对应的相位差2，如果根据预设的对应关系查询到对应的景深为5米，则目标区域中A点对应的景深信息为5米。由此，可得到当前目标区域中每个像素点的景深信息，即获取焦点区域之外的图像区域的景深地图。

进而，在得到焦点区域之外的图像区域的景深地图后，可进一步确定焦点区域之前的图像区域的第一前景区域景深信息，以及焦点区域之后的第一背景区域景深信息。

步骤202，根据第一前景区域景深信息和第一背景区域景深信息获取第一虚化程度的基础数值。

其中，第一虚化程度的基础数值可以指定虚化的程度等级，比如，强、弱等，其中第一前景区域景深信息和第一背景区域景深信息差距越大，表明目标区域中的前景和背景区分越明显，因而，虚化程度可以越小，所以第一虚化程度的基础数值越小，反之，第一前景区域景深信息和第一背景区域景深信息差距越小，表明目标区域中的前景和背景区分越不明显，因而，虚化程度可以越大，所以虚化的第一虚化程度的基础数值越大。

步骤203，根据第一虚化程度的基础数值和第一背景区域景深信息，确定目标区域的背景区域中每个像素的虚化系数。

其中，虚化系数与第一虚化程度的基础数值对应，第一虚化程度的基础数值越高，虚化系数越大，第一背景区域的虚化程度越高，在本申请的实施例中，根据第一虚化程度的基础数值和第一背景区域景深信息，确定目标区域的背景区域中每个像素的虚化系数。

步骤204，根据每个像素的虚化系数对目标区域的背景区域进行高斯模糊处理。

具体地，根据每个像素的虚化系数对目标区域的背景区域进行高斯模糊处理，使得目标区域中的背景区域的景深信息越大，背景区域的景深信息越高，虚化程度越大。

进一步地，如图5所示，步骤103中的根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理包括：

步骤301，根据第二景深信息和主图像的对焦区域确定非目标区域的第二前景区域景深信息和第二背景区域景深信息。

可以理解，非目标区域可以包括前景区域和背景区域，因而，为了进一步便于对图像的背景区域进行处理，根据第二景深信息和主图像的对焦区域确定非目标区域的第二前景区域景深信息和第二背景区域景深信息，其中，根据第二景深信息和主图像的对焦区域确定非目标区域的第二前景区域景深信息和第二背景区域景深信息的方式，与根据第一景深信息和主图像的对焦区域确定目标区域的第一前景区域景深信息和第一背景区域景深信息的方式类似，在此不再赘述。

步骤302，根据第二前景区域景深信息和第二背景区域景深信息获取第二虚化程度的基础数值。

其中，第二虚化程度的基础数值可以指定虚化的程度，其中第二前景区域景深信息和第二背景区域景深信息差距越大，表明非目标区域中的前景和背景区分越明显，因而，虚化程度可以越小，所以第二虚化程度的基础数值越小，反之，第二前景区域景深信息和第二背景区域景深信息差距越小，表明非目标区域中的前景和背景区分越不明显，因而，虚化程度可以越大，所以虚化的第二虚化程度的基础数值越大。

步骤303，根据第二虚化程度的基础数值对非目标区域的背景区域进行高斯模糊处理。

具体地，根据第二虚化程度的基础数值对非目标区域的背景区域进行高斯模糊处理，使得非目标区域中的背景区域的景深信息越大，背景区域的景深信息越高，虚化程度越大。

为了使得本领域的技术人员，能够更加清楚的了解本申请的背景虚化处理的实施过程和处理效果，下面结合具体的应用场景进行举例：

具体而言，如图6所示，当预设的目标对象是预设的手势时，则获取主图像后，检测主图像中是否存在预设的手势图像，如果存在，在采用上述实施例描述的背景虚化处理处理方法预设的手势图像所在的目标区域进行精细化处理，采用相比***预先默认的景深算法，精度较高的景深算法进行背景虚化处理，其他区域可采用***设定的精度较低的景深算法计算进行正常的背景虚化处理，由此，可以提高一些特定场景的虚化效果，同时又不会增加太多处理时间。

继续以上述场景为例，如图7(a)所示，采用现有技术的背景虚化处理方式进行背景虚化处理后，由于终端设备的景深信息计算精度的限制，可能对预设的手指对应的图像区域进行了虚化，导致虚化效果较差，而采用本申请的背景虚化处理方式后，如图7(b)所示，对手势图像所在的目标区域进行精细化的背景虚化处理，使得手部姿势突出也不被虚化，图像虚化效果较好。

综上所述，本申请实施例的背景虚化处理方法，获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像，并检测主图像中是否存在预设的目标对象，若检测获知存在目标对象，则确定与目标对象对应的目标区域，并根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息，进而，根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理。由此，实现了虚化处理时保护目标对象不被虚化，提高了图像处理的视觉效果。

为了实现上述实施例，本申请还提出了一种背景虚化处理装置，图8是根据本申请一个实施例的背景虚化处理装置的结构示意图，如图8所示，该背景虚化处理装置包括第一获取模块100、检测模块200、确定模块300、第二获取模块400和处理模块500。

其中，第一获取模块100，用于获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像。

检测模块200，用于检测主图像中是否存在预设的目标对象。

在本申请的一个实施例中，如图9所示，检测模块200包括检测单元210和获知单元220。

其中，检测单元210，用于检测所述主图像的前景区域中拍摄场景的轮廓边缘。

获知单元220，用于将预设的模版信息与所述轮廓边缘进行匹配，若匹配成功，则检测获知所述主图像中存在预设的目标对象。

确定模块300，用于在检测获知存在目标对象时，确定与主图像中目标对象对应的目标区域。

在本申请的一个实施例中，如图10所示，确定模块300包括第一确定单元310、获取单元320、第二确定单元330和处理单元340，其中，

第一确定单元310，用于根据第一景深信息和主图像的对焦区域确定目标区域的第一前景区域景深信息和第一背景区域景深信息。

获取单元320，用于根据第一前景区域景深信息和第一背景区域景深信息获取第一虚化程度的基础数值。

第二确定单元330，用于根据第一虚化程度的基础数值和第一背景区域景深信息，确定目标区域的背景区域中每个像素的虚化系数。

处理单元340，用于根据每个像素的虚化系数对目标区域的背景区域进行高斯模糊处理。

第二获取模块400，用于根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息。

其中，在本申请的一个实施例中，第一景深算法的计算精度高于第二景深算法。

处理模块500，用于根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理。

需要说明的是，前述对方法实施例的描述，也适用于本申请实施例的装置，其实现原理类似，在此不再赘述。

上述背景虚化处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将背景虚化处理装置按照需要划分为不同的模块，以完成上述背景虚化处理装置的全部或部分功能。

综上所述，本申请实施例的背景虚化处理装置，获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像，并检测主图像中是否存在预设的目标对象，若检测获知存在目标对象，则确定与目标对象对应的目标区域，并根据主图像和副图像，应用预设的第一景深算法计算目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息，进而，根据第一景深信息对目标区域的背景区域进行虚化处理，以及根据第二景深信息对非目标区域的背景区域进行虚化处理。由此，实现了虚化处理时保护目标对象不被虚化，提高了图像处理的视觉效果。

为了实现上述实施例，本申请还提出了一种计算机设备，其中，计算机设备为包括包含存储计算机程序的存储器及运行计算机程序的处理器的任意设备，比如，可以为智能手机、个人电脑等，上述计算机设备中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图11所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010(照相机)可包括具有一个或多个透镜1012和图像传感器1014的摄像头，其中，为了实施本申请的背景虚化处理方法，成像设备1010包含两组摄像头，其中，继续参照图11，成像设备1010可基于主摄像头和副摄像头同时拍摄场景图像，图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，其中，ISP处理器1040可基于传感器1020提供的主摄像头中的图像传感器1014获取的原始图像数据和副摄像头中的图像传感器1014获取的原始图像数据计算景深信息等。传感器1020接口可以利用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收像素数据。例如，从传感器1020接口将原始像素数据发送给图像存储器1030，图像存储器1030中的原始像素数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数以及的控制参数。例如，控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、摄像头闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

以下为运用图11中图像处理技术实现背景虚化处理方法的步骤：

获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；

检测所述主图像中是否存在预设的目标对象；

若检测获知存在所述目标对象，则确定与主图像中所述目标对象对应的目标区域；

根据所述主图像和所述副图像，应用预设的第一景深算法计算所述目标区域的第一景深信息；

应用预设的第二景深算法获取主图像中非目标区域的第二景深信息；

根据所述第一景深信息对所述目标区域的背景区域进行虚化处理，以及根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例的背景虚化处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种背景虚化处理方法，其特征在于，包括：

获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；

检测所述主图像中是否存在预设的目标对象，所述目标对象包括手势动作；

若检测获知存在所述目标对象，则确定与所述主图像中所述目标对象对应的目标区域，所述目标区域中位于对焦区域之前的清晰成像的范围为前景区域，所述目标区域中位于对焦区域之后的清晰成像的范围为背景区域；

根据所述主图像和所述副图像，应用预设的第一景深算法计算所述目标区域的第一景深信息；

应用预设的第二景深算法获取所述主图像中的非目标区域的第二景深信息，所述非目标区域包括前景区域与背景区域；

根据所述第一景深信息对所述目标区域的背景区域进行虚化处理；

根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理。

2.如权利要求1所述的方法，其特征在于，所述检测所述主图像中是否存在预设的目标对象，包括：

检测所述主图像的前景区域中拍摄场景的轮廓边缘；

将预设的模版信息与所述轮廓边缘进行匹配，若匹配成功，则检测获知所述主图像中存在预设的目标对象。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一景深信息对所述目标区域的背景区域进行虚化处理，包括：

根据所述第一景深信息和所述主图像的对焦区域确定所述目标区域的第一前景区域景深信息和第一背景区域景深信息；

根据所述第一前景区域景深信息和第一背景区域景深信息获取第一虚化程度的基础数值；

根据所述第一虚化程度的基础数值和所述第一背景区域景深信息，确定所述目标区域的背景区域中每个像素的虚化系数；

根据所述每个像素的虚化系数对所述目标区域的背景区域进行高斯模糊处理。

4.如权利要求3所述的方法，其特征在于，所述根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理，包括：

根据所述第二景深信息和所述主图像的对焦区域确定所述非目标区域的第二前景区域景深信息和第二背景区域景深信息；

根据所述第二前景区域景深信息和第二背景区域景深信息获取第二虚化程度的基础数值；

根据所述第二虚化程度的基础数值对所述非目标区域的背景区域进行高斯模糊处理。

5.如权利要求1-4任一所述的方法，其特征在于，在所述检测所述主图像中是否存在预设的目标对象之后，还包括：

若检测获知不存在所述目标对象，则应用所述第二景深算法计算所述主图像的第三景深信息，其中，所述第二景深算法的计算精度小于所述第一景深算法；

根据所述第三景深信息对所述主图像的背景区域进行虚化处理。

6.一种背景虚化处理装置，其特征在于，包括：

第一获取模块，用于获取主摄像头拍摄的主图像以及副摄像头拍摄的副图像；

检测模块，用于检测所述主图像中是否存在预设的目标对象，所述目标对象包括手势动作；

确定模块，用于在检测获知存在所述目标对象时，确定与所述主图像中所述目标对象对应的目标区域，所述目标区域中位于对焦区域之前的清晰成像的范围为前景区域，所述目标区域中位于对焦区域之后的清晰成像的范围为背景区域；

第二获取模块，用于根据所述主图像和所述副图像，应用预设的第一景深算法计算所述目标区域的第一景深信息，以及应用预设的第二景深算法获取非目标区域的第二景深信息，所述非目标区域包括前景区域与背景区域；

处理模块，用于根据所述第一景深信息对所述目标区域的背景区域进行虚化处理，以及根据所述第二景深信息对所述非目标区域的背景区域进行虚化处理。

7.如权利要求6所述的装置，其特征在于，所述检测模块包括：

检测单元，用于检测所述主图像的前景区域中拍摄场景的轮廓边缘；

获知单元，用于将预设的模版信息与所述轮廓边缘进行匹配，若匹配成功，则检测获知所述主图像中存在预设的目标对象。

8.如权利要求6所述的装置，其特征在于，所述处理模块包括：

第一确定单元，用于根据所述第一景深信息和所述主图像的对焦区域确定所述目标区域的第一前景区域景深信息和第一背景区域景深信息；

获取单元，用于根据所述第一前景区域景深信息和第一背景区域景深信息获取第一虚化程度的基础数值；

第二确定单元，用于根据所述第一虚化程度的基础数值和所述第一背景区域景深信息，确定所述目标区域的背景区域中每个像素的虚化系数；

处理单元，用于根据所述每个像素的虚化系数对所述目标区域的背景区域进行高斯模糊处理。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一项所述的背景虚化处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的背景虚化处理方法。

Images