CN108305223A - 图像背景虚化处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像背景虚化处理方法及装置。其中，该方法包括：采集到图像，进而根据物体识别模型，识别出该图像中的物体的主体轮廓，并对图像中主体轮廓的背景进行虚化处理，其中，物体识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像和从图像中识别出的物体的主体轮廓。本发明解决了相关技术中拍摄的图像中背景虚化效果不佳的技术问题。

Description

图像背景虚化处理方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像背景虚化处理方法及装置。

背景技术

随着智能手机的广泛使用，摄像头作为手机中的重要模块已取代卡片相机成为大众最常用的便携拍摄设备。而手机摄像头由于本身体积的限制，其应用局限性仍较明显，其中光圈小，焦距短，所以很难拍出背景虚化的景深效果。困于这样的局限，相关技术中用软件模拟出专业单反相机大光圈镜头拍摄出的背景虚化的景深效果，但也存在一定的弊端，例如，主体识别率不高，主体与背景过渡不够自然。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像背景虚化处理方法及装置，以至少解决相关技术中拍摄的图像中背景虚化效果不佳的技术问题。

根据本发明实施例的一个方面，提供了一种图像背景虚化处理方法，包括：采集到图像；根据物体识别模型，识别出所述图像中的物体的主体轮廓，其中，所述物体识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：图像和从所述图像中识别出的物体的主体轮廓；对所述图像中所述主体轮廓的背景进行虚化处理。

可选的，在根据所述物体识别模型，识别出所述图像中的物体的所述主体轮廓之前，还包括：获取预定数量系列的采样图像，以及从所述采样图像中识别出的物体的主体轮廓；对获取的所述采样图像，以及从所述采样图像中识别出的物体的主体轮廓，采用人工神经网络算法进行训练，得到针对所述预定数量系列图像的物体识别模型。

可选的，对所述图像中所述主体轮廓的背景进行虚化处理包括：获取所述图像的深度图；根据获取的所述深度图和识别出的所述主体轮廓，对所述图像中的所述主体轮廓的背景进行虚化处理。

可选的，获取所述图像的深度图包括：通过主摄像头截获主图像和通过辅摄像头截获辅图像；对所述主图像和所述辅图像进行时间同步，得到所述主摄像头的主同步图像和所述辅摄像头的辅同步图像；根据所述主同步图像和所述辅同步图像，获取所述图像的深度图。

可选的，根据所述主同步图像和所述辅同步图像，获取所述图像的深度图包括：获取所述主同步图像和所述辅同步图像的图像差异，获取所述主摄像头和所述辅摄像头两中心位置之间的距离，以及获取所述主同步图像和所述辅同步图像的画幅差异；根据获取的所述图像差异，所述距离，以及所述画幅差异，获取所述图像的深度图。

可选的，在对所述图像中所述主体轮廓的背景进行虚化处理之前，还包括：对所述图像中的所述主体轮廓进行效果增强处理。

可选的，在对所述图像中的所述主体轮廓进行效果增强处理之前，还包括：通过采集所述图像的双摄像头中的辅摄像头对所述主体轮廓对应的主体进行对焦。

可选的，在对所述图像中所述主体轮廓的背景进行虚化处理之后，还包括：通过采集所述图像的双摄像头中的主摄像头对进行虚化处理后的图像进行预览和输出。

根据本发明实施例的另一方面，还提供了一种图像背景虚化处理装置，包括：采集模块，用于采集到图像；识别模块，用于根据物体识别模型，识别出所述图像中的物体的主体轮廓，其中，所述物体识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：图像和从所述图像中识别出的物体的主体轮廓；虚化模块，用于对所述图像中所述主体轮廓的背景进行虚化处理。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图像背景虚化处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利上述任意一项所述的图像背景虚化处理方法。

在本发明实施例中，采用机器学习的方式，通过训练出的物体识别模型，达到了识别出采集的图像中物体的主体轮廓，并对该主体轮廓的背景进行虚化处理的目的，其中，物体识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像和从图像中识别出的物体的主体轮廓。从而本发明实施例实现了提高图像中主体与背景的识别率以使图像中两者的过渡更加自然的技术效果，进而解决了相关技术中拍摄的图像中背景虚化效果不佳的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的图像背景虚化处理方法的流程图；

图2是根据本发明优选实施方案的一种通过AI图像物体识别增强双摄像头虚化效果方法的流程图；

图3是根据本发明实施例的图像背景虚化处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种图像背景虚化处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的图像背景虚化处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，采集到图像；

步骤S104，根据物体识别模型，识别出图像中的物体的主体轮廓，其中，物体识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像和从图像中识别出的物体的主体轮廓；

步骤S106，对图像中主体轮廓的背景进行虚化处理。

通过上述步骤，可以实现在本发明实施例的图像背景虚化处理方法中，采用机器学习的方式，通过训练出的物体识别模型，达到了识别出采集的图像中物体的主体轮廓，并对该主体轮廓的背景进行虚化处理的目的，其中，物体识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像和从图像中识别出的物体的主体轮廓。通过上述智能的主体轮廓识别处理，有效地提高了图像中主体与背景的识别准确率以使图像中两者的过渡更加自然的技术效果，相对于仅利用标定位置的双摄像头，采用软件模拟出深度图，再利用深度图计算出主体与背景，进而将背景虚化来说，有效地解决了相关技术中拍摄的图像中背景虚化效果不佳的技术问题。

针对物体识别模型的训练，可以采用多种机器学习的计算方法，优选的，可以采用人工神经网络算法对上述物体识别模型进行训练。故在根据物体识别模型，识别出图像中的物体的主体轮廓之前，还可以包括：获取预定数量系列的采样图像，以及从采样图像中识别出的物体的主体轮廓；对获取的采样图像，以及从采样图像中识别出的物体的主体轮廓，采用人工神经网络算法进行训练，得到针对预定数量系列图像的物体识别模型。其中，上述训练数据可以是通过实验得到的，也可以是大量应用该图像背景虚化处理方法的设备使用过程中不断采集积累上报的，通过对正在使用的设备来进行追踪，从而得到大量的数据均可以用于训练。可选的，上述应用该图像背景虚化处理方法的大量设备可以通过预先设置的通讯模块，将实时采集到的数据上传到服务器中，以供机器训练使用。

需要说明的是，人工神经网络可以从信息处理角度对人脑神经元网络进行抽象，建立简单模型，按不同的连接方式组成不同的网络。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的，并在不同程度和层次上模仿人脑神经***的信息处理功能，具有自学习、联想存储及高速寻找优化解的优点。故采用人工神经网络算法训练物体识别模型，可以使模型具有更好的自我优化和学习扩展的能力，进而使从图像中识别出的物体的主体轮廓更加精准和清晰。

根据物体识别模型识别出的主体轮廓，优选的，对图像中主体轮廓的背景进行虚化处理可以包括：获取图像的深度图；根据获取的深度图和识别出的主体轮廓，对图像中的主体轮廓的背景进行虚化处理。其中，深度指图像中的场景的某个点到摄像头中心所在的平面的距离，深度图，即可反映出场景中各个点的深度信息。通过识别出的物理轮廓结合深度图中各个点的深度信息，可以准确的反映出图像中主体与背景不同位置的距离关系，进而通过该距离关系进行相应程度的虚化处理，从而使主体与背景的过渡更加自然。

结合相关技术中的双摄像头设置，优选的，获取图像的深度图可以包括：通过主摄像头截获主图像和通过辅摄像头截获辅图像；对主图像和辅图像进行时间同步，得到主摄像头的主同步图像和辅摄像头的辅同步图像；根据主同步图像和辅同步图像，获取图像的深度图。因图像拍摄时，光线、背景及主体均会随时间而产生细微的变化，故将主摄像头截获主图像和通过辅摄像头截获辅图像进行时间同步，可以获得对拍摄场景进行还原的最大真实度和一致性的效果。其中，上述主摄像头与辅摄像头的位置可以相邻，也可以设置为间隔一定距离，可以处在一条水平线上，也可以两者连线与水平线成一定角度。

针对上述深度图的获取，优选的，根据主同步图像和辅同步图像，获取图像的深度图可以包括：获取主同步图像和辅同步图像的图像差异，获取主摄像头和辅摄像头两中心位置之间的距离，以及获取主同步图像和辅同步图像的画幅差异；根据获取的图像差异，距离，以及画幅差异，获取图像的深度图。因主摄像头与副摄像头的位置区别，进而使采集到的图像中不同点的位置关系和距离关系均有区别，通过上述获取的图像差异、画幅差异及主辅摄像头两中心位置之间的距离，可以综合计算拍摄场景中的各点的位置关系，进而获取到输出的图像的精准深度图，从而使图像中背景的虚化效果更自然。

为使图像中识别出的主体与背景更加有区别度，优选的，在对图像中主体轮廓的背景进行虚化处理之前，还可以包括：对图像中的主体轮廓进行效果增强处理。通过该增强处理，可以使图像中的主体更加明确。进一步的，在对图像中的主体轮廓进行效果增强处理之前，还可以包括：通过采集图像的双摄像头中的辅摄像头对主体轮廓对应的主体进行对焦。其中，可以利用相关算法计算图像中的物体边缘进而完成辅摄像头的对焦，如图像边缘检测算法，利用该算法将图像中的边缘信息计算出后，再与上述物体识别模型结合匹配，可以使识别出的物体轮廓更加精准。

优选的，在对图像中主体轮廓的背景进行虚化处理之后，还可以包括：通过采集图像的双摄像头中的主摄像头对进行虚化处理后的图像进行预览和输出。同时，辅摄像头可以用于辅助计算深度图及对焦主体，进行主体确认。通过对主摄像头与辅摄像头的功能区分与定位，使两者的作用更加明确，进而使相关程序和设置更有针对性。

基于上述实施例及优选实施方式，在本发明优选实施例中，还提供了一种通过人工智能AI(Artificial Intelligence)图像物体识别增强双摄像头虚化效果的方法。图2是根据本发明优选实施方案的一种通过AI图像物体识别增强双摄像头虚化效果方法的流程图，其中，该方法中设备中的双摄像头位置相邻且平行，分别为主与辅摄像头；其中，主摄像头用于图像预览与图像输出，辅摄像头用于辅助计算深度图与AI图像识别对焦主体。

如图2所示，该方法主要包括如下详细步骤：

(一)使用人工神经网络算法训练AI物体模型集；

(二)打开相机应用后，开启虚化功能，主摄像头与辅摄像头同时开启，输出视频流；

(三)截获辅摄像头的帧数据，及主摄像头的帧数据，并根据时间将上述两帧数据匹配同步；

(四)使用主摄像头与辅摄像头的同步帧数据，根据两张图像信息的差异与两摄像头中心位置的距离和画幅差异，计算出此帧数据的深度图；

(五)根据辅摄像头或者主摄像头数据，使用图像边缘检测算法计算出图象中边缘信息与AI物体模型集进行匹配，识别出物体轮廓，找出对焦主体，并针对对焦主体轮廓进行效果增强；

(六)根据主体物体轮廓与深度图，计算出主摄像头帧的背景虚化结果，并进行图像预览与图像输出。

该优选实施方案利用AI图像物体识别与深度图协同，提高了手机等可摄像设备双摄像头背景虚化的对焦主体的识别率与虚化效果，使该虚化效果比相关技术中仅使用深度图计算的虚化效果更有层次感，主体更加明确，轮廓更加清晰。通过利用AI图像物体识别提高图像主体与背景的识别率，该优选实施方案使对图像中焦点的主体与背景的过渡更加自然，进而达到了更接近专业单反相机景深图像的技术效果。

根据本发明实施例，还提供了一种图像背景虚化处理的装置。图3是根据本发明实施例的图像背景虚化处理装置的结构示意图，如图3所示，该装置包括：采集模块32，识别模块34，虚化模块36。下面对该图像背景虚化处理装置进行说明。

采集模块32，用于采集到图像；

识别模块34，连接于上述采集模块32，用于根据物体识别模型，识别出图像中的物体的主体轮廓，其中，物体识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像和从图像中识别出的物体的主体轮廓；

虚化模块36，连接于上述识别模块34，用于对图像中主体轮廓的背景进行虚化处理。

优选的，根据图3中的结构，上述图像背景虚化处理装置还可以包括：处理模块，用于在根据物体识别模型，识别出图像中的物体的主体轮廓之前，获取预定数量系列的采样图像，以及从采样图像中识别出的物体的主体轮廓；得到模块，连接于上述处理模块和识别模块34，用于对获取的采样图像，以及从采样图像中识别出的物体的主体轮廓，采用人工神经网络算法进行训练，得到针对预定数量系列图像的物体识别模型。

优选的，上述虚化模块36可以包括：获取单元，用于获取图像的深度图；虚化单元，连接于上述获取单元，用于根据获取的深度图和识别出的主体轮廓，对图像中的主体轮廓的背景进行虚化处理。

优选的，上述获取单元可以包括：截获子单元，用于通过主摄像头截获主图像和通过辅摄像头截获辅图像；得到子单元，连接于上述截获子单元，用于对主图像和辅图像进行时间同步，得到主摄像头的主同步图像和辅摄像头的辅同步图像；获取子单元，连接于上述得到子单元，用于根据主同步图像和辅同步图像，获取图像的深度图。

优选的，上述获取子单元可以包括：第一获取次子单元，用于获取主同步图像和辅同步图像的图像差异，获取主摄像头和辅摄像头两中心位置之间的距离，以及获取主同步图像和辅同步图像的画幅差异；第二获取次子单元，连接于上述第一获取次子单元，用于根据获取的图像差异，距离，以及画幅差异，获取图像的深度图。

优选的，根据图3中的结构，上述图像背景虚化处理装置还可以包括：增强模块，连接于上述识别模块34和虚化模块36之间，用于在对图像中主体轮廓的背景进行虚化处理之前，对图像中的主体轮廓进行效果增强处理。

可选的，上述图像背景虚化处理装置还可以包括：对焦模块，连接于上述识别模块34和增强模块之间，用于在对图像中的主体轮廓进行效果增强处理之前，通过采集图像的双摄像头中的辅摄像头对主体轮廓对应的主体进行对焦。

可选的，上述图像背景虚化处理装置还可以包括：预览输出模块，连接于上述虚化模块36，用于在对图像中主体轮廓的背景进行虚化处理之后，通过采集图像的双摄像头中的主摄像头对进行虚化处理后的图像进行预览和输出。

根据本发明实施例，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的图像背景虚化处理方法。

根据本发明实施例，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的图像背景虚化处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像背景虚化处理方法，其特征在于，包括：

采集到图像；

根据物体识别模型，识别出所述图像中的物体的主体轮廓，其中，所述物体识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：图像和从所述图像中识别出的物体的主体轮廓；

对所述图像中所述主体轮廓的背景进行虚化处理。

2.根据权利要求1所述的方法，其特征在于，在根据所述物体识别模型，识别出所述图像中的物体的所述主体轮廓之前，还包括：

获取预定数量系列的采样图像，以及从所述采样图像中识别出的物体的主体轮廓；

对获取的所述采样图像，以及从所述采样图像中识别出的物体的主体轮廓，采用人工神经网络算法进行训练，得到针对所述预定数量系列图像的物体识别模型。

3.根据权利要求1所述的方法，其特征在于，对所述图像中所述主体轮廓的背景进行虚化处理包括：

获取所述图像的深度图；

根据获取的所述深度图和识别出的所述主体轮廓，对所述图像中的所述主体轮廓的背景进行虚化处理。

4.根据权利要求3所述的方法，其特征在于，获取所述图像的深度图包括：

通过主摄像头截获主图像和通过辅摄像头截获辅图像；

对所述主图像和所述辅图像进行时间同步，得到所述主摄像头的主同步图像和所述辅摄像头的辅同步图像；

根据所述主同步图像和所述辅同步图像，获取所述图像的深度图。

5.根据权利要求4所述的方法，其特征在于，根据所述主同步图像和所述辅同步图像，获取所述图像的深度图包括：

获取所述主同步图像和所述辅同步图像的图像差异，获取所述主摄像头和所述辅摄像头两中心位置之间的距离，以及获取所述主同步图像和所述辅同步图像的画幅差异；

根据获取的所述图像差异，所述距离，以及所述画幅差异，获取所述图像的深度图。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在对所述图像中所述主体轮廓的背景进行虚化处理之前，还包括：

对所述图像中的所述主体轮廓进行效果增强处理。

7.根据权利要求6所述的方法，其特征在于，在对所述图像中的所述主体轮廓进行效果增强处理之前，还包括：

通过采集所述图像的双摄像头中的辅摄像头对所述主体轮廓对应的主体进行对焦。

8.根据权利要求6所述的方法，其特征在于，在对所述图像中所述主体轮廓的背景进行虚化处理之后，还包括：

通过采集所述图像的双摄像头中的主摄像头对进行虚化处理后的图像进行预览和输出。

9.一种图像背景虚化处理装置，其特征在于，包括：

采集模块，用于采集到图像；

识别模块，用于根据物体识别模型，识别出所述图像中的物体的主体轮廓，其中，所述物体识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：图像和从所述图像中识别出的物体的主体轮廓；

虚化模块，用于对所述图像中所述主体轮廓的背景进行虚化处理。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的图像背景虚化处理方法。

11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的图像背景虚化处理方法。