CN112102147A - 背景虚化识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种背景虚化识别方法、装置、设备及存储介质，包括：获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景；实现了对虚化背景的精准识别。

Description

背景虚化识别方法、装置、设备及存储介质

技术领域

本申请涉及背景虚化识别技术领域，具体涉及一种背景虚化识别方法、装置、设备及存储介质。

背景技术

视频植入是在已经制作完成的视频中利用计算机视觉技术智能植入视频的新型技术，相比在原始视频前后添加视频，或设置为视频浮层等传统视频技术具有体验较优、流量覆盖较高及技术创新较强等优点。

而现有的视频植入只能利用当前已经获得的视频，选取植入区域和植入内容，例如，通过人工进行选取植入区域和植入内容，或者通过梯度计算判别，选取植入区域和植入内容，但是由于视频内容多样性和不确定性，因此无法识别视频中不适合植入的失焦和运动引起的虚化背景。

发明内容

本申请实施例提供一种背景虚化识别方法、装置、设备及存储介质，可以精准识别虚化背景。

为解决上述技术问题，本申请实施例提供以下技术方案：

获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；

根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

根据所述像素类别信息获取所述分割图像的特征值；

当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

相应的，本申请实施例还提供一种背景虚化识别装置，包括：

第一获取单元，用于获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；

分割单元，用于根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

第二获取单元，用于根据所述像素类别信息获取所述分割图像的特征值；

确定单元，用于当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

可选的，在一些实施例中，所述第一获取单元包括：

第一获取子单元，用于获取待虚化识别图像；

提取子单元，用于提取所述待虚化识别图像中的初始图像及非初始图像，以及所述初始图像的特征信息；

查找子单元，用于查找所述初始图像的特征信息在所述非初始图像中的位置；

对比子单元，用于将所述初始图像的特征点在初始图像中的位置，与在所述非初始图像中的位置进行对比，获得初始图像的特征信息的移动值；若所述移动值大于或等于预设值，则确定所述待虚化识别图像对应的镜头画面类型为运动类型，否则，确定所述待虚化识别图像对应的镜头画面类型为静止类型。

可选的，在一些实施例中，所述分割单元包括：

第二获取子单元，用于若所述待虚化识别图像对应的镜头画面类型为静止类型，则获取所述待虚化识别图像的初始图像；

分割子单元，用于对所述待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对所述前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。

此外，本申请实施例还提供一种背景虚化识别设备，包括：处理器和存储器；所述存储器质存储有多条指令，所述处理器加载所述存储器存储的指令以执行本申请实施例提供的任一种背景虚化识别方法。

此外，本申请实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种背景虚化识别方法。

本申请实施例通过获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。本方案根据待虚化识别图像的镜头画面类型，对待虚化识别图像进行分割，从而获得分割图像以及对应的像素类别信息，根据像素类别信息获取分割图像的特征值，通过特征值即可判断待虚化识别图像是否存在虚化背景，从而实现对虚化背景的精准识别。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的背景虚化识别方法的一场景示意图；

图2是本申请实施例提供的背景虚化识别方法的流程图；

图3是本申请实施例提供的背景虚化识别方法的一细化流程图；

图4是本申请实施例提供的背景虚化识别方法的另一细化流程图；

图5是本申请实施例提供的背景虚化识别方法的又一细化流程图；

图6是本申请实施例提供的背景虚化识别方法的再一细化流程图；

图7a是本申请实施例提供的进行语义分割前的前景图像的示意图；

图7b是本申请实施例提供的进行语义分割后的前景图像的轮廓示意图；

图8是本申请实施例提供的背景虚化识别方法的另一流程图；

图9是本申请实施例提供的背景虚化识别方法的又一场景流程图；

图10a是本申请实施例提供的背景虚化识别装置的一结构示意图；

图10b是本申请实施例提供的背景虚化识别装置的另一结构示意图；

图11是本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种背景虚化识别方法、装置、设备和存储介质。以下分别进行详细说明。

该背景虚化识别装置可以集成在终端中，该终端可以为手机、平板电脑、笔记本电脑等设备，该背景虚化识别装置也可以是服务器，比如云服务器。

例如，参见图1，以该背景虚化识别装置具体集成在终端中为例，首先，终端中具有背景虚化识别页面，用户可通过点击背景虚化识别页面中的背景虚化识别控件触发背景虚化识别指令，背景虚化识别装置即可接收用户触发的背景虚化识别指令，然后基于背景虚化识别指令获取待虚化识别图像，提取所述待虚化识别图像的初始图像以及非初始图像，以及所述初始图像的特征信息，查找所述初始图像的特征信息在非初始图像中的位置；将所述初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征点的移动值，通过移动值即可获得待虚化识别图像对应的镜头画面类型，然后根据镜头画面类型对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息，根据前景图像的像素类别信息获取前景图像的特征值，根据背景图像的像素类别信息获取背景图像的特征值；当前景图像与背景图像的特征值都符合预设条件时，则确定待虚化识别图像不存在虚化背景，若特征值不符合预设条件时，则确定待虚化识别图像存在虚化背景，从而实现了对图像是否存在背景虚化的精准识别，当需要进行视频植入时，即可将存在虚化背景的图像对应的帧段排查，将视频添加至不存在背景虚化的帧段，不需要通过人工进行视频排查，从而提高了视频植入的效率。

需要说明的是，图1所示的背景虚化识别装置的场景示意图仅仅是一个示例，本申请实施例描述的背景虚化识别装置以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着背景虚化识别装置的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

由于本方案是根据待虚化识别图像对应的镜头画面类型，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息，根据前景图像对应的像素类别信息获取前景图像的特征值，根据背景图像对应的像素类别信息获取背景图像的特征值，通过特征值即可判断待虚化识别图像是否存在虚化背景，从而实现对虚化背景的识别。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本实施例中，将从背景虚化识别装置的角度进行描述，该背景虚化识别装置具体可以集成在网络设备如终端或服务器等设备中。

一种背景虚化识别方法，包括：获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定待虚化识别图像不存在虚化背景。

如图2所示，该背景虚化识别装置的具体流程可以如下：

201，获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型。

其中，待虚化识别图像是通过视频获得，视频可包括多个镜头画面，镜头画面由待虚化识别图像组成，待虚化识别图像可包括多张图像，通过获取待分析视频，然后将待分析视频通过相似度方法进行镜头切分操作，把视频拆成多个镜头图像，获得待虚化识别图像。然后提取待虚化识别图像中的初始图像以及非初始图像，以及初始图像的特征信息，查找初始图像的特征信息在非初始图像中的位置，比如当待虚化识别图像存在人物时，可提取初始图像中的人物信息，然后查找人物信息在非初始图像中的位置。其中，可具体通过光流法查找初始图像的特征信息在非初始图像中的位置；将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息的移动值，通过移动值即可判断待虚化识别图像的镜头画面类型。因此在获取待虚化识别图像以及镜头画面类型之前，还可以包括：

获取待分析视频；

将所述待分析视频进行镜头切分，获得待虚化识别图像。

具体地，对待分析视频中相邻的两幅图像进行特征点提取，然后将从两幅图像中提取的特征点进行匹配，获得两幅图像之间的特征点对，以及特征点之间的横向距离、纵向距离，然后删除匹配的特征点对中，两个特征点之间的横向距离大于第一预设值，和/或两个特征点之间的纵向距离大于第二预设值的特征点对；当匹配的特征点对中的剩余的特征点对的数量大于第三预设值时，将所述两幅图像确认为属于同一个镜头，然后将属于同一个镜头的图像设置为待虚化识别图像，即属于同一个镜头的待虚化识别图像组成一镜头画面，即可获得待虚化识别图像。

进一步地，参照图3，获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型包括：

301，获取待虚化识别图像；

302，提取所述待虚化识别图像中的初始图像及非初始图像，以及所述初始图像的特征信息；

303，查找所述初始图像的特征信息在所述非初始图像中的位置；

304，将所述初始图像的特征点在初始图像中的位置，与在所述非初始图像中的位置进行对比，获得初始图像的特征信息的移动值；

305，若所述移动值大于或等于预设值，则确定所述待虚化识别图像对应的镜头画面类型为运动类型，否则，确定所述待虚化识别图像对应的镜头画面类型为静止类型。

在本实施例中，获取待虚化识别图像之后，提取待虚化识别图像中的初始图像以及非初始图像，接收用户输入的参数，其中，参数可以包括兴趣信息，比如输入的参数是人物时，说明用户的兴趣信息是图像中的人物，然后根据兴趣信息提取初始图像的特征点，当用户的兴趣信息是人物时，即提取初始图像中的人物特征。然后查找初始图像的特征信息在非初始图像中的位置，具体可通过光流法查找初始图像的特征信息在非初始图像中的位置，即将特征信息依次投影到非初始图像中，得到对应的图像点对，即特征信息在非初始图像中的位置；然后将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息在非初始图像中的移动值，若所述移动值大于或等于预设值，则确定所述待虚化识别图像对应的镜头画面类型为运动类型，否则，确定所述待虚化识别图像对应的镜头画面类型为静止类型。

202，根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息。

具体地，在获得镜头画面类型之后，即可根据镜头画面类型对待虚化识别图像进行分割，具体可包括进行语义分割以及前背景分割，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。当镜头画面类型为静止时，则直接获取待虚化识别图像的初始图像，将待虚化识别图像的初始图像输入预设的模型，进行语义分割以及前背景分割；其中，预设的模型可以为编码模型，该编码模型由多个标注了前景图像、背景图像、前景图像的像素类别信息以及背景像素类别信息的样本图像训练而成，其中，像素类别信息可以为墙壁，楼宇，室内地面，室外地面，餐桌，办公桌，人物，住宅，窗户，门，箱子，海报公告牌，屏幕，车，柱子，计算机，电视，柜台，舞台，显示器，其他前景，其他背景等。具体可以将样本图像输入至预设模型中进行检测，得到预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息，将该预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息和标注的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息进行收敛，使得预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息无限接近于标注的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息，以此类推进行多次训练，最终便可得到编码模型。

其中，前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息的标注可以由标注审核人员根据专业影像人员的指导进行标注，前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息的标注规则可根据实际应用的需求而定。

具体可以由其他设备进行训练后，提供给该背景虚化识别装置，或者，也可以由该背景虚化识别装置自行进行训练；即在步骤“获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型”之前，该背景虚化识别方法还可以包括：

采集多个标注了前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息的样本图像，根据该样本图像对预设模型进行训练，得到编码模型。

当待虚化识别图像的镜头画面类型为运动类型时，则获取像素运动量大于预设值的图像，将像素运动量大于预设值的图像输入预设的编码模型，进行语义分割以及前背景分割；获得预设的编码模型输出的对应的前景图像、背景图像，以及所述前景图像的像素类别信息、背景图像的像素类别信息。

进一步地，当分割包括语义分割与前背景分割，分割图像包括前景图像与背景图像时，参照图4，当镜头画面类型为静止类型时，步骤202包括：

401，若所述待虚化识别图像的镜头画面类型为静止类型，则获取所述待虚化识别图像的初始图像；

402，对所述待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；

403，对所述前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息；

具体地，若待虚化识别图像的镜头画面类型为静止类型，则获取待虚化识别图像的初始图像，可以理解的是，同一镜头的待虚化识别图像可以有多张，此时即取同一镜头的多张待虚化识别图像中的初始图像，然后将待虚化识别图像的初始图像输入预设的模型，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对待前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息，其中，预设的模型可以为编码模型，该编码模型由多个标注了前景图像、背景图像、前景图像的像素类别信息以及背景像素类别信息的样本图像训练而成。

参照图5，当镜头画面类型为运动类型时，步骤202包括：

501，若所述待虚化识别图像的镜头画面类型为运动类型，则获取所述待虚化识别图像中特征信息移动值大于预设值的图像；

502，对所述特征信息移动值大于预设值的图像进行前背景分割，获得对应的前景图像、背景图像；

503，对所述待前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。

当待虚化识别图像的镜头画面类型为运动类型时，则获取特征信息移动值大于预设值的图像，其中，特征信息即待虚化识别图像的图像中特征区域，提取待虚化识别图像中的初始图像以及非初始图像，接收用户输入的参数，其中，参数可以包括兴趣信息，比如输入的参数是人物时，说明用户的兴趣信息是图像中的人物，然后根据兴趣信息提取初始图像的特征区域，当用户的兴趣信息是人物时，即提取初始图像中的人物特征区域。然后查找初始图像的特征信息在非初始图像中的位置，具体可通过光流法查找初始图像的特征信息在非初始图像中的位置，即将特征信息依次投影到非初始图像中，得到对应的图像点对，即特征信息在非初始图像中的位置；然后将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息在非初始图像中的移动值，具体地，可基于稀疏光流法获得待虚化识别图像中的特征信息移动值，将特征信息移动值大于预设值的图像输入预设的编码模型，进行前背景分割，获得对应的前景图像、背景图像，对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息。

203，根据所述像素类别信息获取所述分割图像的特征值。

204，当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

获得前景图像的像素类别信息以及背景图像的像素类别信息之后，即可根据前景图像的像素类别信息获取前景图像的特征值，以及根据背景图像的像素类别信息获取背景图像的特征值。具体地，特征值包括目标物面积占比、比值、背景方差以及前景方差。

因此，具体地，参照图6，特征值包括目标物面积占比、比值、背景方差以及前景方差，步骤203可以包括：

601，获取所述前景图像中的目标物面积占比；

602，对所述背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像；

603，计算拉普拉斯变换后的背景图像的背景高频信息；

604，获取所述背景图像中的R通道的值、G通道的值与B通道的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值；

605，计算所述背景高频信息与所述背景像素值的比值；

606，计算所述背景图像的背景方差，以及计算所述前景图像的前景方差。

具体地，在对前景图像进行语义分割时，获得了各种类别的物品或者人物的面积，可以在语义分割时，进一步设置计算目标物的面积占比，如图7b所示，通过语义分割之后，可得到各种物品或者人物的轮廓，可通过各种物品或者人物的轮廓计算物品或者人物的面积，将计算得到的面积与物品或者人物所处的前景图像的总面积进行对比，即可得到面积占比。对背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像，计算拉普拉斯变换后的背景图像的背景高频信息，具体地，可通过生成神经网络对背景图像进行拉普拉斯变换，以获得输出的变换后的背景图像，生成神经网络是基于拉普拉斯变换函数训练得到的，然后计算变换后的背景图像的背景高频信息，即背景图像的像素方差。获取背景图像中的R通道(即红颜色Red通道)的值、G通道(即绿颜色Red通道)的值与B通道(即蓝颜色Red通道)的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值，具体地，首先计算R通道的值与G通道的值的像素差值，并取第一像素差值的绝对值RG，计算R通道的值与G通道的值的和，计算R通道的值与G通道的和的二分之一值，将R通道的值与G通道的值像的二分之一值减去B通道的值，获得第二像素差值YB，计算第一像素差值的绝对值RG与第二像素差值YB的平均值和方差，计算两个方差的平方和的平方根，以及两个均值的平方和的平方根，加上0.3倍的均值平方根，即可得到背景像素值。然后将背景高频信息与背景特征值相除，得到背景比值。

并进一步计算背景图像中的背景像素的灰度值方差，灰度值方差指背景图像块内各像素灰度值的均方差值，将计算得到的灰度值方差设置为背景方差，以及计算前景图像中的前景像素的灰度值方差，将灰度值方差设置为前景方差。可以理解的是，面积占比、比值、背景方差以及前景方差的计算过程可不分前后，即可同步进行，也可按照随机的顺序进行计算，在此不做限定。

然后将计算得到的面积占比、比值、背景方差以及前景方差输入训练好的分类模型中，通过训练好的分类模型对待虚化识别图像进行虚化背景识别。其中，该分类模型由多个标注了虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的样本图像训练而成。具体可以将样本图像输入至预设模型中进行检测，得到预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，将该预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值和标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值进行收敛，使得预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值无限接近于标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，以此类推进行多次训练，最终便可得到分类模型。

其中，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注可以由标注审核人员根据专业影像人员的指导进行标注，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注规则可根据实际应用的需求而定。

具体可以由其他设备进行训练后，提供给该背景虚化识别装置，或者，也可以由该背景虚化识别装置自行进行训练；即在步骤“当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景”之前，该背景虚化识别方法还可以包括：

采集多个标注了虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的样本图像，根据该样本图像对预设模型进行训练，得到分类模型。

通过分类模型将待虚化识别图像的特征值与训练得到的图像各种状态下的特征值进行对比，若待虚化识别图像的特征值与存在背景虚化的图像对应的特征值一致，或者不一致但是误差范围在预设范围内，则确定待虚化识别图像存在背景虚化，若待虚化识别图像的特征值与不存在背景虚化的图像对应的特征值一致，或者不一致但是误差范围在预设范围内，则确定待虚化识别图像不存在背景虚化。

在进行背景是否存在虚化识别之后，即可根据识别结果确定是否能进行视频植入。具体地，参照图8，204之后还可以包括：

801，获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像；

802，获取所述待分析视频中所述待虚化识别图像对应的位置；

803，将所述添加视频或添加图像添加至所述位置。

具体地，获取待虚化识别图像对应的待分析视频，其中，待虚化识别图像对应的待分析视频即进行镜头切分，得到待虚化识别图像的视频，以及获取添加视频或添加图像，由于进行植入的可为视频和图像，因此获取的可为添加视频或添加图像，具体可根据用户的需求进行设置。进一步获取所述待分析视频中所述待虚化识别图像对应的位置，将添加视频或添加图像添加至待虚化识别图像对应的位置。不需要人工筛选虚化背景，从而提高了植入视频和植入图像的效率，同时降低了植入的成本。

进一步地，当所述待虚化识别图像的镜头画面类型为运动类型时，所述获取所述待虚化识别图像对应的待分析视频，以及获取添加视频包括：

计算所述特征信息移动值大于预设值的图像对应的非虚化背景的时长；

若所述时长大于预设时长，则获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像。

计算特征信息移动值大于预设的图像对应的非虚化背景的时长；若所述时长大于预设时长，则确定可植入，则获取待虚化识别图像对应的待分析视频，以及待添加所述待分析视频的添加视频或添加图像。以后进行植入。

本实施例提出的背景虚化识别方法，通过获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。本方案根据待虚化识别图像的镜头画面类型，对待虚化识别图像进行分割，从而获得分割图像以及对应的像素类别信息，根据像素类别信息获取分割图像的特征值，通过特征值即可判断待虚化识别图像是否存在虚化背景，从而实现对虚化背景的精准识别。

本实施例中，以下将举例作进一步详细说明，一种背景虚化识别方法，包括：获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

请参阅图9，图9是本申请一实施例提供的背景虚化识别方法应用于广告植入的一流程示意图。该背景虚化识别方法可以包括：

901，获取待植入广告的分析视频。

902，将待植入广告的分析视频进行镜头切分，获得待虚化识别图像。

具体地，对待植入广告的分析视频中相邻的两幅图像进行特征点提取，然后将从两幅图像中提取的特征点进行匹配，获得两幅图像之间的特征点对，以及特征点之间的横向距离、纵向距离，然后删除匹配的特征点对中，两个特征点之间的横向距离大于第一预设值，和/或两个特征点之间的纵向距离大于第二预设值的特征点对；当匹配的特征点对中的剩余的特征点对的数量大于第三预设值时，将所述两幅图像确认为属于同一个镜头，然后将属于同一个镜头的图像设置为待虚化识别图像，即可获得待虚化识别图像。

903，提取所述待虚化识别图像中的初始图像及非初始图像，以及所述初始图像的特征信息。

904，查找初始图像的特征信息在所述非初始图像中的位置；

905，将所述初始图像的特征点在初始图像中的位置，与在所述非初始图像中的位置进行对比，获得初始图像的特征信息的移动值；

906，若移动值大于或等于预设值，则确定待虚化识别图像的镜头画面类型为运动类型，否则，确定所述待虚化识别图像的镜头画面类型为静止类型。

获取待虚化识别图像之后，提取待虚化识别图像中的初始图像以及非初始图像，接收用户输入的参数，其中，参数可以包括兴趣信息，比如输入的参数是人物时，说明用户的兴趣信息是图像中的人物，然后根据兴趣信息提取初始图像的特征点，当用户的兴趣信息是人物时，即提取初始图像中的人物特征。然后查找初始图像的特征信息在非初始图像中的位置，具体可通过光流法查找初始图像的特征信息在非初始图像中的位置，即将特征信息依次投影到非初始图像中，得到对应的图像点对，即特征信息在非初始图像中的位置；然后将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息在非初始图像中的移动值，若移动值大于或等于预设值，则确定待虚化识别图像的镜头画面类型为运动类型，否则，确定待虚化识别图像的镜头画面类型为静止类型。

906，若所述待虚化识别图像的镜头画面类型为静止类型，则获取所述待虚化识别图像的初始图像；

907，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；

908，对待前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。

具体地，若待虚化识别图像的镜头画面类型为静止类型，则获取待虚化识别图像的初始图像，可以理解的是，同一镜头的待虚化识别图像可以有多张，此时即取同一镜头的多张待虚化识别图像中的初始图像，然后将待虚化识别图像的初始图像输入预设的模型，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像，对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息，其中，预设的模型可以为编码模型，该编码模型由多个标注了前景图像、背景图像、前景图像的像素类别信息以及背景像素类别信息的样本图像训练而成。

909，若所述待虚化识别图像的镜头画面类型为运动类型，则获取所述待虚化识别图像中特征信息移动值大于预设值的图像；

910，对所述特征信息移动值大于预设值的图像进行前背景分割，获得对应的前景图像、背景图像；

911，对所述前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息；

当待虚化识别图像的镜头画面类型为运动类型时，则获取特征信息移动值大于预设值的图像，其中，特征信息即待虚化识别图像的图像中特征区域，提取待虚化识别图像中的初始图像以及非初始图像，接收用户输入的参数，其中，参数可以包括兴趣信息，比如输入的参数是人物时，说明用户的兴趣信息是图像中的人物，然后根据兴趣信息提取初始图像的特征区域，当用户的兴趣信息是人物时，即提取初始图像中的人物特征区域。然后查找初始图像的特征信息在非初始图像中的位置，具体可通过光流法查找初始图像的特征信息在非初始图像中的位置，即将特征信息依次投影到非初始图像中，得到对应的图像点对，即特征信息在非初始图像中的位置；然后将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息在非初始图像中的移动值，具体地，可基于稀疏光流法获得待虚化识别图像中的特征信息移动值，将特征信息移动值大于预设值的图像输入预设的编码模型，进行前背景分割，获得对应的前景图像、背景图像，对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息。

912，获取所述前景图像中的目标物面积占比；

具体地，在对前景图像进行语义分割时，获得了各种类别的物品或者人物的面积，可以在语义分割时，进一步设置计算目标物的面积占比，如图7b所示，通过语义分割之后，可得到各种物品或者人物的轮廓，可通过各种物品或者人物的轮廓计算物品或者人物的面积，将计算得到的面积与物品或者人物所处的前景图像的总面积进行对比，即可得到面积占比。

913，对所述背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像。

914，计算拉普拉斯变换后的背景图像的背景高频信息。

915，获取所述背景图像中的R通道的值、G通道的值与B通道的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值。

916，计算所述背景高频信息与所述背景像素值的比值。

对背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像，计算拉普拉斯变换后的背景图像的背景高频信息，具体地，可通过生成神经网络对背景图像进行拉普拉斯变换，以获得输出的变换后的背景图像，生成神经网络是基于拉普拉斯变换函数训练得到的，然后计算变换后的背景图像的背景高频信息，即背景图像的像素方差。获取背景图像中的R通道的值、G通道的值与B通道的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值，具体地，首先计算R通道的值与G通道的值的像素差值，并取第一像素差值的绝对值RG，计算R通道的值与G通道的值的和，计算R通道的值与G通道的和的二分之一值，将R通道的值与G通道的值像的二分之一值减去B通道的值，获得第二像素差值YB，计算第一像素差值的绝对值RG与第二像素差值YB的平均值和方差，计算两个方差的平方和的平方根，以及两个均值的平方和的平方根，加上0.3倍的均值平方根，即可得到背景像素值。然后将背景高频信息与背景特征值相除，得到背景比值。

917，计算所述背景图像的背景方差，以及计算所述前景图像的前景方差。

并进一步计算背景图像中的背景像素的灰度值方差，灰度值方差指背景图像块内各像素灰度值的均方差值，将计算得到的灰度值方差设置为背景方差，以及计算前景图像中的前景像素的灰度值方差，将灰度值方差设置为前景方差。可以理解的是，面积占比、比值、背景方差以及前景方差的计算过程可不分前后，即可同步进行，也可按照随机的顺序进行计算，在此不做限定。

918，当特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

然后将计算得到的面积占比、比值、背景方差以及前景方差输入训练好的分类模型中，通过训练好的分类模型对待虚化识别图像进行虚化背景识别。其中，该分类模型由多个标注了虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的样本图像训练而成。具体可以将样本图像输入至预设模型中进行检测，得到预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，将该预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值和标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值进行收敛，使得预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值无限接近于标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，以此类推进行多次训练，最终便可得到分类模型。

其中，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注可以由标注审核人员根据专业影像人员的指导进行标注，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注规则可根据实际应用的需求而定。

具体可以由其他设备进行训练后，提供给该背景虚化识别装置，或者，也可以由该背景虚化识别装置自行进行训练；即在步骤“当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景”之前，该背景虚化识别方法还可以包括：

采集多个标注了虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的样本图像，根据该样本图像对预设模型进行训练，得到分类模型。

通过分类模型将待虚化识别图像的特征值与训练得到的图像各种状态下的特征值进行对比，若待虚化识别图像的特征值与存在背景虚化的图像对应的特征值一致，或者不一致但是误差范围在预设范围内，则确定待虚化识别图像存在背景虚化，若待虚化识别图像的特征值与不存在背景虚化的图像对应的特征值一致，或者不一致但是误差范围在预设范围内，则确定待虚化识别图像不存在背景虚化。

919，获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像；

920，获取所述待分析视频中所述待虚化识别图像对应的位置；

921，将所述添加视频或添加图像添加至所述位置。

具体地，获取待虚化识别图像对应的待分析视频，其中，待虚化识别图像对应的待分析视频即进行镜头切分，得到待虚化识别图像的视频，以及获取添加视频或添加图像，由于进行植入的可为视频和图像，因此获取的可为添加视频或添加图像，具体可根据用户的需求进行设置。进一步获取所述待分析视频中所述待虚化识别图像对应的位置，将添加视频或添加图像添加至待虚化识别图像对应的位置。不需要人工筛选虚化背景，从而提高了植入视频和植入图像的效率，同时降低了植入的成本。

进一步地，当所述待虚化识别图像的镜头画面类型为运动类型时，所述获取所述待虚化识别图像对应的待分析视频，以及获取添加视频包括：

计算所述特征信息移动值大于预设值的图像对应的非虚化背景的时长；

若所述时长大于预设时长，则获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像。

计算特征信息移动值大于预设的图像对应的非虚化背景的时长；若所述时长大于预设时长，则确定可植入，则获取待虚化识别图像对应的待分析视频，以及待添加所述待分析视频的添加视频或添加图像。以后进行植入。

由上可知，本实施例通过获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。本方案根据待虚化识别图像的镜头画面类型，对待虚化识别图像进行分割，从而获得分割图像以及对应的像素类别信息，根据像素类别信息获取分割图像的特征值，通过特征值即可判断待虚化识别图像是否存在虚化背景，从而实现对虚化背景的精准识别。

为了更好地实施以上方法，本申请实施例还可以提供一种背景虚化识别装置，该背景虚化识别装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图10a所示，该背景虚化识别装置可以包括第一获取单元1001、分割单元1002、第二获取单元1003和确定单元1004，如下：

(1)第一获取单元1001；

第一获取单元1001，用于获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型。

具体地，待虚化识别图像是通过视频获得，待虚化识别图像可包括多张图像，通过获取待分析视频，然后将待分析视频通过相似度方法进行镜头切分操作，把视频拆成多个镜头图像，获得待虚化识别图像。然后提取待虚化识别图像中的初始图像以及非初始图像，以及初始图像的特征信息，查找初始图像的特征信息在非初始图像中的位置，比如当待虚化识别图像存在人物时，可提取初始图像中的人物信息，然后查找人物信息在非初始图像中的位置。其中，可具体通过光流法查找初始图像的特征信息在非初始图像中的位置；将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息的移动值，通过移动值即可判断待虚化识别图像的镜头画面类型。

(2)分割单元1002；

分割单元1002，用于根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息。

具体地，在获得镜头画面类型之后，即可根据镜头画面类型对待虚化识别图像进行分割，具体可包括进行语义分割以及前背景分割，对待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；对前景图像、背景图像进行语义分割，得到前景图像对应的像素类别信息、背景图像对应的像素类别信息。当镜头画面类型为静止类型时，则直接获取待虚化识别图像的初始图像，将待虚化识别图像的初始图像输入预设的模型，进行语义分割以及前背景分割；其中，预设的模型可以为编码模型，该编码模型由多个标注了前景图像、背景图像、前景图像的像素类别信息以及背景像素类别信息的样本图像训练而成，其中，像素类别信息可以为墙壁，楼宇，室内地面，室外地面，餐桌，办公桌，人物，住宅，窗户，门，箱子，海报公告牌，屏幕，车，柱子，计算机，电视，柜台，舞台，显示器，其他前景，其他背景等。具体可以将样本图像输入至预设模型中进行检测，得到预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息，将该预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息和标注的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息进行收敛，使得预测的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息无限接近于标注的前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息，以此类推进行多次训练，最终便可得到编码模型。

其中，前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息的标注可以由标注审核人员根据专业影像人员的指导进行标注，前景图像、背景图像、前景图像的像素类别信息以及背景图像的像素类别信息的标注规则可根据实际应用的需求而定。

具体可以由其他设备进行训练后，提供给该背景虚化识别装置，或者，也可以由该背景虚化识别装置自行进行训练。

(3)第二获取单元1003；

第二获取单元1003，用于根据所述像素类别信息获取所述分割图像的特征值。

获得前景图像的像素类别信息以及背景图像的像素类别信息之后，即可根据前景图像的像素类别信息获取前景图像的特征值，以及根据背景图像的像素类别信息获取背景图像的特征值。具体地，特征值包括目标物面积占比、比值、背景方差以及前景方差。具体地，在对前景图像进行语义分割时，获得了各种类别的物品或者人物的面积，可以在语义分割时，进一步设置计算目标物的面积占比，如图7b所示，通过语义分割之后，可得到各种物品或者人物的轮廓，图7a是图7b进行语义分割前对应的前景图像。可通过各种物品或者人物的轮廓计算物品或者人物的面积，将计算得到的面积与物品或者人物所处的前景图像的总面积进行对比，即可得到面积占比。对背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像，计算拉普拉斯变换后的背景图像的背景高频信息，具体地，可通过生成神经网络对背景图像进行拉普拉斯变换，以获得输出的变换后的背景图像，生成神经网络是基于拉普拉斯变换函数训练得到的，然后计算变换后的背景图像的背景高频信息，即背景图像的像素方差。获取背景图像中的R通道的值、G通道的值与B通道的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值，具体地，首先计算R通道的值与G通道的值的像素差值，并取第一像素差值的绝对值RG，计算R通道的值与G通道的值的和，计算R通道的值与G通道的和的二分之一值，将R通道的值与G通道的值像的二分之一值减去B通道的值，获得第二像素差值YB，计算第一像素差值的绝对值RG与第二像素差值YB的平均值和方差，计算两个方差的平方和的平方根，以及两个均值的平方和的平方根，加上0.3倍的均值平方根，即可得到背景像素值。然后将背景高频信息与背景特征值相除，得到背景比值。

并进一步计算背景图像中的背景像素的灰度值方差，灰度值方差指背景图像块内各像素灰度值的均方差值，将计算得到的灰度值方差设置为背景方差，以及计算前景图像中的前景像素的灰度值方差，将灰度值方差设置为前景方差。可以理解的是，面积占比、比值、背景方差以及前景方差的计算过程可不分前后，即可同步进行，也可按照随机的顺序进行计算，在此不做限定。

(4)确定单元1004；

确定单元1004，用于当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

然后将计算得到的面积占比、比值、背景方差以及前景方差输入训练好的分类模型中，通过训练好的分类模型对待虚化识别图像进行虚化背景识别。其中，该分类模型由多个标注了虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的样本图像训练而成。具体可以将样本图像输入至预设模型中进行检测，得到预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，将该预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值和标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值进行收敛，使得预测的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值无限接近于标注的虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值，以此类推进行多次训练，最终便可得到分类模型。

其中，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注可以由标注审核人员根据专业影像人员的指导进行标注，虚化背景图像、非虚化背景图像、虚化前景图像以及非虚化前景图像的特征值的标注规则可根据实际应用的需求而定。

具体地，如图10b所示，第一获取单元1001可以包括：

第一获取子单元1005，获取待虚化识别图像；

提取子单元1006，用于提取所述待虚化识别图像中的初始图像及非初始图像，以及所述初始图像的特征信息；

查找子单元1007，用于查找所述初始图像的特征信息在所述非初始图像中的位置；

对比子单元1008，用于将所述初始图像的特征点在初始图像中的位置，与在所述非初始图像中的位置进行对比，获得初始图像的特征信息的移动值；若所述移动值大于或等于预设值，则确定所述待虚化识别图像的镜头画面类型为运动类型，否则，确定所述待虚化识别图像的镜头画面类型为静止类型。

具体地，获取待虚化识别图像之后，提取待虚化识别图像中的初始图像以及非初始图像，接收用户输入的参数，其中，参数可以包括兴趣信息，比如输入的参数是人物时，说明用户的兴趣信息是图像中的人物，然后根据兴趣信息提取初始图像的特征点，当用户的兴趣信息是人物时，即提取初始图像中的人物特征。然后查找初始图像的特征信息在非初始图像中的位置，具体可通过光流法查找初始图像的特征信息在非初始图像中的位置，即将特征信息依次投影到非初始图像中，得到对应的图像点对，即特征信息在非初始图像中的位置；然后将初始图像的特征信息在初始图像中的位置与在非初始图像中的位置进行对比，获得初始图像的特征信息在非初始图像中的移动值，若移动值大于或等于预设值，则确定待虚化识别图像的镜头画面类型为运动类型，否则，确定待虚化识别图像的镜头画面类型为静止类型。

由上可知，本实施例的背景虚化识别装置的第一获取单元1001获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；分割单元1002根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；第二获取单元1003根据所述像素类别信息获取所述分割图像的特征值；当所述特征值符合预设条件时，确定单元1004确定所述待虚化识别图像不存在虚化背景。本方案根据待虚化识别图像的镜头画面类型，对待虚化识别图像进行分割，从而获得分割图像以及对应的像素类别信息，根据像素类别信息获取分割图像的特征值，通过特征值即可判断待虚化识别图像是否存在虚化背景，从而实现对虚化背景的精准识别。

本申请实施例还提供一种服务器，如图11所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图11中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

服务器还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理***与处理器1001逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现各种功能，如下：

获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；

根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

根据所述像素类别信息获取所述分割图像的特征值；

当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种背景虚化识别方法中的步骤。例如，该指令可以执行如下步骤：

获取待虚化识别图像以及待虚化识别图像对应的镜头画面类型；

根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

根据所述像素类别信息获取所述分割图像的特征值；

当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种背景虚化识别方法中的步骤，因此，可以实现本申请实施例所提供的任一种背景虚化识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种背景虚化识别方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种背景虚化识别方法，其特征在于，包括：

获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；

根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

根据所述像素类别信息获取所述分割图像的特征值；

当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

2.如权利要求1所述的背景虚化识别方法，其特征在于，所述获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型，包括：

获取待虚化识别图像；

提取所述待虚化识别图像中的初始图像及非初始图像，以及所述初始图像的特征信息；

查找所述初始图像的特征信息在所述非初始图像中的位置；

将所述初始图像的特征点在初始图像中的位置，与在所述非初始图像中的位置进行对比，获得初始图像的特征信息的移动值；

若所述移动值大于或等于预设值，则确定所述待虚化识别图像对应的镜头画面类型为运动类型，否则，确定所述待虚化识别图像对应的镜头画面类型为静止类型。

3.如权利要求2所述的背景虚化识别方法，所述分割包括语义分割与前背景分割，所述分割图像包括前景图像与背景图像，其特征在于，所述根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息，包括：

若所述待虚化识别图像对应的镜头画面类型为静止类型，则获取所述待虚化识别图像的初始图像；

对所述待虚化识别图像的初始图像进行前背景分割，得到前景图像、背景图像；

对所述前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。

4.如权利要求3所述的背景虚化识别方法，其特征在于，所述特征值包括目标物面积占比、比值、背景方差以及前景方差，所述根据所述像素类别信息获取所述待虚化识别图像的特征值，包括：

获取所述前景图像中的目标物面积占比；

对所述背景图像进行拉普拉斯变换，得到拉普拉斯变换后的背景图像；

计算拉普拉斯变换后的背景图像的背景高频信息；

获取所述背景图像中的R通道的值、G通道的值与B通道的值，并通过R通道的值、G通道的值与B通道的值计算背景像素值；

计算所述背景高频信息与所述背景像素值的比值；

计算所述背景图像的背景方差，以及计算所述前景图像的前景方差。

5.如权利要求1所述的背景虚化识别方法，其特征在于，所述所述述根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息，包括：

若所述待虚化识别图像对应的镜头画面类型为运动类型，则获取所述待虚化识别图像中特征信息移动值大于预设值的图像；

对所述特征信息移动值大于预设值的图像进行前背景分割，获得对应的前景图像、背景图像；

对所述前景图像、背景图像进行语义分割，得到所述前景图像对应的像素类别信息、背景图像对应的像素类别信息。

6.如权利要求1所述的背景虚化识别方法，其特征在于，所述确定所述待虚化识别图像不存在虚化背景之后，还包括：

获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像；

获取所述待分析视频中所述待虚化识别图像对应的位置；

将所述添加视频或添加图像添加至所述位置。

7.如权利要求6所述的背景虚化识别方法，其特征在于，所述当所述待虚化识别图像的镜头画面类型为运动图像时，所述获取所述待虚化识别图像对应的待分析视频，以及获取添加视频包括：

计算所述特征信息移动值大于预设值的图像对应的非虚化背景的时长；

若所述时长大于预设时长，则获取所述待虚化识别图像对应的待分析视频，以及获取添加视频或添加图像。

8.一种背景虚化识别装置，其特征在于，包括：

第一获取单元，用于获取待虚化识别图像以及所述待虚化识别图像对应的镜头画面类型；

分割单元，用于根据所述镜头画面类型对所述待虚化识别图像进行分割，得到分割图像以及所分割图像的像素类别信息；

第二获取单元，用于根据所述像素类别信息获取所述分割图像的特征值；

确定单元，用于当所述特征值符合预设条件时，则确定所述待虚化识别图像不存在虚化背景。

9.一种背景虚化识别设备，其特征在于，包括：处理器和存储器；所述存储器质存储有多条指令，所述处理器加载所述存储器存储的指令以执行权利要求1至7任一项所述的背景虚化识别方法。

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-7任一项所述的背景虚化识别方法。

Images