CN112188113A - 一种视频分解方法及装置、终端 - Google Patents

Abstract

本发明实施例公开了一种视频分解方法及装置、终端，所述视频分解方法包括：从视频中获取多个单帧图像；针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像中各目标区域对应的目标主体对象的图像；遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。本发明实施例中的技术方案可以生成原有视频中，同一目标主体对象的视频，从而可以基于生成的视频对目标对象进行分析。

Description

一种视频分解方法及装置、终端

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视频分解方法及装置、终端。

背景技术

视频是信息传播的重要媒介，智能的理解视频中的元素发挥着越来越重要的作用，可以通过分析视频中目标对象的动作以及表现，加深对视频目标对象的理解。

但是，在包括多个主体对象的视频中，难以对每个主体对象进行分析。

如何对多对象视频中单个主体对象进行分析成为亟待解决的问题。

发明内容

本发明解决的问题是如何对多对象视频中单个目标对象进行分析。

为解决上述问题，本发明提供一种视频分解方法，包括：从视频中获取多个单帧图像；针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像的各目标区域对应的目标主体对象的图像；遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

可选的，所述基于各单帧图像的各目标区域，对各所述单帧图像进行处理，包括：基于各所述目标区域，对所述单帧图像中，各目标区域对应的主体对象与非主体对象进行分割；对分割后的图像进行掩码处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像。

可选的，若所述目标区域对应的主体对象为多个，对分割后的图像进行掩码处理前，所述基于各所述目标区域，对所述单帧图像进行处理，还包括：获取所述目标区域对应的多个主体对象的关键点坐标位置；根据所述关键点坐标位置，确定所述多个主体对象中的目标主体对象，并对所述多个主体对象中的目标主体对象以及非目标主体对象进行分割。

可选的，根据各所述目标区域对应的主体对象在所述单帧图像中的分布概率，对所述单帧图像中各所述目标区域对应的主体对象与非主体对象进行分割。

可选的，所述基于各所述目标区域，对所述单帧图像进行处理，得到各目标区域对应的目标主体对象的图像，包括：基于已处理的各单帧图像得到的同一目标主体对象的图像，得到所述目标主体对象的活动热力图；根据得到的目标主体对象的活动热力图，对所述视频得到的多个单帧图像中，未处理的各单帧图像的多个目标区域对应的目标主体对象的图像进行识别，得到所述视频的各所述单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像。

可选的，所述针对每个单帧图像，确定多个目标区域包括：基于所述单帧图像，得到多个初始目标区域；对各所述初始目标区域进行扩展，得到所述多个目标区域。

可选的，所述对各所述初始目标区域进行扩展，包括：基于各所述初始目标区域的坐标位置，对各所述初始目标区域进行扩展。

可选的，在对各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成前，所述视频分解方法还包括：对基于各单帧图像得到的同一目标主体对象的各图像中，目标主体对象的像素占比进行计算；基于各所述像素占比，调整各图像中对应所述目标主体对象的各目标区域的尺寸；以调整后的各目标区域对所述目标主体对象的各图像进行裁剪，得到所述目标主体对象的多个初始目标区域图像；对所述多个初始目标区域图像按照统一尺寸进行缩放，得到各单帧图像的同一目标主体对象的多个目标区域图像。

可选的，所述目标主体对象的像素占比，根据各图像中所述目标主体对象的像素点数量与各图像中所述目标区域的总像素点数量的比值确定。

本发明实施例还提供了一种视频分解装置，包括：单帧图像获取单元，适于从视频中获取多个单帧图像；目标区域确定单元，适于针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；目标主体对象生成单元，适于基于各目标区域，对所述单帧图像进行处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像；视频合成单元，适于遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述视频分解方法的步骤。

与现有技术相比，本发明的技术方案具有以下有益效果：

本发明实施例中，通过对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象，基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像中各目标区域对应的目标主体对象的图像；遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。从而，生成的视频对应原视频中的一个主体对象，进而可以基于生成的视频对该主体对象进行分析。

进一步，通过对目标主体对象在各单帧图像得到的各图像中，目标区域内目标主体对象的像素占比进行计算，基于各像素占比调整各目标区域的大小，以及根据各调整后的目标区域对各单帧图像得到的各图像进行裁剪，并缩放至同一尺寸。得到的目标主体对象的各目标区像图像的图像大小一致，目标主体对象在各目标区域图像的像素占比较为统一，从而，目标主体对象的各目标区像图像中，目标主体对象的大小较为一致，可以提升后续对目标主体对象进行分析的准确性。

附图说明

图1是本发明实施例中一种视频分解方法的流程图；

图2是本发明实施例中一种确定视频帧图像上目标区域的方法的流程图；

图3是本发明实施例中一种对目标主体对象进行标定的示意图；

图4是本发明实施例中一种对单帧图像进行处理的方法的流程图；

图5是本发明实施例中一种目标主体对象的图像的示意图；

图6是本发明实施例中另一种对单帧图像进行处理的方法的流程图；

图7是本发明实施例中一种活动热力图的示意图；

图8是本发明实施例中另一种活动热力图的示意图；

图9是本发明实施例中另一种视频分解方法的部分流程图；

图10是本发明实施例中一种目标区域图像的示意图；

图11是本发明实施例中一种视频分解装置的结构示意图；

图12是本发明实施例中一种目标主体对象生成单元的结构示意图；

图13是本发明实施例中另一种目标主体对象生成单元的结构示意图；

图14是本发明实施例中一种目标区域确定单元的结构示意图。

具体实施方式

由背景技术可知，如何对多对象视频中的单个主体对象进行分析成为亟待解决的问题。

在一种应用场景中，对多对象视频中的多个主体对象进行分析的时候，只能对视频中的多个主体对象同时进行分析，难以对其中的某一个主体对象进行分析。

本发明实施例中，通过针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象，基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像中各目标区域对应的目标主体对象的图像，遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。从而，生成的视频对应原视频中的一个主体对象，进而可以基于生成的视频对该主体对象进行分析。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明具体实施例做详细的说明。

参照图1所示的一种视频分解方法的流程图，在本发明实施例中，视频分解方法可以包括如下步骤：

步骤S11，从视频中获取多个单帧图像；

步骤S12，针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；

步骤S13，基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像的各目标区域对应的目标主体对象的图像；

步骤S14，遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

在本发明实施例中，主体对象是指需要进行分析的对象，可以是人物、各种动物、车、以及各种建筑物等。在具体实施时，可以根据实际需求确定需要分析或跟踪的主体对象，例如，需要对视频中人物的动作进行跟踪或分析，则视频中的主体对象为人物；需要对视频中的车进行活动分析，则视频中的主体对象为车等。

视频可以是多主体对象视频，在多主体对象视频中，可以包括多个主体对象。例如，当主体对象为人物时，视频中可以包括多个主体人物。

本发明实施例可以对多主体对象视频中的多个主体对象进行分解，以得到多个主体对象中的单个目标主体对象的视频，从而可以基于得到的视频对该目标主体对象进行分析。

在具体实施中，从视频中获取多个单帧图像可以是对该视频进行拆帧，从而得到该视频的多个单帧图像。具体的，可以通过读取视频流，按照视频的播放时间顺序，进行逐一拆帧处理，得到对应视频的多个单帧图像。本领域的技术人员可以理解的是，在本发明实施例中，对视频拆帧的方式以及视频拆帧后得到的单帧图像的图像格式不做限制。

在具体实施中，在得到视频的多个单帧图像后，可以通过将各单帧图像输入卷积神经网络，基于卷积神经网络，从而确定各单帧图像的多个目标区域。具体的，参考图2，针对每个单帧图像，确定多个目标区域，可以包括如下步骤：

步骤S21，基于所述单帧图像，得到多个初始目标区域；

步骤S22，对各所述初始目标区域进行扩展，得到所述多个目标区域。

在具体实施中，通过将各单帧图像输入卷积神经网络，可以得到各单帧图像中分别对应各主体对象的多个初始目标区域，可以通过各初始目标区域对各主体对象进行标定。

例如，参考图3所示对目标主体对象进行标定的示意图，图中主体对象为人物对象，且图中仅示出了对一个主体对象进行标定。其中，初始目标区域31以及目标区域32可以是矩形框，对应每一初始目标区域31，可以确定初始目标区域31的左上角坐标为(X1，Y1)、右下角坐标为(X2，Y2)。

在具体实施中，同一主体对象在视频中的位置存在上下、左右的移动，可以通过对初始目标区域进行扩展，以得到较为合适的，用于对各主体对象进行标定的各目标区域。

在具体实施中，对各初始目标区域进行扩展，可以是基于各初始目标区域的坐标位置，对各初始目标区域进行扩展。在一种具体实现中，初始目标区域为矩形，则基于各初始目标区域的坐标位置，对各初始目标区域进行扩展，具体可以包括：基于初始目标区域的坐标位置，以初始目标区域的中心位置为基准点，将初始目标区域的顶点坐标朝远离该基准点的方向延伸，得到目标区域。

例如，继续以图3所示实施例为例进行说明，可以根据初始目标区域31的左上角坐标(X1，Y1)、右下角坐标(X2，Y2)，计算得到初始目标区域31的长H和宽W，通过初始目标区域31的长H和宽W，以及初始目标区域31的左上角坐标(X1，Y1)、右下角坐标(X2，Y2)，对所述初始目标区域31进行扩展，得到目标区域32，目标区域32的左上角坐标为(X1-0.1×W，Y1-0.1×H)、右下角坐标为(X2+0.1×W，Y2+0.1×H)。

本领域技术人员可以理解的是，以上仅为举例说明，在具体实施中，对应于各主体对象的各初始目标区域，均可通过如上方式进行扩展，以得到用于标定各主体对象的各目标区域。在其他实施例中，也可以通过其他的方式对初始目标区域进行扩展，对此不做限制。

在具体实施中，在确定各单帧图像的多个目标区域后，可以根据各单帧图像的多个目标区域对各单帧图像进行处理。对各单帧图像的处理可以包括对多个单帧图像中的多个主体对象中各目标主体对象进行分割，以及对同一目标主体对象进行识别等。以下将进行详细说明。

图4示出了本发明实施例中一种对单帧图像进行处理的方法的流程图，在具体实施中，基于各单帧图像的各目标区域，对各所述单帧图像进行处理，可以包括：

步骤S41，基于各所述目标区域，对所述单帧图像中，各目标区域对应的主体对象与非主体对象进行分割；

步骤S42，对分割后的图像进行掩码处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像。

在具体实施中，可以是根据各所述目标区域对应的主体对象在所述单帧图像中的分布概率，对所述单帧图像中各所述目标区域对应的主体对象与非主体对象进行分割。

例如，将单帧图像输入卷积神经网络后，可以通过卷积神经网络对单帧图像中的每一个像素点进行识别，根据识别结果确定每一个像素点是主体对象或者是非主体对象，并将每一像素点分配到各目标区域对应的主体对象上，得到单帧图像中各目标区域对应的主体对象以及非主体对象的分布概率，从而根据各目标区域对应的主体对象以及非主体对象的分布概率对各目标区域对应的主体对象以及非主体对象进行分割。

本领域技术人员可以理解的是，在具体实施中，对主体对象进行分割以及得到初始目标区域可以是将单帧图像输入同一卷积神经网络后得到的，即可以将单帧图像输入同一卷积神经网络，得到该单帧图像上用于标定各主体对象的初始目标区域，以及对主体对象以及非主体对象的分割结果。

如前所述，每个目标区域包括至少一个主体对象，例如，在主体对象较为密集的地方，一个目标区域可以包括2个或者更多的主体对象。

在具体实施中，若一个目标区域仅包括一个主体对象，则以该主体对象为该目标区域对应的目标主体对象，若一个目标区域包括多个主体对象，则在对各目标区域对应的主体对象以及非主体对象进行分割后，可以进行掩码处理前，从该目标区域对应的多个主体对象中，确定该目标区域对应的目标主体对象。具体的，继续参考图4，可以包括如下步骤：

步骤S43，获取所述目标区域对应的多个主体对象的关键点坐标位置；

步骤S44，根据所述关键点坐标位置，确定所述多个主体对象中的目标主体对象，并对所述多个主体对象中的目标主体对象以及非目标主体对象进行分割。

在具体实施中，主体对象的关键点坐标位置可以是用于识别各主体对象的特定坐标位置，例如，以人物对象为例，主体对象的关键点坐标位置可以是人物对象的人体骨骼点等。其中，主体对象的关键点坐标位置可以基于前述卷积神经网络得到，并基于该卷积神经网络，从多个目标对象中确定对应于该目标区域的目标主体对象，并进行多个主体对象中目标主体对象以及非目标主体对象的分割。

本领域技术人员可以理解的是，在具体实施中，对目标区域对应的多个主体对象中目标主体对象的确定以及分割，可以是结合各主体对象的关键点坐标位置，以及前文所述的各主体对象在该目标区域中的分布概率进行，对此不做限定。

通过卷积神经网络得到目标主体对象的关键点坐标位置以及目标主体对象的分布概率，并根据关键点坐标位置以及所述分布概率对多个主体对象中的目标主体对象以及非目标主体对象进行分割，可以使得对目标主体对象与非目标主体对象的分割结果更加准确，可以提升后续进行目标主体对象分析的准确性。

在具体实施中，对分割后的图像进行掩码处理可以是对除目标主体对象以外的对象进行掩码处理，保留目标主体对象，得到目标主体对象的图像。例如，继续参考图3，可以通过对目标区域32标定的目标主体对象以外的对象进行掩码处理，设置掩码参数为0，去除目标主体对象以外的对象，得到目标主体对象的图像，如图5所示。

如前所述，对各单帧图像进行处理还可以包括对同一目标主体对象的识别。具体的，参考图6，所述基于各所述目标区域，对所述单帧图像进行处理，得到各目标区域对应的目标主体对象的图像，可以包括：

步骤S61，基于已处理的各单帧图像得到的同一目标主体对象的图像，得到所述目标主体对象的活动热力图；

步骤S62，根据得到的目标主体对象的活动热力图，对所述视频得到的多个单帧图像中，未处理的各单帧图像的多个目标区域对应的目标主体对象的图像进行识别，得到所述视频的各所述单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像。

在具体实施中，目标主体对象的活动热力图可以是根据已处理的各单帧图像得到的同一目标主体对象的各图像中，该目标主体对象在各图像上的所有像素点的坐标，根据该目标主体对象在各图像上的所有像素点的坐标得到该目标主体对象在各图像上的平均坐标，累计已处理各单帧图像得到的该目标主体对象在各图像上的平均坐标，得到该目标主体对象的活动热力图。

在具体实施中，对应于多主体对象视频的各目标主体对象，可以通过如上方式得到各目标主体对象的活动热力图，并基于得到的各目标主体对象对应的活动热力图，对视频中未处理的各单帧图像的各目标区域对应的目标主体对象进行识别。

例如，在本发明一具体实现中，可以基于多主体对象视频的首帧单帧图像，得到各目标区域对应的各目标主体对象的平均坐标，从而确定各主体对象的位置。例如，参考图7，基于首帧单帧图像，可以得到目标主体对象A、目标主体对象B、目标主体对象C的平均坐标，以及各目标主体对象的位置。对于第二帧单帧图像，通过将第二帧单帧图像中，目标主体对象A、目标主体对象B、目标主体对象C的平均坐标与首帧单帧图像确定的各目标主体对象的平均坐标进行比对，确定第二帧单帧图像中与首帧单帧图像中的多个平均坐标最接近的目标主体对象为同一目标主体对象，以此对第二帧单帧图像中目标主体对象A、目标主体对象B、目标主体对象C进行识别。

对于第二帧往后的单帧图像，可以根据形成的目标主体对象的活动热力图的中心坐标对各目标主体对象进行识别。例如，参考图8，示出了目标主体对象A、目标主体对象B、目标主体对象C基于首帧单帧图像以及第二帧单帧图像得到的活动热力图，对于第三帧单帧图像中的各目标主体对象，可以通过将第三帧单帧图像中各目标主体对象的平均坐标与目标主体对象A、目标主体对象B、目标主体对象C中的各活动热力图的中心坐标进行比对，确定平均坐标最接近活动热力图的中心坐标的目标主体对象为同一目标主体对象，以此对各目标主体对象进行识别。

以此类推，可以对视频中未处理的各单帧图像的多个目标区域对应的目标主体对象的图像进行识别，得到所述视频的各单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像。

在具体实施中，得到视频的各单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像后，可以基于各单帧图像中对应该同一目标主体对象的各目标区域对各图像进行裁剪，以得到该同一目标主体对象的各目标区域图像，并进行视频合成，得到对应该目标主体对象的视频。

在本发明一具体实现中，在得到视频的各单帧图像的多个目标区域对应的目标主体对象的图像中存在同一目标主体对象的图像，进行视频合成前，还可以通过对各所述单帧图像中各目标区域对应的目标主体对象的图像进行调整，以得到调整后的图像，并基于调整后的图像进行视频合成。具体的，参考图9所示本发明实施例中一种视频分解方法的部分流程图，具体可以包括如下步骤：

步骤S91，对基于各单帧图像得到的同一目标主体对象的各图像中，目标主体对象的像素占比进行计算；

步骤S92，基于各所述像素占比，调整各图像中对应所述目标主体对象的各目标区域的尺寸；

步骤S93，以调整后的各目标区域对所述目标主体对象的各图像进行裁剪，得到所述目标主体对象的多个初始目标区域图像；

步骤S94，对所述多个初始目标区域图像按照统一尺寸进行缩放，得到各单帧图像的同一目标主体对象的多个目标区域图像。

在具体实施中，各单帧图像得到的同一目标主体对象的各图像中，目标主体对象的像素占比，可以根据各单帧图像的各目标区域中同一目标主体对象的像素点数量与各目标区域的总像素点数量的比值确定，即R＝P/A，其中，R为目标主体对象的像素占比，P为目标主体对象的像素点数量，A为目标区域的总像素点数量。例如，继续参考图7，目标主体对象的像素点数量P可以是目标区域32标定的目标主体对象的像素点数量，目标区域中总像素点数量A可以是目标区域32的像素点数量。

在具体实施中，视频中同一目标主体对象的位置不是固定不变的，例如，对于人物对象，人物对象有可能前倾或者后探，因此，在这一单帧图像中，目标主体对象会比其他帧的目标主体对象更大或者更小，会影响后续视频合成后的使用。

在本发明具体实施中，可以根据计算得到的目标主体对象的像素占比，调整目标区域的尺寸，以进行同一目标主体对象的调整。

如前所述，目标区域的左上角坐标为(X1-0.1×W，Y1-0.1×H)、右下角坐标为(X2+0.1×W，Y2+0.1×H)，目标区域对应的初始目标区域的左上角坐标为(X1，Y1)、右下角坐标为(X2，Y2)。在具体实施中，可以根据所述像素占比的比值，调整目标区域，调整后目标区域左上角坐标为(X1-0.2×R×W，Y1-0.2×R×H)、右下角坐标为(X2+0.2×R×W，Y2+0.2×R×H)。

在具体实施中，在对目标主体对象在各单帧图像中的各目标区域进行调整后，可以基于调整后的各目标区域，对目标主体对象的各图像进行裁剪，以得到该目标主体对象对应多个初始目标区域图像，初始目标区域图像可以参考图10所示。

在具体实施中，得到该目标主体对象对应的多个初始目标区域图像后，可以将该目标主体对象对应的多个初始目标区域图像缩放至同一尺寸，以得到该目标主体对象的同一尺寸的多个目标区域图像，并基于时间的先后顺序，对该目标主体对象对应的多个目标区域图像进行视频合成，得到该目标主体对象的视频。

在具体实施中，对该目标主体对象对应的多个目标区域图像按照时间顺序进行视频合成，例如，可以是按照对视频拆帧得到单帧图像的时间顺序进行视频合成，以得到对应于该目标主体对象中的视频。基于合成的所述视频，可以对该目标主体对象进行分析。

通过对目标主体对象在各单帧图像得到的各图像中，目标区域内目标主体对象的像素占比进行计算，基于各像素占比调整各目标区域的大小，以及根据各调整后的目标区域对各单帧图像得到的各图像进行裁剪，并缩放至同一尺寸，得到的目标主体对象的各目标区像图像的图像大小一致，目标主体对象在各目标区域图像的像素占比较为统一，可以提升后续基于得到的视频对目标主体对象进行分析的准确性。

本发明实施例还提供了一种视频分解装置，参见图11，所述视频分解装置可以包括：

单帧图像获取单元111，适于从视频中获取多个单帧图像；

目标区域确定单元112，适于针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；

目标主体对象生成单元113，适于基于各目标区域，对所述单帧图像进行处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像；

视频合成单元114，适于遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

参考图12，在具体实施中，所述目标主体对象生成单元113可以包括：

主体对象与非主体对象分割子单元121，适于基于各所述目标区域，对所述单帧图像中，各目标区域对应的主体对象与非主体对象进行分割；

掩码子单元122，适于对分割后的图像进行掩码处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像。

在具体实施中，主体对象与非主体对象分割子单元121适于根据各所述目标区域对应的主体对象在所述单帧图像中的分布概率，对所述单帧图像中各所述目标区域对应的主体对象与非主体对象进行分割。

继续参考图12，在具体实施中，若所述目标区域对应的主体对象为多个，所述目标主体对象生成单元113还可以包括：

关键点坐标位置获取子单元123，适于在所述掩码子单元122对分割后的图像进行掩码处理前，获取所述目标区域对应的多个主体对象的关键点坐标位置；

目标主体对象确定与分割子单元124，适于根据所述关键点坐标位置，确定所述多个主体对象中的目标主体对象，并对所述多个主体对象中的目标主体对象以及非目标主体对象进行分割。

参考图13，在本发明另一具体实现中，所述目标主体对象生成单元113可以包括：

活动热力图生成子单元131，适于基于已处理的各单帧图像得到的同一目标主体对象的图像，得到所述目标主体对象的活动热力图；

目标主体对象图像生成子单元132，适于根据得到的目标主体对象的活动热力图，对所述视频得到的多个单帧图像中，未处理的各单帧图像的多个目标区域对应的目标主体对象的图像进行识别，得到所述视频的各所述单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像。

参考图14，在具体实施中，所述目标区域确定单元112可以包括：

初始目标区域生成子单元141，适于基于所述单帧图像，得到多个初始目标区域；

目标区域生成子单元142，适于对各所述初始目标区域进行扩展，得到所述多个目标区域。

在具体实施中，所述目标区域生成子单元142对各所述初始目标区域进行扩展，可以是基于各所述初始目标区域的坐标位置，对各所述初始目标区域进行扩展。

继续参考图11，在本发明另一具体实现中，所述视频分解装置还可以包括：

像素占比计算单元115，适于在视频合成单元114在对各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成前，对基于各单帧图像得到的同一目标主体对象的各图像中，目标主体对象的像素占比进行计算；

目标区域尺寸调整单元116，适于基于各所述像素占比，调整各图像中对应所述目标主体对象的各目标区域的尺寸；

初始目标区域图像生成单元117，适于以调整后的各目标区域对所述目标主体对象的各图像进行裁剪，得到所述目标主体对象的多个初始目标区域图像；

目标区域图像生成单元118，适于对所述多个初始目标区域图像按照统一尺寸进行缩放，得到各单帧图像的同一目标主体对象的多个目标区域图像。

在具体实施中，所述目标主体对象的像素占比，根据各图像中所述目标主体对象的像素点数量与各图像中所述目标区域的总像素点数量的比值确定。

本发明实施例中的视频分解装置的具体实现和有益效果，可以参见本发明实施例中的视频分解方法，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述视频分解方法的步骤。

其中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行视频分解方法的步骤。

其中，所述终端可以是手机、电脑，或者其他可执行本发明实施例中视频分解方法的设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种视频分解方法，其特征在于，包括：

从视频中获取多个单帧图像；

针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；

基于各单帧图像的各目标区域，对各所述单帧图像进行处理，得到各单帧图像的各目标区域对应的目标主体对象的图像；

遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

2.根据权利要求1所述的视频分解方法，其特征在于，所述基于各单帧图像的各目标区域，对各所述单帧图像进行处理，包括：

基于各所述目标区域，对所述单帧图像中，各目标区域对应的主体对象与非主体对象进行分割；

对分割后的图像进行掩码处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像。

3.根据权利要求2所述的视频分解方法，其特征在于，若所述目标区域对应的主体对象为多个，对分割后的图像进行掩码处理前，所述基于各所述目标区域，对所述单帧图像进行处理，还包括：

获取所述目标区域对应的多个主体对象的关键点坐标位置；

根据所述关键点坐标位置，确定所述多个主体对象中的目标主体对象，并对所述多个主体对象中的目标主体对象以及非目标主体对象进行分割。

4.根据权利要求2所述的视频分解方法，其特征在于，根据各所述目标区域对应的主体对象在所述单帧图像中的分布概率，对所述单帧图像中各所述目标区域对应的主体对象与非主体对象进行分割。

5.根据权利要求1所述的视频分解方法，其特征在于，所述基于各所述目标区域，对所述单帧图像进行处理，得到各目标区域对应的目标主体对象的图像，包括：

基于已处理的各单帧图像得到的同一目标主体对象的图像，得到所述目标主体对象的活动热力图；

根据得到的目标主体对象的活动热力图，对所述视频得到的多个单帧图像中，未处理的各单帧图像的多个目标区域对应的目标主体对象的图像进行识别，得到所述视频的各所述单帧图像的多个目标区域对应的目标主体对象的图像中，存在同一目标主体对象的图像。

6.根据权利要求1所述的视频分解方法，其特征在于，所述针对每个单帧图像，确定多个目标区域包括：

基于所述单帧图像，得到多个初始目标区域；

对各所述初始目标区域进行扩展，得到所述多个目标区域。

7.根据权利要求6所述的视频分解方法，其特征在于，所述对各所述初始目标区域进行扩展，包括：

基于各所述初始目标区域的坐标位置，对各所述初始目标区域进行扩展。

8.根据权利要求1所述的视频分解方法，其特征在于，在对各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成前，所述视频分解方法还包括：

对基于各单帧图像得到的同一目标主体对象的各图像中，目标主体对象的像素占比进行计算；

基于各所述像素占比，调整各图像中对应所述目标主体对象的各目标区域的尺寸；

以调整后的各目标区域对所述目标主体对象的各图像进行裁剪，得到所述目标主体对象的多个初始目标区域图像；

对所述多个初始目标区域图像按照统一尺寸进行缩放，得到各单帧图像的同一目标主体对象的多个目标区域图像。

9.根据权利要求8所述的视频分解方法，其特征在于，所述目标主体对象的像素占比，根据各图像中所述目标主体对象的像素点数量与各图像中所述目标区域的总像素点数量的比值确定。

10.一种视频分解装置，其特征在于，包括：

单帧图像获取单元，适于从视频中获取多个单帧图像；

目标区域确定单元，适于针对每个单帧图像，确定多个目标区域，其中，每个所述目标区域包括至少一个主体对象；

目标主体对象生成单元，适于基于各目标区域，对所述单帧图像进行处理，得到所述单帧图像的各目标区域对应的目标主体对象的图像；

视频合成单元，适于遍历所述多个单帧图像，将各单帧图像的多个目标区域中，存在同一目标主体对象的目标区域图像进行视频合成，生成对应该同一目标主体对象的视频。

11.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至9任一项所述视频分解方法的步骤。

Images