CN113706555A - 一种视频帧处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开公开了一种视频帧处理方法、装置、电子设备及存储介质，属于视频处理技术领域。方法包括：获取视频的第一视频帧，所述第一视频帧包括待分割对象；获取所述视频的第二视频帧中第一分割图像的位置信息，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。本公开至少解决视频图像分割处理过程中分割准确率较低的问题。

Description

一种视频帧处理方法、装置、电子设备及存储介质

技术领域

本公开涉及视频处理技术领域，具体涉及一种视频帧处理方法、装置、电子设备及存储介质。

背景技术

随着电子技术的飞速发展，手机和平板电脑等电子设备已普及为人们日常生活中不可缺少的工具，人们可以通过电子设备的摄像头拍摄视频，如录像和视频通话等。其中，为满足用户的需求，电子设备可以通过图像分割技术，可以将视频中每帧视频帧的局部图像进行分割，如用户需要进行抠图或者背景替换等进行图像分割，等等。

目前，在通过图像分割技术对视频获取第一分割图像(如视频通话中的人脸图像区域等)的过程中，通常是将视频帧输入至分割网络中对视频帧进行特征提取，然后使用提取的特征对每个像素点预测类别信息，以实现对第一分割图像的分割。但是，在第一分割图像在视频帧中的占比较小的情况下，可能出现像素点的类别信息预测出错，尤其是对第一分割图像的边缘像素点的预测，从而导致分割准确率较低。

发明内容

本公开实施例的目的是提供一种视频帧处理方法、装置、电子设备及存储介质，以解决目前的对视频进行图像分割处理过程中存在分割准确率较低的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频帧处理方法，方法包括：

获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

在其中一个实施例中，所述基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，包括：

获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

将所述第二图像区域确定为感兴趣图像区域。

在其中一个实施例中，所述在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域之前，所述方法还包括：

获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

所述在所述第一视频帧中对所述第一图像区域进行区域扩充处理，包括：

在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

在其中一个实施例中，所述第二视频帧为所述第一视频帧的前一帧视频帧；

所述获取所述视频的第二视频帧中第一分割图像的位置信息，包括：

获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

在其中一个实施例中，所述将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像之后，所述方法还包括：

获取所述第二分割图像在所述第一视频帧中的位置信息；

将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

在其中一个实施例中，所述将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像之后，所述方法还包括：

保存所述第二分割图像在所述第一视频帧中的位置信息。

根据本公开实施例的第二方面，提供一种视频帧处理装置，包括：

视频帧获取模块，被配置为获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

第一位置信息获取模块，被配置为获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

图像区域确定模块，被配置为基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

分割模块，被配置为将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

在其中一个实施例中，所述图像区域确定模块，包括：

图像区域获取单元，被配置为获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

扩充单元，被配置为在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

图像区域确定单元，被配置为将所述第二图像区域确定为感兴趣图像区域。

在其中一个实施例中，所述装置还包括：

比较模块，被配置为获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

所述扩充单元，包括：

第一扩充子单元，被配置为在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

第二扩充子单元，被配置为在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

在其中一个实施例中，所述第二视频帧为所述第一视频帧的前一帧视频帧；

所述第一位置信息获取模块，包括：

数量确定单元，被配置为获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

位置信息获取单元，被配置为在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

在其中一个实施例中，所述装置还包括：

第二位置信息获取模块，被配置为获取所述第二分割图像在所述第一视频帧中的位置信息；

图像更换模块，被配置为将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

图像贴入模块，被配置为将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

在其中一个实施例中，所述装置还包括：

位置信息保存模块，被配置为保存所述第二分割图像在所述第一视频帧中的位置信息。

根据本公开实施例的第三方面，提供一种电子设备，该电子设备可以包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所示的视频帧处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，以使电子设备实现以实现如第一方面的任一项实施例中所示的视频帧处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中，设备的至少一个处理器从存储介质读取并执行计算机程序，使得设备执行第一方面的任一项实施例中所示的视频帧处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例中，通过获取当前待处理的第一视频帧之前的第二视频帧中分割图像的位置信息，再基于获取到的分割图像的位置信息，确定第一视频帧中的感兴趣图像区域，然后将感兴趣图像区域的图像作为分割网络的输入，分割得到第一视频中的分割图像。如此，通过本申请实施例的视频帧处理方法，使得输入至分割网络中的图像为第一视频帧中包括分割对象的局部图像，相比于将第一视频帧输入至分割网络，能够在图像分割中放大分割对象在输入至分割网络的图像中的占比，从而可以提升图像分割的准确率，尤其是在分割对象在第一视频帧中的占比较小的情况下。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的视频帧处理方法的流程图；

图2是根据一示例性实施例示出的视频帧的示意图；

图3是根据一示例性实施例示出的包括第一图像区域的视频帧的示意图；

图4是根据一示例性实施例示出的包括第二图像区域的视频帧的示意图；

图5是根据一示例性实施例示出的感兴趣图像区域的图像的示意图；

图6是根据一示例性实施例示出的视频帧处理装置的结构框图；

图7是根据一示例性实施例示出的计算设备的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参见图1，是根据一示例性实施例示出的视频帧处理方法的流程图，该方法应用于电子设备。如图1所示，该视频帧处理方法具体可以包括如下步骤：

步骤101、获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

步骤102、获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

步骤103、基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

步骤104、将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

基于此，通过获取当前待处理的第一视频帧之前的第二视频帧中分割图像的位置信息，再基于获取到的分割图像的位置信息，确定第一视频帧中的感兴趣图像区域，然后将感兴趣图像区域的图像作为分割网络的输入，分割得到第一视频中的分割图像。如此，通过本申请实施例的视频帧处理方法，使得输入至分割网络中的图像为第一视频帧中包括分割对象的局部图像，相比于将第一视频帧输入至分割网络，能够在图像分割中放大分割对象在输入至分割网络的图像中的占比，从而可以提升图像分割的准确率，尤其是在分割对象在第一视频帧中的占比较小的情况下。

下面对上述步骤进行详细说明，具体如下所示：

在上述步骤101中，电子设备在对视频进行分割处理的过程中，将当前待处理的视频帧作为第一视频帧。

其中，上述第一视频帧可以是上述视频中除首帧视频帧之外的任意一帧视频帧。

另外，上述待分割对象可以是第一视频帧中的任意一个或者多个拍摄对象的图像，且该拍摄对象可以是人像、动物图像、建筑图像或者植物图像，等等。

需要说明的是，上述视频可以是录制的视频；或者，上述视频也可以是在视频通话中的视频，那么，上述第一视频帧可以为电子设备最新采集到且传输的视频帧。

示例性地，在电子设备进行视频通话的过程中，电子设备获取通话视频的最新采集到的视频帧作为上述第一视频帧，即如图2所示的视频帧，并将第一视频帧中的人像作为上述待分割对象。

在上述步骤102中，在电子设备需要对上述第一视频帧进行图像分割处理的情况下，电子设备可以获取第二视频帧的第一分割图像的位置信息。

其中，上述第二视频帧可以是上述视频中处于第一视频帧之前且包括上述待分割对象的任意一帧视频帧。

具体地，所述第二视频帧为所述第一视频帧的前一帧视频帧；

所述获取所述视频的第二视频帧中第一分割图像的位置信息，可以包括：

获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

基于此，通过比较待分割的第一视频帧与其前一帧视频帧中待分割对象的数量，并在数量相同情况下才获取上一帧中第一分割图像的位置信息以确定上述感兴趣图像区域，即仅在待分割对象的数量与上一帧视频帧中待处理对象的数量相同的待分割视频帧，通过确定感兴趣图像区域实现图像分割，从而可以降低因待分割的视频帧与上一帧视频帧的图像发生较大差异而引起对感兴趣图像区域的确定不准确的可能性。

当然，在上述第一视频帧中待分割对象的数量与第二视频帧中待分割对象的数量不同的情况下，电子设备可以是直接将第一视频帧输入至分割网络中进行图像分割处理。

示例性地，在电子设备获取到如图2所示的第一视频帧的情况下，电子设备获取该第一视频帧的前一帧视频帧，并比较两者中人像的数量是否相同，若相同，则电子设备获取第一视频帧的前一帧视频帧的分割图像的位置信息，以进一步确定第一视频帧中的感兴趣图像区域；反之，则将该第一视频帧输入至图像分割网络中进行图像分割处理。

另外，上述第一分割图像可以是在针对第二视频帧中上述待分割对象进行图像分割得到的图像，即在上述步骤102之前，上述方法还可以包括：对第二视频帧进行图像分割处理，得到上述待分割对象在第二视频帧中的分割图像(即第一分割图像)。

需要说明的是，上述获取第一分割图像的位置信息，可以是电子设备将第一分割图像在第二视频帧中所覆盖的全部像素点的坐标信息作为上述第一分割图像的位置信息；或者，也可以是将第一分割图像的边界在第二视频帧中所经过的像素点的坐标信息作为上述第一分割图像的位置信息。

当然，上述获取第一分割图像的位置信息，还可以是电子设备先在第二视频帧中确定包括上述第一分割图像的图像区域，再将确定的图像区域在第二视频帧中所覆盖的全部像素点的坐标信息作为上述第一分割图像的位置信息，或者，将确定的图像区域的边界在第二视频帧中所经过的像素点的坐标信息作为上述第一分割图像的位置信息。

示例性地，电子设备可以获取如图2所示的第一视频帧的前一帧视频帧(即第二视频帧)的分割图像(即第一分割图像)，并在第二视频帧中定位如图3所示的包括第一分割图像的矩形图像区域31，将该矩形图像区域31的边界像素点的坐标信息作为上述第一分割图像的位置信息，其中，第一分割图像的在上下左右方向上最外侧的像素点可以位于矩形图像区域31的边界上，即通过第一分割图像的在上下左右方向上最外侧的像素点定位出矩形图像区域31。

在上述步骤103中，在电子设备获取到上述第一分割图像的位置信息之后，电子设备可以基于第一分割图像的位置信息，确定第一视频帧中的感兴趣图像区域。

其中，上述基于第一分割图像的位置信息，确定第一视频帧中的感兴趣图像区域(Region Of Interest，ROI)，可以是将第一视频帧中位置信息与第一分割图像的位置信息相同的图像区域确定为上述感兴趣图像区域。例如，在电子设备确定如图3所示的矩形图像区域31之后，电子设备可以将第一视频帧中与矩形图像区域31具有相同像素点的图像区域确定更为感兴趣图像区域。

或者，上述步骤103，可以包括：

获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

将所述第二图像区域确定为感兴趣图像区域。

基于此，通过先在第一视频帧中确定位置信息与上述第一分割图像的位置信息相同的第一图像区域，再对第一图像区域进行扩充得到第二图像区域，并将第二图像区域作为上述感兴趣图像区域，从而可以降低分割对象未处于感兴趣图像区域内的可能性，进一步提升分割准确率。

其中，上述在所述第一视频帧中对第一图像区域进行区域扩充处理，得到第二图像区域，可以是在电子设备确定上述第一图像区域之后，直接按照预设比例在各个方向上扩充第一图像区域的边界，以得到放大的第二图像区域。当然，若第一图像区域在某一方向上扩充的区域超出第一视频帧的边界，则在该方向上将第一视频帧的边界作为第二视频帧的边界。

示例性地，在电子设备在第一视频帧中确定位置信息与如图3所述的矩形图像区域31相同的第一图像区域(即该图像区域也为矩形)之后，且预设的扩充比例为10％，那么，电子设备对矩形图像区域31分别在上下左右四个方向上扩充10％，若扩充后的图像区域在向下方向下的边界超出第一图像区域的边界，而向左、向右以及向上方向的边界均未超出第一图像区域的边界，则将由扩充后图像区域在向左、向右以及向上方向上的边界，以及第一图像区域在向下方向上的边界共同围成的图像区域确定为上述第二图像区域即感兴趣图像区域。

或者，在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域之前，还可以包括：

获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

所述在所述第一视频帧中对所述第一图像区域进行区域扩充处理，可以包括：

在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

基于此，通过比较第一分割图像的边界与第二视频帧的边界会否重合，并根据比较结果选取不同的扩充方式扩充第一图像区域的边界，使得对第一图像区域的边界的扩充更合理，可以进一步降低分割对象未处于感兴趣图像区域内的可能性，进而提升分割准确率。

需要说明的是，上述第一图像区域为矩形区域，上述预设方向为图像的宽度方向或者高度方向。

示例性地，在电子设备在第一视频帧中确定位置信息与如图3所述的矩形图像区域31相同的第一图像区域(即该图像区域也为矩形)之后，电子设备在上下左右方向(此时，宽度方向为向左或者向右，高度方向为向上或者向下)上分别比较矩形图像区域31的边界与第二视频帧的边界是否重合，由于在向下方向上矩形图像区域31的边界与第二视频帧的边界重合，则在向下方向上将第一视频帧的边界确定为扩充后的第二图像区域的边界；而在向上、向右和向左方向上矩形图像区域31的边界分别与第二视频帧的边界未重合，则分别在向上、向右和向左方向分别将第一图像区域的边界外移10％，将外移后的边界作为第二图像区域在相应的方向上的边界，得到如图4所示的矩形图像区域41(即感兴趣图像区域)。

在上述步骤104中，在电子设备确定第一视频帧中的感兴趣图像区域之后，电子设备可从第一视频帧中提取感兴趣图像区域内的图像，并将提取到的感兴趣图像区域的图像输入至分割网络中，通过分割网络从感兴趣区域的图像中分割出待分割对象在第一视频帧中的第二分割图像。

其中，分割网络在对输入的图像进行分割处理时，先将输入的图像压缩至预设图像尺寸，再对压缩至预设图像尺寸的图像进行分割处理，故在输入的图像为上述感兴趣图像区域内的图像的情况下，相比于输入的图像为第一视频帧，可以实现将分割对象的分辨率的放大，进而可以提升分割网络的分割准确度。

需要说明的是，由于通过分割网络对输入的图像进行分割处理为本领域技术人员熟知，在此并不进行赘述。

示例性地，在电子设备确定如图4所示的第一视频帧中的矩形图像区域41之后，电子设备可以从第一视频帧中提取矩形图像区域41的图像，如图5所示，并将提取到的图像输入至分割网络中。

本公开实施例中，电子设备在通过分割网络从第一视频帧中分割出第二分割图像之后，电子设备可以是保存该第二分割图像，以实现抠图；或者，电子设备也可以是对第二分割图像进行其他处理。

具体地，上述步骤104之后，方法还可以包括：

获取所述第二分割图像在所述第一视频帧中的位置信息；

将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

基于此，通过将第二分割图像贴入至图像更换为预设图像后的第一视频帧中的相应位置，从而可以实现对第一视频帧的背景替换。

示例性地，在电子设备通过分割网络从如图5所示的输入图像中分割出人像(即第二分割图像，且该人像恢复至其在第一视频帧中的大小)之后，电子设备可以将如图2所示的第一视频帧的图像替换为海景，并将人像贴入至海景图像的相应位置，该相应位置为人像在第一视频帧中的位置(即第二分割图像在第一视频帧中的位置)。

另外，在上述步骤104之后，方法还可以包括：保存所述第二分割图像在所述第一视频帧中的图像区域信息，从而在处理后续的视频帧时，可以进一步通过第二分割图像的位置信息确定感兴趣图像区域。

基于相同的发明构思，本公开还提供了一种视频帧处理装置。具体结合图4进行详细说明。

图6是根据一示例性实施例示出的视频帧处理装置的结构示意图。

如图6所示，该视频帧处理装置600具体可以包括：

视频帧获取模块601，被配置为获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

第一位置信息获取模块602，被配置为获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

图像区域确定模块603，被配置为基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

分割模块604，被配置为将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

基于此，通过获取当前待处理的第一视频帧之前的第二视频帧中分割图像的位置信息，再基于获取到的分割图像的位置信息，确定第一视频帧中的感兴趣图像区域，然后将感兴趣图像区域的图像作为分割网络的输入，分割得到第一视频中的分割图像。如此，通过本申请实施例的视频帧处理方法，使得输入至分割网络中的图像为第一视频帧中包括分割对象的局部图像，相比于将第一视频帧输入至分割网络，能够在图像分割中放大分割对象在输入至分割网络的图像中的占比，从而可以提升图像分割的准确率，尤其是在分割对象在第一视频帧中的占比较小的情况下。

在其中一个实施例中，所述图像区域确定模块603，包括：

图像区域获取单元，被配置为获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

扩充单元，被配置为在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

图像区域确定单元，被配置为将所述第二图像区域确定为感兴趣图像区域。

基于此，通过先在第一视频帧中确定位置信息与上述第一分割图像的位置信息相同的第一图像区域，再对第一图像区域进行扩充得到第二图像区域，并将第二图像区域作为上述感兴趣图像区域，从而可以降低分割对象未处于感兴趣图像区域内的可能性，进一步提升分割准确率。

在其中一个实施例中，所述装置600还包括：

比较模块，被配置为获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

所述扩充单元，包括：

第一扩充子单元，被配置为在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

第二扩充子单元，被配置为在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

基于此，通过比较第一分割图像的边界与第二视频帧的边界会否重合，并根据比较结果选取不同的扩充方式扩充第一图像区域的边界，使得对第一图像区域的边界的扩充更合理，可以进一步降低分割对象未处于感兴趣图像区域内的可能性，进而提升分割准确率。

在其中一个实施例中，所述第二视频帧为所述第一视频帧的前一帧视频帧；

所述第一位置信息获取模块602，包括：

数量确定单元，被配置为获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

位置信息获取单元，被配置为在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

基于此，通过比较待分割的第一视频帧与其前一帧视频帧中待分割对象的数量，并在数量相同情况下才获取上一帧中第一分割图像的位置信息以确定上述感兴趣图像区域，即仅在待分割对象的数量与上一帧视频帧中待处理对象的数量相同的待分割视频帧，通过确定感兴趣图像区域实现图像分割，从而可以降低因待分割的视频帧与上一帧视频帧的图像发生较大差异而引起对感兴趣图像区域的确定不准确的可能性。

在其中一个实施例中，所述装置600还包括：

第二位置信息获取模块，被配置为获取所述第二分割图像在所述第一视频帧中的位置信息；

图像更换模块，被配置为将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

图像贴入模块，被配置为将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

基于此，通过将第二分割图像贴入至图像更换为预设图像后的第一视频帧中的相应位置，从而可以实现对第一视频帧的背景替换。

在其中一个实施例中，所述装置600还包括：

位置信息保存模块，被配置为保存所述第二分割图像在所述第一视频帧中的位置信息。

基于此，在处理后续的视频帧时，可以进一步通过第二分割图像的位置信息确定感兴趣图像区域。

基于同一发明构思，本公开实施例还提供了一种电子设备，具体结合图7进行详细说明。

图7是根据一示例性实施例示出的一种计算设备的结构框图。

如图7所示，该计算设备700能够实现根据本公开实施例中的视频帧处理方法以及视频帧处理装置的计算设备的示例性硬件架构的结构图。该计算设备可以指代本公开实施例中的电子设备。

该计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。

具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(application specific integrated circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存，或者两个或及其以上这些的组合。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以执行如下步骤：

处理器701，执行获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

基于此，通过获取当前待处理的第一视频帧之前的第二视频帧中分割图像的位置信息，再基于获取到的分割图像的位置信息，确定第一视频帧中的感兴趣图像区域，然后将感兴趣图像区域的图像作为分割网络的输入，分割得到第一视频中的分割图像。如此，通过本申请实施例的视频帧处理方法，使得输入至分割网络中的图像为第一视频帧中包括分割对象的局部图像，相比于将第一视频帧输入至分割网络，能够在图像分割中放大分割对象在输入至分割网络的图像中的占比，从而可以提升图像分割的准确率，尤其是在分割对象在第一视频帧中的占比较小的情况下。

在其中一个实施例中，处理器701，执行获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

将所述第二图像区域确定为感兴趣图像区域。

基于此，通过先在第一视频帧中确定位置信息与上述第一分割图像的位置信息相同的第一图像区域，再对第一图像区域进行扩充得到第二图像区域，并将第二图像区域作为上述感兴趣图像区域，从而可以降低分割对象未处于感兴趣图像区域内的可能性，进一步提升分割准确率。

在其中一个实施例中，处理器701，执行获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

基于此，通过比较第一分割图像的边界与第二视频帧的边界会否重合，并根据比较结果选取不同的扩充方式扩充第一图像区域的边界，使得对第一图像区域的边界的扩充更合理，可以进一步降低分割对象未处于感兴趣图像区域内的可能性，进而提升分割准确率。

在其中一个实施例中，所述第二视频帧为所述第一视频帧的前一帧视频帧；

处理器701，执行获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

基于此，通过比较待分割的第一视频帧与其前一帧视频帧中待分割对象的数量，并在数量相同情况下才获取上一帧中第一分割图像的位置信息以确定上述感兴趣图像区域，即仅在待分割对象的数量与上一帧视频帧中待处理对象的数量相同的待分割视频帧，通过确定感兴趣图像区域实现图像分割，从而可以降低因待分割的视频帧与上一帧视频帧的图像发生较大差异而引起对感兴趣图像区域的确定不准确的可能性。

在其中一个实施例中，处理器701，执行获取所述第二分割图像在所述第一视频帧中的位置信息；

将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

基于此，通过将第二分割图像贴入至图像更换为预设图像后的第一视频帧中的相应位置，从而可以实现对第一视频帧的背景替换。

在其中一个实施例中，处理器701，执行保存所述第二分割图像在所述第一视频帧中的位置信息。

基于此，在处理后续的视频帧时，可以进一步通过第二分割图像的位置信息确定感兴趣图像区域。

在一个示例中，该计算设备700还可包括收发器703和总线704。其中，如图7所示，处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。

总线704包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

本公开实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于实现本公开实施例所记载的视频帧处理方法。

在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本公开实施例所记载的视频帧处理方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本公开是参照根据本公开的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像传输设备的处理器以产生一个机器，使得通过计算机或其他可编程图像传输设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程图像传输设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程图像传输设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，包括：

获取所述第一视频帧中位置信息与所述第一分割图像的位置信息相同的第一图像区域；

在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域；

将所述第二图像区域确定为感兴趣图像区域。

3.根据权利要求2所述的方法，其特征在于，所述在所述第一视频帧中对所述第一图像区域进行区域扩充处理，得到第二图像区域之前，所述方法还包括：

获取所述第一分割图像的第一边界与所述第二视频帧的第二边界的比较结果，其中，所述第一边界和所述第二边界为在预设方向上的边界，所述预设方向为图像的宽度方向或者高度方向；所述比较结果用于指示所述第一分割图像的第一边界与所述第二视频帧的第二边界是否重合；

所述在所述第一视频帧中对所述第一图像区域进行区域扩充处理，包括：

在所述比较结果指示所述第一边界与所述第二边界重合的情况下，在所述预设方向上将所述第一图像区域的边界扩充至所述第一视频帧的边界；

在所述比较结果指示所述第一边界与所述第二边界不重合的情况下，在所述预设方向上按照预设比例扩充所述第一图像区域的边界。

4.根据权利要求1所述的方法，其特征在于，所述第二视频帧为所述第一视频帧的前一帧视频帧；

所述获取所述视频的第二视频帧中第一分割图像的位置信息，包括：

获取所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量；

在所述第一视频帧中所述待分割对象的数量与所述第二视频帧中所述待分割对象的数量相同的情况下，获取所述视频的第二视频帧中第一分割图像的位置信息。

5.根据权利要求1所述的方法，其特征在于，所述将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像之后，所述方法还包括：

获取所述第二分割图像在所述第一视频帧中的位置信息；

将所述第一视频帧的图像更换为预设图像，生成第三视频帧；

将所述第三视频帧的第三图像区域中的图像更换为所述第二分割图像，其中，所述第三图像区域在所述第三视频帧中的第一位置信息与第二位置信息相同，所述第二位置信息为所述第二分割图像在所述第一视频帧中的位置信息。

6.根据权利要求1所述的方法，其特征在于，所述将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像之后，所述方法还包括：

保存所述第二分割图像在所述第一视频帧中的位置信息。

7.一种视频帧处理装置，其特征在于，包括：

视频帧获取模块，被配置为获取视频的第一视频帧，其中，所述第一视频帧包括待分割对象；

第一位置信息获取模块，被配置为获取所述视频的第二视频帧中第一分割图像的位置信息，其中，所述第二视频帧为所述第一视频帧之前的视频帧，所述第一分割图像为：针对所述第二视频帧中所述待分割对象进行图像分割得到的图像；

图像区域确定模块，被配置为基于所述第一分割图像的位置信息，确定所述第一视频帧中的感兴趣图像区域，其中，所述感兴趣图像区域包括所述待分割对象的图像区域；

分割模块，被配置为将所述感兴趣图像区域的图像输入至图像分割网络中，得到所述待分割对象在所述第一视频帧中的第二分割图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频帧处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，以使所述电子设备实现如权利要求1至6中任一项所述的视频帧处理方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从存储介质读取并执行计算机程序，使得设备实现如权利要求1至6中任一项所述的视频帧处理方法。

Images