CN111860064B - 基于视频的目标检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于视频的目标检测方法、装置、设备及存储介质，属于目标检测技术领域。所述方法包括：获取待检测视频中的连续N帧视频图像，该N为大于1的整数；调用目标检测模型，该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层用于将该N帧视频图像的特征进行卷积融合，该目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；将该N帧视频图像输入至该目标检测模型中进行处理，输出目标检测结果。本申请基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性，即避免漏检和误检的情况，而且还可以避免需要人工设计不同的规则，提高了目标检测的适应性。

Description

基于视频的目标检测方法、装置、设备及存储介质

技术领域

本申请涉及目标检测技术领域，特别涉及一种基于视频的目标检测方法、装置、设备及存储介质。

背景技术

目前，目标检测技术在视频监控等场景中得到广泛应用。在对视频中的目标进行检测时，由于目标运动使得尺寸、位置发生变化，从而可能造成一些视频图像中的目标被漏检或误检。

在相关技术中，为了减少漏检和误检，对当前视频图像进行检测，得到当前视频图像的中间检测结果，然后通过人工设计的规则，利用前一帧视频图像的最终检测结果对当前视频图像的中间检测结果进行融合匹配，以对该中间检测结果进行修正，将修正后的结果确定为当前视频图像的最终检测结果。

然而，在上述实现方式中，当涉及不同应用场景时，一般需要人工设计不同的规则，使得目标检测方法的适应性较差。

发明内容

本申请实施例提供了一种基于视频的目标检测方法、装置、设备及存储介质，可以解决相关技术中需要人工设计不同规则进行目标检测的问题。所述技术方案如下：

第一方面，提供了一种基于视频的目标检测方法，所述方法包括：

获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用目标检测模型，所述目标检测模型至少包括三维卷积层和目标检测层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果。

可选地，所述目标检测模型包括的三维卷积层的总数量为多个，所述将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果，包括：

将所述N帧视频图像输入至所述目标检测模型中；

依次通过多个三维卷积层对所述N帧视频图像进行卷积融合处理；

从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

可选地，所述目标检测模型还包括多个降采样层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层；

所述依次通过所述多个三维卷积层对所述N帧视频图像进行卷积融合处理，包括：

依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

可选地，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于所述总数量的整数。

可选地，所述从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图，包括：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图；

或者，

当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图。

第二方面，提供了一种基于视频的目标检测装置，所述装置包括：

获取模块，用于获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用模块，用于调用目标检测模型，所述目标检测模型至少包括三维卷积层和目标检测层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

处理模块，用于将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果。

可选地，所述处理模块用于：

当所述目标检测模型包括的三维卷积层的总数量为多个时，将所述N帧视频图像输入至所述目标检测模型中；

依次通过多个三维卷积层对所述N帧视频图像进行卷积融合处理；

从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

可选地，所述处理模块用于：

所述目标检测模型还包括多个降采样层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层；

依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

可选地，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于所述总数量的整数。

可选地，所述处理模块用于：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图；

或者，

当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图。

第三方面，一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为实现上述第一方面所述的基于视频的目标检测方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的基于视频的目标检测方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的基于视频的目标检测方法。

本申请实施例提供的技术方案带来的有益效果是：

获取待检测视频中的连续N帧视频图像，并调用目标检测模型，由于该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层可以将连续N帧视频图像的特征进行卷积融合得到目标特征图，即该目标特征图是将该N帧视频图像的特征关联后得到，该目标检测层可以基于该目标特征图检测出视频图像中的目标，因此，将获取的视频图像输入至该目标检测模型中进行处理后，输出目标检测结果。如此，基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性，即避免漏检和误检的情况，而且还可以避免需要人工设计不同的规则，提高了目标检测的适应性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种基于视频的目标检测方法流程图；

图2是根据另一示例性实施例示出的一种基于视频的目标检测方法流程图；

图3是根据一示例性实施例示出的一种多帧视频图像的卷积融合示意图；

图4是根据一示例性实施例示出的一种目标检测模型的结构示意图；

图5是根据一示例性实施例示出的一种基于视频的目标检测装置的结构示意图；

图6是根据另一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的基于视频的目标检测方法进行详细介绍之前，先对本申请实施例涉及的应用场景和实施环境进行简单介绍。

首先，对本申请实施例涉及的应用场景进行简单介绍。

目前，为了减少视频中目标检测的漏检和误检情况，可以基于同一目标分别在前后两个视频图像中的最终检测结果和中间检测结果，结合人工设计的规则进行结果的融合匹配，从而对当前视频图像的中间检测结果进行修正。其中，人工设计的规则可以结合场景进行设计，比如，若前一帧视频图像的最终检测结果中的目标不存在于当前视频图像的中间检测结果中，人工设计的规则可以为结合目标在视频图像中的位置判断是否漏检，假设该目标处于视频图像的边缘位置，此时说明该目标可能移出了摄像设备的监控画面，此时可以确定为未漏检。然而，针对不同实施场景，可能需要设计不同的规则，导致目标检测方法的适应性较差。为此，本申请实施例提供了一种视频中的目标检测方法，该方法可以避免需要人工设计规则进行后续处理，其具体实现请参见如下各个实施例。

接下来，对本申请实施例涉及的实施环境进行简单介绍。

本申请实施例提供的基于视频的目标检测方法可以由电子设备来执行，该电子设备可以为终端，或者，该电子设备也可以为嵌入式设备。进一步地，该终端可以为笔记本电脑、台式计算机、便携式计算机、平板电脑等等，本申请实施例对此不作限定。

图1是根据一示例性实施例示出的一种基于视频的目标检测方法流程图，本实施例以该基于视频的目标检测方法应用于电子设备中进行举例说明，该基于视频的目标检测方法可以包括如下几个步骤：

步骤101：获取待检测视频中的连续N帧视频图像，该N为大于1的整数。

步骤102：调用目标检测模型，该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层用于将该N帧视频图像的特征进行卷积融合，该目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标。

步骤103：将该N帧视频图像输入至该目标检测模型中进行处理，输出目标检测结果。

在本申请实施例中，获取待检测视频中的连续N帧视频图像，并调用目标检测模型，由于该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层可以将连续N帧视频图像的特征进行卷积融合得到目标特征图，即该目标特征图是将该N帧视频图像的特征关联后得到，该目标检测层可以基于该目标特征图检测出视频图像中的目标，因此，将获取的视频图像输入至该目标检测模型中进行处理后，输出目标检测结果。如此，基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性，即避免漏检和误检的情况，而且还可以避免需要人工设计不同的规则，提高了目标检测的适应性。

可选地，该目标检测模型包括的三维卷积层的总数量为多个，该将该N帧视频图像输入至该目标检测模型中进行处理，输出目标检测结果，包括：

将该N帧视频图像输入至该目标检测模型中；

依次通过多个三维卷积层对该N帧视频图像进行卷积融合处理；

从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定该目标特征图；

通过该目标检测层对该目标特征图进行目标检测处理，输出该目标检测结果。

可选地，该目标检测模型还包括多个降采样层，其中，该多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层；

该依次通过该多个三维卷积层对该N帧视频图像进行卷积融合处理，包括：

依次通过该多个三维卷积层中的每个三维卷积层对该N帧视频图像进行卷积融合，以及通过与该每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

可选地，该多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，该多个三维卷积层中除该前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，该M为大于或等于1且小于该总数量的整数。

可选地，该从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定该目标特征图，包括：

当该降采样层包括空间维度的降采样和时间维度的降采样时，将该多个三维卷积层的最后一个三维卷积层输出的特征图确定为该目标特征图；

或者，

当该降采样层仅包括空间维度的降采样时，从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将该N帧视频图像中处于中间位置的视频图像对应的特征图确定为该目标特征图；或者，确定该多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为该目标特征图。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图2是根据另一示例性实施例示出的一种基于视频的目标检测方法流程图，本实施例以该基于视频的目标检测方法应用于电子设备中进行举例说明，该基于视频的目标检测方法可以包括如下几个步骤：

步骤201：获取待检测视频中的连续N帧视频图像，该N为大于1的整数。

在本申请实施例中，在对视频中的视频图像执行目标检测时，每次可以获取视频中的连读N帧视频图像。其中，这里所说的获取连续N帧视频图像是指按照视频拍摄时间的先后顺序，获取时间上连续的多帧视频图像，比如，当该N为3时，获取的连续N帧视频图像可以是指取第一帧视频图像、第二帧视频图像和第三帧视频图像，再如，该N帧视频图像还可以是指第二帧视频图像、第三帧视频图像和第四帧视频图像，等等。

作为一种示例，该N为大于1的奇数。为了便于后续针对当前视频图像进行特征融合时能够将该当前视频图像的前、后视频图像的特征融合进来，譬如如图3所示将与当前视频图像相邻的前几帧和后几帧视频图像的特征与该某视频图像进行特征融合，电子设备获取连续的奇数帧视频图像。其中，该当前视频图像一般是指该奇数帧视频图像中处于最中间位置的视频图像，比如，当该奇数帧视频图像包括第一帧视频图像、第二帧视频图像和第三帧视频图像时，该当前视频图像是指该第二帧视频图像。

进一步地，该连续N帧视频图像可以为对视频进行即时采集时获取的，或者，也可以是从预先存储的视频中获取的，本申请实施例对此不作限定。

步骤202：调用目标检测模型，该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层用于将该N帧视频图像的特征进行卷积融合，该目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标。

其中，该三维卷积层对应的维度包括时间维度和空间维度，三维卷积层在做三维卷积处理时能够将多帧视频图像进行特征融合，即将该多帧视频图像的特征之间关联起来。所以，当该目标检测模型中包括三维卷积层时，通过该目标检测模型中的三维卷积层对获取的N帧视频图像进行卷积融合处理后，即可将该N帧视频图像的特征进行融合，得到视频图像序列的特征融合信息。其中，该视频图像序列包括该N帧视频图像，另外，该特征融合信息能够表示不同视频图像中同一目标的关联关系。

另外，该目标检测模型还包括目标检测层，通过该目标检测层能够基于卷积融合后的特征融合信息准确检测出视频中的目标。

进一步地，调用该目标检测模型之前，可以获取多个训练样本，基于该多个训练样本对待训练的目标检测网络进行训练，以得到该目标检测模型，也就是说，该目标检测模型可以是经过深度学习和训练得到的。示例性的，该多个训练样本可以包括多个视频图像样本和每个视频图像样本中的目标的位置、ID标识、类别等信息。

作为一种示例，该目标检测网络可以为YOLO(You Only Look Once，你只看一次)网络，SSD(Single Shot Detector，一次性探测器)，Faster RCNN(Faster RegionConvolutional Neural Networks，快速区域卷积神经网络)，本申请实施例对此不做限定。

步骤203：将该N帧视频图像输入至该目标检测模型中。

作为一种示例，该目标检测模型可以包括输入层，电子设备通过该输入层将该N帧视频图像输入至该目标检测模型中。

作为一种示例，该目标检测模型包括的三维卷积层的总数量可以为多个，也就是说，通过该目标检测模型可以对该N帧视频图像多次进行特征融合处理。

当然，需要说明的是，这里仅是以该目标检测模型包括的三维卷积层的总数量为多个进行举例说明，在另一实施例中，该目标检测模型包括的三维卷积层的总数量也可以为一个，本申请实施例对此不作限定。

步骤204：依次通过该多个三维卷积层对该N帧视频图像进行卷积融合处理。

为了便于理解，以该目标检测模型包括三个三维卷积层为例进行举例说明，该电子设备通过第一个三维卷积层对该N帧视频图像进行卷积融合处理，输出一组特征图，然后将该第一个三维卷积层输出的特征图通过第二个三维卷积层进行卷积融合处理，再次输出一组特征图，最后将该第二个三维卷积层输出的特征图通过第三个三维卷积层进行卷积融合处理，得到卷积处理后的最终特征图。

作为一种示例，该目标检测模型还包括多个降采样层，其中，该多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层。其中，该降采样层可以用于对三维卷积层输出的特征图进行下采样处理。譬如，请参考图4，该图4是根据一示例性实施例示出的一种目标检测模型的结构示意图，该目标检测模型包括三维卷积层1、降采样层1、三维卷积层2、降采样层2和三维卷积层3。

作为一种示例，当该目标检测模型还包括多个降采样层时，依次通过该多个三维卷积层对该N帧视频图像进行卷积融合处理的具体实现还可以包括：依次通过该多个三维卷积层中的每个三维卷积层对该N帧视频图像进行卷积融合，以及通过与该每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

继续以上述例子为例，三维卷积层1输出的特征图经过降采样层1进行降采样处理后，输入至三维卷积层2中进行卷积融合处理，该三维卷积层2卷积融合处理后输出的特征图经过降采样层2进行降采样处理后，输入至三维卷积层3进行卷积融合处理，输出目标特征图。

进一步地，该多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，该多个三维卷积层中除该前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，该M为大于或等于1且小于该总数量的整数。

在一些实施例中，当视频图像的尺寸特别大时，如果进行三维卷积处理会使得卷积运算量非常大，会导致给硬件实现带来一定负担。为此，可以将三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小置为1，此时相当于进行二维卷积处理，从而减小卷积运算量，并且，为了将该N帧视频图像的特征进行关联，该多个三维卷积层中靠近目标检测层的三维卷积层在时间维度上的卷积核的大小置为大于1，也即是，将经过降采样处理使得尺寸减小后的视频图像进行三维卷积处理，从而将该N个视频图像进行特征关联。

譬如，请继续参考图4，该目标检测模型中的三维卷积层1的卷积核可以为1*3*3，即该时间维度的大小为1，此时相当于前后帧不进行时域的关联，等价于卷积核为3*3的二维卷积。并且，该目标检测模型中的三维卷积层2和三维卷积层3的卷积核为3*3*3，即该三维卷积层2和三维卷积层3进行了前后帧的时域关联。

需要说明的是，上述仅是以目标检测模型包括三维卷积层、目标检测层、降采样层为例进行说明，但并不用来对该目标检测模型的内部网络层的组成进行限定。

步骤205：从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定该目标特征图。

在实施中，降采样层可以包括空间维度和时间维度的降采样，也可以仅包括空间维度的降采样，具体可以根据实际需求进行设置。进一步地，根据降采样层的实现方式不同，从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定该目标特征图可以包括如下几种可能情况：

第一种情况：当该降采样层包括空间维度的降采样和时间维度的降采样时，将该多个三维卷积层的最后一个三维卷积层输出的特征图确定为该目标特征图。

当该降采样层包括空间维度的降采样和时间维度的降采样时，说明对三维卷积层输出的特征图既进行空间维度的降采样，又进行时间维度的降采样，如此，经过多个三维卷积层和多个降采样层进行处理后，最后一个三维卷积层输出的特征图在时间维度的数量仅为一个，此时可以直接将最终输出的特征图确定为目标特征图。譬如，以上述例子为例，当该三维卷积层3输出一个特征图，则将该特征图确定为目标特征图。

第二种情况：当该降采样层仅包括空间维度的降采样时，从该多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将该N帧视频图像中处于中间位置的视频图像对应的特征图确定为该目标特征图。

当该降采样层仅包括空间维度的降采样，即不包括时间维度的降采样时，说明对三维卷积层输出的特征图只进行空间维度的降采样，不进行时间维度的降采样，如此，经过多个三维卷积层和多个降采样层进行处理后，时间维度的长度仍为N，也就是说，该多个三维卷积层中的最后一个三维卷积层输出的特征图的数量仍为N个，此时需要从得到的N个特征图中确定目标特征图。

作为一种示例，可以按照时间顺序从N个特征图中确定处于中间位置的特征图，即确定N帧视频图像中处于中间位置的视频图像对应的特征图，将确定的特征图作为该目标特征图。

譬如，图4所示的三维卷积层3输出特征图1、特征图2和特征图3，其中，该特征图1为第一帧视频图像对应的特征图，该特征图2为第二帧视频图像对应的特征图，该特征图3为第三帧视频图像对应的特征图，此时，可以将该特征图2作为该目标特征图。

第三种情况：当该降采样层仅包括空间维度的降采样时，确定该多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为该目标特征图。

当该降采样层仅包括空间维度的降采样，即不包括时间维度的降采样时，说明对三维卷积层输出的特征图只进行空间维度的降采样，不进行时间维度的降采样，如此，经过多个三维卷积层和多个降采样层进行处理后，时间维度的长度仍为N，也就是说，该多个三维卷积层中的最后一个三维卷积层输出的特征图的数量仍为N个，此时需要从得到的N个特征图中确定目标特征图。

作为一种示例，可以将得到的N个特征图在时间维度上取平均，即确定该多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，然后将得到的平均值对应的特征图作为该目标特征图。

譬如，图4所示的三维卷积层3输出特征图1、特征图2和特征图3，其中，该特征图1为第一帧视频图像对应的特征图，该特征图2为第二帧视频图像对应的特征图，该特征图3为第三帧视频图像对应的特征图。此时，可以将该特征图1、特征图2和特征图3在时间维度上取平均，将得到的平均值对应的特征图作为该目标特征图。

步骤206：通过该目标检测层对该目标特征图进行目标检测处理，输出该目标检测结果。

由于目标检测网络的主干网络采用了三维卷积层进行卷积融合处理，因此，得到的该目标特征图融合了多帧视频图像的特征，即将多帧视频图像的特征关联起来，所以通过该目标检测层对该目标特征图进行目标检测处理后，输出的目标检测结果能够准确表示视频中的目标，可以避免漏检和误检的情况。

需要说明的是，上述步骤203至步骤206用于实现将该N帧视频图像输入至该目标检测模型中进行处理，输出目标检测结果的操作。

在本申请实施例中，获取待检测视频中的连续N帧视频图像，并调用目标检测模型，由于该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层可以将连续N帧视频图像的特征进行卷积融合得到目标特征图，即该目标特征图是将该N帧视频图像的特征关联后得到，该目标检测层可以基于该目标特征图检测出视频图像中的目标，因此，将获取的视频图像输入至该目标检测模型中进行处理后，输出目标检测结果。如此，基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性，即避免漏检和误检的情况，而且还可以避免需要人工设计不同的规则，提高了目标检测的适应性。

图5是根据一示例性实施例示出的一种基于视频的目标检测装置的结构示意图，该基于视频的目标检测装置可以由软件、硬件或者两者的结合实现。该基于视频的目标检测装置可以包括：

获取模块410，用于获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用模块420，用于调用目标检测模型，所述目标检测模型至少包括三维卷积层和目标检测层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

处理模块430，用于将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果。

可选地，所述处理模块430用于：

当所述目标检测模型包括的三维卷积层的总数量为多个时，将所述N帧视频图像输入至所述目标检测模型中；

依次通过多个三维卷积层对所述N帧视频图像进行卷积融合处理；

从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

可选地，所述处理模块430用于：

所述目标检测模型还包括多个降采样层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层；

依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

可选地，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于所述总数量的整数。

可选地，所述处理模块430用于：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图；

或者，

当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图。

在本申请实施例中，获取待检测视频中的连续N帧视频图像，并调用目标检测模型，由于该目标检测模型至少包括三维卷积层和目标检测层，该三维卷积层可以将连续N帧视频图像的特征进行卷积融合得到目标特征图，即该目标特征图是将该N帧视频图像的特征关联后得到，该目标检测层可以基于该目标特征图检测出视频图像中的目标，因此，将获取的视频图像输入至该目标检测模型中进行处理后，输出目标检测结果。如此，基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性，即避免漏检和误检的情况，而且还可以避免需要人工设计不同的规则，提高了目标检测的适应性。

需要说明的是：上述实施例提供的基于视频的目标检测装置在实现基于视频的目标检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于视频的目标检测装置与基于视频的目标检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6示出了本申请一个示例性实施例提供的电子设备500的结构框图。该电子设备500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的基于视频的目标检测方法。

在一些实施例中，电子设备500还可选包括有：***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地，***设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

***设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置电子设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在电子设备500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在电子设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位电子设备500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。

电源509用于为电子设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以电子设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测电子设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对电子设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在电子设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在电子设备500的侧边框时，可以检测用户对电子设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置电子设备500的正面、背面或侧面。当电子设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在电子设备500的前面板。接近传感器516用于采集用户与电子设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与电子设备500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与电子设备500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对电子设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述各个实施例提供的基于视频的目标检测方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个实施例提供的基于视频的目标检测方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于视频的目标检测方法，其特征在于，所述方法包括：

获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用目标检测模型，所述目标检测模型至少包括多个三维卷积层、多个降采样层和目标检测层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

将所述N帧视频图像输入至所述目标检测模型中，依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理；

当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

2.如权利要求1所述的方法，其特征在于，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于总数量的整数。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图。

4.一种基于视频的目标检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用模块，用于调用目标检测模型，所述目标检测模型至少包括多个三维卷积层、多个降采样层和目标检测层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

处理模块，用于将所述N帧视频图像输入至所述目标检测模型中，依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理；当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图；通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

5.如权利要求4所述的装置，其特征在于，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于总数量的整数。

6.如权利要求4或5所述的装置，其特征在于，所述处理模块还用于：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图。

7.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器;

其中，所述处理器被配置为实现权利要求1-3中任一项所述的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-3中任一项所述的方法的步骤。