CN109886951A - 视频处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种视频处理方法、装置及电子设备，属于图像处理技术领域，本发明提供的视频处理方法、装置及电子设备，用于对视频中的目标对象进行属性分析。首先在获取的视频中确定目标对象，从视频中提取多个包含目标对象的待分析图像，对多个待分析图像进行特征提取，得到多个特征图，将多个特征图进行融合，得到融合特征图，再根据融合特征图确定目标对象的属性信息。该方法在保障处理效率的同时，可以提高属性分析结果的准确性。

Description

视频处理方法、装置及电子设备

技术领域

本发明属于图像处理技术领域，尤其是涉及一种视频处理方法、装置及电子设备。

背景技术

视频结构化处理技术用于从相机拍摄的视频中分析出目标对象的属性信息，将属性信息呈现给用户。例如，在智能交通场景中，目标对象可以是行人或车辆。如果目标对象是行人，可以对交通视频进行属性分析，输出行人的性别、衣着、年龄等属性信息。

在实际应用中，如果对视频的每个图像帧中的目标对象区域都进行属性分析，其运算量极大，对终端设备的运算能力要求太高，目前的终端设备难以实现。因此，在现有技术中，通常只在包含目标对象的图像帧中选择质量最优的一个图像帧，提取该图像帧中的目标对象区域进行属性分析，但该方法很难保证分析得到的属性信息的准确性。

发明内容

有鉴于此，本发明的目的在于提供一种视频处理方法、装置及电子设备，用于对视频中的目标对象进行属性分析，可以在保障处理效率的同时，提高属性分析结果的准确性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种视频处理方法，包括：

在获取的视频中确定目标对象；

从所述视频中提取多个待分析图像；所述待分析图像中包含目标对象；

对多个所述待分析图像进行特征提取，得到多个特征图；

将多个所述特征图进行融合，得到融合特征图；

根据所述融合特征图确定所述目标对象的属性信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述在获取的视频中确定目标对象的步骤，包括：

通过目标检测网络对所述视频进行目标对象的检测，得到所述视频中的各个图像帧对应的检测框；

通过目标***，根据各个图像帧中检测框的相似度确定所述检测框的标识；

根据带有标识的检测框，确定目标对象在所述视频的各个图像帧中的位置。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，从所述视频中提取多个待分析图像的步骤，包括：

从所述视频中提取指定数量的待分析图像；所述待分析图像中目标对象的质量满足预设要求。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从所述视频中提取指定数量的待分析图像的步骤，包括：

从包含目标对象的图像帧中，提取包含目标对象的区域图像；

选取目标对象的质量满足预设要求的区域图像或图像帧保存至图像库中；

当所述图像库中的图像超过指定数量时，删除最先保存的区域图像或者目标对象的质量最低的图像；

将图像库中的图像作为待分析图像。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

通过图像质量检测网络对包含目标对象的区域图像或图像帧进行质量检测；

根据所述图像质量检测网络输出的图像质量信息，判断所述区域图像中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度。

结合第一方面的第二种至第四种可能的实施方式中的任意一种，本发明实施例提供了第一方面的第五种可能的实施方式，其中，对多个所述待分析图像进行特征提取，得到多个特征图的步骤，包括：

将每个所述待分析图像输入特征提取网络，得到所述特征提取网络输出的每个待分析图像对应的特征图。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，从所述视频中提取多个待分析图像的步骤，包括：

从所述视频中选取目标对象的质量满足预设要求的图像帧或区域图像作为待分析图像；所述区域图像为从所述图像帧中提取的包含目标对象的区域图像；

对多个所述待分析图像进行特征提取，得到多个特征图的步骤，包括：

通过特征提取网络对每个所述待分析图像进行特征提取，得到每个待分析图像对应的特征图；

从得到的所述特征图中选取指定数量的特征图。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，从所述视频中选取目标对象的质量满足预设要求的图像帧或区域图像作为待分析图像的步骤，包括：

根据目标检测网络输出的图像帧的图像质量信息，判断所述图像帧中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度；

如果是，将所述图像帧作为待分析图像，或者，从所述图像帧中提取包含目标对象的区域图像作为待分析图像。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，将所述多个特征图进行融合，得到融合特征图的步骤，包括：

按照预设权重将所述多个特征图进行加权融合，得到融合特征图。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，根据所述融合特征图确定所述目标对象的属性信息的步骤，包括：

将所述融合特征图输入属性分析网络，得到所述属性分析网络输出的所述目标对象的属性信息。

第二方面，本发明实施例还提供一种视频处理装置，包括：

目标确定模块，用于在获取的视频中确定目标对象；

图像提取模块，用于从所述视频中提取多个待分析图像；所述待分析图像中包含目标对象；

属性分析模块，用于对多个所述待分析图像进行特征提取，得到多个特征图；将多个所述特征图进行融合，得到融合特征图；根据所述融合特征图确定所述目标对象的属性信息。

第三方面，本发明实施例还提供一种电子设备，包括存储器和处理器；

所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供的视频处理方法、装置及电子设备，用于对视频中的目标对象进行属性分析。首先在获取的视频中确定目标对象，从视频中提取多个包含目标对象的待分析图像，对多个待分析图像进行特征提取，得到多个特征图，将多个特征图进行融合，得到融合特征图，再根据融合特征图确定目标对象的属性信息。由于对图像进行特征提取的速度较快，因此可以多次执行特征提取过程，得到多个特征图，而对图像进行属性分析的运算量大，执行速度慢，因此基于融合特征图进行属性分析，仅一次或较少次地执行属性分析过程，保障该方法的处理效率。将根据多个待分析图像得到的多个特征图进行融合，得到的融合特征图包容了多个待分析图像的特征，基于融合特征图进行属性分析，可以提高属性分析结果的准确性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种视频处理方法的流程图；

图3示出了本发明实施例所提供的另一种视频处理方法的示意图；

图4示出了本发明实施例所提供的一种视频处理装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中通常只选择视频中质量最优的一个图像帧进行属性分析，很难保证分析得到的属性信息的准确性。基于此，本发明实施例提供了一种视频处理方法、装置、电子设备和计算机存储介质。以下结合附图和具体实施方式对本发明实施例提供的视频处理方法、装置和电子设备进行详细说明。

实施例一：

首先，参照图1来描述用于实现本发明实施例的视频处理方法的示例电子设备100。该示例电子设备100可以是智能手机、平板电脑等移动终端；也可以是计算机或服务器等其它设备。该示例电子设备100还可以是相机，如结构化相机等。所述结构化相机为具有视频结构化处理功能的相机。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108，还可以包括图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理器(CPU)、图形处理器(Graphics ProcessingUnit，GPU)或者具有数据处理能力、图像处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

在一种可选的实施例中，处理器102可以包括第一处理器和第二处理器。其中，第一处理器可以采用单片机或其它微处理芯片，用于控制所述电子设备100中的其它组件，并执行本发明实施例所提供的视频处理方法中的非卷积步骤。第二处理器作为第一处理器的协处理器，可以采用现场可编程门阵列(Field-Programmable Gate Array，FPGA)芯片，用于执行本发明实施例所提供的视频处理方法中进行卷积的步骤。现场可编程门阵列芯片可以加速卷积的运算过程，进一步提高视频处理方法的运行效率。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的属性分析功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种图像、视频等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像或视频，并且将所拍摄的图像或视频存储在所述存储器104中以供其它组件使用。

实施例二：

本实施例提供了一种视频处理方法，可以在保障处理效率的同时，提高属性分析结果的准确性，图2示出了该视频处理方法的流程图。该需要说明的是，在图2的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

如图2所示，本实施例提供的视频处理方法，包括如下步骤：

步骤S202，在获取的视频中确定目标对象。

获取一段视频，所述视频可以是正在执行拍摄任务的图像采集装置实时采集的一段视频，也可以为预先存储的视频。预先存储的视频可以是对原始视频进行归一化、平滑化处理后得到的视频。在一些实施例中，可以在获取完整的视频之后，再在视频中确定目标对象。在另一些实施例中，可以在采集视频时，实时地在获取的视频流中确定目标对象。

所述目标对象可以是任何物体，包括但不限于行人、车辆、动物或植物等，目标对象还可以是人体的一部分(如人脸)、动物的一部分或植物的一部分，本发明对此不作具体限制。

在获取的视频中确定目标对象，可以理解为确定目标对象在所述视频的各个图像帧中的位置或所在区域，即确定目标对象的移动轨迹。采用现有的目标跟踪方法，可以在获取的视频中确定目标对象。

步骤S204，从视频中提取多个待分析图像。

其中，所述待分析图像中包含目标对象，在一些实施例中，待分析图像可以是视频中包含目标对象的图像帧。在另一些实施例中，待分析图像可以是从包含目标对象的图像帧中提取的包含目标对象的区域图像。

可选地，对于视频中每个包含目标对象的图像帧，可以从图像帧中提取包含目标对象的区域图像。在步骤S202中已经确定了目标对象在视频的各个图像帧中的位置，因此可以采用现有的图像分割方法或抠图的方法，从图像帧中提取包含目标对象的区域图像。从得到的多个区域图像中，选取目标对象的质量满足预设要求的区域图像作为待分析图像。或者，从包含目标对象的图像帧中，选取目标对象的质量满足预设要求的图像帧作为待分析图像。其中，所述目标对象的质量满足预设要求可以包括目标对象的可辨识度达到设定阈值；例如，目标对象的可辨识度可以通过目标对象的清晰度表示，根据包含目标对象的图像帧或区域图像的图像清晰度确定目标对象的质量是否满足预设要求。如果目标对象为行人，目标对象的质量满足预设要求还可以包括图像中人脸的朝向满足预设角度，如正脸或脸部的转向在设定的角度范围内。可以采用现有的图像质量检测方法确定区域图像或图像帧的质量，根据区域图像或图像帧的质量确定图像中目标对象的质量是否满足预设要求。

示例性地，可以通过图像质量检测网络对包含目标对象的区域图像或图像帧进行质量检测，根据图像质量检测网络输出的图像质量信息，判断区域图像或图像帧中的目标对象的质量是否满足预设要求。所述图像质量信息至少包括图像清晰度，根据图像质量检测网络输出的图像清晰度，可以确定目标对象的可辨识度。譬如，对于某一个区域图像，如果图像质量检测网络输出的图像清晰度达到设定阈值，说明该区域图像中目标对象的可辨识度达到设定阈值，可以将该区域图像作为待分析图像。反之，如果图像质量检测网络输出的图像清晰度未达到设定阈值，说明该区域图像中目标对象的可辨识度未达到设定阈值，不能将该区域图像作为待分析图像，直接丢弃。

需要说明的是，根据目标对象的不同，图像质量信息还可以包括其它参数。例如，当目标对象为行人时，图像质量信息还可以包括人脸朝向等。如果图像质量信息中包括多个参数，可以在每个参数均达到设定条件时，确定目标对象的质量满足预设要求；也可以将多个参数的数值进行加权求和，得到图像的综合质量分数。如果综合质量分数大于或等于设定阈值，则认为区域图像中目标对象的质量满足预设要求。如果综合质量分数小于设定阈值，则认为区域图像中目标对象的质量不满足预设要求。选取目标对象的质量满足预设要求的区域图像或图像帧作为待分析图像。

步骤S206，对多个待分析图像进行特征提取，得到多个特征图。

如果待分析图像是从包含目标对象的图像帧中提取的包含目标对象的区域图像，可以通过特征提取网络对待分析图像进行特征提取。具体地说，分别将每个待分析图像输入特征提取网络，得到特征提取网络输出的每个待分析图像对应的特征图。

特征提取网络为一种卷积神经网络，特征提取网络可以包括至少一个卷积层，所述至少一个卷积层用于从待分析图像中提取特征图。通过由卷积层构成的特征提取网络对图像进行特征提取的运算速度很快，即使对多个待分析图像执行特征提取操作，也可以在很短的时间内完成。为了进一步提高运算速度，可以在FPGA芯片上实施特征提取网络，FPGA芯片可以多路并行执行卷积操作，因此能够加速完成卷积运算过程。

如果待分析图像是视频中包含目标对象的图像帧，可以从每个图像帧中提取包含目标对象的区域图像，通过特征提取网络对每个区域图像进行特征提取，得到每个区域图像对应的特征图。

步骤S208，将多个特征图进行融合，得到融合特征图。

在一种可选的实施例中，可以将多个特征图进行均值融合，得到融合特征图。进一步地说，计算多个特征图中相同位置的特征值的平均值，将该位置对应的平均值作为融合特征图中对应位置的特征值，得到融合特征图。

在另一种可选的实施例中，可以按照预设权重将多个特征图进行加权融合，得到融合特征图。每个特征图对应一个权重，该权重可以根据上述区域图像中目标对象的质量确定，目标对象的质量越高，对应的权重越大，目标对象的质量越低，对应的权重越小。根据预设权重，计算多个特征图中相同位置的特征值的加权平均值，将该位置对应的加权平均值作为融合特征图中对应位置的特征值，得到融合特征图。

步骤S210，根据融合特征图确定目标对象的属性信息。

将融合特征图输入属性分析网络，得到属性分析网络输出的目标对象的属性信息。

属性分析网络也是一种卷积神经网络，属性分析网络可以包括至少一个卷积层和至少一个全连接层，所述至少一个全连接层中的最后一个全连接层输出目标对象的属性信息。如果目标对象为行人，则目标对象的属性信息可以包括但不限于人员的性别、年龄范围、大致身高、发饰、衣着、携带物品等。如果目标对象为车辆，则目标对象的属性信息可以包括但不限于车牌号、车颜色、车型、品牌、车贴、车饰物等信息。

本发明实施例提供的视频处理方法，用于对视频中的目标对象进行属性分析。首先在获取的视频中确定目标对象，从视频中提取多个包含目标对象的待分析图像，对多个待分析图像进行特征提取，得到多个特征图，将多个特征图进行融合，得到融合特征图，再根据融合特征图确定目标对象的属性信息。由于对图像进行特征提取的速度较快，因此可以针对多个待分析图像执行特征提取过程，得到多个特征图，而对图像进行属性分析的运算量大，执行速度慢，因此基于融合特征图进行属性分析，仅一次或较少次地执行属性分析过程，保障该方法的处理效率。将根据多个待分析图像得到的多个特征图进行融合，得到的融合特征图包容了多个待分析图像的特征，基于融合特征图进行属性分析，可以提高属性分析结果的准确性。

为了控制特征提取过程的计算量，进一步减少整体计算量。在一种可选的实施例中，可以从目标对象的质量满足预设要求的区域图像或图像帧中选取指定数量的图像作为待分析图像。

一种可行的实现方式为：从包含目标对象的图像帧中，提取包含目标对象的区域图像，选取目标对象的质量满足预设要求的区域图像保存至图像库中。当图像库中的区域图像超过指定数量时，删除最先保存的区域图像或者目标对象的质量最低的区域图像，使图像库中的区域图像的数量维持在指定数量，将图像库中的区域图像作为待分析图像。在实际执行过程中，可以按照视频中图像帧的先后顺序，从图像帧中提取包含目标对象的区域图像，如果当前区域图像中目标对象的质量满足预设要求，将当前区域图像保存至图像库中。当图像库中的区域图像超过指定数量时，删除最先保存的区域图像。或者，在将区域图像保存至图像库中时，同时保存该区域图像对应的目标对象的质量，所述目标对象的质量可以通过该区域图像的图像清晰度或综合质量分数体现。当图像库中的区域图像超过指定数量时，删除目标对象的质量最低的区域图像。示例性地，指定数量可以是10，当图像库中的区域图像的数量为11时，即超过了指定数量，则可以按照设定规则删除一张区域图像。在视频结束后或目标对象在视频中消失后，将最终保存在图像库中的区域图像作为待分析图像。仅选取指定数量的待分析图像进行后续的特征提取步骤，可以减小特征提取步骤的运算量。

另一种可行的实现方式为：可以从视频中选取指定数量的图像帧作为待分析图像，所述图像帧中的目标对象的质量满足预设要求。例如，从包含目标对象的图像帧中，选取目标对象的质量满足预设要求的图像帧保存至图像库中。当图像库中的区域图像超过指定数量时，删除最先保存的图像帧。或者，在将图像帧保存至图像库中时，同时保存该图像帧对应的目标对象的质量。当图像库中的图像帧超过指定数量时，删除目标对象的质量最低的图像帧。将图像库中的图像帧作为待分析图像。

实施例三：

在上述实施例二的基础上，本实施例提供了一种视频处理方法的具体实施方式，图3示出了该具体实施方式的流程图。如图3所示，该视频处理方法包括如下步骤：

步骤S302，在获取的视频中确定目标对象。

在获取的视频中确定目标对象，可以理解为确定目标对象在所述视频的各个图像帧中的位置或所在区域。一种可选的实施方式包括如下步骤：

一、通过目标检测网络对视频进行目标对象的检测，得到视频中的各个图像帧对应的检测框。

目标检测网络为用于对视频进行目标检测的深度卷积神经网络，可以对视频中的每个图像帧进行目标检测，检测出包括目标对象的图像帧，并输出各个图像帧对应的检测框。所述检测框为包围目标对象的边界框，每个检测框内包含一个目标对象，检测框可以是矩形，也可以是其它形状。检测框用于标示目标对象在图像帧中的位置，当检测框为矩形时，其位置可以用矩形的对顶角的位置坐标来表示。

需要说明的是，视频中可能包括与目标对象同类的事物。例如，目标对象为车辆时，视频中包括车辆A和车辆B。此时，目标检测网络将输出包括车辆A的检测框和包括车辆B的检测框。

二、通过目标***，根据各个图像帧中检测框的相似度确定检测框的标识。

目标***用于根据目标检测网络的检测结果对视频中的目标对象进行跟踪。将标记了检测框的连续多个图像帧输入目标***，目标***可以根据各个图像帧中检测框的相似度确定检测框的标识。例如，目标***可以根据各个图像帧中检测框的距离相似度确定检测框的标识。即在相邻图像帧中，距离相近的检测框设置相同的标识，相同标识的检测框用于指示同一个目标对象。换言之，检测框的标识用于指示该检测框内的目标对象是哪个目标对象，即目标对象的身份信息。目标***可以采用现有的目标跟踪算法实现，如采用欧式距离算法计算相邻图像帧中的检测框之间的距离，也可以采用深度卷积神经网络实现。示例性地，视频中包括车辆A和车辆B时，目标***可以对不同图像帧中车辆A对应的检测框均设置标识a，对不同图像帧中车辆B对应的检测框均设置标识b。

三、根据带有标识的检测框，确定目标对象在视频的各个图像帧中的位置。

由于相同标识的检测框指示同一目标对象，具有相同标识的检测框在不同图像帧中的位置表明了视频中该目标对象的移动轨迹，从而实现目标根据。在本发明实施例中，根据带有标识的检测框在不同图像帧中的位置，可以确定目标对象在视频的各个图像帧中的位置。例如，如果视频中的车辆A为需要进行属性分析的目标对象，车辆A对应的检测框的标识为a，根据带有标识a的检测框在不同图像帧中的位置，可以确定车辆A在视频的各个图像帧中的位置。

步骤S304，从视频中选取目标对象的质量满足预设要求的图像帧。

在一些实施例中，可以通过图像质量检测网络对包含目标对象的图像帧进行质量检测，根据图像质量检测网络输出的图像质量信息，判断图像帧中的目标对象的质量是否满足预设要求。所述图像质量信息至少包括图像清晰度。对于某一个区域图像，如果图像质量检测网络输出的图像清晰度达到设定阈值，说明该图像帧中的目标对象的质量满足预设要求。如果图像质量检测网络输出的图像清晰度未达到设定阈值，说明该图像帧中的目标对象的质量未满足预设要求，直接丢弃。

在另一些实施例中，可以根据上述的目标检测网络输出的图像帧的图像质量信息，判断图像帧中的目标对象的质量是否满足预设要求。即目标检测网络在进行目标检测的同时，也可以对图像质量进行检测。

步骤S306，从选取的图像帧中提取包含目标对象的区域图像，将所述图像帧或得到的区域图像作为待分析图像。

将目标对象的质量满足预设要求的图像帧作为待分析图像；或者，根据上述目标检测网络输出的检测框在图像帧中的位置，采用图像分割方法提取检测框内的图像，得到包含目标对象的区域图像，将得到的区域图像作为待分析图像。

步骤S308，通过特征提取网络对每个待分析图像进行特征提取，得到每个待分析图像对应的特征图。

步骤S310，从得到的特征图中选取指定数量的特征图。

示例性地，可以将对待分析图像进行特征提取得到的特征图保存至特征图库中。当特征图库中的特征图超过指定数量时，删除最先保存的特征图或者目标对象的质量最低的图像对应的特征图，使特征图库中的特征图的数量维持在指定数量。

步骤S312，将选取的特征图进行加权融合，得到融合特征图。

在视频结束后或目标对象在视频中消失后，将最终保存在特征图库中的特征图按照预设权重进行加权融合，得到融合特征图。

步骤S314，根据融合特征图确定目标对象的属性信息。

将融合特征图输入属性分析网络，得到属性分析网络输出的目标对象的属性信息。可以理解的是，可以将现有的属性网络分为前属性子网络和后属性子网络两部分，前属性子网络作为上述的特征提取网络，仅包括卷积层，运算量较小，运算速度快，可多次运行；后属性子网络作为上述的属性分析网络，运算速度较慢，为保障属性分析的实时性，可少次运行。

需要说明的是，上述通过卷积神经网络实现的步骤或子步骤(包括但不限于步骤S302、步骤S308、步骤S314等)可以在第二处理器上实现，第二处理器可以采用现场可编程门阵列芯片。现场可编程门阵列芯片可以加速卷积的运算过程，进一步提高视频处理方法的运行效率。

为了使上述的目标检测网络、特征提取网络和属性分析网络可以直接应用于对视频中的目标对象进行属性分析，输出较为准确可靠的结果，需要预先对目标检测网络、特征提取网络和属性分析网络进行训练。可以分别对目标检测网络、特征提取网络和属性分析网络进行训练。以目标检测网络的训练过程为例进行说明，该训练过程包括：获取训练图像样本集；所述训练图像样本集包括多张训练图像，对训练图像中的目标对象进行人工标注。采用训练样本集对目标检测网络进行训练，将训练图像输入目标检测网络，得到目标检测网络输出的检测结果，根据目标检测网络输出的检测结果和预先设置的人工标注确定损失值。基于损失值对目标检测网络进行训练。通常，损失值是判定实际的输出与期望的输出的接近程度。损失值越小，说明实际的输出越接近期望的输出。可以采用反向传播算法，根据损失值调整目标检测网络的参数，直至损失值收敛至预设的期望值时，完成对目标检测网络的训练，获得训练好的目标检测网络。

在现有技术中，如果视频中包括车辆A和车辆B，车辆A为需要进行属性分析的目标对象。在某一个时刻，车辆A和车辆B的距离非常小，甚至完全重叠，在该时刻对应的图像帧中，目标***输出的检测框的标识可能会发生错误，车辆A的检测框可能标识为b，车辆B的检测框可能标识为a。如果该图像帧的质量最优，进行属性分析时选用了该图像帧，则得到的属性信息为车辆B的属性信息，而不是车辆A的属性信息，因此属性分析的结果将是错误的。

在本发明实施例中，由于选取了多个图像帧对应的待分析图像，将根据多个待分析图像得到的多个特征图进行融合，得到的融合特征图包容了多个待分析图像的特征，基于融合特征图进行属性分析，即使其中存在个别错误的图像，其特征也会被其它占绝大多数的正确图像所掩盖，因此可以避免得到的属性分析结果与目标对象不对应的现象，提高最终得到的属性分析结果的准确性。

实施例四：

对应于上述实施例二或实施例三，本实施例提供了一种视频处理装置，参见图4所示的一种视频处理装置的结构示意图，该装置包括：

目标确定模块41，用于在获取的视频中确定目标对象；

图像提取模块42，用于从所述视频中提取多个待分析图像；所述待分析图像中包含目标对象；

属性分析模块43，用于对多个所述待分析图像进行特征提取，得到多个特征图；将多个所述特征图进行融合，得到融合特征图；根据所述融合特征图确定所述目标对象的属性信息。

在一种可选的实施例中，所述目标确定模块41还可以用于：通过目标检测网络对所述视频进行目标对象的检测，得到所述视频中的各个图像帧对应的检测框；将所述检测框输入目标***，根据各个图像帧中检测框的相似度确定所述检测框的标识；根据带有标识的检测框，确定目标对象在所述视频的各个图像帧中的位置。

图像提取模块42还可以用于：从所述视频中提取指定数量的待分析图像；所述待分析图像中目标对象的质量满足预设要求。

图像提取模块42还可以用于：从包含目标对象的图像帧中，提取包含目标对象的区域图像；选取目标对象的质量满足预设要求的区域图像或图像帧保存至图像库中；当所述图像库中的图像超过指定数量时，删除最先保存的图像或者目标对象的质量最低的图像；将图像库中的图像作为待分析图像。

图像提取模块42还可以用于：通过图像质量检测网络对包含目标对象的区域图像或图像帧进行质量检测；根据所述图像质量检测网络输出的图像质量信息，判断所述区域图像中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度。

属性分析模块43还可以用于：将每个所述待分析图像输入特征提取网络，得到所述特征提取网络输出的每个待分析图像对应的特征图。

在另一种可选的实施例中，图像提取模块42还可以用于：从所述视频中选取目标对象的质量满足预设要求的图像帧或区域图像作为待分析图像；所述区域图像为从所述图像帧中提取的包含目标对象的区域图像；以及用于：根据目标检测网络输出的图像帧的图像质量信息，判断所述图像帧中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度；如果是，将所述图像帧作为待分析图像。属性分析模块43还可以用于：通过特征提取网络对每个所述待分析图像进行特征提取，得到每个待分析图像对应的特征图；从得到的所述特征图中选取指定数量的特征图。

属性分析模块43还可以用于：按照预设权重将所述多个特征图进行加权融合，得到融合特征图。

属性分析模块43还可以用于：将所述融合特征图输入属性分析网络，得到所述属性分析网络输出的所述目标对象的属性信息。

本发明实施例提供的视频处理装置，用于对视频中的目标对象进行属性分析。首先在获取的视频中确定目标对象，从视频中提取多个包含目标对象的待分析图像，对多个待分析图像进行特征提取，得到多个特征图，将多个特征图进行融合，得到融合特征图，再根据融合特征图确定目标对象的属性信息。由于对图像进行特征提取的速度较快，因此可以多次执行特征提取过程，得到多个特征图，而对图像进行属性分析的运算量大，执行速度慢，因此基于融合特征图进行属性分析，仅一次或较少次地执行属性分析过程，保障该方法的处理效率。将根据多个待分析图像得到的多个特征图进行融合，得到的融合特征图包容了多个待分析图像的特征，基于融合特征图进行属性分析，可以提高属性分析结果的准确性。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，包括图像采集装置、存储器、处理器。所述图像采集装置，用于采集图像数据；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施例二或实施例三所记载的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施例二或实施例三所提供的方法的步骤，具体实现可参见实施例二或实施例三，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种视频处理方法，其特征在于，包括：

在获取的视频中确定目标对象；

从所述视频中提取多个待分析图像；所述待分析图像中包含目标对象；

对多个所述待分析图像进行特征提取，得到多个特征图；

将多个所述特征图进行融合，得到融合特征图；

根据所述融合特征图确定所述目标对象的属性信息。

2.根据权利要求1所述的方法，其特征在于，所述在获取的视频中确定目标对象的步骤，包括：

通过目标检测网络对所述视频进行目标对象的检测，得到所述视频中的各个图像帧对应的检测框；

通过目标***，根据各个图像帧中检测框的相似度确定所述检测框的标识；

根据带有标识的检测框，确定目标对象在所述视频的各个图像帧中的位置。

3.根据权利要求1所述的方法，其特征在于，从所述视频中提取多个待分析图像的步骤，包括：

从所述视频中提取指定数量的待分析图像；所述待分析图像中目标对象的质量满足预设要求。

4.根据权利要求3所述的方法，其特征在于，从所述视频中提取指定数量的待分析图像的步骤，包括：

从包含目标对象的图像帧中，提取包含目标对象的区域图像；

选取目标对象的质量满足预设要求的区域图像或图像帧保存至图像库中；

当所述图像库中的图像超过指定数量时，删除最先保存的图像或者目标对象的质量最低的图像；

将图像库中的图像作为待分析图像。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过图像质量检测网络对包含目标对象的区域图像或图像帧进行质量检测；

根据所述图像质量检测网络输出的图像质量信息，判断所述区域图像中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度。

6.根据权利要求3～5中任一项所述的方法，其特征在于，对多个所述待分析图像进行特征提取，得到多个特征图的步骤，包括：

将每个所述待分析图像输入特征提取网络，得到所述特征提取网络输出的每个待分析图像对应的特征图。

7.根据权利要求1所述的方法，其特征在于，从所述视频中提取多个待分析图像的步骤，包括：

从所述视频中选取目标对象的质量满足预设要求的图像帧或区域图像作为待分析图像；所述区域图像为从所述图像帧中提取的包含目标对象的区域图像；

对多个所述待分析图像进行特征提取，得到多个特征图的步骤，包括：

通过特征提取网络对每个所述待分析图像进行特征提取，得到每个待分析图像对应的特征图；

从得到的所述特征图中选取指定数量的特征图。

8.根据权利要求7所述的方法，其特征在于，从所述视频中选取目标对象的质量满足预设要求的图像帧或区域图像作为待分析图像的步骤，包括：

根据目标检测网络输出的图像帧的图像质量信息，判断所述图像帧中的目标对象的质量是否满足预设要求；所述图像质量信息至少包括图像清晰度；

如果是，将所述图像帧作为待分析图像，或者，从所述图像帧中提取包含目标对象的区域图像作为待分析图像。

9.根据权利要求1所述的方法，其特征在于，将所述多个特征图进行融合，得到融合特征图的步骤，包括：

按照预设权重将所述多个特征图进行加权融合，得到融合特征图。

10.根据权利要求1所述的方法，其特征在于，根据所述融合特征图确定所述目标对象的属性信息的步骤，包括：

将所述融合特征图输入属性分析网络，得到所述属性分析网络输出的所述目标对象的属性信息。

11.一种视频处理装置，其特征在于，包括：

目标确定模块，用于在获取的视频中确定目标对象；

图像提取模块，用于从所述视频中提取多个待分析图像；所述待分析图像中包含目标对象；

属性分析模块，用于对多个所述待分析图像进行特征提取，得到多个特征图；将多个所述特征图进行融合，得到融合特征图；根据所述融合特征图确定所述目标对象的属性信息。

12.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1～10中任一项所述视频处理方法的步骤。

13.根据权利要求12所述的电子设备，其特征在于，所述处理器包括第一处理器和第二处理器；所述第一处理器用于执行所述视频处理方法中非卷积的步骤，所述第二处理器用于执行所述视频处理方法中进行卷积的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1～10中任一项所述的方法的步骤。