CN113869357A - 属性类别识别方法、设备及计算机存储介质 - Google Patents

Abstract

本申请提供了一种属性类别识别方法、设备及计算机存储介质。该属性类别识别方法包括：基于待检测的目标在图像序列中各个图像的属性信息，确定各个图像中目标的属性类别和质量评估信息；基于确定的各个属性类别和各个质量评估信息，确定目标的融合属性类别。通过上述方式，本申请的属性类别识别方法提高了属性类别识别准确率。

Description

属性类别识别方法、设备及计算机存储介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种属性类别识别方法、设备及计算机存储介质。

背景技术

图像识别技术日渐成熟，被应用于各行各业进行人像、物品等识别。在一些需要识别人体穿戴是否合规的场所，例如，施工场地，图像识别的作用尤为重要，这关于工人的生命安全。现有技术，通常利用对单帧图像的识别结果，确定人体穿戴是否合规，存在识别报警准确率低的问题。

发明内容

本申请提供了一种属性类别识别方法、设备及计算机存储介质。

本申请提供了一种属性类别识别方法，所述属性类别识别方法包括：

基于待检测的目标在图像序列中各个图像的属性信息，确定所述各个图像中所述目标的属性类别和质量评估信息；

基于确定的各个属性类别和各个质量评估信息，确定所述目标的融合属性类别。

为解决上述问题，本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的属性类别识别方法。

本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的属性类别识别方法。

本申请的属性类别识别方法通过待检测的目标在图像序列中各个图像的属性信息，确定各个图像中所述目标的属性类别和质量评估信息，进而确定目标的融合属性类别，提高了识别准确率，避免仅通过单帧图像确定属性类别而导致的识别准确率低的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的属性类别识别方法一实施例的流程示意图；

图2是图1所示的属性类别识别方法中S102之后一实施例的流程示意图；

图3是图1所示的属性类别识别方法中S102一实施例的流程示意图；

图4是图1所示的属性类别识别方法中一实施例的流程示意图；

图5是图1所示的属性类别识别方法中S101一实施例的流程示意图；

图6是图5所示的属性类别识别方法中S502一实施例的流程示意图；

图7是本申请提供的终端设备一实施例的结构示意图；

图8是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种属性类别识别方法，具体请参阅图1，图1是本申请提供的属性类别识别方法一实施例的流程示意图。本实施例中属性类别识别方法可以应用于属性识别装置，本申请的属性识别装置可以为服务器，也可以为移动设备，还可以为由服务器和移动设备相互配合的***。相应地，移动设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于移动设备中，还可以分别设置于服务器和移动设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

具体而言，本实施例的属性类别识别方法具体包括以下步骤：

S101：基于待检测的目标在图像序列中各个图像的属性信息，确定各个图像中目标的属性类别和质量评估信息。

本公开实施例中，考虑到现有技术是利用基于对单帧图像中的人体目标进行识别处理得到的识别结果，确定属性类别。上述方式由于仅通过单帧图像确定属性类别，存在识别准确率低的问题。为避免上述问题的发生，本实施例的属性识别装置利用待检测目标在图像序列中的属性信息，确定目标的属性类别。

具体地，属性识别装置基于待检测目标在图像序列中各个图像的属性信息，识别得到各个图像中目标的属性类别和质量评估信息，进而确定目标的融合属性类别。其中，质量评估信息可以为目标在各个图像中的质量高低。属性类别包括但不限于人体的帽子类型、帽子颜色、上下衣类型、上下衣颜色、鞋子类型、鞋子颜色等。

对于属性识别装置获取图像序列的方式。一方面，摄像头拍摄图像序列，并将图像序列发送与其连接的属性识别装置。另一方面，属性识别装置也可为带有拍摄及处理功能的设备，并直接获取图像序列。采用摄像头获取图像序列或属性识别装置获取图像序列时，可利用摄像头或属性识别装置拍摄视频流，并提取视频流中的图像序列，得到图像序列。其中，图像序列包括若干图像，每一图像中包括若干目标。

S102：基于确定的各个属性类别和各个质量评估信息，确定目标的融合属性类别。

其中，属性识别装置利用确定的各个属性类别和质量评估信息，确定目标的属性融合类别。

上述方案中，属性识别装置通过待检测的目标在图像序列中各个图像的属性信息，确定各个图像中目标的属性类别和质量评估信息，进而确定目标的融合属性类别，提高了识别准确率，避免仅通过单帧图像确定属性类别而导致的识别准确率低的问题。

其中，考虑到现有技术中利用单帧图像的属性类别确定单帧图像中目标是否穿戴合规，存在识别效率低下问题。为此，本实施例的属性识别装置利用待检测目标在图像序列中各个图像的属性类别确定目标的融合属性类别。

进一步地，考虑到现有技术中基于识别单帧图像中目标的属性类别，判断其与预设识别结果之间的一致性，在一致的情况下确定单帧图像中的目标是否穿戴合规。上述方法由于仅通过单帧图像判定其穿戴合规，存在识别准确率低下问题。为此，本实施例的属性识别装置利用图像序列中多帧图像中目标的融合属性类别进行报警处理。具体可参阅图2，在上述实施例的基础上，S102后还包括以下步骤：

S201：基于图像序列中各个图像的顺序，从图像序列中确定出预设数量的连续图像。

其中，属性识别装置基于图像序列中各个图像的顺序，确定预设数量的连续图像。

S202：基于预设属性类别、融合属性类别以及预设数量的连续图像中目标的属性类别，确定是否进行报警处理。

其中，预设属性类别为属性识别装置中预先设置的报警规则。在具体实施例中，属性识别装置确定预设数量的连续图像中所有图像的属性类别均一致的情况下，判断预设数量的连续图像的属性类别是否与融合属性类别一致，若是，则进一步确定预设属性类别与融合属性类别是否一致，若是，则对目标的属性类别进行报警处理。

进一步地，属性识别装置若进行报警，则表明目标穿戴不合规。另外，为了及时提醒管理人员或目标意识到穿戴不合规，属性识别装置按照目标质量等级对穿戴不合规目标对应的图像进行排序，选目标质量等级最高的目标所在图像进行上报。在其他实施例中，还可以通过显示屏显示目标质量等级最高的目标所在图像。

上述方案中，属性识别装置基于图像序列的顺序确定的预设数量的连续图像、预设属性类别和融合属性类别，确定是否进行报警处理，进而确定目标穿戴的合规性，提高属性识别的准确率。

进一步地，对于融合属性类别的获取，考虑到图像序列中可能存在较多的图像，若融合同一目标在每一图像中的属性识别结果，可能存在融合数据量大的问题。为此，本实施例的属性识别装置考虑提取目标在图像序列中的部分属性类别，并融合部分属性类别，得到目标融合属性类别。

其中，若随机选取目标在图像序列中属性类别，可能存在提取的属性类别所在图像质量较差的情况，从而降低识别准确率。为此，本实施例可综合考虑光照、曝光等因素对图像质量、目标质量等的影响，获取部分属性类别，进而确定目标融合类别。具体可参阅图3，S102还包括以下步骤：

S301：基于各个质量评估信息，从各个属性类别中选取出部分属性类别。

其中，质量评估信息包括对应的图像中目标的各部件完整度、目标质量等级及图像质量分数中的至少一个信息。目标的各部件完整度用于判断目标的部件是否被遮挡。具体地，目标的各部件可以为人体头部、躯干、手部、下半身、脚步等部件。目标质量等级用于判断目标是否存在低照、模糊或过爆等情况。图像质量分数用于评价图像整体质量。

具体地，属性识别装置利用对应的图像中目标的各部件完整度、目标质量等级及图像质量分数中的至少一个信息，对各个图像进行排序。进而确定排序在第一序位的图像中目标的属性类别，从而确定第一序位的图像中目标的属性类别为选取的部分属性类别。

在具体实施例中，属性识别装置可利用目标在图像序列的每一图像中的图像质量分数，对所有图像的质量分数按由大到小进行排序，选取排名在第一序位的图像中目标的属性类别为部分属性类别。

S302：基于部分属性类别，确定目标的融合属性类别。

其中，属性识别装置融合部分属性类别，得到目标的融合属性类别。

上述方案中，属性识别装置利用各个质量评估信息选取出部分属性类别，进而确定目标的融合属性类别，提高了数据融合的效率，避免冗杂。并且，考虑光照、曝光等因素对图像质量、目标质量等对图像识别的影响，剔除质量较差图像，进一步提高了属性类别识别的准确性。

进一步地，考虑到每一图像包括若干目标，若同时对同一图像中的若干目标进行属性识别处理，将存在效率低，数据运行速率慢等问题。为了避免上述问题，本实施例的属性识别装置控制每一图像中目标对应属性识别处理的数量上限，也即属性识别处理每一图像的目标数量限定。具体可参阅图4，具体包括以下步骤：

S401：获取图像中的目标数量。

其中，考虑到每一图像包括若干目标，但存在某些目标被遮挡或目标质量不清晰等问题，导致属性识别准确性低的问题。为此，本实施例的属性识别装置利用各部件完整度及目标质量等级去除不利于属性识别处理的目标。进一步地，为了提高目标在图像序列中的融合效率，避免融合质量差的图像，属性识别装置利用图像质量分数去除不利于识别处理的图像，进而减少不必要的计算消耗，同时降低由于识别不准确导致的误报频率。

具体地，属性识别装置剔除图像中部件完整度小于完整度阈值的目标，图像中目标质量等级小于等级阈值的目标，以及图像质量分数小于质量分数阈值的图像。也即每一图像中被遮挡或目标质量不清晰的目标，以及图像质量较差的图像。

进一步地，属性识别装置基于过滤目标被遮挡或目标质量不清晰后的图像，获取图像中的目标数量。

S402：判断图像中的目标数量是否大于第一数量。

其中，第一数量为属性识别装置根据自身情况设置的每一图像中目标对应属性识别处理的数量上限。第一数量为图像中原本目标数量的部分。

属性识别装置判断目标数量是否大于等于第一数量，若是，则执行S303。若否，则利用图像中的目标进行属性识别处理，得到目标的属性识别结果。

S403：则按照图像中各目标质量等级的大小关系调取第一数量的目标，并将图像中除第一数量外的其余目标用于图像的下一图像的优先属性类别识别处理。

其中，属性识别装置在判定目标数量大于第一数量时，则表明图像中待属性识别的目标超过属性识别的目标数量上限。为了提高装置运行效率，属性识别装置将超过第一数量的目标放于下一图像进行优先处理。也即下一图像在进行属性识别处理时，优先对超过第一数量的目标进行属性识别处理。

在具体实施例中，属性识别装置可随机确定第一数量的目标于图像中进行属性识别处理。但为了提高识别准确性。在其他实施例中，属性识别装置将图像中各目标质量等级进行由高到低的排序，并按照排序选取第一数量的目标。

S404：基于第一数量的目标的属性信息，确定第一数量的目标的属性类别。

其中，属性识别装置对第一数量的目标进行属性识别处理，得到目标的属性类别。

在具体实施例中，属性识别装置可利用基于蒸馏学习的方法训练得到的深度神经网络模型，对第一数量的目标进行属性识别处理，进而提高识别效率，减少属性识别时间。具体地，属性识别装置对第一数量的目标进行特征提取处理，得到目标的纹理梯度特征和语义特征。进而利用纹理梯度特征和语义特征进行属性分类识别处理，得到目标的属性识别结果。

上述方案中，属性识别装置考虑被遮挡目标、不清晰目标等对属性识别的影响，利用各部件完整度、目标质量等级及图像质量分数去除不利于属性识别处理的目标或图像，减少不必要的计算消耗，同时降低由于识别不准确导致的误报频率；进一步考虑装置运行效率，控制每一图像中目标对应属性识别处理的数量上限，提高了数据运行效率。

进一步地，为了避免低质量图像及关键部件不可见目标对属性识别处理的影响，本实施例的属性识别装置通过对图像序列进行目标质量评估处理，得到能够剔除低质量图像及关键部件不可见目标的各部件完整度、目标质量等级以及图像质量分数。具体可参阅图5，具体包括以下步骤：

S501：获取第一图像序列，对第一图像序列进行分析处理，得到每一图像中目标的坐标信息及身份信息。

其中，每一图像中目标的坐标信息及身份信息可基于跟踪图像序列中的目标获取。具体地，属性识别装置可获取第二图像序列，并检测第二图像序列中的目标，得到包括若干目标的第三图像序列。在具体实施例中，属性识别装置可利用目标检测算法对第二图像序列中的目标进行检测处理。目标检测算法基于深度学习使用特征金字塔的网络模型训练得到，其对弯腰、遮挡等不同姿态人体检测具有较好的鲁棒性。

进一步地，属性识别装置利用目标跟踪算法跟踪第三图像序列中的同一目标，得到相同目标在第三图像序列中的坐标信息及身份信息。具体地，属性识别装置利用帧序对第三图像序列中相同目标进行关联匹配处理，确定第三图像序列中的相同目标、相同目标在不同图像中的坐标信息及身份信息。在具体实施例中，属性识别装置可利用多特征融合关联匹配技术对第三图像序列中的相同目标进行跟踪处理。

S502：利用坐标信息及身份信息对每一图像进行目标质量评估处理，得到每一目标图像中目标的各部件完整度、目标质量等级以及图像质量分数。

本实施例的S502可采用图6中S521～S523的方式，详情参阅以下步骤：

S521：利用坐标信息及身份信息对目标图像中的目标进行标签分类识别处理，得到各部件完整度。

其中，属性识别装置利用同一目标在不同图像中的坐标信息及身份信息，对每一图像中的目标进行标签分类识别处理，得到每一图像中目标的各部件完整度。也即目标被遮挡情况。

S522：对每一目标中各部件完整度进行评价回归处理，得到各目标质量等级。

其中，属性识别装置利用多任务方式对每一图像进行评价回归处理，得到每一图像中目标质量等级。也即每一图像中各目标质量好坏。

S523：利用图像中各目标对应的目标质量等级确定图像质量分数。

其中，属性识别装置利用图像中各目标对应的目标质量等级进行整体质量综合评分，得到图像质量分数。

上述方案中，属性识别装置引入目标质量评估技术对图像序列中的图像进行质量评估，以确定每一图像中目标各部件完整度、目标质量等级及图像质量分数，进而利用每一图像中目标的各部件完整度、目标质量等级及图像质量分数去除目标质量差及目标被遮挡等的目标或图像，仅关注有利于属性识别的目标及图像，提高识别准确性。

为实现上述实施例的属性类别识别方法，本申请还提出了一种终端设备，具体请参阅图7，图7是本申请提供的终端设备一实施例的结构示意图。

本申请实施例的终端设备700包括存储器71和处理器72，其中，存储器71和处理器72耦接。

存储器71用于存储程序数据，处理器72用于执行程序数据以实现上述实施例所述的属性类别识别方法。

在本实施例中，处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器72也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图8所示，计算机存储介质800用于存储程序数据81，程序数据81在被处理器执行时，用以实现如上述实施例所述的属性类别识别方法。

本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的属性类别识别方法。该计算机程序产品可以为一个软件安装包。

本申请上述实施例所述的属性类别识别方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种属性类别识别方法，其特征在于，所述属性类别识别方法包括：

基于待检测的目标在图像序列中各个图像的属性信息，确定所述各个图像中所述目标的属性类别和质量评估信息；

基于确定的各个属性类别和各个质量评估信息，确定所述目标的融合属性类别。

2.根据权利要求1所述的属性类别识别方法，其特征在于，所述确定所述目标的融合属性类别之后，还包括：

基于所述图像序列中所述各个图像的顺序，从所述图像序列中确定出预设数量的连续图像；

基于预设属性类别、所述融合属性类别以及所述预设数量的连续图像中所述目标的属性类别，确定是否进行报警处理。

3.根据权利要求1所述的属性类别识别方法，其特征在于，所述基于确定的各个属性类别和各个质量评估信息，确定所述目标的融合属性类别的步骤，包括：

基于所述各个质量评估信息，从所述各个属性类别中选取出部分属性类别；

基于所述部分属性类别，确定所述目标的融合属性类别。

4.根据权利要求3所述的属性类别识别方法，其特征在于，所述基于所述各个质量评估信息，从所述各个属性类别中选取出部分属性类别的步骤，包括：

基于所述各个图像的质量评估信息，对所述各个图像进行排序；

将排序在第一序位的图像中所述目标的属性类别，确定为所述部分属性类别。

5.根据权利要求2所述的属性类别识别方法，其特征在于，

所述预设数量的连续图像中所有图像的属性类别均一致。

6.根据权利要求5所述的属性类别识别方法，其特征在于，所述基于预设属性类别、所述融合属性类别以及所述预设数量的连续图像中所述目标的属性类别，确定是否进行报警处理的步骤，包括：

确定所述预设数量的连续图像的属性类别与所述融合属性类别一致；

在所述预设属性类别与所述融合属性类别一致时，对所述目标的属性类别进行报警处理。

7.根据权利要求1所述的属性类别识别方法，其特征在于，所述质量评估信息包括对应的图像中所述目标的各部件完整度、目标质量等级及图像质量分数中的至少一个信息。

8.根据权利要求7所述的属性类别识别方法，其特征在于，所述属性类别识别方法，还包括：

获取所述图像中的目标数量；

若所述图像中的目标数量大于第一数量，则按照所述图像中各目标的目标质量等级的大小关系调取所述第一数量的目标，并将所述图像中除所述第一数量外的其余目标用于所述图像的下一图像的优先属性类别识别处理；

基于所述第一数量的目标的属性信息，确定所述第一数量的目标的属性类别。

9.根据权利要求1所述的属性类别识别方法，其特征在于，所述确定所述各个图像中所述目标的属性类别，包括：

对所述各个图像中的目标进行特征提取处理，得到所述目标的纹理梯度特征和语义特征；

利用所述目标的纹理梯度特征和所述语义特征对所述目标进行属性分类识别处理，得到所述目标的属性类别。

10.一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1～9任一项所述的属性类别识别方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1～9任一项所述的属性类别识别方法。

Images