CN112686122A - 人体及影子的检测方法、装置、电子设备、存储介质 - Google Patents

Abstract

本发明提供一种人体及影子的检测方法、装置、电子设备、存储介质，检测方法包括：获取待检测图像，并对待检测图像进行区域划分，以得到多个待检测区域；分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征；对每一直方图特征进行识别，以得到待检测图像中的人体以及影子。以此能够对图像中的人体以及影子进行区分。

Description

人体及影子的检测方法、装置、电子设备、存储介质

技术领域

本发明涉及视频监控技术领域，尤其是涉及一种人体及影子的检测方法、装置、电子设备、存储介质。

背景技术

目标检测作为视觉任务的一个核心方向，其主要任务包括对目标的定位和分类。它作为一项基础的前沿技术，在诸多领域得到广泛的应用，如智能辅助驾驶、智能监控、行人分析以及智能机器人等领域。

由于自然场景的复杂性，通常采集到的图像会受到光照的影响，在目标的周边产生阴影，这为目标检测器带来了严峻的挑战。在采集到的图像质量较差或者光线较差时，如夜晚场景有偏光源的存在时，会将人体的影子误认为人体，影响检测效果。

发明内容

本发明提供一种人体及影子的检测方法、装置、电子设备以及存储介质，用于区分人体以及影子。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种人体及影子的检测方法，包括：获取待检测图像，并对待检测图像进行区域划分，以得到多个待检测区域；分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征；对每一直方图特征进行识别，以得到待检测图像中的人体以及影子。

其中，分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征包括：利用第一注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第一直方图特征；利用第二注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第二直方图特征。

其中，对每一直方图特征进行识别，以得到待检测图像中的人体以及影子包括：对每一第一直方图特征以及每一第二直方图特征进行识别，以得到待检测图像中的人体以及影子。

其中，利用第二注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第二直方图特征包括：利用第二注意力机制对待检测区域中的预设重点区域进行第一维度的特征提取；以及利用第二注意力机制对待检测区域中的其余区域进行第二维度的特征提取，进而得到待检测区域的第二直方图特征；第一维度大于第二维度。

其中，预设重点区域包括至少部分人体以及至少部分影子。

其中，，对每一直方图特征进行识别，以得到待检测图像中的人体以及影子包括：将所有待检测区域的直方图特征进行合并，以得到待检测图像的直方图特征；对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

其中，对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子包括：利用过滤分类模型对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

其中，过滤分类模型的训练方法包括：收集样本图像，对样本图像进行区域划分，以得到多个子区域，其中，样本图像中对人体以及影子进行标注；利用第一注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征；利用第二注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征；将所有样本图像的直方图特征进行合并，以得到直方图特征集合；利用直方图特征集合对初始模型进行训练，以得到过滤分类模型。

其中，对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子之前还包括：对待检测图像的直方图特征进行归一化处理。

其中，获取待检测图像包括：获取检测图像，计算检测图像的交并比；若交并比大于预设阈值，则对应的检测图像为待检测图像。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种人体及影子的检测装置，包括：获取模块，用于获取待检测图像，并对待检测图像进行区域划分，以得到多个待检测区域；特征提取模块，用于对待检测区域进行特征提取，以得到待检测区域的直方图特征；识别模块，用于对直方图特征进行识别，以得到待检测图像中的人体以及影子。

为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的人体及影子的检测方法。

为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的人体及影子的检测方法。

本发明的有益效果，区别于现有技术，本发明通过并对待检测图像进行区域划分，以得到多个待检测区域；分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征；对每一直方图特征进行识别，以得到待检测图像中的人体以及影子。以此检测图像中的人体以及影子。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明人体及影子的检测方法的第一实施例的流程示意图；

图2为本发明待检测图像的一实施例的示意图；

图3为本发明人体及影子的检测方法的第二实施例的结构示意图；

图4及图5为本发明第一直方图特征以及第二直方图特征的示意图；

图6位本发明过滤分类模型的训练方法的一实施例的流程示意图；

图7为本发明人体及影子的检测装置的一实施例的结构示意图；

图8为本发明电子设备的一实施例的结构示意图；

图9为本发明计算机可读存储介质的一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术提出一种人体行为识别方法和装置，利用三维时空直方图特征和二维轮廓特征组合成混合特征；用混合特征输入SVM中进行训练得到分类器；使用分类器对测试样本进行识别，得到人体行为的识别结果。其利用多种空间维度的直方图特征进行组合，并将最终组合的特征用于人体行为的识别。

现有技术还提出一种基于红外图像的行人检测方法，其通过建立红外图像的行人和非行人标准数据集；提取样本图像梯度方向直方图特征，提取样本图像强度直方图特征，设计行人分类特征，梯度方向和强度直方图特征；基于多尺度滑动窗口法对红外图像进行搜索检测，融合多窗口分类结果确定行人位置，实现夜间环境的行人检测。该方法考虑的是多种特性的直方图特征进行组合，完成红外图像的行人检测问题。

现有技术还提出一种影子预测方法，其使用mean shift算法对输入图像进行过分割，得到分割片段,对每个片段提取其颜色和纹理信息输入支持向量机(support vectormachine，SVM)得到影子先验图，最后再使用CNN网络来预测影子的位置。该方法需要多套的处理流程，对于大多数的硬件来说，处理过程复杂，而且前面过程的误差会对最终结果产生叠加的错误效应。

现有技术还提出一种人体、影子预测方法，该方法对人体进行实例分割的同时对影子进行实例分割，并且对二者进行关联。利用两个分支网络，分别预测出人体检测框分割图、影子检测框分割图、人体影子检测框关联、光线方向。方法主要基于深度学习网络，需要较多的人力构建专有的数据集，在***应用上难以达到实时性。

本申请提出一种人体及影子的检测方法，用于识别人体以及影子。下面结合附图以及具体实施例对其进行具体说明。

请参见图1，为本发明一种人体及影子的检测方法的第一实施例的流程示意图，包括：

步骤S11：获取待检测图像，并对待检测图像进行区域划分，以得到多个待检测区域。

获取大量的检测图像，由于影子与人体必然成对出现，因此需要从大量的检测图像中挑选出同时具有影子和人体的图像作为待检测图像。在一实施例中，可以计算每一检测图像的交并比，若以检测图像的交并比大于预设阈值，则对应的检测图像作为待检测图像。

对待检测图像进行区域划分，以得到多个待检测区域。如图2所示，对待检测图像进行区域划分，将其划分为左侧的第一待检测区域10、中间的第二待检测区域20以及右侧的第三待检测区域30。在另一实施例中，还可以将待检测图像从上到下进行划分，以得到上、中、下三个待检测区域。

步骤S12：分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征。

具体的，本申请基于两种不同的注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的直方图特征。

请结合图3，步骤S12具体包括：

步骤S21：利用第一注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第一直方图特征。

具体的，利用第一注意机制分别对第一待检测区域10、第二待检测区域20以及第三待检测区域30进行特征提取，以得到每一待检测区域的第一直方图特征。在一具体实施例中，第一注意力机制可以为硬注意力机制。

请结合图4，图4为第一注意机制分别对第一待检测区域10、第二待检测区域20以及第三待检测区域30中的人体以及影子进行特征提取后得到的第一直方图特征，根据图4的提取结果可以得到人体和影子在每一待检测区域的特征都有一定差异，通过该方法可以有效提取到人体以及影子的差异性特征。

步骤S22：利用第二注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第二直方图特征。

具体的，利用第二注意力机制分别对第一待检测区域10、第二待检测区域20以及第三待检测区域30进行特征提取，以得到每一待检测区域的第二直方图特征。在一具体实施例中，第二注意力机制可以为软注意力机制。

上述硬注意力采用分区域进行直方图特征提取，计算特征时会采用维度拼接的方式，这就造成了直方图维度3倍的增加，较大的直方图维度会对***的特性产生不良影响，本案为了降低维度引入软注意力机制。对第一待检测区域10、第二待检测区域20以及第三待检测区域30提取不同维度的第二直方图特征，对关键区域给予更多的特征维度，非关键区域使用较少的特征维度。具体的，利用第二注意力机制对待检测区域中的预设重点区域进行第一维度的特征提取；以及利用第二注意力机制对待检测区域中的其余区域进行第二维度的特征提取，进而得到待检测区域的第二直方图特征；第一维度大于第二维度。

如图5所示，其中，预设重点区域为第二待检测区域20，利用软注意力机制对第二待检测区域20提取64bins的特征，而对第一待检测区域10以及第三待检测区域30提取64bins的特征。以此能够实现降低维度但是不降低精度的目的。在一具体实施例中，预设重点区域包括至少部分人体以及至少部分影子。

步骤S13：对每一直方图特征进行识别，以得到待检测图像中的人体以及影子。

具体的，对获取的每一直方图特征进行识别，以得到待检测图像中的人体以及影子。

具体请结合图3，步骤S13具体包括：

步骤S23：对每一第一直方图特征以及每一第二直方图特征进行识别，以得到待检测图像中的人体以及影子。

在一具体实施例中，进一步所有待检测区域的直方图特征进行合并，以得到待检测图像的直方图特征；对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。即将所有第一直方图特征以及第二直方图特征进行合并。在一实施例中，还可以对待检测图像的直方图特征进行归一化处理，然后对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

由硬注意力机制提取得到的第一待检测区域10、第二待检测区域20以及第三待检测区域30的第一直方图特征在进行合并，例如拼接时，会造成直方图3倍的增加，较大的直方图维度会对***的特性产生不良影响，由此引入软注意力，对关键区域给予更多的维度进行直方图特征提取，而对于非关键区域给予较少的维度进行直方图特征提取，进而实现降低维度不降低精度的目的。

在一实施例中，利用过滤分类模型对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。其中，过滤分类模型需要进行训练，具体请参见6，包括：

步骤S31：收集样本图像，对样本图像进行区域划分，以得到多个子区域，其中，样本图像中对人体以及影子进行标注。

具体的，预先收集人体和影子数据作为样本图像，对样本图像进行区域划分，以得到多个子区域，并且在多个子区域中标注人体以及影子。

步骤S32：利用第一注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征。

第一注意力机制为硬注意力机制，利用硬注意力机制对每一子区域进行特征提取，特征提取方式与上述步骤S21相同。

步骤S33：利用第二注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征。

第二注意力机制为软注意力机制，利用软注意力机制对每一子区域进行特征提取，特征提取方式与上述步骤S22相同。

步骤S34：将所有样本图像的直方图特征进行合并，以得到直方图特征集合。

具体的，将所有样本图像的直方图特征进行合并，以得到直方图特征集合。例如可以将所有样本图像的直方图特征进行拼接。

步骤S35：利用直方图特征集合对初始模型进行训练，以得到过滤分类模型。

具体的，初始模型可以为SVM，利用直方图特征集合对SVM进行训练，以得到过滤分类模型。

本申请提供的人体及影子的检测方法，通过利用硬注意力机制提取第一直方图特征，可以有效的提取人体和影子的差异性特征，利用软注意力机制提取第二直方图特征，对关键区域给予更多的特征维度，非关键区域给予更少的特征维度，以实现降低维度不降低精度的目的，避免对***造成影响。本申请的人体及影子的检测方法易于实现，实时性好，对实际的生产场景具有非常好的应用价值。

请参见图7，为本发明人体及影子的检测装置的一实施例的结构示意图，包括：获取模块41、特征提取模块42以及识别模块43。

其中，获取模块41用于获取待检测图像，并对待检测图像进行区域划分，以得到多个待检测区域。

在一实施例中，获取模块41还用于获取检测图像，计算检测图像的交并比；若交并比大于预设阈值，则将对应的检测图像为待检测图像。

特征提取模块42用于对待检测区域进行特征提取，以得到待检测区域的直方图特征。

在一实施例中，特征提取模块42还用于利用第一注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第一直方图特征；利用第二注意力机制分别对每一待检测区域进行特征提取，以得到每一待检测区域的第二直方图特征。

在一实施例中，特征提取模块42还用于利用第二注意力机制对待检测区域中的预设重点区域进行第一维度的特征提取；以及利用第二注意力机制对待检测区域中的其余区域进行第二维度的特征提取，进而得到待检测区域的第二直方图特征；第一维度大于第二维度。

识别模块43用于对直方图特征进行识别，以得到待检测图像中的人体以及影子。

在一实施例中，识别模块43还用于将所有待检测区域的直方图特征进行合并，以得到待检测图像的直方图特征；对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。在一实施例中，识别模块43还用于对待检测图像的直方图特征进行归一化处理，然后对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

在一实施例中，识别模块43还用于利用过滤分类模型对待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

在一实施例中，识别模块43还用于训练得到过滤分类模型，具体的，识别模块43收集样本图像，对样本图像进行区域划分，以得到多个子区域，其中，样本图像中对人体以及影子进行标注；使得特征提取模块42利用第一注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征；利用第二注意力机制分别对每一子区域进行特征提取，以得到每一子区域的直方图特征；识别模块43将所有样本图像的直方图特征进行合并，以得到直方图特征集合；利用直方图特征集合对初始模型进行训练，以得到过滤分类模型。

本申请提供的人体及影子的检测装置，通过利用硬注意力机制提取第一直方图特征，可以有效的提取人体和影子的差异性特征，利用软注意力机制提取第二直方图特征，对关键区域给予更多的特征维度，非关键区域给予更少的特征维度，以实现降低维度不降低精度的目的，避免对***造成影响。本申请的人体及影子的检测方法易于实现，实时性好，对实际的生产场景具有非常好的应用价值。

请参见图8，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。

存储器202用于存储实现上述任意一项的人体及影子的检测方法的程序指令。

处理器201用于执行存储器202存储的程序指令。

其中，处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器202可以为内存条、TF卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，***服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图9，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有人体及影子的检测方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种人体及影子的检测方法，其特征在于，包括：

获取待检测图像，并对所述待检测图像进行区域划分，以得到多个待检测区域；

分别对每一所述待检测区域进行特征提取，以得到每一所述待检测区域的直方图特征；

对每一所述直方图特征进行识别，以得到所述待检测图像中的人体以及影子。

2.根据权利要求1所述的检测方法，其特征在于，所述分别对每一所述待检测区域进行特征提取，以得到每一所述待检测区域的直方图特征，包括：

利用第一注意力机制分别对每一所述待检测区域进行特征提取，以得到每一所述待检测区域的第一直方图特征；

利用第二注意力机制分别对每一所述待检测区域进行特征提取，以得到每一所述待检测区域的第二直方图特征。

3.根据权利要求2所述的检测方法，其特征在于，所述对每一所述直方图特征进行识别，以得到所述待检测图像中的人体以及影子包括：

对每一所述第一直方图特征以及每一所述第二直方图特征进行识别，以得到所述待检测图像中的人体以及影子。

4.根据权利要求2所述的检测方法，其特征在于，所述利用第二注意力机制分别对每一所述待检测区域进行特征提取，以得到每一所述待检测区域的第二直方图特征，包括：

利用所述第二注意力机制对所述待检测区域中的预设重点区域进行第一维度的特征提取；以及利用所述第二注意力机制对所述待检测区域中的其余区域进行第二维度的特征提取，进而得到所述待检测区域的第二直方图特征；

所述第一维度大于所述第二维度。

5.根据权利要求4所述的检测方法，其特征在于，所述预设重点区域包括至少部分人体以及至少部分影子。

6.根据权利要求1～5任一项所述的检测方法，其特征在于，所述对每一所述直方图特征进行识别，以得到所述待检测图像中的人体以及影子，包括：

将所有所述待检测区域的所述直方图特征进行合并，以得到所述待检测图像的直方图特征；

对所述待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

7.根据权利要求6所述的检测方法，其特征在于，所述对所述待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子，包括：

利用过滤分类模型对所述待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子。

8.根据权利要求7所述的检测方法，其特征在于，所述过滤分类模型的训练方法，包括：

收集样本图像，对所述样本图像进行区域划分，以得到多个子区域，其中，所述样本图像中对人体以及影子进行标注；

利用第一注意力机制分别对每一所述子区域进行特征提取，以得到每一所述子区域的直方图特征；

利用第二注意力机制分别对每一所述子区域进行特征提取，以得到每一所述子区域的直方图特征；

将所有所述样本图像的直方图特征进行合并，以得到直方图特征集合；

利用所述直方图特征集合对初始模型进行训练，以得到所述过滤分类模型。

9.根据权利要求6所述的检测方法，其特征在于，所述对所述待检测图像的直方图特征进行识别，以得到待检测图像中的人体以及影子之前，还包括：

对所述待检测图像的直方图特征进行归一化处理。

10.根据权利要求1所述的检测方法，其特征在于，所述获取待检测图像，包括：

获取检测图像，计算所述检测图像的交并比；

若所述交并比大于预设阈值，则对应的所述检测图像为所述待检测图像。

11.一种人体及影子的检测装置，其特征在于，包括：

获取模块，用于获取待检测图像，并对所述待检测图像进行区域划分，以得到多个待检测区域；

特征提取模块，用于对所述待检测区域进行特征提取，以得到所述待检测区域的直方图特征；

识别模块，用于对所述直方图特征进行识别，以得到待检测图像中的人体以及影子。

12.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行如权利要求1-10任一项所述的人体及影子的检测方法。

13.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-10任一项所述的人体及影子的检测方法。

Images