CN112699810A - 一种提升室内监控***人物识别精度的方法及装置 - Google Patents

Abstract

本发明提供一种提升室内监控***人物识别精度的方法及装置，方法包括：设置人脸特征库和外观特征库；对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对人物目标进行识别；对出现在监控图像范围内其他位置的人物目标提取人脸特征和外观特征，并对人物目标进行识别；当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别；当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测识别。本发明能够显著提高监控***人物识别的精度和性能，运行效率高，在提升***性能的同时，并未增加***的计算负担，易于部署、扩展和***升级，可应用到办公场所、商场等智能视频监控***中。

Description

一种提升室内监控***人物识别精度的方法及装置

技术领域

本发明属于智能视频监控技术领域，具体涉及一种提升室内监控***人物识别精度的方法及装置。

背景技术

随着社会的不断发展，公共安全成为全社会的一个共同话题，与之相辅相成的视频监控***也得到了大量普及。视频监控***可以直观地再现目标场景，可作为重点人物和事件监控的强力辅助。在特定重点区域监控中，人物目标的识别和定位是极其关键的一步。在过去的很长一段时间内，监控***中人物目标的识别是通过人工观察监控录像完成的，这种查找方法效率十分低下，同时造成了很大的资源浪费。

随着人工智能学科的兴起和蓬勃发展，以深度神经网络方法为代表的人工智能方法越来越多地被应用在各个领域中。在智能视频监控方面，人脸识别是一种较为成熟的解决方案。人脸识别是一种依据人的面部特征(如统计特征或几何特征等)，自动进行身份鉴定的一种技术，它综合运用了数字图像处理/视频处理、模式识别等多种技术。

目前，人脸识别技术的四个环节分别为：

1.人脸检测：实现人脸自动提取采集，从视频的复杂背景中自动提取出人的面部图像。

2.人脸校准：对检测到的人脸进行姿态的矫正，以提高人脸识别的精度。

3.人脸确认：将提取出的人脸面部图像与指定的图像进行比对，判断两者是否为同一人。一般小型办公室的人脸打卡***中就是采用的这种方法。

4.人脸鉴别：将提取的人脸图像与数据库中的存入的人脸进行比对，与环节3中使用的两两比对的方法相比，人脸鉴别在识别阶段更多地采用分类的方法，对进行了环节1和环节2后的图像进行分类。

但是，在实际应用场景中，视频监控***很多时候无法捕捉到监控区域内所有人的人脸图像，或者因为相机角度问题导致人脸检测失败，因而，人们提出了跨设备行人重识别技术(Person Re-identification，Re-ID)。

跨设备行人重识别技术一般首先获取人物的视觉特征，区别于人脸特征，视觉特征需要从不受约束的环境中捕获的从数据中提取健壮而有区别的视觉描述符，在这些环境中，人们可能无法合作并且环境不受控制，最简单的特征就是外观特征，如颜色和纹理。然后，利用采集到的特征与特征库进行匹配，若匹配度大于某一预先设定阈值λ，则表示成功匹配。若采集的特征与特征库中已有的特征均无法匹配，则将该目标标记为新目标，并将其特征加入特征库。

实际应用中，例如在某单位内部监控***或者商场视频监控中，当某些人物在监控盲点进行换装等行为，人物外部特征发生明显变化后，监控***即无法准确识别人物目标。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种提升室内监控***人物识别精度的方法及装置。

本发明的一个方面，提供一种提升室内监控***人物识别精度的方法，所述方法包括：

设置人脸特征库和外观特征库，所述人脸特征库包括预设的人脸特征，每个所述人脸特征对应所述外观特征库中的两组外观特征；

对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对所述人物目标进行识别；

对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征，并对所述人物目标进行识别；

当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别；

当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

在一些可选地实施方式中，所述对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对所述人物目标进行识别，包括：

当所述人物目标进入监控图像范围内时，分别提取所述人物目标的所述人脸特征和所述外观特征；

将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

在一些可选地实施方式中，所述将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理，包括：

所述匹配结果为成功时，则正确识别到所述人物目标，并将所述人物目标的所述外观特征存入所述外观特征库；

所述匹配结果为失败时，则将所述人物目标标记为新人物，并将所述人物目标的所述人脸特征存入所述人脸特征库，将所述人物目标的所述外观特征存入所述外观特征库。

在一些可选地实施方式中，所述对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征，并对所述人物目标进行识别，包括：

对出现在监控图像范围内其他位置的所述人物目标，分别提取所述人脸特征和所述外观特征；

将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

在一些可选地实施方式中，所述将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理，包括：

所述匹配结果为成功时，则正确识别到所述人物目标，之后，将所述人物目标的外观特征与其所述人脸特征对应的所述外观特征库中的原始外观特征进行匹配，并根据匹配度分别进行处理；

若匹配度低于预设阈值，则将所述人物目标的外观特征存入所述外观特征库；

若匹配度高于预设阈值，则将所述外观特征库中的所述原始外观特征进行更新。

在一些可选地实施方式中，所述将所述外观特征库中的所述原始外观特征进行更新，包括：

采用以下两种方式进行更新：

其中，V_new为更新后的外观特征，V_old为原始外观特征，V_pre为当前提取到的外观特征，n为更新次数，

为更新系数，取值为0.9。

在一些可选地实施方式中，所述当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别，包括：

当监控图像范围内人数较多时，计算每个人物的人脸检测框和外观特征检测框，当所述人脸检测框和所述外观特征检测框的交并比大于90％时，视为同一个人物的人脸检测框和外观特征检测框，并以此为基础提取每个人物的人脸特征和外观特征，并对每个人物进行识别。

本发明的另一个方面，提供一种提升室内监控***人物识别精度的装置，所述装置包括：

人脸特征库，用于存储每个人物的人脸特征，所述人脸特征库包括预设的人脸特征；

外观特征库，用于存储所述每个人物的外观特征，其中，每个所述人脸特征对应两组外观特征；

提取模块，用于提取人物的人脸特征和外观特征；

识别模块，用于根据所述提取模块提取的所述人脸特征和所述外观特征对所述每个人物进行识别。

在一些可选地实施方式中，所述提取模块具体用于：

对进入监控图像范围内的人物目标提取人脸特征和外观特征；以及，

对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征；以及，

当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征；以及，

当对监控图像范围内的人物无法提取人脸特征时，提取人物的外观特征。

在一些可选地实施方式中，所述识别模块具体用于：

对进入监控图像范围内的人物目标进行识别；以及，

对出现在监控图像范围内其他位置的所述人物目标进行识别；以及，

当监控图像范围内人数较多时，分别对每个人物进行识别；以及，

当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

本发明的一种提升室内监控***人物识别精度的方法及装置，通过人脸识别技术和行人重识别技术互补的方式，能够显著提高监控***人物识别的精度和性能，运行效率高，在提升***性能的同时，并未增加***的计算负担，易于部署、扩展和***升级，可应用到办公场所、商场等智能视频监控***中。

附图说明

图1为本发明提供的一实施例的一种提升室内监控***人物识别精度的方法的流程图；

图2为本发明提供的另一实施例的一种提升室内监控***人物识别精度的方法的算法结构示意图；

图3为本发明提供的另一实施例的一种提升室内监控***人物识别精度的装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

本发明的一个方面，提供一种提升室内监控***人物识别精度的方法。

如图1所示，一种提升室内监控***人物识别精度的方法S100，包括：

S110、设置人脸特征库和外观特征库，所述人脸特征库包括预设的人脸特征，每个所述人脸特征对应所述外观特征库中的两组外观特征。

示例性的，在本步骤中，可以分别设置人脸特征库以及外观特征库。其中，人脸特征库可以用来存储人脸特征信息，外观特征库可以用来存储外观特征信息。在人脸特征库中，可以根据现有信息存储部分预设的人脸特征。示例性的，对于人脸特征库里的每个人脸特征，可以对应外观特征库中的两组外观特征，比如，两组外观特征可以分别记为V1＝<Q1,H1,Z1,Y1>、V2＝<Q2,H2,Z2,Y2>。当然，本领域技术人员也可以根据实际需要进行设置，本实施例对此并不具体限制。

S120、对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对所述人物目标进行识别。

示例性的，一并结合图2，在本步骤中，假设进入监控视频/图像范围内的人物目标为A，对A的人脸特征和外观特征进行提取，并对A进行识别。

需要说明的是，本实施例并不限制具体的提取方式，本领域技术人员可以采用传统特征提取、深度神经网络提取、人为设计特征提取等方式，也可以采用其他方式，本实施例对此并不限制。

优选的，步骤S120包括：

当所述人物目标进入监控图像范围内时，分别提取所述人物目标的所述人脸特征和所述外观特征。

示例性的，在本步骤中，当人物目标A进入监控图像范围内时，分别提取A的人脸特征和外观特征。本领域技术人员可以根据实际需要选择具体的提取方式，本实施例对此并不限制。

将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

示例性的，在本步骤中，将人物目标A的人脸特征与人脸特征库中预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

优选的，所述匹配结果为成功时，则正确识别到所述人物目标，并将所述人物目标的所述外观特征存入所述外观特征库。

示例性的，在本步骤中，当匹配结果为成功时，则正确识别到人物目标A，并将人物目标A的外观特征存入与其人脸特征对应的外观特征库中。

优选的，所述匹配结果为失败时，则将所述人物目标标记为新人物，并将所述人物目标的所述人脸特征存入所述人脸特征库，将所述人物目标的所述外观特征存入所述外观特征库。

示例性的，在本步骤中，当匹配结果为失败时，则将人物目标A标记为新人物，并将人物目标A的人脸特征存入人脸特征库，将人物目标A的外观特征存入与其人脸特征对应的外观特征库中。

需要说明的是，本实施例并不限制具体的匹配方式，本领域技术人员可以根据实际需要进行选择，本实施例对此并不限制。

S130、对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征，并对所述人物目标进行识别。

优选的，对出现在监控图像范围内其他位置的所述人物目标，分别提取所述人脸特征和所述外观特征。

示例性的，在本步骤中，当人物目标A出现在监控图像范围内的其他位置时，分别提取A的人脸特征和外观特征。

优选的，将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

示例性的，一并结合图2，在本步骤中，将人物目标A的人脸特征与人脸特征库中预设的人脸特征进行匹配，并根据匹配结果分别进行处理。也就是说，在本步骤中，需要对人物目标A进行目标检测，并根据检测结果进行处理。

优选的，所述匹配结果为成功时，则正确识别到所述人物目标，之后，将所述人物目标的外观特征与其所述人脸特征对应的所述外观特征库中的原始外观特征进行匹配，并根据匹配度分别进行处理。

示例性的，在本步骤中，当匹配结果为成功时，则正确识别到人物目标A，之后，将人物目标A的外观特征与A的人脸特征对应的外观特征库中的原始外观特征进行匹配，并根据匹配度分别进行处理。

优选的，若匹配度低于预设阈值，则将所述人物目标的外观特征存入所述外观特征库。

示例性的，一并结合图2，在本步骤中，将预设阈值记为λ，当匹配度低于λ时，表明人物目标A的外观特征发生了明显变化，比如，可能A进行了换装等行为，此时，将提取到的人物目标A的外观特征存入外观特征库，使其与人物目标A在人脸特征库中的人脸特征相对应。也就是说，当匹配度低于阈值时，需要在外观特征库中的增加模板，以对人物目标A的外观特征进行存储。

优选的，若匹配度高于预设阈值，则将所述外观特征库中的原始外观特征进行更新。

示例性的，一并结合图2，在本步骤中，当匹配度高于预设阈值λ时，则将人物目标A的人脸特征对应的外观特征库中的原始外观特征进行更新。也就是说，当匹配度高于阈值时，需要在外观特征库中的更新模板，以对人物目标A的外观特征进行存储。

优选的，采用以下两种方式进行更新：

其中，V_new为更新后的外观特征，V_old为原始外观特征，V_pre为当前提取到的外观特征，n为更新次数，

为更新系数，取值一般为0.9。

S140、当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别。

优选的，当监控图像范围内人数较多时，计算每个人物的人脸检测框和外观特征检测框，当所述人脸检测框和所述外观特征检测框的交并比大于90％时，视为同一个人物的人脸检测框和外观特征检测框，并以此为基础提取每个人物的人脸特征和外观特征，并对每个人物进行识别。

示例性的，在本步骤中，当监控图像范围内人数较多时，比如，当监控图像范围内有2人、3人、4人等多人时，分别计算每个人物的人脸检测框和外观特征检测框(即轮廓检测框)，当人脸检测框和外观特征检测框的交并比IOU大于90％时，视为同一个人物的人脸检测框和外观特征检测框，并以此为基础提取每个人物的人脸特征和外观特征，并对每个人物进行识别。具体的提取过程和识别过程可以参考前述步骤，在此不再赘述。

S150、当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

示例性的，在本步骤中，当对监控图像范围内的人物无法提取人脸特征时，比如，监控图像范围内可能只有人物的背影，或者，某个人物对脸部进行了遮挡等等。此时，可以利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。在本实施例中，由于外观特征通过上述方法进行了更新和细化，使得本步骤中利用外部特征进行检测的检测精度也得到了提升。同时，本实施例的方法是利用人脸特征和外观特征进行人物识别的重要步骤，无论以何种方式(传统特征提取方式、深度神经网络提取特征方式、人为设计特征提取方式等)提取特征，均可使用本实施例的方法提升整体***性能。

本实施例的一种提升室内监控***人物识别精度的方法，通过人脸识别技术和行人重识别技术互补的方式，能够显著提高监控***人物识别的精度和性能，运行效率高，在提升***性能的同时，并未增加***的计算负担，易于部署、扩展和***升级，可应用到办公场所、商场等智能视频监控***中。

本发明的另一个方面，如图3所示，提供一种提升室内监控***人物识别精度的装置100。该装置100可以应用于前文记载的方法，下述装置中未提及的具体内容可以参考前文相关记载，在此不作赘述。所述装置100包括：

人脸特征库110，用于存储每个人物的人脸特征，所述人脸特征库包括预设的人脸特征。

外观特征库120，用于存储所述每个人物的外观特征，其中，每个所述人脸特征对应两组外观特征。

提取模块130，用于提取人物的人脸特征和外观特征。

识别模块140，用于根据所述提取模块提取的所述人脸特征和所述外观特征对所述每个人物进行识别。

本实施例的一种提升室内监控***人物识别精度的装置，能够显著提高监控***人物识别的精度和性能，运行效率高，在提升***性能的同时，并未增加***的计算负担，易于部署、扩展和***升级，可应用到办公场所、商场等智能视频监控***中。

优选的，所述提取模块130具体用于：

对进入监控图像范围内的人物目标提取人脸特征和外观特征；以及，

对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征；以及，

当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征；以及，

当对监控图像范围内的人物无法提取人脸特征时，提取人物的外观特征。

优选的，所述识别模块140具体用于：

对进入监控图像范围内的人物目标进行识别；以及，

对出现在监控图像范围内其他位置的所述人物目标进行识别；以及，

当监控图像范围内人数较多时，分别对每个人物进行识别；以及，

当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种提升室内监控***人物识别精度的方法，其特征在于，所述方法包括：

设置人脸特征库和外观特征库，所述人脸特征库包括预设的人脸特征，每个所述人脸特征对应所述外观特征库中的两组外观特征；

对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对所述人物目标进行识别；

对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征，并对所述人物目标进行识别；

当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别；

当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

2.根据权利要求1所述的方法，其特征在于，所述对进入监控图像范围内的人物目标提取人脸特征和外观特征，并对所述人物目标进行识别，包括：

当所述人物目标进入监控图像范围内时，分别提取所述人物目标的所述人脸特征和所述外观特征；

将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

3.根据权利要求2所述的方法，其特征在于，所述将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理，包括：

所述匹配结果为成功时，则正确识别到所述人物目标，并将所述人物目标的所述外观特征存入所述外观特征库；

所述匹配结果为失败时，则将所述人物目标标记为新人物，并将所述人物目标的所述人脸特征存入所述人脸特征库，将所述人物目标的所述外观特征存入所述外观特征库。

4.根据权利要求1所述的方法，其特征在于，所述对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征，并对所述人物目标进行识别，包括：

对出现在监控图像范围内其他位置的所述人物目标，分别提取所述人脸特征和所述外观特征；

将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理。

5.根据权利要求4所述的方法，其特征在于，所述将所述人物目标的所述人脸特征与所述预设的人脸特征进行匹配，并根据匹配结果分别进行处理，包括：

所述匹配结果为成功时，则正确识别到所述人物目标，之后，将所述人物目标的外观特征与其所述人脸特征对应的所述外观特征库中的原始外观特征进行匹配，并根据匹配度分别进行处理；

若匹配度低于预设阈值，则将所述人物目标的外观特征存入所述外观特征库；

若匹配度高于预设阈值，则将所述外观特征库中的所述原始外观特征进行更新。

6.根据权利要求5所述的方法，其特征在于，所述将所述外观特征库中的所述原始外观特征进行更新，包括：

采用以下两种方式进行更新：

其中，V_new为更新后的外观特征，V_old为原始外观特征，V_pre为当前提取到的外观特征，n为更新次数，

为更新系数，取值为0.9。

7.根据权利要求1所述的方法，其特征在于，所述当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征，并对每个人物进行识别，包括：

当监控图像范围内人数较多时，计算每个人物的人脸检测框和外观特征检测框，当所述人脸检测框和所述外观特征检测框的交并比大于90％时，视为同一个人物的人脸检测框和外观特征检测框，并以此为基础提取每个人物的人脸特征和外观特征，并对每个人物进行识别。

8.一种提升室内监控***人物识别精度的装置，所述装置包括：

人脸特征库，用于存储每个人物的人脸特征，所述人脸特征库包括预设的人脸特征；

外观特征库，用于存储所述每个人物的外观特征，其中，每个所述人脸特征对应两组外观特征；

提取模块，用于提取人物的人脸特征和外观特征；

识别模块，用于根据所述提取模块提取的所述人脸特征和所述外观特征对所述每个人物进行识别。

9.根据权利要求8所述的装置，其特征在于，所述提取模块具体用于：

对进入监控图像范围内的人物目标提取人脸特征和外观特征；以及，

对出现在监控图像范围内其他位置的所述人物目标提取人脸特征和外观特征；以及，

当监控图像范围内人数较多时，分别提取每个人物的人脸特征和外观特征；以及，

当对监控图像范围内的人物无法提取人脸特征时，提取人物的外观特征。

10.根据权利要求8所述的装置，其特征在于，所述识别模块具体用于：

对进入监控图像范围内的人物目标进行识别；以及，

对出现在监控图像范围内其他位置的所述人物目标进行识别；以及，

当监控图像范围内人数较多时，分别对每个人物进行识别；以及，

当对监控图像范围内的人物无法提取人脸特征时，利用人物的外观特征进行检测，以对监控图像范围内的人物进行识别。

Images