CN111291633A - 一种实时行人重识别方法及装置 - Google Patents

Abstract

本发明提供一种实时行人重识别方法，用于在实际场景中对监控视频进行实时的行人重识别，其特征在于，包括如下步骤：步骤1，根据行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过缓存队列持续获取监控视频中的各个图像帧；步骤2，采用one‑stage检测网络对图像帧进行实时行人检测；步骤3，预先构建实时行人重识别网络模型；步骤4，通过实时行人重识别网络模型对图像帧进行行人重识别从而得到重识别结果，并基于重识别结果获取包括行人的行人ID、对应图像帧的时间信息以及对应监控摄像头的位置信息的行人相关信息；步骤5，根据行人的行人相关信息生成该行人在整个监控场景中出现的行人轨迹并输出。

Description

一种实时行人重识别方法及装置

技术领域

本发明属于视频监控领域，具体涉及一种实时行人重识别方法以及实时行人重识别装置。

背景技术

视频监控技术最早起源于20世纪70年代的模拟视频监控，随着安防设备的快速发展，视频监控技术也由数字视频阶段发展成为网络视频监控的阶段。近年来，随着大型商场，高校等场合的偷盗、打劫频发，犯罪率居高不下，视频监控成为一种实用的、经济的遏制犯罪的终极手段登上舞台，通过对监控场所安置不同位置、不同角度的摄像头，并根据历史视频数据调取敏感视频片段，可以为监控场景提供夯实的证据。

随着智能化在视频监控领域逐渐深入应用，新的需求被不断提出，智能视频监控技术也在更多场景下被不断利用，监控视频下的行人重识别技术便是其中之一。行人重识别关键技术在于根据获取的不重叠摄像机视域中的图像或视频序列，判断是否存在同一行人。具体来说，基于检测出不同摄像头下的行人类别，行人重识别技术通过与可疑行人库进行重识别比对，提供重识别结果，基于行人重识别技术的重识别***在捕获目标行人的情况下，通过自动报警或提供警告信息联系***监控人员和保安人员，以便及时采取措施，将隐患降至最低。

现实中，行人重识别的识别要求和识别性能受限于各种实际因素，首先，行人重识别获取到的是监控视频场景下的全景图像，对行人重识别的前提是利用检测网络检测出监控画面中包含的行人目标，再进行行人间的相似度匹配。目前已有的检测网络和重识别网络的运行效率的累计总和不足以支持视频场景下的实时行人重识别操作；其次，行人重识别的识别性能受限于自身因素及环境因素。从自身因素考虑，高分辨率的摄像头或者复杂情景下拍摄到的图像都会增加延长检测时间，而低分辨率的摄像头、远距离拍摄的行人目标或是摄像头的抖动则会降低检测精度；另一方面，光照、遮挡带来的像素值渐变性特点也会对检测精度带来影响。从环境因素考虑，运动行人的相似着装、相似背景或者严重遮挡等情况，大大减弱了识别物体特征间的差异性，使重识别的识别能力进一步受限。

为了解决这些问题，可以利用检测、重识别相结合的单步重识别网络模型(可以参考文章：Tong Xiao,Shuang Li,Bochao Wang,et al.Joint Detection andIdentification Feature Learning for Person Search,，In CVPR，2017)进行行人重识别，但针对视频画面的不稳定性、监控画质的复杂性、拍摄角度、拍摄环境的多样性以及行人肢体语言的不确定性，单步重识别网络模型不足以解决上述问题，会在一定程度上影响行人重识别的准确性。

但上述方法依旧存在无法针对视频监控进行实时处理的问题，若无法完成实时处理，行人重识别在应用至实际场景中就容易使得未处理的监控视频被积压，从而最终使得存储或是重识别结果出现问题(例如延迟、内存溢出等)，因此这些方法也就难以应用至实际场景中。若通过多个识别装置对监控视频进行处理则无疑会大幅度地提升硬件成本。

发明内容

为解决上述问题，提供一种针对监控视频进行实时行人重识别的实时行人重识别方法及装置，本发明采用了如下技术方案：

本发明提供了一种实时行人重识别方法，用于在实际场景中对监控视频进行实时的行人重识别，其特征在于，包括如下步骤：步骤1，根据行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过缓存队列持续获取监控视频中的各个图像帧；步骤2，采用one-stage检测网络对图像帧进行实时行人检测；步骤3，预先构建实时行人重识别网络模型；步骤4，通过实时行人重识别网络模型对图像帧进行行人重识别从而得到重识别结果，并基于重识别结果获取包括行人的行人ID、对应图像帧的时间信息以及对应监控摄像头的位置信息的行人相关信息；步骤5，根据行人的行人相关信息生成该行人在整个监控场景中出现的行人轨迹并输出。

本发明提供的实时行人重识别方法，还可以具有这样的技术特征，步骤S3包括如下子步骤：步骤3-1，搭建基础网络子模块：利用轻量级基础网络将标准卷积分为点卷积和深度卷积从而形成基础网络子模块；步骤3-2，构建全尺度基础网络：基于全尺度网络，针对同一个目标区域设计不同数量的基础网络子模块从而提取到感受野不同的特征，并将该不同的特征利用通道域特征融合的方式合并成一个全新的特征作为全尺度基础网络输出；步骤3-3：将预备的训练集输入全尺度基础网络，并基于三元组损失函数以反向更新网络权重的迭代方式对全尺度基础网络完成训练从而形成实时行人重识别网络模型。

本发明提供的实时行人重识别方法，还可以具有这样的技术特征，其中，轻量级基础网络为MobileNet，全尺度网络为Inception，三元组损失函数为Triplet损失函数。

本发明提供的实时行人重识别方法，还可以具有这样的技术特征，步骤1包括如下子步骤：步骤1-1，根据效率设定缓存队列，并将监控视频中灰度值高于预设阈值的第一帧图像帧填入缓存队列，同时记录该灰度值；步骤1-2，依次从监控视频中获取下一帧图像帧作为当前帧；步骤1-3，基于背景减弱法依次对当前帧进行图像预处理，若当前帧为前景中发生状态变化的行人图像且该当前帧的灰度值高于预设阈值，则将当前帧作为主要帧；步骤1-4，进行缓存队列的更新：若缓存队列未满，直接将主要帧压入缓存队列，并记录灰度差作为最新差值，若缓存队列已满，则利用背景减弱法判断主要帧和缓存队列的首元素的灰度差是否大于最新差值，若大于最新差值则将缓存队列的尾元素弹出，并将该主要帧压入缓存队列。步骤1-5，重复步骤1-2至步骤1-4从而持续通过缓存队列获取图像帧。

本发明还提供了一种实时行人重识别***，用于在实际场景中对监控视频进行实时的行人重识别，其特征在于，包括：图像帧获取部，用于根据行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过缓存队列持续获取监控视频中的各个图像帧；行人图像特征提取部，用于采用预设的one-stage检测网络对图像帧进行实时行人检测；重识别模型存储部，存储有预先构建的实时行人重识别网络模型；行人重识别部，用于通过实时行人重识别网络模型对图像帧进行行人重识别从而得到重识别结果，并基于重识别结果获取包括行人的行人ID、对应图像帧的时间信息以及对应监控摄像头的位置信息的行人相关信息；轨迹生成输出部，根据行人的行人相关信息生成该行人在整个监控场景中出现的行人轨迹并输出。

发明作用与效果

根据本发明的实时行人重识别方法及装置，由于通过评估行人重识别的效率设置缓存队列的方式，因此在实际场景下可以有效地对监控视频图像进行稳定获取，同时也可以便于适应不同的识别方式从而更灵活的设置识别方案。进一步，由于相对其他主流的重识别网络，本发明通过基础网络子模块和全尺度基础网络相结合的方式获取图像的深层图像特征，使得两种轻量级网络组合构建成实时行人重识别网络模型，该模型能够达到530ms/fps的重识别效率，比目前主流的行人重识别网络平均运行效率提高近40％，从而为实时识别提供了保障。通过本发明的实时行人重识别方法及装置，采用行人检测、行人重识别相结合的方式实现了对行人目标的实时识别，因此对日常场景下获取到的图像场景、视频场景下的行人重识别应用具有更大的实际价值。

附图说明

图1是本发明实施例中实时行人重识别方法的流程图；

图2是本发明实施例中队列更新机制的流程示意图；

图3是本发明实施例中实时行人重识别网络的流程示意图；以及

图4是本发明实施例中行人轨迹展示的示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的实时行人重识别方法作具体阐述。

<实施例>

本实施例中，实时行人重识别方法通过一台与监控摄像头相连接的计算机实现，该计算机能够实时获取监控摄像头拍摄到的监控视频并运行实时行人重识别方法对该监控视频进行实时处理。本实施例中，计算机通过采集摄像头的RTSP地址并输入预存的用户名和密码进入登陆页面，从而获取实时的监控视频图像。

图1是本发明实施例中实时行人重识别方法的流程图。

如图1所示，本实施例的实时行人重识别方法包括如下步骤：

步骤1，根据计算机的行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过缓存队列持续获取监控视频中的各个图像帧。本实施例中，步骤1中队列更新机制的具体过程如图2所示，该步骤1具体包括如下子步骤：

步骤1-1，根据网络重识别效率设定缓存队列，并将监控视频中灰度值高于预设阈值的第一帧的图像帧填入缓存队列，同时记录该灰度值作为基线值。(一般来说，图像逐个像素间相减差值的总和为灰度值，若灰度值越大，说明两张图差异越大，这样的队列缓存大小越小)

本实施例中，计算机在运行实时行人重识别方法时能够对重识别模型的识别效率进行自动检测，从而根据检测到的识别效率设定缓存队列。具体地，以每秒的重识别视频帧个数确定缓存区域的大小，并在重识别过程中维持该大小不变，缓存队列维持了三个状态值S1、S2和S3，分别对应空队列、不完全队列和完全队列。队列存储的初始元素为监控视频中的第一帧，用来填补空队列并与接下来的图像帧做比较，此时更新队列的状态为S2，背景差值D＝0。

步骤1-2，依次从监控视频中获取下一帧图像帧作为当前帧(即根据监控视频的视频序列获取各个图像帧)。

步骤1-3，基于背景减弱法(Background Subtraction)对当前帧进行图像预处理，若当前帧为前景中发生状态变化的行人图像且该当前帧的灰度值与基线值相比大于预设阈值，则将当前帧作为主要帧。

步骤1-4：进行缓存队列的更新。若缓存队列未满，直接将主要帧压入缓存队列，并记录首帧的灰度值作为新的基线值；若缓存队列已满，则利用背景减弱法判断主要帧的灰度值与所述基线值相比是否大于预设阈值，若大于最新差值则将缓存队列的尾元素弹出，并将该主要帧压入缓存队列。

本实施例中，在对图像帧(即当前帧)进行图像预处理时，通过背景减弱法获取当前帧与前一帧的背景差值D′。若在缓冲队列为S2的状态下该背景差值D′大于D，则更新D值并将当前帧压入缓存队列，同时比较缓存队列是否为完全队列，若是则缓存队列的状态不变，若否则将缓存队列的状态置为S3。

步骤1-5，重复步骤1-2至步骤1-4从而持续通过缓存队列获取图像帧，进一步通过下文的实时重识别算法依次识别缓存队列中的图像帧，最终输出重识别结果。

步骤2，采用one-stage检测网络对图像帧进行实时行人检测。

本实施例中的步骤2中，one-stage检测网络采用主流的YOLO-V3(在其他实施例中，也可以是其他的one-stage检测网络)对行人图像特征的提取，同时，还获取画面中行人的具体图像区域，用于行人重识别阶段中各行人间的相似度距离匹配。one-stage检测网络的检测速度可以高达45fps/s，因此能够保证行人重识别中行人的实时检测。

步骤3，预先构建实时行人重识别网络模型。本实施例中，行人重识别网络模型进行特征提取的流程示意图如图3所示，步骤3具体包括如下子步骤：

步骤3-1：进行基础网络子模块的搭建：利用轻量级基础网络(例如如MobileNet或是其他轻量级基础网络)将标准卷积分为点卷积和深度卷积。基础网络子模块用于获取图像的单个特征。

本实施例中，搭建基础网络子模块，每个残差子模块的结构如图3中部分(b)所示，将标准卷积分为点卷积(使用多个1x1的卷积核)和深度卷积(对于每一个特征通道，使用hxh个卷积核)两种方式，构建深度可分离卷积，假设输入的张量为x∈R^h×w×c，其中h为高，w为宽，卷积运算可表示为x'＝φ(w*x)，其中φ为激活函数，w为权重，x为输入图像特征向量，x'为输出图像特征向量。以u∈R^1×1×c×c'表示为一个pointwise维度的点卷积核，v∈R^{k ×k×1×c'}为一个depthwise的深度卷积核，其中c、k根据实际输出的卷积核尺度设定，与标准的卷积计算相比，模型的计算量由w·h·k²·c·c'减少到w·h·(k²+c)·c'。

步骤3-2，构建全尺度基础网络：基于全尺度网络(例如Inception或是其他全尺度网络)，对同一个目标区域设计不同数量的基础网络子模块来提取到感受野不同的特征(如图3的部分(a)中所示)，这些不同的特征通过通道域特征融合的方式合并成一个全新的特征作为全尺度基础网络的输出(如图3的部分(c)中所示)。

全尺度基础网络用于进行全尺度图像特征的获取。本实施例中，基于inception分类卷积的方式，对同一个目标区域设计不同的残差块子模块(图3中部分(b)，上文已提及)来提取到感受野不同的特征，用来获取异构尺度，这些不同的特征通过通道域特征融合的方式合并成一个全新的特征通过行人检测网络，提取上一个关键帧对应的深度特征。

步骤3-3：将预备的训练集输入全尺度基础网络，并基于三元组损失函数(例如Triplet或是其他能够获取图像对应的三元组特征的损失函数)，以反向更新网络权重的迭代方式对全尺度基础网络完成训练，从而形成实时行人重识别网络模型。

本实施例中，采用余弦距离度量的方式，逐一计算行人重识别特征间的距离并排序，基于triplet loss三元组损失函数最小化同一ID的person，最大化不同ID的行人差异性，对重识别网络继续进行参数学习，以多任务方式训练步骤3-2设计的全尺度基础网络。

本实施例中，上述全尺度基础网络以及接入的三元组损失函数(图3的部分(d)中所示的即为该损失函数)采用pytorch深度学习框架进行网络搭建，在模型训练中应用Market-1501数据集作为训练集，该数据集共有6个摄像头，1501个行人和32668个标注框，采用CUHK03数据集进行测试，该数据集共有2个摄像头，1360个行人。测试方法为在一个摄像头拍摄的视频中截取需要检索的行人目标，在另一个或多个摄像头拍摄的视频中对该行人目标进行重识别，根据重识别结果返回摄像头位置信息和时间信息。

步骤4，通过实时行人重识别网络模型对图像帧进行行人重识别从而得到重识别结果，并基于重识别结果获取行人相关信息。

本实施例的步骤4中，获取到实时行人重识别网络模型提取的重识别结果后，就可以根据该结果与预先存储的行人信息进行比对从而获取对应行人的行人ID，进一步根据被识别的图像帧获取其对应的时间信息以及拍摄该图像帧的监控摄像头的位置信息，最后将这些信息作为一条行人相关信息。

步骤5，根据行人相关信息绘制每个行人在监控场景中出现的行人轨迹并输出。

本实施例中，行人轨迹为行人在地图中的行走轨迹，根据摄像头的所在位置进行绘制，具体的绘制方法为常规技术手段，在此不再赘述。

另外，本实施例中，步骤5绘制出的行人轨迹输出给显示装置(例如监控屏幕)从而让显示装置进行实时显示，例如，如图4所示，每条行人相关信息以表格的形式显示(如图4上半部分所示)，行人轨迹可以结合地图显示(如图4下半部分所示，同时，图4下半部分的右侧显示有对应行人相关信息的监控视频画面)。

在其他实施例中，行人轨迹绘制完成后，该绘制结果还会作为行人的记录输出给***的存储单元进行存储，从而便于后续取用或是分析。

本实施例上述的实时行人重识别方法也可以打包形成一个计算机程序，从而形成一个实时行人重识别装置。该实时行人重识别装置包括对应步骤1的图像帧获取部、对应步骤2的行人图像特征提取部、用于存储步骤3生成的实时行人重识别网络模型的重识别模型存储部、对应步骤4的行人重识别部以及对应步骤5的轨迹生成输出部。用户可以向该实时行人重识别装置导入监控视频从而让计算机自动完成实时的行人重识别。

实施例作用与效果

根据本实施例提供的实时行人重识别方法及装置，由于通过评估行人重识别的效率设置缓存队列的方式，因此在实际场景下可以有效地对监控视频图像进行稳定获取，同时也可以便于适应不同的识别方式从而更灵活的设置识别方案。进一步，由于相对其他主流的重识别网络，本实施例通过基础网络子模块和全尺度基础网络相结合的方式获取图像的深层图像特征，使得两种轻量级网络组合构建成实时行人重识别网络模型，该模型能够达到530ms/fps的重识别效率，比目前主流的行人重识别网络平均运行效率提高近40％，从而为实时识别提供了保障。通过本实施例的实时行人重识别方法及装置，采用行人检测、行人重识别相结合的方式实现了对行人目标的实时识别，因此对日常场景下获取到的图像场景、视频场景下的行人重识别应用具有更大的实际价值。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (5)

1.一种实时行人重识别方法，用于在实际场景中对监控视频进行实时的行人重识别，其特征在于，包括如下步骤：

步骤1，根据所述行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过所述缓存队列持续获取所述监控视频中的各个图像帧；

步骤2，采用one-stage检测网络对所述图像帧进行实时行人检测；

步骤3，预先构建实时行人重识别网络模型；

步骤4，通过所述实时行人重识别网络模型对所述图像帧进行行人重识别从而得到重识别结果，并基于所述重识别结果获取包括行人的行人ID、对应图像帧的时间信息以及对应监控摄像头的位置信息的行人相关信息；

步骤5，根据所述行人的行人相关信息生成该行人在整个监控场景中出现的行人轨迹并输出。

2.根据权利要求1所述的实时行人重识别方法，其特征在于，所述步骤S3包括如下子步骤：

步骤3-1，搭建基础网络子模块：利用轻量级基础网络将标准卷积分为点卷积和深度卷积从而形成所述基础网络子模块；

步骤3-2，构建全尺度基础网络：基于全尺度网络，针对同一个目标区域设计不同数量的所述基础网络子模块从而提取到感受野不同的特征，并将该不同的特征利用通道域特征融合的方式合并成一个全新的特征作为所述全尺度基础网络输出；

步骤3-3：将预备的训练集输入所述全尺度基础网络，并基于三元组损失函数以反向更新网络权重的迭代方式对所述全尺度基础网络完成训练从而形成所述实时行人重识别网络模型。

3.根据权利要求2所述的实时行人重识别方法，其特征在于：

其中，所述轻量级基础网络为MobileNet，所述全尺度网络为Inception，所述三元组损失函数为Triplet损失函数。

4.根据权利要求1所述的实时行人重识别方法，其特征在于，所述步骤1包括如下子步骤：

步骤1-1，根据所述效率设定所述缓存队列，并将所述监控视频中灰度值高于预设阈值的第一帧图像帧填入缓存队列，同时记录该灰度值作为基线值；

步骤1-2，依序从所述监控视频中获取下一帧图像帧作为当前帧；

步骤1-3，基于背景减弱法依次对所述当前帧进行图像预处理，若所述当前帧为前景中发生状态变化的行人图像且该当前帧的灰度值与所述基线值相比大于所述预设阈值，则将所述当前帧作为主要帧；

步骤1-4，进行所述缓存队列的更新：

若所述缓存队列未满，直接将所述主要帧压入所述缓存队列，并再次记录首帧的灰度值作为新的基线值；

若所述缓存队列已满，则利用所述背景减弱法判断所述主要帧的灰度值与所述基线值相比是否大于预设阈值，若大于则将所述缓存队列的尾元素弹出，并将该所述主要帧压入所述缓存队列。

步骤1-5，重复所述步骤1-2至所述步骤1-4从而持续通过所述缓存队列获取所述图像帧。

5.一种实时行人重识别***，用于在实际场景中对监控视频进行实时的行人重识别，其特征在于，包括：

图像帧获取部，用于根据所述行人重识别的效率设定缓存队列并设定该缓存队列的更新机制，从而通过所述缓存队列持续获取所述监控视频中的各个图像帧；

行人图像特征提取部，用于采用预设的one-stage检测网络对所述图像帧进行实时行人检测；

重识别模型存储部，存储有预先构建的实时行人重识别网络模型；

行人重识别部，用于通过所述实时行人重识别网络模型对所述图像帧进行行人重识别从而得到重识别结果，并基于所述重识别结果获取包括行人的行人ID、对应图像帧的时间信息以及对应监控摄像头的位置信息的行人相关信息；

轨迹生成输出部，根据所述行人的行人相关信息生成该行人在整个监控场景中出现的行人轨迹并输出。

Images