CN111563912A - 一种行人追踪***和方法 - Google Patents

Abstract

本发明涉及一种追踪***和方法，属于智能监控技术领域，该追踪***包括摄像单元、视频分割单元、行人上半身识别单元以及行人追踪单元，其中：所述摄像单元用于获取行人的相关视频；所述视频分割单元用于将所述摄像单元获取的视频按帧分割为若干图像；所述行人上半身识别单元用于在所述视频分割单元分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；所述行人追踪单元用于根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框。现有技术中，单纯依靠检测进行行人追踪的方法消耗很大，本发明的方法基于对上半身进行对准的行人追踪方法，有效减少行人追踪任务中探测深度网络的调用次数，更快地完成这一任务。

Description

一种行人追踪***和方法

技术领域

本发明涉及智能监控技术领域，具体涉及一种行人追踪***和方法。

背景技术

行人检测是指在输入视频图像中确定行人的位置、尺度大小和姿态的过程等；行人跟踪是指在视频图像序列中确定各帧间的行人彼此对应关系的过程。

目前，单纯依靠检测(detection)进行行人追踪的方法，每得到下一帧中行人的位置，都需要用遍历生成的候选框，用检测(detection)的深度网络判断所有候选框中的对象是行人的可能性，导致时间成本和计算资源的消耗很大。

发明内容

鉴于现有技术中存在的问题，本发明的目的之一在于提供了一种行人追踪***，其特征在于，包括：摄像单元、视频分割单元、行人上半身识别单元以及行人追踪单元，其中：

所述摄像单元用于获取行人的相关视频；

所述视频分割单元用于将所述摄像单元获取的视频按帧分割为若干图像；

所述行人上半身识别单元用于在所述视频分割单元分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；

所述行人追踪单元用于根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框；所述行人追踪单元进一步包括候选框生成装置和候选框优化装置，其中：

所述候选框生成装置用于调大上一帧图像中所述行人上半身识别单元生成的框，使其覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的候选框；

所述候选框优化装置用于调整所述候选框的位置和大小，得到下一帧图像中表示行人上半身位置的框。

优选地，所述候选框优化装置使用alignment网络优化所述候选框的位置和大小，得到下一帧框图像中表示行人上半身位置的框。

优选地，所述表示行人上半身在图像中的位置的框包含参数(x,y,w,h)，其中，(x,y)为框中心点坐标，w和h分别为框的宽和高。

优选地，所述行人追踪***还包括图像去噪单元，所述图像去噪单元用于对所述视频分割单元分割的图像进行去噪处理，其中，所述图像去噪单元采用中值滤波的方式进行图像去噪处理。

优选地，所述视频分割单元基于(i)监控行人的移动速度和/或(ii)摄像单元监控区域的实际大小与形成图像大小之间的比例将所述摄像单元获取的视频按帧分割为若干图像。

本发明还提供了一种利用上述的***进行行人追踪的方法，其特征在于：所述方法包括以下步骤：

步骤S1：获取包含行人的相关视频；

步骤S2：将所述步骤S1中获取的视频按帧分割为若干图像；

步骤S3：在所述步骤S2中分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；以及

步骤S4：根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框；所述步骤S4具体包括：

步骤S41：调大上一帧图像中生成的表示行人上半身在图像中的位置的框，使其覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的候选框；以及

步骤S42：调整所述候选框的位置和大小，得到下一帧图像中表示行人上半身位置的框。

优选地，在所述步骤S42中，使用alignment网络优化所述候选框的位置和大小，得到下一帧图像中表示行人上半身位置的框。

优选地，在所述步骤S2之后、所述步骤S3之前，还包括对分割的图像进行去噪处理的步骤，其中，采用中值滤波的方式进行图像去噪处理。

所述步骤S2中基于(i)监控行人的移动速度和/或(ii)摄像单元监控区域的实际大小与形成图像大小之间的比例将所述步骤S2中获取的视频按帧分割为若干图像。

与现有技术方案相比，本发明至少具有以下创新之处但不又限于以下几点：

(1)本发明只需要对上半身这一最常规的行人图像区域进行检测对准，即可完全对行人追踪，考虑到上半身图像相对稳定、目标信息更丰富、无关要素更少，因此更适合作为追踪目标；另外，仅对上半身进行检测对准，相比现有技术中检测追踪全身图像的技术方案，本发明技术方案减少了数据计算压力，提高了追踪效率。

(2)本发明可以有效减少行人追踪任务中检测(detection)深度网络的调用次数，采用更简单的alignment网络，使计算每一帧的行人位置框的时间有明显的缩短，累积起来，使行人运动的感知更加迅速，提高了行人追踪任务的效率；

(3)本发明采用卷积神经网络作为行人上半身识别单元，提高了行人识别的精确度和效率，同时为后续追踪提供了较好的图像处理基础。

附图说明

图1a是传统方法中，上一帧中候选框的位置；

图1b是传统方法中，生成下一帧候选框的过程；

图1c是传统方法中，下一帧中候选框的位置；

图2a是本发明中，上一帧中候选框的位置；

图2b是本发明中，生成下一帧候选框的过程；

图2c是本发明中，下一帧中候选框的位置；

图3是本发明行人追踪***的结构示意图；

图4是本发明行人追踪***对应的行人追踪方法示意图；

图5是行人追踪单元的结构示意图。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：

通常在智能监控领域，可使用一台摄像装置或使用多台摄像装置，在后续的图像处理中一般使用一个四维向量即可在图片中确定框来确定行人的位置，一种方法是用(x,y,w,h)表示框的位置，其中(x,y)为框中心点坐标，w和h分别为框的宽和高。

如图2a，2b，2c所示，若使用原始方法，对每一帧中的行人进行检测(detection)来达到行人追踪的目的，为了得到下一帧中行人的位置，需要遍历窗口建议算法生成的所有候选框。对每一个候选框，都需要计算其与上一帧中行人位置框的交并比(ROI，原位置框与候选框交集的面积与并集的面积之比)；更重要的是需要花费一段较长的时间，用检测(detection)的深度网络计算候选框中的对象是行人的概率。综合交并比和检测(detection)网络的得分在生成的候选框中选出最优。通过因此这种方法的时间成本和计算资源的消耗很大。一般来说，处理每帧需要的时间在百毫秒量级。

实施例1

如图3所示，本实施例的行人追踪***包括：摄像单元、视频分割单元、行人上半身识别单元以及行人追踪单元。与此对应的，如图4所示该行人追踪***进行行人追踪的方法包括如下步骤：步骤S1，通过摄像单元获取包含行人的相关视频；

步骤S2，将所述步骤S1中获取的视频按帧分割为若干图像；

步骤S3，在所述步骤S2中分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；以及

步骤S4，根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框。

本发明中的摄像单元为单一摄像单元；摄像单元在工作之前需要进行校准，并根据摄像单元的内参和外参记录监控区域的实际大小与形成图像之间的比例。

视频分割单元，将摄像头获取的监控区域的视频按帧分割为若干图像，这里按帧分割需要参考几个因素，(i)监控物体的移动速度，当需要监控的对象为行人时，行人的移动速度小于10米/秒；(ii)摄像单元监控区域的实际大小与形成图像之间的比例；技术人员可以根据需要监控物体的不同随时进行调整视频分割单元的相关参数。在按帧分割时考虑的上述至少两个因素：监控物体的移动速度以及摄像单元监控区域的实际大小与形成图像之间的比例，这是经过多次的实验数据验证得到的对按帧分割最需要考虑的因素。这也是本发明的创新之处。

行人上半身识别单元，具体采用卷积神经网络实现图像中的行人识别，具体包括以下识别步骤：

步骤1：获取行人样本图像，所述行人样本图像标注有行人信息。

行人样本图像可以视为用于训练行人识别模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，行人样本图像中标注有行人信息。通过标注行人信息，可以加快模型训练的速率，提高模型检测的准确率。

步骤2：将所述行人样本图像输入到预先建立的初始深度回归网络模型。

在获取到行人样本图像后，可以将行人样本图像输入到预先建立的初始深度回归网络模型，以便利用行人样本图像对初始深度回归网络模型进行训练。

在本申请实施例的一些可能的实现方式中，在将行人样本图像输入预先建立的初始深度回归网络模型之前，还可以将行人样本图像缩放至预设尺寸。如此，可以使得初始深度回归网络模型对同一尺寸的行人样本图像进行学习，从而能够更快速、更准确地对车辆图像进行处理，提高模型的训练效率。在本申请实施例的另外一些可能的实现方式中，所述预先建立的初始深度回归网络模型中可能包含空间金字塔池化层，可以适应任意大小的图片，则可以不对行人样本图像进行缩放，以避免图像信息的损失。

步骤3：利用所述样本图像训练所述深度回归网络模型，得到行人识别模型。

可以采用深度卷积神经网络作为初始深度回归网络模型，利用行人样本图像，对神经网络模型进行训练。除了自行设计新的深度卷积神经网络，也可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的深度卷积神经网络，如Faster R-CNN等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已有的已经充分训练的参数，作为初始深度回归网络模型，采用微调的方法，利用行人样本图像，对神经网络进行训练，可以获得行人识别模型，此为本发明的创新点之一。。

采用行人上半身识别单元得到行人在图像中的位置，具体用(x,y,w,h)表示框的位置，其中(x,y)为框中心点坐标，w和h分别为框的宽和高。本实施例中用框(x,y,w,h)表示行人上半身的位置。

行人追踪单元，本发明的追踪单元为基于区域和行人特征的追踪，首先需要对图像进行去噪声处理，本实施例采用滤波去噪，具体为中值滤波，一种非线性信号处理方法。将一个包含奇数个像素的模板在图像上一次移动，将模板内所有像素点的灰度值进行排序，然后再取中间值作为中间像素点的灰度值，它对孤立的噪声像素印制能力很强，由于它不是简单的取均值，因此产生的模糊比较少，它在消除噪声的同时又保持了图像的细节。

然后采用Camshift算法的行人跟踪，camshift算法即连续自适应的Mean shift算法。是一种基于目标颜色的概率图，以概率图质心为特征点进行跟踪的算法。具体到本案，首先获取上一帧人体上半身的各个点的颜色色度，然后根据各个点的色度值，将其作为特征点进行追踪，然后获得下一帧人体上半身的位置，其中各个点的色度值，以人上身部、面部以及头发部为主要获取点，需要注意的是，由于人体穿戴的原因，有各种配饰，只需要注意三个部位的颜色的色度即可；这个算法具有较强的稳定性，能够对快速运动的物体进行很好的检测。

本实施例中使用对准上半身的行人追踪方法，通过追踪上半身，忽略下半身较为杂乱的信息，可以更好的描述行人重心的位置。

本实施例通过以下步骤得到下一帧的框的位置。步骤1，一般认为在两帧之间的时间间隔内行人的位移比较有限，如图2a，2b所示，可以按照一定比例调大上一帧行人位置框的宽和高得到候选框，使其覆盖下一帧中行人的上半身；具体调大的多少还与视频分割单元的按帧分割的参数相关，并以刚好覆盖下一帧中行人的上半身为宜。步骤2，用alignment网络优化候选框的位置和大小即可，得到下一帧框的位置，如图2c所示。与detection网络相比，alignment网络更加简单，处理每帧需要调用的次数也大大减少，因此可以大幅提升行人追踪任务的效率。一般来说，处理每帧需要的时间在毫秒量级。此为本发明的创新点之一。

实施例2

本实施例的行人追踪***包括：摄像单元、视频分割单元、行人上半身识别单元以及行人追踪单元。

本发明中的摄像单元为不同摄像单元；摄像单元在工作之前需要进行校准，并根据摄像单元的内参和外参记录监控区域的实际大小与形成图像之间的比例。

视频分割单元，将摄像头获取的监控区域的视频按帧分割为若干图像，这里按帧分割需要参考几个因素，(1)监控物体的移动速度，当需要监控的对象为行人时，行人的移动速度小于10米/秒；(2)摄像单元监控区域的实际大小与形成图像之间的比例；技术人员可以根据需要监控物体的不同随时进行调整视频分割单元的相关参数。

行人上半身识别单元，可使用背景差分法：利用当前图像与背景图像的差分来检测运动区域，即将每一帧图像与背景图像相减，若差值大于某一阈值就判为出现运动目标，相减的结果直接给出运动目标的位置、大小、形状等信息。使用差分法需要对背景帧进行不断的更新以保持与实际背景的精确近似。

也可使用统计学方法：是基于像素的统计特性从背景中提取运动信息。它首先计算背景像素的统计信息)如，颜色灰度边界等)，使用个体的像素或一组像素的特征来建立一个较为高级的背景模型，而且背景的统计值可以动态的更新，通过比较当前背景模型的统计值，图像中每一个像素被分成前景或背景。但是基于统计的方法涉及大量的计算和变换，对现有的硬件设备要求较高。

行人追踪单元，在不同摄像单元之间进行行人追踪时，这里的不同摄像单元指监控区域具有一定的重叠区域，即所拍摄的图像具有部分重合，首先需要对不同摄像单元之间的时间进行统一，然后对图像进行匹配，然后再进行追踪，具体如下：

本发明的追踪单元为基于区域和行人特征的追踪，首先需要对图像进行去噪声处理，本实施例采用滤波去噪，具体为中值滤波，一种非线性信号处理方法。将一个包含奇数个像素的模板在图像上一次移动，将模板内所有像素点的灰度值进行排序，然后再取中间值作为中间像素点的灰度值，它对孤立的噪声像素印制能力很强，由于它不是简单的取均值，因此产生的模糊比较少，它在消除噪声的同时又保持了图像的细节。

然后采用Camshift算法的行人跟踪，camshift算法即连续自适应的Mean shift算法。是一种基于目标颜色的概率图，以概率图质心为特征点进行跟踪的算法。这个算法具有较强的稳定性，能够对快速运动的物体进行很好的检测，这是本发明的创新点之一。

本实施例中使用对准上半身的行人追踪方法，通过追踪上半身，忽略下半身较为杂乱的信息，可以更好的描述行人重心的位置。

本实施例通过以下步骤得到下一帧的框的位置。如图5所示，行人追踪单元包括有候选框生成装置以及候选框优化装置，用于根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框；具体得到一帧的框的步骤如下：步骤1，一般认为在两帧之间的时间间隔内行人的位移比较有限，如图2a，2b所示，可以按照一定比例调大上一帧行人位置框的宽和高得到候选框，使其覆盖下一帧中行人的上半身；具体调大的多少还于视频分割单元的按帧分割的参数相关；步骤2，用alignment网络优化候选框的位置和大小即可，得到下一帧框的位置，如图2c所示。与检测(detection)网络相比，alignment网络更加简单，处理每帧需要调用的次数也大大减少，因此可以大幅提升行人追踪任务的效率。一般来说，处理每帧需要的时间在毫秒量级，这是本发明的创新点之一。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种行人追踪***，其特征在于，包括：摄像单元、视频分割单元、行人上半身识别单元以及行人追踪单元，其中：

所述摄像单元用于获取行人的相关视频；

所述视频分割单元用于将所述摄像单元获取的视频按帧分割为若干图像；

所述行人上半身识别单元用于在所述视频分割单元分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；

所述行人追踪单元用于根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框；所述行人追踪单元进一步包括候选框生成装置和候选框优化装置，其中：

所述候选框生成装置用于调大上一帧图像中所述行人上半身识别单元生成的框，使其覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的候选框；

所述候选框优化装置用于调整所述候选框的位置和大小，使其刚好覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的框。

2.根据权利要求1所述的行人追踪***，其特征在于，所述候选框优化装置使用alignment网络优化所述候选框的位置和大小，得到下一帧框图像中表示行人上半身位置的框。

3.根据权利要求1-2任一项所述的行人追踪***，其特征在于，所述表示行人上半身在图像中的位置的框包含参数(x,y,w,h)，其中，(x,y)为框中心点坐标，w和h分别为框的宽和高。

4.根据权利要求1-3任一项所述的行人追踪***，其特征在于，所述行人追踪单元采用Camshift算法进行行人追踪；具体是首先获取上一帧所述行人上半身的上身部、面部以及头发部各个点的颜色色度，然后根据各个点的色度值，将其作为特征点进行追踪，然后获得下一帧所述行人上半身的位置。

5.根据权利要求1-4任一项所述的行人追踪***，其特征在于，还包括图像去噪单元，所述图像去噪单元用于对所述视频分割单元分割的图像进行去噪处理，其中，所述图像去噪单元采用中值滤波的方式进行图像去噪处理。

6.根据权利要求1-5任一项所述的行人追踪***，其特征在于，所述视频分割单元基于(i)监控行人的移动速度和/或(ii)摄像单元监控区域的实际大小与形成图像大小之间的比例将所述摄像单元获取的视频按帧分割为若干图像。

7.一种行人追踪方法，其特征在于，包括：

步骤S1：获取包含行人的相关视频；

步骤S2：将所述步骤S1中获取的视频按帧分割为若干图像；

步骤S3：在所述步骤S2中分割的若干图像中识别行人上半身并生成用于表示行人上半身在图像中的位置的框；以及

步骤S4：根据上一帧图像中表示行人上半身位置的框获取下一帧图像中表示行人上半身位置的框；所述步骤S4具体包括：

步骤S41：调大上一帧图像中生成的表示行人上半身在图像中的位置的框，使其覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的候选框；以及

步骤S42：调整所述候选框的位置和大小，使其刚好覆盖下一帧图像中的行人上半身，得到下一帧图像中表示行人上半身位置的框。

8.根据权利要求7所述的行人追踪方法，其特征在于，在所述步骤S42中，使用alignment网络优化所述候选框的位置和大小，得到下一帧图像中表示行人上半身位置的框。

9.根据权利要求7-8任一项所述的行人追踪方法，其特征在于，在所述步骤S2之后、所述步骤S3之前，还包括对分割的图像进行去噪处理的步骤，其中，采用中值滤波的方式进行图像去噪处理。

10.根据权利要求7-9任一项所述的行人追踪方法，其特征在于，所述步骤S2中基于(i)监控行人的移动速度和/或(ii)摄像单元监控区域的实际大小与形成图像大小之间的比例将所述步骤S2中获取的视频按帧分割为若干图像。

Images