CN107563284B

CN107563284B - 行人追踪方法及装置

Info

Publication number: CN107563284B
Application number: CN201710620228.4A
Authority: CN
Inventors: 高万林; 陈治昌; 于丽娜; 仲贞; 张国锋; 于丽敏
Original assignee: China Agricultural University
Current assignee: China Agricultural University
Priority date: 2017-07-26
Filing date: 2017-07-26
Publication date: 2020-10-30
Anticipated expiration: 2037-07-26
Also published as: CN107563284A

Abstract

本发明实施例提供一种行人追踪和装置，所述方法包括：根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。本发明实施例提供的一种行人追踪方法可以提高行人追踪的准确性。

Description

行人追踪方法及装置

技术领域

本发明实施例涉及目标跟踪技术领域，尤其涉及一种行人追踪方法及装置。

背景技术

近年来，以机器学习为主导的人工智能发展迅猛，在众多领域都取得了重大突破。计算机视觉就是人工智能领域下一个非常重要的研究热点和难点，在计算机视觉领域下目标的检测又是研究的重点，其中最为活跃的一个研究方向就是关于行人的追踪。行人追踪即是将在图像序列中给定第一帧图像中行人的初始位置后估计行人的位置和运动参数。在现实生活中，行人追踪在许多领域都有广泛应用。如视频监控领域、智能机器人领域、汽车辅助驾驶和自动驾驶领域，这些领域中行人追踪是必不可少的技术。在社会迈向智能化的道路上，行人追踪会发挥越来越大的作用。

但是由于人体姿态各异，衣着变化多样，而且图像容易受到光照和环境影响，以及当人体的某些部位被遮挡之后，行人追踪的结果不准确。因此，如何提高行人追踪的准确性和鲁棒性，成为当下急需解决的一大问题。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种行人追踪方法及装置。

第一方面，本发明实施例提供一种行人追踪方法，所述方法包括：

根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；

获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；

根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

第二方面，本发明实施例提供一种行人追踪装置，所述装置包括：

第一获取模块，用于根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；

第二获取模块，用于获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；

定位模块，用于根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

第三方面，本发明实施例提供一种行人追踪设备，所述设备包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述行人追踪方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述行人追踪方法。

本发明实施例提供的行人追踪方法及装置，通过确定候选区域，并且获取所述候选区域对应的候选区域图像的深度通道特征图，将所述深度通道特征与预设算法相结合，确定行人在所述候选区域图像中的位置，可以提高行人追踪的精确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的行人追踪方法流程图；

图2为本发明实施例提供的行人追踪装置的结构示意图；

图3为本发明实施例提供的行人追踪设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的行人追踪方法流程图，如图1所示，所述方法包括：

步骤11、根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；

步骤12、获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；

步骤13、根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

具体地，首先从视频数据获取前一帧图像，因为视频数据由具有时序关联的一组图像数据组成，通过确定前一帧图像，可以实现对当前帧图像中的行人进行追踪。其中，所述前一帧图像中应包括行人图像特征的区域，在本发明实施例中，可以在前一帧图像中将包括行人图像特征的区域用例如矩形框标记出来，用于确定行人的状态。

根据视频数据中帧与帧之间的时空关联性，在前一帧图像中出现的行人，在随后的帧中会出现在附近的区域，利用这一特性可以得到当前帧图像中的候选区域，其中，所述候选区域是指，在当前帧图像中，行人可能出现的区域。由于，当前帧图像与前一帧图像具有时空关联性，可以将前一帧图像中包括行人图像特征的区域附近的区域，作为当前帧图像中的候选区域。然后，根据所述候选区域获取对应的候选区域图像。由于候选区域通常比整幅图像小很多，因此，可以减少计算的复杂度，提高计算速度。

然后，将所述候选区域图像输入到卷积神经网络中，获取到所述候选区域图像对应的深度通道特征图，由于使用卷积神经网络处理得到的深度通道特征图保持了所述候选区域图像中各个位置的空间特性，因此，可以利用映射方法，对所述候选区域图像的空间坐标信息进行计算，得到在所述深度通道特征图中相对应的空间坐标信息。采用这种方法，可以将所述候选区域图像中各子区域图像映射到深度通道特征图上，得到与所述各子区域图像对应的子特征图。

接下来，根据预设算法获取各子特征图对应的预测结果，具体地，将所有子特征图输入在线boosting方法中，每一个子特征图有一个对应的预测结果，对所有的预测结果进行筛选，可以得到一个目标预测结果，所述目标预测结果对应的位置信息，是出现行人的可能性最大的位置，根据所述目标预测结果，获取到对应的位置信息，所述位置信息即为行人在所述候选区域图像中的位置。

本发明实施例提供的行人追踪方法，通过确定候选区域，获取所述候选区域对应的候选区域图像的深度通道特征图，将所述深度通道特征与预设算法相结合，确定行人在所述候选区域图像中的位置，可以提高行人追踪的准确性。

可选的，在上述实施例的基础上，所述获取所述候选区域图像对应的深度通道特征图，具体为：

计算所述候选区域图像的第一深度特征图；

提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图；

根据所述第一深度特征图和所述第二深度特征图，生成所述候选区域图像的深度通道特征图。

具体的，上述实施例中提及到的获取所述候选区域图像对应的深度通道特征图，具体包括：

首先，采用深度卷积神经网络计算所述候选区域图像的第一深度特征图，本发明实施例中采用的是一个四层的深度卷积神经网络结构，第一层和第二层均包含两个卷积层和一个最大池化层，第三层包含三个卷积层和一个最大池化层，第四层只包含三个卷积层，第四层卷积之后直接输出所述候选区域图像的第一深度特征图。其中，每个卷积层卷积核大小为3，步长为1，最大池化层卷积核大小为2，步长为2。第一层输出通道数为64，第二层输出通道数为128，第三层输出通道数为256,第四层输出通道数为512，最终输出一个512通道的第一深度特征图，所述第一深度特征图的大小为所述候选区域图像的1/8。

其次，提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图，具体地，对输入的候选区域图像进行预处理，在预处理阶段对所述候选区域图像进行一系列的线性和非线性的变换，每一次变换都可以得到一个通道，比如，LUV通道、梯度强度通道和梯度直方图通道等都是非常有效的通道；然后，将所述通道特征输入一个三层的卷积神经网络中，每层都包含两个卷积层和一个最大池化层，其中，每个卷积层卷积核大小为3，步长为1，最大池化层卷积核大小为2，步长为2，第一层输出通道数为64，第二层输出通道数为128，第三层输出通道数为25，最终输出一个256通道的第二深度特征图，所述第二深度特征图的大小为所述通道特征的1/8。

最后，将候选区域图像的深度特征图和通道特征的深度特征图串联起来，得到候选区域图像的深度通道特征图

本发明实施例提供的行人追踪方法，通过计算候选区域图像的第一深度特征图和所述候选区域图像通道特征的第二深度特征图，并根据所述第一深度特征图和所述第二深度特征图生成所述候选区域图像的深度通道特征图，这使得所述行人追踪方法更加科学，更加合理。

可选的，在上述各实施例的基础上，所述根据所述预测结果确定行人在所述候选区域图像中的位置，具体为：

从所述预测结果中，获取大于预设阈值的第一预测结果；

根据非极大值抑制方法和所述第一预测结果，得到第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置。

具体地，上述实施例中提及的根据所述预测结果确定行人在所述候选区域图像中的位置，具体包括：

首先，从所述预测结果中，获取大于预设阈值的第一预测结果。将子特征图输入在线boosting方法中，每一个子特征图可以得到一个对应的预测结果，所述预测结果的值，代表着该子特征图对应的子区域出现行人的概率。为了提高行人追踪结果的准确性，预先设定一个阈值，从所有的预测结果中筛选出大于所述阈值的第一预测结果。

所述第一预测结果可以有多个，而且多个第一预测结果对应的子区域之间，可以相互重叠，为了得到更为准确的行人位置，本发明实施例采用非极大值抑制方法，对上述第一预测结果进行计算，得到一个第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置。

其中，在线boosting跟踪算法将跟踪问题看作是目标和背景的分类问题，在跟踪过程中可以利用在线的boosting算法自适应的选择区分性强的特征，根据目标的变化自适应的改变分类器来进行跟踪。最终的在线boosting***由N个带α_i的选择器h_i(x)组成一个强分类器H(x)，

用该强分类器来检测下一帧中目标位置。其中，每个选择器对应一个特征池，每个选择器由M个弱分类器组成，而每个弱分类器对应一个特征。当新的视频帧到达时，每个选择器更新所有弱分类器，选择出最小错误的弱分类器，线性的累加形成强分类器。

得到预测结果后，选取一些正负样本送入分类器中进行训练，本方法选取部分高于阈值和部分低于阈值的子特征图放入在线boosting算法中进行训练，更新所有弱分类器。在线boosting目标跟踪算法主要思想就是引入选择器。随机初始化选择器，同时选择器分配一定数量的弱分类器。当新的训练样本到达时，每个选择器的弱分类器都更新学习。每个弱分类器对样本分类，选择器选择分类最好的弱分类器。

如果使用在线boosting算法在所有获取的子特征图中都没有得到超过阈值的第一预测结果，则使用未更新过的初始在线boosting分类器再次对所有子特征图进行判断，如果有超出阈值的子特征图则重复之前过程，得到最优结果并更新弱分类器。若无超出阈值的子特征图，则本次行人跟踪结束。

本发明实施例提供的行人追踪方法，通过从所述预测结果中，获取大于预设阈值的第一预测结果并根据非极大值抑制方法和所述第一预测结果，得到第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置，可以提高所述行人追踪的结果的准确性。

可选的，在上述各实施例的基础上，所述各子区域图像是在所述候选区域图像中，通过滑动窗口获取的。

具体地，在候选区域中，使用滑动窗口获取包括行人图像特征的各个子区域，根据所述子区域，获取每个子区域对应的子区域图像，采用这种方式获取子区域图像，使得本发明实施例提供的行人追踪方法更加科学。

可选的，在上述各实施例的基础上，所述方法还包括：

使用预设的符号，将行人在所述候选区域图像中的位置标记出来。

具体地，确定了行人在所述候选区域图像中的位置之后，可以使用预设的符号，比如矩形边界框，将所述在所述候选区域图像中的位置标记出来，通过这种方式，可以使得行人的位置更加直观。

图2为本发明实施例提供的行人追踪装置的结构示意图，如图2所示，所述装置包括：第一获取模块21、第二获取模块22以及定位模块23，其中：

第一获取模块21用于根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；第二获取模块22用于获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；定位模块23用于根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

具体地，第一获取模块21获取当前帧图像对应的前一帧图像中包括行人图像特征的区域，根据视频数据中的图像帧与帧之间具有时空关联性，确定当前帧图像中行人的候选区域，获取所述候选区域对应的候选区域图像；第二获取模块22将第一获取模块21获取到的所述候选区域图像投入到卷积神经网络中，获取所述候选区域图像对应的深度通道特征图，并使用所述候选区域图像的空间坐标信息进行计算出其在所述深度通道特征图中的空间坐标信息，将所述候选区域图像中的各子区域图像映射到深度通道特征图上，得到与所述各子区域图像对应的子特征图；定位模块23根据预设算法获取各子特征图对应的预测结果，其中所述预设算法具体为：将所有的上述子特征图输入在线boosting方法中，每一个子特征图经过在线boosting方法计算之后，可以得到一个对应的预测结果，对所有的预测结果进行筛选处理，可以得到一个目标预测结果，根据所述目标预测结果，获取到对应的位置信息，所述位置信息即为行人在所述候选区域图像中的位置。

本发明实施例提供的行人追踪装置，其功能具体参照上述方法实施例，此处不再赘述。

本发明实施例提供的行人追踪装置，通过确定候选区域，并且获取所述候选区域对应的候选区域图像的深度通道特征图，将所述深度通道特征与预设算法相结合，确定行人在所述候选区域图像中的位置，可以提高行人追踪的精确性。

可选的，在上述实施例的基础上，所述第二获取模块具体用于：

计算所述候选区域图像的第一深度特征图；提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图；根据所述第一深度特征图和所述第二深度特征图，生成所述候选区域图像的深度通道特征图。

具体的，在上述实施例中提及到的所述第二获取模块，可以采用深度卷积神经网络计算所述候选区域图像的第一深度特征图，比如，可以采用一个四层的深度卷积神经网络结构，输出一个512通道的第一深度特征图，所述第一深度特征图的大小为所述候选区域图像的1/8；提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图，具体地，对所述通道特征是针对输入的候选区域图像进行预处理，在预处理阶段对所述候选区域图像进行一系列的线性和非线性的变换，每一次变换都可以得到一个通道；将提取的通道特征输入一个三层的卷积神经网络中，最终输出一个256通道的第二深度特征图，所述第二深度特征图的大小为所述通道特征的1/8；将候选区域图像的深度特征图和通道特征的深度特征图串联起来，得到候选区域图像的深度通道特征图

本发明实施例提供的行人追踪装置，通过计算候选区域图像的第一深度特征图和所述候选区域图像通道特征的第二深度特征图，并根据所述第一深度特征图和所述第二深度特征图，生成所述候选区域图像的深度通道特征图，使得所述行人追踪更加科学，更加合理。

可选的，在上述各实施例的基础上，所述定位模块具体用于：

从所述预测结果中，获取大于预设阈值的第一预测结果；根据非极大值抑制方法和所述第一预测结果，得到第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置。

具体地，上述实施例中提及的定位模块，可用于从所述预测结果中，获取大于预设阈值的第一预测结果，将上述方法实施例中提及的子特征图输入在线boosting方法中，每一个子特征图可以得到一个对应的预测结果，预先设定一个阈值，从所有的预测结果中，筛选出大于所述阈值的第一预测结果；采用非极大值抑制方法，对上述第一预测结果进行计算，可以得到第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置。

本发明实施例提供的行人追踪装置，通过从所述预测结果中，获取大于预设阈值的第一预测结果并根据非极大值抑制方法和所述第一预测结果，得到第二预测结果，将所述第二预测结果对应的位置信息确定为行人在所述候选区域图像中的位置，可以提高所述行人追踪准确性。

图3为本发明实施例提供的行人追踪设备的结构示意图，如图3所示，所述中文分词设备包括：处理器(processor)31、存储器(memory)32和总线33，其中：

所述处理器31和所述存储器32通过所述总线33完成相互间的通信；所述处理器31用于调用所述存储器32中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据当前帧图像对应的前一帧图像中包括行人图像特征的区域，确定所述当前帧图像中的候选区域，获取所述候选区域对应的候选区域图像；获取所述候选区域图像对应的深度通道特征图，并将所述候选区域图像中的各子区域图像映射到所述深度通道特征图中，得到与所述各子区域图像对应的子特征图；根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的行人追踪设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims

1.一种行人追踪方法，其特征在于，包括：

根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置；

所述获取所述候选区域图像对应的深度通道特征图，具体为：

计算所述候选区域图像的第一深度特征图；

提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图，所述通道特征是基于对所述候选区域图像进行线性和非线性的变换得到的，每一次变换得到一个通道；

2.根据权利要求1所述的方法，其特征在于，所述根据所述预测结果确定行人在所述候选区域图像中的位置，具体为：

从所述预测结果中，获取大于预设阈值的第一预测结果；

3.根据权利要求1所述的方法，其特征在于，所述各子区域图像是在所述候选区域图像中，通过滑动窗口获取的。

4.根据权利要求1所述的方法，其特征在于，还包括：

5.一种行人追踪装置，其特征在于，包括：

定位模块，用于根据预设算法获取各子特征图对应的预测结果，根据所述预测结果确定行人在所述候选区域图像中的位置；

所述第二获取模块具体用于：

计算所述候选区域图像的第一深度特征图；提取所述候选区域图像的通道特征，计算所述通道特征的第二深度特征图，所述通道特征是基于对所述候选区域图像进行线性和非线性的变换得到的，每一次变换得到一个通道；根据所述第一深度特征图和所述第二深度特征图，生成所述候选区域图像的深度通道特征图。

6.根据权利要求5所述的装置，其特征在于，所述定位模块具体用于：

7.一种行人追踪设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。