CN114663835A - 一种行人跟踪方法、***、设备及存储介质 - Google Patents

一种行人跟踪方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114663835A
CN114663835A CN202210284985.XA CN202210284985A CN114663835A CN 114663835 A CN114663835 A CN 114663835A CN 202210284985 A CN202210284985 A CN 202210284985A CN 114663835 A CN114663835 A CN 114663835A
Authority
CN
China
Prior art keywords
target
pedestrian
features
tracking
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210284985.XA
Other languages
English (en)
Inventor
卫星
王明珠
周芳
杨烨
陈柏霖
何煦
陈逸康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210284985.XA priority Critical patent/CN114663835A/zh
Publication of CN114663835A publication Critical patent/CN114663835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种行人跟踪方法、***、设备及存储介质，包括：获取目标行人的多个图像信息；将各所述图像信息输入预训练的第一识别模型，提取各所述图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，所述行人特征包括人脸特征和人体特征；判断所述比对结果是否大于设定阈值：若大于，则认为追踪成功；否则，采用预训练的第二识别模型提取各所述图像信息的全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。本发明采用融合人脸识别技术和人体识别技术的方式，且识别过程中无需用户参与，极大地提高了目标行人识别的效率和准确度。

Description

一种行人跟踪方法、***、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种行人跟踪方法、***、设备及存储介质。
背景技术
近年来，像地铁站这样城市轨道交通场合的安全事件频发，如何快速有效的在图像数据库中识别出目标人物的图像是一个非常具有挑战的问题。目前在搜索目标人物时，一般采用人脸识别方法。但是在实际场景中，由于环境复杂，图像采集设备的分辨率低等，很难得到清晰的人脸图像，人脸识别方法并不能快速准确的识别出目标人物的图像，此外，传统的视频监控和人工识别的模式已经无法满足海量视频实时处理的需求。如何通过大量监控探头实时准确地识别行人，保障城市轨道交通的公共安全，已成为一项亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种行人跟踪方法、***、设备及存储介质，用于解决现有技术中一般采用人脸识别方法搜索目标人物，导致不能快速准确识别的问题。
本发明的第一方面提供一种行人追踪方法，包括：获取目标行人的多个图像信息；
将各所述图像信息输入预训练的第一识别模型，提取各所述图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，所述行人特征包括人脸特征和人体特征；
判断所述比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各所述图像信息的全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。
于本发明的一实施例中，所述目标行人的多个图像信息是通过多个摄像头拍摄获得；
追踪成功之后的步骤还包括：根据各摄像头的间隔距离和目标行人的行走速度，对追踪成功的目标行人进行筛选，删除出现位置不合理的目标行人，解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，所述目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。
于本发明的一实施例中，所述获取目标行人的多个图像信息之后的步骤包括：
对各所述图像信息进行灰度处理后，提取所述图像信息中的目标人脸框和目标人体框，并分别将所述目标人脸框和所述目标人体框输入预训练的第一识别模型。
于本发明的一实施例中，所述提取所述图像信息中的目标人脸框和目标人体框的步骤包括：
采用ZFnet网络计算所述图像信息的卷积特征；
基于所述卷积特征，使用KM聚类算法提取初始候选区域，计算初始候选区域与真实行人区域的IoU得分，选择IoU得分大于预设指标的区域为目标人脸框和目标人体框。
于本发明的一实施例中，所述第一识别模型包括人脸识别模型和人体识别模型；
所述人脸识别模型对输入的所述目标人脸框进行特征提取，并将提取的人脸特征与人脸信息库中的人脸信息进行比对，计算两者的相似度，得到人脸识别结果；
所述人体识别模型对输入的所述目标人体框进行特征提取，并将提取的人体特征与人体信息库中的人体信息进行比对，计算两者之间的距离，得到人体识别结果；
所述人脸识别结果和所述人体识别结果共同构成所述比对结果。
于本发明的一实施例中，所述第二识别模型包括全局识别模型和局部识别模型；
所述全局识别模型，用于提取所述图像信息的全局特征；
所述局部识别模型，用于提取所述图像信息的局部特征，将各所述局部特征按照所属的属性进行分类；为各属性分配权重并加权求和，得到所述属性特征。
本发明的第二方面还提供一种行人追踪***，包括：获取模块，用于获取目标行人的多个图像信息；
识别模块，用于将各所述图像信息输入预训练的第一识别模型，提取各所述图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，所述行人特征包括人脸特征和人体特征；
判断所述比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各所述图像信息的全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。
于本发明的一实施例中，还包括：
图像检测模块，用于通过多个摄像头拍摄得到所述目标行人的多个图像信息；
筛选模块，用于根据各摄像头的间隔距离和目标行人的行走速度，对追踪成功的目标行人进行筛选，删除出现位置不合理的目标行人，解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，所述目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。
本发明的第三方面还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明第一方面的一种行人追踪方法中所述的方法步骤。
本发明的第四方面还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面的一种行人追踪方法中所述的方法步骤。
如上所述，本发明的一种行人跟踪方法、***、设备及存储介质，具有以下有益效果：
本发明通过预训练的第一识别模型，对获取的目标行人的图像信息进行人脸识别和人体识别，若识别失败，则继续通过预训练的第二识别模型，提取目标行人的图像信息进行全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。本发明采用融合人脸识别技术和人体识别技术的方式，且识别过程中无需用户参与，极大地提高了目标行人识别的效率和准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明第一实施方式中的行人追踪方法的流程示意图。
图2显示为本发明第一实施方式中目标行人的行动轨迹示意图。
图3显示为本发明第二实施方式中的行人追踪***的结构框图。
图4显示为本发明第三实施方式中的计算机设备的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
请参阅图1，本发明的第一实施方式涉及一种行人追踪方法，具体包括：
步骤S1、获取目标行人的多个图像信息。
具体的说，目标行人的多个图像信息是通过设置于轨道交通的多个摄像头拍摄获得的，各摄像头对处于轨道交通环境中的行人进行拍摄，并保存拍摄的视频信号至服务器中。从服务器调用该视频信号或从各摄像头实时获取视频信号后，基于待检测的目标行人，间隔预设时间，例如五秒一次，将该视频信号进行截图，得到该目标行人的多个图像信息，其中，图像信息包括该目标行人的ID值，且该图像信息为彩色图像。
继续说明，为了在不丢失对目标行人做出定位与识别的关键信息的同时，减少图像处理的计算量，本发明在获取目标行人的多个图像信息之后，首先对各图像信息的识别区域进行灰度处理，将彩色的图像转化成灰度图像，进而得到每个识别区域对应的灰度图，计算灰度图的梯度值，该梯度值在识别区域的选取过程中，避免了人脸图像中人物配饰、头发或背景造成的干扰，使得人物的脸部及躯干等识别目标更加明显，方便后续识别。
进一步的，定位到图像中的识别目标后，基于该识别目标，对原始的彩色图像进行框取，得到目标人脸框和目标人体框。具体的说，采用检测框，对图像信息中的行人进行目标提取，基于Faster RCNN网络进行分类回归计算，得到矩形的目标人脸框和矩形的目标人体框；其中，提取目标人脸框和目标人体框的步骤包括：采用ZFnet网络进行特征提取，计算得到图像信息的卷积特征；基于卷积特征，使用K-means聚类算法提取初始候选区域，为了加快收敛速度，采用了欧式距离计算两个特征点之间的距离，对候选区域的高宽与单位网格长度之比进行聚类，并使用IoU(intersection over union，交并比)反映候选区域与真实行人区域的重要指标，计算初始候选区域与真实行人区域的IoU得分，IoU得分越大，表明两者差异越小，选择IoU得分大于预设指标的区域为目标人脸框和目标人体框。其中，聚类的目标函数表达式为
Figure BDA0003557240880000061
式中M为聚类的样本集，N为聚类的类别，Box[N]为聚类得到的候选区域宽高，Truth[M]为真实行人区域宽高。
进一步的，为提高识别精度，本实施方式还采用RPN深度网络生成更加精准的候选区域，RPN的输入为初始候选区域，输出为矩形的目标候选区域，行人矩形框的位置用(x，y，w，h)来表示，其中，点(x，y)表示矩形框中心的顶点坐标，w，h分别表示矩形框的宽度和高度。在卷积层输出特征图有若干个窗口，当前滑窗的中心在原像素空间的映射点称为anchor，卷积特征图中的每一个点都是anchor的中心，有k个相对应的anchors，在本实施例中，若待检测区域与标记的正样本之间的IoU得分大于0.7，则判定为目标候选区域，否则，判定为非候选区域。
步骤S2、将各图像信息输入预训练的第一识别模型，提取各图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果。
具体的说，将提取的目标人脸框和矩形的目标人体框输入预训练的第一识别模型中进行识别，得到识别结果。其中，第一识别模型包括人脸识别模型和人体识别模型，人脸识别模型对输入的目标人脸框进行特征提取，并将提取的人脸特征与人脸信息库中的人脸信息进行比对，计算两者的相似度，得到人脸识别结果；此外，在采用人脸识别模型进行人脸识别前，还需对待识别的多个目标人脸框进行人脸归一化与人脸对齐，为后续人脸识别做好基础。人体识别模型采用2D关键点提取算法、人物分割算法及衣物特征迁移算法对输入的目标人体框进行分割和特征提取，来减弱衣物改变带来的影响；再将提取的人体特征与人体信息库中的人体信息进行比对，计算两者之间的距离，得到人体识别结果。具体的说，提取人体2D关键点的步骤包括：通过置信图PCM网络和亲和字段PAF网络，将彩色图像进行输入，预测一组身体部位位置2D的置信度图和亲和字段的2D向量，对部位之间的关联度进行编码，最后解析置信度图和亲和力字段，输出人物关键点的二维位置。人物分割算法的处理步骤包括：输入待分割图像，利用捕获的人体关键点信息，获得人体姿势以及计算相应关键点区域，输出分割特征图。衣物特征迁移算法的处理步骤包括：首先对图像库中行人进行姿势迁移，输入目标行人的2D关键点、图像库中行人人物分割特征图，得到图像库中行人与目标人物相姿势一致的人物分割特征图；然后进行衣物迁移，输入目标行人的人物分割特征图、2D人体关键点以及上一阶段图像库行人生成的与目标人物姿势一致的人体分割特征图，经过U-Net网络，输出与目标人物衣物特征一致的图像。
进一步的，训练人脸识别模型的步骤包括：
构建人脸识别神经网络模型。基于人脸信息库中的数据集作为训练集和测试集，其中，数据集中包含不同角度、不同环境、面部遮挡几种不同情况的人脸图像，并通过人工标注的方式生成。采用卷积神经网络VGGNet以及人脸损失函数ArcFace来进行人脸识别训练，训练过程中，根据损失值修正初始人脸识别模型的参数，当损失值达到预设条件时停止修正过程，选择损失值最小时的参数作为训练好的人脸识别模型的参数；将测试集输入训练好的人脸识别模型中，验证其人脸识别精度。
进一步的，训练人体识别模型的步骤包括：
构建人体识别神经网络模型。基于人体信息库中的数据集作为训练集和测试集，其中，数据集中包含不同姿势、不同环境、衣物更换几种不同情况的人体图像，并通过人工标注验证的方式生成。采用卷积神经网络ResNet以及交叉熵损失函数来进行人体识别训练，训练过程中，根据损失值修正初始人体识别模型的参数，当损失值达到预设条件时停止修正过程，选择损失值最小时的参数作为训练好的人体识别模型的参数；将测试集输入训练好的人体识别模型中，验证其人体识别精度。
应理解，上述人脸识别模型和人体识别模型的训练应是一个持续的过程，在训练过程中，根据前次的识别结果逐步调整入模特征及训练参数等，直至达到较好的识别精度。此外，在采用训练好的人脸识别模型和人体识别模型对目标行人的图像信息进行识别时，应根据多个摄像头采集的视频信号，从不同角度、不同时间对该目标行人进行识别，从而更新、增强该目标行人的特征。
步骤S3、判断比对结果是否大于设定阈值：
步骤S31、若大于，则认为追踪成功；
步骤S32、否则，采用预训练的第二识别模型提取各图像信息的全局特征和属性特征，计算全局特征和属性特征的距离，若距离大于综合阈值，则认为追踪成功。
具体的说，比对结果包括人脸识别结果和人体识别结果，若比对结果大于设定阈值，则认为追踪成功。应理解，人脸识别结果和人体识别结果对应的设定阈值可以相同，也可以不同，在一个可行的实施例中，设定阈值为0.9，若比对结果大于0.9，则认为成功识别到目标行人，追踪成功；或者，设定人脸识别结果对应的设定阈值为0.9，设定人体识别结果对应的设定阈值为0.8，若比对结果同时满足这两个设定阈值，才认为追踪成功。
进一步的，当比对结果中有一个小于对应的设定阈值时，例如人脸识别结果为0.95，而人体识别结果为0.6，此时采用预训练的第二识别模型对图像信息的全局和局部进行继续识别。具体的，第二识别模型是基于ResNet网络构建得到，包括全局识别模型和局部识别模型。首先采用全局识别模型，根据预先选定的全局入模特征，提取图像信息的全局特征g，且g∈Rv，R为实数集合，v为输出维度。然后采用局部识别模型，根据预先选定的局部入模特征，提取图像信息的局部特征f，且f∈Rd，d为输出维度；鉴于目标行人的多个图像信息中的每个属性重要性不同，为提高识别准确性，对各局部特征进行属性识别，得到N个属性特征值{h1，h2，…，hN}，再使用一层全连接层和激活函数Sigmoid来计算每个属性特征的权重，该公式为：w＝σ(W(weight)f+b(weight))，其中，σ表示Sigmoid激活函数，W(weight)∈RN×d表示全连接层的权重矩阵，b(weight)表示偏差向量，得到的属性w＝[w1，w2，…，wN]进行加权求和，得到融合后的属性特征
Figure BDA0003557240880000091
最后，计算全局特征与融合后的属性特征之间的距离，得到一个融合属性值，并将该融合属性值与预设的综合阈值相比较，若大于综合阈值，则认为追踪成功，否则，认为追踪失败。
请参阅图2，本实施方式中目标行人的多个图像信息是通过设置于轨道交通的多个摄像头拍摄获得的，为提高追踪精度，本实施方式在成功跟踪到目标行人后，还对追踪到的目标行人进行筛选，从而得到更精准的目标追踪信息，具体的说：服务器中存储有各摄像头的位置信息，根据位置信息可计算得到各摄像头之间的间隔距离，再根据目标行人在多个摄像头出现的时间，可计算得到该目标行人的平均行走速度。根据各摄像头的间隔距离和目标行人的行走速度，对追踪到的目标行人进行筛选，删除出现位置不合理的目标行人，保留筛选合格的目标行人，并解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。通过上述方式，可将实时跟踪筛选后的信息，形成一个时间连续、实时跟踪的目标轨迹，并对目标行人的运动轨迹和实时位置进行输出，供用户查看。图2中左侧为轨道交通区域摄像头的分布示意图，右侧为行人P0001在不同摄像头中采集到的图像信息，例如行人P0001第一次出现在摄像头001位置，最后一次出现在摄像头012位置，根据筛选的信息，即可形成行人P0001的行动轨迹：摄像头001-摄像头006-摄像头007-摄像头011-摄像头012。
可见，本实施方式通过预训练的第一识别模型，对获取的目标行人的图像信息进行人脸识别和人体识别，若识别失败，则继续通过预训练的第二识别模型，提取目标行人的图像信息进行全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。本发明还根据追踪结果，为用户提供目标追踪信息，方便用户实时了解目标行人的行动轨迹。本发明采用融合人脸识别技术和人体识别技术的方式，且识别过程中无需用户参与，极大地提高了目标行人识别的效率和准确度。
请参阅图3，本发明的第二实施方式涉及一种行人追踪***，该行人追踪***与第一实施方式中公开的一种行人追踪方法相对应，具体包括：
获取模块，用于获取目标行人的多个图像信息；
具体的说，本实施方式的行人追踪***还包括图像检测模块，用于通过多个摄像头拍摄得到目标行人的多个图像信息，并保存至服务器中。获取模块从服务器调用该视频信号或从各摄像头实时获取视频信号后，基于待检测的目标行人，间隔预设时间，例如五秒一次，将该视频信号进行截图，得到该目标行人的多个图像信息，其中，图像信息包括该目标行人的ID值，且该图像信息为彩色图像。
进一步的，为了在不丢失对目标行人做出定位与识别的关键信息的同时，减少图像处理的计算量，本实施方式的行人追踪***还包括灰度处理模块，用于对各图像信息的识别区域进行灰度处理，将彩色的图像转化成灰度图像，进而得到每个识别区域对应的灰度图，计算灰度图的梯度值，该梯度值在识别区域的选取过程中，避免了人脸图像中人物配饰、头发或背景造成的干扰，使得人物的脸部及躯干等识别目标更加明显，方便后续识别。
进一步的，本实施方式的行人追踪***还包括框取模块，定位到图像中的识别目标后，基于该识别目标，该框取模块基于Faster RCNN网络进行分类回归计算，得到矩形的目标人脸框和矩形的目标人体框。具体的说，采用检测框，对经过灰度预处理的图像信息中的行人进行提取，其中，提取目标人脸框和目标人体框的步骤包括：采用ZFnet网络进行特征提取，计算得到图像信息的卷积特征；基于卷积特征，使用K-means聚类算法提取初始候选区域，为了加快收敛速度，采用了欧式距离计算两个特征点之间的距离，对候选区域的高宽与单位网格长度之比进行聚类，并使用IoU(intersection over union，交并比)反映候选区域与真实行人区域的重要指标，计算初始候选区域与真实行人区域的IoU得分，IoU得分越大，表明两者差异越小，选择IoU得分大于预设指标的区域为目标人脸框和目标人体框。其中，聚类的目标函数表达式为
Figure BDA0003557240880000111
式中M为聚类的样本集，N为聚类的类别，Box[N]为聚类得到的候选区域宽高，Truth[M]为真实行人区域宽高。
进一步的，为提高识别精度，本实施方式还采用RPN深度网络生成更加精准的候选区域，RPN的输入为初始候选区域，输出为矩形的目标候选区域，行人矩形框的位置用(x，y，w，h)来表示，其中，点(x，y)表示矩形框中心的顶点坐标，w，h分别表示矩形框的宽度和高度。在卷积层输出特征图有若干个窗口，当前滑窗的中心在原像素空间的映射点称为anchor，卷积特征图中的每一个点都是anchor的中心，有k个相对应的anchors，在本实施例中，若待检测区域与标记的正样本之间的IoU得分大于0.7，则判定为目标候选区域，否则，判定为非候选区域。
识别模块，用于将各图像信息输入预训练的第一识别模型，提取各图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，行人特征包括人脸特征和人体特征；
判断比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各图像信息的全局特征和属性特征，计算全局特征和属性特征的距离，若距离大于综合阈值，则认为追踪成功。
具体的说，将提取的目标人脸框和矩形的目标人体框输入预训练的第一识别模型中进行识别，得到识别结果。其中，第一识别模型包括人脸识别模型和人体识别模型，人脸识别模型对输入的目标人脸框进行特征提取，并将提取的人脸特征与人脸信息库中的人脸信息进行比对，计算两者的相似度，得到人脸识别结果；此外，在采用人脸识别模型进行人脸识别前，还需对待识别的多个目标人脸框进行人脸归一化与人脸对齐，为后续人脸识别做好基础。人体识别模型采用2D关键点提取算法、人物分割算法及衣物特征迁移算法对输入的目标人体框进行分割和特征提取，来减弱衣物改变带来的影响；再将提取的人体特征与人体信息库中的人体信息进行比对，计算两者之间的距离，得到人体识别结果。具体的说，提取人体2D关键点的步骤包括：通过置信图PCM网络和亲和字段PAF网络，将彩色图像进行输入，预测一组身体部位位置2D的置信度图和亲和字段的2D向量，对部位之间的关联度进行编码，最后解析置信度图和亲和力字段，输出人物关键点的二维位置。人物分割算法的处理步骤包括：输入待分割图像，利用捕获的人体关键点信息，获得人体姿势以及计算相应关键点区域，输出分割特征图。衣物特征迁移算法的处理步骤包括：首先对图像库中行人进行姿势迁移，输入目标行人的2D关键点、图像库中行人人物分割特征图，得到图像库中行人与目标人物相姿势一致的人物分割特征图；然后进行衣物迁移，输入目标行人的人物分割特征图、2D人体关键点以及上一阶段图像库行人生成的与目标人物姿势一致的人体分割特征图，经过U-Net网络，输出与目标人物衣物特征一致的图像。
继续说明，比对结果包括人脸识别结果和人体识别结果，若比对结果大于设定阈值，则认为追踪成功。应理解，人脸识别结果和人体识别结果对应的设定阈值可以相同，也可以不同，在一个可行的实施例中，设定阈值为0.9，若比对结果大于0.9，则认为成功识别到目标行人，追踪成功；或者，设定人脸识别结果对应的设定阈值为0.9，设定人体识别结果对应的设定阈值为0.8，若比对结果同时满足这两个设定阈值，才认为追踪成功。
进一步的，当比对结果中有一个小于对应的设定阈值时，例如人脸识别结果为0.95，而人体识别结果为0.6，此时采用预训练的第二识别模型对图像信息的全局和局部进行继续识别。具体的，第二识别模型包括全局识别模型和局部识别模型。首先采用全局识别模型，根据预先选定的全局入模特征，提取图像信息的全局特征g，且g∈Rv，R为实数集合，v为输出维度。然后采用局部识别模型，根据预先选定的局部入模特征，提取图像信息的局部特征f，且f∈Rd，d为输出维度；鉴于目标行人的多个图像信息中的每个属性重要性不同，为提高识别准确性，对各局部特征进行属性识别，得到N个属性特征值{h1，h22，…，hN}，再使用一层全连接层和激活函数Sigmoid来计算每个属性特征的权重，该公式为：w＝σ(W(weight)f+b(weight))，其中，σ表示Sigmoid激活函数，W(weight)∈RN×d表示全连接层的权重矩阵，b(weight)表示偏差向量，得到的属性w＝[w1，w2，…，wN]进行加权求和，得到融合后的属性特征
Figure BDA0003557240880000131
最后，计算全局特征与融合后的属性特征之间的距离，得到一个融合属性值，并将该融合属性值与预设的综合阈值相比较，若大于综合阈值，则认为追踪成功，否则，认为追踪失败。
进一步的，本实施方式的行人追踪***还包括模型训练模块，用于对人脸识别模型和人体识别模型进行训练，其中，训练训练人脸识别模型的步骤包括：
构建人脸识别神经网络模型。基于人脸信息库中的数据集作为训练集和测试集，其中，数据集中包含不同角度、不同环境、面部遮挡几种不同情况的人脸图像，并通过人工标注的方式生成。采用卷积神经网络VGGNet以及人脸损失函数ArcFace来进行人脸识别训练，训练过程中，根据损失值修正初始人脸识别模型的参数，当损失值达到预设条件时停止修正过程，选择损失值最小时的参数作为训练好的人脸识别模型的参数；将测试集输入训练好的人脸识别模型中，验证其人脸识别精度。
训练人体识别模型的步骤包括：
构建人体识别神经网络模型。基于人体信息库中的数据集作为训练集和测试集，其中，数据集中包含不同姿势、不同环境、衣物更换几种不同情况的人体图像，并通过人工标注验证的方式生成。采用卷积神经网络ResNet以及交叉熵损失函数来进行人体识别训练，训练过程中，根据损失值修正初始人体识别模型的参数，当损失值达到预设条件时停止修正过程，选择损失值最小时的参数作为训练好的人体识别模型的参数；将测试集输入训练好的人体识别模型中，验证其人体识别精度。
应理解，上述人脸识别模型和人体识别模型的训练应是一个持续的过程，在训练过程中，根据前次的识别结果逐步调整入模特征及训练参数等，直至达到较好的识别精度。此外，在采用训练好的人脸识别模型和人体识别模型对目标行人的图像信息进行识别时，应根据多个摄像头采集的视频信号，从不同角度、不同时间对该目标行人进行识别，从而更新、增强该目标行人的特征。
进一步的，本实施方式的行人追踪***还包括筛选模块，用于根据各摄像头的间隔距离和目标行人的行走速度，对追踪成功的目标行人进行筛选，删除出现位置不合理的目标行人，解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。具体的说：服务器中存储有各摄像头的位置信息，根据位置信息可计算得到各摄像头之间的间隔距离，再根据目标行人在多个摄像头出现的时间，可计算得到该目标行人的平均行走速度。根据各摄像头的间隔距离和目标行人的行走速度，对追踪到的目标行人进行筛选，删除出现位置不合理的目标行人，保留筛选合格的目标行人，并解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。通过上述方式，可将实时跟踪筛选后的信息，形成一个时间连续、实时跟踪的目标轨迹，并对目标行人的运动轨迹和实时位置进行输出，供用户查看。
可见，本实施方式通过预训练的第一识别模型，对获取的目标行人的图像信息进行人脸识别和人体识别，若识别失败，则继续通过预训练的第二识别模型，提取目标行人的图像信息进行全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。本发明还根据追踪结果，为用户提供目标追踪信息，方便用户实时了解目标行人的行动轨迹。本发明采用融合人脸识别技术和人体识别技术的方式，且识别过程中无需用户参与，极大地提高了目标行人识别的效率和准确度。
请参阅图4，本发明的第三实施方式涉及一种计算机设备，包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序，处理器402执行所述计算机程序时实现以下步骤：
获取目标行人的多个图像信息；
将各图像信息输入预训练的第一识别模型，提取各图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，行人特征包括人脸特征和人体特征；
判断比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各图像信息的全局特征和属性特征，计算全局特征和属性特征的距离，若距离大于综合阈值，则认为追踪成功。
其中，存储器401和处理器402采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器402和存储器401的各种电路连接在一起。总线还可以将诸如***设备403、稳压器404和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器402处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器402。
处理器402负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器401可以被用于存储处理器402在执行操作时所使用的数据。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明的第四实施方式涉及一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标行人的多个图像信息；
将各图像信息输入预训练的第一识别模型，提取各图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，行人特征包括人脸特征和人体特征；
判断比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各图像信息的全局特征和属性特征，计算全局特征和属性特征的距离，若距离大于综合阈值，则认为追踪成功。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
综上所述，本发明的一种行人跟踪方法、***、设备及存储介质，通过预训练的第一识别模型，对获取的目标行人的图像信息进行人脸识别和人体识别，若识别失败，则继续通过预训练的第二识别模型，提取目标行人的图像信息进行全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。本发明还根据追踪结果，为用户提供目标追踪信息，实时了解目标行人的行动轨迹。本发明采用融合人脸识别技术和人体识别技术的方式，且识别过程中无需用户参与，极大地提高了目标行人识别的效率和准确度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种行人追踪方法，其特征在于，包括：
获取目标行人的多个图像信息；
将各所述图像信息输入预训练的第一识别模型，提取各所述图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，所述行人特征包括人脸特征和人体特征；
判断所述比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各所述图像信息的全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。
2.根据权利要求1所述的行人追踪方法，其特征在于：
所述目标行人的多个图像信息是通过多个摄像头拍摄获得；
追踪成功之后的步骤还包括：根据各摄像头的间隔距离和目标行人的行走速度，对追踪成功的目标行人进行筛选，删除出现位置不合理的目标行人，解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，所述目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。
3.根据权利要求1所述的行人追踪方法，其特征在于，所述获取目标行人的多个图像信息之后的步骤包括：
对各所述图像信息进行灰度处理后，提取所述图像信息中的目标人脸框和目标人体框，并分别将所述目标人脸框和所述目标人体框输入预训练的第一识别模型。
4.根据权利要求3所述的行人追踪方法，其特征在于，所述提取所述图像信息中的目标人脸框和目标人体框的步骤包括：
采用ZFnet网络计算所述图像信息的卷积特征；
基于所述卷积特征，使用KM聚类算法提取初始候选区域，计算初始候选区域与真实行人区域的IoU得分，选择IoU得分大于预设指标的区域为目标人脸框和目标人体框。
5.根据权利要求4所述的行人追踪方法，其特征在于，所述第一识别模型包括人脸识别模型和人体识别模型；
所述人脸识别模型对输入的所述目标人脸框进行特征提取，并将提取的人脸特征与人脸信息库中的人脸信息进行比对，计算两者的相似度，得到人脸识别结果；
所述人体识别模型对输入的所述目标人体框进行特征提取，并将提取的人体特征与人体信息库中的人体信息进行比对，计算两者之间的距离，得到人体识别结果；
所述人脸识别结果和所述人体识别结果共同构成所述比对结果。
6.根据权利要求1所述的行人追踪方法，其特征在于，所述第二识别模型包括全局识别模型和局部识别模型；
所述全局识别模型，用于提取所述图像信息的全局特征；
所述局部识别模型，用于提取所述图像信息的局部特征，将各所述局部特征按照所属的属性进行分类；为各属性分配权重并加权求和，得到所述属性特征。
7.一种行人追踪***，其特征在于，包括：
获取模块，用于获取目标行人的多个图像信息；
识别模块，用于将各所述图像信息输入预训练的第一识别模型，提取各所述图像信息的行人特征，将提取的行人特征与目标库中的行人信息进行比对，得到比对结果；其中，所述行人特征包括人脸特征和人体特征；
判断所述比对结果是否大于设定阈值：
若大于，则认为追踪成功；
否则，采用预训练的第二识别模型提取各所述图像信息的全局特征和属性特征，计算所述全局特征和所述属性特征的距离，若距离大于综合阈值，则认为追踪成功。
8.根据权利要求7所述的行人追踪***，其特征在于，还包括：
图像检测模块，用于通过多个摄像头拍摄得到所述目标行人的多个图像信息；
筛选模块，用于根据各摄像头的间隔距离和目标行人的行走速度，对追踪成功的目标行人进行筛选，删除出现位置不合理的目标行人，解析剩余目标行人的行动轨迹，得到目标追踪信息；其中，所述目标追踪信息包括该目标行人的身份信息、轨迹信息及当前定位。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
CN202210284985.XA 2022-03-21 2022-03-21 一种行人跟踪方法、***、设备及存储介质 Pending CN114663835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210284985.XA CN114663835A (zh) 2022-03-21 2022-03-21 一种行人跟踪方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210284985.XA CN114663835A (zh) 2022-03-21 2022-03-21 一种行人跟踪方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114663835A true CN114663835A (zh) 2022-06-24

Family

ID=82032096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210284985.XA Pending CN114663835A (zh) 2022-03-21 2022-03-21 一种行人跟踪方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114663835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205906A (zh) * 2022-09-15 2022-10-18 山东能源数智云科技有限公司 基于人体解析的仓储作业人员的检测方法、装置及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205906A (zh) * 2022-09-15 2022-10-18 山东能源数智云科技有限公司 基于人体解析的仓储作业人员的检测方法、装置及介质

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN111241989B (zh) 图像识别方法及装置、电子设备
KR102462934B1 (ko) 디지털 트윈 기술을 위한 영상 분석 시스템
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
Zhou et al. Learning to estimate 3d human pose from point cloud
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
CN108921064B (zh) 基于多特征融合的行人重识别方法
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
CN115527269A (zh) 一种人体姿态图像智能识别方法及***
CN112329830B (zh) 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及***
Abdullah et al. Vehicle counting using deep learning models: a comparative study
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN114663835A (zh) 一种行人跟踪方法、***、设备及存储介质
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN114360058B (zh) 一种基于行走视角预测的跨视角步态识别方法
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN115240269A (zh) 基于体型变换的步态识别方法、设备及存储介质
CN114943873A (zh) 一种工地人员异常行为分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination