CN112149557B - 一种基于人脸识别的人物身份跟踪方法及*** - Google Patents

一种基于人脸识别的人物身份跟踪方法及*** Download PDF

Info

Publication number
CN112149557B
CN112149557B CN202011000236.7A CN202011000236A CN112149557B CN 112149557 B CN112149557 B CN 112149557B CN 202011000236 A CN202011000236 A CN 202011000236A CN 112149557 B CN112149557 B CN 112149557B
Authority
CN
China
Prior art keywords
face
identity
tracking
person
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011000236.7A
Other languages
English (en)
Other versions
CN112149557A (zh
Inventor
柯逍
林炳辉
陈宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011000236.7A priority Critical patent/CN112149557B/zh
Publication of CN112149557A publication Critical patent/CN112149557A/zh
Application granted granted Critical
Publication of CN112149557B publication Critical patent/CN112149557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于人脸识别的人物身份跟踪方法及***，包括步骤：采用人脸数据集训练神经网络；采集待识别身份人物的人脸图片，并构建待识别人脸身份库；根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置；将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份，初始化待跟踪的人脸目标；对人脸对应的人物身份进行跟踪。本发明对于跟踪的目标可以确认到人物的id。

Description

一种基于人脸识别的人物身份跟踪方法及***
技术领域
本发明涉及机器视觉技术领域，特别是一种基于人脸识别的人物身份跟踪方法及***。
背景技术
近年来，随着社会进步及科技的不断发展，人脸识别问题一直都是一个热门研究领域，国内外不少专家在这个领域都有十分深入的研究。同时，作为人脸识别的入口与基础，人脸的检测、对齐、跟踪等技术也在一同发展。人脸识别技术广泛应用于智能监控、视频会议、门禁***等现实应用场景中，但由于现实场景的背景复杂性已经其他诸如光照、遮挡或者人物姿态的变化等，真实监控***视频中人脸识别算法还是具有一定挑战性。
同时，物体跟踪算法在近年来也有了快速的发展，跟踪算法在监控场景中的应用也十分广泛，并且在智能安防场景下的需求也很大。但是目前的跟踪算法对人物的跟踪大多只是停留在行人层面，并且目标的id在跟踪过程中会时常有转换问题。
发明内容
有鉴于此，本发明的目的是提出一种基于人脸识别的人物身份跟踪方法及***，对于跟踪的目标可以确认到人物的id。
本发明采用以下方案实现：一种基于人脸识别的人物身份跟踪方法，具体包括以下步骤：
采用人脸数据集训练神经网络；采集待识别身份人物的人脸图片，并构建待识别人脸身份库；
根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置；
将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份，初始化待跟踪的人脸目标；
对人脸对应的人物身份进行跟踪。
进一步地，所述采用人脸数据集训练神经网络具体为：
收集公开的人脸数据集，获得相关人物的图片及其对应的人物姓名；
将人脸数据集中的人脸图像的尺寸变为112×112，并使用resnet作为主干网络，损失函数设置如下：
Figure GDA0003593406620000021
式中，m是样本的数量，i代表第i个样本，n代表类别数，j代表第j个类别，
Figure GDA0003593406620000022
代表第i个样本所属的类别的分数，yi是第i个样本所属的类别，s是归一化参数即缩放系数，
Figure GDA0003593406620000023
是权重Wyi和特征向量xi的余弦夹角，其中权重Wi和特征向量xi已经归一化为1，t是引入的超参数用来限制不同类别间的夹角。
进一步地，所述构建待识别人脸身份库具体为：选取要跟踪的目标人物的人脸图像，以人物姓名为文件名，放在指定文件夹下作为要跟踪人物的图像库，库中有k个人，对应的名字为name1，name2，...，namek。
进一步地，所述根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置具体为：
选取视频流第一帧的图像；
调用预训练好的yolov3人脸检测模型，yolov3人脸检测模型将输入的图片大小变为448*448大小，并平均划分成7*7＝49个网格，每个网格的大小为64*64；
对于每个网格，预测2个边界框，每个边界框都有(x,y,w,h,confidence)五个基本参数，其中，(x,y)是边界框的中心坐标，(w,h)为边界框的宽高，confidence为置信度；
根据上一步共预测出7*7*2个边界框，筛选掉置信度低于预设阈值0.7的边界框，接着利用非极大值抑制去除冗余窗口，得到的边界框作为人脸检测框，即得到人脸在图像中的位置。
进一步地，所述将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份具体为：
将人脸位置的图像截取出来，采用相似变换进行人脸对齐，并将截取的图片尺寸改为112×112后送入训练好的神经网络中，得到一个特征向量a；
将待识别人脸身份库中的k个图片分别送入训练好的神经网络中，得到输出的k个特征向量b1，b2，...，bk，k为待识别人脸身份库中的人脸数目；
将特征向量a分别与b1，b2，...，bk求余弦相似度，将余弦相似度最高的且超过设定阈值0.8的bi所对应的人脸作为a匹配到的人脸，否则将特征a对应的人脸设为陌生人。
进一步地，所述对人脸对应的人物身份进行跟踪具体为：
将每个跟踪的人脸目标状态表示为以下形式：
Figure GDA0003593406620000041
式中，m′表示跟踪的人脸目标状态，u和v表示跟踪人脸区域的中心坐标，s为人脸框的长宽比，r为人脸框的高度，
Figure GDA0003593406620000042
分别表示(u，v，s，r)在图像坐标空间中的速度；
针对要跟踪的每个人脸检测框分配***并设置计数器，在卡尔曼滤波预测期间递增，一旦一个人脸检测框***和yolov3的人脸检测结果能够匹配上，则将这个人脸检测框***相对应的计数器重置为0；如果一个人脸检测框***在预设的一段时间即30帧内一直没能匹配上yolov3的人脸检测结果，则把该人脸检测框***的轨迹从轨迹列表中删除；
将轨迹列表中的轨迹框实时送入训练好的神经网络中检测人脸的id。
进一步地，所述跟踪结果与检测结果的匹配采用以下方法实现：
采用三种度量方式的线性加权来作为最终的度量值：
d(i1，j1)＝αd(1)(i1，j1)+βd(2)(i1，j1)+(1-α-β)d(3)(i1，j1)；
式中，d(1)(i1，j1)为跟踪结果ci1与检测结果dj1之间的位置度量值，d(2)(i1，j1)为跟踪结果ci1与检测结果dj1之间的外观度量值，d(3)(i1，j1)为跟踪结果ci1与检测结果dj1之间的速度度量值，α与β为加权系数；
若d(i1，j1)小于设定的阈值0.3，则判断跟踪结果ci1与检测结果dj1是匹配的。
进一步地，所述跟踪结果ci1与检测结果dj1之间的速度度量值采用下式计算：
Figure GDA0003593406620000051
式中，
Figure GDA0003593406620000052
为跟踪结果ci1与检测结果dj1之间的位置度量值，f为跟踪结果ci1与检测结果dj1之间的帧数。
本发明还提供了一种基于人脸识别的人物身份跟踪***，包括处理器、存储器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明对于跟踪的目标可以确认到人物的id，即姓名上，在跟踪过程中，如果跟踪目标的编号发生变化，可以通过人脸识别的方法重新确认人物身份。同时，也利用了物体跟踪的思路对人脸的运动轨迹进行预测，避免了逐帧识别人脸存在的追踪框延迟的问题。
附图说明
图1为本发明实施例的方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于人脸识别的人物身份跟踪方法，具体包括以下步骤：
采用人脸数据集训练神经网络；采集待识别身份人物的人脸图片，并构建待识别人脸身份库；
根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置；
将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份，初始化待跟踪的人脸目标；
对人脸对应的人物身份进行跟踪。
在本实施例中，所述采用人脸数据集训练神经网络具体为：
收集公开的人脸数据集，获得相关人物的图片及其对应的人物姓名；
将人脸数据集中的人脸图像的尺寸变为112×112，并使用resnet作为主干网络，设置训练时的总的Batch Size为512，同时学习率从0.1开始在分别在10万、14万、16万次迭代下降一个量级，设置了总的迭代为20万次，momentum动量为0.9，权值衰减为5e-4，损失函数设置如下：
Figure GDA0003593406620000071
式中，m是样本的数量，i代表第i个样本，n代表类别数，j代表第j个类别，
Figure GDA0003593406620000072
代表第i个样本所属的类别的分数，yi是第i个样本所属的类别，s是归一化参数即缩放系数，
Figure GDA0003593406620000073
是权重Wyi和特征向量xi的余弦夹角，其中权重Wi和特征向量xi已经归一化为1，t是引入的超参数用来限制不同类别间的夹角。
在本实施例中，所述构建待识别人脸身份库具体为：选取要跟踪的目标人物的人脸图像，以人物姓名为文件名，放在指定文件夹下作为要跟踪人物的图像库，库中有k个人，对应的名字为name1，name2，...，namek。
在本实施例中，所述根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置具体为：
选取视频流第一帧的图像；
调用预训练好的yolov3人脸检测模型，yolov3人脸检测模型将输入的图片大小变为448*448大小，并平均划分成7*7＝49个网格，每个网格的大小为64*64；
对于每个网格，预测2个边界框，每个边界框都有(x,y,w,h,confidence)五个基本参数，其中，(x,y)是边界框的中心坐标，(w,h)为边界框的宽高，confidence为置信度；
根据上一步共预测出7*7*2个边界框，筛选掉置信度低于预设阈值0.7的边界框，接着利用非极大值抑制去除冗余窗口，得到的边界框作为人脸检测框，即得到人脸在图像中的位置。
在本实施例中，所述将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份具体为：
将人脸位置的图像截取出来，采用相似变换进行人脸对齐，并将截取的图片尺寸改为112×112后送入训练好的神经网络中，得到一个特征向量a；
将待识别人脸身份库中的k个图片分别送入训练好的神经网络中，得到输出的k个特征向量b1，b2，...，bk，k为待识别人脸身份库中的人脸数目；
将特征向量a分别与b1，b2，...，bk求余弦相似度，公式如下：
Figure GDA0003593406620000091
k个similar中最大且超过阈值0.8的，即为匹配到的人脸，如果特征向量a与所有特征向量b的相识度均不超过阈值，则特征向量a对应的人脸为陌生人，即不在库中。
在本实施例中，所述对人脸对应的人物身份进行跟踪具体为：
将每个跟踪的人脸目标状态表示为以下形式：
Figure GDA0003593406620000092
式中，m′表示跟踪的人脸目标状态，u和v表示跟踪人脸区域的中心坐标，s为人脸框的长宽比，r为人脸框的高度，
Figure GDA0003593406620000093
分别表示(u，v，s，r)在图像坐标空间中的速度；
针对要跟踪的每个人脸检测框分配***并设置计数器，在卡尔曼滤波预测期间递增，一旦一个人脸检测框***和yolov3的人脸检测结果能够匹配上，则将这个人脸检测框***相对应的计数器重置为0；如果一个人脸检测框***在预设的一段时间内即30帧一直没能匹配上yolov3的人脸检测结果，则把该人脸检测框***的轨迹从轨迹列表中删除；
将轨迹列表中的轨迹框实时送入训练好的神经网络中检测人脸的id。
在本实施例中，所述跟踪结果与检测结果的匹配采用以下方法实现：
采用三种度量方式的线性加权来作为最终的度量值：
d(i1，j1)＝αd(1)(i1，j1)+βd(2)(i1，j1)+(1-α-β)d(3)(i1，j1)；
式中，d(1)(i1，j1)为跟踪结果ci1与检测结果dj1之间的位置度量值，d(2)(i1，j1)为跟踪结果ci1与检测结果dj1之间的外观度量值，d(3)(i1，j1)为跟踪结果ci1与检测结果dj1之间的速度度量值，α与β为加权系数；
若d(i1，j1)小于设定的阈值0.3，则判断跟踪结果ci1与检测结果dj1是匹配的，通过上述方法对所有视频帧进行人脸的跟踪。
跟踪框的匹配分别采用了位置因素和外观因素，其中，在位置度量上使用的是马氏距离：
Figure GDA0003593406620000101
马氏距离计算物体检测框dj1和物体跟踪框ci1之间的距离，S是协方差矩阵，i1，j1为序号；
其中，外观度量方面，对每一个的检测块dj1通过CNN网络计算对应的128维特征向量rj1,对每一个跟踪目标构建一个列表，存储每一个跟踪目标成功关联的最近100帧的特征向量。那么外观度量的方式就是计算***的最近100个成功关联的特征集与当前帧检测结果的特征向量间的最小余弦距离：
Figure GDA0003593406620000102
i1，j1，k1均为序号，R表示特征向量的集合。
其中，所述跟踪结果ci1与检测结果dj1之间的速度度量值采用下式计算：
Figure GDA0003593406620000103
式中，
Figure GDA0003593406620000111
为跟踪结果ci1与检测结果dj1之间的位置度量值，f为跟踪结果ci1与检测结果dj1之间的帧数。用距离度量除以f，来表示被检测物体运动速度、方向，这样可以更好的处理相似的人相遇而过导致的跟踪id切换的问题。
本实施例还提供了一种基于人脸识别的人物身份跟踪***，包括处理器、存储器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本实施例着眼于计算机视觉对于监控场景下人脸的识别与跟踪，使用yolov3作为人脸检测器，提高了人脸检测效率。将人脸的识别与跟踪相结合，人脸识别可以在跟踪过程中确定人物的身份，用人物身份做id减少跟踪过程中目标id频繁变换，加入了速度度量，加强了对跟踪匹配的约束，具有创新意义。且实施例提出方法的准确率高，时效性好，对于人脸的识别跟踪具有实际应用意义。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于人脸识别的人物身份跟踪方法，其特征在于，包括以下步骤：
采用人脸数据集训练神经网络；采集待识别身份人物的人脸图片，并构建待识别人脸身份库；
根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置；
将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份，初始化待跟踪的人脸目标；
对人脸对应的人物身份进行跟踪；
所述采用人脸数据集训练神经网络具体为：
收集公开的人脸数据集，获得相关人物的图片及其对应的人物姓名；
将人脸数据集中的人脸图像的尺寸变为112×112，并使用resnet作为主干网络，损失函数设置如下：
Figure FDA0003687283350000011
式中，m是样本的数量，i代表第i个样本，n代表类别数，j代表第j个类别，
Figure FDA0003687283350000012
代表第i个样本所属的类别的分数，yi是第i个样本所属的类别，s是归一化参数即缩放系数，
Figure FDA0003687283350000013
是权重Wyi和特征向量xi的夹角余弦值，其中权重Wi和特征向量xi已经归一化为1，t是引入的超参数用来限制不同类别间的夹角；
所述对人脸对应的人物身份进行跟踪具体为：
将每个跟踪的人脸目标状态表示为以下形式：
Figure FDA0003687283350000021
式中，m′表示跟踪的人脸目标状态，u和v表示跟踪人脸区域的中心坐标，s′为人脸框的长宽比，r为人脸框的高度，
Figure FDA0003687283350000022
分别表示(u,v,s′,r)在图像坐标空间中的速度；
针对要跟踪的每个人脸检测框分配***并设置计数器，在卡尔曼滤波预测期间递增，一旦一个人脸检测框***和yolov3的人脸检测结果能够匹配上，则将这个人脸检测框***相对应的计数器重置为0；如果一个人脸检测框***在预设的一段时间内一直没能匹配上yolov3的人脸检测结果，则把该人脸检测框***的轨迹从轨迹列表中删除；
将轨迹列表中的轨迹框实时送入训练好的神经网络中检测人脸的id；
跟踪结果与检测结果的匹配采用以下方法实现：
采用三种度量方式的线性加权来作为最终的度量值：
d(i1，j1)＝αd(1)(i1，j1)+βd(2)(i1，j1)+(1-α-β)d(3)(i1，j1)；
式中，d(1)(i1，j1)为跟踪结果ci1与检测结果dj1之间的位置度量值，d(2)(i1，j1)为跟踪结果ci1与检测结果dj1之间的外观度量值，d(3)(i1，j1)为跟踪结果ci1与检测结果dj1之间的速度度量值，α与β为加权系数；
若d(i1，j1)小于设定的阈值，则判断跟踪结果ci1与检测结果dj1是匹配的；
所述跟踪结果ci1与检测结果dj1之间的速度度量值采用下式计算：
Figure FDA0003687283350000031
式中，
Figure FDA0003687283350000032
为跟踪结果ci1与检测结果dj1之间的位置度量值，f为跟踪结果ci1与检测结果dj1之间的帧数。
2.根据权利要求1所述的一种基于人脸识别的人物身份跟踪方法，其特征在于，所述构建待识别人脸身份库具体为：选取要跟踪的目标人物的人脸图像，以人物姓名为文件名，放在指定文件夹下作为要跟踪人物的图像库，库中有k个人，对应的名字为name1，name2，...，namek。
3.根据权利要求1所述的一种基于人脸识别的人物身份跟踪方法，其特征在于，所述根据输入的视频帧，使用训练好的yolov3人脸检测模型，检测每帧图像的人脸位置具体为：
选取视频流第一帧的图像；
调用预训练好的yolov3人脸检测模型，yolov3人脸检测模型将输入的图片大小变为448*448大小，并平均划分成7*7＝49个网格，每个网格的大小为64*64；
对于每个网格，预测2个边界框，每个边界框都有(x,y,w,h,confidence)五个基本参数，其中，(x,y)是边界框的中心坐标，(w,h)为边界框的宽高，confidence为置信度；
根据上一步共预测出7*7*2个边界框，筛选掉置信度低于预设阈值的边界框，接着利用非极大值抑制去除冗余窗口，得到的边界框作为人脸检测框，即得到人脸在图像中的位置。
4.根据权利要求1所述的一种基于人脸识别的人物身份跟踪方法，其特征在于，所述将检测到的人脸使用训练好的神经网络提取特征，并与待识别人脸身份库中的人脸特征进行比对确定身份具体为：
将人脸位置的图像截取出来，采用相似变换进行人脸对齐，并将截取的图片尺寸改为112×112后送入训练好的神经网络中，得到一个特征向量a；
将待识别人脸身份库中的k个图片分别送入训练好的神经网络中，得到输出的k个特征向量b1，b2，...，bk，k为待识别人脸身份库中的人脸数目；
将特征向量a分别与b1，b2，...，bk求余弦相似度，将余弦相似度最高的且超过设定阈值的bi所对应的人脸作为a匹配到的人脸，否则将特征a对应的人脸设为陌生人。
5.一种基于人脸识别的人物身份跟踪***，其特征在于，包括处理器、存储器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-4任一项所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-4任一项所述的方法步骤。
CN202011000236.7A 2020-09-22 2020-09-22 一种基于人脸识别的人物身份跟踪方法及*** Active CN112149557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011000236.7A CN112149557B (zh) 2020-09-22 2020-09-22 一种基于人脸识别的人物身份跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011000236.7A CN112149557B (zh) 2020-09-22 2020-09-22 一种基于人脸识别的人物身份跟踪方法及***

Publications (2)

Publication Number Publication Date
CN112149557A CN112149557A (zh) 2020-12-29
CN112149557B true CN112149557B (zh) 2022-08-09

Family

ID=73892695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011000236.7A Active CN112149557B (zh) 2020-09-22 2020-09-22 一种基于人脸识别的人物身份跟踪方法及***

Country Status (1)

Country Link
CN (1) CN112149557B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668483B (zh) * 2020-12-30 2022-06-10 福州大学 一种融合行人重识别和人脸检测的单目标人物跟踪方法
CN113705510A (zh) * 2021-09-02 2021-11-26 广州市奥威亚电子科技有限公司 目标识别跟踪的方法、装置、设备及存储介质
CN113723375B (zh) * 2021-11-02 2022-03-04 杭州魔点科技有限公司 一种基于特征抽取的双帧人脸跟踪方法和***
CN115206322A (zh) * 2022-09-15 2022-10-18 广东海新智能厨房股份有限公司 基于自动感应的智能橱柜及橱柜智能控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1855118A (zh) * 2005-04-28 2006-11-01 中国科学院自动化研究所 一种基于图像比的光照变化下的人脸识别方法
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109919977A (zh) * 2019-02-26 2019-06-21 鹍骐科技（北京）股份有限公司 一种基于时间特征的视频运动人物跟踪与身份识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1855118A (zh) * 2005-04-28 2006-11-01 中国科学院自动化研究所 一种基于图像比的光照变化下的人脸识别方法
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109919977A (zh) * 2019-02-26 2019-06-21 鹍骐科技（北京）股份有限公司 一种基于时间特征的视频运动人物跟踪与身份识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOLOv3 as a Deep Face Detector;Filiz Gurkan et al.;《2019 11th International Conference on Electrical and Electronics Engineering (ELECO)》;20200213;全文 *
基于YOLOv3与ResNet50的摄影机器人人脸识别跟踪***;陈凯等;《计算机与现代化》;20200415(第04期);全文 *
基于深度学习的高效实时性M:N模式人脸识别方法;郑开发 等;《2019电力行业信息化年会论文集》;20190930;全文 *

Also Published As

Publication number Publication date
CN112149557A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN112149557B (zh) 一种基于人脸识别的人物身份跟踪方法及***
CN110147743B (zh) 一种复杂场景下的实时在线行人分析与计数***及方法
US8855363B2 (en) Efficient method for tracking people
Azhar et al. People tracking system using DeepSORT
CN110969087B (zh) 一种步态识别方法及***
CN107909027B (zh) 一种具有遮挡处理的快速人体目标检测方法
Hassan et al. A review on human actions recognition using vision based techniques
US20070291984A1 (en) Robust object tracking system
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
CN112989889A (zh) 一种基于姿态指导的步态识别方法
Serpush et al. Complex human action recognition in live videos using hybrid FR-DL method
Chen et al. Soft biometrics integrated multi-target tracking
Elsayed et al. Abnormal Action detection in video surveillance
CN116342645A (zh) 一种针对游泳馆场景下的多目标跟踪方法
Xu et al. A novel multi-view face detection method based on improved real adaboost algorithm
Bing et al. Research of face detection based on adaboost and asm
Hashem et al. Human gait identification system based on transfer learning
Ildarabadi et al. Improvement tracking dynamic programming using replication function for continuous sign language recognition
CN117011335B (zh) 一种基于自适应双解码器的多目标跟踪方法及***
Raskin et al. Tracking and classifying of human motions with gaussian process annealed particle filter
Radulescu et al. Model of human actions recognition based on 2D Kernel
Shah et al. RESTAURANT SYSTEM TO CALCULATE WAITING TIME AND AGE, GENDER INSIGHTS
Abdellaoui et al. Robust Object Tracker in Video via Discriminative Model
Zheng et al. Object detection and tracking using Bayes-constrained particle swarm optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant