CN114067421B - 一种人员去重识别方法、存储介质及计算机设备 - Google Patents

一种人员去重识别方法、存储介质及计算机设备 Download PDF

Info

Publication number
CN114067421B
CN114067421B CN202210046435.4A CN202210046435A CN114067421B CN 114067421 B CN114067421 B CN 114067421B CN 202210046435 A CN202210046435 A CN 202210046435A CN 114067421 B CN114067421 B CN 114067421B
Authority
CN
China
Prior art keywords
face
person
information
similarity
face information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210046435.4A
Other languages
English (en)
Other versions
CN114067421A (zh
Inventor
周耿城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhongyun Information Technology Co ltd
Original Assignee
Guangdong Zhongyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhongyun Information Technology Co ltd filed Critical Guangdong Zhongyun Information Technology Co ltd
Priority to CN202210046435.4A priority Critical patent/CN114067421B/zh
Publication of CN114067421A publication Critical patent/CN114067421A/zh
Application granted granted Critical
Publication of CN114067421B publication Critical patent/CN114067421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • G07C9/15Movable barriers with registering means with arrangements to prevent the passage of more than one individual at a time
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人员去重识别方法、存储介质及计算机设备,涉及图像处理技术领域,本发明通过维护一个缓存队列T,能有效针对名单内人员或非名单内人员的陌生人进行人员区分性去重识别;采用人脸框位置重叠度配合人脸算法的相似度双阈值,一方面能解决人员由于视频解码掉帧或人脸算法检测率低等,导致的人员跟丢问题,有效减少名单内人员通行时,产生的额外错误通行记录;另一方面,采用人脸算法的相似度双阈值,实现对静态目标和非静态目标都进行有效去重;不论是人脸框位置重叠度还是人脸算法的相似度计算,计算过程对算力要求不高,能在大部分设备上流畅运行。

Description

一种人员去重识别方法、存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域,具体为一种人员去重识别方法、存储介质及计算机设备。
背景技术
随着人脸识别技术的成熟和发展,人脸识别在智能门禁***中的应用越来越广泛,市场上出现了很多对应的人脸识别门禁***。但由于人员在摄像头面前走过时,往往不止抓拍到一两张人脸照片,使得人脸识别智能门禁***会产生很多差异不大,但又属于同一个人的人脸图像记录。为此需要通过去重算法,尽量减少此类记录。目前主要的人脸图像去重算法,主要有基于传统图像特征(例如颜色直方图、LBP直方图)的去重方法、基于运动匹配的快速去重方法和基于跟踪的去重算法。
其中,基于传统图像特征的去重方法,能去除50%的重复人脸,误去重比较低。但由于不同视频监控场景光线差异过大,无法使用同一个阈值实现兼容所有应用场景,不具备通用性;基于运动匹配的快速去重方法,需要设置像素差异阈值和差异比率这两个参数值,主要是去除静态重复目标,无法处理非静态目标的去重;基于跟踪的去重算法,需要设置三个参数:跟踪频率,去重频率和保留频率,去重效果依赖于检测算法和跟踪算法。若检测频率较低或检测算法检出率较差,都会导致人员跟丢;又由于有最低检测频率要求,对机器性能要求较高。
同时,以上几种去重算法,均没有考虑在实际门禁应用上,人员会有分类(即是名单内人员,还是陌生人),没有特别针对性处理;特别的是,当名单内人员刚出现在摄像头画面时,抓拍到的人脸可能无法达到识别相似度阈值,会被判定为陌生人通行记录;当走到视频监控中间区域时,抓拍到的人脸可能达到识别相似度阈值,则会又判定为名单内人员通行记录;当名单内人员快离开摄像头画面时,抓拍到的人脸可能又无法达到识别相似度阈值,又会被判定为陌生人通行记录;诸如此类,名单内人员在经过摄像头时,出现两种不同分类通行记录的情况;这些都是在没有考虑应用上会有人员分类的情况下,产生的额外错误通行记录。
发明内容
本发明的目的在于提供一种人员去重识别方法、存储介质及计算机设备,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种人员去重识别方法,包括以下步骤:
S1、创建一个空的缓存队列
Figure 404081DEST_PATH_IMAGE001
,缓存队列
Figure 946721DEST_PATH_IMAGE001
的队列元素数据包含人脸图像
Figure 297591DEST_PATH_IMAGE002
、人脸框位置
Figure 900695DEST_PATH_IMAGE003
、人脸姿态分数
Figure 286252DEST_PATH_IMAGE004
、人脸特征码
Figure 274418DEST_PATH_IMAGE005
、分类标志位
Figure 762101DEST_PATH_IMAGE006
和元素添加时的秒级时间戳
Figure 400765DEST_PATH_IMAGE007
S2、从网络摄像头循环取出解码后的画面;假设其中一帧解码后的画面为
Figure 403536DEST_PATH_IMAGE008
,并获取当前时刻的秒级时间戳
Figure 183890DEST_PATH_IMAGE009
;检查缓存队列
Figure 840614DEST_PATH_IMAGE001
内所有队列元素的秒级时间戳,若当前时刻的秒级时间戳
Figure 262243DEST_PATH_IMAGE010
减去某队列元素
Figure 261515DEST_PATH_IMAGE011
的秒级时间戳
Figure 90849DEST_PATH_IMAGE012
,得到的差值
Figure 476793DEST_PATH_IMAGE013
则进一步判断队列元素
Figure 398704DEST_PATH_IMAGE011
的分类标志位
Figure 191611DEST_PATH_IMAGE014
的值,
Figure 893030DEST_PATH_IMAGE015
为人员在摄像头前正常通过时所需花费的时间,精确到秒;若
Figure 721786DEST_PATH_IMAGE016
,则推送该队列元素
Figure 938183DEST_PATH_IMAGE011
的数据,并从缓存队列
Figure 605887DEST_PATH_IMAGE001
中删除该队列元素
Figure 958550DEST_PATH_IMAGE011
;若
Figure 163927DEST_PATH_IMAGE017
,则直接从缓存队列
Figure 624410DEST_PATH_IMAGE001
中删除该队列元素
Figure 310313DEST_PATH_IMAGE011
S3、对该画面
Figure 305904DEST_PATH_IMAGE018
进行人脸检测,得到画面
Figure 419533DEST_PATH_IMAGE018
内的所有人脸信息,并对每个人脸信息的人脸图像进行人脸特征码提取,得到人脸图像对应的人脸特征码信息;
S4、分别对画面
Figure 886554DEST_PATH_IMAGE018
内所有人脸信息提取到的人脸特征码与名单内人员的人脸特征码一一进行人脸特征码第一相似度
Figure 354449DEST_PATH_IMAGE019
计算,并进行相似度值降序排序;若最大相似度值大于等于算法判定同一个人的相似度阈值
Figure 944354DEST_PATH_IMAGE020
,则认为该人脸信息对应人员为名单内人员,否则视为非名单内的陌生人;
S5、分别对画面
Figure 431674DEST_PATH_IMAGE018
内的所有人脸信息与缓存队列
Figure 635258DEST_PATH_IMAGE001
内的所有元素一一进行人脸框位置重叠度
Figure 663436DEST_PATH_IMAGE021
和人脸特征码第二相似度
Figure 104918DEST_PATH_IMAGE022
计算;
S6、若存在其中一个元素
Figure 88578DEST_PATH_IMAGE023
与某个人脸信息
Figure 776529DEST_PATH_IMAGE024
满足人脸框位置重叠度
Figure 682434DEST_PATH_IMAGE021
阈值
Figure 432615DEST_PATH_IMAGE025
或人脸特征码第二相似度
Figure 81317DEST_PATH_IMAGE022
阈值
Figure 203036DEST_PATH_IMAGE026
,则认为该人脸信息
Figure 835666DEST_PATH_IMAGE024
对应的人员已经出现过,进一步根据人员类型进行分类判断;
S7、若不存在其中一个元素
Figure 986161DEST_PATH_IMAGE023
与某个人脸信息
Figure 574273DEST_PATH_IMAGE024
满足人脸框位置重叠度
Figure 536285DEST_PATH_IMAGE021
阈值
Figure 430996DEST_PATH_IMAGE025
或人脸特征码第二相似度
Figure 970085DEST_PATH_IMAGE022
阈值
Figure 932361DEST_PATH_IMAGE026
;则新建一个元素
Figure 556901DEST_PATH_IMAGE027
,将人脸信息
Figure 72945DEST_PATH_IMAGE024
和时间戳
Figure 819538DEST_PATH_IMAGE028
补充到元素
Figure 749452DEST_PATH_IMAGE027
;进一步根据人员类型进行分类判断,设置新元素
Figure 327200DEST_PATH_IMAGE027
对应分类标志位
Figure 447869DEST_PATH_IMAGE029
;将新元素
Figure 433322DEST_PATH_IMAGE027
存入缓存队列
Figure 293385DEST_PATH_IMAGE001
中,完成新缓存记录添加。
进一步的,在步骤S2中,
Figure 304901DEST_PATH_IMAGE030
为正整数;在步骤S5中,人脸框位置重叠度
Figure 149365DEST_PATH_IMAGE021
为去重第一特征计算,人脸特征码第二相似度
Figure 777746DEST_PATH_IMAGE031
为去重第二特征计算。
进一步的,在步骤S5中人脸框位置重叠度
Figure 995936DEST_PATH_IMAGE021
的计算方法如下:
假设有矩形
Figure 79434DEST_PATH_IMAGE032
的左上角顶点坐标分别为
Figure 199361DEST_PATH_IMAGE033
Figure 607740DEST_PATH_IMAGE034
,其高度和宽度分别为
Figure 805287DEST_PATH_IMAGE035
Figure 299116DEST_PATH_IMAGE036
,矩形
Figure 149965DEST_PATH_IMAGE037
的左上角顶点坐标分别为
Figure 752465DEST_PATH_IMAGE038
Figure 837756DEST_PATH_IMAGE039
,其高度和宽度分别为
Figure 102039DEST_PATH_IMAGE040
Figure 746522DEST_PATH_IMAGE041
去重第一特征人脸框位置重叠度
Figure 946739DEST_PATH_IMAGE042
的计算公式如下:
Figure 437352DEST_PATH_IMAGE043
去重第一特征人脸框位置重叠度
Figure 909970DEST_PATH_IMAGE042
的数值范围为
Figure 420461DEST_PATH_IMAGE044
进一步的,两个矩形边沿重叠不认为是重叠。
进一步的,在步骤S6中:
S61、若人脸信息
Figure 224254DEST_PATH_IMAGE045
为名单内人员,且元素
Figure 195888DEST_PATH_IMAGE046
内推送标志位
Figure 774378DEST_PATH_IMAGE047
的值为0,则马上推送该人脸信息
Figure 462065DEST_PATH_IMAGE045
,并修改元素
Figure 102785DEST_PATH_IMAGE046
内推送标志位
Figure 491659DEST_PATH_IMAGE047
的值为1;
S62、若该人脸信息
Figure 186000DEST_PATH_IMAGE045
为名单内人员,且元素
Figure 138697DEST_PATH_IMAGE046
内推送标志位
Figure 633924DEST_PATH_IMAGE047
的值为1,则不需推送该人脸信息
Figure 664997DEST_PATH_IMAGE045
S63、若人脸信息
Figure 612885DEST_PATH_IMAGE045
为非名单内人员,则不需判断元素
Figure 308817DEST_PATH_IMAGE046
内推送标志位
Figure 285916DEST_PATH_IMAGE047
的值;
S64、然后对人脸信息
Figure 547751DEST_PATH_IMAGE045
进行人脸姿态分数
Figure 448847DEST_PATH_IMAGE048
计算并判断。
进一步的,在步骤S64中,人脸姿态分数
Figure 194609DEST_PATH_IMAGE048
计算方法如下:
人脸姿态分数
Figure 130341DEST_PATH_IMAGE048
,根据人脸姿态角
Figure 506619DEST_PATH_IMAGE049
进行计算,其分别由
Figure 169379DEST_PATH_IMAGE050
Figure 996131DEST_PATH_IMAGE051
Figure 114265DEST_PATH_IMAGE052
三个角度组成,这三个角度的值范围均在
Figure 395865DEST_PATH_IMAGE053
度范围内,任意一个角度值越接近于零,人脸姿态角越好,对应的人脸姿态分数
Figure 333870DEST_PATH_IMAGE054
越高;
具体人脸姿态分数
Figure 830890DEST_PATH_IMAGE054
计算的公式如下:
Figure 537951DEST_PATH_IMAGE055
其中,人脸姿态分数
Figure 438786DEST_PATH_IMAGE054
的数值范围为
Figure 398176DEST_PATH_IMAGE056
Figure 894428DEST_PATH_IMAGE057
为计算实数的绝对值函数。
进一步的,在步骤S64中:
S641、若该人脸信息
Figure 399538DEST_PATH_IMAGE058
的人脸姿态分数
Figure 339118DEST_PATH_IMAGE059
高于元素
Figure 257575DEST_PATH_IMAGE060
内的人脸姿态分数
Figure 830345DEST_PATH_IMAGE061
,则使用该人脸信息
Figure 511998DEST_PATH_IMAGE058
的人脸图像
Figure 100110DEST_PATH_IMAGE062
、人脸姿态分数
Figure 965916DEST_PATH_IMAGE063
、人脸框位置
Figure 611359DEST_PATH_IMAGE064
、人脸特征码
Figure 944729DEST_PATH_IMAGE065
替换元素
Figure 641426DEST_PATH_IMAGE060
中对应项的信息;
S642、若该人脸信息
Figure 268895DEST_PATH_IMAGE058
的人脸姿态分数
Figure 449520DEST_PATH_IMAGE066
不高于元素
Figure 105766DEST_PATH_IMAGE060
内的人脸姿态分数
Figure 679754DEST_PATH_IMAGE061
,则只使用该人脸信息
Figure 732203DEST_PATH_IMAGE058
的人脸框位置
Figure 190152DEST_PATH_IMAGE064
、人脸特征码
Figure 175605DEST_PATH_IMAGE065
替换元素
Figure 206581DEST_PATH_IMAGE060
中对应项的信息;
S643、更新元素
Figure 271625DEST_PATH_IMAGE060
的时间戳
Figure 364091DEST_PATH_IMAGE067
为时间戳
Figure 879084DEST_PATH_IMAGE068
进一步的,在步骤S7中,若不存在其中一个元素
Figure 619643DEST_PATH_IMAGE060
与该人脸信息
Figure 783036DEST_PATH_IMAGE058
满足人脸框位置重叠度
Figure 710153DEST_PATH_IMAGE069
阈值
Figure 367799DEST_PATH_IMAGE070
或人脸特征码第二相似度
Figure 485451DEST_PATH_IMAGE071
阈值
Figure 152453DEST_PATH_IMAGE072
,则认为该人脸信息
Figure 810491DEST_PATH_IMAGE058
对应的人员没有出现过,需要添加该人脸信息
Figure 525906DEST_PATH_IMAGE058
为新缓存记录;新建一个元素
Figure 159934DEST_PATH_IMAGE073
,将人脸信息
Figure 689796DEST_PATH_IMAGE058
的人脸框位置
Figure 159246DEST_PATH_IMAGE074
,人脸姿态角
Figure 237758DEST_PATH_IMAGE075
,人脸图像
Figure 25109DEST_PATH_IMAGE076
,人脸特征码
Figure 773759DEST_PATH_IMAGE077
,秒级时间戳
Figure 573267DEST_PATH_IMAGE078
补充到元素
Figure 91445DEST_PATH_IMAGE073
;进一步根据人员类型进行分类判断,若该人脸信息
Figure 49224DEST_PATH_IMAGE058
对应人员为名单内人员,则马上推送该人脸信息
Figure 285643DEST_PATH_IMAGE058
,并将新元素
Figure 298296DEST_PATH_IMAGE073
分类标志位
Figure 105459DEST_PATH_IMAGE079
的值置为1;若该人脸信息
Figure 706384DEST_PATH_IMAGE058
对应人员为非名单内人员的陌生人,则将新元素
Figure 497802DEST_PATH_IMAGE073
推送标志位
Figure 302428DEST_PATH_IMAGE079
的值置为0;并将新元素
Figure 576814DEST_PATH_IMAGE073
存入缓存队列
Figure 433128DEST_PATH_IMAGE080
中,完成新缓存记录添加。
本发明还提供了一种用于人员去重识别的存储介质,其上存储有计算机指令,所述计算机指令被处理器执行时,实现上述任一项所述的一种人员去重识别方法的步骤。
本发明还提供了一种用于人员去重识别的计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时,实现上述任一项所述的一种人员去重识别方法。
与现有技术相比,本发明所达到的有益效果是:
1、本发明通过对每一帧识别到的所有人脸都进行上述操作,并维护一个缓存队列
Figure 912175DEST_PATH_IMAGE080
,能有效针对名单内人员或非名单内人员的陌生人进行人员区分性去重识别;由于本发明没有采用其他传统特征,所需的去重特征为人脸框位置、人脸姿态角得到的人脸姿态分数和人脸相似度值;这些特征都是一般人脸算法都具备的信息,与摄像头场景无关,具备通用性;采用人脸框位置重叠度配合人脸算法的相似度双阈值,一方面能解决人员由于视频解码掉帧或人脸算法检测率低等,导致的人员跟丢问题,通过人脸算法的第二相似度阈值再次匹配跟踪上,有效减少名单内人员通行时,产生的额外错误通行记录;另一方面,采用人脸算法的相似度双阈值,即使人员长时间静止也能有效比对出,实现对静态目标和非静态目标都进行有效去重;不论是人脸框位置重叠度还是人脸算法的相似 度计算,计算过程对算力要求不高,能在大部分设备上流畅运行;
2、本发明当名单内人员刚出现在摄像头画面时,抓拍到的人脸可能无法达到识别相似度阈值,会被判定为陌生人通行记录,但由于采用延迟
Figure 546858DEST_PATH_IMAGE081
秒推送,所以此时不会马上推送,仅会存在缓存队列
Figure 449647DEST_PATH_IMAGE080
内;当走到视频监控中间区域时,抓拍到的人脸可能达到识别相似度阈值,则会又判定为名单内人员通行记录,此时根据本发明的判断逻辑,会马上推送名单内人员信息,并在缓存队列
Figure 189112DEST_PATH_IMAGE080
内匹配到缓存记录,对该记录进行数据更新,且更新其分类标记为1;当名单内人员快离开摄像头画面时,抓拍到的人脸可能又无法达到识别相似度阈值,又会被判定为陌生人通行记录,此时根据缓存队列
Figure 886946DEST_PATH_IMAGE080
内的缓存记录,可以正常匹配到满足条件的缓存记录,且其分类标记为1,***并不会推送此条陌生人信息;因此,本发明能最大程度保证单人单次通过时,仅产生一条正确通行记录。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明矩形不重叠时的示意图;
图2是本发明矩形重叠时的示意图;
图3是本发明人脸姿态角的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-图3所示的一种人员去重识别方法,包括以下步骤:
S1、创建一个空的缓存队列
Figure 301883DEST_PATH_IMAGE080
,缓存队列
Figure 37281DEST_PATH_IMAGE080
的队列元素数据包含人脸图像
Figure 998246DEST_PATH_IMAGE082
、人脸框位置
Figure 923656DEST_PATH_IMAGE083
、人脸姿态分数
Figure 936091DEST_PATH_IMAGE084
、人脸特征码
Figure 672801DEST_PATH_IMAGE085
、分类标志位
Figure 19648DEST_PATH_IMAGE086
和元素添加时的秒级时间戳
Figure 426495DEST_PATH_IMAGE087
S2、从网络摄像头循环取出解码后的画面;假设其中一帧解码后的画面为
Figure 183234DEST_PATH_IMAGE088
,并获取当前时刻的秒级时间戳
Figure 893225DEST_PATH_IMAGE089
;检查缓存队列
Figure 605447DEST_PATH_IMAGE080
内所有队列元素的秒级时间戳,若当前时刻的秒级时间戳
Figure 505449DEST_PATH_IMAGE089
减去某队列元素
Figure 365547DEST_PATH_IMAGE090
的秒级时间戳
Figure 195623DEST_PATH_IMAGE091
,得到的差值
Figure 84605DEST_PATH_IMAGE092
则进一步判断队列元素
Figure 466044DEST_PATH_IMAGE090
的分类标志位
Figure 155132DEST_PATH_IMAGE093
的值,
Figure 249169DEST_PATH_IMAGE094
为人员在摄像头前正常通过时所需花费的时间,精确到秒;若
Figure 569246DEST_PATH_IMAGE095
,则推送该队列元素
Figure 440910DEST_PATH_IMAGE090
的数据,并从缓存队列
Figure 879688DEST_PATH_IMAGE080
中删除该队列元素
Figure 418778DEST_PATH_IMAGE090
;若
Figure 649562DEST_PATH_IMAGE096
,则直接从缓存队列
Figure 734155DEST_PATH_IMAGE080
中删除该队列元素
Figure 920639DEST_PATH_IMAGE090
,在步骤S2中,
Figure 717830DEST_PATH_IMAGE094
为正整数;在步骤S5中,人脸框位置重叠度
Figure 385095DEST_PATH_IMAGE097
为去重第一特征计算,人脸特征码第二相似度
Figure 968703DEST_PATH_IMAGE098
为去重第二特征计算;
S3、对该画面
Figure 43564DEST_PATH_IMAGE099
进行人脸检测,得到画面
Figure 929881DEST_PATH_IMAGE099
内的所有人脸信息,并对每个人脸信息的人脸图像进行人脸特征码提取,得到人脸图像对应的人脸特征码信息;
S4、分别对画面
Figure 180431DEST_PATH_IMAGE099
内所有人脸信息提取到的人脸特征码与名单内人员的人脸特征码一一进行人脸特征码第一相似度
Figure 774177DEST_PATH_IMAGE100
计算,并进行相似度值降序排序;若最大相似度值大于等于算法判定同一个人的相似度阈值
Figure 36885DEST_PATH_IMAGE101
,则认为该人脸信息对应人员为名单内人员,否则视为非名单内的陌生人;
S5、分别对画面
Figure 139494DEST_PATH_IMAGE099
内的所有人脸信息与缓存队列
Figure 656283DEST_PATH_IMAGE102
内的所有元素一一进行人脸框位置重叠度
Figure 211553DEST_PATH_IMAGE097
和人脸特征码第二相似度
Figure 527219DEST_PATH_IMAGE103
计算;
S6、若存在其中一个元素
Figure 133001DEST_PATH_IMAGE104
与某个人脸信息
Figure 47391DEST_PATH_IMAGE105
满足人脸框位置重叠度
Figure 525778DEST_PATH_IMAGE097
阈值
Figure 918237DEST_PATH_IMAGE106
或人脸特征码第二相似度
Figure 995438DEST_PATH_IMAGE103
阈值
Figure 343379DEST_PATH_IMAGE107
,则认为该人脸信息
Figure 195278DEST_PATH_IMAGE105
对应的人员已经出现过,进一步根据人员类型进行分类判断;
S61、若人脸信息
Figure 422113DEST_PATH_IMAGE105
为名单内人员,且元素
Figure 631118DEST_PATH_IMAGE108
内推送标志位
Figure 816205DEST_PATH_IMAGE109
的值为0,则马上推送该人脸信息
Figure 316853DEST_PATH_IMAGE105
,并修改元素
Figure 657972DEST_PATH_IMAGE108
内推送标志位
Figure 193255DEST_PATH_IMAGE109
的值为1;
S62、若该人脸信息
Figure 865421DEST_PATH_IMAGE105
为名单内人员,且元素
Figure 181261DEST_PATH_IMAGE108
内推送标志位
Figure 981863DEST_PATH_IMAGE109
的值为1,则不需推送该人脸信息
Figure 229441DEST_PATH_IMAGE105
S63、若人脸信息
Figure 214246DEST_PATH_IMAGE105
为非名单内人员,则不需判断元素
Figure 65051DEST_PATH_IMAGE108
内推送标志位
Figure 550570DEST_PATH_IMAGE109
的值;
S64、然后对人脸信息
Figure 992269DEST_PATH_IMAGE105
进行人脸姿态分数
Figure 761165DEST_PATH_IMAGE110
计算并判断;
S641、若该人脸信息
Figure 734353DEST_PATH_IMAGE105
的人脸姿态分数
Figure 148196DEST_PATH_IMAGE111
高于元素
Figure 376225DEST_PATH_IMAGE108
内的人脸姿态分数
Figure 850111DEST_PATH_IMAGE112
,则使用该人脸信息
Figure 743685DEST_PATH_IMAGE105
的人脸图像
Figure 305426DEST_PATH_IMAGE113
、人脸姿态分数
Figure 777702DEST_PATH_IMAGE111
、人脸框位置
Figure 420033DEST_PATH_IMAGE114
、人脸特征码
Figure 336654DEST_PATH_IMAGE115
替换元素
Figure 89370DEST_PATH_IMAGE108
中对应项的信息;
S642、若该人脸信息
Figure 407836DEST_PATH_IMAGE105
的人脸姿态分数
Figure 225981DEST_PATH_IMAGE111
不高于元素
Figure 240158DEST_PATH_IMAGE108
内的人脸姿态分数
Figure 186778DEST_PATH_IMAGE112
,则只使用该人脸信息
Figure 165278DEST_PATH_IMAGE105
的人脸框位置
Figure 617780DEST_PATH_IMAGE116
、人脸特征码
Figure 952535DEST_PATH_IMAGE117
替换元素
Figure 222286DEST_PATH_IMAGE108
中对应项的信息;
S643、更新元素
Figure 31854DEST_PATH_IMAGE108
的时间戳
Figure 592940DEST_PATH_IMAGE118
为时间戳
Figure 567855DEST_PATH_IMAGE119
S7、若不存在其中一个元素
Figure 338501DEST_PATH_IMAGE108
与该人脸信息
Figure 757504DEST_PATH_IMAGE105
满足人脸框位置重叠度
Figure 676443DEST_PATH_IMAGE120
阈值
Figure 565685DEST_PATH_IMAGE121
或人脸特征码第二相似度
Figure 467918DEST_PATH_IMAGE122
阈值
Figure 811268DEST_PATH_IMAGE123
,则认为该人脸信息
Figure 969284DEST_PATH_IMAGE105
对应的人员没有出现过,需要添加该人脸信息
Figure 516858DEST_PATH_IMAGE105
为新缓存记录;新建一个元素
Figure 219853DEST_PATH_IMAGE124
,将人脸信息
Figure 347869DEST_PATH_IMAGE105
的人脸框位置
Figure 874189DEST_PATH_IMAGE125
,人脸姿态角
Figure 378970DEST_PATH_IMAGE126
,人脸图像
Figure 157094DEST_PATH_IMAGE127
,人脸特征码
Figure 20842DEST_PATH_IMAGE128
,秒级时间戳
Figure 906677DEST_PATH_IMAGE129
补充到元素
Figure 308407DEST_PATH_IMAGE124
;进一步根据人员类型进行分类判断,若该人脸信息
Figure 412591DEST_PATH_IMAGE105
对应人员为名单内人员,则马上推送该人脸信息
Figure 252550DEST_PATH_IMAGE105
,并将新元素
Figure 927863DEST_PATH_IMAGE124
分类标志位
Figure 76608DEST_PATH_IMAGE130
的值置为1;若该人脸信息
Figure 600129DEST_PATH_IMAGE105
对应人员为非名单内人员的陌生人,则将新元素
Figure 840402DEST_PATH_IMAGE124
推送标志位
Figure 952195DEST_PATH_IMAGE130
的值置为0;并将新元素
Figure 398356DEST_PATH_IMAGE124
存入缓存队列
Figure 178098DEST_PATH_IMAGE131
中,完成新缓存记录添加。
在步骤S5中人脸框位置重叠度
Figure 588582DEST_PATH_IMAGE132
的计算方法如下:
假设有矩形
Figure 905364DEST_PATH_IMAGE133
的左上角顶点坐标分别为
Figure 229034DEST_PATH_IMAGE134
Figure 235776DEST_PATH_IMAGE135
,其高度和宽度分别为
Figure 882190DEST_PATH_IMAGE136
Figure 541978DEST_PATH_IMAGE137
,矩形
Figure 36767DEST_PATH_IMAGE138
的左上角顶点坐标分别为
Figure 302187DEST_PATH_IMAGE139
Figure 825751DEST_PATH_IMAGE140
,其高度和宽度分别为
Figure 420158DEST_PATH_IMAGE141
Figure 980597DEST_PATH_IMAGE142
去重第一特征人脸框位置重叠度
Figure 871546DEST_PATH_IMAGE143
的计算公式如下:
Figure 639830DEST_PATH_IMAGE144
去重第一特征人脸框位置重叠度
Figure 551073DEST_PATH_IMAGE143
的数值范围为
Figure 480506DEST_PATH_IMAGE145
,两个矩形边沿重叠不认为是重叠。
在步骤S64中,人脸姿态分数
Figure 615957DEST_PATH_IMAGE146
计算方法如下:
人脸姿态分数
Figure 873834DEST_PATH_IMAGE146
,根据人脸姿态角
Figure 49728DEST_PATH_IMAGE147
进行计算,其分别由
Figure 528775DEST_PATH_IMAGE148
Figure 142951DEST_PATH_IMAGE149
Figure 620248DEST_PATH_IMAGE150
三个角度组成,这三个角度的值范围均在
Figure 825625DEST_PATH_IMAGE151
度范围内,任意一个角度值越接近于零,人脸姿态角越好,对应的人脸姿态分数
Figure 971792DEST_PATH_IMAGE146
越高;
具体人脸姿态分数
Figure 920817DEST_PATH_IMAGE146
计算的公式如下:
Figure 874126DEST_PATH_IMAGE152
其中,人脸姿态分数
Figure 247475DEST_PATH_IMAGE146
的数值范围为
Figure 217624DEST_PATH_IMAGE153
Figure 134250DEST_PATH_IMAGE154
为计算实数的绝对值函数。
本发明还提供了一种用于人员去重识别的存储介质,其上存储有计算机指令,所述计算机指令被处理器执行时,实现上述任一项所述的一种人员去重识别方法的步骤。
本发明还提供了一种用于人员去重识别的计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时,实现上述任一项所述的一种人员去重识别方法。
由于在人脸识别智能门禁***中,当识别出名单内人员时,应该马上推送名单内相关人员的识别记录,并进行开门操作;而对于非名单内人员的陌生人记录,则可采取延迟
Figure 942065DEST_PATH_IMAGE155
秒的方式进行准实时推送,即陌生人离开摄像头画面范围
Figure 748965DEST_PATH_IMAGE155
秒后才推送记录;这种陌生人延迟推送不会影响人脸智能门禁***的主要功能;其中
Figure 424321DEST_PATH_IMAGE155
一般等于人员在摄像头前正常通过时所需花费的时间(即在摄像头画面范围内出现的时间,精确到秒);由于摄像头的镜头焦距不同,且摄像头安装的高度、倾斜角度不同,
Figure 646972DEST_PATH_IMAGE155
的取值范围可以为任意正整数,因为每个人员在摄像头范围出现的时间是不固定的,有可能逗留导致出现很长时间;这里的
Figure 588454DEST_PATH_IMAGE155
是强调人员正常通过的耗时;
假设网络摄像头内的画面为图像
Figure 306535DEST_PATH_IMAGE156
;创建一个空的缓存队列
Figure 890359DEST_PATH_IMAGE157
,缓存队列
Figure 984878DEST_PATH_IMAGE157
的队列元素数据包含人脸图像
Figure 77604DEST_PATH_IMAGE158
、人脸框位置
Figure 294009DEST_PATH_IMAGE159
、人脸姿态分数
Figure 943957DEST_PATH_IMAGE160
、人脸特征码
Figure 980655DEST_PATH_IMAGE161
、分类标志位
Figure 255311DEST_PATH_IMAGE162
和元素添加时的秒级时间戳
Figure 580774DEST_PATH_IMAGE163
人脸图像
Figure 401840DEST_PATH_IMAGE158
的大小不超过图像
Figure 838161DEST_PATH_IMAGE156
的大小,人脸框位置
Figure 303215DEST_PATH_IMAGE159
的大小也不超过图像
Figure 534000DEST_PATH_IMAGE164
的像素范围,分类标志位
Figure 630311DEST_PATH_IMAGE165
的取值可为0、1;当
Figure 791497DEST_PATH_IMAGE166
时,说明该队列元素为未推送缓存记录;当
Figure 116916DEST_PATH_IMAGE167
时,说明该队列元素为已推送缓存记录;
本发明开始先连接网络摄像头,并循环从网络摄像头取出解码后的画面进行去重识别;假设其中一帧解码后的画面为
Figure 64409DEST_PATH_IMAGE168
,并获取当前时刻的秒级时间
Figure 645087DEST_PATH_IMAGE169
;检查缓存队列
Figure 213616DEST_PATH_IMAGE170
内所有队列元素的秒级时间戳,若当前时刻的秒级时间戳
Figure 196139DEST_PATH_IMAGE169
减去某队列元素
Figure 296955DEST_PATH_IMAGE171
的秒级时间戳
Figure 771927DEST_PATH_IMAGE172
得到的差值
Figure 82303DEST_PATH_IMAGE173
Figure 97891DEST_PATH_IMAGE174
为正整数),则进一步判断队列元素
Figure 35380DEST_PATH_IMAGE171
的分类标志位
Figure 187055DEST_PATH_IMAGE175
的值;若
Figure 41402DEST_PATH_IMAGE176
,则推送该队列元素
Figure 668164DEST_PATH_IMAGE171
的数据,并从缓存队列
Figure 54326DEST_PATH_IMAGE170
中删除该队列元素
Figure 859541DEST_PATH_IMAGE171
;若
Figure 517579DEST_PATH_IMAGE177
,则直接从缓存队列
Figure 323342DEST_PATH_IMAGE170
中删除该队列元素
Figure 942721DEST_PATH_IMAGE171
对该画面
Figure 207004DEST_PATH_IMAGE168
进行人脸检测,得到画面
Figure 789964DEST_PATH_IMAGE168
内的所有人脸信息(包含人脸框位置,人脸姿态分数),并对每个人脸信息的人脸图像进行人脸特征码提取,得到人脸图像对应的人脸特征码信息;
分别对画面
Figure 391319DEST_PATH_IMAGE168
内的所有人脸信息,进行如下操作:
假设其中一个人脸信息
Figure 240514DEST_PATH_IMAGE178
包含:人脸框位置
Figure 189496DEST_PATH_IMAGE179
,人脸姿态分数
Figure 738073DEST_PATH_IMAGE180
,人脸图像
Figure 922023DEST_PATH_IMAGE181
,人脸特征码
Figure 214031DEST_PATH_IMAGE182
;将人脸特征码与名单内人员的人脸特征码一一进行人脸特征码第一相似度
Figure 337061DEST_PATH_IMAGE183
计算,并进行相似度值降序排序;若最大相似度值大于等于算法判定同一个人的相似度阈值
Figure 668821DEST_PATH_IMAGE184
,则认为该人脸信息对应人员为名单内人员,否则视为非名单内的陌生人;
将该人脸的人脸信息
Figure 978716DEST_PATH_IMAGE178
,分别与缓存队列
Figure 401678DEST_PATH_IMAGE185
内的所有元素一一进行人脸框位置重叠度
Figure 65532DEST_PATH_IMAGE186
(去重第一特征)、人脸特征码第二相似度
Figure 3580DEST_PATH_IMAGE187
(去重第二特征)计算;
其中,人脸框位置重叠度(去重第一特征)计算的详细过程如下:
由于人脸框一般是矩形,且矩形的边一般平行于像素点的坐标轴;为此计算人脸框的重叠度问题,就是计算两个矩形的重叠度问题;假设有矩形
Figure 713788DEST_PATH_IMAGE188
的左上角顶点坐标分别为
Figure 151859DEST_PATH_IMAGE189
Figure 627976DEST_PATH_IMAGE190
,其高度和宽度分别为
Figure 773310DEST_PATH_IMAGE191
Figure 182431DEST_PATH_IMAGE192
,矩形
Figure 449652DEST_PATH_IMAGE193
的左上角顶点坐标分别为
Figure 678644DEST_PATH_IMAGE194
Figure 25405DEST_PATH_IMAGE195
,其高度和宽度分别为
Figure 981644DEST_PATH_IMAGE196
Figure 970639DEST_PATH_IMAGE197
;要计算两个矩形的重叠度问题,首先要判断两个矩形是否重叠(边沿重叠不认为是重叠);由于两个矩形重叠的情况过多,若按照每种情况逐一列举,过于复杂;为此可以通过反向思考的方式,先判断两个矩形不重叠时的情况,再取反得到重叠情况的判断;
如图1所示,若最中间矩形为矩形
Figure 23612DEST_PATH_IMAGE198
,其周围矩形为矩形
Figure 962012DEST_PATH_IMAGE199
不与矩形
Figure 176948DEST_PATH_IMAGE198
重叠存在的各种情况,根据图示,有以下条件任意一条成立时,矩形
Figure 930319DEST_PATH_IMAGE198
和矩形
Figure 868325DEST_PATH_IMAGE199
不重叠:
Figure 138644DEST_PATH_IMAGE200
依据反证法对根据上述条件的进行推理,可知,矩形
Figure 379794DEST_PATH_IMAGE198
和矩形
Figure 894612DEST_PATH_IMAGE199
重叠,需同时满足以下四个条件:
Figure 104932DEST_PATH_IMAGE201
若矩形
Figure 996189DEST_PATH_IMAGE198
和矩形
Figure 967210DEST_PATH_IMAGE199
重叠,则必有两个交点;如图3所示,假设两个交点(实心圆所在处)分别为点
Figure 856193DEST_PATH_IMAGE202
和点
Figure 99616DEST_PATH_IMAGE203
,有如下等式:
Figure 605156DEST_PATH_IMAGE204
若矩形
Figure 292668DEST_PATH_IMAGE198
和矩形
Figure 81113DEST_PATH_IMAGE199
重叠,点
Figure 551640DEST_PATH_IMAGE205
和点
Figure 479172DEST_PATH_IMAGE206
有如下条件组成立:
Figure 490032DEST_PATH_IMAGE207
综合上述等式和条件,矩形
Figure 452308DEST_PATH_IMAGE198
和矩形
Figure 605077DEST_PATH_IMAGE199
重叠,有如下条件组成立:
Figure 316860DEST_PATH_IMAGE208
当矩形
Figure 510124DEST_PATH_IMAGE198
和矩形
Figure 837774DEST_PATH_IMAGE199
重叠时,重叠面积矩形
Figure 887293DEST_PATH_IMAGE209
的面积
Figure 682995DEST_PATH_IMAGE210
为:
Figure 707328DEST_PATH_IMAGE211
如图2所示,矩形
Figure 856209DEST_PATH_IMAGE198
和矩形
Figure 679111DEST_PATH_IMAGE199
所形成区域的总面积
Figure 455399DEST_PATH_IMAGE212
,等于矩形
Figure 23920DEST_PATH_IMAGE198
的面积
Figure 522337DEST_PATH_IMAGE213
和矩形
Figure 40589DEST_PATH_IMAGE214
的面积
Figure 360848DEST_PATH_IMAGE215
的面积和,再减去矩形
Figure 67033DEST_PATH_IMAGE216
的面积
Figure 247002DEST_PATH_IMAGE217
,即有:
Figure 269060DEST_PATH_IMAGE218
矩形
Figure 410589DEST_PATH_IMAGE198
和矩形
Figure 696438DEST_PATH_IMAGE199
重叠度
Figure 259360DEST_PATH_IMAGE219
,为矩形
Figure 744484DEST_PATH_IMAGE216
的面积
Figure 253881DEST_PATH_IMAGE220
与矩形
Figure 382991DEST_PATH_IMAGE198
和矩形
Figure 656762DEST_PATH_IMAGE199
所形成区域的总面积
Figure 599885DEST_PATH_IMAGE221
的面积比,有:
Figure 661569DEST_PATH_IMAGE222
综合上述式子,可推导出以下公式:
Figure 309569DEST_PATH_IMAGE224
矩形
Figure 957504DEST_PATH_IMAGE198
和矩形
Figure 503767DEST_PATH_IMAGE199
重叠度
Figure 307299DEST_PATH_IMAGE219
的数值范围为
Figure 485037DEST_PATH_IMAGE225
;在本发明中,去重第一特征人脸框位置重叠度
Figure 80103DEST_PATH_IMAGE219
的最优阈值为0.1;
若存在其中一个元素
Figure 382171DEST_PATH_IMAGE226
与该人脸信息
Figure 726744DEST_PATH_IMAGE227
满足人脸框位置重叠度
Figure 552797DEST_PATH_IMAGE219
阈值
Figure 369362DEST_PATH_IMAGE228
或人脸特征码第二相似度
Figure 780232DEST_PATH_IMAGE229
阈值
Figure 253462DEST_PATH_IMAGE230
,则认为该人脸信息
Figure 337617DEST_PATH_IMAGE227
对应的人员已经出现过,进一步根据人员类型进行分类判断;若该人脸信息
Figure 29413DEST_PATH_IMAGE227
对应人员为名单内人员,且元素
Figure 193159DEST_PATH_IMAGE226
内推送标志位
Figure 189852DEST_PATH_IMAGE231
的值为0,则马上推送该人脸信息
Figure 419392DEST_PATH_IMAGE227
,并修改元素
Figure 285019DEST_PATH_IMAGE226
内推送标志位
Figure 473079DEST_PATH_IMAGE231
的值为1,然后进行人脸姿态分数
Figure 570003DEST_PATH_IMAGE232
计算;若该人脸信息
Figure 231013DEST_PATH_IMAGE227
为名单内人员,且元素
Figure 238246DEST_PATH_IMAGE226
内推送标志位
Figure 859600DEST_PATH_IMAGE231
的值为1,则直接进行人脸姿态分数
Figure 99830DEST_PATH_IMAGE232
计算;若该人脸信息
Figure 343909DEST_PATH_IMAGE227
对应人员为非名单内人员,则不需判断元素
Figure 61990DEST_PATH_IMAGE226
内推送标志位
Figure 684694DEST_PATH_IMAGE231
的值,直接进行人脸姿态分数
Figure 716896DEST_PATH_IMAGE232
计算;
其中,人脸姿态分数
Figure 615148DEST_PATH_IMAGE232
的计算方法如下:
人脸姿态分数
Figure 701533DEST_PATH_IMAGE232
,根据人脸姿态角
Figure 617060DEST_PATH_IMAGE233
进行计算,其分别由
Figure 746761DEST_PATH_IMAGE234
Figure 165765DEST_PATH_IMAGE235
Figure 960069DEST_PATH_IMAGE236
三个角度组成(如图3所示),三个角度的值范围均在
Figure 94383DEST_PATH_IMAGE237
度范围内,任意一个角度值越接近于零,人脸姿态角越好,对应的人脸姿态分数
Figure 996616DEST_PATH_IMAGE232
越高;本发明中,人脸姿态分数
Figure 532776DEST_PATH_IMAGE232
计算的公式如下:
Figure 916225DEST_PATH_IMAGE238
人脸姿态分数
Figure 6677DEST_PATH_IMAGE232
的数值范围为
Figure 998688DEST_PATH_IMAGE239
Figure 861125DEST_PATH_IMAGE240
为计算实数的绝对值函数;
若该人脸信息
Figure 454355DEST_PATH_IMAGE241
的人脸姿态分数
Figure 103209DEST_PATH_IMAGE242
高于元素
Figure 149842DEST_PATH_IMAGE243
内的人脸姿态分数
Figure 395014DEST_PATH_IMAGE244
,则使用该人脸信息
Figure 967602DEST_PATH_IMAGE241
的人脸图像
Figure 301155DEST_PATH_IMAGE245
、人脸姿态分数
Figure 311864DEST_PATH_IMAGE242
、人脸框位置
Figure 682981DEST_PATH_IMAGE246
、人脸特征码
Figure 488787DEST_PATH_IMAGE247
替换元素
Figure 289128DEST_PATH_IMAGE243
中对应项的信息,并更新元素
Figure 898404DEST_PATH_IMAGE243
的时间戳
Figure 628820DEST_PATH_IMAGE248
为秒级时间戳
Figure 543210DEST_PATH_IMAGE249
若该人脸信息
Figure 585776DEST_PATH_IMAGE241
的人脸姿态分数
Figure 506463DEST_PATH_IMAGE242
不高于元素
Figure 852173DEST_PATH_IMAGE243
内的人脸姿态分数
Figure 666026DEST_PATH_IMAGE244
,则只使用该人脸信息
Figure 461467DEST_PATH_IMAGE241
的人脸框位置
Figure 657617DEST_PATH_IMAGE250
、人脸特征码
Figure 606903DEST_PATH_IMAGE251
替换元素
Figure 863095DEST_PATH_IMAGE243
中对应项的信息,并更新元素
Figure 880254DEST_PATH_IMAGE243
的时间戳
Figure 642744DEST_PATH_IMAGE252
为秒级时间戳
Figure 428958DEST_PATH_IMAGE253
若不存在其中一个元素
Figure 316104DEST_PATH_IMAGE243
与该人脸信息
Figure 868227DEST_PATH_IMAGE241
满足人脸框位置重叠度
Figure 940268DEST_PATH_IMAGE254
阈值
Figure 330057DEST_PATH_IMAGE255
或人脸特征码第二相似度
Figure 928053DEST_PATH_IMAGE256
阈值
Figure 385715DEST_PATH_IMAGE257
,则认为该人脸信息
Figure 583010DEST_PATH_IMAGE241
对应的人员没有出现过,需要添加该人脸信息
Figure 809728DEST_PATH_IMAGE241
为新缓存记录;新建一个元素
Figure 106853DEST_PATH_IMAGE258
,将人脸信息
Figure 51812DEST_PATH_IMAGE241
的人脸框位置
Figure 465655DEST_PATH_IMAGE259
,人脸姿态角
Figure 227772DEST_PATH_IMAGE260
,人脸图像
Figure 433149DEST_PATH_IMAGE261
,人脸特征码
Figure 382982DEST_PATH_IMAGE262
,秒级时间戳
Figure 580008DEST_PATH_IMAGE263
补充到元素
Figure 315407DEST_PATH_IMAGE264
;进一步根据人员类型进行分类判断,若该人脸信息
Figure 838490DEST_PATH_IMAGE241
对应人员为名单内人员,则马上推送该人脸信息
Figure 981811DEST_PATH_IMAGE241
,并将新元素
Figure 997176DEST_PATH_IMAGE264
分类标志位
Figure 52993DEST_PATH_IMAGE265
的值置为1;若该人脸信息
Figure 600173DEST_PATH_IMAGE241
对应人员为非名单内人员的陌生人,则将新元素
Figure 597092DEST_PATH_IMAGE264
推送标志位
Figure 424937DEST_PATH_IMAGE266
的值置为0;并将新元素
Figure 397578DEST_PATH_IMAGE264
存入缓存队列
Figure 581571DEST_PATH_IMAGE267
中,完成新缓存记录添加;
其中
Figure 430975DEST_PATH_IMAGE268
,原因是一般人脸识别算法都会有一个相似度推荐阈值,用于判定两张人脸图像所提取到的人脸特征码相似度是否可以判定为同一个人;但单一的阈值会出现,同一个人两张人脸图像提取到的人脸特征码相似度值,不满足阈值要求,从而会被判定为两个人;为此,本发明设置的第二相似度阈值
Figure 185878DEST_PATH_IMAGE269
也可适当低于算法判定同一个人的相似度推荐阈值
Figure 18884DEST_PATH_IMAGE270
通过对每一帧识别到的所有人脸都进行上述操作,并维护一个缓存队列
Figure 716521DEST_PATH_IMAGE267
,能有效针对名单内人员或非名单内人员的陌生人进行人员区分性去重识别;由于本发明没有采用其他传统特征,所需的去重特征为人脸框位置、人脸姿态角得到的人脸姿态分数和人脸相似度值;这些特征都是一般人脸算法都具备的信息,与摄像头场景无关,具备通用性;采用人脸框位置重叠度配合人脸算法的相似度双阈值,一方面能解决人员由于视频解码掉帧或人脸算法检测率低等,导致的人员跟丢问题,通过人脸算法的第二相似度阈值再次匹配跟踪上,有效减少名单内人员通行时,产生的额外错误通行记录;另一方面,采用人脸算法的相似度双阈值,即使人员长时间静止也能有效比对出,实现对静态目标和非静态目标都进行有效去重;不论是人脸框位置重叠度还是人脸算法的相似度计算,计算过程对算力要求不高,能在大部分设备上流畅运行;
综合上述优势,当名单内人员刚出现在摄像头画面时,抓拍到的人脸可能无法达到识别相似度阈值,会被判定为陌生人通行记录,但由于采用延迟
Figure 857482DEST_PATH_IMAGE271
秒推送,所以此时不会马上推送,仅会存在缓存队列
Figure 969406DEST_PATH_IMAGE267
内;当走到视频监控中间区域时,抓拍到的人脸可能达到识别相似度阈值,则会又判定为名单内人员通行记录,此时根据本发明的判断逻辑,会马上推送名单内人员信息,并在缓存队列
Figure 407651DEST_PATH_IMAGE267
内匹配到缓存记录,对该记录进行数据更新,且更新其分类标记为1;当名单内人员快离开摄像头画面时,抓拍到的人脸可能又无法达到识别相似度阈值,又会被判定为陌生人通行记录,此时根据缓存队列
Figure 401021DEST_PATH_IMAGE267
内的缓存记录,可以正常匹配到满足条件的缓存记录,且其分类标记为1,***并不会推送此条陌生人信息;因此,本发明能最大程度保证单人单次通过时,仅产生一条正确通行记录。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种人员去重识别方法,其特征在于:包括以下步骤:
S1、创建一个空的缓存队列
Figure 369213DEST_PATH_IMAGE001
,缓存队列
Figure 568245DEST_PATH_IMAGE001
的队列元素数据包含人脸图像
Figure 144719DEST_PATH_IMAGE002
、人脸框位置
Figure 336666DEST_PATH_IMAGE003
、人脸姿态分数
Figure 940254DEST_PATH_IMAGE004
、人脸特征码
Figure 293875DEST_PATH_IMAGE005
、分类标志位
Figure 92066DEST_PATH_IMAGE006
和元素添加时的秒级时间戳
Figure 822125DEST_PATH_IMAGE007
S2、从网络摄像头循环取出解码后的画面;假设其中一帧解码后的画面为
Figure 772895DEST_PATH_IMAGE008
,并获取当前时刻的秒级时间戳
Figure 297417DEST_PATH_IMAGE009
;检查缓存队列
Figure 848484DEST_PATH_IMAGE010
内所有队列元素的秒级时间戳,若当前时刻的秒级时间戳
Figure 116654DEST_PATH_IMAGE009
减去某队列元素
Figure 420465DEST_PATH_IMAGE011
的秒级时间戳
Figure 381468DEST_PATH_IMAGE012
,得到的差值
Figure 154252DEST_PATH_IMAGE013
则进一步判断队列元素
Figure 976846DEST_PATH_IMAGE011
的分类标志位
Figure 151475DEST_PATH_IMAGE014
的值,
Figure 17800DEST_PATH_IMAGE015
为人员在摄像头前正常通过时所需花费的时间,精确到秒;若
Figure 543459DEST_PATH_IMAGE016
,则推送该队列元素
Figure 405629DEST_PATH_IMAGE011
的数据,并从缓存队列
Figure 434765DEST_PATH_IMAGE017
中删除该队列元素
Figure 737571DEST_PATH_IMAGE011
;若
Figure 219368DEST_PATH_IMAGE018
,则直接从缓存队列
Figure 649343DEST_PATH_IMAGE017
中删除该队列元素
Figure 532985DEST_PATH_IMAGE011
S3、对该画面
Figure 6692DEST_PATH_IMAGE019
进行人脸检测,得到画面
Figure 225053DEST_PATH_IMAGE019
内的所有人脸信息,并对每个人脸信息的人脸图像进行人脸特征码提取,得到人脸图像对应的人脸特征码信息;
S4、分别对画面
Figure 176828DEST_PATH_IMAGE019
内所有人脸信息提取到的人脸特征码与名单内人员的人脸特征码一一进行人脸特征码第一相似度
Figure 446135DEST_PATH_IMAGE020
计算,并进行相似度值降序排序;若最大相似度值大于等于算法判定同一个人的相似度阈值
Figure 90743DEST_PATH_IMAGE021
,则认为该人脸信息对应人员为名单内人员,否则视为非名单内的陌生人;
S5、分别对画面
Figure 297865DEST_PATH_IMAGE019
内的所有人脸信息与缓存队列
Figure 318911DEST_PATH_IMAGE017
内的所有元素一一进行人脸框位置重叠度
Figure 911566DEST_PATH_IMAGE022
和人脸特征码第二相似度
Figure 973413DEST_PATH_IMAGE023
计算;
S6、若存在其中一个元素
Figure 917098DEST_PATH_IMAGE024
与某个人脸信息
Figure 741835DEST_PATH_IMAGE025
满足人脸框位置重叠度
Figure 454576DEST_PATH_IMAGE026
阈值
Figure 926140DEST_PATH_IMAGE027
或人脸特征码第二相似度
Figure 357121DEST_PATH_IMAGE028
阈值
Figure 454390DEST_PATH_IMAGE029
,则认为该人脸信息
Figure 802064DEST_PATH_IMAGE030
对应的人员已经出现过,进一步根据人员类型进行分类判断;
S7、若不存在其中一个元素
Figure 428217DEST_PATH_IMAGE024
与某个人脸信息
Figure 346494DEST_PATH_IMAGE030
满足人脸框位置重叠度
Figure 247454DEST_PATH_IMAGE026
阈值
Figure 669208DEST_PATH_IMAGE027
或人脸特征码第二相似度
Figure 748154DEST_PATH_IMAGE028
阈值
Figure 888148DEST_PATH_IMAGE029
;则新建一个元素
Figure 592799DEST_PATH_IMAGE031
,将人脸信息
Figure 134639DEST_PATH_IMAGE030
和时间戳
Figure 885951DEST_PATH_IMAGE032
补充到元素
Figure 513241DEST_PATH_IMAGE031
;进一步根据人员类型进行分类判断,设置新元素
Figure 756004DEST_PATH_IMAGE031
对应分类标志位
Figure 886771DEST_PATH_IMAGE033
;将新元素
Figure 307519DEST_PATH_IMAGE031
存入缓存队列
Figure 422105DEST_PATH_IMAGE034
中,完成新缓存记录添加。
2.根据权利要求1所述的一种人员去重识别方法,其特征在于:在步骤S2中,
Figure 202980DEST_PATH_IMAGE035
为正整数;在步骤S5中,人脸框位置重叠度
Figure 984991DEST_PATH_IMAGE036
为去重第一特征计算,人脸特征码第二相似度
Figure 75175DEST_PATH_IMAGE028
为去重第二特征计算。
3.根据权利要求1所述的一种人员去重识别方法,其特征在于:在步骤S5中人脸框位置重叠度
Figure 942637DEST_PATH_IMAGE036
的计算方法如下:
假设有矩形
Figure 527202DEST_PATH_IMAGE037
的左上角顶点坐标分别为
Figure 648873DEST_PATH_IMAGE038
Figure 660692DEST_PATH_IMAGE039
,其高度和宽度分别为
Figure 484291DEST_PATH_IMAGE040
Figure 138126DEST_PATH_IMAGE041
,矩形
Figure 621628DEST_PATH_IMAGE042
的左上角顶点坐标分别为
Figure 69927DEST_PATH_IMAGE043
Figure 380822DEST_PATH_IMAGE044
,其高度和宽度分别为
Figure 323502DEST_PATH_IMAGE045
Figure 403453DEST_PATH_IMAGE046
去重第一特征人脸框位置重叠度
Figure 288233DEST_PATH_IMAGE036
的计算公式如下:
Figure 86424DEST_PATH_IMAGE048
去重第一特征人脸框位置重叠度
Figure 65751DEST_PATH_IMAGE036
的数值范围为
Figure 209DEST_PATH_IMAGE049
4.根据权利要求3所述的一种人员去重识别方法,其特征在于:两个矩形边沿重叠不认为是重叠。
5.根据权利要求1所述的一种人员去重识别方法,其特征在于:在步骤S6中:
S61、若人脸信息
Figure 790310DEST_PATH_IMAGE050
为名单内人员,且元素
Figure 75798DEST_PATH_IMAGE051
内推送标志位
Figure 94701DEST_PATH_IMAGE052
的值为0,则马上推送该人脸信息
Figure 149244DEST_PATH_IMAGE050
,并修改元素
Figure 110247DEST_PATH_IMAGE051
内推送标志位
Figure 617452DEST_PATH_IMAGE052
的值为1;
S62、若该人脸信息
Figure 941510DEST_PATH_IMAGE050
为名单内人员,且元素
Figure 116140DEST_PATH_IMAGE051
内推送标志位
Figure 982464DEST_PATH_IMAGE052
的值为1,则不需推送该人脸信息
Figure 242544DEST_PATH_IMAGE050
S63、若人脸信息
Figure 603250DEST_PATH_IMAGE050
为非名单内人员,则不需判断元素
Figure 632386DEST_PATH_IMAGE051
内推送标志位
Figure 669612DEST_PATH_IMAGE052
的值;
S64、然后对人脸信息
Figure 151409DEST_PATH_IMAGE050
进行人脸姿态分数
Figure 814340DEST_PATH_IMAGE053
计算并判断。
6.根据权利要求5所述的一种人员去重识别方法,其特征在于:在步骤S64中,人脸姿态分数
Figure 963562DEST_PATH_IMAGE053
计算方法如下:
人脸姿态分数
Figure 437268DEST_PATH_IMAGE053
,根据人脸姿态角
Figure 406361DEST_PATH_IMAGE054
进行计算,其分别由
Figure 843290DEST_PATH_IMAGE055
Figure 847018DEST_PATH_IMAGE056
Figure 226047DEST_PATH_IMAGE057
三个角度组成,这三个角度的值范围均在
Figure 948015DEST_PATH_IMAGE058
度范围内,任意一个角度值越接近于零,人脸姿态角越好,对应的人脸姿态分数
Figure 949820DEST_PATH_IMAGE053
越高;
具体人脸姿态分数
Figure 808054DEST_PATH_IMAGE053
计算的公式如下:
Figure 623563DEST_PATH_IMAGE059
其中,人脸姿态分数
Figure 567249DEST_PATH_IMAGE053
的数值范围为
Figure 611559DEST_PATH_IMAGE060
Figure 589879DEST_PATH_IMAGE061
为计算实数的绝对值函数。
7.根据权利要求5所述的一种人员去重识别方法,其特征在于:在步骤S64中:
S641、若该人脸信息
Figure 576290DEST_PATH_IMAGE062
的人脸姿态分数
Figure 256539DEST_PATH_IMAGE063
高于元素
Figure 353808DEST_PATH_IMAGE064
内的人脸姿态分数
Figure 921055DEST_PATH_IMAGE065
,则使用该人脸信息
Figure 78367DEST_PATH_IMAGE062
的人脸图像
Figure 731066DEST_PATH_IMAGE066
、人脸姿态分数
Figure 382758DEST_PATH_IMAGE063
、人脸框位置
Figure 70091DEST_PATH_IMAGE067
、人脸特征码
Figure 398304DEST_PATH_IMAGE068
替换元素
Figure 790496DEST_PATH_IMAGE064
中对应项的信息;
S642、若该人脸信息
Figure 495147DEST_PATH_IMAGE062
的人脸姿态分数
Figure 36987DEST_PATH_IMAGE063
不高于元素
Figure 536101DEST_PATH_IMAGE064
内的人脸姿态分数
Figure 179703DEST_PATH_IMAGE065
,则只使用该人脸信息
Figure 156886DEST_PATH_IMAGE062
的人脸框位置
Figure 818812DEST_PATH_IMAGE067
、人脸特征码
Figure 488828DEST_PATH_IMAGE068
替换元素
Figure 852682DEST_PATH_IMAGE064
中对应项的信息;
S643、更新元素
Figure 633556DEST_PATH_IMAGE064
的时间戳
Figure 415567DEST_PATH_IMAGE069
为时间戳
Figure 272796DEST_PATH_IMAGE070
8.根据权利要求1所述的一种人员去重识别方法,其特征在于:在步骤S7中,若不存在其中一个元素
Figure 874678DEST_PATH_IMAGE064
与该人脸信息
Figure 459244DEST_PATH_IMAGE062
满足人脸框位置重叠度
Figure 830182DEST_PATH_IMAGE071
阈值
Figure 100057DEST_PATH_IMAGE072
或人脸特征码第二相似度
Figure 923657DEST_PATH_IMAGE073
阈值
Figure 311913DEST_PATH_IMAGE074
,则认为该人脸信息
Figure 271778DEST_PATH_IMAGE062
对应的人员没有出现过,需要添加该人脸信息
Figure 205230DEST_PATH_IMAGE062
为新缓存记录;新建一个元素
Figure 155607DEST_PATH_IMAGE075
,将人脸信息
Figure 81974DEST_PATH_IMAGE062
的人脸框位置
Figure 161926DEST_PATH_IMAGE076
,人脸姿态角
Figure 531858DEST_PATH_IMAGE077
,人脸图像
Figure 64471DEST_PATH_IMAGE078
,人脸特征码
Figure 528950DEST_PATH_IMAGE079
,秒级时间戳
Figure 994567DEST_PATH_IMAGE080
补充到元素
Figure 36865DEST_PATH_IMAGE075
;进一步根据人员类型进行分类判断,若该人脸信息
Figure 56774DEST_PATH_IMAGE062
对应人员为名单内人员,则马上推送该人脸信息
Figure 590523DEST_PATH_IMAGE062
,并将新元素
Figure 645067DEST_PATH_IMAGE075
分类标志位
Figure 91223DEST_PATH_IMAGE081
的值置为1;若该人脸信息
Figure 129586DEST_PATH_IMAGE062
对应人员为非名单内人员的陌生人,则将新元素
Figure 201447DEST_PATH_IMAGE075
推送标志位
Figure 110498DEST_PATH_IMAGE081
的值置为0;并将新元素
Figure 738007DEST_PATH_IMAGE075
存入缓存队列
Figure 466929DEST_PATH_IMAGE082
中,完成新缓存记录添加。
9.一种用于人员去重识别的存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时,实现权利要求1-8中任一项所述的一种人员去重识别方法的步骤。
10.一种用于人员去重识别的计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时,实现权利要求1-8中任一项所述的一种人员去重识别方法。
CN202210046435.4A 2022-01-17 2022-01-17 一种人员去重识别方法、存储介质及计算机设备 Active CN114067421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046435.4A CN114067421B (zh) 2022-01-17 2022-01-17 一种人员去重识别方法、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046435.4A CN114067421B (zh) 2022-01-17 2022-01-17 一种人员去重识别方法、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN114067421A CN114067421A (zh) 2022-02-18
CN114067421B true CN114067421B (zh) 2022-04-19

Family

ID=80231019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046435.4A Active CN114067421B (zh) 2022-01-17 2022-01-17 一种人员去重识别方法、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN114067421B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及***
CN110222627A (zh) * 2019-05-31 2019-09-10 深圳算子科技有限公司 一种人脸补录方法
WO2020094091A1 (zh) * 2018-11-07 2020-05-14 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控***
CN113255621A (zh) * 2021-07-13 2021-08-13 浙江大华技术股份有限公司 人脸图像过滤方法、电子设备和计算机可读存储介质
CN113269127A (zh) * 2021-06-10 2021-08-17 北京睿芯高通量科技有限公司 实时自动建库的人脸识别和行人重识别监控方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691925B2 (en) * 2017-10-28 2020-06-23 Altumview Systems Inc. Enhanced face-detection and face-tracking for resource-limited embedded vision systems
EP3706035A1 (en) * 2019-03-07 2020-09-09 Koninklijke Philips N.V. Device, system and method for tracking and/or de-identification of faces in video data
US11334746B2 (en) * 2019-05-01 2022-05-17 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group
CN112241687A (zh) * 2020-09-16 2021-01-19 安徽超视野智能科技有限公司 一种具有陌生人脸库功能的人脸识别方法及***
CN113537107A (zh) * 2021-07-23 2021-10-22 山东浪潮通软信息科技有限公司 一种基于深度学习的人脸识别及追踪方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094091A1 (zh) * 2018-11-07 2020-05-14 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控***
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及***
CN110222627A (zh) * 2019-05-31 2019-09-10 深圳算子科技有限公司 一种人脸补录方法
CN113269127A (zh) * 2021-06-10 2021-08-17 北京睿芯高通量科技有限公司 实时自动建库的人脸识别和行人重识别监控方法及***
CN113255621A (zh) * 2021-07-13 2021-08-13 浙江大华技术股份有限公司 人脸图像过滤方法、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Face Identification With Top-Push Constrained Generalized Low-Rank Approximation of Matrices;YUANJIAN CHEN .et.al;《IEEE ACCESS》;20191114;第7卷;160998-161007 *
多路实时监控视频数据处理与分析***的设计与实现;杜爽;《全国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第1期);I136-1957 *

Also Published As

Publication number Publication date
CN114067421A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Bäuml et al. Multi-pose face recognition for person retrieval in camera networks
Kart et al. How to make an rgbd tracker?
US11676390B2 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
JP2001216515A (ja) 人物の顔の検出方法およびその装置
WO2021139167A1 (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
Yen et al. Facial feature extraction using genetic algorithm
Avrithis et al. Broadcast news parsing using visual cues: A robust face detection approach
Tsai et al. Robust in-plane and out-of-plane face detection algorithm using frontal face detector and symmetry extension
CN113537107A (zh) 一种基于深度学习的人脸识别及追踪方法、装置及设备
CN111445442A (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
CN109146913B (zh) 一种人脸跟踪方法及装置
CN114067421B (zh) 一种人员去重识别方法、存储介质及计算机设备
e Souza et al. Survey on visual rhythms: A spatio-temporal representation for video sequences
Vural et al. Multi-view fast object detection by using extended haar filters in uncontrolled environments
CN108334811B (zh) 一种人脸图像处理方法及装置
Wei et al. Omni-face detection for video/image content description
Nakashima et al. Privacy protection for social video via background estimation and CRF-based videographer's intention modeling
CN112258575B (zh) 一种同步定位和地图构建中物体的快速识别方法
CN115115976A (zh) 视频处理方法、装置、电子设备及存储介质
US10147199B2 (en) Method and apparatus for determining an orientation of a video
Duanmu et al. A multi-view pedestrian tracking framework based on graph matching
Nigam et al. EgoTracker: Pedestrian tracking with re-identification in egocentric videos
Schmidt Feris et al. Detection and tracking of facial features in video sequences
Shen et al. Towards intelligent photo composition-automatic detection of unintentional dissection lines in environmental portrait photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant