CN109325964A - 一种人脸追踪方法、装置及终端 - Google Patents

一种人脸追踪方法、装置及终端 Download PDF

Info

Publication number
CN109325964A
CN109325964A CN201810939574.3A CN201810939574A CN109325964A CN 109325964 A CN109325964 A CN 109325964A CN 201810939574 A CN201810939574 A CN 201810939574A CN 109325964 A CN109325964 A CN 109325964A
Authority
CN
China
Prior art keywords
image
face
similarity
facial image
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810939574.3A
Other languages
English (en)
Other versions
CN109325964B (zh
Inventor
刘海莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Clp Smart Security Polytron Technologies Inc
Original Assignee
Shenzhen Clp Smart Security Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Clp Smart Security Polytron Technologies Inc filed Critical Shenzhen Clp Smart Security Polytron Technologies Inc
Priority to CN201810939574.3A priority Critical patent/CN109325964B/zh
Publication of CN109325964A publication Critical patent/CN109325964A/zh
Application granted granted Critical
Publication of CN109325964B publication Critical patent/CN109325964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及人脸追踪技术领域,公开了一种人脸追踪方法、装置及终端。其中,该人脸追踪方法包括:在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;计算所述待检测图像区域与所述待追踪人脸图像的相似度;当存在所述相似度大于预设阈值的待检测图像区域时,在视频帧图像中对所述待检测图像进行可视化标记。通过以上方式,本发明实施例能够降低人脸追踪的计算量,从而提高效率。

Description

一种人脸追踪方法、装置及终端
技术领域
本发明实施例涉及人脸追踪技术领域,尤其涉及一种人脸追踪方法、装置及终端。
背景技术
随着计算机技术的发展,图像处理技术应用到了越来越多的领域。其中基于图像序列的人脸追踪技术是从视频中检测出人脸,并在后续帧中捕获人脸位置、大小等信息的技术。
本发明的发明人在实现本发明的过程中,发现:目前的人脸追踪技术常常需在每一帧图像中进行人脸检测和识别,计算量大,效率低。
发明内容
本申请发明实施例提供一种人脸追踪方法、装置、及设备,能够降低人脸追踪的计算量,从而提高效率。
本发明实施例公开了如下技术方案:
第一方面,本发明实施例提供了一种人脸追踪方法,包括:
在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;计算所述待检测图像区域与所述待追踪人脸图像的相似度;当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像区域进行可视化标记。
可选地,所述在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像的步骤包括:从所述人脸图像提取人脸特征向量;根据所述人脸特征向量,判断所述人脸图像与预设人脸图像是否匹配;若匹配,则将所述人脸图像作为所述待追踪人脸图像。
可选地,所述计算各所述待检测图像区域与所述待追踪人脸图像的相似度,包括:在所述待追踪人脸图像中提取第一特征值和第二特征值;在所述待检测图像区域中提取第三特征值和第四特征值;计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
可选地,所述第一特征值、所述第三特征值为sift特征值,所述第二特征值、所述第四特征值为哈希特征值;所述计算所述第一特征值与第三特征值之间的第一子相似度,具体包括:通过knnMatch算法计算所述第一特征值和所述第三特征值之间的第一子相似度;所述计算所述第二特征值与第四特征值之间的第二子相似度,具体包括:通过汉明距离算法计算所述第二特征值与所述第四特征值之间的第二子相似度。
可选地,所述方法还包括:当存在所述相似度大于预设阈值的待检测图像区域时,利用所述待检测图像区域更新待追踪图像。
第二方面,本发明实施例提供了一种人脸追踪装置,包括:第一人脸检测模块,用于在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;人脸识别模块,用于在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;第二人脸检测模块,用于从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;相似度计算模块,用于计算所述待检测图像区域与所述待追踪人脸图像的相似度;标记模块,用于当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像进行可视化标记。
可选地,所述人脸识别模块包括:特征向量提取单元,用于从所述人脸图像提取人脸特征向量;判断单元,用于根据所述人脸特征向量,判断所述人脸图像与待追踪人脸是否匹配;确定单元,用于若匹配,则将所述人脸图像作为待追踪人脸图像。
可选地,所述相似度计算模块包括:第一提取单元,用于在所述待追踪人脸图像中提取第一特征值和第二特征值;第二提取单元,用于在所述待检测图像区域中提取第三特征值和第四特征值;第一计算单元,用于计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;第二计算单元,用于根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
可选地,所述装置还包括:更新模块,用于当存在所述相似度大于预设阈值的待检测图像区域时,利用所述待检测图像区域更新待追踪图像。
第三方面,本发明实施例提供了一种终端,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的人脸追踪方法。
第四方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上所述的人脸追踪方法。
第五方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上所述的人脸追踪方法。
在本实施例中,该人脸追踪的通过先检测视频帧图像序列,确定包含待追踪人脸的待追踪人脸图像,然后从后续视频帧图像中提取包含人脸的待检测图像区域,计算后续视频帧图像中的人脸部分与待追踪人脸图像的相似度,通过相似度判断后续视频帧图像中是否包括待追踪人脸图像中的人脸。避免了对每一后续视频帧图像均进行重新识别、匹配人脸,能够降低人脸追踪的计算量,从而提高效率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种人脸追踪方法的流程示意图;
图2为图1的人脸追踪方法的步骤140的流程示意图;
图3为图1的人脸追踪方法的步骤150的应用场景示意图;
图4为本发明实施例提供的一种人脸追踪方法的应用场景的流程示意图;
图5为本发明实施例提供的一种人脸追踪装置的模块示意图;
图6是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
基于人脸识别技术的疑犯追踪***,通过对长途客运站、火车站等公共场所进行监控,将视频中的人脸与疑犯数据库进行比对,一旦疑犯在人群中被识别出来即刻报警。从而能够大大减轻了管理人员的工作负荷,提高了抓捕效率,增加了城市的安全性。
目前的人脸追踪技术,常常需在每一帧图像中进行人脸检测和识别,计算量大,效率低,同时,在每一帧图像与疑犯图像进行对比时,使用的特征值单一,经常不能识别出疑犯,从而容易跟丢疑犯。
基于此,本发明实施例中提出一种人脸追踪方法、装置及终端,该方法和装置能够降低人脸追踪的计算量,从而提高效率。
本发明实施例的人脸追踪方法,可以在任何合适类型、具有用户交互装置和运算能力的处理器的移动终端中执行,例如监控终端、智能手机、平板电脑、掌上电脑以及其他移动终端。
本发明实施例的人脸追踪装置,可以作为其中一个软件或者硬件功能单元,独立设置在上述移动终端中,也可以作为整合在处理器中的其中一个功能模块,执行本发明实施例的人脸追踪方法。
具体地,下面结合附图,对本发明实施例作进一步阐述。
实施例1:
请参阅图1,图1为本发明实施例提供的一种人脸追踪方法的流程示意图。如图1所示,该方法包括:
110、在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像。
其中,视频帧图像序列包含若干个帧图像,第一视频帧图像为视频帧图像序列中的其中一帧图像,并且,该帧图像中包含人脸。例如,假设视频帧图像序列包括100帧图像,第50帧图像出现人脸,则第一视频帧图像为视频帧图像序列中的第50帧图像。
其中,人脸图像为在第一视频帧图像中检测到的人脸部分,一个人脸图像只包含一张人脸,没有其他的人脸,并且人脸图像的边界几乎与人脸对齐,没有其他多余的内容,例如背景等等。因为在视频中往往是多个人同时出现的,因此第一视频帧图像中可以包括一个或者多个人脸图像。
在第一视频帧图像中获取包含人脸的人脸图像,具体实施方式可以为:利用人脸识别算法在该第一视频帧图像中检测人脸,并截取包含人脸的人脸图像。人脸识别算法可以为MTCNN算法。MTCNN算法包括P-Net、R-Net、O-Net三个CNN级联,首先,通过P-Net生成候选窗和边框回归向量(bounding box regression vectors);然后,通过N-Net改善候选窗;最后,通过O-Net输出最终的人脸图像,从而获取人脸图像。
120、在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像。
在从第一视频帧图像中获取人脸图像后,对一个或者多个人脸图像进行识别,获取包含待追踪人脸的人脸图像,并将其作为待追踪人脸图像。
其中,步骤120可以包括:121、从所述人脸图像提取人脸特征向量;122、根据所述人脸特征向量,判断所述人脸图像与所述预设人脸图像是否匹配;123、若匹配,则将所述人脸图像作为所述待追踪人脸图像。
其中,步骤121具体可以为:通过FaceNet算法从人脸图像提取人脸特征向量。预设人脸图像为预先设置的需要进行追踪的人脸,步骤122具体可以为:通过K-邻近算法(KNN)根据人脸特征向量判断人脸图像与预设人脸图像是否匹配。
其中,步骤120还包括:124、若不匹配,则在另一人脸图像中识别包含待追踪人脸的待追踪人脸图像,直至识别到待追踪人脸图像为止。
130、从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域。
其中,后续视频帧图像为第一视频帧图像之后的视频帧图像,例如可以为第一视频帧图像的下一帧图像,或者第一视频帧图像之后的第五帧图像等等。包含人脸的待检测图像区域为后续视频帧图像中检测到有人脸的图像区域。获取后续视频帧图像之后,对该后续视频帧图像进行人脸检测,将有人脸的部分作为待检测图像区域。
从后续视频帧图像中提取包含人脸的待检测图像区域,具体实施方式可以为:利用人脸识别算法在该后续视频帧图像中检测人脸,并截取包含人脸的人脸图像。人脸识别算法可以为MTCNN算法。
140、计算各所述待检测图像区域与所述待追踪人脸图像的相似度。
其中,请参阅图2,步骤140包括:141、在所述待追踪人脸图像中提取第一特征值和第二特征值;142、在所述待检测图像区域中提取第三特征值和第四特征值;143、计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;144、根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
其中,第一特征值、第三特征值可以为sift特征值,第二特征值、第四特征值可以为哈希特征值,步骤143具体可以为通过knnMatch算法计算第一特征值和第三特征值之间的第一子相似度,以及,通过汉明距离算法计算第二特征值与第四特征值之间的第二子相似度。
其中,步骤144的具体实施方式可以为:对第一子相似度和第二子相似度按照预设权重进行加权平均计算,得到加权平均值,将该加权平均值作为待检测图像区域与待追踪人脸图像的相似度。例如,假设第一子相似度为72,预设权重为40%,第二子相似度为81,预设权重为60%,则加权平均值为(72*40%+81*60%)=77.4,即相似度为77.4。
需要说明的是,第一视频帧图像可以为出现待追踪人脸的第一帧图像,也可以为出现待追踪人脸的第n帧图像;后续视频帧图像可以为第一视频帧图像之后的第一帧图像,也可以为第一视频帧图像之后的第n帧图像。因此在计算相似度时,每一后续视频帧图像可以与前一第一视频帧图像计算相似度,也可以与前n个第一视频帧图像计算相似度。例如,假设在5帧视频帧图像中,第1、4帧不包含待追踪人脸,第2、3帧包含待追踪人脸,在判断第5帧视频帧图像是否包含待追踪人脸时,可将第5帧视频帧图像与第2帧视频帧图像计算相似度,或者将第5帧视频帧图像与第3帧视频帧图像计算相似度,从而进行判断。
150、当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像区域进行可视化标记。
计算得到相似度后,判断相似度与预设阈值的的大小,若相似度大于预设阈值,则在后续视频帧图像中对待检测图像区域进行可视化标记。其中,可视化标记可以为用方框进行标识(如图3所示),例如用红色方框进行标识。
在一些其他实施例中,一视频帧图像中往往包含多张人脸,视频图像帧序列中的人脸是动态变化的,需要对进入视频图像中的每张人脸进行人脸识别,以识别多个疑犯。但一视频帧图像中的人脸可能在前一时刻已经经过人脸识别,在下一帧中仍然存在,为了避免重复进行人脸识别又不漏过任何一个进入监视区域的人脸,在进行人脸识别前,所述方法还包括维护一个特征值集合的步骤,该步骤包括:在对人脸图像进行人脸识别前,提取人脸图像的sift特征值和哈希特征值,判断是否在特征值集合中;若否,则对该人脸图像进行人脸识别,判断是否包含待追踪人脸,并将其sift特征值和哈希特征值加入集合中;若是则不对该人脸图像进行人脸识别。
可选地,当进行相似度计算,预设次数之后,特征值集合内的元素没有被选用,则视为该人脸已经超出追踪范围,则将相应的元素删除。
在本实施例中,该人脸追踪方法通过先检测视频帧图像序列,确定包含待追踪人脸的待追踪人脸图像,然后从后续视频帧图像中提取包含人脸的待检测图像区域,计算后续视频帧图像中的人脸部分与待追踪人脸图像的相似度,通过相似度判断后续视频帧图像中是否包括待追踪人脸中的人脸。避免了对每一后续视频帧图像均进行重新识别、匹配人脸,能够降低人脸追踪的计算量,从而提高效率。
实施例2:
请参阅图4,图4为本发明实施例提供的一种人脸追踪方法的应用场景的流程示意图。当将该人脸追踪方法应用于疑犯追踪***中使用时,如图4所示,该方法包括:
211、获取视频帧图像序列中的第一视频帧图像;
212、通过MTCNN算法在第一视频帧图像中获取人脸图像;
221、通过FaceNet算法从人脸图像提取人脸特征向量;
222、根据人脸特征向量,通过KNN算法判断人脸图像与预设疑犯人脸图像是否匹配;
223、若匹配,则将该人脸图像作为待追踪人脸图像;
224、对待追踪人脸图像提取第一sift特征值和第二哈希特征值;
231、继续从视频帧图像序列中获取保护人脸的视频帧图像,将该视频帧图像作为后续视频帧图像,并通过MTCNN算法从后续视频帧图像中提取包含人脸的待检测图像区域;
232、对待检测图像区域提取第三sift特征值和第四哈希特征值;
241、通过knnMatch算法,计算第一sift特征值和第三sift特征值之间的第一子相似度;
242、通过汉明距离算法,计算第二哈希特征值与第四哈希特征值之间的第二子相似度;
243、对第一子相似度和第二子相似度按照预设权重进行加权平均计算,得到加权平均值,将该加权平均值作为待检测图像区域与待追踪人脸图像的相似度;
250、判断相似度与预设阈值的大小,若相似度大于预设阈值,则在后续视频帧图像中对相应的待检测图像区域用红色方框进行标识。
在本实施例中,该人脸追踪方法通过在视频帧图像序列中检测人脸图像,提取人脸图像中的人脸特征信息,当人脸特征信息与疑犯人脸图像匹配时,通过提取sift特征值和哈希特征值将该人脸图像与其他视频帧中的人脸图像进行匹配,以获得其他视频帧中匹配的人脸图像。从而实现在视频中追踪疑犯时,只取少数帧数利用深度学习识别检验人脸读取身份,接着使用时间成本更小的sift和哈希特征值对目标物体进行定位跟踪,避免对每一视频帧图像均进行重新识别、匹配人脸,能够降低人脸追踪的计算量,从而提高效率。
实施例3:
请参阅图5,图5为本发明实施例提供的一种人脸追踪装置的模块示意图。该人脸追踪装置300包括第一人脸检测模块310、人脸识别模块320、第二人脸检测模块330、相似度计算模块340、标记模块350。
其中,第一人脸检测模块310与人脸识别模块320连接,人脸识别模块320与相似度计算模块340连接,第二人脸检测模块330与相似度计算模块340连接,相似度计算模块340与标记模块350连接。第一人脸检测模块310用于在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;人脸识别模块320用于在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;第二人脸检测模块330用于从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;相似度计算模块340用于计算所述待检测图像区域与所述待追踪人脸图像的相似度;标记模块350用于当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像进行可视化标记。
其中,人脸识别模块320包括:特征向量提取单元,用于从所述人脸图像提取人脸特征向量;判断单元,用于根据所述人脸特征向量,判断所述人脸图像与待追踪人脸是否匹配;确定单元,用于若匹配,则将所述人脸图像作为待追踪人脸图像。
其中,相似度计算模块340包括:第一提取单元,用于在所述待追踪人脸图像中提取第一特征值和第二特征值;第二提取单元,用于在所述待检测图像区域中提取第三特征值和第四特征值;第一计算单元,用于计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;第二计算单元,用于根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
其中,该人脸追踪装置300还包括:集合模块370,用于在对人脸图像进行人脸识别前,提取人脸图像的sift特征值和哈希特征值,判断是否在特征值集合中;若否,则对该人脸图像进行人脸识别,判断是否包含待追踪人脸,并将其sift特征值和哈希特征值加入集合中;若是则不对该人脸图像进行人脸识别。
在本发明实施例中,该人脸追踪装置300通过第一人脸检测模块310先检测视频帧图像序列,人脸识别模块320确定包含待追踪人脸的待追踪人脸图像,然后第二人脸识别模块330从后续视频帧图像中提取包含人脸的待检测图像区域,相似度计算模块340计算后续视频帧图像中的人脸部分与待追踪人脸图像的相似度,标记模块350通过相似度判断后续视频帧图像中是否包括待追踪人脸中的人脸,并对包括待追踪人脸的后续视频帧图像进行标记。避免了对每一后续视频帧图像均进行重新识别、匹配人脸,能够降低人脸追踪的计算量,从而提高效率。
实施例4:
如图6所示,图6为本发明实施例提供的一种终端的结构示意图。其中,该终端可以独立的设备,也可以整合为一个模块或单元。该终端00包括:一个或多个处理器401以及存储器402,图6中以一个处理器401为例。
处理器401和存储器402可以通过总线或者其他方式连接,图6中以通过总线连接为例。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的软件升级方法对应的程序指令/模块(例如,附图5所示的第一人脸检测模块310、人脸识别模块320、第二人脸检测模块330、相似度计算模块340、标记模块350等等)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及单元,从而执行云端设备的各种功能应用以及数据处理,即实现所述方法实施例的人脸追踪方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据云端设备使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器302可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至云端设备。所述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器402中,当被所述一个或者多个处理器401执行时,执行实施例1、实施例2、实施例3中的人脸追踪方法和装置。
该终端400可执行所述任意方法实施例1、实施例2、实施例3中的人脸追踪方法和装置,具备执行方法相应的功能模块和有益效果。未在云端设备实施例中详尽描述的技术细节,可参见执行实施例1、实施例2、实施例3中的人脸追踪方法和装置。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被终端400执行时,使终端400执行实施例1、实施例2、实施例3中的人脸追踪方法和装置。例如,执行以上描述的图1中的方法步骤110至步骤150,实现图5中的310-350模块的功能。
本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使终端400执行实施例1、实施例2、实例3中的人脸追踪方法和装置。
本申请实施例的终端400可以以多种形式存在,包括但不限于:监控终端、超级计算机等等。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现所述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如所述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸追踪方法,其特征在于,包括:
在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;
在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;
从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;
计算所述待检测图像区域与所述待追踪人脸图像的相似度;
当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像区域进行可视化标记。
2.根据权利要求1所述的人脸追踪方法,其特征在于,所述在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像的步骤包括:
从所述人脸图像提取人脸特征向量;
根据所述人脸特征向量,判断所述人脸图像与预设人脸图像是否匹配;
若匹配,则将所述人脸图像作为所述待追踪人脸图像。
3.根据权利要求1所述的人脸追踪方法,其特征在于,所述计算所述待检测图像区域与所述待追踪人脸图像的相似度,包括:
在所述待追踪人脸图像中提取第一特征值和第二特征值;
在所述待检测图像区域中提取第三特征值和第四特征值;
计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;
根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
4.根据权利要求3所述的人脸追踪方法,其特征在于,所述第一特征值、所述第三特征值为sift特征值,所述第二特征值、所述第四特征值为哈希特征值;
所述计算所述第一特征值与第三特征值之间的第一子相似度,具体包括:通过knnMatch算法计算所述第一特征值和所述第三特征值之间的第一子相似度;
所述计算所述第二特征值与第四特征值之间的第二子相似度,具体包括:通过汉明距离算法计算所述第二特征值与所述第四特征值之间的第二子相似度。
5.根据权利要求1-4任一项所述的人脸追踪方法,其特征在于,所述方法还包括:
当存在所述相似度大于预设阈值的待检测图像区域时,利用所述待检测图像区域更新待追踪图像。
6.一种人脸追踪装置,其特征在于,包括:
第一人脸检测模块,用于在视频帧图像序列中的一第一视频帧图像中获取包含人脸的一个或多个人脸图像;
人脸识别模块,用于在所述人脸图像中识别包含待追踪人脸的待追踪人脸图像;
第二人脸检测模块,用于从所述视频帧图像序列的后续视频帧图像中提取包含人脸的待检测图像区域;
相似度计算模块,用于计算所述待检测图像区域与所述待追踪人脸图像的相似度;
标记模块,用于当存在所述相似度大于预设阈值的待检测图像区域时,在所述后续视频帧图像中对所述待检测图像进行可视化标记。
7.根据权利要求6所述的人脸追踪装置,其特征在于,所述人脸识别模块包括:
特征向量提取单元,用于从所述人脸图像提取人脸特征向量;
判断单元,用于根据所述人脸特征向量,判断所述人脸图像与待追踪人脸是否匹配;
确定单元,用于若匹配,则将所述人脸图像作为待追踪人脸图像。
8.根据权利要求6所述的人脸追踪装置,其特征在于,所述相似度计算模块包括:
第一提取单元,用于在所述待追踪人脸图像中提取第一特征值和第二特征值;
第二提取单元,用于在所述待检测图像区域中提取第三特征值和第四特征值;
第一计算单元,用于计算所述第一特征值与第三特征值之间的第一子相似度,以及,计算所述第二特征值与第四特征值之间的第二子相似度;
第二计算单元,用于根据所述第一子相似度和第二子相似度,并结合预设加权算法,计算所述待检测图像区域与所述待追踪人脸图像的相似度。
9.根据权利要求6-8任一项所述的人脸追踪装置,其特征在于,所述装置还包括:
更新模块,用于当存在所述相似度大于预设阈值的待检测图像区域时,利用所述待检测图像区域更新待追踪图像。
10.一种终端,其特征在于,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5任一项所述的方法。
CN201810939574.3A 2018-08-17 2018-08-17 一种人脸追踪方法、装置及终端 Active CN109325964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810939574.3A CN109325964B (zh) 2018-08-17 2018-08-17 一种人脸追踪方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810939574.3A CN109325964B (zh) 2018-08-17 2018-08-17 一种人脸追踪方法、装置及终端

Publications (2)

Publication Number Publication Date
CN109325964A true CN109325964A (zh) 2019-02-12
CN109325964B CN109325964B (zh) 2020-08-28

Family

ID=65264265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810939574.3A Active CN109325964B (zh) 2018-08-17 2018-08-17 一种人脸追踪方法、装置及终端

Country Status (1)

Country Link
CN (1) CN109325964B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659564A (zh) * 2019-08-12 2020-01-07 万翼科技有限公司 区域内用户追踪方法、装置、计算机设备以及存储介质
CN110706250A (zh) * 2019-09-27 2020-01-17 广东博智林机器人有限公司 一种对象的跟踪方法、装置、***及存储介质
CN110879970A (zh) * 2019-10-21 2020-03-13 武汉兴图新科电子股份有限公司 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质
CN111311634A (zh) * 2020-01-23 2020-06-19 支付宝实验室(新加坡)有限公司 一种人脸图像检测方法、装置及设备
CN111444817A (zh) * 2020-03-24 2020-07-24 咪咕文化科技有限公司 一种人物图像识别方法、装置、电子设备和存储介质
CN111680621A (zh) * 2020-06-05 2020-09-18 浙江新再灵科技股份有限公司 一种基于视频图像的电梯门状态检测方法
CN111784750A (zh) * 2020-06-22 2020-10-16 深圳日海物联技术有限公司 视频图像中移动物体追踪方法、装置、设备以及存储介质
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN112016353A (zh) * 2019-05-30 2020-12-01 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN112562159A (zh) * 2020-11-24 2021-03-26 恒安嘉新(北京)科技股份公司 一种门禁控制方法、装置、计算机设备和存储介质
CN112825116A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN113469040A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113705510A (zh) * 2021-09-02 2021-11-26 广州市奥威亚电子科技有限公司 目标识别跟踪的方法、装置、设备及存储介质
CN114299428A (zh) * 2021-12-24 2022-04-08 空间视创(重庆)科技股份有限公司 一种跨媒体视频人物识别方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪***及方法
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN106156755A (zh) * 2016-07-29 2016-11-23 深圳云天励飞技术有限公司 一种人脸识别中的相似度计算方法及***
CN106534967A (zh) * 2016-10-25 2017-03-22 司马大大(北京)智能***有限公司 视频剪辑方法及装置
CN106570465A (zh) * 2016-10-31 2017-04-19 深圳云天励飞技术有限公司 一种基于图像识别的人流量统计方法及装置
CN107612815A (zh) * 2017-09-19 2018-01-19 北京金山安全软件有限公司 一种信息发送方法、装置及设备
CN107798308A (zh) * 2017-11-09 2018-03-13 石数字技术成都有限公司 一种基于短视频训练法的人脸识别方法
CN107862242A (zh) * 2017-09-19 2018-03-30 汉柏科技有限公司 一种基于Map‑Reduce的海量人脸特征比对方法及***
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 基于视频序列的人脸识别方法和装置
US20180181813A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪***及方法
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN106156755A (zh) * 2016-07-29 2016-11-23 深圳云天励飞技术有限公司 一种人脸识别中的相似度计算方法及***
CN106534967A (zh) * 2016-10-25 2017-03-22 司马大大(北京)智能***有限公司 视频剪辑方法及装置
CN106570465A (zh) * 2016-10-31 2017-04-19 深圳云天励飞技术有限公司 一种基于图像识别的人流量统计方法及装置
US20180181813A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices
CN107612815A (zh) * 2017-09-19 2018-01-19 北京金山安全软件有限公司 一种信息发送方法、装置及设备
CN107862242A (zh) * 2017-09-19 2018-03-30 汉柏科技有限公司 一种基于Map‑Reduce的海量人脸特征比对方法及***
CN107798308A (zh) * 2017-11-09 2018-03-13 石数字技术成都有限公司 一种基于短视频训练法的人脸识别方法
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 基于视频序列的人脸识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMAN BASHBAGHI等: "Ensembles of Exemplar-SVMs for Video Face Recognition from a Single Sample Per Person", 《2015 12TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE 》 *
李静天: "复杂环境下的人脸识别技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016353A (zh) * 2019-05-30 2020-12-01 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN112016353B (zh) * 2019-05-30 2024-05-21 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN110659564A (zh) * 2019-08-12 2020-01-07 万翼科技有限公司 区域内用户追踪方法、装置、计算机设备以及存储介质
CN110706250A (zh) * 2019-09-27 2020-01-17 广东博智林机器人有限公司 一种对象的跟踪方法、装置、***及存储介质
CN110706250B (zh) * 2019-09-27 2022-04-01 广东博智林机器人有限公司 一种对象的跟踪方法、装置、***及存储介质
CN110879970A (zh) * 2019-10-21 2020-03-13 武汉兴图新科电子股份有限公司 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备
CN112825116B (zh) * 2019-11-20 2024-04-09 北京眼神智能科技有限公司 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN112825116A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111062292B (zh) * 2019-12-10 2022-07-29 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111079670B (zh) * 2019-12-20 2023-11-03 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质
CN111311634B (zh) * 2020-01-23 2024-02-27 支付宝实验室(新加坡)有限公司 一种人脸图像检测方法、装置及设备
CN111311634A (zh) * 2020-01-23 2020-06-19 支付宝实验室(新加坡)有限公司 一种人脸图像检测方法、装置及设备
CN111444817A (zh) * 2020-03-24 2020-07-24 咪咕文化科技有限公司 一种人物图像识别方法、装置、电子设备和存储介质
CN111444817B (zh) * 2020-03-24 2023-07-07 咪咕文化科技有限公司 一种人物图像识别方法、装置、电子设备和存储介质
CN111680621A (zh) * 2020-06-05 2020-09-18 浙江新再灵科技股份有限公司 一种基于视频图像的电梯门状态检测方法
CN111784750A (zh) * 2020-06-22 2020-10-16 深圳日海物联技术有限公司 视频图像中移动物体追踪方法、装置、设备以及存储介质
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111832549B (zh) * 2020-06-29 2024-04-23 深圳市优必选科技股份有限公司 数据标注方法及装置
CN112562159B (zh) * 2020-11-24 2022-10-14 恒安嘉新(北京)科技股份公司 一种门禁控制方法、装置、计算机设备和存储介质
CN112562159A (zh) * 2020-11-24 2021-03-26 恒安嘉新(北京)科技股份公司 一种门禁控制方法、装置、计算机设备和存储介质
CN113469040A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
WO2023273022A1 (zh) * 2021-06-30 2023-01-05 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品
CN113469040B (zh) * 2021-06-30 2023-10-24 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113705510A (zh) * 2021-09-02 2021-11-26 广州市奥威亚电子科技有限公司 目标识别跟踪的方法、装置、设备及存储介质
CN114299428A (zh) * 2021-12-24 2022-04-08 空间视创(重庆)科技股份有限公司 一种跨媒体视频人物识别方法及***

Also Published As

Publication number Publication date
CN109325964B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109325964A (zh) 一种人脸追踪方法、装置及终端
US11354901B2 (en) Activity recognition method and system
CN110427905B (zh) 行人跟踪方法、装置以及终端
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
US9134399B2 (en) Attribute-based person tracking across multiple cameras
US8452096B2 (en) Identifying descriptor for person or object in an image
US20140169663A1 (en) System and Method for Video Detection and Tracking
CN105760849B (zh) 基于视频的目标对象行为数据获取方法及装置
Bedagkar-Gala et al. Multiple person re-identification using part based spatio-temporal color appearance model
US20130259324A1 (en) Method for face recognition
Bedagkar-Gala et al. Gait-assisted person re-identification in wide area surveillance
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
KR102177453B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
Ghorbel et al. A view-invariant framework for fast skeleton-based action recognition using a single rgb camera
Andiani et al. Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
Cai et al. A target tracking method based on KCF for omnidirectional vision
Dasari et al. Mpeg cdvs feature trajectories for action recognition in videos
CN109726621A (zh) 行人检测方法、装置及设备
CN112749605A (zh) 身份识别方法、***和设备
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN114359646A (zh) 一种视频分析方法、装置、***、电子设备和介质
Kumar et al. Pedestrian Tracking in UAV Images With Kalman Filter Motion Estimator and Correlation Filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant