CN109241345B - 基于人脸识别的视频定位方法和装置 - Google Patents

基于人脸识别的视频定位方法和装置 Download PDF

Info

Publication number
CN109241345B
CN109241345B CN201811178561.5A CN201811178561A CN109241345B CN 109241345 B CN109241345 B CN 109241345B CN 201811178561 A CN201811178561 A CN 201811178561A CN 109241345 B CN109241345 B CN 109241345B
Authority
CN
China
Prior art keywords
image
frame
images
video
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811178561.5A
Other languages
English (en)
Other versions
CN109241345A (zh
Inventor
李元朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811178561.5A priority Critical patent/CN109241345B/zh
Publication of CN109241345A publication Critical patent/CN109241345A/zh
Application granted granted Critical
Publication of CN109241345B publication Critical patent/CN109241345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种基于人脸识别的视频定位方法和装置。该方法包括:对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;对包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;从每个集合中选取多个帧图像;比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置。本发明实施例能够快速、准确的识别出视频中出现人脸图像的帧图像,并且,有针对性的识别出目标人物的人脸图像在哪些帧图像中出现。因此,有利于辅助视频编辑,对视频进行优化处理。

Description

基于人脸识别的视频定位方法和装置
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种基于人脸识别的视频定位方法和装置。
背景技术
在一个视频中,可能包括各种各样人物。这些人物可能在视频播放的某些时间出现,某些时间不出现。如果需要将视频中的有些人物图像剪辑掉,需要编辑人工查看该视频,在发现需要剪辑到的人物图像时,将该人物图像出现的时间等信息记录下来,再进行剪辑操作。
人工查看视频中的人物图像耗时长,如果视频中的某些场景转换太快,还容易漏掉想要剪掉的人物图像。
发明内容
本发明实施例提供一种基于人脸识别的视频定位方法和装置,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种基于人脸识别的视频定位方法,包括:
对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;
对包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;
从每个集合中选取多个帧图像;
比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置。
在一种实施方式中,对包括人脸图像的各帧图像进行目标跟踪,包括:
采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪。
在一种实施方式中,采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪,包括:
检测人脸图像在各帧图像中的位置;
计算人脸图像在相邻帧图像中的位置偏移量;
如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
在一种实施方式中,计算人脸图像在相邻帧图像中的位置偏移量,包括:
如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
在一种实施方式中,从每个集合中选取多个帧图像,包括:
根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
在一种实施方式中,比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置,包括:
计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度;
如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现;
获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
第二方面,本发明实施例提供了一种基于人脸识别的视频定位装置,包括:
人脸识别模块,用于对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;
目标跟踪模块,用于对包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;
选取模块,用于从每个集合中选取多个帧图像;
定位模块,用于比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置。
在一种实施方式中,所述目标跟踪模块还用于采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪。
在一种实施方式中,所述目标跟踪模块还用于检测人脸图像在各帧图像中的位置;计算人脸图像在相邻帧图像中的位置偏移量;如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
在一种实施方式中,所述目标跟踪模块还用于如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
在一种实施方式中,所述选取模块还用于根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
在一种实施方式中,所述定位模块还用于计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度;如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现;获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
第三方面,本发明实施例提供了一种基于人脸识别的视频定位装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述基于人脸识别的视频定位方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储基于人脸识别的视频定位装置所用的计算机软件指令,其包括用于执行上述基于人脸识别的视频定位方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果:能够快速、准确的识别出视频中出现人脸图像的帧图像,并且,有针对性的识别出目标人物的人脸图像在哪些帧图像中出现。因此,有利于辅助视频编辑,对视频进行优化处理。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的基于人脸识别的视频定位方法的流程图。
图2示出根据本发明实施例的基于人脸识别的视频定位方法的流程图。
图3示出根据本发明实施例的基于人脸识别的视频定位方法的流程图。
图4示出根据本发明实施例的基于人脸识别的视频定位装置的结构框图。
图5示出根据本发明实施例的基于人脸识别的视频定位装置的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的基于人脸识别的视频定位方法的流程图。如图1所示,该基于人脸识别的视频定位方法可以包括:
步骤S11、对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像。
步骤S12、对包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合。
步骤S13、从每个集合中选取多个帧图像。
步骤S14、比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置。
一般来说,视频包括若干的帧图像,每个帧图像具有对应的帧号。通常,每个帧图像在视频中还具有对应的播放时刻。有些帧图像中具有风景,有些帧图像中具有人物。在具有人物的帧图像中,有些帧图像中的人脸图像可能有一个,有些帧图像中的人脸图像可能有多个。
在本发明实施例中,可以对视频的所有帧图像进行人脸识别,也可以先对视频的一部分例如前10%的帧图像进行人脸识别,再对后续的帧图像分段进行人脸识别。这样,可以将视频中包括人脸图像的帧图像筛选出来。
在一种实施方式中,在步骤S12中,对包括人脸图像的各帧图像进行目标跟踪,包括:采用核KCF(Kernel Correlation Filter核相关滤波)算法,对包括人脸图像的各帧图像进行目标跟踪。然后,可以将包括同一人物的人脸图像的各帧图像作为一个集合,可能得到多个集合。
例如,如果帧号010到030包括人物A的人脸图像,帧号040到050包括人物B的人脸图像,将帧号010到030的帧图像作为一个集合S1,帧号040到050的帧图像作为一个集合S2。
一个帧图像中可能出现多个人物的人脸图像,因此,同一个帧图像可能属于不同的集合。例如,如果帧号010到030包括人物A的人脸图像,帧号020到050包括人物C的人脸图像,将帧号010到030的帧图像作为一个集合S1,帧号020到050的帧图像作为一个集合S3。
在一种实施方式中,如图2所示,采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪,包括:
步骤S21、检测人脸图像在各帧图像中的位置。
步骤S22、计算人脸图像在相邻帧图像中的位置偏移量。
步骤S23、如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
在本发明实施例中,可以根据人脸图像在各帧图像中的位置偏移量,确定出这些帧图像中包括的人脸图像是否属于同一人物。通常同一人物在相邻帧图像中出现的位置偏移量不会太远。因此可以计算人脸图像在相邻帧图像中的位置偏移量。如果该差值小于一定阈值,可以判定相邻帧图像判定包括同一人物的人脸图像。
在一种示例中,计算人脸图像在相邻帧图像中的位置偏移量可以包括:计算人脸图像在相邻帧图像中的中心点坐标的差值或距离。例如:帧图像F1中人脸图像的中心坐标为(x1,y1),帧图像F2中人脸图像的中心坐标为(x2,y2),二者的差值可以为(x2-x1,y2-y1)。二者距离可以为欧氏距离或余弦距离等。
在另一种示例中,计算人脸图像在相邻帧图像中的位置偏移量可以包括:计算人脸图像在相邻帧图像中的中心点坐标的差值后,再计算该差值与帧图像大小的比例。例如,帧图像F1中人脸图像的中心坐标为(x1,y1),帧图像F2中人脸图像的中心坐标为(x2,y2),二者的差值可以为(x2-x1,y2-y1)。如果帧图像的长度为x,宽度为y,可以计算比例(x2-x1)/x,以及(y2-y1)/y,将这些比例作为偏移量。
因此,偏移量阈值也可以按照偏移量的计算方法来对应地设置。例如,设置长度差的阈值,宽度差的阈值,欧氏距离的阈值,比例阈值等。
在一种实施方式中,计算人脸图像在相邻帧图像中的位置偏移量,包括:
如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
在视频拍摄过程中,可能出现镜头的拉伸或缩放,使得同一人脸图像产生放大或者缩小的区块。例如,如果帧图像F1和F2为相邻帧图像,并且,帧图像F2与帧图像F1相比出现了拉伸,则可以先按照拉伸的比例对F2进行坐标转换,再比较F2与F1中人脸图像的位置偏移量。
在一种实施方式中,步骤S13从每个集合中选取多个帧图像,包括:
根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
例如,某个集合中包括20个帧图像,可以从这20个帧图像中选取几个画质高的例如分辨率高且清晰度高的帧图像。这样,在后续进行目标人物识别时,有利于得到准确的识别结果。
在一种实施方式中,如图3所示,步骤S14比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置,包括:
步骤S31、计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度。
步骤S32、如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现。
步骤S33、获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
如果从某个集合中选取的所有帧图像中都包括目标人物的人脸图像,可以判定这个集合中包括的帧图像大概率属于这个目标人物。其中,目标人物的人脸图像可以由用户自行提供,可以在数据库中预存一些人物,例如需要禁止播放的黑名单人物的照片等。在需要对某个视频进行剪辑等处理时,可以数据库中调出一个或多个目标人物的人脸图像,实现实时对比。
例如,视频中包括人脸区域的帧图像有100张出现同一人物的人脸图像,将这100张作为一个集合。可以从这个集合中选择出几张画质高(分辨率高、清晰度高)的帧图像,比较选出的帧图像与目标人物的人脸图像的相似度。如果相似度高可以判定这100张帧图像中包括目标人物。
然后,可以输出具有目标人物的这些帧图像的帧号。此外,也可以输出这些帧号在视频中对应的播放时刻。
在一种应用示例中,在视频的后期制作中,对视频进行人脸识别,获得某个目标人物出现的帧号或时刻后,可以找到这些帧图像,对这些帧图像中的目标人物进行处理。例如,删除这些帧图像,或者对这些帧图像中的目标人物做马赛克处理等。
采用本发明实施例,能够快速、准确的识别出视频中出现人脸图像的帧图像,并且,有针对性的识别出目标人物的人脸图像在哪些帧图像中出现。因此,有利于辅助视频编辑,对视频进行优化处理。
本发明实施例既可以支持利用数据库实现视频中人物的自动跟踪,也可以支持用户上传要跟踪的人物图像。此外,通过识别视频中的人物,定位人物在视频中出现的次数、每次出现的位置等,便于在视频的后期制作中,对特定的人物进行处理。
图4示出根据本发明实施例的基于人脸识别的视频定位装置的结构框图。如图4所示,该装置可以包括:
人脸识别模块41,用于对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;
目标跟踪模块42,用于对包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;
选取模块43,用于从每个集合中选取多个帧图像;
定位模块44,用于比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定所述目标人物在所述视频中出现的位置。
在一种实施方式中,所述目标跟踪模块42还用于采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪。
在一种实施方式中,所述目标跟踪模块42还用于检测人脸图像在各帧图像中的位置;计算人脸图像在相邻帧图像中的位置偏移量;如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
在一种实施方式中,所述目标跟踪模块42还用于如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
在一种实施方式中,所述选取模块43还用于根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
在一种实施方式中,所述定位模块44还用于计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度;如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现;获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图5示出根据本发明实施例的基于人脸识别的视频定位装置的结构框图。如图5所示,该装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的事务提交方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent)总线或扩展工业标准体系结构(EISA,Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种基于人脸识别的视频定位方法,其特征在于,包括:
对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;
对所述视频的包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;
从每个集合中选取多个帧图像;
比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定出现所述目标人物的集合,并利用出现所述目标人物的集合确定所述目标人物在所述视频中出现的位置。
2.根据权利要求1所述的方法,其特征在于,对所述视频的包括人脸图像的各帧图像进行目标跟踪,包括:
采用核相关滤波算法,对所述视频的包括人脸图像的各帧图像进行目标跟踪。
3.根据权利要求2所述的方法,其特征在于,采用核相关滤波算法,对包括人脸图像的各帧图像进行目标跟踪,包括:
检测人脸图像在各帧图像中的位置;
计算人脸图像在相邻帧图像中的位置偏移量;
如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
4.根据权利要求3所述的方法,其特征在于,计算人脸图像在相邻帧图像中的位置偏移量,包括:
如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
5.根据权利要求1至4中任一项所述的方法,其特征在于,从每个集合中选取多个帧图像,包括:
根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
6.根据权利要求1至4中任一项所述的方法,其特征在于,比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定出现所述目标人物的集合,并利用出现所述目标人物的集合确定所述目标人物在所述视频中出现的位置,包括:
计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度;
如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现;
获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
7.一种基于人脸识别的视频定位装置,其特征在于,包括:
人脸识别模块,用于对视频的各帧图像进行人脸识别,获得包括人脸图像的各帧图像;
目标跟踪模块,用于对所述视频的包括人脸图像的各帧图像进行目标跟踪,将包括同一人物的人脸图像的各帧图像作为一个集合;
选取模块,用于从每个集合中选取多个帧图像;
定位模块,用于比较目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像,以确定出现所述目标人物的集合,并利用出现所述目标人物的集合确定所述目标人物在所述视频中出现的位置。
8.根据权利要求7所述的装置,其特征在于,所述目标跟踪模块还用于采用核相关滤波算法,对所述视频的包括人脸图像的各帧图像进行目标跟踪。
9.根据权利要求8所述的装置,其特征在于,所述目标跟踪模块还用于检测人脸图像在各帧图像中的位置;计算人脸图像在相邻帧图像中的位置偏移量;如果位置偏移量小于设定阈值,则将所述相邻帧图像判定为包括同一人物的人脸图像的帧图像。
10.根据权利要求9所述的装置,其特征在于,所述目标跟踪模块还用于如果相邻帧图像出现拉伸或缩放,则将相邻帧图像中的坐标对齐后,再计算人脸图像在相邻帧图像中的位置偏移量。
11.根据权利要求7至10中任一项所述的装置,其特征在于,所述选取模块还用于根据一个集合中包括的帧图像的清晰度和/或分辨率,从所述集合中选取多个帧图像。
12.根据权利要求7至10中任一项所述的装置,其特征在于,所述定位模块还用于计算目标人物的人脸图像与从每个集合选取的各帧图像中的人脸图像的相似度;如果目标人物的人脸图像与从一个集合选取的各帧图像中的人脸图像的相似度大于设定阈值,则确定所述目标人物在所述视频的所述集合中出现;获取出现所述目标人物的集合包括的帧号和/或对应的播放时刻。
13.一种基于人脸识别的视频定位装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN201811178561.5A 2018-10-10 2018-10-10 基于人脸识别的视频定位方法和装置 Active CN109241345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811178561.5A CN109241345B (zh) 2018-10-10 2018-10-10 基于人脸识别的视频定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811178561.5A CN109241345B (zh) 2018-10-10 2018-10-10 基于人脸识别的视频定位方法和装置

Publications (2)

Publication Number Publication Date
CN109241345A CN109241345A (zh) 2019-01-18
CN109241345B true CN109241345B (zh) 2022-10-14

Family

ID=65054437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811178561.5A Active CN109241345B (zh) 2018-10-10 2018-10-10 基于人脸识别的视频定位方法和装置

Country Status (1)

Country Link
CN (1) CN109241345B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800663B (zh) * 2019-04-09 2023-09-05 阿里巴巴集团控股有限公司 一种视频合成方法及装置
CN111835985B (zh) * 2019-04-16 2023-05-26 阿里巴巴集团控股有限公司 视频剪辑方法、设备、装置及存储介质
CN111079670B (zh) * 2019-12-20 2023-11-03 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质
CN111753756A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 基于对象识别的布控报警方法、装置及存储介质
CN112203142A (zh) * 2020-12-03 2021-01-08 浙江岩华文化科技有限公司 视频的处理方法、装置、电子装置和存储介质
CN113392810A (zh) * 2021-07-08 2021-09-14 北京百度网讯科技有限公司 用于活体检测的方法、装置、设备、介质和产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567043B (zh) * 2009-05-31 2012-02-01 中山大学 基于分类识别的人脸跟踪方法
JP5355446B2 (ja) * 2010-02-19 2013-11-27 株式会社東芝 移動物体追跡システムおよび移動物体追跡方法
CN102306290B (zh) * 2011-10-14 2013-10-30 刘伟华 一种基于视频的人脸跟踪识别方法
CN104796781B (zh) * 2015-03-31 2019-01-18 小米科技有限责任公司 视频片段提取方法及装置
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN106709932B (zh) * 2015-11-12 2020-12-04 创新先进技术有限公司 一种人脸位置跟踪方法、装置和电子设备
CN106874827A (zh) * 2015-12-14 2017-06-20 北京奇虎科技有限公司 视频识别方法和装置
CN106127106A (zh) * 2016-06-13 2016-11-16 东软集团股份有限公司 视频中目标人物查找方法和装置
CN108229322B (zh) * 2017-11-30 2021-02-12 北京市商汤科技开发有限公司 基于视频的人脸识别方法、装置、电子设备及存储介质
CN108563651B (zh) * 2017-12-19 2021-05-11 深圳云天励飞技术有限公司 一种多视频的目标搜索方法、装置及设备

Also Published As

Publication number Publication date
CN109241345A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
CN111091590B (zh) 图像处理方法、装置、存储介质及电子设备
US7860343B2 (en) Constructing image panorama using frame selection
CN111698553B (zh) 视频处理方法、装置、电子设备及可读存储介质
US9082192B2 (en) Text image trimming method
US7450756B2 (en) Method and apparatus for incorporating iris color in red-eye correction
US20090141937A1 (en) Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
CN110796600B (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
US9477138B2 (en) Autofocus
CN111695540B (zh) 视频边框识别方法及裁剪方法、装置、电子设备及介质
JPH08202879A (ja) 互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法、ならびに対象点の集合によって識別されるターゲットの表現を同じシーケンスの連続するtvフレーム中の同じ幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換する装置およびその方法
CN112689221B (zh) 录音方法、录音装置、电子设备及计算机可读存储介质
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
US20230214989A1 (en) Defect detection method, electronic device and readable storage medium
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN110717452B (zh) 图像识别方法、装置、终端及计算机可读存储介质
WO2022111461A1 (zh) 识别方法、装置及电子设备
JP3812770B2 (ja) 手ぶれパラメータ検出方法及び情報記録媒体
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
JP2005182745A (ja) 画像処理方法および装置並びにプログラム
CN110610178A (zh) 图像识别方法、装置、终端及计算机可读存储介质
CN107578006B (zh) 一种照片处理方法及移动终端
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant