CN110765955A - 一种视频文件中人物识别方法 - Google Patents

一种视频文件中人物识别方法 Download PDF

Info

Publication number
CN110765955A
CN110765955A CN201911021846.2A CN201911021846A CN110765955A CN 110765955 A CN110765955 A CN 110765955A CN 201911021846 A CN201911021846 A CN 201911021846A CN 110765955 A CN110765955 A CN 110765955A
Authority
CN
China
Prior art keywords
human body
result
face
detection result
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911021846.2A
Other languages
English (en)
Inventor
王鹏
徐松
黄凯
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weisheng Adell Technology Co Ltd
Original Assignee
Beijing Weisheng Adell Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weisheng Adell Technology Co Ltd filed Critical Beijing Weisheng Adell Technology Co Ltd
Priority to CN201911021846.2A priority Critical patent/CN110765955A/zh
Publication of CN110765955A publication Critical patent/CN110765955A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的视频文件中人物识别方法，涉及人物识别技术领域，分别对视频文件中人物进行人脸识别及人体识别，根据人脸识别结果及人体识别结果，识别视频文件中人物，提高了人物识别精度。

Description

一种视频文件中人物识别方法
技术领域
本发明属于人物识别技术领域，具体涉及一种视频文件中人物识别方法。
背景技术
近些年由于互联网发展迅速，网络视频的规模呈现加速增长的态势。根据中国互联网络信息中心2017年8月发布的第40次《中国互联网络发展状况统计报告》，截至2017年6月，中国网络视频用户规模达5.65亿，较2016年底增加2026万人，增长率为3.7％；网络视频用户使用率为75.2％，较2016年底提升0.7个百分点。
人物识别是对网络视频进行管控的关键技术，扮演着视频人物关联、指定人物追踪、网络视频敏感度分析的关键作用，也是对网络视频进行手势识别、动作识别、事件识别等其他任务的基础技术。传统的人物识别方法主要是基于人脸进行，该方案存在以下缺陷：
需要人脸清晰地出现在视频中且仅能够对包含人脸的视频段进行人物识别，对于复杂场景下的网络视频，人物识别精度较低。
发明内容
针对现有技术存在的缺陷，本发明实施例提供了一种视频文件中人物识别方法，该方法包括以下步骤：
获取视频文件中的有效图像，生成有效图像集合；
利用人脸检测技术，检测所述有效图像集合中的有效图像是否存在人脸，生成对应的人脸检测结果，其中，所述人脸检测结果包括存在及不存在；
若所述有效图像中存在人脸，则利用人脸识别技术，对所述有效图像中的人脸进行识别，生成对应的人脸识别结果，其中，所述人脸识别结果包括熟人及陌生人；
利用人体检测技术，检测所述有效图像集合中的有效图像是否存在人体，生成对应的人体检测结果，其中，所述人体检测结果包括存在及不存在；
若所述有效图像中存在人体，则利用人物重识别技术，对所述有效图像中的人体进行识别，生成对应的人体识别结果，其中，所述人体识别结果包括熟人及陌生人；
根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果。
优选地，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若所述人脸检测结果为存在，所述人体检测结果为不存在，则将所述有效图像对应的人脸识别结果作为视频文件中人物识别结果。
优选地，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若所述人体检测结果为存在，所述人脸检测结果为不存在，则将所述有效图像对应的人体识别结果作为视频文件中人物识别结果。
优选地，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在所述人脸检测结果及所述人体检测结果均为存在且所述人脸识别结果为熟人、所述人体识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
优选地，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在所述人脸检测结果及所述人体检测结果均为存在且所述人体识别结果为熟人、所述人脸识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
本发明实施例提供的视频文件中人物识别方法具有以下有益效果：
分别对视频文件中人物进行人脸识别及人体识别，根据人脸识别结果及人体识别结果，识别视频文件中人物，提高了人物识别精度。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明实施例提供的视频文件中人物识别方法包括以下步骤：
S101，获取视频文件中的有效图像，生成有效图像集合。
作为一个具体的实施例，通过逐帧遍历或者跳帧遍历的方式，获取视频中聚焦准确、代表性强的图像作为有效图像，具体步骤包括：
利用相关系数计算公式，计算视频文件中各帧图像与其对应的下一帧图像之间的相似度，若该相似度小于10％，则确定该帧图像为有效图像。
S102，利用人脸检测技术，检测有效图像集合中的有效图像是否存在人脸，生成对应的人脸检测结果，其中，人脸检测结果包括存在及不存在。
S103，若有效图像中存在人脸，则利用人脸识别技术，对有效图像中的人脸进行识别，生成对应的人脸识别结果，其中，人脸识别结果包括熟人及陌生人。
S104，利用人体检测技术，检测有效图像集合中的有效图像是否存在人体，生成对应的人体检测结果，其中，人体检测结果包括存在及不存在。
作为一个具体的实施例，检测有效图像集合中的有效图像是否存在人体具体包括以下步骤：
将图像划分为7×7的网格；
对于每个网格，任意选择其中的2个边框，生成7×7×2个目标窗口；
分别计算各个目标窗口与人体库中相应位置的人体特征之间的相似度，去除相似度小于设定阈值的目标窗口；
根据非极大值抑制算法，去除冗余的目标窗口即得到人体检测结果。
S105，若有效图像中存在人体，则利用人物重识别技术，对有效图像中的人体进行识别，生成对应的人体识别结果，其中，人体识别结果包括熟人及陌生人。
作为一个具体的实施例，对有效图像中的人体进行识别具体包括以下步骤：
将人体检测结果切片输入卷积神经网络模型，在卷积层进行特征提取得到人体特征后，将卷积层提取的特征从上至下进行6等份，并将各部分进行池化处理，输出特征向量；
根据马氏距离计算公式，计算该人体特征与人体库中的人体特征之间的相似度，根据该相似度，确定该人体的识别结果，包括：
若该相似度大于设定的阈值，则确定待识别的人体为熟人；若该相似度小于设定的阈值，则判定为不同人，循环到人体库中的下一个人体进行比对，若始终没有出现相似度小于设定阈值的情况，则确定待识别的人体为陌生人。
S106，根据有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果。
可选地，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若所述人脸检测结果为存在，所述人体检测结果为不存在，则将所述有效图像对应的人脸识别结果作为视频文件中人物识别结果。
可选地，根据有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若人体检测结果为存在，人脸检测结果为不存在，则将该有效图像对应的人体识别结果作为视频文件中人物识别结果。
可选地，根据有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在人脸检测结果及所述人体检测结果均为存在且人脸识别结果为熟人、人体识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
可选地，根据有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在人脸检测结果及人体检测结果均为存在且人体识别结果为熟人、人脸识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
本发明实施例提供的视频文件中人物识别方法，分别对视频文件中人物进行人脸识别及人体识别，根据人脸识别结果及人体识别结果，识别视频文件中人物，提高了人物识别精度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种视频文件中人物识别方法，其特征在于，包括：
获取视频文件中的有效图像，生成有效图像集合；
利用人脸检测技术，检测所述有效图像集合中的有效图像是否存在人脸，生成对应的人脸检测结果，其中，所述人脸检测结果包括存在及不存在；
若所述有效图像中存在人脸，则利用人脸识别技术，对所述有效图像中的人脸进行识别，生成对应的人脸识别结果，其中，所述人脸识别结果包括熟人及陌生人；
利用人体检测技术，检测所述有效图像集合中的有效图像是否存在人体，生成对应的人体检测结果，其中，所述人体检测结果包括存在及不存在；
若所述有效图像中存在人体，则利用人物重识别技术，对所述有效图像中的人体进行识别，生成对应的人体识别结果，其中，所述人体识别结果包括熟人及陌生人；
根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果。
2.根据权利要求1所述的视频文件中人物识别方法，其特征在于，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若所述人脸检测结果为存在，所述人体检测结果为不存在，则将所述有效图像对应的人脸识别结果作为视频文件中人物识别结果。
3.根据权利要求1所述的视频文件中人物识别方法，其特征在于，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
若所述人体检测结果为存在，所述人脸检测结果为不存在，则将所述有效图像对应的人体识别结果作为视频文件中人物识别结果。
4.根据权利要求1所述的视频文件中人物识别方法，其特征在于，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在所述人脸检测结果及所述人体检测结果均为存在且所述人脸识别结果为熟人、所述人体识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
5.根据权利要求1所述的视频文件中人物识别方法，其特征在于，根据所述有效图像对应的人脸检测结果、人脸识别结果、人体检测结果及人体识别结果，确定视频文件中人物识别结果包括：
在所述人脸检测结果及所述人体检测结果均为存在且所述人体识别结果为熟人、所述人脸识别结果为陌生人时，则确定视频文件中人物识别结果为熟人。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5述的步骤。
CN201911021846.2A 2019-10-25 2019-10-25 一种视频文件中人物识别方法 Pending CN110765955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911021846.2A CN110765955A (zh) 2019-10-25 2019-10-25 一种视频文件中人物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911021846.2A CN110765955A (zh) 2019-10-25 2019-10-25 一种视频文件中人物识别方法

Publications (1)

Publication Number Publication Date
CN110765955A true CN110765955A (zh) 2020-02-07

Family

ID=69333565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911021846.2A Pending CN110765955A (zh) 2019-10-25 2019-10-25 一种视频文件中人物识别方法

Country Status (1)

Country Link
CN (1) CN110765955A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254148A (zh) * 2011-04-18 2011-11-23 周曦 一种多人动态环境下的实时人脸识别方法
US20130027537A1 (en) * 2011-03-11 2013-01-31 Steelmate Co., Ltd. Car video recorder
CN103559505A (zh) * 2013-11-18 2014-02-05 庄浩洋 一种3d骨架建模与手检测方法
CN104463174A (zh) * 2014-12-16 2015-03-25 广州南方电力集团科技发展有限公司 一种多角度动态人物识别及行为预测***
US20150131855A1 (en) * 2013-11-13 2015-05-14 Omron Corporation Gesture recognition device and control method for the same
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN108154171A (zh) * 2017-12-20 2018-06-12 北京奇艺世纪科技有限公司 一种人物识别方法、装置及电子设备
CN109508668A (zh) * 2018-11-09 2019-03-22 北京奇艺世纪科技有限公司 一种镜头类型信息识别方法及装置
CN109993150A (zh) * 2019-04-15 2019-07-09 北京字节跳动网络技术有限公司 用于识别年龄的方法和装置
CN110458130A (zh) * 2019-08-16 2019-11-15 百度在线网络技术（北京）有限公司 人物识别方法、装置、电子设备及存储介质
CN113553965A (zh) * 2021-07-27 2021-10-26 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027537A1 (en) * 2011-03-11 2013-01-31 Steelmate Co., Ltd. Car video recorder
CN102254148A (zh) * 2011-04-18 2011-11-23 周曦 一种多人动态环境下的实时人脸识别方法
US20150131855A1 (en) * 2013-11-13 2015-05-14 Omron Corporation Gesture recognition device and control method for the same
CN103559505A (zh) * 2013-11-18 2014-02-05 庄浩洋 一种3d骨架建模与手检测方法
CN104463174A (zh) * 2014-12-16 2015-03-25 广州南方电力集团科技发展有限公司 一种多角度动态人物识别及行为预测***
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN108154171A (zh) * 2017-12-20 2018-06-12 北京奇艺世纪科技有限公司 一种人物识别方法、装置及电子设备
CN109508668A (zh) * 2018-11-09 2019-03-22 北京奇艺世纪科技有限公司 一种镜头类型信息识别方法及装置
CN109993150A (zh) * 2019-04-15 2019-07-09 北京字节跳动网络技术有限公司 用于识别年龄的方法和装置
CN110458130A (zh) * 2019-08-16 2019-11-15 百度在线网络技术（北京）有限公司 人物识别方法、装置、电子设备及存储介质
CN113553965A (zh) * 2021-07-27 2021-10-26 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法

Similar Documents

Publication Publication Date Title
US11836931B2 (en) Target detection method, apparatus and device for continuous images, and storage medium
CN110210304B (zh) 用于目标检测和跟踪的方法及***
CN109492576B (zh) 图像识别方法、装置及电子设备
AU2014350727A1 (en) Face positioning method and device
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112906483A (zh) 一种目标重识别方法、装置及计算机可读存储介质
CN111104925A (zh) 图像处理方法、装置、存储介质和电子设备
CN114581491B (zh) 一种行人轨迹跟踪方法、***及相关装置
CN110009662B (zh) 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
CN110852257A (zh) 一种人脸关键点的检测方法、装置及存储介质
CN106506982B (zh) 一种获取测光参数的方法、装置及终端设备
CN111814612A (zh) 目标的脸部检测方法及其相关装置
US20220366676A1 (en) Labeling device and learning device
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及***
CN113674318A (zh) 一种目标跟踪方法、装置及设备
CN110765955A (zh) 一种视频文件中人物识别方法
Rajalaxmi et al. Deepfake Detection using Inception-ResNet-V2 Network
De Marsico et al. ES-RU: an e ntropy based rule to s elect r epresentative templates in face su rveillance
CN110895691A (zh) 图像处理方法、装置及电子设备
CN114511911A (zh) 一种人脸识别方法、装置以及设备
CN114627542A (zh) 眼动位置的确定方法、装置、存储介质及电子设备
CN114463816A (zh) 满意度确定方法、装置、处理器及电子设备
CN113592902A (zh) 目标跟踪方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207

RJ01 Rejection of invention patent application after publication