CN105654055A - 一种利用视频数据进行人脸识别训练的方法 - Google Patents
一种利用视频数据进行人脸识别训练的方法 Download PDFInfo
- Publication number
- CN105654055A CN105654055A CN201511024946.2A CN201511024946A CN105654055A CN 105654055 A CN105654055 A CN 105654055A CN 201511024946 A CN201511024946 A CN 201511024946A CN 105654055 A CN105654055 A CN 105654055A
- Authority
- CN
- China
- Prior art keywords
- face
- training
- video
- frame
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000009412 basement excavation Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 10
- 230000008676 import Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种利用视频数据进行人脸训练的方法,其基本思想是同一个人在视频中在空间和时间上都会以连续序列出现,且同一个人不可能在同一帧的其他位置出现,利用这个特点本发明自动从视频中挖掘出海量用于训练人脸模型的样本数据,从而实现持续不断地、自适应的人脸学习方法。
Description
技术领域
本发明涉及人脸识别领域,更具体地,涉及一种利用视频数据进行人脸识别训练的方法。
背景技术
人脸识别目前采用大量人工标注的训练样本去训练一个模型,使得模型能够挖掘出同一个人的不同照片与不同人的照片之间的差异特点。训练样本的标注目前依赖于手工完成,也就是找到大量的个体,对每个个体产生或寻找不同角度、光照下的照片。在操作层面,就是需要采集大量的人脸图片,对每张图片的个体进行标记,目前的人脸数据库一般达到几十万规模,采用这种方式非常耗时,人力成本非常高,且不具扩展性。
发明内容
本发明为克服人脸学习方法训练样本存在的获取成本高、标注困难的问题,,提供一种利用视频数据进行人脸识别训练的方法,具体为利用视频数据时间、空间和运动向量等特征进行人脸识别训练数据快速、自动获取的方法。
为解决上述技术问题,本发明的技术方案如下:
要获取海量的人脸学习数据,需要利用同一个人在视频中在空间和时间上都会以连续序列出现,且同一个人不可能在同一帧的其他位置出现这一基本原理。利用这个特点从视频中挖掘出海量的人脸数据。
一种利用视频数据进行人脸识别训练的方法,具体步骤为:
1)视频解码:视频可以看成是图片的集合表达形式,通过解码,获得每一帧的图片。
2)人脸检测:将解码获得的图像进行人脸检测,并将每一帧图像中的人脸进行抽取,获得人脸图像块。
3)样本挖掘:利用时空连续性、编码运动向量、服饰信息、已训练好的模型实现附近帧间同一人脸的定位以及同一帧中不同人脸的定位。
4)人脸学习阶段:利用输入的挖掘样本训练人脸模型,并将模型的输出反馈到样本挖掘模块。
一种利用视频数据进行人脸识别训练的***包括:视频解码模块,人脸检测模块,样本挖掘模块,人脸模型学习模块等。
总体过程为:
(1)运行应用,用户上传视频文件。
(2)启动视频解码,经过视频解码模块,将视频数据解码为一帧帧图像。
(3)启动人脸检测,检测每一帧图像中的人脸信息并记录相关信息。
(4)将人脸检测获得的人脸数据传入帧内检测,从而得到一组来自不同人脸的数据,同时做好标记。
(5)将相邻帧的人脸数据传入帧间检测,根据视频帧间的信息,判断人脸数据是否来自同一个人,并做好标记。
(6)由前两步自动标记生成的数据中,抽取两张来自同一个人和一张其他人的人脸数据,作为一个训练样本。多次抽取后将训练样本传入训练模型,训练人脸模型。
利用前一步获得的人脸模型,重新检测视频中每一帧中的人脸,即重复第(3)步,并重复接下来步骤,直到获得设定的精度。
上述第1)、2)步是常规的视频解码和人脸检测操作,第3)、4)步是本发明提出的利用视频数据进行人脸识别训练方法的两大创新点。第3)步是利用视频数据的特点获取训练样本,为本发明的核心之一,第4)则是利用获得的样本数据训练模型,再获得更高的精确度的情况下再次获取样本、训练模型,达到自适应的目的。
附图说明
图1是***的整体流程图。
图2是人脸自动标记流程图。
图3是自适应、连续不断人脸学习流程图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
(一)总体功能架构
本***主要包括四个模块:视频解码模块,人脸检测模块,样本挖掘模块以及人脸学习模块。
视频解码模块的主要功能是将输入的视频信息离散成一帧帧的图像。人脸检测模块则是检测视频解码后的图像中的人脸信息,作为首次人脸训练的样本。样本挖掘模块则是利用视频数据的特点,给人脸检测模块获得的人脸数据打上标签,确定哪些人脸图像块来自同一个人或者不同人。人脸学习模块的任务是利用样本挖掘后得到的带标签数据,训练得到人脸检测模型,同时将该模型重新应用于视频解码图像中人脸的检测。
(二)实施流程
参见图1,为本发明实施例的实现流程图,包括以下步骤:
步骤1、程序启动,用户传入视频数据。
步骤2、解码视频数据,将视频转换为一帧帧图像。
步骤3、检测每一帧图像中的人脸,将人脸组合并且对人脸对打标签。
步骤4、将打好标签的数据传入训练网络,训练模型。
步骤5、用训练好的模型应用于人脸数据获取,判断是否满足精度要求,若是,程序结束,输出模型。若否,循环步骤3、4、5。
(三)详细结构设计
图2为本发明实施例的人脸自动标记流程图。图3是自适应、连续不断的人脸学习流程图。
1、人脸自动标记
在本实施例中,人脸自动标记模块主要包括:人脸来源比对、人脸特征检测、人脸特征比对等
(1)人脸来源比对
根据视频数据的特点,同一人不可能在同一帧中的其他位置出现。将来自同一帧的人脸数据对标记为不同人脸数据。如果人脸数据来自不同的视频帧,则进入人脸特征检测阶段。
(2)人脸特征检测
将来自不同帧的人脸数据传入程序,对每一个人脸数据进行特征提取,例如SIFT特征。由于视频帧与帧之间的变化量很少,因此,可以通过求每组人脸数据对特征之间的差值与阀值之间的关系来确定是否属于同一个人。
2、自适应、连续不断的人脸学习
在本实施例中,自适应、连续不断的人脸学习模块包括:人脸模型学习,准确度验证,自适应模型调整等。
(1)人脸模型学习
利用人脸自动标记模块获得的人脸正负样本数据,采用深度学习方法,例如:卷积神经网络,使用人脸识别算法,例如triplet-basedgradientdescentalgorithm。学习得到可用于区分不同人脸的模型。
(2)准确度检测
将测试数据传入学习得到的人脸模型,计算模型的误差。如果误差较小,说明模型满足要求,将模型输出,停止程序。如果误差不满足要求,则进入连续不断学习调整过程,直到精度满足要求。
(3)自适应模型调整
如果准确度没有达到要求,程序进入模型的自适应调整阶段。首先,是将获得的模型应用于来自不同帧的人脸块的检测,即用模型判断不同帧人脸数据是否来自同一人。其次,根据相邻帧的检测结果,逐步扩大不同帧之间的距离,例如从第7和第8帧两帧的数据到第7和第9帧的数据,逐步扩大对比帧之间的时间,以达到扩大同一人不同人脸数据之间的差距。
本发明利用视频自动构造人脸训练样本,其核心点在于,利用同一时刻同一个人不可能出现在两个位置以及同一个人在短时间内移动具有连续性这样的先验知识从视频中自动挖掘出匹配和不匹配样本。
利用增加帧跨度构造同一个人的难样本方法,其核心点在于当帧跨度增加时,一个人的姿态和光照变化的程度都会增加。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (1)
1.一种利用视频数据进行人脸识别训练的方法,具体步骤为:
1)视频解码:将输入的视频信息离散成一帧帧的图像;
2)人脸检测:将解码获得的图像进行人脸检测,并将每一帧图像中的人脸进行抽取,获得人脸图像块;
3)样本挖掘:利用时空连续性、编码运动向量、服饰信息、已训练好的模型实现附近帧间同一人脸的定位以及同一帧中不同人脸的定位;
4)人脸学习阶段:利用输入的挖掘样本训练人脸模型,并将模型的输出反馈到样本挖掘模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511024946.2A CN105654055A (zh) | 2015-12-29 | 2015-12-29 | 一种利用视频数据进行人脸识别训练的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511024946.2A CN105654055A (zh) | 2015-12-29 | 2015-12-29 | 一种利用视频数据进行人脸识别训练的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105654055A true CN105654055A (zh) | 2016-06-08 |
Family
ID=56491045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511024946.2A Pending CN105654055A (zh) | 2015-12-29 | 2015-12-29 | 一种利用视频数据进行人脸识别训练的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105654055A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022220A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 |
CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
CN107909088A (zh) * | 2017-09-27 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
CN109938739A (zh) * | 2017-12-20 | 2019-06-28 | 深圳先进技术研究院 | 一种颈椎监测装置 |
US11776292B2 (en) | 2020-12-17 | 2023-10-03 | Wistron Corp | Object identification device and object identification method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101419670A (zh) * | 2008-11-21 | 2009-04-29 | 复旦大学 | 基于先进音视频编码标准的视频监控方法及*** |
CN102339384A (zh) * | 2011-09-16 | 2012-02-01 | 北京交通大学 | 一种人脸识别方法 |
CN103942577A (zh) * | 2014-04-29 | 2014-07-23 | 上海复控华龙微***技术有限公司 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
CN104463117A (zh) * | 2014-12-02 | 2015-03-25 | 苏州科达科技股份有限公司 | 一种基于视频方式的人脸识别样本采集方法及*** |
-
2015
- 2015-12-29 CN CN201511024946.2A patent/CN105654055A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101419670A (zh) * | 2008-11-21 | 2009-04-29 | 复旦大学 | 基于先进音视频编码标准的视频监控方法及*** |
CN102339384A (zh) * | 2011-09-16 | 2012-02-01 | 北京交通大学 | 一种人脸识别方法 |
CN103942577A (zh) * | 2014-04-29 | 2014-07-23 | 上海复控华龙微***技术有限公司 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
CN104463117A (zh) * | 2014-12-02 | 2015-03-25 | 苏州科达科技股份有限公司 | 一种基于视频方式的人脸识别样本采集方法及*** |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022220A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 |
CN106022220B (zh) * | 2016-05-09 | 2020-02-28 | 北京河马能量体育科技有限公司 | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 |
CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
CN106845357B (zh) * | 2016-12-26 | 2019-11-05 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
CN107909088A (zh) * | 2017-09-27 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
CN107909088B (zh) * | 2017-09-27 | 2022-06-28 | 百度在线网络技术(北京)有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
CN109938739A (zh) * | 2017-12-20 | 2019-06-28 | 深圳先进技术研究院 | 一种颈椎监测装置 |
US11776292B2 (en) | 2020-12-17 | 2023-10-03 | Wistron Corp | Object identification device and object identification method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105654055A (zh) | 一种利用视频数据进行人脸识别训练的方法 | |
CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
CN106845357B (zh) | 一种基于多通道网络的视频人脸检测和识别方法 | |
CN105760835A (zh) | 一种基于深度学习的步态分割与步态识别一体化方法 | |
CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
CN104167016B (zh) | 一种基于rgb彩色与深度图像的三维运动重建方法 | |
CN111724439A (zh) | 一种动态场景下的视觉定位方法及装置 | |
CN108898063A (zh) | 一种基于全卷积神经网络的人体姿态识别装置及方法 | |
CN102324102A (zh) | 一种图像场景空洞区域结构和纹理信息自动填补方法 | |
CN106991370B (zh) | 基于颜色和深度的行人检索方法 | |
CN107729901B (zh) | 图像处理模型的建立方法、装置及图像处理方法及*** | |
CN109583373B (zh) | 一种行人重识别实现方法 | |
CN108154066B (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
CN106056607A (zh) | 一种基于鲁棒主成分分析的监控图像背景建模方法 | |
CN108921038A (zh) | 一种基于深度学习人脸识别技术的课堂快速点名签到方法 | |
CN104537355A (zh) | 一种利用图像边界信息和区域连通性的显著对象检测方法 | |
CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和*** | |
CN110348505B (zh) | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 | |
US20220148292A1 (en) | Method for glass detection in real scenes | |
CN109389156A (zh) | 一种图像定位模型的训练方法、装置及图像定位方法 | |
CN106127144B (zh) | 采用时谱空一体化特征模型的点源风险源自动提取方法 | |
KR102131592B1 (ko) | 딥러닝 기반 3차원 원형 예측 장치 | |
CN102663777A (zh) | 基于多视点视频的目标跟踪方法及*** | |
CN105205482A (zh) | 快速人脸特征识别及姿态估算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160608 |
|
WD01 | Invention patent application deemed withdrawn after publication |