CN109271848A - 一种人脸检测方法及人脸检测装置、存储介质 - Google Patents

一种人脸检测方法及人脸检测装置、存储介质 Download PDF

Info

Publication number
CN109271848A
CN109271848A CN201810866324.1A CN201810866324A CN109271848A CN 109271848 A CN109271848 A CN 109271848A CN 201810866324 A CN201810866324 A CN 201810866324A CN 109271848 A CN109271848 A CN 109271848A
Authority
CN
China
Prior art keywords
face
image
detected
human face
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810866324.1A
Other languages
English (en)
Other versions
CN109271848B (zh
Inventor
孙晓航
袁誉乐
曾强
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tiana Intelligent Technology Co Ltd
Original Assignee
Shenzhen Tiana Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tiana Intelligent Technology Co Ltd filed Critical Shenzhen Tiana Intelligent Technology Co Ltd
Priority to CN201810866324.1A priority Critical patent/CN109271848B/zh
Publication of CN109271848A publication Critical patent/CN109271848A/zh
Application granted granted Critical
Publication of CN109271848B publication Critical patent/CN109271848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种人脸检测方法及人脸检测装置、存储介质。第一方面，人脸检测方法中采用选择机制，通过前一次的检测结果从人脸识别处理和人脸跟踪处理中选择一种较优的处理方法，利于增强该人脸检测方法的实用效果；第二方面，由于在人脸识别处理过程中引入了人脸识别的轻量级深度神经网络，可对人脸区域进行有效的识别和定位，利于提高检测准确度；第三方面，引入了人脸置信度，利于解决人脸跟踪阶段所产生的漂移问题，修正跟踪偏差，提高人脸区域的输出精确度；第四方面，在轻量级深度神经网络构建的基础之上加入了感兴趣区域ROI的预测方法，可避免对整张图像进行人脸识别所引起的耗时较长的情形，利于提高人脸识别处理的执行速度，减小***的开销。

Description

一种人脸检测方法及人脸检测装置、存储介质
技术领域
本发明涉及人脸检测技术，具体涉及一种人脸检测方法及人脸检测装置、存储介质。
背景技术
随着电子技术的发展，人脸检测与识别成为最有潜力的生物身份验证手段，要求自动人脸识别***能够对一般图象具有一定的识别能力，由此所面临的一系列问题使得人脸检测开始作为一项重要的研究课题。当前，人脸检测是自动人脸识别***中的一个关键环节，其应用背景已经远远超出了人脸识别***的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。
人脸检测是人脸美容、人脸特效、人脸识别、人脸属性分析、疲劳驾驶检测等领域中必要的预前处理步骤，因而具有较高的商业价值和应用价值。但是，在实际应用中，由于受人脸的表情变化、头发遮挡、佩戴饰品遮挡、环境光照变化、身体角度变换、成像条件等因素的影响，使得人脸检测仍面临着较大的技术挑战，相关的人脸检测算法只有得到进一步地完善时，才能为人脸检测的的实际应用效果提供保证。
当前，人脸检测算法可以简单的分为：基于肤色的人脸检测、基于几何特征的人脸检测、基于统计学习的人脸检测和基于深度学习的人脸检测。其中，基于深度学习的人脸检测多借助于深度神经网络以达到检测目的，相比而言，其检测准确度较高、优化效果明显，具有较大的发展前景。比如，基于RCNN系列的人脸检测抛弃了滑动窗生成候选区域的方法，使用proposal的方式，该种方法虽然可获得高检测率，但是存在深度神经网络构成复杂，检测速度慢的缺点；基于级联CNN模式的人脸检测中人脸特征提取和分类往往由CNN统一来完成，需要在级联结构中设置6个CNN，并利用3个CNN来进行人脸和非人脸的分类判断，增加了分类判断的耗时，不利于人脸检测的快速实现效果。
发明内容
本发明主要解决的技术问题是如何提高基于深度学习的人脸检测的检测速度和检测精度。为解决上述技术问题，本申请提供一种人脸检测方法及其装置。
根据第一方面，一种实施例中提供一种人脸检测方法，包括以下步骤：
在一图像序列中获取待检测图像；
根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式，当前一次在所述图像序列中检测出人脸时，则对所述待检测图像进行人脸跟踪处理，反之，则对所述待检测图像进行人脸识别处理；
根据处理的结果输出所述待检测图像中的人脸区域。
所述根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式，包括：
对所述图像序列中的各帧图像依次进行处理，将所述待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，根据所述前一次的人脸检测结果选择所述待检测图像的处理方式。
所述将所述待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，包括：
获取所述待检测图像的上一帧图像中输出的人脸区域；
将所述上一帧图像输出的人脸区域输入至一用于人脸置信计算的深度神经网络，得到人脸置信度；
将所述人脸置信度与预设的阈值进行比较，当所述人脸置信度超过预设的阈值时，则上一帧图像的人脸检测结果为检测出人脸，反之，则上一帧图像的人脸检测结果为未检测出人脸。
所述将所述上一帧图像的人脸区域输入至一用于人脸置信计算的深度神经网络，得到人脸置信度，包括：
将所述上一帧图像的人脸区域进行缩放处理，得到缩放后的图像；
将所述缩放后的图像输入至一用于人脸置信计算的深度神经网络，得到人脸置信度；所述用于人脸置信计算的深度神经网络包括一个或多个瓶颈卷积单元，所述瓶颈卷积单元用于对输入的图像进行卷积处理操作。
所述对所述待检测图像进行人脸识别处理，包括：
将所述待检测图像进行降采样处理，得到多个不同大小的图像；
将各个不同大小的图像输入至一用于人脸识别的轻量级深度神经网络，以从所述待检测图像中检测出人脸区域。
所述对所述待检测图像进行人脸跟踪处理，包括：
获取前一次在所述图像序列中检测出的人脸区域；
在所述待检测图像中对前一次在所述图像序列中检测出的人脸区域进行KCF目标跟踪处理，得到所述待检测图像中的人脸区域。
在对所述待检测图像进行人脸跟踪处理之前，还包括帧数判断步骤，所述帧数判断步骤包括：
在所述图像序列中检测出人脸区域时开始，对检测的各帧图像进行计数，当计数结果超过预设的帧数时，则对所述待检测图像进行ROI区域计算，反之，则对所述待检测图像进行人脸跟踪处理并清除计数结果以进行下一轮的计数。
所述对所述待检测图像进行ROI区域计算，包括：
根据前一次在所述图像序列中检测出的人脸区域对所述待检测图像进行ROI区域计算，得到所述待检测图像中人脸的预估区域；
将所述待检测图像中人脸的预估区域输入至一用于人脸识别的轻量级深度神经网络，以从所述待检测图像中检测出人脸区域。
所述用于人脸识别的轻量级深度神经网络包括：
BP-Net网络，用于在输入的图像中获得人脸的候选区域；
BR-Net网络，用于对所述人脸的候选区域进行训练，从候选区域中去除非人脸区域；
BO-Net网络，用于在去除非人脸区域的候选区域中对人脸关键部位进行定位，根据人脸关键部位的定位结果得到人脸区域。
所述BP-Net网络、所述BR-Net网络和所述BO-Net网络之间形成网络级联结构，各个网络中包括一个或多个瓶颈卷积单元，所述瓶颈卷积单元用于对输入的图像进行卷积处理操作。
根据第二方面，一种实施例提供一种人脸检测装置，包括：
图像获取单元，用于在一图像序列中获取待检测图像；
判断单元，用于根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式；
人脸识别处理单元，用于当前一次在所述图像序列中检测出人脸区域时，则对所述待检测图像进行人脸识别处理；
人脸跟踪处理单元，用于当前一次在所述图像序列中未检测出人脸区域时，则对所述待检测图像进行人脸跟踪处理；
输出单元，根据处理的结果输出所述待检测图像中的人脸区域。
根据第三方面，一种实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如第一方面所述的方法。
本申请的有益效果是：
依据上述实施例的一种人脸检测方法及人脸检测装置、存储介质。第一方面，提出的人脸检测方法中加入了选择机制，通过前一次的检测结果从人脸识别处理和人脸跟踪处理中选择一种较优的处理方法，利于增强该人脸检测方法的实用效果；第二方面，由于在人脸识别处理过程中引入了人脸识别的轻量级深度神经网络，通过其中的BP-Net网络、BR-Net网络和BO-Net网络对人脸区域进行有效的识别和定位，利于提高人脸检测的准确度；第三方面，由于在人脸跟踪过程中引入了KCF目标跟踪算法，使得人脸区域的检测过程快捷化，利于提高人脸区域的输出效率；第四方面，由于在人脸区域输出过程中引入了人脸置信度检测方法，利于解决人脸跟踪阶段所产生的漂移问题，修正人脸区域跟踪偏差，从而提高人脸区域的输出精确度；第五方面，本申请在轻量级深度神经网络构建的基础之上加入了感兴趣区域ROI的预测方法，利于根据上一帧图像中人脸的位置预测出一下帧图像中人脸可能存在的区域，从而对可能存在的区域进行人脸识别，如此，可避免对整张图像进行人脸识别所引起的耗时较长的情形，利于提高人脸识别处理的执行速度，减小***的开销。此外，本申请提出的人脸检测装置具有结构简单、算法稳定的优点，利于与嵌入式硬件平台相结合进行人脸检测的操作。
附图说明
图1为一种实施例的人脸检测装置的结构图；
图2为一种实施例的人脸检测方法的流程图；
图3为人脸置信度判断的流程图；
图4为人脸识别处理的流程图；
图5为人脸跟踪处理的流程图；
图6为另一种实施例的人脸检测装置的结构图；
图7为另一种实施例的人脸检测方法的流程图；
图8为用于人脸置信度计算的深度神经网络的结构；
图9为BP-Net网络的结构；
图10为BR-Net网络的结构；
图11为BO-Net网络的结构；
图12为瓶颈卷积的结构。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
实施例一：
请参考图1，本申请公开一种人脸检测装置1，其包括图像获取单元11、判断单元12，人脸识别处理单元13、人脸跟踪单元14和输出单元15，下面分别说明。
图像获取单元11用于在一图像序列中获取待检测图像，在一实施例中，图像获取单元11从视频流中获取一帧图像，将该帧图像作为待检测图像，这里的这里的视频流可为公共场所的监控探头拍摄的视频，也可为手机、相机等电子设备拍摄的视频，而所拍摄的视频包括实时拍摄的视频和过往存档的视频。
判断单元12用于根据前一次在图像序列中的人脸检测结果选择待检测图像的处理方式。在一实施例中，人脸识别装置1对图像序列中的各帧图像依次进行处理，即按照视频流中图像的时间顺序，每次获取一帧图像并对该帧图像进行人脸检测(人脸检测过程可参考下文中的人脸检测方法)，将待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，根据前一次的人脸检测结果选择待检测图像的处理方式。需要说明的是，当待检测图像为视频序列中的第一帧图像、前一次的人脸检测过程出错或者前一次的人脸检测结果中未输出人脸区域时，则判断单元12将判断前一次的人脸检测结果为否，即未检测到人脸。判断单元12的具体实施过程可参考下文中的人脸检测方法。
人脸识别处理单元13用于当前一次在所述图像序列中检测出人脸区域时(即判断单元12的判断结果为是)，则对待检测图像进行人脸识别处理。在一实施例中，人脸识别处理单元13将待检测图像进行降采样处理，得到多个不同大小的图像；将各个不同大小的图像输入至一用于人脸识别的轻量级深度神经网络，以从待检测图像中检测出人脸区域。
人脸跟踪处理单元14用于当前一次在图像序列中未检测出人脸区域时(即判断单元12的判断结果为否)，则对待检测图像进行人脸跟踪处理。在一实施例中，人脸跟踪处理单元14获取前一次在图像序列中检测出的人脸区域；在待检测图像中对前一次在图像序列中检测出的人脸区域进行KCF目标跟踪处理，得到待检测图像中的人脸区域。
输出单元15用于处理的结果输出待检测图像中的人脸区域。在一实施例中，输出单元15将人脸区域进行矩形标记，并在待检测图像上显示人脸区域的矩形标记。
本领域的技术人员应当理解，人脸检测装置1对视频流中每帧图像具有较快的处理速度(通常为几十帧每秒到几百帧每秒的处理速度)，那么，输出单元15可连续输出人脸区域，用户通过显示界面观察视频流及人脸区域时，将看到人脸区域的矩形标记在视频流中进行动态移动的效果。
相应地，请参考图2，本申请还公开一种人脸检测方法，其包括步骤S100-S500，下面分别说明。
步骤S100，在一图像序列中获取待检测图像。在一实施例中，图像获取单元11在一视频流中获取一帧图像，将该帧图像作为待检测图像。
步骤S200，根据前一次在图像序列中的人脸检测结果选择待检测图像的处理方式。在一实施例中，判断单元12对图像序列中的各帧图像依次进行处理，将待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，根据前一次的人脸检测结果选择所述待检测图像的处理方式，见图3，该步骤S200可包括步骤S210-S270。
步骤S210，判断单元12在图像序列中获取待检测图像的上一帧图像。
步骤S220，判断单元12判断上一帧图像中是否输出了人脸区域，若是，则进入步骤S230，反之，则进入步骤S270。。需要说明的是，当待检测图像为视频序列中的第一帧图像、前一次的人脸检测过程出错时，判断单元12也将判断前一次未检测出人脸。
步骤S230，将上一帧图像中输出的人脸区域进行缩放处理，得到缩放后的图像，优选地，将上一帧图像中输出的人脸区域缩放成12×12像素的图像。
步骤S240，将缩放后的图像输入至一用于人脸置信计算的深度神经网络(可用符号FCNET表示)，得到人脸置信度(可用符号C表示)。在一实施例中，见图8的人脸置信计算的深度神经网络，该人脸置信计算的深度神经网络FCNET包括一个或多个瓶颈卷积单元(优选地包括四个瓶颈卷积单元，分别为两个16通道的，两个24通道的)，这里的瓶颈卷积单元主要用于对输入的图像进行卷积处理操作；每个瓶颈卷积单元的具体结构可见图12，其中，BN为归一化处理函数，用于对每个神经元做归一化处理，属于现有技术；RELU为激活函数，用于保证训练过程的高效性，属于现有技术，这里不再进行详细说明。为提高人脸置信度的计算过程的准确性，本实施例中还在人脸置信计算的深度神经网络中加入了3×3×3的滤波器和32通道的2d卷积结构(该2d卷积结构主要用于特征提取操作)，以及1×1的卷积运算单元。
步骤S250，将人脸置信度C与预设的阈值(可用FT表示)进行比较，当人脸置信度C大于预设的阈值FT时，则进入步骤S260，反之进入步骤S270。需要说明是，为准确的进行判断，本实施例中预设的阈值优选地采用0.93。
步骤S260，认为上一帧图像的人脸检测结果为检测出人脸，即判断单元12判断结果为是。
步骤S270，认为上一帧图像的人脸检测结果为未检测出人脸，即判断单元12的判断结构为否。
步骤S300，当前一次在图像序列中检测出人脸区域时，则对待检测图像进行人脸识别处理。在一实施例中，人脸识别处理单元13将待检测图像进行降采样处理，得到多个不同大小的图像，将各个不同大小的图像输入至一用于人脸识别的轻量级深度神经网络，以从待检测图像中检测出人脸区域，那么，步骤S300可包括步骤S310-S330，分别说明如下。
步骤S310，人脸识别处理单元13对待检测图像进行降采样处理后，形成图像金子塔，优选地将图像金字塔分为三个等级，分别形成48×48分辨率、24×24分辨率和12×12分辨率的图像，从而得到多个大小不同的图像。该些不同分辨率的图像用于适应不同网络结构的输入需求。
步骤S320，人脸识别处理单元13将各个不同大小的图像输入至一用于人脸识别的轻量级深度神经网络(可用符号BFACENET表示)。需要说明的是，轻量级深度神经网络BFACENET是指网络形成层数较少的神经网络，通常在10层以下的网络。
在一实施例中，轻量级深度神经网络BFACENET包括BP-Net网络、BR-Net网络和BO-Net网络。其中，BP-Net网络的卷积框架如表1所示，与表1相对应的卷积结构可见图9。
表1 BP-Net网络的卷积框架
上表1中，t表示扩张倍数，c表示输出通道数，n表示单元个数，s表示跨度。每个卷积单元优选地采用瓶颈卷积结构，而瓶颈卷积结构的基本组成可见图12。需要说明的是，本实施例中，BP-Net网络主要用于在输入的12×12分辨率图像中得到人脸候选窗口和回归向量，从而获得人脸的候选区域。
其中，BR-Net网络的卷积框架如表2所示，与表2相对应的卷积结构可见图10。
表2 BR-Net网络的卷积框架
输入 卷积操作 “扩张”倍t 通道数c 单元个数n 跨度s
24x24x3 Conv2d - 8 1 2
12x12x8 卷积单元 6 16 2 2
6x6x16 卷积单元 6 24 2 2
3x3x24 3x3卷积单元 - 32 2 1
1x1x32 Conv2d 1x1 - 96 1 -
需要说明的是，BR-Net网络主要用于对人脸的候选区域进行训练，从候选区域中去除非人脸区域。在一具体实施例中，BR-Net网络根据输入的24×24分辨率的图像对人脸的候选区域进行训练，从而去除非人脸区域。
其中，BO-Net网络的卷积框架如表3所示，与表3相对应的卷积结构可见图11。
表3 BO-Net网络的卷积框架
输入 卷积操作 “扩张”倍t 通道数c 单元个数n 跨度s
48x48x3 Conv2d - 8 1 2
12x12x8 卷积单元 6 16 2 2
6x6x16 卷积单元 6 24 2 2
3x3x24 3x3卷积单元 - 48 2 1
1x1x48 Conv2d 1x1 - 128 1 -
需要说明的是，BO-Net网络主要用于在去除非人脸区域的候选区域中对人脸关键部位进行定位，根据人脸关键部位的定位结果得到人脸区域。在一具体实施例中，BO-Net网络根据输入的12×12分辨率的图像对候选区域中人脸关键部位进行定位，从两眼睛中心、鼻子、两嘴角的五个人体关键部位确定人脸，并得到人脸区域。
本领域的技术人员可以理解，本实施例采用的轻量级深度神经网络BFACENET中的BP-Net网络、BR-Net网络和BO-Net网络之间形成了网络级联结构，各个网络中包括一个或多个瓶颈卷积单元(可用符号BottleNeck表示)，瓶颈卷积单元BottleNeck用于对输入的图像进行卷积处理操作，由于瓶颈卷积单元BottleNeck的结构简单，利于减少所构建网络的参数，从加快人脸检测的运算速度。
本实施例训练相关深度神经网络模型的目标函数为：
公式(1-1)至(1-4)，yi代表人脸的样本标签，pi为取得人脸的概率；det为人脸分类任务(或为人脸检测的回归任务)，box为边界框回归任务(或为人脸的判定任务)，mark表示关键点定位任务；∝j为人脸分类、边界框回归、关键点定位的三个任务在当前所处阶段损失所占的权重(本实施例中优选地∝det＝0.5、∝box＝0.25、∝mark＝0.25)；为是否为人脸的指示标量，用1表示有人脸，用0表示无人脸；i、j均表示当前任务的序号，上标时表示当前的任务类别，下标时表示当前任务所处的阶段；L为损失函数；双绝对值符号表示二次范式计算；In{}表示集合运算。
需要说明的是，公式(1-1)至(1-4)可看出，上层子网络的结果被下一层子网络所使用，从而达到BP-Net网络、BR-Net网络和BO-Net网络之间相互级联的效果。
需要说明是，图9、图10和图11中的人脸分类是一个1x1x2的向量，也就是说其具有1或0的结果表示；边界框回归是一个1x1x4的向量，主要输出边界框的坐标；关键点定位是一个1x1x10的向量，主要输出人脸5个关键点的坐标。
步骤S330。人脸识别处理单元13从待检测图像中检测出人脸区域。在一实施例中，人脸识别处理单元13根据BO-Net网络中定位的人脸关键部位得到人脸区域，以作为检测出的人脸区域。
步骤S400，当前一次在图像序列中检测出人脸区域时，对待检测图像进行人脸跟踪处理。在一实施例中，人脸跟踪处理单元14获取前一次在图像序列中检测出的人脸区域，在待检测图像中对前一次在图像序列中检测出的人脸区域进行KCF目标跟踪处理，从而得到待检测图像中的人脸区域，那么，该步骤S400可包括步骤S410-S430。
步骤S410，获取前一次在图像序列中检测出的人脸区域。在一具体实施例中，在前一次检测出人脸区域的情况下，人脸跟踪处理单元14获取视频流中待检测图像的上一帧图像中检测的人脸区域。
步骤S420，在待检测图像中进行KCF目标跟踪处理。在一具体实施例中，人脸跟踪处理单元14将上一帧图像中检测出的人脸区域和待检测图像共同输入至KCF目标跟踪处理的算法之中，在待检测图像中对上一帧图像中检测出的人脸区域进行目标跟踪，从而得到待检测图像中的人脸区域。
需要说明的是，KCF目标跟踪处理的算法在图像处理领域中较为常用，往往用于对图像中的目标物体进行追踪分析，这种方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。在训练目标检测器时，一般选取目标区域为正样本，目标的周围区域为负样本，越靠近目标的区域为正样本的可能性越大。正式运用KCF目标跟踪处理算法的这种特性，本实施例实现了根据上一帧图像中的人脸区域对待检测图像中的人脸区域进行跟踪的目的。由于，KCF目标跟踪处理算法为现有技术，因此这里不再对其进行详细说明。
步骤S430，获取待检测图像中的人脸区域。在一具体实施例中，人脸目标跟踪处理单元14将依据KCF目标跟踪处理算法得到的人脸区域进行识别，从而获取待检测图像中的人脸区域。
需要说明的是，KCF目标跟踪处理算法在跟踪人脸区域的过程中，会不可避免的产生漂移，可能导致目标跟踪的准确度下降，为避免这种情形，在对待检测图像的下一帧图像进行人脸目标跟踪处理之前，还要对待检测图像中的人脸区域进行步骤S200中的人脸置信度计算，而通过人脸置信度可有效地防止KCF目标跟踪算法所带来的漂移问题，从而为步骤S200中的判断结果提供了较为准确的判断依据。
步骤S500，根据处理的结果输出所述待检测图像中的人脸区域。在一实施例中，见图1，输出单元15将步骤S330中人脸识别处理单元13检测出的人脸区域或者步骤S430中人脸跟踪处理单元14检测出的人脸区域进行矩形标记，连续输出图像序列中的每一帧图像，若输出的当前帧图像中检测出人脸区域，则输出当前帧图像以及图像上人脸区域的矩形标记，若输出的当前帧图像中未检测出人脸区域，则仅输出当前帧图像。
实施例二：
请参考图6，本申请还公开另一种实施例的人脸检测装置2，其包括实施例一中人脸检测装置1，还包括帧数判断单元16和ROI区域计算单元17，下面分别说明。
所述帧数判断单元16位于检测判断单元12和人脸跟踪处理单元14之间，用于在图像序列中检测出人脸区域时开始，对检测的各帧图像进行计数，当计数结果超过预设的帧数时(预设的帧数可用符号T表示，优选地采用48-128范围内的数值)，则对所述待检测图像进行ROI区域计算，反之，则对待检测图像进行人脸跟踪处理并清除计数结果以进行下一轮的计数。
ROI区域计算单元17与帧数判断单元16和人脸识别处理单元13连接，用于在帧数判断单元16判断计算结果超过预设的帧数时，根据前一次在图像序列中检测出的人脸区域对待检测图像进行ROI区域计算，得到待检测图像中人脸的预估区域。然后ROI区域计算单元17将待检测图像中人脸的预估区域输入至人脸识别处理单元13中，以在人脸的预估区域内进行人脸识别的轻量级深度神经网络的处理过程，从而在待检测图像中检测出人脸区域。
需要说明的是，在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个区域，这个区域将作为图像分析所关注的重点，圈定该区域以便进行进一步处理，使用ROI区域时能够快速得到图像中的目标对象，可以减少处理时间，增加处理精度。
需要说明的是，人脸跟踪处理单元14中所采用的KCF目标跟踪处理算法在长时间、连续地处理图像时会导致漂移问题，将严重影响人脸区域的检测效果，而帧数判断单元16可在人脸跟踪处理单元14连续进行一定的人脸跟踪处理次数之后，对待检测图像进行ROI区域计算，从而在ROI区域内进行人脸识别处理，利于在较小的图像区域之内快速检测出准确的人脸区域，进而达到对人脸区域进行位置修正的目的，避免了人脸跟踪处理单元14在对人脸区域进行KCF目标跟踪处理时的出错可能性以及产生的漂移问题。
请参考图7，相应地，本实施例还公开另一种人脸检测方法，其包括步骤S100-S600。
本实施例二中的人脸检测方法相对于实施例一中的人脸检测方法，多出了步骤S600，该步骤S600可包括步骤S610-S630，下面分别说明。
步骤S610，位于步骤S400之前，可称为帧数判断步骤。在一实施例中，该帧数判断步骤包括：
在图像序列中检测出人脸区域时开始(即检测判断单元12首次判断结果为是时)，对检测的各帧图像进行计数，当计数结果超过预设的帧数T时(优选地采用48-128范围内的数值)，则进入步骤S620，反之，则进入步骤S400。
需要说明的是，为使得步骤S610中的计数判断功能持续进行，在进入步骤S400时，帧数判断单元16将清除计数结果以进行下一轮的计数，即在检测判断单元12的判断结果再次为是时，帧数判断单元16重新开始计数。
步骤S620，根据前一次在图像序列中检测出的人脸区域对待检测图像进行ROI区域计算，得到待检测图像中人脸的预估区域。在一实施例中，计算过程为：
ROIW＝T1*FACEW (2-3)
ROIH＝T2*FACEH (2-4)
上式中，ROIX为感兴趣区域的左上角像素点的x坐标，ROIY为感兴趣区域的左上角像素点的y坐标，那么，(FACEX，FACEY)是上一帧图像中检测出的人脸区域的左上角像素点的坐标。FACEW和FACEH分别为上一帧图像中检测出的人脸区域的宽度和高度，ROIW和ROIH为需要计算的感兴趣区域的高度和宽度；T1、T2分别为用户自定义设置的阈值(根据经验，优选地设置T1＝2.5，T2＝1.6)。如果ROIX、ROIY、FACEW和FACEH的值超出图像边界，则以图像边界的坐标值为真实的值。
步骤S630，将待检测图像中人脸的预估区域输入至一用于人脸识别的轻量级深度神经网络，以从待检测图像中检测出人脸区域。在一实施例中，ROI区域计算单元17将待检测图像中人脸的预估区域输入至人脸识别单元13中，将预估区域输入至人脸识别的轻量级深度神经网络BFACENET中，从而得到待检测图像中的人脸区域。人脸识别的轻量级深度神经网络的构成以及计算方法可参考实施例一中的步骤S300，这里不再进行说明。
本领域的技术人员应当理解，步骤S300中采用轻量级深度神经网络的方法需要对整个待检测图像进行扫描，通过遍历整个图像来定位人脸区域，因此会增加很多无效的遍历时间。而步骤S630中利用了图像序列中时间相关性的特点，采用轻量级深度神经网络的方法仅需要对人脸预估区域内的图像进行扫描即可，从而将人脸检测遍历的范围由整张图像缩小到预估的范围，可减少无用的人脸滑动，去除非人脸区域的干扰，进而提升算法的运算速度。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (12)

1.一种人脸检测方法,其特征在于，包括以下步骤：
在一图像序列中获取待检测图像；
根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式，当前一次在所述图像序列中检测出人脸时，则对所述待检测图像进行人脸跟踪处理，反之，则对所述待检测图像进行人脸识别处理；
根据处理的结果输出所述待检测图像中的人脸区域。
2.如权利要求1所述的人脸检测方法，其特征在于，所述根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式，包括：
对所述图像序列中的各帧图像依次进行处理，将所述待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，根据所述前一次的人脸检测结果选择所述待检测图像的处理方式。
3.如权利要求2所述的人脸检测方法，其特征在于，所述将所述待检测图像的上一帧图像的人脸检测结果作为前一次的人脸检测结果，包括：
获取所述待检测图像的上一帧图像中输出的人脸区域；
将所述上一帧图像输出的人脸区域输入至一用于人脸置信计算的深度神经网络，得到人脸置信度；
将所述人脸置信度与预设的阈值进行比较，当所述人脸置信度超过预设的阈值时，则上一帧图像的人脸检测结果为检测出人脸，反之，则上一帧图像的人脸检测结果为未检测出人脸。
4.如权利要求3所述的人脸检测方法，其特征在于，所述将所述上一帧图像的人脸区域输入至一用于人脸置信计算的深度神经网络，得到人脸置信度，包括：
将所述上一帧图像的人脸区域进行缩放处理，得到缩放后的图像；
将所述缩放后的图像输入至一用于人脸置信计算的深度神经网络，得到人脸置信度；所述用于人脸置信计算的深度神经网络包括一个或多个瓶颈卷积单元，所述瓶颈卷积单元用于对输入的图像进行卷积处理操作。
5.如权利要求1所述的人脸检测方法，其特征在于，所述对所述待检测图像进行人脸识别处理，包括：
将所述待检测图像进行降采样处理，得到多个不同大小的图像；
将各个不同大小的图像输入至一用于人脸识别的轻量级深度神经网络，以从所述待检测图像中检测出人脸区域。
6.如权利要求1所述的人脸检测方法，其特征在于，所述对所述待检测图像进行人脸跟踪处理，包括：
获取前一次在所述图像序列中检测出的人脸区域；
在所述待检测图像中对前一次在所述图像序列中检测出的人脸区域进行KCF目标跟踪处理，得到所述待检测图像中的人脸区域。
7.如权利要求6所述的人脸检测方法，其特征在于，在对所述待检测图像进行人脸跟踪处理之前，还包括帧数判断步骤，所述帧数判断步骤包括：
在所述图像序列中检测出人脸区域时开始，对检测的各帧图像进行计数，当计数结果超过预设的帧数时，则对所述待检测图像进行ROI区域计算，反之，则对所述待检测图像进行人脸跟踪处理并清除计数结果以进行下一轮的计数。
8.如权利要求7所述的人脸检测方法，其特征在于，所述对所述待检测图像进行ROI区域计算，包括：
根据前一次在所述图像序列中检测出的人脸区域对所述待检测图像进行ROI区域计算，得到所述待检测图像中人脸的预估区域；
将所述待检测图像中人脸的预估区域输入至一用于人脸识别的轻量级深度神经网络，以从所述待检测图像中检测出人脸区域。
9.如权利要求5或8所述的人脸检测方法，其特征在于，所述用于人脸识别的轻量级深度神经网络包括：
BP-Net网络，用于在输入的图像中获得人脸的候选区域；
BR-Net网络，用于对所述人脸的候选区域进行训练，从候选区域中去除非人脸区域；
BO-Net网络，用于在去除非人脸区域的候选区域中对人脸关键部位进行定位，根据人脸关键部位的定位结果得到人脸区域。
10.如权利要求9所述的人脸检测方法，其特征在于，所述BP-Net网络、所述BR-Net网络和所述BO-Net网络之间形成网络级联结构，各个网络中包括一个或多个瓶颈卷积单元，所述瓶颈卷积单元用于对输入的图像进行卷积处理操作。
11.一种人脸检测装置，其特征在于，包括：
图像获取单元，用于在一图像序列中获取待检测图像；
判断单元，用于根据前一次在所述图像序列中的人脸检测结果选择所述待检测图像的处理方式；
人脸识别处理单元，用于当前一次在所述图像序列中检测出人脸区域时，则对所述待检测图像进行人脸识别处理；
人脸跟踪处理单元，用于当前一次在所述图像序列中未检测出人脸区域时，则对所述待检测图像进行人脸跟踪处理；
输出单元，根据处理的结果输出所述待检测图像中的人脸区域。
12.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-10中任一项所述的方法。
CN201810866324.1A 2018-08-01 2018-08-01 一种人脸检测方法及人脸检测装置、存储介质 Active CN109271848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866324.1A CN109271848B (zh) 2018-08-01 2018-08-01 一种人脸检测方法及人脸检测装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866324.1A CN109271848B (zh) 2018-08-01 2018-08-01 一种人脸检测方法及人脸检测装置、存储介质

Publications (2)

Publication Number Publication Date
CN109271848A true CN109271848A (zh) 2019-01-25
CN109271848B CN109271848B (zh) 2022-04-15

Family

ID=65152962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866324.1A Active CN109271848B (zh) 2018-08-01 2018-08-01 一种人脸检测方法及人脸检测装置、存储介质

Country Status (1)

Country Link
CN (1) CN109271848B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348348A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种参建人员进场身份快速识别方法及预警***
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪***
CN111339936A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 人脸跟踪方法及其***
CN111694980A (zh) * 2020-06-13 2020-09-22 德沃康科技集团有限公司 一种鲁棒的家庭儿童学习状态视觉监督方法及装置
CN113243026A (zh) * 2019-10-04 2021-08-10 Sk电信有限公司 用于高分辨率对象检测的装置和方法
US11170252B2 (en) 2019-09-16 2021-11-09 Wistron Corporation Face recognition method and computer system thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794264A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 视频序列中人脸的实时检测与持续跟踪的方法及***
CN104036237A (zh) * 2014-05-28 2014-09-10 南京大学 基于在线预测的旋转人脸的检测方法
CN106874867A (zh) * 2017-02-14 2017-06-20 江苏科技大学 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108090918A (zh) * 2018-02-12 2018-05-29 天津天地伟业信息***集成有限公司 一种基于深度全卷积孪生网络的实时人脸跟踪方法
CN108197604A (zh) * 2018-01-31 2018-06-22 上海敏识网络科技有限公司 基于嵌入式设备的快速人脸定位跟踪方法
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794264A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 视频序列中人脸的实时检测与持续跟踪的方法及***
CN104036237A (zh) * 2014-05-28 2014-09-10 南京大学 基于在线预测的旋转人脸的检测方法
CN106874867A (zh) * 2017-02-14 2017-06-20 江苏科技大学 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108197604A (zh) * 2018-01-31 2018-06-22 上海敏识网络科技有限公司 基于嵌入式设备的快速人脸定位跟踪方法
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN108090918A (zh) * 2018-02-12 2018-05-29 天津天地伟业信息***集成有限公司 一种基于深度全卷积孪生网络的实时人脸跟踪方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348348A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种参建人员进场身份快速识别方法及预警***
US11170252B2 (en) 2019-09-16 2021-11-09 Wistron Corporation Face recognition method and computer system thereof
CN113243026A (zh) * 2019-10-04 2021-08-10 Sk电信有限公司 用于高分辨率对象检测的装置和方法
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪***
CN111339936A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 人脸跟踪方法及其***
CN111694980A (zh) * 2020-06-13 2020-09-22 德沃康科技集团有限公司 一种鲁棒的家庭儿童学习状态视觉监督方法及装置

Also Published As

Publication number Publication date
CN109271848B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
JP6830707B1 (ja) ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN109271848A (zh) 一种人脸检测方法及人脸检测装置、存储介质
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107808143B (zh) 基于计算机视觉的动态手势识别方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN108810620A (zh) 识别视频中的关键时间点的方法、计算机设备及存储介质
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN109598234A (zh) 关键点检测方法和装置
CN109685045A (zh) 一种运动目标视频跟踪方法及***
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN112991280B (zh) 视觉检测方法、***及电子设备
Zhang et al. High-quality face image generation based on generative adversarial networks
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
Yan et al. Multicamera pedestrian detection using logic minimization
CN111860056A (zh) 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN113096080A (zh) 图像分析方法及***
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
Varga et al. Person re-identification based on deep multi-instance learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant