CN109522853B - 面向监控视频的人脸检测与搜索方法 - Google Patents

面向监控视频的人脸检测与搜索方法 Download PDF

Info

Publication number
CN109522853B
CN109522853B CN201811400352.0A CN201811400352A CN109522853B CN 109522853 B CN109522853 B CN 109522853B CN 201811400352 A CN201811400352 A CN 201811400352A CN 109522853 B CN109522853 B CN 109522853B
Authority
CN
China
Prior art keywords
face
monitor video
image
eyebrow
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811400352.0A
Other languages
English (en)
Other versions
CN109522853A (zh
Inventor
谢剑斌
李沛秦
闫玮
张术华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
Hunan Zhongzhi Jun Winning Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongzhi Jun Winning Technology Co Ltd filed Critical Hunan Zhongzhi Jun Winning Technology Co Ltd
Priority to CN201811400352.0A priority Critical patent/CN109522853B/zh
Publication of CN109522853A publication Critical patent/CN109522853A/zh
Application granted granted Critical
Publication of CN109522853B publication Critical patent/CN109522853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种面向监控视频的人脸检测与搜索方法，首先训练人脸检测器；将输入待进行人脸识别与搜索的监控视频帧，利用人脸检测器对其进行检测，得到监控视频帧中的人脸区域If，在人脸区域If中进行五官定位，得到监控视频人脸五官定位结果；确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果；然后前面步骤获得的监控视频人脸图像的五官定位结果和目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度。最后计算监控视频人脸图像和目标人脸图像的概率融合相似度，得到搜索匹配结果。利用本发明使得搜索结果更为准确。

Description

面向监控视频的人脸检测与搜索方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种面向视频监控的人脸检测与搜索方法。
背景技术
随着视频监控***的大规模应用以及相关识别算法的深入研究，将基于人脸识别技术的人脸识别搜索与视频监控相结合，可以有效提高视频监控的智能化水平，尤其在网络追逃、打击人口拐卖等方面可以提高工作效率，减轻人工工作量的同时，将发现目标人的几率得到提升。目前该应用一个突出的制约因素是：由于监控视频主要拍摄较大场景，容易导致其中的人脸区域较小，从而检测不到人脸，导致识别与搜索效果不佳。
现有的人脸检测与搜索方法，如公开号为103824051A，公开日为2014年5月28日的发明专利申请，公开了一种基于局部区域匹配的人脸搜索方法，其将人脸对齐到标准网格人脸并划分为若干器官区域，针对各区域提取多层次特征用于识别分类。公开号为106886739A，公开日为2017年6月23日的发明专利申请，公开了一种基于人脸识别的视频监控方法，方法中提取人脸分层直方图作为特征，对图像噪声具有较好的鲁棒性。公开号为104899576A，公开日为2015年9月9日的发明专利申请，公开了一种基于Gabor变换与HOG的人脸识别特征提取方法，首先对含人脸图像进行提取并归一化，通过生成40个不同方向大小的Gabor滤波器对归一化人脸进行分别滤波，得到多个方向和大小的Gabor特征，随后对得到的Gabor特征进行HOG处理，进一步得到Gabor特征的梯度直方图信息，使得Gabor滤波结果增强。公开号为104700089A，公开日为2015年6月10日的发明专利申请，公开了一种基于Gabor和SB2DLPP的人脸识别方法，主要包括预处理、特征提取、特征降维和分类识别四个步骤。(1)对已知的人脸库中所有的人脸图像进行预处理，包括尺度归一化和直方图均衡化；(2)利用Gabor小波对预处理过的人脸图像进行特征提取；(3)引入类别信息，对步骤(2)提取到的高维图像特征应用有监督的双向二维局部保持投影(SB2DLPP)算法进行降维，从而提取出映射到低维子空间的特征矩阵；(4)采用最近邻分类器进行分类识别。公开号为103679151A，公开日为2014年3月26日的发明专利申请，公开了一种融合LBP、Gabor特征的人脸聚类方法。公开号为104820844A，公开日为2015年8月5日的发明专利申请公开了一种人脸识别方法，将待识别人脸图像获得的图像特征分成正负样本，使用Adaboost对所述正负样本进行特征选择，获得明显特征，使用Adaboost对由所述人脸图像获得的图像特征进行特征选择，获得特征子空间；使用环形对称划分的SVM对所述特征子空间进行特征训练获得ECC编码矩阵；使用环形对称划分的SVM及所述ECC编码矩阵对所述明显特征进行特征匹配。
上述方法主要工作均集中在人脸特征表示部分，不能解决监控视频中人脸区域较小带来的人脸漏检问题，并且上述方法主要针对尺寸较大、细节丰富的人脸提取特征，而对于实际监控视频中较小区域、细节不丰富的人脸而言，上述特征提取方法并不能获得与高质量人脸图像相称的效果。
发明内容
针对现有技术中存在的缺陷，本发明提供一种面向监控视频的人脸检测与搜索方法。
为实现本发明之目的，采用以下技术方案予以实现：
本发明首先针对监控视频中的小尺寸人脸目标，基于YOLO V3方法训练人脸检测器；然后对检测到的人脸区域，将人脸图像分割为局部五官部件，针对各部件训练对应的卷积神经网络提取其特征；最后基于概率融合计算目标人脸与模板人脸的相似度，实现可靠搜索。
参照图1，面向监控视频的人脸检测与搜索方法，包括以下步骤：
S1训练人脸检测器；
S2输入待进行人脸识别与搜索的监控视频帧，利用S1得到的人脸检测器对其进行检测，得到监控视频帧中的人脸区域If，在人脸区域If中进行五官定位，得到监控视频人脸五官定位结果；
S3确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果；
S4基于S2中获得的监控视频人脸图像的五官定位结果和S3中获得的目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度。
S5计算监控视频人脸图像和目标人脸图像的概率融合相似度，得到搜索匹配结果。
本发明S1中人脸检测器的训练方法如下：
S1.1创建训练数据集；
训练数据集包括多张(通常不少于1万张)含有不同人脸图像的监控视频图像，且各监控视频图像中人脸图像的区域尺寸涵盖从较小尺寸(如20×20像素)到较大尺寸(以监控视频分辨率1280×1024为例，最大人脸256×256像素，更大尺寸人脸不属于监控视频的常用范围)。
S1.2对训练数据集中所有监控视频图像中的人脸区域进行标注并对各监控视频图像均生成其对应的标注文件。
S1.3将训练数据集中的监控视频图像按照一定比例随机分为训练集和测试集。训练集用于建立训练模型，测试集用于测试所述训练模型的泛化能力。
S1.4利用YOLO V3进行训练、测试，最终生成训练后的人脸检测器。
设置YOLO V3的训练配置文件；下载YOLO V3的预训练文件；使用上述训练集、测试集、配置文件、预训练文件，调用YOLO V3的train指令进行训练；训练完成，自动生成训练后的人脸检测器。
该方法的创新点在于：YOLO(You Only Look Once)是一种基于单神经网络的目标检测方法，其V3版本对小目标的检测率优于其它基于卷积神经网络的目标检测方法，并且速度更快。步骤S1中利用YOLO V3的算法优势，可以对小尺寸人脸样本图像更有效地训练获得人脸检测器，实现对监控视频中较小人脸的有效检测。
本发明S2中，五官定位的方法如下：
利用S1得到的人脸检测器对待进行人脸识别与搜索的监控视频帧进行检测得到人脸区域If，该人脸区域If的宽度＝高度＝DI，对其按照以下步骤进行五官定位：
S2.1：基于Dlib人脸关键点检测方法从人脸区域If检测人脸五官关键点。参照图2，人脸五官关键点分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇，利用Dlib人脸关键点检测方法检测到的人脸五官关键点其位置及序号如图2所示。
S2.2：鼻尖作为S2.1中检测到的一个人脸五官关键点，以鼻尖为几何中心，1.5×DI为边长，从该帧图像中裁剪出正方形人脸区域，并将该正方形人脸区域尺寸缩放到128×128像素，得到尺寸归一化人脸区域Ifs；
S2.3：对Ifs再次利用Dlib人脸关键点检测方法检测分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇上的人脸五官关键点，得到全脸五官关键点分布图像；并根据得到的全脸五官关键点分布图像裁剪出Ifs中的左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
本发明步骤S3中对目标人脸图像进行五官定位的方法与S2中五官定位方法相同，即对目标人脸图像按照S2.1，S2.2方法得到目标人脸图像对应的尺寸归一化人脸区域，再按照S2.3中的方法得到目标人脸图像对应的全脸五官关键点分布图像以及左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
本发明步骤S4中视频人脸图像中以及目标人脸图像中的左眉、右眉、左眼、右眼、鼻、嘴以及全脸的相似度的计算方法相同，以左眉为例，具体流程为：
S4.1：预先收集大量左眉样本作为左眉样本训练集，按照特异性将左眉样本训练集中的各左眉样本进行分类，将各左眉样本中的左眉分为如细眉、浓眉、一字眉、弯折眉等典型类别，设左眉的典型类别数k1，利用分类后的左眉样本训练集训练针对左眉的卷积神经网络；
S4.2：将S2.3中得到的监控视频人脸图像中左眉图像输入到S4.1训练后得到的左眉卷积神经网络，输出特征向量
S4.3：计算特征向量与S4.1中训练用典型模板特征向量中欧氏距离相似度最大的一类Si0，该最大欧氏距离相似度Pi0作为分类为该类别的概率(计算左眉时i＝1)；
(1)从S4.1中的左眉样本训练集中的各典型类别左眉样本中各任选一张图像并输入到左眉卷积神经网络，得到对应的左眉典型类别特征向量m＝1,2,3,...,k1，k1为左眉的典型类别数。
(2)计算与m＝1,2,3,...,k1的欧氏距离相似度·
其中n为特征向量和的长度(它们由同一个卷积神经网络计算得到，所以长度相同)，表示的第j个元素，表示的第j个元素。
(3)从上述欧氏距离相似度中取出最大的一个为Pi0
该最大相似度对应的类别序号为记为Si0，因为此处计算对象为左眉，i＝1。
S4.4：采用与S4.1～S4.3相同的步骤方法，计算监控视频人脸图像中其它五官部件经对应CNN分类结果为Si0，对应该类的概率为Pi0，i＝2,3,…6，分别表示右眉、左眼、右眼、鼻、嘴；
S4.5：采用与S4.1～S4.4相同的步骤方法，计算S3中得到的目标人脸图像中的五官部件经对应CNN分类结果为Si1，对应该类的概率为Pi1，i＝1,2,3,…6，分别表示左眉、右眉、左眼、右眼、鼻、嘴。
在训练右眉的卷积神经网络，将各右眉样本中的右眉分为如细眉、浓眉、一字眉、弯折眉等典型类别。在训练左/右眼的卷积神经网络，将各左/右眼样本中的左眼分为如等典型类别。在训练鼻子的卷积神经网络，将各鼻子样本中的鼻子分为如平实鼻、塌鼻梁、鹰钩鼻、朝天鼻、翘头鼻等典型类别。在训练嘴巴的卷积神经网络，将各嘴巴样本中的嘴巴分为如厚唇型、薄唇型、口角下垂型、口角上翘型等典型类别。各局部特征的典型类别的分类是按照对各局部特征的常规分类形式而划分的。
进一步地，还包括步骤S4.6：对于全脸图像，目标人脸图像根据所属人员分为k7类，采用与S4.2～S4.3相同的步骤方法，计算监控视频人脸图像中全脸经对应CNN分类结果为Si7，对应该类的概率为Pi7。
本发明S5中，计算监控视频人脸图像和目标人脸图像的概率融合相似度p为
判断概率融合相似度p的大小，如其大于某一预设阈值，则认为监控视频图像中的人脸图像与目标人脸图像相似，返回搜索匹配结果。
卷积神经网络(Convolution neural network，下文简称为CNN)是一种智能化的特征提取方法，将已知训练图像集输入该网络，部分处理及参数设置可通过训练生成并优化，因此能获得更佳的质量与效率。本发明步骤S4中采用的方法为，将人脸分割为左眉、右眉、左眼、右眼、鼻子、嘴6种部件，加上全脸共7种图像，如图3所示。对上述7种图像分别训练对应的CNN进行特征提取和分类，如图4所示。通过卷积神经网络，将每一五官部件分类为某一类别并输出其概率，对完整人脸则输出其两张人脸被判别为同一人的概率。其能产生的技术效果表现在以下方面：
(1)基于局部特异性描述和提取人脸特征，人脸局部部件的特异特征比全局特征更鲜明和稳定，不易受表情和姿态影响；
(2)融合局部特征和全局特征，使特征更全面，更能体现监控视频中小尺寸人脸的特征。
针对多个CNN结果的融合问题，传统方法将多个网络输出结果求平均作为最终结果，当人脸各部件的特异程度有差别时，简单的平均不能有效地体现人脸特征。本发明S5中对各CNN输出结果基于概率进行融合，使人脸的特异性特征得到体现。通过上述处理，可实现基于概率融合的多CNN人脸相似度计算，其能产生的技术效果表现在以下方面：：
(1)融合局部部件的特异性和全局人脸的整体特征，提高分类正确性。
(2)基于概率融合多个CNN分类结果，该方法能有效反映不同部件特征的奇异强度，使搜索结果更准确。
附图说明
图1是本发明的流程图
图2人脸关键点位置及序号图
图3人脸部件分割图
图4是融合局部特征和全局特征的多卷积神经网络示意图
具体实施方式
下面将结合本发明实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，做进一步详细说明，但本发明的实施方式不仅限于此。
参照图1，面向监控视频的人脸检测与搜索方法，包括以下步骤：
S1训练人脸检测器；
S1.1创建训练数据集；
训练数据集包括多张(通常不少于1万张)含有不同人脸图像的监控视频图像，且各监控视频图像中人脸图像的区域尺寸涵盖从较小尺寸(如20×20像素)到较大尺寸(以监控视频分辨率1280×1024为例，最大人脸256×256像素，更大尺寸人脸不属于监控视频的常用范围)。
S1.2对训练数据集中所有监控视频图像中的人脸区域进行标注并对各监控视频图像均生成其对应的标注文件。
S1.3将训练数据集中的监控视频图像按照一定比例随机分为训练集和测试集。训练集用于建立训练模型，测试集用于测试所述训练模型的泛化能力。
S1.4利用YOLO V3进行训练、测试，最终生成训练后的人脸检测器。
设置YOLO V3的训练配置文件；下载YOLO V3的预训练文件；使用上述训练集、测试集、配置文件、预训练文件，调用YOLO V3的train指令进行训练；训练完成，自动生成训练后的人脸检测器。
S2输入待进行人脸识别与搜索的监控视频帧，利用S1得到的人脸检测器对其进行检测，得到监控视频帧中的人脸区域If，在人脸区域If中进行五官定位，得到监控视频人脸五官定位结果。
利用S1得到的人脸检测器对待进行人脸识别与搜索的监控视频帧进行检测得到人脸区域If，该区域宽度＝高度＝DI，进行下述五官定位处理：
S2.1：基于Dlib人脸关键点检测方法从人脸区域If检测人脸五官关键点。参照图2，人脸五官关键点分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇，利用Dlib人脸关键点检测方法检测到的人脸五官关键点其位置及序号如图2所示。
S2.2：鼻尖作为人脸五官关键点，以鼻尖(图2中的序号31为鼻尖)为几何中心，1.5×DI为边长，从该帧图像中裁剪出正方形人脸区域，并将该正方形人脸区域尺寸缩放到128×128像素，得到尺寸归一化人脸区域Ifs；
S2.3：对Ifs再次利用Dlib人脸关键点检测方法检测分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇上的人脸五官关键点，得到全脸五官关键点分布图像；并根据得到的全脸五官关键点分布图像裁剪出Ifs中的左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
S3确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果。
S3中对目标人脸图像进行五官定位的方法与S2中五官定位方法相同，即对目标人脸图像按照S2.1，S2.2方法得到目标人脸图像对应的尺寸归一化人脸区域，再按照S2.3中的方法得到目标人脸图像对应的全脸五官关键点分布图像以及左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
S4基于S2中获得的监控视频人脸图像的五官定位结果和S3中获得的目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度。
S4.1：预先收集大量左眉样本作为左眉样本训练集，按照特异性将左眉样本训练集中的各左眉样本进行分类，将各左眉样本中的左眉分为如细眉、浓眉、一字眉、弯折眉等典型类别，设左眉的典型类别数k1，利用分类后的左眉样本训练集训练针对左眉的卷积神经网络。
S4.2：将S2.3中得到的监控视频人脸图像中左眉图像输入到S4.1训练后得到的左眉卷积神经网络，输出特征向量
S4.3：计算特征向量与S4.1中训练用典型模板特征向量中欧氏距离相似度最大的一类Si0，该最大欧氏距离相似度Pi0作为分类为该类别的概率(计算左眉时i＝1)。
(1)从S4.1中的左眉样本训练集中的各典型类别左眉样本中各任选一张图像并输入到左眉卷积神经网络，得到对应的左眉典型类别特征向量m＝1,2,3,...,k1，k1为左眉的典型类别数；
(2)计算与m＝1,2,3,...,k1的欧氏距离相似度
其中n为特征向量和的长度，表示的第j个元素，表示的第j个元素；
(3)从(2)中计算得到的欧氏距离相似度中取出最大的一个为Pi0，
该最大相似度对应的类别序号为记为Si0，因为此处计算对象为左眉，i＝1。
S4.4：采用与S4.1～S4.3相同的步骤方法，计算监控视频人脸图像中其它五官部件经对应CNN分类结果为Si0，对应该类的概率为Pi0，i＝2,3,…6，分别表示右眉、左眼、右眼、鼻、嘴。
S4.5：采用与S4.1～S4.4相同的步骤方法，计算S3中得到的目标人脸图像中的五官部件经对应CNN分类结果为Si1，对应该类的概率为Pi1，i＝1,2,3,…6，分别表示左眉、右眉、左眼、右眼、鼻、嘴；
S4.6：对于全脸图像，目标人脸图像根据所属人员分为k7类，采用与S4.2～S4.3相同的步骤方法，计算监控视频人脸图像中全脸经对应CNN分类结果为Si7，对应该类的概率为Pi7。
S5计算监控视频人脸图像和目标人脸图像的概率融合相似度，得到搜索匹配结果。
监控视频人脸图像和目标人脸图像的概率融合相似度p为
判断概率融合相似度p的大小，如其大于某一预设阈值，则认为监控视频图像中的人脸图像与目标人脸图像相似，返回搜索匹配结果。
综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视权利要求书界定的范围为准。

Claims (7)

1.一种面向监控视频的人脸检测与搜索方法，其特征在于，包括以下步骤：
S1 训练人脸检测器；
S2 输入待进行人脸识别与搜索的监控视频帧，利用S1得到的人脸检测器对其进行检测，得到监控视频帧中的人脸区域If，在人脸区域If中进行五官定位，得到监控视频人脸五官定位结果；
S3 确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果；
S4 基于S2中获得的监控视频人脸图像的五官定位结果和S3中获得的目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度；
S4.1：预先收集大量左眉样本作为左眉样本训练集，按照特异性将左眉样本训练集中的各左眉样本进行分类，将各左眉样本中的左眉分为如细眉、浓眉、一字眉、弯折眉等典型类别，设左眉的典型类别数k1，利用分类后的左眉样本训练集训练针对左眉的卷积神经网络；
S4.2：将S2中得到的监控视频人脸图像中左眉图像输入到S4.1训练后得到的左眉卷积神经网络，输出特征向量
S4.3：计算特征向量与S4.1中训练用典型模板特征向量中欧氏距离相似度最大的一类Si0，该最大欧氏距离相似度Pi0作为分类为该类别的概率；
S4.4：采用与S4.1～S4.3相同的步骤方法，计算监控视频人脸图像中其它五官部件经对应CNN分类结果为Si0，对应该类的概率为Pi0，i＝2,3,…6，分别表示右眉、左眼、右眼、鼻、嘴；
S4.5：采用与S4.1～S4.4相同的步骤方法，计算S3中得到的目标人脸图像中的五官部件经对应CNN分类结果为Si1，对应该类的概率为Pi1，i＝1,2,3,…6，分别表示左眉、右眉、左眼、右眼、鼻、嘴；
S5 计算监控视频人脸图像和目标人脸图像的概率融合相似度p，得到搜索匹配结果；其中概率融合相似度p为
判断概率融合相似度p的大小，如其大于某一预设阈值，则认为监控视频图像中的人脸图像与目标人脸图像相似，返回搜索匹配结果。
2.根据权利要求1所述的面向监控视频的人脸检测与搜索方法，其特征在于，S1中人脸检测器的训练方法如下：
S1.1 创建训练数据集；
S1.2 对训练数据集中所有监控视频图像中的人脸区域进行标注并对各监控视频图像均生成其对应的标注文件；
S1.3 将训练数据集中的监控视频图像按照一定比例随机分为训练集和测试集；训练集用于建立训练模型，测试集用于测试所述训练模型的泛化能力；
S1.4 利用YOLO V3进行训练、测试，最终生成训练后的人脸检测器。
3.根据权利要求2所述的面向监控视频的人脸检测与搜索方法，其特征在于，S1.1中，训练数据集包括不少于1万张含有不同人脸图像的监控视频图像，且各监控视频图像中人脸图像的区域尺寸涵盖范围是从20×20像素到256×256像素。
4.根据权利要求3所述的面向监控视频的人脸检测与搜索方法，其特征在于，S2中利用S1得到的人脸检测器对待进行人脸识别与搜索的监控视频帧进行检测得到人脸区域If，该人脸区域If的宽度＝高度＝DI，对其按照以下步骤进行五官定位：
S2.1：基于Dlib人脸关键点检测方法从人脸区域If检测人脸五官关键点，人脸五官关键点分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇；
S2.2：鼻尖作为S2.1中检测到的一个人脸五官关键点，以鼻尖为几何中心，1.5×DI为边长，从该帧图像中裁剪出正方形人脸区域，并将该正方形人脸区域尺寸缩放到128×128像素，得到尺寸归一化人脸区域Ifs；
S2.3：对Ifs再次利用Dlib人脸关键点检测方法检测分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇上的人脸五官关键点，得到全脸五官关键点分布图像；并根据得到的全脸五官关键点分布图像裁剪出Ifs中的左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
5.根据权利要求4所述的面向监控视频的人脸检测与搜索方法，其特征在于，S3中对目标人脸图像进行五官定位的方法与S2中五官定位方法相同，即对目标人脸图像按照S2.1，S2.2方法得到目标人脸图像对应的尺寸归一化人脸区域，再按照S2.3中的方法得到目标人脸图像对应的全脸五官关键点分布图像以及左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。
6.根据权利要求1所述的面向监控视频的人脸检测与搜索方法，其特征在于，S4还包括步骤S4.6，对于全脸图像，目标人脸图像根据所属人员分为k7类，采用与S4.2～S4.3相同的步骤方法，计算监控视频人脸图像中全脸经对应CNN分类结果为Si7，对应该类的概率为Pi7。
7.根据权利要求1所述的面向监控视频的人脸检测与搜索方法，其特征在于，S4.3的实现方法如下：
(1)从S4.1中的左眉样本训练集中的各典型类别左眉样本中各任选一张图像并输入到左眉卷积神经网络，得到对应的左眉典型类别特征向量k1为左眉的典型类别数；
(2)计算与的欧氏距离相似度
其中n为特征向量和的长度，表示的第j个元素，表示的第j个元素；
(3)从(2)中计算得到的欧氏距离相似度中取出最大的一个为Pi0，
该最大相似度对应的类别序号为记为Si0，因为此处计算对象为左眉，i＝1。
CN201811400352.0A 2018-11-22 2018-11-22 面向监控视频的人脸检测与搜索方法 Active CN109522853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811400352.0A CN109522853B (zh) 2018-11-22 2018-11-22 面向监控视频的人脸检测与搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811400352.0A CN109522853B (zh) 2018-11-22 2018-11-22 面向监控视频的人脸检测与搜索方法

Publications (2)

Publication Number Publication Date
CN109522853A CN109522853A (zh) 2019-03-26
CN109522853B true CN109522853B (zh) 2019-11-19

Family

ID=65778619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811400352.0A Active CN109522853B (zh) 2018-11-22 2018-11-22 面向监控视频的人脸检测与搜索方法

Country Status (1)

Country Link
CN (1) CN109522853B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321857B (zh) * 2019-07-08 2021-08-17 苏州万店掌网络科技有限公司 基于边缘计算技术的精准客群分析方法
CN110490057B (zh) * 2019-07-08 2020-10-27 光控特斯联(上海)信息科技有限公司 一种基于人脸大数据人工智能聚类的自适应识别方法与***
CN111177469A (zh) * 2019-12-20 2020-05-19 国久大数据有限公司 人脸检索方法及人脸检索装置
CN111325133B (zh) * 2020-02-17 2023-09-29 深圳龙安电力科技有限公司 一种基于人工智能识别的影像处理***
CN111325132A (zh) * 2020-02-17 2020-06-23 深圳龙安电力科技有限公司 一种智能监控***
CN111881906A (zh) * 2020-06-18 2020-11-03 广州万维创新科技有限公司 一种基于注意力机制图像检索的logo识别方法
CN111914811B (zh) * 2020-08-20 2021-09-28 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN114359030B (zh) * 2020-09-29 2024-05-03 合肥君正科技有限公司 一种人脸逆光图片的合成方法
CN115668315A (zh) * 2021-04-01 2023-01-31 京东方科技集团股份有限公司 人脸属性检测方法及装置、存储介质及电子设备
CN113468954B (zh) * 2021-05-20 2023-04-18 西安电子科技大学 基于多通道下局部区域特征的人脸伪造检测方法
CN116071804A (zh) * 2023-01-18 2023-05-05 北京六律科技有限责任公司 人脸识别的方法、装置和电子设备
CN116561372B (zh) * 2023-07-03 2023-09-29 北京瑞莱智慧科技有限公司 基于多算法引擎的人员聚档方法、装置及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201111085Y (zh) * 2007-06-11 2008-09-03 湖北东润科技有限公司 人脸自动识别***
CN105893946A (zh) * 2016-03-29 2016-08-24 中国科学院上海高等研究院 一种正面人脸图像的检测方法
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及***
CN106372606A (zh) * 2016-08-31 2017-02-01 北京旷视科技有限公司 目标对象信息生成方法和单元、识别方法和单元及***
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201111085Y (zh) * 2007-06-11 2008-09-03 湖北东润科技有限公司 人脸自动识别***
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及***
CN105893946A (zh) * 2016-03-29 2016-08-24 中国科学院上海高等研究院 一种正面人脸图像的检测方法
CN106372606A (zh) * 2016-08-31 2017-02-01 北京旷视科技有限公司 目标对象信息生成方法和单元、识别方法和单元及***
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置

Also Published As

Publication number Publication date
CN109522853A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109522853B (zh) 面向监控视频的人脸检测与搜索方法
WO2021098261A1 (zh) 一种目标检测方法与装置
CN106503687B (zh) 融合人脸多角度特征的监控视频人物身份识别***及其方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和***
CN104517104B (zh) 一种基于监控场景下的人脸识别方法及***
Wan et al. Bootstrapping face detection with hard negative examples
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
CN105701467B (zh) 一种基于人体形态特征的多人异常行为识别方法
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及***
CN105975932B (zh) 基于时间序列shapelet的步态识别分类方法
Vrigkas et al. Matching mixtures of curves for human action recognition
US20120014562A1 (en) Efficient method for tracking people
Mady et al. Face recognition and detection using Random forest and combination of LBP and HOG features
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN107330397A (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
Rouhi et al. A review on feature extraction techniques in face recognition
Ma et al. A region histogram of oriented optical flow (RHOOF) feature for apex frame spotting in micro-expression
Udawant et al. Cotton leaf disease detection using instance segmentation
CN108830222A (zh) 一种基于信息性和代表性主动学习的微表情识别方法
Duffner et al. A neural scheme for robust detection of transparent logos in TV programs
CN106407878B (zh) 基于多分类器的人脸检测方法及装置
Yu Deep learning methods for human action recognition
CN110135362A (zh) 一种基于红外摄像头下的人脸快速识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 2707, 27F, building h, Tianjian one square mile, Xinhe street, Kaifu District, Changsha City, Hunan Province

Applicant after: HUNAN ZHONGZHI JUNYING TECHNOLOGY Co.,Ltd.

Address before: 410000 Room 0709, 7th Floor, Building 3, Huachuang International Plaza, 109 Furong Middle Road, Wujialing Street, Changsha City, Hunan Province

Applicant before: HUNAN ZHONGZHI JUNYING TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Shuhua

Inventor before: Xie Jianbin

Inventor before: Li Peiqin

Inventor before: Yan Wei

Inventor before: Zhang Shuhua

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231212

Address after: 410006 Room 101, Building 3, Country Garden Smart Park, Xuehua Village, Bachelor Street, Yuelu District, Changsha City, Hunan Province

Patentee after: HUNAN ZHONGKE YOUXIN TECHNOLOGY CO.,LTD.

Patentee after: National University of Defense Technology

Address before: Room 2707, 27th floor, building h, Tianjian square mile, Xinhe street, Kaifu District, Changsha, Hunan 410000

Patentee before: HUNAN ZHONGZHI JUNYING TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240204

Address after: 410073 Hunan province Changsha Kaifu District, Deya Road No. 109

Patentee after: National University of Defense Technology

Country or region after: China

Address before: 410006 Room 101, Building 3, Country Garden Smart Park, Xuehua Village, Bachelor Street, Yuelu District, Changsha City, Hunan Province

Patentee before: HUNAN ZHONGKE YOUXIN TECHNOLOGY CO.,LTD.

Country or region before: China

Patentee before: National University of Defense Technology