CN111199197A - 一种人脸识别的图像提取方法及处理设备 - Google Patents

一种人脸识别的图像提取方法及处理设备 Download PDF

Info

Publication number
CN111199197A
CN111199197A CN201911370843.XA CN201911370843A CN111199197A CN 111199197 A CN111199197 A CN 111199197A CN 201911370843 A CN201911370843 A CN 201911370843A CN 111199197 A CN111199197 A CN 111199197A
Authority
CN
China
Prior art keywords
face
image frame
image
definition
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911370843.XA
Other languages
English (en)
Other versions
CN111199197B (zh
Inventor
曾钰胜
庞建新
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201911370843.XA priority Critical patent/CN111199197B/zh
Publication of CN111199197A publication Critical patent/CN111199197A/zh
Priority to US17/134,467 priority patent/US11475707B2/en
Application granted granted Critical
Publication of CN111199197B publication Critical patent/CN111199197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸识别的图像提取方法及处理设备。该方法包括：获取多个图像帧；对每一图像帧进行人脸识别，以提取人脸区域；对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度；对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标；基于综合评价指标从多个图像帧中选择关键帧。通过上述方式，对视频流进行分析以提取出关键帧，能够减少资源的占用率，并能提高人脸识别质量。

Description

一种人脸识别的图像提取方法及处理设备
技术领域
本申请涉及人脸识别领域，特别涉及一种人脸识别的图像提取方法及处理设备。
背景技术
人脸识别是一种基于人的脸部特征信息进行身份识别的生物识别技术，其相对于如指纹、DNA检测等其他较成熟的人体生物特征识别方法具有隐秘性、低成本、可交互性强等优点，因此，多年来人脸识别技术一直是研究热点。
人脸识别是利用照相机或摄像机等设备采集含有人脸的图像或视频流，通过对视频流进行分析，从而得到人脸数据。但在对视频流的实际分析过程中，通常是对视频流中每一帧图片都进行分析，这样会导致设备的计算量过大；并且，从大多数视频流中获取的人脸质量较差，容易发生无法识别或错误识别的情况。
发明内容
为解决上述问题，本申请提供一种人脸识别的图像提取方法及处理设备，通过提取视频流中的关键帧，能够减少资源的占用率，并能提高人脸识别质量。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种人脸识别的图像提取方法，该方法包括：获取多个图像帧；对每一图像帧进行人脸识别，以提取人脸区域；对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度；对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标；基于综合评价指标从多个图像帧中选择关键帧。
其中，对每一图像帧进行人脸识别的步骤包括：若在图像帧存在多个人脸区域，则提取面积最大的人脸区域。
其中，对每一图像帧的人脸区域进行清晰度分析的步骤包括：利用拉普拉斯算子对每一图像帧的人脸区域进行卷积运算，以获得清晰度评估图；计算清晰度评估图的方差，以作为人脸清晰度。
其中，利用拉普拉斯算子对每一图像帧的人脸区域进行卷积运算的步骤之前，进一步包括：通过相似变换对每一图像帧的人脸区域进行对齐。
其中，通过相似变换对每一图像帧的人脸区域进行对齐的步骤包括：将各人脸区域内的人脸的特定器官点作为关键点，以使得在进行相似变换后各关键点分别被映射到预设的坐标平面内的预定坐标点。
其中，对每一图像帧的人脸区域进行姿态分析的步骤包括：获取人脸区域内的人脸的双眼之间的距离，以作为第一距离；获取人脸的眼睛到嘴巴之间的距离，以作为第二距离；计算第一距离与第二距离的比值，以作为人脸姿态角度。
其中，综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标的步骤包括：获取由各图像帧计算得到的人脸清晰度中的最大人脸清晰度；获取由各图像帧计算得到的人脸姿态角度中的最大人脸姿态角度；将每一图像帧的人脸清晰度与最大人脸清晰度之间的比值和人脸姿态角度与最大人脸姿态角度之间的比值进行加权求和，以作为各图像帧的综合评价指标。
其中，基于综合评价指标从多个图像帧中选择关键帧的步骤包括：从多个图像帧中选择综合评价指标最大的图像帧作为关键帧。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种处理设备，包括获取模块，用于获取多个图像帧；识别模块，用于对每一图像帧进行人脸识别，以提取人脸区域；分析模块，用于对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度，以及对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；处理模块，用于综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标，并基于综合评价指标从多个图像帧中选择关键帧。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种处理设备，包括存储器和处理器，其中，存储器用于存储处理器执行的计算机程序；处理器用于执行计算机程序以实现上述人脸识别的图像提取方法。
本申请的有益效果是：本申请提供的人脸识别的图像提取方法，通过对视频流中的多个图像帧进行清晰度分析和姿态分析，并根据两种分析的结果对各图像帧进行评估，进而从多个图像帧中得到关键帧，通过上述方式，能够减少图像数据处理时资源的占用率，并能提高人脸识别质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的人脸识别的图像提取方法一实施例的流程示意图；
图2是图1实施例人脸识别的图像提取方法中步骤S13的具体流程示意图；
图3是图1实施例人脸识别的图像提取方法中步骤S14的具体流程示意图；
图4是本申请提供的人脸识别的图像提取方法实施例中基于人脸正侧度的姿态分析的实测结果图；
图5是本申请提供的人脸识别的图像提取方法实施例中基于人脸正侧度的姿态分析的实测结果图；
图6是图1实施例人脸识别的图像提取方法中步骤S15的具体流程示意图；
图7是本申请提供的处理设备一实施例的结构示意图；
图8是本申请提供的处理设备另一实施例的结构示意图；
图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。
参阅图1，图1是本申请提供的人脸识别的图像提取方法一实施例的流程示意图。本实施例的方法包括：
步骤S11：获取多个图像帧。
在本实施例中，可以通过安装在终端或其他预定设备或位置处的摄像头捕捉视频流，从而获取组成视频流的多个图像帧；其中，该多个图像帧从同一视频流中获取得到。
步骤S12：对每一图像帧进行人脸识别，以提取人脸区域。
其中，人脸识别的方式可以是基于五官的识别方式，例如可以是根据眼、鼻、嘴等器官的形状和它们之间的几何关系，或者相互之间的距离，从而确定人脸区域；或者是通过人脸中某特定的纹理特征对人脸进行识别；还可以通过基于人体肤色的方式对人脸进行识别。
可选地，在一些实施例中，若在图像帧存在多个人脸区域，则提取面积最大的人脸区域。
步骤S13：对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度。
具体获取人脸清晰度的过程如图2所示，具体包括：
步骤S131：通过相似变换对每一图像帧的人脸区域进行对齐。
具体地，可以将各人脸区域内的特定器官点作为关键点，例如人脸的左眼、右眼、鼻尖、左嘴角和右嘴角，以使得在进行相似变换后各关键点分别被映射到预设的坐标平面内的预定坐标点。
其中，相似变换后，各图像帧人脸区域的位置和朝向发生改变，而形状不变，也即刚性变换。
可选地，该5个关键点的坐标可以为(38.2946,51.6963)，(73.5318,51.5014)，(56.0252,71.7366)，(41.5493,92.3655)，(70.7299,92.2041)。
并且，由于从各图像帧中提取的人脸区域大小可能相同或不同，因此，在对各图像帧人脸区域进行对齐后，还可以使各图像帧统一分辨率，可选地，分辨率的大小可以为112*96。
步骤S132：利用拉普拉斯算子对每一图像帧的人脸区域进行卷积运算，以获得清晰度评估图。
由于拉普拉斯对噪声较为敏感，因此在利用拉普拉斯算子对图像帧进行卷积运算之前，可以先对多个图像帧进行平滑滤波处理，以消除部分噪声；进一步地，还可以对平滑滤波处理后的多个图像帧进行灰度化处理，具体灰度化处理的方式可以为分量法、最大值法、平均值法和加权平均法。
其中，上述拉普拉斯算子可以定义为：
Figure BDA0002339619970000051
为了使得拉普拉斯算子更适合于数字图像处理，该方程可以表示为离散形式：
Figure BDA0002339619970000052
可选地，上述拉普拉斯算子还可以表示为模板形式：
Figure BDA0002339619970000053
可以理解的，对于图像帧的每一个像素点，通过计算该像素点的邻域像素和拉普拉斯算子矩阵对应元素的乘积，然后相加，作为该像素位置的值，这样就完成了卷积运算，其具体方式可以为：
(1)先将拉普拉斯算子围绕中心旋转180度。
(2)滑动算子，使算子的中心位于图像帧人脸区域的某一像素上。
(3)利用公式求和，得到该图像帧人脸区域的像素值。
(4)重复(2)(3)，直到计算出多个图像帧人脸区域的所有像素值。
其中，当拉普拉斯算子对图像帧的边缘进行计算时，算子的一部分会位于图像帧边缘外面，对于这样的情况，可以采用常数填充位于图像帧边缘外部的算子矩阵区域，可以默认使用0，这使得最后得到的清晰度评估图的边缘为黑色；除此之外，还可以采用复制边缘像素的方法进行计算。
在利用拉普拉斯算子对图像帧的人脸区域进行卷积运算后，即可根据计算出的每一图像帧中的像素值生成对应的清晰度评估图，进而获得各图像帧对应的多个清晰度评估图。
步骤S133：计算清晰度评估图的方差，以作为人脸清晰度。
计算每一清晰度评估图中所有像素值的方差，以分别作为对应各图像帧的人脸清晰度，用以评估对应图像帧的模糊度；其中，如果计算出某个清晰度评估图的方差低于预设阈值，则可以认为该清晰度评估图对应的图像帧是模糊的，若清晰度评估图的方差高于预设阈值，则表明对应的图像帧不模糊；也就是说，计算得到的方差越大，纹理就越清晰，图像清晰度就越高。
步骤S14：对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度。
具体对人脸区域进行姿态分析的过程如图3所示，具体包括：
步骤S141：获取人脸区域内的人脸的双眼之间的距离，以作为第一距离。
其中，将第一距离记录为D1。
步骤S142：获取人脸的眼睛到嘴巴之间的距离，以作为第二距离。
其中，将第二距离记录为D2。
步骤S143：计算第一距离与第二距离的比值，以作为人脸姿态角度。
可以理解的，由于在从正脸状态旋转到侧脸的过程中，第一距离D1在逐渐减小，而第二距离D2基本不变，因此，可以将第一距离D1和第二距离D2的比值D1/D2作为人脸姿态角度，也即人脸正侧度，用以量化正侧程度。
其中，本实施例中基于人脸正侧度的姿态分析方法经过实验数据，得到了各图像帧中不同角度下的人脸D1/D2的比值分布情况，如下表所示：
人脸角度a(°) <10 10<a<30 30<a<60 60<a<90
d1/d2 1.2-1.5 0.95-1.2 0.55-0.95 <0.55
具体可参阅图4、图5，图4和图5均为基于人脸正侧度的姿态分析的实测结果图。
在实际的应用场景中，可以把0.95作为D1/D2的阈值，以作为正脸或侧脸的分界阈值。若D1/D2的比值大于0.95，即可确定D1和D2对应图像帧中的人脸为正脸；若D1/D2的比值小于0.95，即可确定D1和D2对应图像帧中的人脸为侧脸。在其他实施例中，所述D1/D2的阈值可根据不同种族、脸型等设定。
步骤S15：综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标。
具体生成各图像帧的综合评价指标的过程如图6所示，具体包括：
步骤S151：获取由各图像帧计算得到的人脸清晰度中的最大人脸清晰度。
将同一视频流中的各图像帧依次记录为第i帧，对应将每一图像帧的人脸清晰度记录为bi，从各图像帧中获取最大人脸清晰度，并记录为bmax，其中人脸清晰度越大人脸区域内的纹理越清晰。
其中，bmax＝max(bi)[i＝1,2…n]，0<i≤n。
步骤S152：获取由各图像帧计算得到的人脸姿态角度中的最大人脸姿态角度。
将同一视频流中的各图像帧依次记录为第i帧，对应将每一图像帧的人脸姿态角度D1/D2记录为Pi，从各图像帧中获取D1/D2比值最大的人脸姿态角度，也即最大人脸正侧度，并记录为pmax，其中人脸正侧度越大人脸区域内的人脸越趋近于正脸。
其中，pmax＝max(Pi)[i＝1,2…n],0<i≤n。
步骤S153：将每一图像帧的人脸清晰度与最大人脸清晰度之间的比值和人脸姿态角度与最大人脸姿态角度之间的比值进行加权求和，以作为各图像帧的综合评价指标。
具体地，各图像帧的综合评价指标可以通过如下公式计算得到：
Figure BDA0002339619970000081
其中，Hi表示第i帧图像的综合评价指标，λ1和λ2为加权系数。
步骤S16：基于综合评价指标从多个图像帧中选择关键帧。
进一步地，可以从同一视频流的多个图像帧中，选择综合评价指标最大的图像帧作为关键帧Hmax，其中，Hmax＝max(Hi)[i＝1,2…n]。
其中，系数λ1和系数λ2的数值可以根据实际需求变化，例如在一些实施例中，系数λ1和系数λ2的值可以为0.5；在另一些实施例中，系数λ1的值可以为0.7，系数λ2的值可以为0.3；在对各图像帧的综合评价指标实际应用和计算中，系数λ1的值为0.6，系数λ2的值为0.4时，从多个图像帧中获取的关键帧最符合预期。
在一些实施方式中，步骤S16之后还可以包括：利用关键帧对视频流中的人脸进行注册。具体如下：
由于获取得到的关键帧是整段视频流中综合评价指标最高的一帧图片，因此可以利用该关键帧进行高质量的人脸注册，将关键帧中的人脸图像信息提交到人脸注册库中进行对比或注册存储，避免低质量的人脸注册为后续的人脸识别等带来误差。
进一步地，可以将关键帧中的时间信息以及位置信息共同存入后台注册库中。
因此，区别于现有技术，本申请提供的人脸识别的图像提取方法，通过对视频流中的多个图像帧进行清晰度分析和姿态分析，并根据两种分析的结果对各图像帧进行评估，进而从多个图像帧中得到关键帧，通过上述方式，能够减少图像数据处理时资源的占用率，并能提高人脸识别质量。
参阅图7，图7是本申请提供的处理设备一实施例的结构示意图。该处理设备70包括获取模块71、识别模块72、分析模块73、处理模块74。
其中，获取模块71用于获取多个图像帧；识别模块72用于对每一图像帧进行人脸识别，以提取人脸区域；分析模块73用于对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度，以及对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；处理模块74用于综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标，并基于综合评价指标从多个图像帧中选择关键帧。
需要说明的是，本实施例的处理设备70所执行的方法步骤是基于上述方法实施例的，其实施原理和步骤类似。
参阅图8，图8是本申请提供的处理设备一实施例的结构示意图。
本实施例的处理设备80包括处理器81及存储器82，存储器82通过诸如数据总线与处理器81耦接。
其中，存储器82用于存储计算机程序，计算机程序在被处理器81执行时，用以实现如下的人脸识别的图像提取方法：
获取多个图像帧；对每一图像帧进行人脸识别，以提取人脸区域；对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度；对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标；基于综合评价指标从多个图像帧中选择关键帧。
需要说明的是，本实施例的处理设备80是基于上述方法实施例的一实体处理，其实施原理和步骤类似，在此不再赘述。因此，计算机程序在被处理器81执行时，还可以实现上述实施例中的其他方法步骤，在此不再赘述。
参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图。
本实施例的计算机存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用以实现如下的人脸识别的图像提取方法：
获取多个图像帧；对每一图像帧进行人脸识别，以提取人脸区域；对每一图像帧的人脸区域进行清晰度分析，以获得人脸清晰度；对每一图像帧的人脸区域进行姿态分析，以获取人脸姿态角度；综合各图像帧的人脸清晰度和人脸姿态角度生成各图像帧的综合评价指标；基于综合评价指标从多个图像帧中选择关键帧。
需要说明的是，本实施例的计算机程序91所执行的方法步骤是基于上述方法实施例的，其实施原理和步骤类似。因此，计算机程序91在被处理器执行时，还可以实现上述任一实施例中的其他方法步骤，在此不再赘述。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的部分实施例，并非因此限制本申请的保护范围，凡是利用本申请说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种人脸识别的图像提取方法，其特征在于，所述方法包括：
获取多个图像帧；
对每一图像帧进行人脸识别，以提取人脸区域；
对所述每一图像帧的所述人脸区域进行清晰度分析，以获得人脸清晰度；
对所述每一图像帧的所述人脸区域进行姿态分析，以获取人脸姿态角度；
综合各所述图像帧的人脸清晰度和人脸姿态角度生成各所述图像帧的综合评价指标；
基于所述综合评价指标从所述多个图像帧中选择关键帧。
2.根据权利要求1所述的方法，其特征在于，所述对每一图像帧进行人脸识别的步骤包括：
若在所述图像帧存在多个所述人脸区域，则提取面积最大的所述人脸区域。
3.根据权利要求1所述的方法，其特征在于，所述对所述每一图像帧的所述人脸区域进行清晰度分析的步骤包括：
利用拉普拉斯算子对所述每一图像帧的人脸区域进行卷积运算，以获得清晰度评估图；
计算所述清晰度评估图的方差，以作为所述人脸清晰度。
4.根据权利要求3所述的方法，其特征在于，所述利用拉普拉斯算子对所述每一图像帧的人脸区域进行卷积运算的步骤之前，进一步包括：
通过相似变换对所述每一图像帧的人脸区域进行对齐。
5.根据权利要求4所述的方法，其特征在于，所述通过相似变换对所述每一图像帧的人脸区域进行对齐的步骤包括：
将各所述人脸区域内的人脸的特定器官点作为关键点，以使得在进行相似变换后各所述关键点分别被映射到预设的坐标平面内的预定坐标点。
6.根据权利要求1所述的方法，其特征在于，所述对所述每一图像帧的所述人脸区域进行姿态分析的步骤包括：
获取所述人脸区域内的人脸的双眼之间的距离，以作为第一距离；
获取人脸的眼睛到嘴巴之间的距离，以作为第二距离；
计算所述第一距离与所述第二距离的比值，以作为所述人脸姿态角度。
7.根据权利要求1所述的方法，其特征在于，所述综合各所述图像帧的人脸清晰度和人脸姿态角度生成各所述图像帧的综合评价指标的步骤包括：
获取由各所述图像帧计算得到的所述人脸清晰度中的最大人脸清晰度；
获取由各所述图像帧计算得到的所述人脸姿态角度中的最大人脸姿态角度；
将所述每一图像帧的所述人脸清晰度与所述最大人脸清晰度之间的比值和所述人脸姿态角度与所述最大人脸姿态角度之间的比值进行加权求和，以作为各所述图像帧的综合评价指标。
8.根据权利要求1所述的方法，其特征在于，所述基于所述综合评价指标从所述多个图像帧中选择关键帧的步骤包括：
从所述多个图像帧中选择所述综合评价指标最大的所述图像帧作为所述关键帧。
9.一种处理设备，其特征在于，包括：
获取模块，用于获取多个图像帧；
识别模块，用于对每一图像帧进行人脸识别，以提取人脸区域；
分析模块，用于对所述每一图像帧的所述人脸区域进行清晰度分析，以获得人脸清晰度，以及对所述每一图像帧的所述人脸区域进行姿态分析，以获取人脸姿态角度；
处理模块，用于综合各所述图像帧的人脸清晰度和人脸姿态角度生成各所述图像帧的综合评价指标，并基于所述综合评价指标从所述多个图像帧中选择关键帧。
10.一种处理设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储所述处理器执行的计算机程序；所述处理器用于执行所述计算机程序以实现如权利要求1-8任一项所述的人脸识别的图像提取方法。
CN201911370843.XA 2019-12-26 2019-12-26 一种人脸识别的图像提取方法及处理设备 Active CN111199197B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911370843.XA CN111199197B (zh) 2019-12-26 2019-12-26 一种人脸识别的图像提取方法及处理设备
US17/134,467 US11475707B2 (en) 2019-12-26 2020-12-27 Method for extracting image of face detection and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911370843.XA CN111199197B (zh) 2019-12-26 2019-12-26 一种人脸识别的图像提取方法及处理设备

Publications (2)

Publication Number Publication Date
CN111199197A true CN111199197A (zh) 2020-05-26
CN111199197B CN111199197B (zh) 2024-01-02

Family

ID=70746205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911370843.XA Active CN111199197B (zh) 2019-12-26 2019-12-26 一种人脸识别的图像提取方法及处理设备

Country Status (2)

Country Link
US (1) US11475707B2 (zh)
CN (1) CN111199197B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652131A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 人脸识别装置及其补光方法、可读存储介质
CN112528903A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN113409287A (zh) * 2021-06-28 2021-09-17 北大方正集团有限公司 人脸图像质量的评估方法、装置、设备及存储介质
CN114448952A (zh) * 2020-10-19 2022-05-06 腾讯科技（深圳）有限公司 流媒体数据的传输方法和装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及***
US20130265451A1 (en) * 2012-04-10 2013-10-10 Samsung Electronics Co., Ltd. Apparatus and method for continuously taking a picture
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108446671A (zh) * 2018-04-19 2018-08-24 深浅度视觉科技（大连）有限公司 一种人脸追踪方法及***
CN109657587A (zh) * 2018-12-10 2019-04-19 南京甄视智能科技有限公司 用于人脸识别的侧脸质量评估方法和***
CN109981970A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种确定拍摄场景的方法、装置和机器人
CN110084258A (zh) * 2018-02-12 2019-08-02 成都视观天下科技有限公司 基于视频人脸识别的人脸优选方法、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692940B2 (en) * 2010-12-17 2014-04-08 Kodak Alaris Inc. Method for producing a blended video sequence

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130265451A1 (en) * 2012-04-10 2013-10-10 Samsung Electronics Co., Ltd. Apparatus and method for continuously taking a picture
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及***
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN109981970A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种确定拍摄场景的方法、装置和机器人
CN110084258A (zh) * 2018-02-12 2019-08-02 成都视观天下科技有限公司 基于视频人脸识别的人脸优选方法、设备及存储介质
CN108446671A (zh) * 2018-04-19 2018-08-24 深浅度视觉科技（大连）有限公司 一种人脸追踪方法及***
CN109657587A (zh) * 2018-12-10 2019-04-19 南京甄视智能科技有限公司 用于人脸识别的侧脸质量评估方法和***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652131A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 人脸识别装置及其补光方法、可读存储介质
CN114448952A (zh) * 2020-10-19 2022-05-06 腾讯科技（深圳）有限公司 流媒体数据的传输方法和装置、存储介质及电子设备
CN112528903A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN112528903B (zh) * 2020-12-18 2023-10-31 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN113409287A (zh) * 2021-06-28 2021-09-17 北大方正集团有限公司 人脸图像质量的评估方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111199197B (zh) 2024-01-02
US11475707B2 (en) 2022-10-18
US20210200990A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN115861135B (zh) 一种应用于箱体全景探测的图像增强及识别方法
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
CN106803067B (zh) 一种人脸图像质量评估方法及装置
Yang et al. Fast image super-resolution based on in-place example regression
CN107135664B (zh) 一种人脸识别的方法以及人脸识别装置
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
KR101786754B1 (ko) 나이 추정 장치 및 방법
CN110717922A (zh) 一种图像清晰度评价方法及装置
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
WO2014070273A1 (en) Recursive conditional means image denoising
CN111784658B (zh) 一种用于人脸图像的质量分析方法和***
CN111192241A (zh) 一种人脸图像的质量评估方法、装置及计算机存储介质
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及***
US20100322486A1 (en) Hand-based gender classification
CN108346128B (zh) 一种美颜磨皮的方法和装置
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
CN112597911A (zh) 一种磨皮处理方法、装置、移动终端和存储介质
Zin et al. Local image denoising using RAISR
CN116309488A (zh) 图像清晰度检测方法、装置、电子设备和可读存储介质
WO2023019681A1 (zh) 一种图像内容的提取方法、装置、终端和存储介质
JP5048691B2 (ja) 画像認識方法およびその装置
Hassan et al. Restorable-inpainting: A novel deep learning approach for shoeprint restoration
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法
El-Shafai et al. Traditional and deep-learning-based denoising methods for medical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant