CN113468925B - 一种遮挡人脸识别方法、智能终端及存储介质 - Google Patents
一种遮挡人脸识别方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN113468925B CN113468925B CN202010244613.5A CN202010244613A CN113468925B CN 113468925 B CN113468925 B CN 113468925B CN 202010244613 A CN202010244613 A CN 202010244613A CN 113468925 B CN113468925 B CN 113468925B
- Authority
- CN
- China
- Prior art keywords
- image
- occlusion
- face
- recognition
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000000903 blocking effect Effects 0.000 claims abstract description 24
- 208000006440 Open Bite Diseases 0.000 claims description 15
- 241000282414 Homo sapiens Species 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遮挡人脸识别方法、智能终端及存储介质，所述方法包括：获取遮挡人脸图像；将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；根据所述局部图像确定遮挡类型；由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。本发明基于局部图像识别的遮挡人脸识别技术，数据处理需求低，不需刻意增加遮挡数据，可快速提取局部图像，准确识别出遮挡人脸图像中的整体人脸，精准高效的识别人脸。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种遮挡人脸识别方法、智能终端及存储介质。
背景技术
人工智能的浪潮带来了一阵又一阵的技术革新，方便生活的同时，智能视觉技术变得不可或缺。而遮挡人脸识别技术是人工智能中最容易落地的技术，流程固定、数据集较多，且随着摄像技术的提升，大大降低了遮挡人脸识别技术难度；但是遮挡人脸，例如戴墨镜、口罩、光照不均等，缺失部分细节导致特征损失，对遮挡人脸识别精度带来巨大的挑战。
目前现有的基于深度学习的遮挡人脸识别技术主要有两种，第一是增加数据集的鲁棒性，在数据集中加入遮挡干扰项进行训练，利用调整参数的方法增加特征分离度，从而适应遮挡人脸，缺点在于数据集制作难度大，且网络训练易过拟合(如果数据量比较小，或者网络结构过于复杂，是很容易出现过拟合现象)；第二是约束训练法，将遮挡区域加入约束(限制条件)，通过局部权重的方式进行识别(即通过将人脸分为多个区域进行识别)，缺点是对于各种硬性遮挡泛化能力差。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种遮挡人脸识别方法、智能终端及存储介质，旨在解决现有技术中对于遮挡人脸识别速度和精度不高的问题。
为实现上述目的，本发明提供一种遮挡人脸识别方法，所述遮挡人脸识别方法包括如下步骤：
获取遮挡人脸图像；
将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；
分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；
根据所述局部图像确定遮挡类型；
由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。
可选地，所述的遮挡人脸识别方法，其中，所述获取遮挡人脸图像，具体包括：
检测当前图像中存在的人脸；
从所述图像中提取预设图像尺寸大小的所述遮挡人脸图像。
可选地，所述的遮挡人脸识别方法，其中，所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像之前，还包括：
根据预设对齐人脸特征点将所述遮挡人脸图像进行对齐处理，得到对齐后的所述遮挡人脸图像。
可选地，所述的遮挡人脸识别方法，其中，所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像，具体包括：
将对齐处理后的所述遮挡人脸图像进行图像分块处理，得到多个所述分块图像；
从所述分块图像中提取得到所述局部图像。
可选地，所述的遮挡人脸识别方法，其中，所述分别对每个所述局部图像进行图像识别而得到遮挡人脸图像的多个备选识别图像，具体包括：
分别对每个局部图像进行图像识别，并分别得到每个局部图像所对应的至少一个备选识别图像；
将所有局部图像所对应的所有所述备选识别图像作为所述遮挡人脸图像的备选识别图像。
可选地，所述的遮挡人脸识别方法，其中，所述由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像，具体包括：
根据所述遮挡类型确定各所述局部图像对应的图像区域的区域识别权重；
根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度；
根据所述相似度从所述备选识别图像中确定所述遮挡人脸图像的最终识别图像。
可选地，所述的遮挡人脸识别方法，其中，所述根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度，具体包括：
根据所述区域识别权重分别计算备选识别图像中对应于各所述局部图像的各图像区域的相似度；
将所述备选识别图像中各区域的相似度的数值之和作为所述备选识别图像与所述遮挡人脸图像的相似度。
可选地，所述的遮挡人脸识别方法，其中，所述根据所述局部图像确定遮挡类型，具体包括：
根据所述局部图像中遮挡的分布情况与预先设置的遮挡类型表进行比对，判断出所述局部图像当前的遮挡类型。
可选地，所述的遮挡人脸识别方法，其中，所述分别对每个局部图像进行图像识别，具体包括：
预先接收多个无遮挡人脸的录入，并保存在所述人脸数据库中；
将所述局部图像与所述人脸数据库进行匹配，确定所述局部图像对应的至少一个无遮挡人脸图像，所述无遮挡人脸图像即所述遮挡人脸图像的备选识别图像。
可选地，所述的遮挡人脸识别方法，其中，所述遮挡类型为左眼遮挡、右眼遮挡、鼻子遮挡以及嘴巴遮挡中至少一个或者多个的任意组合。
此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的遮挡人脸识别程序，所述遮挡人脸识别程序被所述处理器执行时实现如上所述的遮挡人脸识别方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有遮挡人脸识别程序，所述遮挡人脸识别程序被处理器执行时实现如上所述的遮挡人脸识别方法的步骤。
本发明通过获取遮挡人脸图像；将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；根据所述局部图像确定遮挡类型；由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。本发明基于局部图像识别的遮挡人脸识别技术，数据处理需求低，不需刻意增加遮挡数据，可快速提取局部图像，准确识别出遮挡人脸图像中的整体人脸，精准高效的识别人脸。
附图说明
图1是本发明遮挡人脸识别方法的较佳实施例的流程图；
图2是本发明遮挡人脸识别方法的较佳实施例中步骤S10的流程图；
图3是本发明遮挡人脸识别方法的较佳实施例中步骤S20的流程图；
图4是本发明遮挡人脸识别方法的较佳实施例中步骤S30的流程图；
图5是本发明遮挡人脸识别方法的较佳实施例中步骤S50的流程图；
图6是本发明遮挡人脸识别方法的较佳实施例中人脸检测示意图；
图7是本发明遮挡人脸识别方法的较佳实施例中人脸对齐示意图；
图8是本发明遮挡人脸识别方法的较佳实施例中图像预设分块示意图；
图9是本发明遮挡人脸识别方法的较佳实施例中局部图像提取示意图；
图10是本发明遮挡人脸识别方法的较佳实施例中各种遮挡类型示意图；
图11为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的遮挡人脸识别方法，如图1所示，所述遮挡人脸识别方法包括以下步骤：
步骤S10、获取遮挡人脸图像。
其中，所述遮挡人脸图像指的是图像中出现的人脸发生遮挡的人脸图像。例如戴墨镜、口罩、光照不均等导致人脸图像中的人脸不清晰、不完整或者出现缺失的情况(例如眼睛、鼻子、脸部等关键部位被遮挡)，缺失部分细节会导致特征损失，从而无法识别真实的人脸信息，这样的图像称为遮挡人脸图像。
具体的过程请参阅图2，其为本发明提供的遮挡人脸识别方法中步骤S10的流程图。
如图2所示，所述步骤S10包括：
S11、检测当前图像中存在的人脸；
S12、从所述图像中提取预设图像尺寸大小的所述遮挡人脸图像。
在提取预设图像尺寸大小的所述遮挡人脸图像之后还包括：预先根据数据集统计得到预设对齐人脸特征点，根据所述预设对齐人脸特征点将所述遮挡人脸图像进行对齐处理得到对齐后的所述遮挡人脸图像。
具体地，利用深度学习快速准确的检测到当前图像中存在的人脸，如图6(人脸检测示意图)，深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于人工智能。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习在语音和图像识别方面取得的效果，远远超过先前相关技术，深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。例如通过MTCNN(Multi-task convolutional neural network)即多任务卷积神经网络，将人脸区域检测与人脸关键点检测结合在一起，用于人脸检测任务的多任务神经网络模型。所述多任务神经网络模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。本发明中，所述多任务卷积神经网络来检测当前图像中存在的被遮挡的人脸；当检测到被遮挡的人脸后，获取遮挡人脸图像进行后续处理。
准确检测遮挡人脸图像中的人脸信息，便于后续进行人脸的匹配。同时，通过深度学习方法检测当前图像中存在的人脸后，提取当前图像中限制了图像尺寸大小的所述遮挡人脸图像，即所述遮挡人脸图像的尺寸在预设图像尺寸大小范围内，从而可以保证遮挡人脸图像清晰度，保证后续的识别效果。其中，所述预设图像尺寸大小可以根据实际的需求作调整，在此不构成对本发明的限定。
其中，对提取的遮挡人脸图像进行校正，将提取到的遮挡人脸放置在同一位置(例如图7中将两张人脸图像放在同一水平位置)，根据预设对齐人脸特征点(人脸特征点指的是人脸的关键部位，例如眼睛、鼻子和嘴巴)，将所述人脸图像进行对齐，用于将所述遮挡人脸图像中发生位置偏移的图像调整为对齐的图像(对齐指的是将原来整个图像位置发生偏移的图像调整为对齐的图像，例如一张A4纸作为一张对齐的图像，那么对齐的图像的状态是水平居中和竖直居中)，如图7(人脸对齐示意图)所示，用于保证后续匹配准确度与图像质量，预设对齐人脸特征点的位置可以通过质量较高的数据集(训练数据的集合)统计得出(即通过人脸关键点检测将数据集中每个特征点标出，然后求平均得到)。
步骤S20、将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像。
具体过程请参阅图3，其为本发明提供的遮挡人脸识别方法中步骤S20的流程图。
如图3所示，所述步骤S20包括：
S21、将对齐处理后的所述遮挡人脸图像进行图像分块处理，得到多个所述分块图像；
S22、从所述分块图像中提取得到所述局部图像。
具体地，根据先验知识(先验知识是先于经验的知识，例如基于多次实验或者分析得到的某一规则)与后续局部图像提取所需图像大小(所需图像大小可根据预先输入的指令确定)将对齐后的所述人脸图像进行分块，得到多个分块图像，分别对单个分块图像进行识别可以加速局部图像提取速度。可以理解的是，对单个分块图像的识别的识别速度要比对多个分块图像组合成的所述人脸图像的识别要快；例如，如图8(图像预设分块示意图)所示，将所述遮挡人脸图像分为4块得到如图9的分块结果，图9各分块图像中的内容从左到右依次表示右眼、左眼、鼻子和嘴巴。
根据局部特征提取器所需图像的输入大小，将图8上检测到的特征点图像(即图9的四个特征点图像)增加外扩一定比例(该比例为经验值，范围为10％-30％，例如扩大为原来图像的10％)，从而保证局部图像提取的精度。
通过机器学习(机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能)的局部图像提取器，判别分块图像中是否存在兴趣区域(即检测所需要关注的区域，可以理解为检测者对所检测的遮挡图像所感兴趣的区域，或者可以理解为目标区域，例如是否嘴巴遮挡等)，如果存在将对应的兴趣区域则进行图像提取。如图9(局部图像提取示意图)所示，分别提取分块图像中的左右眼、鼻子和嘴巴；机器学习的局部图像提取器不限于一种，如局部图像提取器Adaboost、Haar、Hog等均可，目的在于快速高效的提取出兴趣区域。
步骤S30、分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像。
具体过程请参阅图4，其为本发明提供的遮挡人脸识别方法中步骤S30的流程图。
如图4所示，所述步骤S30包括：
S31、分别对每个局部图像进行图像识别，并分别得到每个局部图像所对应的至少一个备选识别图像；
S32、将所有局部图像所对应的所有所述备选识别图像作为所述遮挡人脸图像的备选识别图像。
具体地，先建立一个人脸数据库，预先接收多个无遮挡人脸(即录入的多个人脸是没有任何遮挡的清晰人脸图像，定义为无遮挡人脸)的录入，并保存在所述人脸数据库(所述人脸数据库可以实时更新，其中的每个人脸图像都记录了其对应用户的身份，例如姓名、性别、年龄等身份信息，即人脸的真实信息)中，然后将所述局部图像与所述人脸数据库进行匹配，确定所述局部图像对应的至少一个无遮挡人脸图像(例如1个局部图像对应5个无遮挡人脸图像，4个局部图像就对应20个无遮挡人脸图像)，所述无遮挡人脸图像即所述遮挡人脸图像的备选识别图像，再将所有局部图像所对应的所有所述备选识别图像(例如20个)作为所述遮挡人脸图像的备选识别图像。
步骤S40、根据所述局部图像确定遮挡类型。
具体地，根据所述局部图像中遮挡的分布情况与预先设置的遮挡类型表进行比对，判断出所述局部图像当前的遮挡类型。
在本实施例中，遮挡类型包括：左眼遮挡，右眼遮挡，鼻子遮挡，嘴巴遮挡，本发明中的所述遮挡类型为左眼遮挡、右眼遮挡、鼻子遮挡以及嘴巴遮挡中至少一个或者多个的任意组合；在其他实施例中还可以包括：眉毛遮挡、下巴遮挡、左脸遮挡、右脸遮挡、额头遮挡等。如图10(各类遮挡举例示意图)所示，分别是右眼遮挡、左眼遮挡和嘴巴鼻子同时遮挡；遮挡类型为复合遮挡，除去完全遮挡在人脸检测图像中不存在以外一共为11种，如下表所示：
不同遮挡类型表格(其中，0代表没有遮挡、1代表有遮挡)
根据上面的表格即可判断出所述局部图像当前的遮挡类型。
步骤S50、由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。
具体过程请参阅图5，其为本发明提供的遮挡人脸识别方法中步骤S50的流程图。
如图5所示，所述步骤S50包括：
S51、根据所述遮挡类型确定各所述局部图像对应的图像区域的区域识别权重；
S52、根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度；
S53、根据所述相似度从所述备选识别图像中确定所述遮挡人脸图像的最终识别图像。
具体地，通过局部图像个数分布判断不同遮挡类型，确定后续识别权重。例如，对一个遮挡人脸图像进行分块处理后提取到4个局部图像，所述4个局部图像分别为局部图像1、2、3和局部图像4。在确定遮挡类型后，对进行局部图像的识别过程中，分别赋予不同区域的局部图像赋予对应的权重，局部图像1对应的区域识别权重为A，局部图像2对应的区域识别权重为B，局部图像3对应的区域识别权重为C，局部图像4对应的区域识别权重为D。
更具体地，在进行局部图像的识别过程中，已经分别赋予不同区域的局部图像赋予对应的权重，例如，如上述的局部图像1对应的区域识别权重为A，局部图像2对应的区域识别权重为B，局部图像3对应的区域识别权重为C，局部图像4对应的区域识别权重为D；然后根据所述区域识别权重分别计算备选识别图像中对应于各所述局部图像的各图像区域的相似度；将所述备选识别图像中各区域的相似度的数值之和作为所述备选识别图像与所述遮挡人脸图像的相似度；最后根据所述相似度从所述备选识别图像中确定所述遮挡人脸图像的最终识别图像(即本发明最终所需要识别出的目标图像)。
进一步地，在确定遮挡类型之后，对存在的每一局部图像进行图像识别提取，提取满足预设要求的预设数量的备选识别图像(例如1个局部图像对应5个备选识别图像，本发明优选为4个局部图像对应20个备选识别图像)。
所述备选识别图像中各区域的相似度的数值之和具体计算公式为：Sn＝A*a5+B*b5+C*c5+D*d5；
其中，n为备选识别图像个数，n小于等于20(或者为其他常数，1个局部图像对应5个备选识别图像，那么4个局部图像对应20个备选识别图像)，Sn为所述备选识别图像中各区域的相似度的数值之和，即所有备选识别图像加权集合为{s1，s2，s3，…sn}，即Sn表示相似度的数值之和(加权求和)的值；A表示左眼遮挡的局部图像赋予权重，B表示右眼遮挡的局部图像赋予权重，C表示鼻子遮挡的鼻子遮挡，D表示嘴巴遮挡的局部图像赋予权重(即分块图像识别时，所需要用的系数，不同区域的局部图像赋予权重可以相同或者不同)，a5，b5，c5，d5分别为一个局部图像区域的加权集合，为{z*p1，x*p2，c*p3，v*p4，m*p5}，p1～p5为备选识别图像，z，x，c，v，m为递减权重，且z，x，c，v，m以相似度递减。
其中，4个局部图像权重(即A，B，C，D)可以根据特定的场景预先设定，在正常场景下可以取值为平均加权，即4个局部图像权重(A，B，C，D)相等的情况，在其他场景下的加权方式根据预先设定进行取值，即根据需求设定不限于一种。
根据加权计算的结果，最终到一个数值最高(即所述备选识别图像中各区域的相似度的数值之和最大)的备选识别图像(即加权结果的值最大，值最大的备选识别图像所对应的人脸图像为本发明需要识别的最终识别图像，即上面20张备选识别图像进行加权求和后得到值最大的那张备选识别图像就是最终识别图像)，即识别得到所述遮挡人脸图像对应的无遮挡人脸图像(最终识别图像)，相当于还原出最初没有遮挡时的人脸图像。
本发明通过局部图像识别遮挡人脸，适应各个场景，鲁棒性很好。进一步地，通过提取局部图像的方法也可以用于判断人脸姿态，如侧脸，嘴巴图像可能提取失败等情况，为最终进行人脸身份识别提供辅助信息。
进一步地，如图11所示，基于上述遮挡人脸识别方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图11仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有遮挡人脸识别程序40，该遮挡人脸识别程序40可被处理器10所执行，从而实现本申请中遮挡人脸识别方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述遮挡人脸识别方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过***总线相互通信。
在一实施例中，当处理器10执行所述存储器20中遮挡人脸识别程序40时实现以下步骤：
获取遮挡人脸图像；
将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；
分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；
根据所述局部图像确定遮挡类型；
由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。
所述获取遮挡人脸图像，具体包括：
检测当前图像中存在的人脸；
从所述图像中提取预设图像尺寸大小的所述遮挡人脸图像。
所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像之前，还包括：
根据预设对齐人脸特征点将所述遮挡人脸图像进行对齐处理，得到对齐后的所述遮挡人脸图像。
所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像，具体包括：
将对齐处理后的所述遮挡人脸图像进行图像分块处理，得到多个所述分块图像；
从所述分块图像中提取得到所述局部图像。
所述分别对每个所述局部图像进行图像识别而得到遮挡人脸图像的多个备选识别图像，具体包括：
分别对每个局部图像进行图像识别，并分别得到每个局部图像所对应的至少一个备选识别图像；
将所有局部图像所对应的所有所述备选识别图像作为所述遮挡人脸图像的备选识别图像。
所述由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像，具体包括：
根据所述遮挡类型确定各所述局部图像对应的图像区域的区域识别权重；
根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度；
根据所述相似度从所述备选识别图像中确定所述遮挡人脸图像的最终识别图像。
所述根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度，具体包括：
根据所述区域识别权重分别计算备选识别图像中对应于各所述局部图像的各图像区域的相似度；
将所述备选识别图像中各区域的相似度的数值之和作为所述备选识别图像与所述遮挡人脸图像的相似度。
所述根据所述局部图像确定遮挡类型，具体包括：
根据所述局部图像中遮挡的分布情况与预先设置的遮挡类型表进行比对，判断出所述局部图像当前的遮挡类型。
所述分别对每个局部图像进行图像识别，具体包括：
预先接收多个无遮挡人脸的录入，并保存在所述人脸数据库中；
将所述局部图像与所述人脸数据库进行匹配，确定所述局部图像对应的至少一个无遮挡人脸图像，所述无遮挡人脸图像即所述遮挡人脸图像的备选识别图像。
所述遮挡类型为左眼遮挡、右眼遮挡、鼻子遮挡以及嘴巴遮挡中至少一个或者多个的任意组合。
本发明还提供一种存储介质，其中，所述存储介质存储有遮挡人脸识别程序，所述遮挡人脸识别程序被处理器执行时实现如上所述的遮挡人脸识别方法的步骤。
综上所述，本发明提供一种遮挡人脸识别方法、智能终端及存储介质，所述方法包括：获取遮挡人脸图像；将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；根据所述局部图像确定遮挡类型；由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像。本发明基于局部图像识别的遮挡人脸识别技术，数据处理需求低，不需刻意增加遮挡数据，可快速提取局部图像，准确识别出遮挡人脸图像中的整体人脸，精准高效的识别人脸。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种遮挡人脸识别方法，其特征在于，所述遮挡人脸识别方法包括：
获取遮挡人脸图像；
将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像；
分别对每个所述局部图像进行图像识别而得到所述遮挡人脸图像的多个备选识别图像；
所述分别对每个所述局部图像进行图像识别，具体包括：
预先接收多个无遮挡人脸的录入，并保存在人脸数据库中；
将所述局部图像与所述人脸数据库进行匹配，确定所述局部图像对应的至少一个无遮挡人脸图像，所述无遮挡人脸图像即所述遮挡人脸图像的备选识别图像；
根据所述局部图像确定遮挡类型；
所述根据所述局部图像确定遮挡类型，具体包括：
根据所述局部图像中遮挡的分布情况与预先设置的遮挡类型表进行比对，判断出所述局部图像当前的遮挡类型；
确定遮挡类型之后，对存在的每一局部图像进行图像识别提取，提取满足预设要求的预设数量的备选识别图像；
由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像；
所述由所述遮挡类型从所述多个备选识别图像中确定所述遮挡人脸图像的最终识别图像，具体包括：
根据特定的场景预先设定局部图像权重，根据所述遮挡类型确定各所述局部图像对应的图像区域的区域识别权重；
根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度；
所述根据所述区域识别权重，计算所述备选识别图像与所述遮挡人脸图像的相似度，具体包括：
根据所述区域识别权重分别计算备选识别图像中对应于各所述局部图像的各图像区域的相似度；
将所述备选识别图像中各区域的相似度的数值之和作为所述备选识别图像与所述遮挡人脸图像的相似度；
根据所述备选识别图像与所述遮挡人脸图像的相似度从所述备选识别图像中确定所述遮挡人脸图像的最终识别图像；
提取局部图像，根据所述局部图像判断人脸姿态，为进行人脸身份识别提供辅助信息。
2.根据权利要求1所述的遮挡人脸识别方法，其特征在于，所述获取遮挡人脸图像，具体包括：
检测当前图像中存在的人脸；
从所述当前图像中提取预设图像尺寸大小的所述遮挡人脸图像。
3.根据权利要求2所述的遮挡人脸识别方法，其特征在于，所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像之前，还包括：
根据预设对齐人脸特征点将所述遮挡人脸图像进行对齐处理，得到对齐后的所述遮挡人脸图像。
4.根据权利要求3所述的遮挡人脸识别方法，其特征在于，所述将所述遮挡人脸图像进行图像分块处理得到多个分块图像，提取多个所述分块图像中的局部图像，具体包括：
将对齐处理后的所述遮挡人脸图像进行图像分块处理，得到多个所述分块图像；
从所述分块图像中提取得到所述局部图像。
5.根据权利要求1所述的遮挡人脸识别方法，其特征在于，所述分别对每个所述局部图像进行图像识别而得到遮挡人脸图像的多个备选识别图像，具体包括：
分别对每个局部图像进行图像识别，并分别得到每个局部图像所对应的至少一个备选识别图像；
将所有局部图像所对应的所有所述备选识别图像作为所述遮挡人脸图像的备选识别图像。
6.根据权利要求1所述的遮挡人脸识别方法，其特征在于，所述遮挡类型为左眼遮挡、右眼遮挡、鼻子遮挡以及嘴巴遮挡中至少一个或者多个的任意组合。
7.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的遮挡人脸识别程序，所述遮挡人脸识别程序被所述处理器执行时实现如权利要求1-6任一项所述的遮挡人脸识别方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有遮挡人脸识别程序，所述遮挡人脸识别程序被处理器执行时实现如权利要求1-6任一项所述的遮挡人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010244613.5A CN113468925B (zh) | 2020-03-31 | 2020-03-31 | 一种遮挡人脸识别方法、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010244613.5A CN113468925B (zh) | 2020-03-31 | 2020-03-31 | 一种遮挡人脸识别方法、智能终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468925A CN113468925A (zh) | 2021-10-01 |
| CN113468925B true CN113468925B (zh) | 2024-02-20 |
Family
ID=77865454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010244613.5A Active CN113468925B (zh) | 2020-03-31 | 2020-03-31 | 一种遮挡人脸识别方法、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468925B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128514B (zh) * | 2022-11-28 | 2023-10-13 | 武汉利楚商务服务有限公司 | 多人脸干预下的刷脸支付方法及装置 |
| CN115810214B (zh) * | 2023-02-06 | 2023-05-12 | 广州市森锐科技股份有限公司 | 基于ai人脸识别核验管理方法、***、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975759A (zh) * | 2006-12-15 | 2007-06-06 | 中山大学 | 一种基于结构主元分析的人脸识别方法 |
| CN106372595A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
| CN107463920A (zh) * | 2017-08-21 | 2017-12-12 | 吉林大学 | 一种消除局部遮挡物影响的人脸识别方法 |
| CN108446619A (zh) * | 2018-03-12 | 2018-08-24 | 清华大学 | 基于深度强化学习的人脸关键点检测方法及装置 |
| CN108932456A (zh) * | 2017-05-23 | 2018-12-04 | 北京旷视科技有限公司 | 人脸识别方法、装置和***及存储介质 |
| CN109215131A (zh) * | 2017-06-30 | 2019-01-15 | Tcl集团股份有限公司 | 虚拟人脸的驱动方法及装置 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
| CN110705337A (zh) * | 2018-07-10 | 2020-01-17 | 普天信息技术有限公司 | 一种针对眼镜遮挡的人脸识别方法及装置 |
| CN110782554A (zh) * | 2018-07-13 | 2020-02-11 | 宁波其兰文化发展有限公司 | 一种基于视频摄影的门禁控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019159346A (ja) * | 2018-03-07 | 2019-09-19 | オムロン株式会社 | 撮像装置 |
-
2020
- 2020-03-31 CN CN202010244613.5A patent/CN113468925B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975759A (zh) * | 2006-12-15 | 2007-06-06 | 中山大学 | 一种基于结构主元分析的人脸识别方法 |
| CN106372595A (zh) * | 2016-08-31 | 2017-02-01 | 重庆大学 | 遮挡人脸识别方法及装置 |
| CN108932456A (zh) * | 2017-05-23 | 2018-12-04 | 北京旷视科技有限公司 | 人脸识别方法、装置和***及存储介质 |
| CN109215131A (zh) * | 2017-06-30 | 2019-01-15 | Tcl集团股份有限公司 | 虚拟人脸的驱动方法及装置 |
| CN107463920A (zh) * | 2017-08-21 | 2017-12-12 | 吉林大学 | 一种消除局部遮挡物影响的人脸识别方法 |
| CN108446619A (zh) * | 2018-03-12 | 2018-08-24 | 清华大学 | 基于深度强化学习的人脸关键点检测方法及装置 |
| CN110705337A (zh) * | 2018-07-10 | 2020-01-17 | 普天信息技术有限公司 | 一种针对眼镜遮挡的人脸识别方法及装置 |
| CN110782554A (zh) * | 2018-07-13 | 2020-02-11 | 宁波其兰文化发展有限公司 | 一种基于视频摄影的门禁控制方法 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Limits on visual awareness of object targets in the context of other object category masks: Investigating bottlenecks in the continuous flash suppression paradigm with hand and tool stimuli;Zopf R 等;《journal of vision》;第19卷(第5期);全文 * |
| 遮挡人脸识别技术研究综述;仝琼琳 等;《伊犁师范学院学报(自然科学版)》;第14卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468925A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829900B (zh) | 一种基于深度学习的人脸图像检索方法、装置及终端 | |
| Zhang et al. | Random Gabor based templates for facial expression recognition in images with facial occlusion | |
| WO2021174819A1 (zh) | 人脸遮挡检测方法及*** | |
| US8184914B2 (en) | Method and system of person identification by facial image | |
| KR20210100602A (ko) | 안면 이미지 기반의 리스크 인식 방법, 장치, 컴퓨터 디바이스 및 저장 매체 | |
| CN110348331B (zh) | 人脸识别方法及电子设备 | |
| Chauhan et al. | Study & analysis of different face detection techniques | |
| CN105117692A (zh) | 一种基于深度学习的实时人脸识别方法及*** | |
| CN105303150A (zh) | 实现图像处理的方法和*** | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| Raut | Facial emotion recognition using machine learning | |
| WO2021139167A1 (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113468925B (zh) | 一种遮挡人脸识别方法、智能终端及存储介质 | |
| Paul et al. | Extraction of facial feature points using cumulative histogram | |
| Nojavanasghari et al. | Hand2face: Automatic synthesis and recognition of hand over face occlusions | |
| Schaeffer | A Comparison of Keypoint Descriptors in the Context of Pedestrian Detection: FREAK vs. SURF vs. BRISK | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| Shanmugavadivu et al. | Rapid face detection and annotation with loosely face geometry | |
| US9514354B2 (en) | Facial analysis by synthesis and biometric matching | |
| CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
| CN110135362A (zh) | 一种基于红外摄像头下的人脸快速识别方法 | |
| Florea et al. | Recognition of the gaze direction: Anchoring with the eyebrows | |
| Reddy et al. | Comparison of HOG and fisherfaces based face recognition system using MATLAB | |
| Paul et al. | Automatic adaptive facial feature extraction using CDF analysis | |
| Lin et al. | An effective eye states detection method based on the projection of the gray interval distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |