CN112818938A - 一种自适应光照干扰环境的人脸识别算法及人脸识别装置 - Google Patents

一种自适应光照干扰环境的人脸识别算法及人脸识别装置 Download PDF

Info

Publication number
CN112818938A
CN112818938A CN202110233058.0A CN202110233058A CN112818938A CN 112818938 A CN112818938 A CN 112818938A CN 202110233058 A CN202110233058 A CN 202110233058A CN 112818938 A CN112818938 A CN 112818938A
Authority
CN
China
Prior art keywords
face
lbp
training
recognized
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110233058.0A
Other languages
English (en)
Other versions
CN112818938B (zh
Inventor
杨在野
葛微
范彩霞
张政
詹伟达
郝子强
唐雁峰
嵇晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202110233058.0A priority Critical patent/CN112818938B/zh
Publication of CN112818938A publication Critical patent/CN112818938A/zh
Application granted granted Critical
Publication of CN112818938B publication Critical patent/CN112818938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种自适应光照干扰环境的人脸识别算法及人脸识别装置，其中人脸识别算法包括建立人脸数据向量集的步骤和人脸识别的步骤，在人脸识别的步骤中，利用MTCNN对待识别人像照片进行检测，将得到的人脸图片分别输入FaceNet模型和LBP模型，得到对应的向量，然后计算向量与人脸数据向量集中每一个向量的欧式距离，再根据欧式距离进行加权求和计算，并以加权求和的最小值所对应的训练人像照片作为待识别人像照片的人脸识别结果。本发明自适应调整两种算法的权重，实现自适应环境光照，从而提高神经网络在人脸识别时对光照的鲁棒性，提高了在光照干扰环境下的人脸识别率。

Description

一种自适应光照干扰环境的人脸识别算法及人脸识别装置
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种自适应光照干扰环境的人脸识别算法及人脸识别装置。
背景技术
过去几十年人脸识别技术取得了长足的进展。人脸识别技术可以分为传统方法(LDA、PCA、LBP、Gabor滤波等)和深度学习方法(MobileNet、FaceNet等)。传统方法识别速度更快，而深度学习方法精度更高。人脸识别技术已经运用在很多领域，如人机交互、视频监控、相机美颜等。
由于人脸识别的传统方法和深度学习方法都无法自适应环境光照，因此在一些特殊情况下，比如脸部光照过强或不足，人脸识别的准确度依然有较大的提升空间。
发明内容
为克服现有的人脸识别技术对于光照干扰环境的适应性不强，识别率较低的问题，提供一种自适应光照干扰环境的人脸识别算法及人脸识别装置，该人脸识别算法及人脸识别装置在复杂光照情况下拥有更好的识别率。
为解决上述问题，本发明采取如下的技术方案：
一种自适应光照干扰环境的人脸识别算法，包括以下步骤：
步骤一：建立人脸数据向量集
将人像照片训练集中的全部训练人像照片输入至MTCNN中，所述MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标；
根据所述训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片；
将全部的所述训练人脸图片分别输入FaceNet模型和LBP模型，得到对应的人脸数据向量集LIBfn和人脸数据向量集LIBlbp；
步骤二：人脸识别
将待识别人像照片输入至所述MTCNN中，所述MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标；
根据所述待识别人脸检测框坐标对所述待识别人像照片进行截取，得到待识别人脸图片；
将所述待识别人脸图片分别输入FaceNet模型和LBP模型，得到对应的向量
Figure BDA0002959412470000021
和向量
Figure BDA0002959412470000022
分别计算向量
Figure BDA0002959412470000023
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及向量
Figure BDA0002959412470000024
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，然后对每一幅所述训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且0≦αFN≦1，0≦αLBP≦1，αFN+αLBP＝1；
以最小的dis值所对应的训练人像照片作为所述待识别人像照片的人脸识别结果。
相应地，本发明还提出一种自适应光照干扰环境的人脸识别装置，包括：
训练人脸检测模块，用于将人像照片训练集中的全部训练人像照片输入至MTCNN中，所述MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标；
训练人脸图片截取模块，用于根据所述训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片；
数据集建立模块，用于将全部的所述训练人脸图片分别输入FaceNet模型和LBP模型，得到对应的人脸数据向量集LIBfn和人脸数据向量集LIBlbp；
待识别人脸检测模块，用于将待识别人像照片输入至所述MTCNN中，所述MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标；
待识别人脸图片截取模块，用于根据所述待识别人脸检测框坐标对所述待识别人像照片进行截取，得到待识别人脸图片；
向量模块，用于将所述待识别人脸图片分别输入FaceNet模型和LBP模型，得到对应的向量
Figure BDA0002959412470000041
和向量
Figure BDA0002959412470000042
计算模块，用于分别计算向量
Figure BDA0002959412470000043
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及向量
Figure BDA0002959412470000044
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，然后对每一幅所述训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且0≦αFN≦1，0≦αLBP≦1，αFN+αLBP＝1；
识别结果模块，用于以最小的dis值所对应的训练人像照片作为所述待识别人像照片的人脸识别结果。
与现有技术相比，本发明具有以下有益效果：
本发明所提出的自适应光照干扰环境的人脸识别算法及人脸识别装置利用LBP算法并联FaceNet算法完成人脸数据向量集的建立以及人脸识别，并且在人脸识别过程中自适应调整两种算法的权重，实现人脸识别算法及人脸识别装置自适应环境光照，从而提高神经网络在人脸识别时对光照的鲁棒性，提高了在光照干扰环境下的人脸识别率。
附图说明
图1为本发明实施例中自适应光照干扰环境的人脸识别算法的流程图；
图2为本发明实施例中待识别人像照片的示意图；
图3为本发明实施例中待识别人脸图片的中心区域的示意图；
图4为本发明实施例中明度L与权重αLBP的关系曲线示意图。
具体实施方式
神经网络在人脸识别的应用上有很好的精度。LBP作为一种图像处理方法，在减少光照影响方面有较大的优势。本发明利用LBP算法并联神经网络算法，对两者结果加权以提高神经网络在人脸识别时对光照的鲁棒性。下面将结合附图及较佳实施例对本发明的技术方案进行详细说明。
在其中一个实施例中，如图1所示，本发明提供一种自适应光照干扰环境的人脸识别算法，该算法具体包括以下步骤：
步骤一：建立人脸数据向量集
预先建立完成人像照片训练集，然后将人像照片训练集中的全部训练人像照片输入至人脸检测算法中进行人脸检测，本实施例中的人脸检测算法可以采用基于多任务卷积网络(Multi-task Cascaded Convolutional Networks，MTCNN)或者OpenCV，MTCNN或者OpenCV利用自带的人脸特征分类器实现人脸位置和脸部关键点的检测。
将人像照片训练集中的全部训练人像照片输入至MTCNN中，MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标。MTCNN包括三个神经网络结构，分别为P-Net、R-Net、O-Net，其中P-Net获取含人脸的方框，并通过非极大值抑制算法去除冗余框，这样便初步得到一些人脸检测候选框；R-Net对人脸检测框坐标进行进一步的细化，通过NMS算法去除冗余框，此时得到的人脸检测框更加精准且冗余框更少；O-Net一方面对人脸检测框坐标进行进一步的细化，另一方面输出人脸5个关键点(左眼、右眼、鼻子、左嘴角、右嘴角)坐标。
将人像照片训练集中的全部训练人像照片输入至OpenCV中时，OpenCV亦有库函数用于人脸检测和脸部器官识别，以得到各个训练人像照片对应的训练人脸检测框坐标。
获得训练人脸检测框坐标之后，根据训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片。
对每一幅训练人像照片进行截取之后，得到全部人像照片对应的全部的训练人脸图片，接下来将全部的训练人脸图片分别输入FaceNet模型和LBP模型。本实施例中的FaceNet模型亦可以采用其他人脸识别神经网络算法代替，即LBP算法亦可与其他人脸识别神经网络算法相结合，以达到光照干扰环境下的人脸识别。
FaceNet模型是一种神经网络结构，可以将一张训练人脸图片转化为一个128维的向量，因此将全部的训练人脸图片输入FaceNet模型后，便可得到人脸数据向量集LIBfn，人脸数据向量集LIBfn中向量的维度均为128维。
LBP模型把训练人脸图片均分为7×4的区域，每个区域计算为长度为59的直方图。所有区域的直方图串联成长为1652的直方图，该直方图可以用一个1652维的向量表示，可以通过LDA算法将1652维的向量降维成128维，因此将全部的训练人脸图片输入LBP模型后，便可得到人脸数据向量集LIBlbp，人脸数据向量集LIBlbp中向量的维度也均为128维。
步骤二：人脸识别
将待识别人像照片输入至MTCNN中，MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标，其中关键点坐标包括左眼坐标、右眼坐标、左嘴角坐标、右嘴角坐标。
获得待识别人脸检测框坐标之后，根据待识别人脸检测框坐标对待识别人像照片进行截取，得到待识别人脸图片，如图2所示，图中白色方框即为待识别人脸检测框，白色圆圈代表人脸关键点。
将待识别人脸图片也分别输入FaceNet模型和LBP模型，得到对应的向量
Figure BDA0002959412470000071
和向量
Figure BDA0002959412470000072
向量
Figure BDA0002959412470000073
和向量
Figure BDA0002959412470000074
的维度均为128维。
接下来，分别计算向量
Figure BDA0002959412470000075
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及计算向量
Figure BDA0002959412470000076
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，计算公式如下：
Figure BDA0002959412470000077
Figure BDA0002959412470000078
其中，
Figure BDA0002959412470000079
表示人脸数据向量集LIBfn中的向量，
Figure BDA00029594124700000710
表示人脸数据向量集LIBlbp中的向量。
然后对每一幅训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，加权求和的计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且αFN+αLBP＝1；
两张人脸照片的dis值越小，则两张人脸来自同一个人的概率越大，因此可以以最小的dis值所对应的训练人像照片作为待识别人像照片的人脸识别结果。
本发明的实验表明，一定权重的LBP模型的加入对光照干扰环境中的人脸识别准确度优化明显，而对非光照干扰环境中的人脸识别没有优化甚至会拖累FaceNet的识别准确度。在固定的数据集上对模型进行实验时，可以通过大量的实验来找出识别准确度最高时权重αFN与权重αLBP的值，然而当算法运用到日常生活中时，由于环境的变化很难找到这样一组最优值。因此本发明提出了一种根据人脸亮度自动调整权重αFN与权重αLBP的方法。
在此基础上，为了去除头发部分的影响，本发明通过双眼和嘴角的坐标只截取人脸的中心区域，对中心区域进行明度的计算。明度是眼睛对光源和物体表面的明暗程度的感觉，主要是由光线强弱决定的一种视觉经验，因此可以通过明度来判断环境光照对人脸识别的干扰程度。本发明根据明度来自适应调整FaceNet模型和LBP模型两种算法的权重，具体是通过以下步骤确定权重αFN和权重αLBP的值：
根据左眼坐标、右眼坐标、左嘴角坐标和右嘴角坐标这四个关键点坐标截取待识别人脸图片的中心区域，如图3所示为截取图2所示待识别人脸图片后得到的中心区域示意图。截取中心区域后，计算中心区域的明度L，明度L的计算公式如下：
Figure BDA0002959412470000091
其中，R、G、B分别为每一个像素点的红、绿、蓝像素灰阶，L的取值范围为0～1，L＝0代表黑色，L＝1代表白色。根据明度L调整权重αLBP的方式为：当中心区域的明度L过高或者过低时，提高权重αLBP的值；当中心区域的明度L适中时，降低权重αLBP的值甚至令权重αLBP的值为零，其中明度L的阈值和对应的权重αLBP的值可根据实际情况设定，例如，当中心区域的明度L大于等于0.7或者小于等于0.3时，权重αLBP的值大于等于0.22；当中心区域的明度L大于0.3且小于0.7时，权重αLBP的值小于0.22。本实施例给出一种明度L与对应的权重αLBP的具体取值关系，如表1所示，图4为表1对应的明度L与权重αLBP的关系曲线示意图。
表1
Figure BDA0002959412470000092
Figure BDA0002959412470000101
将本实施例所提出的人脸识别算法应用到人脸识别***当中后，实验结果表明，当被识别者脸部被强光照射时，该算法的识别率相较于MTCNN+FaceNet算法提高约5.6％；当被识别者位于暗光环境中时，该算法的识别率相较于MTCNN+FaceNet算法提高约4.2％。实验结果表明，本实施例的人脸识别算法对于光照干扰环境中的人脸识别具有不错的提升效果。
本发明所提出的自适应光照干扰环境的人脸识别算法利用LBP算法并联FaceNet算法完成人脸数据向量集的建立以及人脸识别，并且在人脸识别过程中自适应调整两种算法的权重，实现人脸识别算法自适应环境光照，从而提高神经网络在人脸识别时对光照的鲁棒性，提高了在光照干扰环境下的人脸识别率。
在另一个实施例中，本发明提供一种自适应光照干扰环境的人脸识别装置，该装置具体包括：
训练人脸检测模块，用于在预先建立完成人像照片训练集后，将人像照片训练集中的全部训练人像照片输入至人脸检测算法中进行人脸检测，本实施例中的人脸检测算法可以采用基于多任务卷积网络(Multi-task Cascaded Convolutional Networks，MTCNN)或者OpenCV，MTCNN或者OpenCV利用自带的人脸特征分类器实现人脸位置和脸部关键点的检测。
训练人脸检测模块将人像照片训练集中的全部训练人像照片输入至MTCNN中，MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标。MTCNN包括三个神经网络结构，分别为P-Net、R-Net、O-Net，其中P-Net获取含人脸的方框，并通过非极大值抑制算法去除冗余框，这样便初步得到一些人脸检测候选框；R-Net对人脸检测框坐标进行进一步的细化，通过NMS算法去除冗余框，此时得到的人脸检测框更加精准且冗余框更少；O-Net一方面对人脸检测框坐标进行进一步的细化，另一方面输出人脸5个关键点(左眼、右眼、鼻子、左嘴角、右嘴角)坐标。
训练人脸检测模块将人像照片训练集中的全部训练人像照片输入至OpenCV中时，OpenCV亦有库函数用于人脸检测和脸部器官识别，以得到各个训练人像照片对应的训练人脸检测框坐标。
在训练人脸检测模块获得训练人脸检测框坐标之后，训练人脸图片截取模块根据训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片。
训练人脸图片截取模块对每一幅训练人像照片进行截取之后，得到全部人像照片对应的全部的训练人脸图片，接下来数据集建立模块将全部的训练人脸图片分别输入FaceNet模型和LBP模型。本实施例中的FaceNet模型亦可以采用其他人脸识别神经网络算法代替，即LBP算法亦可与其他人脸识别神经网络算法相结合，以达到光照干扰环境下的人脸识别。
FaceNet模型是一种神经网络结构，可以将一张训练人脸图片转化为一个128维的向量，因此数据集建立模块将全部的训练人脸图片输入FaceNet模型后，便可得到人脸数据向量集LIBfn，人脸数据向量集LIBfn中向量的维度均为128维。
LBP模型把训练人脸图片均分为7×4的区域，每个区域计算为长度为59的直方图。所有区域的直方图串联成长为1652的直方图，该直方图可以用一个1652维的向量表示，可以通过LDA算法将1652维的向量降维成128维，因此数据集建立模块将全部的训练人脸图片输入LBP模型后，便可得到人脸数据向量集LIBlbp，人脸数据向量集LIBlbp中向量的维度也均为128维。
待识别人脸检测模块将待识别人像照片输入至MTCNN中，MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标，其中关键点坐标包括左眼坐标、右眼坐标、左嘴角坐标、右嘴角坐标。
在待识别人脸检测模块获得待识别人脸检测框坐标之后，待识别人脸图片截取模块根据待识别人脸检测框坐标对待识别人像照片进行截取，得到待识别人脸图片，如图2所示，图中白色方框即为待识别人脸检测框，白色圆圈代表人脸关键点。
向量模块将待识别人脸图片也分别输入FaceNet模型和LBP模型，得到对应的向量
Figure BDA0002959412470000131
和向量
Figure BDA0002959412470000132
向量
Figure BDA0002959412470000133
和向量
Figure BDA0002959412470000134
的维度均为128维。
接下来，计算模块分别计算向量
Figure BDA0002959412470000135
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及计算向量
Figure BDA0002959412470000136
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，计算公式如下：
Figure BDA0002959412470000137
Figure BDA0002959412470000138
其中，
Figure BDA0002959412470000139
表示人脸数据向量集LIBfn中的向量，
Figure BDA00029594124700001310
表示人脸数据向量集LIBlbp中的向量。
然后计算模块对每一幅训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，加权求和的计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且αFN+αLBP＝1；
两张人脸照片的dis值越小，则两张人脸来自同一个人的概率越大，因此识别结果模块以最小的dis值所对应的训练人像照片作为待识别人像照片的人脸识别结果。
本发明的实验表明，一定权重的LBP模型的加入对光照干扰环境中的人脸识别准确度优化明显，而对非光照干扰环境中的人脸识别没有优化甚至会拖累FaceNet的识别准确度。在固定的数据集上对模型进行实验时，可以通过大量的实验来找出识别准确度最高时权重αFN与权重αLBP的值，然而当算法运用到日常生活中时，由于环境的变化很难找到这样一组最优值。因此本发明提出了一种根据人脸亮度自动调整权重αFN与权重αLBP的方法。
在此基础上，为了去除头发部分的影响，本发明通过双眼和嘴角的坐标只截取人脸的中心区域，对中心区域进行明度的计算。明度是眼睛对光源和物体表面的明暗程度的感觉，主要是由光线强弱决定的一种视觉经验，因此可以通过明度来判断环境光照对人脸识别的干扰程度。本发明根据明度来自适应调整FaceNet模型和LBP模型两种算法的权重，具体是通过权重确定模块来确定权重αFN和权重αLBP的值：权重确定模块用于根据左眼坐标、右眼坐标、左嘴角坐标和右嘴角坐标这四个关键点坐标截取待识别人脸图片的中心区域，如图3所示为截取图2所示待识别人脸图片后得到的中心区域示意图。截取中心区域后，权重确定模块计算中心区域的明度L，明度L的计算公式如下：
Figure BDA0002959412470000151
其中，R、G、B分别为每一个像素点的红、绿、蓝像素灰阶，L的取值范围为0～1，L＝0代表黑色，L＝1代表白色。权重确定模块根据明度L调整权重αLBP的方式为：当中心区域的明度L过高或者过低时，提高权重αLBP的值；当中心区域的明度L适中时，降低权重αLBP的值甚至令权重αLBP的值为零，其中明度L的阈值和对应的权重αLBP的值可根据实际情况设定，例如，当中心区域的明度L大于等于0.7或者小于等于0.3时，权重αLBP的值大于等于0.22；当中心区域的明度L大于0.3且小于0.7时，权重αLBP的值小于0.22。本实施例给出一种明度L与对应的权重αLBP的具体取值关系，如表1所示，图4为表1对应的明度L与权重αLBP的关系曲线示意图。
将本实施例所提出的人脸识别装置应用到人脸识别***当中，实验结果表明，当被识别者脸部被强光照射时，该装置的识别率相较于利用MTCNN+FaceNet算法的人脸识别装置提高约5.6％；当被识别者位于暗光环境中时，该装置的识别率相较于利用MTCNN+FaceNet算法的人脸识别装置提高约4.2％。实验结果表明，本实施例的人脸识别装置对于光照干扰环境中的人脸识别具有不错的提升效果。
本发明所提出的自适应光照干扰环境的人脸识别装置利用LBP算法并联FaceNet算法完成人脸数据向量集的建立以及人脸识别，并且在人脸识别过程中自适应调整两种算法的权重，实现人脸识别装置自适应环境光照，从而提高神经网络在人脸识别时对光照的鲁棒性，提高了在光照干扰环境下的人脸识别率。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自适应光照干扰环境的人脸识别算法，其特征在于，包括以下步骤：
步骤一：建立人脸数据向量集
将人像照片训练集中的全部训练人像照片输入至MTCNN中，所述MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标；
根据所述训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片；
将全部的所述训练人脸图片分别输入FaceNet模型和LBP模型，得到对应的人脸数据向量集LIBfn和人脸数据向量集LIBlbp；
步骤二：人脸识别
将待识别人像照片输入至所述MTCNN中，所述MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标；
根据所述待识别人脸检测框坐标对所述待识别人像照片进行截取，得到待识别人脸图片；
将所述待识别人脸图片分别输入FaceNet模型和LBP模型，得到对应的向量
Figure FDA0002959412460000011
和向量
Figure FDA0002959412460000012
分别计算向量
Figure FDA0002959412460000013
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及向量
Figure FDA0002959412460000014
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，然后对每一幅所述训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且0≤αFN≤1，0≤αLBP≤1，αFN+αLBP＝1；
以最小的dis值所对应的训练人像照片作为所述待识别人像照片的人脸识别结果。
2.根据权利要求1所述的一种自适应光照干扰环境的人脸识别算法，其特征在于，权重αFN和权重αLBP的值通过以下步骤确定：
根据所述关键点坐标截取所述待识别人脸图片的中心区域，并计算所述中心区域的明度；
当所述中心区域的明度过高或者过低时，提高权重αLBP的值，当所述中心区域的明度适中时，降低权重αLBP的值。
3.根据权利要求1或2所述的一种自适应光照干扰环境的人脸识别算法，其特征在于，
向量
Figure FDA0002959412460000021
和向量
Figure FDA0002959412460000022
的维度均为128维，人脸数据向量集LIBfn和人脸数据向量集LIBlbp中向量的维度均为128维，且人脸数据向量集LIBlbp中的向量通过LDA算法降维到128维。
4.根据权利要求1或2所述的一种自适应光照干扰环境的人脸识别算法，其特征在于，
所述关键点坐标包括左眼坐标、右眼坐标、左嘴角坐标和右嘴角坐标。
5.根据权利要求1或2所述的一种自适应光照干扰环境的人脸识别算法，其特征在于，
利用OpenCV替代所述MTCNN。
6.一种自适应光照干扰环境的人脸识别装置，其特征在于，包括：
训练人脸检测模块，用于将人像照片训练集中的全部训练人像照片输入至MTCNN中，所述MTCNN利用人脸特征分类器对输入的每一幅训练人像照片进行人脸位置和脸部关键点的检测，得到对应的训练人脸检测框坐标；
训练人脸图片截取模块，用于根据所述训练人脸检测框坐标对相应的训练人像照片进行截取，得到对应的训练人脸图片；
数据集建立模块，用于将全部的所述训练人脸图片分别输入FaceNet模型和LBP模型，得到对应的人脸数据向量集LIBfn和人脸数据向量集LIBlbp；
待识别人脸检测模块，用于将待识别人像照片输入至所述MTCNN中，所述MTCNN利用人脸特征分类器对输入的待识别人像照片进行人脸位置和脸部关键点的检测，得到待识别人脸检测框坐标和关键点坐标；
待识别人脸图片截取模块，用于根据所述待识别人脸检测框坐标对所述待识别人像照片进行截取，得到待识别人脸图片；
向量模块，用于将所述待识别人脸图片分别输入FaceNet模型和LBP模型，得到对应的向量
Figure FDA0002959412460000031
和向量
Figure FDA0002959412460000032
计算模块，用于分别计算向量
Figure FDA0002959412460000033
与人脸数据向量集LIBfn中的每一个向量的欧式距离disFN以及向量
Figure FDA0002959412460000034
与人脸数据向量集LIBlbp中的每一个向量的欧式距离disLBP，然后对每一幅所述训练人像照片对应的欧式距离disFN和欧式距离disLBP进行加权求和计算，计算公式如下：
dis＝αFN×disFN+αLBP×disLBP
其中，αFN为欧式距离disFN的权重，αLBP为欧式距离disLBP的权重，且0≤αFN≤1，0≤αLBP≤1，αFN+αLBP＝1；
识别结果模块，用于以最小的dis值所对应的训练人像照片作为所述待识别人像照片的人脸识别结果。
7.根据权利要求6所述的一种自适应光照干扰环境的人脸识别装置，其特征在于，还包括：
权重确定模块，用于根据所述关键点坐标截取所述待识别人脸图片的中心区域，并计算所述中心区域的明度；当所述中心区域的明度过高或者过低时，提高权重αLBP的值，当所述中心区域的明度适中时，降低权重αLBP的值。
8.根据权利要求6或7所述的一种自适应光照干扰环境的人脸识别装置，其特征在于，
向量
Figure FDA0002959412460000041
和向量
Figure FDA0002959412460000042
的维度均为128维，人脸数据向量集LIBfn和人脸数据向量集LIBlbp中向量的维度均为128维，且人脸数据向量集LIBlbp中的向量通过LDA算法降维到128维。
9.根据权利要求6或7所述的一种自适应光照干扰环境的人脸识别装置，其特征在于，
所述关键点坐标包括左眼坐标、右眼坐标、左嘴角坐标和右嘴角坐标。
10.根据权利要求6或7所述的一种自适应光照干扰环境的人脸识别装置，其特征在于，
利用OpenCV替代所述MTCNN。
CN202110233058.0A 2021-03-03 2021-03-03 一种自适应光照干扰环境的人脸识别算法及人脸识别装置 Active CN112818938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110233058.0A CN112818938B (zh) 2021-03-03 2021-03-03 一种自适应光照干扰环境的人脸识别算法及人脸识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110233058.0A CN112818938B (zh) 2021-03-03 2021-03-03 一种自适应光照干扰环境的人脸识别算法及人脸识别装置

Publications (2)

Publication Number Publication Date
CN112818938A true CN112818938A (zh) 2021-05-18
CN112818938B CN112818938B (zh) 2023-06-16

Family

ID=75862636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110233058.0A Active CN112818938B (zh) 2021-03-03 2021-03-03 一种自适应光照干扰环境的人脸识别算法及人脸识别装置

Country Status (1)

Country Link
CN (1) CN112818938B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241588A (zh) * 2022-02-24 2022-03-25 北京锐融天下科技股份有限公司 一种自适应人脸比对方法及***
CN117351540A (zh) * 2023-09-27 2024-01-05 东莞莱姆森科技建材有限公司 一种集成有led及头部动作识别的卫浴镜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018451A1 (en) * 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
CN110399844A (zh) * 2019-07-29 2019-11-01 南京图玩智能科技有限公司 一种应用于跨平台的人脸关键点识别与追踪方法及***
CN110858275A (zh) * 2018-08-22 2020-03-03 北京航天长峰科技工业集团有限公司 一种利用身份证照片进行面部识别的方法
CN111652082A (zh) * 2020-05-13 2020-09-11 北京的卢深视科技有限公司 人脸活体检测方法和装置
CN111898454A (zh) * 2020-07-02 2020-11-06 中国地质大学（武汉） 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018451A1 (en) * 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
CN110858275A (zh) * 2018-08-22 2020-03-03 北京航天长峰科技工业集团有限公司 一种利用身份证照片进行面部识别的方法
CN110399844A (zh) * 2019-07-29 2019-11-01 南京图玩智能科技有限公司 一种应用于跨平台的人脸关键点识别与追踪方法及***
CN111652082A (zh) * 2020-05-13 2020-09-11 北京的卢深视科技有限公司 人脸活体检测方法和装置
CN111898454A (zh) * 2020-07-02 2020-11-06 中国地质大学（武汉） 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZAIYE YANG: "Face Recognition Based on MTCNN and Integrated Application of FaceNet and LBP Method", 《2020 2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND ADVANCED MANUFACTURE（AIAM）》 *
吴蒙蒙;: "自适应LBP在复杂光照下人脸识别中的应用研究", 《信息通信》 *
李闻: "基于局部特征融合的身份证人脸识别***研究", 《中国优秀硕学位论文全文数据库(信息科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241588A (zh) * 2022-02-24 2022-03-25 北京锐融天下科技股份有限公司 一种自适应人脸比对方法及***
CN117351540A (zh) * 2023-09-27 2024-01-05 东莞莱姆森科技建材有限公司 一种集成有led及头部动作识别的卫浴镜
CN117351540B (zh) * 2023-09-27 2024-04-02 东莞莱姆森科技建材有限公司 一种集成有led及头部动作识别的卫浴镜

Also Published As

Publication number Publication date
CN112818938B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
Chen et al. A cascade face spoofing detector based on face anti-spoofing R-CNN and improved retinex LBP
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
US7925093B2 (en) Image recognition apparatus
CN112418095A (zh) 一种结合注意力机制的面部表情识别方法及***
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
CN110543846A (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
JP2002501234A (ja) 人間の顔の追跡システム
CN105913002B (zh) 视频场景下在线自适应的异常事件检测方法
NO329897B1 (no) Fremgangsmate for raskere ansiktsdeteksjon
CN1975759A (zh) 一种基于结构主元分析的人脸识别方法
CN108416291B (zh) 人脸检测识别方法、装置和***
CN112818938A (zh) 一种自适应光照干扰环境的人脸识别算法及人脸识别装置
CN112232204B (zh) 基于红外图像的活体检测方法
CN116309607B (zh) 基于机器视觉的船艇式智能水上救援平台
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN106881716A (zh) 基于3d摄像头机器人的人体跟随方法及***
CN113592911A (zh) 表观增强深度目标跟踪方法
CN111967319A (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
JP2007108990A (ja) 顔検出方法および装置並びにプログラム
CN112232205B (zh) 移动端cpu实时多功能人脸检测方法
CN111274851A (zh) 一种活体检测方法及装置
Hashem Adaptive technique for human face detection using HSV color space and neural networks
CN109657544B (zh) 一种人脸检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant