CN111611849A - 一种用于门禁设备的人脸识别*** - Google Patents
一种用于门禁设备的人脸识别*** Download PDFInfo
- Publication number
- CN111611849A CN111611849A CN202010270812.3A CN202010270812A CN111611849A CN 111611849 A CN111611849 A CN 111611849A CN 202010270812 A CN202010270812 A CN 202010270812A CN 111611849 A CN111611849 A CN 111611849A
- Authority
- CN
- China
- Prior art keywords
- face
- neural network
- module
- face recognition
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 98
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 27
- 240000007651 Rubus glaucus Species 0.000 claims description 22
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 22
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012958 reprocessing Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims 2
- 230000006870 function Effects 0.000 abstract description 24
- 238000000513 principal component analysis Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种用于门禁设备的人脸识别***，包括主控模块、监测模块、人脸识别模块、通信模块、云服务器和终端；监测模块与所述主控模块双向连接，主控模块的输出端与云服务器的输入端IP连接；云服务器驱动人脸识别模块进行人脸检测、识别和人脸属性识别，人脸识别模块搭建深度学习卷积神经网络模型；人脸识别模块的数据信息传输至主控模块，主控模块通过所述通信模块与终端进行数据透传。一种搭建了深度学习卷积神经网络的人脸识别***通过对人脸图像进行人脸轮廓和条纹分布的提取，使用卷积神经网络进行人脸识别，实现对人脸身份进行识别和对人脸属性年龄、性别的识别的功能；人脸信息可以通过通信模块传输至终端，准确快捷地提取人脸信息。
Description
技术领域
本发明涉及神经网络和人脸识别算法领域，更具体地，涉及一种用于门禁设备的人脸识别***。
背景技术
一般来说智能家居门禁设备按进出识别方式可分为以下三大类：密码识别、卡片识别和生物识别。随着人工智能的发展，生物识别在门禁***中逐渐替代了其他方式。而在生物识别技术中采用的最多的是人脸识别技术。人脸识别技术运用的算法经历了早期算法、机器学习人工特征+分类器和深度学习这3个阶段，然而在目前的智能家居门禁***中，人脸识别技术还未能决解安全、快速准确地识别人脸以及提取人脸信息的问题。
在现有技术中，论文[韩进,秦宏超,杨颖超,刘文武.基于OpenCV的嵌入式智能门禁***设计[J].大众科技,2015,17(03):1-4.]实现的方案是：采用OpenCV中的Viola-Jones算法进行人脸检测、与识别对比神经网络，对人脸特征提取效果不太好。而使用神经网络，对人脸特征提取具有鲁棒性。根据[陈奎,邢雪妍,田欣沅,王吉豪,王顺.基于CNN的人脸识别门禁***设计[J].徐州工程学院学报(自然科学版),2018,33(04):89-92.]采用的方案：使用传统卷积神经网络对人脸提取特征，最后使用Softmax层识别分类来达到人脸识别的效果，并不太理想，当添加新的人脸数据，需要重新训练卷积神经网络模型，使得该***的使用性下降。因为传统卷积神经网络人脸识别需要先训练一个分类器，把网络某一层输出导入分类器获取识别信息，因此存在间接低效的缺点，即模型产生的特征泛化能力不高且维数达上千维。有的方法采用PCA降维，但PCA是一种线性变换方法，本身对高层神经网络的改善不大，甚至会影响网络的功能。
发明内容
本发明为解决现有的智能家居门禁***中，人脸识别技术无法快速准确地提取人脸信息的技术缺陷，提供了一种用于门禁设备的人脸识别***，代替了传统人脸识别***，在传统***基础上使用深度学习卷积神经网络提高了提取人脸特征。
为实现以上发明目的，采用的技术方案是：
一种用于门禁设备的人脸识别***，包括主控模块、监测模块、人脸识别模块、通信模块、云服务器和终端；所述监测模块与所述主控模块双向连接，所述主控模块的输出端与所述云服务器的输入端IP连接；所述云服务器驱动人脸识别模块进行人脸检测与识别，所述人脸识别模块搭建有深度学习卷积神经网络模型；所述人脸识别模块的数据信息传输至所述主控模块，所述主控模块通过所述通信模块与所述终端进行数据透传。
上述方案中，一种搭建了深度学习卷积神经网络的人脸识别***通过对人脸图像进行人脸轮廓和条纹分布的提取，使用卷积神经网络进行人脸识别，实现对人脸身份进行识别和对人脸属性——年龄、性别的识别的功能；人脸的信息可以通过通信模块传输至终端，准确快捷地提取人脸信息。
所述主控模块为树莓派主控模块。
上述方案中，在本专利中选择使用拥有ARM架构和Linux***的树莓派三代B+来作为硬件核心模块，相比FPGA来说，树莓派的控制性能较好而且还能够使用Python语言编程调用OpenCV库对图像进行处理，并且在智能家居方面，树莓派的应用比较广泛。
所述监测模块包括门铃键和摄像头；门铃键被触发时，其电信号传送至树莓派，所述树莓派驱动摄像头进行图片采集，并将图片信息传输至云服务器。
上述方案中，当人按下门铃键时，树莓派调用OpenCV库驱动摄像头模块进行采集视频，并将视频随机分帧截取几张图片，然后将这些图片进行压缩成JPEG格式，按照特定的分辨率进行打包编码传输给云服务器并且保存在特定的文件资源路径里。
所述人脸识别模块由深度学习卷积神经网络搭建的人脸检测神经网络、人脸识别神经网络和人脸属性识别神经网络构成；所述云服务器将采集的图片输入人脸检测神经网络进行画框、剪裁，然后将图像大小转换为128×128(W×H)大小，使用中值滤波和差分高斯滤波算法对图像进行去噪，滤波处理后，对图像进行伽马变化，处理后的图片信息分别输入人脸识别神经网络和人脸属性识别神经网络，得出相应数据信息。
上述方案中，人脸识别***将由摄像头采集到的图像数据首先输入人脸检测神经网络中，进行人脸检测，并将检测到的人脸进行画框、剪裁，然后将图像大小转换为128×128(W×H)大小，使用中值滤波和差分高斯滤波算法对图像进行去噪。滤波处理后，对图像进行伽马变化，减轻由于采集图像时光照强度不一产生的影响。最后分别送入人脸识别神经网络和人脸属性识别神经网络中。其中，图像数据输入人脸识别神经网络后，输出78维特征向量，使用欧氏距离计算人脸图像数据与数据库中特指人脸数据的欧氏距离之差，若小于一定的阈值，则是同一个人脸，否则不是同一个人脸。而图像数据输入人脸属性识别神经网络后，输出值经过PCA降维法进行分类，最终得出相应的结果。
所述通信模块为蓝牙通信模块。
所述人脸检测神经网络包括Proposal Network子神经网络、Refine Network子神经网络和Output Network子神经网络；Proposal Network子神经网络在图片中获取脸部候选框与边框回归变量，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并作为Refine Network子神经网络的输入；Refine Network子神经网络拒绝未重合的脸部候选框，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并输入到OutputNetwork子神经网络；Output Network子神经网络识别目标的区域，输出bounding boxregression坐标和人脸关键点坐标。
人脸识别神经网络选取双输入、双输出、权值共享的卷积神经网络作为人脸识别训练模型，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像进行人脸特征信息提取得到2个78维人脸特征向量，之后使用欧氏距离计算人脸相似度。
所述卷积神经网络利用以1x1，3x3，5x5的convolution卷积层和2x2的Maxpooling池化层堆叠在一起，搭建成具有首尾对称性的神经网络。
人脸属性识别神经网络选取单输入、双分类的多任务卷积神经网络模型，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像经过卷积处理，提取人脸卷积后数据的主要特征向量，经过再处理输出年龄分类和性别分类的概率。
在多任务卷积神经网络模型中，将人脸检测神经网络输出的bounding boxregression坐标对原图像剪裁得到的人脸图像分别经过一个卷积核大小为5×5的卷积层卷积层、一个3×3和一个1×1卷积层后，使用1×3、3×1的卷积模块再进行卷积，然后将卷积后的人脸特征向量分别输入至3层卷积核大小分别为1x1，3x1和1x3的卷积层和4层卷积核大小分别为1x1，5x5，3x3和3x3的卷积层，之后进行PCA降维算法，用来提取人脸卷积后数据的主要特征向量，最后经过再经过4层连接层分类分别输出年龄分类和性别分类的概率。
人脸检测神经网络实现原理如下：
人脸检测采用目前的MTCNN——Joint Face Detection and Alignment usingMulti-task Cascaded Convolutional Networks算法原理，而该算法的神经网络结构主要包含三个子网络：
Proposal Network(P-Net):一个全连接卷积神经网络，粗略的获取脸部候选框跟边框回归变量,然后候选框通过边框回归变量进行校正,最后用NMS算法合并高度重合的候选框。
Refine Network(R-Net):将所有的候选框作为下层网络R-Net(Refine Network)的输入，这个网络将会进一步拒绝大量的重合效果不好的候选框，然后同样的通过边框回归变量进行校正，NMS进行合并。
Output Network(O-Net):O-Net与R-Net较为相似，但是在这个网络的目标是通过更多的监督来识别面部的区域。
通过三个子网络输出的人脸框位置进行剪裁出人脸图像，并利用输出人脸的四个特征点——左右眼睛，嘴，鼻子的坐标，用来进行人脸对齐，来提高人脸识别识别率。
首先将原始图像进行处理得到图像大小为12×12(W×H)的金字塔图像数据，送进P-Net网络中，获得候选窗体(bounding box regression)和边界回归向量(faceclassification)等。同时，这些候选窗体根据边界框进行校准，然后利用非极大值抑制去除重叠窗体。接着同时将候选窗体的图片转换大小为：24×24(H×W)图片输入R-Net中训练，最后使用全连接网络进行分类。利用边界框向量微调候选窗体，利用非极大值抑制算法(NMS)去除重叠窗体。最后经过R-net干掉很多候选后的图片输入到O-net，输出准确的bounding box regression坐标和人脸关键点坐标(Facial landmark localization)。
为了提高人脸识别的识别率，在训练之前首先将人脸数据集图像尺寸大小统一转换(resize)为128×128(W×H)，然后通过中值滤波和差分高斯滤波算法对人脸图像进行滤波，实现图像增强的作用，最后使用非线性的灰度变换(Gamma变换)提升图像中的暗部细节以及灰化，从而得到处理后的人脸训练数据；
人脸识别神经网络模型选取双输入、双输出、权值共享的卷积神经网络结构作为人脸识别训练模型。在训练过程中将训练数据集分成多批量的两种二元组数据——对应为两个数据为同一样本或不同样本组成的的二元组数据，并将这两种二元组数据以比例为1：1的顺序随机输入神经网络进行训练，得到两个78维人脸特征向量输出。而在测试过程中，将采集到的图像经检测人脸后输出的图像数据与数据库中特指的人脸图像同时输入神经网络中，将输出的人脸特征向量使用欧氏距离计算人脸相似度。
人脸识别神经网络使用Pytorch深度学习框架进行编写。与传统卷积神经网络(AlexNet和VGG16)相比，该卷积神经网络网络结构网络更深(层数)，网络更宽(神经元数)，并且利用以1x1，3x3，5x5的convolution卷积层和2x2的Max pooling池化层堆叠在一起组成卷积模块，即设计具有Inception-V3的网络结构，搭建成具有首尾对称性的16层神经网络，一方面增加了网络的width，另一方面增加了网络对尺度的适应性。
人脸属性识别神经网络主要为性别识别和年龄识别，将检测到的人脸图像进行预处理，通过高斯滤波对图像进行噪音滤波、进行阈值处理得到二值图，然后进行边缘检测，从而提取到人脸轮廓和条纹分布，最后将处理后的图像输入卷积神经网络中进行识别分类。而相对传统卷积神经网络结构，本专利的人脸属性识别卷积神经网络使用单输入双分类的多任务卷积神经网络模型。
实现原理为：首先将人脸图像分别经过一个5×5卷积层、一个3×3和一个1×1卷积层后使用1×3、3×1的卷积模块再进行卷积，然后将卷积后的人脸特征向量分别输入至3层卷积核大小分别为1x1，3x1和1x3的卷积层和4层卷积核大小分别为1x1，5x5，3x3和3x3的卷积层，之后进行PCA降维算法，用来提取人脸卷积后数据的主要特征向量。最后经过再经过4层连接层分类分别输出年龄分类和性别分类的概率。
与现有技术相比，本发明的有益效果是：
本发明提供的一种用于门禁设备的人脸识别***，搭建了深度学习卷积神经网络，通过对人脸图像进行人脸轮廓和条纹分布的提取，使用卷积神经网络进行人脸识别，实现对人脸身份进行识别和对人脸属性——年龄、性别的识别的功能；人脸的信息可以通过通信模块传输至终端，准确快捷地提取人脸信息。
附图说明
图1为本发明的数据流向示意图；
图2为本发明的MTCNN中三个子神经网络结构示意图；
图3为本发明的人脸识别神经网络结构示意图；
图4为本发明的人脸属性识别神经网络结构示意图；
图5为本发明的不同的M值对应训练结果示意图；
图6为本发明的不同的mar,m值训练时得到的准确率示意图；
图7为本发明的人脸识别损失loss收敛结果示意图；
图8为本发明的人脸属性识别Soft max loss收敛结果示意图；
图9为本发明的测试集的效果示意图；
图10为本发明的ORL人脸数据库与Yale人脸数据库的准确率示意图；
图11为本发明的人脸属性识别效果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1与图2所示，一种用于门禁设备的人脸识别***，包括主控模块、监测模块、人脸识别模块、通信模块、云服务器和终端；所述监测模块与所述主控模块双向连接，所述主控模块的输出端与所述云服务器的输入端IP连接；所述云服务器驱动人脸识别模块进行人脸检测与识别，所述人脸识别模块搭建有深度学习卷积神经网络模型；所述人脸识别模块的数据信息传输至所述主控模块，所述主控模块通过所述通信模块与所述终端进行数据透传。
上述方案中，一种搭建了深度学习卷积神经网络的人脸识别***通过对人脸图像进行人脸轮廓和条纹分布的提取，使用卷积神经网络进行人脸识别，实现对人脸身份进行识别和对人脸属性——年龄、性别的识别的功能；人脸的信息可以通过通信模块传输至终端，准确快捷地提取人脸信息。
所述主控模块为树莓派主控模块。
上述方案中，在本专利中选择使用拥有ARM架构和Linux***的树莓派三代B+来作为硬件核心模块，相比FPGA来说，树莓派的控制性能较好而且还能够使用Python语言编程调用OpenCV库对图像进行处理，并且在智能家居方面，树莓派的应用比较广泛。
所述监测模块包括门铃键和摄像头；门铃键被触发时，其电信号传送至树莓派，所述树莓派驱动摄像头进行图片采集，并将图片信息传输至云服务器。
上述方案中，当人按下门铃键时，树莓派调用OpenCV库驱动摄像头模块进行采集视频，并将视频随机分帧截取几张图片，然后将这些图片进行压缩成JPEG格式，按照特定的分辨率进行打包编码传输给云服务器并且保存在特定的文件资源路径里。
所述人脸识别模块由深度学习卷积神经网络搭建的人脸检测神经网络、人脸识别神经网络和人脸属性识别神经网络构成；所述云服务器将采集的图片输入人脸检测神经网络进行画框、剪裁，然后将图像大小转换为128×128(W×H)大小，使用中值滤波和差分高斯滤波算法对图像进行去噪，滤波处理后，对图像进行伽马变化，处理后的图片信息分别输入人脸识别神经网络和人脸属性识别神经网络，得出相应数据信息。
上述方案中，人脸识别***将由摄像头采集到的图像数据首先输入人脸检测神经网络中，进行人脸检测，并将检测到的人脸进行画框、剪裁，然后将图像大小转换为128×128(W×H)大小，使用中值滤波和差分高斯滤波算法对图像进行去噪。滤波处理后，对图像进行伽马变化，减轻由于采集图像时光照强度不一产生的影响。最后分别送入人脸识别神经网络和人脸属性识别神经网络中。其中，图像数据输入人脸识别神经网络后，输出78维特征向量，使用欧氏距离计算人脸图像数据与数据库中特指人脸数据的欧氏距离之差，若小于一定的阈值，则是同一个人脸，否则不是同一个人脸。而图像数据输入人脸属性识别神经网络后，输出值经过PCA降维法进行分类，最终得出相应的结果。
所述通信模块为蓝牙通信模块。
所述人脸检测神经网络包括Proposal Network子神经网络、Refine Network子神经网络和Output Network子神经网络；Proposal Network子神经网络在图片中获取脸部候选框与边框回归变量，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并作为Refine Network子神经网络的输入；Refine Network子神经网络拒绝未重合的脸部候选框，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并输入到OutputNetwork子神经网络；Output Network子神经网络识别目标的区域，输出bounding boxregression坐标和人脸关键点坐标。
人脸识别神经网络选取双输入、双输出、权值共享的卷积神经网络作为人脸识别训练模型，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像经过人脸特征信息提取，得到2个78维人脸特征向量，之后使用欧氏距离计算人脸相似度。
所述卷积神经网络具有首尾对称性的16层神经网络，表现为前3层和后3层卷积层中的卷积核大小依次为3x3，3x3，1x1，中间10层对应为卷积模块。其中卷积模块基本组成结构有四个成分，1x1卷积，3x3卷积，5x5卷积，3x3最大池化，该四个成分运算结果进行通道上组合，即设计成具有Inception-V3的网络结构。
人脸属性识别神经网络选取单输入、双分类的多任务卷积神经网络模型，将bounding box regression坐标和人脸关键点坐标经过卷积处理，提取人脸卷积后数据的主要特征向量，经过再处理输出年龄分类和性别分类的概率。
在多任务卷积神经网络模型中，将人脸检测神经网络输出的bounding boxregression坐标对原图像剪裁得到的人脸图像依次经过一个5×5卷积层、一个3×3和一个1×1卷积层后，使用1×3、3×1的卷积模块再进行卷积，然后将卷积后的人脸特征向量分别输入至3层卷积核大小分别为1x1，3x1和1x3的卷积层和4层卷积核大小分别为1x1，5x5，3x3和3x3的卷积层，之后进行PCA降维算法，用来提取人脸卷积后数据的主要特征向量，最后经过再经过全连接层分类分别输出年龄分类和性别分类的概率。
实施例2
如图3、图5与图6所示，人脸识别神经网络具体训练过程如下：
首先图像数据经过前两个卷积核大小为3×3的卷积层、一个1×1的卷积层和一个3×3的池化层，得到大小为126×126×18(图像高度x图像宽度y通道数z)的特征向量维。然后分别通过5个卷积网络模块(Block_Conv)和多个池化层(MaxPolling)，得到31×31×64(图像高度x图像宽度y通道数z)输出特征向量维，最后经过一个卷积核为3x3的最大池化层、两个卷积核大小为3×3的卷积层和一个1×1的卷积层，输出至全连接层线性得到M维度的特征向量(这里M取值为78)。
其中不同M值训练时对应的loss值收敛结果如图5所示，这里M值最大采用论文[FaceNet:A Unified Embedding for Face Recognition and Clustering]里提出的使用78维度的特征向量。
可以得知当M取值为78时对应这个卷积神经网络结构较优(x轴Time表示训练次数，y轴Loss表示损失值大小)；
然后将得到的两个输出特征向量维X1,X2使用欧式距离分别算出两个图像的欧式距离DW、夹角余弦cosθ；在训练过程中使用改进的人脸对比损失函数Face_loss:
其中，LFace为损失值；Y值为1或0(如果模型预测输入是同一样本的，那么Y的值为0，否则Y为1)；Gw(X)为神经网络输出的78维度的特征向量；mar＝2；max()是表示0和(mar-DW)之间较大值的函数；
cosθ表示两个样本特征向量之间的夹角余弦，在cos函数里引入角度间隔m＝0.5，形成角度距离，对二分类问题来说，角度距离比余弦距离在对角度的影响更加直接。
如图6所示，不同的mar,m值训练时得到的准确率不同，mar,a分别取值为2，0.5时，可以得到较高的识别率。该损失函数与Softmax损失函数相比，训练的时候收敛得较慢，可以方便地训练大规模数据集，不受显存的限制并且优化了类间和类内距离，在一定的程度上提高了模型的鲁棒性，有效地决解了由于光照强度，人脸角度不同带来容易识别出错的问题以及实现了当添加新的人脸数据，只需要提供一张人脸照片而不需要重新训练卷积神经网络模型功能。
实施例3
如图4所示，在人脸属性识别神经网络中，将年龄分成10个类别——零到100岁每隔10岁作为一个类别；性别——男女两个类别，使用PCA数据降维算法代替了池化层(MaxPolling)，由于人脸具有一些一般性形态，比如人一般都有两只眼睛，眼睛基本都位于接近脸的顶部的位置，这些形态可以以较小维数的方式捕捉。而通过使用PCA降维卷积后的高维度人脸特征向量，把众多特征复合(例如人脸的像素点)成少数的特征(眼镜、鼻子、嘴)，从而更方便我们的提取关键特征值，从而提高了人脸属性的识别率的准确度。
除此之外，该人脸属性识别的神经网络模型在训练过程使用Softmax loss和Center Loss损失函数——达到减小其类内距离的效果。公式如下：
其中，前一半是softmax loss,后一半是Center loss，其中m为batch_size的大小，c为设定的类中心，每次读取一个batch会随机设定类中心。
与单独使用softmax loss函数相比，softmax loss和Center Loss损失函数的结合在训练结果上识别率的准确度提高了5％；
在人脸属性识别中将得到分类结果的概率进行判断，进而得到了相关的人脸属性数据，然后将外访者的人脸信息数据进行保存在数据库中。并通过树莓派与服务器连接获取数据，使用语言模块实现对室内人员进行语音提示功能。
实施例4
通过使用改进的人脸识别算法——卷积神经网络算法和人脸损失函数Face_loss算法，提高了人脸识别的准确率，解决了易受光照条件，面部微表情变化等问题。以及对人脸图像进行提取人脸轮廓，条纹，使用卷积神经网络进一步人脸属性识别——年龄、性别识别。如此构建的人脸识别***解决了未能够决解保存、查看外访者的关键信息和当添加新的人脸数据，需要重新训练卷积神经网络模型等技术问题。
在本专利基于神经网络的智能家居门禁***中人脸识别***神经网络训练过程中，人脸识别损失loss收敛结果如图7，人脸属性识别Softmax loss收敛如图8；可以看到人脸识别模型达到了收敛，损失值达到了最优为小于0.1，在测试集上达到了如图9的效果。
在本专利提出的人脸识别算法模型(用My_Face英文代替)以人脸欧氏距离小于等于1表示为同一人脸，则大于一表示为不同人脸，与论文[刘伟强.基于级联卷积神经网络的人脸检测算法的研究[D].厦门大学,2017.]、论文[王双印.基于卷积神经网络的人脸识别研究[D].兰州理工大学,2017.]提出的神经网络人脸识别算法模型(这里用Model1和Model2分别代替)进行复现，在人脸数据集ORL人脸库(Olivetti Research Laboratory人脸数据库)、Yale人脸数据库中得到准确率，分别对应如图10。
人脸属性识别测试部分结果如图11。
实施例5
为了方便、管理控制门禁，本专利还使用了微信web开发者工具设计出一种微信小程序作为终端来实现远程控制门禁***；微信小程序通过使用小程序的媒体组件：image，获取这一天检测到的人脸图像，当需要临时添加人脸信息时，可以通过微信小程序上传到服务器中的人脸数据库里，实现快速添加新人员的功能，并且还可以通过低功耗蓝牙模块与树莓派进行BLE数据透传，实现远程控制门禁开锁功能。当树莓派接收到开锁命令时，通过控制特定某个GPIO的引脚高低电平来控制继电器的合并来控制电磁锁是否执行开锁操作。
而微信小程序远程开锁功能实现方案为：
由微信开发者中心设计出的蓝牙微信小程序通过低功耗蓝牙模块与树莓派进行BLE数据透传，然后树莓派将接收到的数据进行分析，判断是否执行开锁命令。
微信小程序开发流程：
(1)初始化小程序蓝牙适配器，调用wx.openBluetoothAdapter()函数；
(2)获取本机蓝牙适配器状态的接口，调用wx.getBluetoothAdapterState()函数；
(3)搜索周边蓝牙设备的接口，调用wx.startBluetoothDevicesDiscovery()；
(4)获取所有蓝牙设备信息，调用wx.getBluetoothDevices()；
(5)连接已发现的设备，调用wx.closeBLEConnection()；
(6)停止搜寻附近的蓝牙***设备接口，调用wx.stopBluetoothDevicesDiscovery()；
(7)获取蓝牙设备所有，调用servicewx.getBLEDeviceServices()；
(8)获取蓝牙设备特征值接口，wx.getBLEDeviceCharacteristics()；
(9)启用蓝牙设备特征值变化时开启notify(启用notifyBLECharacteristicValueChange接口)，
(10)监听低功耗蓝牙设备的特征值变化事件调用wx.onBLECharacteristicValueChange(function callback)；
(11)向低功耗蓝牙设备特征值中写入二进制数据，调用wx.writeBLECharacteristicValue()；
(12)程序退出时，断开与低功耗蓝牙设备的连接，调用wx.closeBLEConnection(OBJECT)；
发送数据方式：将input输入框中的文本储存到buf数据缓存区，然后转换成16进制的数据发送到蓝牙模块里；然后具体实现应用的功能在.js文件中绑定触发事件，发送指令到下位机。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种用于门禁设备的人脸识别***，其特征在于，包括主控模块、监测模块、人脸识别模块、通信模块、云服务器和终端；所述监测模块与所述主控模块双向连接，所述主控模块的输出端与所述云服务器的输入端IP连接；所述云服务器驱动人脸识别模块进行人脸检测与识别，所述人脸识别模块搭建有深度学习卷积神经网络模型；所述人脸识别模块的数据信息传输至所述主控模块，所述主控模块通过所述通信模块与所述终端进行数据透传。
2.根据权利要求1所述的一种用于门禁设备的人脸识别***，其特征在于，所述主控模块的硬件核心为树莓派主控模块。
3.根据权利要求2所述的一种用于门禁设备的人脸识别***，其特征在于，所述监测模块包括门铃键和摄像头；门铃键被触发时，其电信号传送至树莓派，所述树莓派驱动摄像头进行图片采集，并将图片信息传输至云服务器。
4.根据权利要求1所述的一种用于门禁设备的人脸识别***，其特征在于，所述人脸识别模块由深度学习卷积神经网络搭建的人脸检测神经网络、人脸识别神经网络和人脸属性识别神经网络构成；所述云服务器将采集的图片输入人脸检测神经网络进行画框、剪裁，然后将图像大小转换为128×128(W×H)大小，使用中值滤波和差分高斯滤波算法对图像进行去噪，滤波处理后，对图像进行伽马变化，处理后的图片信息分别输入人脸识别神经网络和人脸属性识别神经网络，得出相应数据信息。
5.根据权利要求1所述的一种用于门禁设备的人脸识别***，其特征在于，所述通信模块为蓝牙通信模块。
6.根据权利要求4所述的一种用于门禁设备的人脸识别***，其特征在于，所述人脸检测神经网络包括Proposal Network子神经网络、Refine Network子神经网络和OutputNetwork子神经网络；Proposal Network子神经网络在图片中获取脸部候选框与边框回归变量，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并作为RefineNetwork子神经网络的输入；Refine Network子神经网络拒绝未重合的脸部候选框，脸部候选框通过边框回归变量进行校正，合并高度重合的候选框，并输入到Output Network子神经网络；Output Network子神经网络识别目标的区域，输出bounding box regression坐标和人脸关键点坐标。
7.根据权利要求6所述的一种用于门禁设备的人脸识别***，其特征在于，人脸识别神经网络选取双输入、双输出、权值共享的卷积神经网络作为人脸识别训练模型，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像进行人脸特征信息提取得到2个78维人脸特征向量，之后使用欧氏距离计算人脸相似度。
8.根据权利要求7所述的一种用于门禁设备的人脸识别***，其特征在于，所述卷积神经网络利用以1x1，3x3，5x5的convolution卷积层和2x2的Max pooling池化层堆叠在一起，搭建成具有首尾对称性的神经网络。
9.根据权利要求6所述的一种用于门禁设备的人脸识别***，其特征在于，人脸属性识别神经网络选取单输入、双分类的多任务卷积神经网络模型，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像经过卷积处理，提取人脸卷积后数据的主要特征向量，经过再处理输出年龄分类和性别分类的概率。
10.根据权利要求9所述的一种用于门禁设备的人脸识别***，其特征在于，在多任务卷积神经网络模型中，将人脸检测神经网络输出的bounding box regression坐标对原图像剪裁得到的人脸图像分别经过一个卷积核大小为5×5的卷积层卷积层、一个3×3和一个1×1卷积层后，使用1×3、3×1的卷积模块再进行卷积，然后将卷积后的人脸特征向量分别输入至3层卷积核大小分别为1x1，3x1和1x3的卷积层和4层卷积核大小分别为1x1，5x5，3x3和3x3的卷积层，之后进行PCA降维算法，用来提取人脸卷积后数据的主要特征向量，最后经过再经过4层连接层分类分别输出年龄分类和性别分类的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010270812.3A CN111611849A (zh) | 2020-04-08 | 2020-04-08 | 一种用于门禁设备的人脸识别*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010270812.3A CN111611849A (zh) | 2020-04-08 | 2020-04-08 | 一种用于门禁设备的人脸识别*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111611849A true CN111611849A (zh) | 2020-09-01 |
Family
ID=72199323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010270812.3A Pending CN111611849A (zh) | 2020-04-08 | 2020-04-08 | 一种用于门禁设备的人脸识别*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611849A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070058A (zh) * | 2020-09-18 | 2020-12-11 | 深延科技(北京)有限公司 | 人脸面部复合情感表情识别方法及*** |
| CN112800886A (zh) * | 2021-01-16 | 2021-05-14 | 江苏霆善科技有限公司 | 一种基于机器视觉的人脸识别***及方法 |
| CN112906668A (zh) * | 2021-04-07 | 2021-06-04 | 上海应用技术大学 | 基于卷积神经网络的人脸信息识别方法 |
| CN113095190A (zh) * | 2021-04-01 | 2021-07-09 | 武汉理工大学 | 一种无接触温度测量与身份识别*** |
| WO2022078572A1 (en) * | 2020-10-12 | 2022-04-21 | Assa Abloy Ab | Access control with face recognition and heterogeneous information |
| CN114842584A (zh) * | 2022-04-19 | 2022-08-02 | 常州工学院 | 基于RASPBERRY Pi 4B的智慧门禁服务方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932783A (zh) * | 2018-09-19 | 2018-12-04 | 南京邮电大学 | 一种基于二维人脸识别的面向大流量场景的门禁*** |
-
2020
- 2020-04-08 CN CN202010270812.3A patent/CN111611849A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932783A (zh) * | 2018-09-19 | 2018-12-04 | 南京邮电大学 | 一种基于二维人脸识别的面向大流量场景的门禁*** |
Non-Patent Citations (2)
| Title |
|---|
| 李玉振: "单模型多任务人脸识别与属性分析及***实现", 《中国优秀硕士学位全文数据库》 * |
| 老三是只猫: "利用MTCNN和facenet实现人脸检测和人脸识别", 《HTTPS://BLOG.CSDN.NET/ZHONGLONGSHEN/ARTICLE/DETAILS/90202620》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070058A (zh) * | 2020-09-18 | 2020-12-11 | 深延科技(北京)有限公司 | 人脸面部复合情感表情识别方法及*** |
| WO2022078572A1 (en) * | 2020-10-12 | 2022-04-21 | Assa Abloy Ab | Access control with face recognition and heterogeneous information |
| CN116569226A (zh) * | 2020-10-12 | 2023-08-08 | 亚萨合莱有限公司 | 利用面部识别和异质信息的访问控制 |
| CN112800886A (zh) * | 2021-01-16 | 2021-05-14 | 江苏霆善科技有限公司 | 一种基于机器视觉的人脸识别***及方法 |
| CN113095190A (zh) * | 2021-04-01 | 2021-07-09 | 武汉理工大学 | 一种无接触温度测量与身份识别*** |
| CN112906668A (zh) * | 2021-04-07 | 2021-06-04 | 上海应用技术大学 | 基于卷积神经网络的人脸信息识别方法 |
| CN112906668B (zh) * | 2021-04-07 | 2023-08-25 | 上海应用技术大学 | 基于卷积神经网络的人脸信息识别方法 |
| CN114842584A (zh) * | 2022-04-19 | 2022-08-02 | 常州工学院 | 基于RASPBERRY Pi 4B的智慧门禁服务方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611849A (zh) | 一种用于门禁设备的人脸识别*** | |
| Wang et al. | Research on face recognition based on deep learning | |
| WO2015149534A1 (zh) | 基于Gabor二值模式的人脸识别方法及装置 | |
| Sarfraz et al. | Head Pose Estimation in Face Recognition Across Pose Scenarios. | |
| CN112381075B (zh) | 一种机房特定场景下进行人脸识别的方法及*** | |
| CN101739742B (zh) | 联网式多通道门禁考勤*** | |
| CN113239739B (zh) | 一种佩戴物的识别方法及识别装置 | |
| CN105893941B (zh) | 一种基于区域图像的人脸表情识别方法 | |
| Prasad et al. | INDIAN SIGN LANGUAGE RECOGNITION SYSTEM USING NEW FUSION BASED EDGE OPERATOR. | |
| CN106462736B (zh) | 用于人脸检测的处理设备和方法 | |
| KR101174103B1 (ko) | 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법 | |
| Gürel | Development of a face recognition system | |
| Tofighi et al. | A robust face recognition system in image and video | |
| Ayoub et al. | Visual saliency detection based on color frequency features under Bayesian framework | |
| Oloyede et al. | Evaluating the effect of occlusion in face recognition systems | |
| Kumar et al. | SSVM classifier and hand gesture based sign language recognition | |
| CN112766112B (zh) | 基于时空多特征融合的动态表情识别方法及*** | |
| CN112800941B (zh) | 基于非对称辅助信息嵌入网络的人脸反欺诈方法及*** | |
| CN205541026U (zh) | 一种双路门禁装置 | |
| Terrillon et al. | Robust face detection and Japanese sign language hand posture recognition for human-computer interaction in an intelligent room | |
| Kalangi et al. | Deployment of Haar Cascade algorithm to detect real-time faces | |
| Paul et al. | Automatic adaptive facial feature extraction using CDF analysis | |
| Bevilacqua et al. | Face detection by means of skin detection | |
| Gilorkar et al. | A review on feature extraction for Indian and American sign language | |
| Ren et al. | Research on multi pose facial feature recognition based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |