CN111967315A - 一种基于人脸识别和红外检测的人体综合信息获取方法 - Google Patents

一种基于人脸识别和红外检测的人体综合信息获取方法 Download PDF

Info

Publication number
CN111967315A
CN111967315A CN202010660673.5A CN202010660673A CN111967315A CN 111967315 A CN111967315 A CN 111967315A CN 202010660673 A CN202010660673 A CN 202010660673A CN 111967315 A CN111967315 A CN 111967315A
Authority
CN
China
Prior art keywords
layer
face
convolution
basic
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010660673.5A
Other languages
English (en)
Other versions
CN111967315B (zh
Inventor
谢巍
卢永辉
吴伟林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010660673.5A priority Critical patent/CN111967315B/zh
Publication of CN111967315A publication Critical patent/CN111967315A/zh
Application granted granted Critical
Publication of CN111967315B publication Critical patent/CN111967315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸识别和红外检测的人体综合信息获取方法，该方法首先通过检测设备获取被检测人员的RGB图像和红外图像；然后对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息；基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果以及对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果；再把同一人脸位置上的人脸识别结果和温度检测结果相结合即可得到人体综合信息。本发明可以同时对被检测人员完成人脸识别和温度检测，人体综合信息监测效率高。

Description

一种基于人脸识别和红外检测的人体综合信息获取方法
技术领域
本发明涉及数字图像处理、模式识别和计算机视觉领域，具体涉及一种基于人脸识别和红外检测的人体综合信息获取方法。
背景技术
在自然世界中，有各种各样的病毒长期存在，这些病毒是导致人类社会中频繁发生流行性疾病的根本原因，流行性疾病轻则对扰乱人们的生活，重则威胁到人类的生命，阻碍了社会的发展。由于病毒难以完全消灭，因此在日常生活中对人体的健康监测就显得尤为重要。流行性疾病的一个主要症状就是发热，目前通常是先手工测量人体温度，当温度出现异常时再进行登记跟踪身体状况或者进一步采取措施。手工测量体温的主要工具是红外摄像头，需要手工使用的原因是红外摄像头无法获取当前红外图像中的人脸位置信息，而RGB摄像头又无法获取被检测对象的温度数据，所以无法同时对被检测人员完成人脸识别和温度检测，可见，现有的这种手工测温方式效率低下，无法辨识人脸来采集对应体温，也难以在流行性疾病早期及时提出预警。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于人脸识别和红外检测的人体综合信息获取方法，该方法可以同时对被检测人员完成人脸识别和温度检测，更高效地在人们的日常生活中进行人体综合信息的监测。
本发明的目的通过下述技术方案实现：一种基于人脸识别和红外检测的人体综合信息获取方法，包括如下步骤：
S1、通过检测设备获取被检测人员的RGB图像和红外图像；
S2、对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息；
S3、基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果；
对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果；
S4、把同一人脸位置上的人脸识别结果和温度检测结果相结合，以此得到每个被检测人员的人体综合信息。
优选的，所述步骤S1中采集的RGB图像为3通道彩色图，红外图像为单通道灰度图，并且RGB图像和红外图像具有相同的宽度和高度，两个图像中的具***置一一对应。
优选的，步骤S2中，通过第一卷积神经网络进行人脸检测，该第一卷积神经网络的输入为RGB图像，输出为当前图像中所有人脸的位置信息，每个人脸的位置信息表示为(x,y,w,h)，其中，(x,y)表示以RGB图像左上角点为原点时，在RGB图像中的人脸中心位置的坐标，w表示人脸区域的宽度，h表示人脸区域的高度。
更进一步的，第一卷积神经网络的基本结构有：基本卷积层、残差模块、下采样层、RFB-c模块、上采样层和级联结构；
该第一卷积神经网络包括主干网络、连接主干网络的3个检测分支网络，其中，主干网络为：依次连接的基本卷积层、下采样层、残差模块、下采样层、残差模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层和残差模块；
第一个检测分支网络从主干网络中的第一个RFB-c模块分出，第二个检测分支网络从第二个RFB-c模块分出，第三个检测分支网络从主干网络最后一层即残差模块分出，每个检测分支网络只包含基本卷积层，在每两个相邻的检测分支网络中，两个检测分支网络在经过第一个基本卷积层后，由较深的一个检测分支网络经过基本卷积层和上采样层，再通过级联结构结合到较浅的另一个检测分支网络。
更进一步的，步骤S2采用的第一卷积神经网络中，每个检测分支网络的最后一个基本卷积层仅包含一个卷积层，不包含批正则化层和ReLU激活函数；第一卷积神经网络中的其他基本卷积层均包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；
下采样层为卷积参数步长为2的基本卷积层；
上采样层采用的方法是最邻近插值法；
级联结构用于在通道维度上对输入进行叠加操作。
更进一步的，步骤S2采用的第一卷积神经网络中，RFB-c模块包含5个分支：
第一个分支包含依次连接的一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率为1的空洞卷积层；
第二个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第三个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第四个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为5的空洞卷积层；
第五个分支为直连结构；
第一个分支、第二个分支、第三个分支和第四个分支进行叠加并通过一个1×1卷积层，然后再通过级联结构和第五个分支相结合，最后再连接至一个ReLU激活函数，从而得到RFB-c模块的输出。
优选的，步骤S3中，通过第二卷积神经网络进行人脸识别，识别过程如下：
第二卷积神经网络对RGB图像里的当前人脸图像进行编码，输出N维的特征向量[p0,p1,…,pN]，即映射到一个欧式空间中；然后在人脸库中进行计算匹配：计算人脸库中人脸信息对应的特征向量与N维的特征向量[p0,p1,…,pN]之间的差X的二阶范数，并将其作为相似性度量，人脸库中与当前被检测人脸图像相似性度量值最小的人脸信息，就是当前被检测人脸的人脸识别结果；
其中，二阶范数||X||2的公式为：
Figure BDA0002578440420000031
其中，xi表示向量X中的第i个元素，n为向量X中的元素总个数。
更进一步的，第二卷积神经网络的基本结构包括：基本卷积层、残差模块、下采样层和全局平均池化层；
该第二卷积神经网络的主干网络为：依次连接的基本卷积层、下采样层、下采样层、残差模块、下采样层、2个级联的残差模块、下采样层、2个级联的残差模块、下采样层和全局平均池化层，由全局平均池化层输出RGB图像里的当前被检测人脸的人脸识别结果。
更进一步的，步骤S3采用的第二卷积神经网络中，基本卷积层包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；级联结构用于在通道维度上对输入进行叠加操作；
下采样层为卷积参数步长为2的基本卷积层；
全局平均池化层用于对输入的每一个通道上的所有元素进行求和取平均操作，并将结果作为当前通道的值，全局平均池化层的输入和输出的通道数保持一致。
优选的，步骤S3中的温度检测过程如下：
基于人脸位置信息，先在红外图像中找到对应的红外人脸区域；
然后将该区域划分为P×Q网格，对每个网格内的所有温度进行求和取平均，作为该网格的温度值，再遍历所有网格的温度值，取最高的温度值作为当前被检测人员的温度检测结果。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明基于人脸识别和红外检测的人体综合信息获取方法，首先通过检测设备获取被检测人员的RGB图像和红外图像；然后对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息；基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果以及对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果；再把同一人脸位置上的人脸识别结果和温度检测结果相结合，即可得到被检测人员的人体综合信息。由此可见，本发明能够同时对被检测人员完成人脸识别和温度检测，人体综合信息监测方便高效，该人体综合信息可进一步为健康监测和流行疾病的预警提供有效的技术支撑。
(2)本发明方法结合人工智能技术，利用第一卷积神经网络对RGB图像进行人脸检测，可以快速得到准确的人脸位置信息；利用第二卷积神经网络对RGB图像里的每个人脸位置上的人脸图像进行人脸识别，可以快速可靠地得出人脸识别结果，最终，人脸识别结果和温度检测结果通过人脸位置信息可以一一对应，这样，可以非常清楚跟踪到每个被检测人员的温度检测结果。
(3)在本发明方法中，因为检测和识别两个任务之间差异较大，不方便放在同一个网络完成，因此分开两个卷积神经网络可以同时保证检测和识别的准确度。
(4)本发明方法中，以相似度度量这一指标来遍历整个人脸库，当找到人脸库中与当前被检测人脸图像相似性度量值最小的人脸信息，即作为当前人脸位置上的人脸识别结果，这样的识别方式识别准确率高，效率也大大提升。
附图说明
图1是基于人脸识别和红外检测的人体综合信息获取方法的流程图。
图2是图1方法中采用的第一卷积神经网络的结构示意图。
图3是图2第一卷积神经网络中残差模块的结构示意图。
图4是图2第一卷积神经网络中RFB-c模块的结构示意图。
图5是图1方法中采用的第二卷积神经网络的结构示意图。
图6是图1方法中温度检测的流程图。
图7是温度检测中的网格分割示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本实施例公开了一种基于人脸识别和红外检测的人体综合信息获取方法，如图1所示，包括以下步骤：
S1、通过检测设备获取被检测人员的RGB图像和红外图像。
这里，检测设备具有可采集红外图像的红外摄像头和可采集RGB图像的RGB摄像头，被检测人员站在检测设备下即可被同时采集到RGB图像和红外图像。RGB图像为3通道彩色图，红外图像为单通道灰度图，并且RGB图像和红外图像具有相同的宽度和高度，两个图像中的具***置一一对应。
S2、对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息。
本实施例具体是通过第一卷积神经网络进行人脸检测，该第一卷积神经网络的输入为RGB图像，输出为当前RGB图像中所有人脸的位置信息，每个人脸的位置信息表示为(x,y,w,h)，其中，(x,y)表示以RGB图像左上角点为原点时，在RGB图像中的人脸中心位置的坐标，w表示人脸区域的宽度，h表示人脸区域的高度。
如图2所示为第一卷积神经网络的网络结构，其输入尺寸为512×512×3，基本结构有：基本卷积层(Basic conv)、残差模块(Res)、下采样层(Down sample)、RFB-c模块、上采样层(Up sample)和级联结构
Figure BDA0002578440420000061
这些基本结构构成第一卷积神经网络的主干网络、连接主干网络的3个检测分支网络。
具体来说，主干网络为：依次连接的基本卷积层、下采样层、残差模块、下采样层、残差模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层和残差模块；
第一个检测分支网络从主干网络中的第一个RFB-c模块分出，第二个检测分支网络从第二个RFB-c模块分出，第三个检测分支网络从主干网络最后一层即残差模块分出，每个检测分支网络只包含基本卷积层，检测分支网络中的卷积层所采用的卷积核尺寸只包含1x1、3x3两种类型。
在每两个相邻的检测分支网络中，两个检测分支网络在经过第一个基本卷积层后，由较深的一个检测分支网络经过新的基本卷积层和上采样层，再通过级联结构结合到较浅的另一个检测分支网络。也就是说，第三个检测分支网络的第一个基本卷积层输出端在依次经过基本卷积层和上采样层之后，与第二个检测分支网络的第一个基本卷积层输出端通过级联结构结合在一起，第二个检测分支网络的第一个基本卷积层输出端还再依次经过基本卷积层和上采样层，与第一个检测分支网络的第一个基本卷积层输出端通过级联结构结合在一起。
由浅到深，3个检测分支网络输出的feature_map的大小分别为输入尺寸的1/8、1/16、1/32。若记map_size为当前检测分支网络输出的feature_map大小，batch_size为每次输入网络中的图片数量，检测类别数目为num_class，则每个检测分支网络输出数组的形状为(batch_size,map_size,map_size,3*(5+num_class))，其中5表示每个预测的位置x,y,w,h，加上一个当前预测位置不是背景类的概率。
每个检测分支网络的最后一个基本卷积层只包括依次连接的两个部分：卷积层和批量正则化层，不包含ReLU激活函数；第一卷积神经网络中的其他基本卷积层均包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
如图3所示，残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层(该基本卷积层具有ReLU激活函数)和一个卷积核大小为3×3的深度可分离卷积层(depthwise conv，该深度可分离卷积层具有ReLU激活函数)，另一个分支为直连结构，即残差模块的输入在通过基本卷积层和深度可分离卷积层连接至级联结构的同时，输入也直接连接至级联结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；
下采样层为卷积参数步长为2的基本卷积层；
上采样层用于变换图像尺寸，采用的方法是数字图像处理技术中用于图像尺寸变换的最邻近插值法；
级联结构用于在通道维度上对输入进行叠加操作。
如图4所示，RFB-c模块包含5个分支：
第一个分支包含依次连接的一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率(rate)为1的空洞卷积层；
第二个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第三个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第四个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为5的空洞卷积层；
第五个分支为直连结构；
第一个分支、第二个分支、第三个分支和第四个分支进行叠加并通过一个1×1卷积层，然后再通过级联结构和第五个分支相结合，最后再连接至一个ReLU激活函数，从而得到RFB-c模块的输出。
S3、基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果；
对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果。
其中，通过第二卷积神经网络进行人脸识别，识别过程如下：
第二卷积神经网络对RGB图像里的当前人脸图像进行编码，输出N维的特征向量[p0,p1,…,pN]，即映射到一个欧式空间中；然后在人脸库中进行计算匹配：计算人脸库中人脸信息对应的特征向量与N维的特征向量[p0,p1,…,pN]之间的差X的二阶范数，并将其作为相似性度量，人脸库中与当前被检测人脸图像相似性度量值最小的人脸信息，就是当前人脸位置上的人脸识别结果。在本实施例中，N＝128，即输出的是128维的特征向量[p0,p1,…,p127]。
二阶范数||X||2的公式为：
Figure BDA0002578440420000081
其中，xi表示向量X中的第i个元素，n为向量X中的元素总个数。
如图5所示为第二卷积神经网络的结构，其输入尺寸为224×224×3，基本结构包括：基本卷积层、残差模块、下采样层和全局平均池化层(Global average pooling)。
该第二卷积神经网络的主干网络为：依次连接的基本卷积层、下采样层、下采样层、残差模块、下采样层、2个级联的残差模块、下采样层、2个级联的残差模块、下采样层和全局平均池化层，由全局平均池化层输出RGB图像里的当前被检测人脸的人脸识别结果。
其中，基本卷积层、残差模块、下采样层的结构与第一卷积神经网络中的这些模块结构相同，也即：
基本卷积层包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；级联结构用于在通道维度上对输入进行叠加操作；
下采样层为卷积参数步长为2的基本卷积层。
全局平均池化层用于对输入的每一个通道上的所有元素进行求和取平均操作，并将结果作为当前通道的值。全局平均池化层的输入和输出的通道数保持一致。
如图6所示，温度检测过程如下：
基于人脸位置信息，先在红外图像中找到对应的红外人脸区域；
然后将该区域划分为P×Q网格，对每个网格内的所有温度进行求和取平均，作为该网格的温度值，再遍历所有网格的温度值，取最高的温度值作为当前被检测人员的温度检测结果。为了获取较好的人脸识别效果，P、Q的数值比例尽可能接近目标区域的长宽比。本实施例是把区域分为8×8网格，具体可参加图7。
S4、把同一人脸位置上的人脸识别结果和温度检测结果相结合，以此得到每个被检测人员的人体综合信息。
基于采集的人体综合信息，在被检测人员温度异常时结合医院给出的健康判断依据，就可以完成被检测人员的健康监测，有利于判断是否需要采取相关预防措施，进一步的为流行疾病的预警提供有效的技术支撑。
可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合附图对本发明进行了示例性描述，显然本发明具体设计并不受上述方式的限制，主要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，包括如下步骤：
S1、通过检测设备获取被检测人员的RGB图像和红外图像；
S2、对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息；
S3、基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果；
对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果；
S4、把同一人脸位置上的人脸识别结果和温度检测结果相结合，以此得到每个被检测人员的人体综合信息。
2.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，所述步骤S1中采集的RGB图像为3通道彩色图，红外图像为单通道灰度图，并且RGB图像和红外图像具有相同的宽度和高度，两个图像中的具***置一一对应。
3.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S2中，通过第一卷积神经网络进行人脸检测，该第一卷积神经网络的输入为RGB图像，输出为当前图像中所有人脸的位置信息，每个人脸的位置信息表示为(x,y,w,h)，其中，(x,y)表示以RGB图像左上角点为原点时，在RGB图像中的人脸中心位置的坐标，w表示人脸区域的宽度，h表示人脸区域的高度。
4.根据权利要求3所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，第一卷积神经网络的基本结构有：基本卷积层、残差模块、下采样层、RFB-c模块、上采样层和级联结构；
该第一卷积神经网络包括主干网络、连接主干网络的3个检测分支网络，其中，主干网络为：依次连接的基本卷积层、下采样层、残差模块、下采样层、残差模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层和残差模块；
第一个检测分支网络从主干网络中的第一个RFB-c模块分出，第二个检测分支网络从第二个RFB-c模块分出，第三个检测分支网络从主干网络最后一层即残差模块分出，每个检测分支网络只包含基本卷积层，在每两个相邻的检测分支网络中，两个检测分支网络在经过第一个基本卷积层后，由较深的一个检测分支网络经过基本卷积层和上采样层，再通过级联结构结合到较浅的另一个检测分支网络。
5.根据权利要求4所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S2采用的第一卷积神经网络中，每个检测分支网络的最后一个基本卷积层仅包含一个卷积层，不包含批正则化层和ReLU激活函数；第一卷积神经网络中的其他基本卷积层均包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；
下采样层为卷积参数步长为2的基本卷积层；
上采样层采用的方法是最邻近插值法；
级联结构用于在通道维度上对输入进行叠加操作。
6.根据权利要求4所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S2采用的第一卷积神经网络中，RFB-c模块包含5个分支：
第一个分支包含依次连接的一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率为1的空洞卷积层；
第二个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第三个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；
第四个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层、一个卷积核为3×1的基本卷积层和一个卷积核大小为3×3、采样率为5的空洞卷积层；
第五个分支为直连结构；
第一个分支、第二个分支、第三个分支和第四个分支进行叠加并通过一个1×1卷积层，然后再通过级联结构和第五个分支相结合，最后再连接至一个ReLU激活函数，从而得到RFB-c模块的输出。
7.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S3中，通过第二卷积神经网络进行人脸识别，识别过程如下：
第二卷积神经网络对RGB图像里的当前人脸图像进行编码，输出N维的特征向量[p0,p1,…,pN]，即映射到一个欧式空间中；然后在人脸库中进行计算匹配：计算人脸库中人脸信息对应的特征向量与N维的特征向量[p0,p1,…,pN]之间的差X的二阶范数，并将其作为相似性度量，人脸库中与当前被检测人脸图像相似性度量值最小的人脸信息，就是当前人脸位置上的人脸识别结果；
其中，二阶范数||X||2的公式为：
Figure FDA0002578440410000031
其中，xi表示向量X中的第i个元素，n为向量X中的元素总个数。
8.根据权利要求7所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，第二卷积神经网络的基本结构包括：基本卷积层、残差模块、下采样层和全局平均池化层；
该第二卷积神经网络的主干网络为：依次连接的基本卷积层、下采样层、下采样层、残差模块、下采样层、2个级联的残差模块、下采样层、2个级联的残差模块、下采样层和全局平均池化层，由全局平均池化层输出RGB图像里的当前被检测人脸的人脸识别结果。
9.根据权利要求8所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S3采用的第二卷积神经网络中，基本卷积层包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；
残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；级联结构用于在通道维度上对输入进行叠加操作；
下采样层为卷积参数步长为2的基本卷积层；
全局平均池化层用于对输入的每一个通道上的所有元素进行求和取平均操作，并将结果作为当前通道的值，全局平均池化层的输入和输出的通道数保持一致。
10.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S3中的温度检测过程如下：
基于人脸位置信息，先在红外图像中找到对应的红外人脸区域；
然后将该区域划分为P×Q网格，对每个网格内的所有温度进行求和取平均，作为该网格的温度值，再遍历所有网格的温度值，取最高的温度值作为当前被检测人员的温度检测结果。
CN202010660673.5A 2020-07-10 2020-07-10 一种基于人脸识别和红外检测的人体综合信息获取方法 Active CN111967315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010660673.5A CN111967315B (zh) 2020-07-10 2020-07-10 一种基于人脸识别和红外检测的人体综合信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010660673.5A CN111967315B (zh) 2020-07-10 2020-07-10 一种基于人脸识别和红外检测的人体综合信息获取方法

Publications (2)

Publication Number Publication Date
CN111967315A true CN111967315A (zh) 2020-11-20
CN111967315B CN111967315B (zh) 2023-08-22

Family

ID=73361643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010660673.5A Active CN111967315B (zh) 2020-07-10 2020-07-10 一种基于人脸识别和红外检测的人体综合信息获取方法

Country Status (1)

Country Link
CN (1) CN111967315B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232309A (zh) * 2020-12-08 2021-01-15 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN109472247A (zh) * 2018-11-16 2019-03-15 西安电子科技大学 基于深度学习非配合式的人脸识别方法
CN110110650A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 行人中的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN109472247A (zh) * 2018-11-16 2019-03-15 西安电子科技大学 基于深度学习非配合式的人脸识别方法
CN110110650A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 行人中的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范雪;杨鸿波;李永;: "基于深度学习的人脸图像扭正算法", 信息通信, no. 07, pages 11 - 15 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232309A (zh) * 2020-12-08 2021-01-15 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN112232309B (zh) * 2020-12-08 2021-03-09 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111967315B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN102567979B (zh) 车载红外夜视***及其多源图像融合方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及***
CN111967315B (zh) 一种基于人脸识别和红外检测的人体综合信息获取方法
CN111985502A (zh) 具有尺度与旋转不变性的多模态影像特征匹配方法
CN111091536A (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
CN112070153A (zh) 基于深度学习的亲属关系验证方法和***
CN112258537A (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
CN112529908A (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
Chen et al. An intelligent vision recognition method based on deep learning for pointer meters
CN114926682A (zh) 一种基于局部离群因子的工业图像异常检测与定位方法及***
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
Wang et al. Scale value guided Lite-FCOS for pointer meter reading recognition
CN114022525A (zh) 基于深度学习的点云配准方法、装置、终端设备及介质
CN112036250B (zh) 基于邻域协同注意力的行人重识别方法、***、介质及终端
CN117333440A (zh) 输配电线路缺陷检测方法、装置、设备、介质和程序产品
Peng et al. Automatic recognition of pointer meter reading based on Yolov4 and improved U-net algorithm
CN115830156B (zh) 精准电阻抗层析成像方法、装置、***、介质及设备
WO2011138882A1 (ja) テンプレートマッチング処理装置およびテンプレートマッチング処理プログラム
Monroy et al. Automated chronic wounds medical assessment and tracking framework based on deep learning
CN115170456A (zh) 检测方法及相关设备
CN107133961B (zh) 一种检测处理视频图像中圆形区域的方法
CN114544052B (zh) 触觉传感器、机器人、实现触觉信息获取的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant