CN113362221A - 用于门禁的人脸识别***与人脸识别方法 - Google Patents

用于门禁的人脸识别***与人脸识别方法 Download PDF

Info

Publication number
CN113362221A
CN113362221A CN202110772015.XA CN202110772015A CN113362221A CN 113362221 A CN113362221 A CN 113362221A CN 202110772015 A CN202110772015 A CN 202110772015A CN 113362221 A CN113362221 A CN 113362221A
Authority
CN
China
Prior art keywords
face
image
illumination
face image
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110772015.XA
Other languages
English (en)
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhenshi Intelligent Technology Co Ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202110772015.XA priority Critical patent/CN113362221A/zh
Publication of CN113362221A publication Critical patent/CN113362221A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于门禁的人脸识别***与人脸识别方法，其过程包括：至少一个位于前端的人脸图像采集终端以及位于云端的服务器，人脸图像采集终端设置有用于采集人脸图像的摄像装置以及用于人脸识别的第一模型，服务器内部署有用于人脸识别的第二模型。人脸图像采集终端设有人脸光照质量判断模块，对采集的人脸图像的光照质量进行快速判断。人脸图像采集终端将采集到的人脸图像进行光照质量判断，如果人脸光照质量Q小于预设的质量阈值Qm，则发送至服务器，利用部署在服务器内的第二模型进行人脸识别并反馈识别结果；如果人脸光照质量Q大于等于预设的质量阈值Qm，则在人脸图像采集终端本地利用第一模型进行人脸识别，输出识别结果。

Description

用于门禁的人脸识别***与人脸识别方法
本申请是申请人于2021年4月29日申请的，申请号为2021104697344、名称为人脸光照质量评估方法、***、服务器与计算机可读介质的发明专利申请的分案申请
技术领域
本发明涉及计算机视觉技术领域，尤其是图形质量问题，具体而言涉及一种用于门禁的人脸识别***与人脸识别方法。
背景技术
人脸图像的质量在很大程度上影响了人脸识别模型的训练以及实时人脸识别的准确性，人脸图像的质量通常体现在人脸光照质量上，表征人脸位置的光照质量优劣。现有的人脸光照质量评估算法首先检测人脸位置，根据矩形检测框截取人脸区域，来计算光照质量，采用这样的方式进行评估的过程中，所截取的矩形人脸区域中会包含头发背景等干扰信息，这些干扰信息的颜色和亮度与脸部差别较大，在计算脸部光照亮度时会产生比较大的干扰。
同时，在计算光照均匀度时，会比较图像左右部分的差异，在侧脸的情况下，人脸左右部分在图像中的占比差别较大，使得光照均匀度计算不准确。
发明内容
本发明目的在于提供一种基于局部仿射变换的人脸光照质量评估方法与***，根据人脸关键点裁剪出面部区域，利用局部仿射变换将不同姿态的人脸矫正到标准形态，从而更加准确地计算人脸光照的亮度和均匀度以及综合光照质量。
根据本发明的第一方面提出一种基于局部仿射变换的人脸光照质量评估方法，包括：
获取输入的原始图像；
检测所述原始图像中的人脸关键点；
根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像；
将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点；
基于第一人脸图像，去除背景，获得第二人脸图像；
基于第二人脸图像，计算人脸光照亮度；
根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；
基于第三人脸图像，计算人脸全局光照均匀度；以及
基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果。
优选地，所述根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像，包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到L*L像素大小并灰度化，获得第一人脸图像。
优选地，所述基于第一人脸图像，去除背景，获得第二人脸图像，包括：
获取修正的人脸关键点的凸包M，即为人脸区域的掩模，其中M为L*L像素大小的二值图像，人脸区域的像素值为1，其他区域的像素值为0；以及
根据所述人脸区域的掩模以及人脸关键点的修正，得到具有人脸区域的第二人脸图像。
优选地，所述基于第二人脸图像，计算人脸光照亮度，包括：
采用人脸区域的平均像素值并归一化来表示平均光照亮度，获得排除非人脸区域的人脸光照亮度。
优选地，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
优选地，所述将第一人脸图像仿射变换到标准姿态，得到第三人脸图像，包括：
对第一人脸图像的修正的人脸关键点采用三角剖分算法进行三角剖分，划分为K个三角形子区域；
依次将第一人脸图像的修正的人脸关键点的子区域仿射变换为正脸图像的修正后的人脸关键点的子区域的形状，得到仿射变换后的子区域图像；以及
将仿射变换后的子区域图像按照正脸图像的修正后的人脸关键点的子区域的三个顶点坐标重新拼接，获得第三人脸图像。
优选地，所述基于第三人脸图像，计算人脸全局光照均匀度，包括：
将第三人脸图像平均分成左右两部分，即左脸部分和右边部分，每个部分各包含半张脸；
左脸部分记作第一图像，右脸部分水平翻转记作第二图像；
采用滑动窗口从第一图像和第二图像左上角到右下角逐像素移动；
以每次滑动窗口区域内的平均像素值为基础，计算滑动窗口的局部光照均匀度；以及
采用加权求和的方式计算人脸全局光照均匀度。
优选地，所述基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果，包括：
将人脸全局光照均匀度以及人脸光照亮度相结合，采用乘积的方式，得到人脸的光照质量评估结果。
根据本发明的第二方面还提出一种计算机***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述基于局部仿射变换的人脸光照质量评估方法的流程。
根据本发明的第三方面还提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述基于局部仿射变换的人脸光照质量评估方法的流程。
根据本发明的第四方面还提出一种基于局部仿射变换的人脸光照质量评估装置，包括：
用于获取输入的原始图像的模块；
用于检测所述原始图像中的人脸关键点的模块；
用于根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像的模块；
用于将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点的模块；
用于基于第一人脸图像，去除背景，获得第二人脸图像的模块；
用于基于第二人脸图像，计算人脸光照亮度的模块；
用于根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像的模块；
用于基于第三人脸图像，计算人脸全局光照均匀度的模块；以及
用于基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果的模块。
根据本发明的第五方面一种服务器，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的基于局部仿射变换的人脸光照质量评估方法的流程。
本发明的基于局部仿射变换的人脸光照质量评估方法，通过面部区域裁剪、仿射变换的方法，有效地排除了非面部区域干扰，平衡了左右脸的占比，提升人脸图像光照质量评估的准确性，能够准确反应图像的真实亮度情况。
结合以上本发明的方案，使用人脸关键点的凸包截取人脸区域计算光照亮度值，排除了背景干扰；同时使用仿射变换将人脸校正到标准姿态，克服了侧脸情况下光照均匀度评估不准确的问题，从而更加准确地计算人脸光照的亮度和均匀度以及综合光照质量。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
附图说明
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图并不一定都是按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。
现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是根据本发明第一实施例的基于局部仿射变换的人脸光照质量评估方法的流程示意图。
图2是根据本发明第一实施例的示例性实施例的测试原图。
图3是根据本发明第一实施例的使用人脸关键点裁剪得到的第一人脸图像的示例。
图4是根据本发明第一实施例的去除背景后得到的第二人脸图像的示例。
图5是根据本发明第一实施例的将人脸校正到标准姿态得到的第三人脸图像的示例。
图6是根据本发明第一实施例的人脸识别***的示意图。
图7是根据本发明第一实施例的人脸识别***的人脸特征预登记入库流程示意图。
图8是根据本发明第一实施例的人脸识别***的的人脸识别处理流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1所示的本发明第一实施例的基于局部仿射变换的人脸光照质量评估方法，其实现包括：
S101：获取输入的原始图像；
S102：检测所述原始图像中的人脸关键点；
S103：根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像；
S104：将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点；
S105：基于第一人脸图像，去除背景，获得第二人脸图像；
S106：基于第二人脸图像，计算人脸光照亮度；
S107：根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像；
S108：基于第三人脸图像，计算人脸全局光照均匀度；以及
S109：基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果。
如此，在根据人脸检测的结果评估人脸的光照质量时，通过人脸位置的光照强度与光照均匀度综合评估人脸的光照质量，在排除背景干扰的同时，还可以克服侧脸情况下光照均匀度评估不准确的问题。
优选地，所述根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像，包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到L*L像素大小并灰度化，获得第一人脸图像。
优选地，所述基于第一人脸图像，去除背景，获得第二人脸图像，包括：
获取修正的人脸关键点的凸包M，即为人脸区域的掩模，其中M为L*L像素大小的二值图像，人脸区域的像素值为1，其他区域的像素值为0；以及
根据所述人脸区域的掩模以及人脸关键点的修正，得到具有人脸区域的第二人脸图像。
优选地，所述基于第二人脸图像，计算人脸光照亮度，包括：
采用人脸区域的平均像素值并归一化来表示平均光照亮度，获得排除非人脸区域的人脸光照亮度。
优选地，所述基于左右对称的标准正脸的标准正脸剖分处理，包括：
采用左右对称的标准的正脸图像，检测所述正脸图像中的人脸关键点，并据此裁剪出正脸图像的人脸图像；
将所述正脸图像中的人脸关键点修正到正脸图像的人脸图像中，获得修正后的人脸关键点；
采用三角剖分算法将修正后的人脸关键点划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合。
优选地，所述将第一人脸图像仿射变换到标准姿态，得到第三人脸图像，包括：
对第一人脸图像的修正的人脸关键点采用三角剖分算法进行三角剖分，划分为K个三角形子区域；
依次将第一人脸图像的修正的人脸关键点的子区域仿射变换为正脸图像的修正后的人脸关键点的子区域的形状，得到仿射变换后的子区域图像；以及
将仿射变换后的子区域图像按照正脸图像的修正后的人脸关键点的子区域的三个顶点坐标重新拼接，获得第三人脸图像。
优选地，所述基于第三人脸图像，计算人脸全局光照均匀度，包括：
将第三人脸图像平均分成左右两部分，即左脸部分和右边部分，每个部分各包含半张脸；
左脸部分记作第一图像，右脸部分水平翻转记作第二图像；
采用滑动窗口从第一图像和第二图像左上角到右下角逐像素移动；
以每次滑动窗口区域内的平均像素值为基础，计算滑动窗口的局部光照均匀度；以及
采用加权求和的方式计算人脸全局光照均匀度。
优选地，所述基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果，包括：
将人脸全局光照均匀度以及人脸光照亮度相结合，采用乘积的方式，得到人脸的光照质量评估结果。
下面，我们将结合附图所示，更加具体地描述前述方法的示例性实现。
人脸关键点检测
对于从前端或者服务器获得的原始图像，或者从视频中通过帧提取的原始图像，作为输入，通过人脸关键点检测模型进行关键点检测输出。人脸关键点通常包含了人脸的脸部轮廓及五官的位置信息。
在本示例中，使用预先训练好的人脸关键点检测模型(如Dlib工具)检测输入图像Isrc的N个人脸关键点，表示为Psrc＝(psrc，0，psrc，1，…，psrc，N-1)；
其中，psrc，n＝(xsrc，n，ysrc，n)为第n个人脸关键点坐标，n＝0,1,…,N-1。
数据预处理
在数据预处理的步骤处理中，包括对原始图像的裁剪，获得第一人脸图像I，以及将原始图像对应的人脸关键点进行坐标修正，从而匹配到第一人脸图像I，并获得修正后的人脸关键点。
作为示例，对原始图像进行裁剪得到第一人脸图像I的过程包括：
根据原始图像中的人脸关键点的坐标确定人脸边界框；
对人脸边界框中的区域进行裁剪，缩放到大小并灰度化，获得第一人脸图像。
例如，根据人脸关键点的最高、最低、最左、最右点确定人脸边界框，边界框左上角坐标为(xleft，ytop)，右下角坐标为(xright，ybottom)，剪出人脸边界框中的区域，放缩至预设的L*L像素大小并灰度化，得到图像I。可选地，前述的像素大小可选为64*64。
再将人脸关键点进行坐标修正，从而匹配图像I。
修正后的关键点记为P，其中P＝(p0，p1，…，pN-1)。
其中，pn＝(xn，yn)为图像I的第n个人脸关键点的坐标。
作为可选的方式，前述坐标修正的方法包括：
Figure BDA0003153998220000071
由此，得到修正后的第n个人脸关键点的坐标。
根据人脸关键点计算人脸区域，去除背景
作为示例，使用opencv图像处理库中的convexHull方法，计算出关键点P的凸包M，即为人脸区域的掩模。M为L*L像素大小的二值图像，其中人脸区域像素值为1，其他区域像素值为0。
则，获得去除背景后的人脸图像
Figure BDA0003153998220000072
记为第二人脸图像；
Figure BDA0003153998220000073
计算人脸区域的光照亮度
作为示例，采用人脸区域的平均像素值并归一化来表示平均光照亮度，则排除非人脸区域的人脸光照亮度QL的计算方法为：
Figure BDA0003153998220000074
其中，
Figure BDA0003153998220000075
表示第二人脸图像
Figure BDA0003153998220000076
中第x行第y列的像素值，M(x，y)表示凸包M中第x行第y列的像素值。
构建标准正脸剖分
获取一张左右对称的标准的正脸图像，按照本发明前述实施例的人脸关键点检测、人脸图像裁剪以及坐标修正，可得到标准的正脸图像的人脸图像If以及修正后的人脸关键点坐标Pf，即：
对正脸图像进行人脸关键点检测，获得对应的人脸关键点坐标，在此基础上，对正脸图像按照人脸关键点坐标进行裁剪，得到前述的人脸图像If；
并且，将正脸图像的人脸关键点进行坐标修正，匹配到人脸图像If，获得修正后的人脸关键点坐标Pf。
然后，采用Bowyer-Watson三角剖分算法将所有修正后的人脸关键点坐标Pf划分为K个三角形子区域，划分后每个子区域的三个顶点组成一个集合Tf：
Tf＝[(af0，bf0，cf0)，(af1，bf1，cf1)，…，(af(K-1)，bf(K-1)，cf(K-1))]
其中，一组数据(afm，bfm，cfm)为标准的正脸图像的人脸图像If中第m个子区域tfm的三个顶点，m＝0，1，…，K-1。
根据关键点将人脸仿射变换到标准姿态
对人脸图像I的关键点P也采用Bowyer-Watson三角剖分算法，划分为K个三角形子区域，记为集合T：
T＝[(a0，b0，c0)，(a1，b1，c1)，…，(aK-1，bK-1，cK-1)]
其中，一组数据(am，bm，cm)表示人脸图像I的第m个子区域tm的三个顶点。
最后，采用opencv图像处理库的applyAffineTransform函数依次将子区域tm仿射变换为标准正脸子区域tfm的形状，得到变换后的子区域图像t′m；
将仿射变换后的各子区域图像t′m按照子区域tfm的三个顶点坐标重新拼接，组合得到新的人脸图像I′，记为第三人脸图像。
计算人脸全局光照均匀度
将仿射变换后的人脸图像I′，平均分成左右两部分，每个部分各包含半张脸。
左脸部分作为图像I′l，记作第一图像。
将右脸部分水平翻转，得到图像I′r，记作第二图像。
采用滑动窗口，例如8×8，从第一图像和第二图像左上角到右下角逐像素移动，来计算局部光照均匀度，共移动J次，将第j次滑动窗口的局部光照均匀度记为sj，j＝0,1,…,J-1。
则有：
Figure BDA0003153998220000091
其中，μl，j和μr，j分别为第一图像和第二图像在第j次滑动窗口区域I′l，j和I′r，j的平均像素值。
采用加权求和的方式计算人脸全局光照均匀度QS：
Figure BDA0003153998220000092
其中，wj表示权值，wj＝ρj+c，ρj为第j次滑动窗口区域I′l，j和I′r，j的相关系数。c是一个极小值，防止权重值为0。
Figure BDA0003153998220000093
其中，I′l，j(x，y)表示第一图像在第j次滑动窗口区域的第x行第y列的像素值；I′r，j(x，y)表示第二图像在第j次滑动窗口区域的第x行第y列的像素值。
综合计算光照质量
作为示例，综合考虑光照强度与均匀度，评估人脸光照质量。
可选地，采用乘积的方式，将亮度与均匀度相结合，计算得到人脸图像的光照质量Q：
Q＝QL·QS
其中，QS表示前述人脸全局光照均匀度，QL表示排除非人脸区域的人脸光照亮度。
人脸图像的光照质量测试
如图2、3、4、5所示，针对所采集的图2测试图中的人脸光照质量。
首先，裁剪出人脸区域，如图3所示。现有技术中的评估方法是直接基于图3计算光照质量。而本发明的前述实施例在图3的基础上，再截取出脸部区域(如图4)，排除背景干扰，计算人脸区域的亮度；再将人脸校正到标准姿态(如图5)，计算全局光照均匀度。实验结果如下表所示的光照质量评估对比实验结果，从实验结果可以看出，受背景干扰和侧脸影响，即使测试图像光照质量较好，现有方法的评估值也会较低，而本发明能够更加准确反应图像的真实亮度情况。
光照亮度 光照均匀度 光照质量
现有方法 0.56 0.81 0.45
本发明的方法 0.75 0.89 0.67
结合图1以及本发明上述第一实施例的实施过程，本发明还可以被配置成按照以下方式实施。
基于局部仿射变换的人脸光照质量评估装置
根据本发明公开的实施例，还提出一种基于局部仿射变换的人脸光照质量评估装置，包括：
用于获取输入的原始图像的模块；
用于检测所述原始图像中的人脸关键点的模块；
用于根据所述原始图像中的人脸关键点，裁剪得到第一人脸图像的模块；
用于将原始图像中的人脸关键点进行坐标修正，匹配到第一人脸图像，得到修正的人脸关键点的模块；
用于基于第一人脸图像，去除背景，获得第二人脸图像的模块；
用于基于第二人脸图像，计算人脸光照亮度的模块；
用于根据基于左右对称的标准正脸的标准正脸剖分处理以及修正的人脸关键点，将第一人脸图像仿射变换到标准姿态，得到第三人脸图像的模块；
用于基于第三人脸图像，计算人脸全局光照均匀度的模块；以及
用于基于人脸全局光照均匀度以及人脸光照亮度，获得人脸的光照质量评估结果的模块。
服务器
根据本发明公开的实施例，还提出一种服务器，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
计算机***
根据本发明公开的实施例，还提出一种计算机***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
存储软件的计算机可读介质
根据本发明公开的实施例，还提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述任意实施例的基于局部仿射变换的人脸光照质量评估方法的流程，尤其是图1所示方法的流程。
人脸识别***
根据本发明公开的前述人脸光照质量评估方法，可用于对人脸特征数据库的数据更新处理。
在人脸识别***中，以用于门禁的人脸识别***为例，如图6所示，包括至少一个位于前端的人脸图像采集终端100，以及位于云端的服务器200。服务器200可以采用单个服务器(例如单个刀片式服务器)或者多个服务器(例如多个刀片式服务器)构成的阵列或者组合实现。
人脸图像采集终端100，在一些实施例中，可以是具有数据接口的摄像装置，安装在门禁***的闸机的入口位置，其镜头朝向拍摄对象，采集人脸图像，通过数据接口传输至云端的服务器200进行人脸识别。优选的实施例中，摄像装置的数据接口为网络通信接口，可接入局域网，或者通过基站节点接入互联网进行图像的传输与通信。
在另外的实施例中，人脸图像采集终端100还可以是集成有摄像装置的智能识别终端，例如具有处理器、存储器、网络通信模块等集成的具有显示屏的终端，例如基于iOS或者Android操作***的识别PAD，安装在门禁***的闸机的入口位置，拍摄人脸图像，通过网络通信模块传输到云端的服务器进行人脸识别处理。
在另外的实施例中，如前述的智能终端，还可以在其存储器中部署人脸识别模型，作为本地端的人脸识别模块110在本地端实现离线的人脸识别处理，以应对特殊情况下的人脸识别处理，例如网络中断。
在前述的***中，服务器200中部署的人脸识别模型通常是具有高鲁棒性、高准确率的大模型，而在智能识别终端中部署的人脸识别模型通常是可实现快速识别的小模型，但准确性相对于大模型来说相对会降低。识别模型的具体应用，可以基于现有的人脸识别算法实现。
在可选的实施例中，在本实施例的人脸图像采集终端100，可设置一人脸光照质量判断模块120，被设置成用于执行图1所示实施例的过程以实现对所采集的人脸图像的光照质量的快速判断。
由此，在预先进行人脸识别数据库(即人脸底库)的特征采集时，如图7所示，对于每个拍摄对象的人脸图像，均进行光照质量的评估，使得满足质量阈值Qm要求的图像作为拍摄对象的入库图像，即满足Q≥Qm，并在此基础上进行人脸特征值得提取，并与拍摄对象的身份信息关联，作为其识别数据进行关联存储。
如图8所示，在闸机端进行人脸图像的采集时，如采用前述的集成摄像装置的智能识别终端进行图像采集，将采集到的图像输入上述人脸光照质量判断模块进行光照质量的快速判断，如果Q＜Qm，则发送至服务器200，利用部署在服务器内的大模型进行人脸识别，以减少光照质量对识别结果的影响，提高识别的准确性，服务器200向前端的智能识别终端反馈识别结果。如果Q≥Qm，则在智能识别终端的本地进行人脸识别输出识别结果，利用高质量的图像进行快速识别，一方面实现快速识别，另一方面可保证识别的准确性。
如图7所示，在Q≥Qm的前提下，针对识别结果对应的拍摄对象(人员)的身份信息，进一步判断人脸识别数据库中所存储的该对象的入库图像的光照质量，如果当前拍摄获得的人脸照片的光照质量Q实时大于入库图像的光照质量Q库，则置Q库＝Q实时，即以当前拍摄获得的人脸照片替换入库图像，实现人脸识别数据库的更新。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种用于门禁的人脸识别***，其特征在于，包括：至少一个位于前端的人脸图像采集终端，以及位于云端的服务器，所述人脸图像采集终端设置有用于采集人脸图像的摄像装置以及用于人脸识别的第一模型，所述服务器内部署有用于人脸识别的第二模型，其中：
所述人脸图像采集终端还设置有人脸光照质量判断模块，用于对采集的人脸图像的光照质量进行快速判断，基于人脸全局光照均匀度以及人脸光照亮度的乘积综合确定人脸的光照质量；所述人脸图像采集终端被设置成将采集到的人脸图像输入所述人脸光照质量判断模块进行光照质量的快速判断，如果人脸光照质量Q小于预设的质量阈值Qm，则发送至服务器，利用部署在服务器内的第二模型进行人脸识别，所述服务器向前端的人脸图像采集终端反馈识别结果；如果人脸光照质量Q大于等于预设的质量阈值Qm，则在人脸图像采集终端本地利用第一模型进行人脸识别，输出识别结果。
2.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，所述第一模型为可实现快速识别的小模型。
3.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，所述第二模型为具有高鲁棒性、高准确率的大模型。
4.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，人脸识别使用的人脸识别数据库为预先构建，对于每个拍摄对象的人脸图像，均基于人脸全局光照均匀度以及人脸光照亮度的乘积综合确定人脸的光照质量，使得满足质量阈值Qm要求的图像作为拍摄对象的入库图像，在入库图像基础上进行人脸特征值的提取，并与拍摄对象的身份信息关联，作为其识别数据进行关联存储。
5.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，所述人脸图像采集终端在人脸光照质量Q大于等于预设的质量阈值Qm的情况下，进一步判断人脸识别数据库中所存储的该对象的入库图像的光照质量，如果当前拍摄获得的人脸照片的光照质量Q实时大于入库图像的光照质量Q库，则置Q库＝Q实时，即以当前拍摄获得的人脸照片替换入库图像，实现人脸识别数据库的更新。
6.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，所述人脸图像采集终端为具有处理器、存储器、网络通信模块集成的具有显示屏的终端。
7.根据权利要求1所述的用于门禁的人脸识别***，其特征在于，所述人脸图像采集终端安装在门禁***的闸机的入口位置。
8.一种在部署有至少一个位于前端的人脸图像采集终端以及位于云端的服务器的人脸识别***中执行的人脸识别方法，其特征在于：
所述人脸图像采集终端设置有用于采集人脸图像的摄像装置以及用于人脸识别的第一模型；所述人脸图像采集终端还设置有人脸光照质量判断模块，用于对采集的人脸图像的光照质量进行快速判断，基于人脸全局光照均匀度以及人脸光照亮度的乘积综合确定人脸的光照质量；所述服务器内部署有用于人脸识别的第二模型；
其中，门禁闸机端进行人脸图像的采集时，所述人脸图像采集终端将采集到的人脸图像输入所述人脸光照质量判断模块进行光照质量的快速判断，如果人脸光照质量Q小于预设的质量阈值Qm，则发送至服务器，利用部署在服务器内的第二模型进行人脸识别，所述服务器向前端的人脸图像采集终端反馈识别结果；如果人脸光照质量Q大于等于预设的质量阈值Qm，则在人脸图像采集终端本地利用第一模型进行人脸识别，输出识别结果。
9.根据权利要求8所述的人脸识别方法，其特征在于：人脸识别使用的人脸识别数据库为预先构建，对于每个拍摄对象的人脸图像，均基于人脸全局光照均匀度以及人脸光照亮度的乘积综合确定人脸的光照质量，使得满足质量阈值Qm要求的图像作为拍摄对象的入库图像，在入库图像基础上进行人脸特征值的提取，并与拍摄对象的身份信息关联，作为其识别数据进行关联存储。
10.根据权利要求8所述的人脸识别方法，其特征在于：所述人脸图像采集终端在人脸光照质量Q大于等于预设的质量阈值Qm的情况下，进一步判断人脸识别数据库中所存储的该对象的入库图像的光照质量，如果当前拍摄获得的人脸照片的光照质量Q实时大于入库图像的光照质量Q库，则置Q库＝Q实时，即以当前拍摄获得的人脸照片替换入库图像，实现人脸识别数据库的更新。
CN202110772015.XA 2021-04-29 2021-04-29 用于门禁的人脸识别***与人脸识别方法 Withdrawn CN113362221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110772015.XA CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别***与人脸识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110772015.XA CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别***与人脸识别方法
CN202110469734.4A CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、***、服务器与计算机可读介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202110469734.4A Division CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、***、服务器与计算机可读介质

Publications (1)

Publication Number Publication Date
CN113362221A true CN113362221A (zh) 2021-09-07

Family

ID=76340616

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110469734.4A Active CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、***、服务器与计算机可读介质
CN202110772015.XA Withdrawn CN113362221A (zh) 2021-04-29 2021-04-29 用于门禁的人脸识别***与人脸识别方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110469734.4A Active CN112991159B (zh) 2021-04-29 2021-04-29 人脸光照质量评估方法、***、服务器与计算机可读介质

Country Status (1)

Country Link
CN (2) CN112991159B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627603A (zh) * 2022-03-16 2022-06-14 北京物资学院 一种仓库安全预警方法及***
CN115346333A (zh) * 2022-07-12 2022-11-15 北京声智科技有限公司 信息提示方法、装置、ar眼镜、云服务器及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558046B (zh) * 2016-10-31 2018-02-06 深圳市飘飘宝贝有限公司 一种证件照的质量检测方法及检测装置
JP7132041B2 (ja) * 2018-09-03 2022-09-06 株式会社日立製作所 色評価装置、および、色評価方法
CN111382618B (zh) * 2018-12-28 2021-02-05 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110826402B (zh) * 2019-09-27 2024-03-29 深圳市华付信息技术有限公司 一种基于多任务的人脸质量估计方法
CN111062272A (zh) * 2019-11-29 2020-04-24 南京甄视智能科技有限公司 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
CN110807448B (zh) * 2020-01-07 2020-04-14 南京甄视智能科技有限公司 人脸关键点数据增强方法
CN111860091A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 人脸图像评估方法和***、服务器和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627603A (zh) * 2022-03-16 2022-06-14 北京物资学院 一种仓库安全预警方法及***
CN115346333A (zh) * 2022-07-12 2022-11-15 北京声智科技有限公司 信息提示方法、装置、ar眼镜、云服务器及存储介质

Also Published As

Publication number Publication date
CN112991159B (zh) 2021-07-30
CN112991159A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
JP7094702B2 (ja) 画像処理装置及びその方法、プログラム
EP2676224B1 (en) Image quality assessment
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
CN105740780B (zh) 人脸活体检测的方法和装置
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
JP2004078912A (ja) デジタルカラー画像において顔を位置付けるための方法
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN112991159B (zh) 人脸光照质量评估方法、***、服务器与计算机可读介质
CN108154491B (zh) 一种图像反光消除方法
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
CN109190617B (zh) 一种图像的矩形检测方法、装置及存储介质
US11475707B2 (en) Method for extracting image of face detection and device thereof
WO2019010932A1 (zh) 一种利于模糊核估计的图像区域选择方法和***
WO2023093151A1 (zh) 图像筛选方法及装置、电子设备和存储介质
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及***
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110991256A (zh) 一种基于人脸特征进行年龄估计、和/或性别识别的***及方法
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN116342519A (zh) 一种基于机器学习的图像处理方法
JP7386630B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210907

WW01 Invention patent application withdrawn after publication