CN106650623A - 一种基于人脸检测的出入境人证核实的方法 - Google Patents

一种基于人脸检测的出入境人证核实的方法 Download PDF

Info

Publication number
CN106650623A
CN106650623A CN201611018932.4A CN201611018932A CN106650623A CN 106650623 A CN106650623 A CN 106650623A CN 201611018932 A CN201611018932 A CN 201611018932A CN 106650623 A CN106650623 A CN 106650623A
Authority
CN
China
Prior art keywords
face
certificate
image
detection
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611018932.4A
Other languages
English (en)
Inventor
张志华
张祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201611018932.4A priority Critical patent/CN106650623A/zh
Publication of CN106650623A publication Critical patent/CN106650623A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

火车站进站和出入境人员的身份证和通行证的核实工作主要依靠人工来完成。检查员通过证件检测设备连接电脑验证证件真伪，通过人眼来比较受检对象的实际外貌与证件照片是否为同一人。由于是人为比对，往往检测工作变得效率低下，发生遗漏。本发明的人脸检测方法可克服以往人证核实完全由人工操作的缺陷；其次是提高人证核实的准确率及效率；最后是降低人工操作下产生的遗漏程度，缓解工作人员的压力。本发明公开了一种基于人脸检测的出入境人证核实的方法，包括一套摄像机图像传输子***、证件检测子***、人脸识别子***和人脸比对子***。

Description

一种基于人脸检测的出入境人证核实的方法
技术领域
本发明涉及一种人脸检测方法，特别涉及一种基于人脸检测的实时智能人证核实方法。
背景技术
在机场、海关、边境对证件的例行检查，是公安机关缉捕罪犯、防止犯罪、进行资格审核的重要手段。公安部门通过身份证信息，可能获得负案在逃人员、犯罪嫌疑人的去向，从而达到抓获罪犯、侦破案件的目的。所以如何利用证件检测设备，使身份信息完整高效输入***，核实证件与受检对象是出入境业务***中首要解决的问题。
而现在，火车站进站和出入境人员的身份证和通行证的核实工作主要依靠人工来完成。检查员通过证件检测设备连接电脑验证证件真伪，通过人眼来比较受检对象的实际外貌与证件照片是否为同一人。由于是人为比对，往往检测工作变得效率低下，发生遗漏。
另外人脸检测及人脸比对技术相对以往日益发展成熟，一直未在人证核实方面运用。所以，本发明提供了基于人脸检测的实时智能人证核实方法。
发明内容
本发明的人脸检测方法可克服以往人证核实完全由人工操作的缺陷；其次是提高人证核实的准确率及效率；最后是降低人工操作下产生的遗漏程度，缓解工作人员的压力。本发明公开了一种基于人脸检测的人证核实的方法，包括一套摄像机图像传输子***、证件检测子***、人脸识别子***和人脸比对子***。
为提高对出入境等安检场所人证核实的可靠性，本发明提出一种智能的实时人证核实方法。通过证件检测设备获取证件所有人的照片，同时通过摄像机将受检对象的视频传到PC端，对视频帧进行实时进行人脸检测处理获取当前检测者的人脸照片，运用人脸比对技术将人脸照片与证件照片进行比对，获取相似度，从而判断是否是同一人。如此，可更为准确的排除人证不一致的现象，为工作人员预警。其中人脸识别与人脸比对技术是采用OpenCV机器视觉库提供的SDK进行二次开发。
基于人脸检测的人证核实***由前端的受检对象检测子***与证件检测子***和后台的人证比对核实子***等两个部分组成。前端受检对象检测子***完成受检对象的实时图像的获取，证件检测子***完成证件照片图像的获取，后台处理***主要完成两图像的显示处理及比对核实，得到相似度。前端摄像机与证件检测设备直接连接后台PC。
如图1所示的流程图，连接证件检测设备(如身份证阅读机等市面上证件读取机器)到工作PC，当设备感应到证件时，证件信息被读取到PC端，可通过公安***验证信息真伪；若无法读取，则证件可能属伪证。证件读取的同时，证件照图片1会自动存储到PC本地。
通过自带SDK的高清摄像头实时采集检测现场的受检对象的人脸图像，利用OpenCV提供的函数获取视频帧图像，再调用人脸识别函数detectMultiScale()来识别图像中的人脸，确定受检对象的实时人脸照片并缓存到图片2。其中人脸识别函数利用核心HOG算法。
分别处理图片1、2，缩小对比范围，将图片上除人脸矩形区域以外的部分进行切割处理。此处利用到图像处理中灰度化、二值化、腐蚀、滤波、平滑处理等专业技术以及统计学中概念来计算像素值，从而区分人脸与其他区域，完成切割。
将处理后的两图片，统计人脸特征进行比对，获取相似度。
预警阈值需要通过不断的实验测试，不断进行调整，找到最精确的预警临界点。然后根据相似度与阈值的比较判断是否为工作人员预警。
附图说明
图1人脸检测流程图；
图2摄像机图像传输子***；
图3摄像机图像传输***流程图；
图4身份证信息读取界面；
图5证件检测***流程图；
图6人脸识别***流程图；
图7人脸检测窗口滑动示意图；
图8人脸比对***的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
摄像机图像传输子***，本设计采用含SDK的高清摄像头，如图2，通过SDK的二次开发，实现将摄像机获取的实时图像传输到PC端。由于图像的获取需要严谨的光照条件，所以需要提前调试好相机的曝光及聚焦。摄像机图像传输子***的流程图如图3所示。
证件检测子***，本设计采样支持身份证、通行证检测的证件检测设备，下面图4为身份证的信息读取界面。设备连接PC端，通过将证件放置于检测设备读卡区，读卡成功后，出现读取成功提示信息，并自动生成证件照片于PC本地硬盘目录下。PC端通过连接公安内部网络实时核实证件信息是否有误。证件检测子***流程图如图5所示。
人脸识别子***，人脸识别的图像处理技术日益成熟，检测算法也不少。本文使用Histogram Of Oriented Gradient目标检测算法(后文简称HOG算法)，该技术将图像局部出现的方向梯度次数进行计数，其计算基于一致空间的密度矩阵来获得较高的准确率，常用语静态图像和视频的人脸检测。图6为人脸识别***流程图：
该框架将二分分类器应用在图像的每一个固定的窗口上，以产生正(有人脸)或负(无人脸)的判断。
从高清相机SDK获取视频帧，通过OpenCV函数转换得到的实时视频图片。图片送入分类器前有一个特征提取的过程，由于检测的同时需要对检测结果在图像中进行人脸的范围标定和位置标定，因此送入分类器的特征需要的是不同尺度和位置上的特征。图像通过采样的方式进行尺度缩放，并采样大小固定的窗口在整个图像区域上进行滑动，对每个窗口的区域进行特征提取。特征提取的方法很多，如SIFT特征、Harr特征、HOG特征等，但并非所有特征都适合滑动窗口框架，这里采用HOG特征。
每个窗口提取出的特征被送到二分分类器进行分类。分类器在执行分类工作之前先会进行一个学习的过程，通过数据特征来训练其分类能力，然后被用到框架中进行检测，这里采用的是SVM算法，训练系数在OpenCV源码中已提供。
分类器在多个尺度上进行扫描，含有人脸的区域会产生多个重叠的检测判断，各个尺度和位置都不相同。综合各个区域的检测判断，分析概率情况判断人脸区域。若存在多个人脸区域，则取其中最大者为目标人脸。
HOG人脸检测分为训练过程和检测过程。训练过程主要是训练得到SVM的系数。在OpenCV源码中直接采用训练好了的SVM系数。
训练过程：需要两种样本图片，正样本与负样本，尺寸统一为128*64，即检测窗口的大小。正样本为包含人脸的图片，负样本为不包含人脸的图片。HOG特征长度为3780维，每一个特征对应一个正样本标签进行训练。在实际的训练过程中，可以去百度上收集有人脸的图片，或者收集包含人脸的任意图片(尺寸大于128*64)，然后对这些正样本进行标注，即对有行人的地方画个矩形，相当于标注2个顶点的坐标，并将坐标信息存储。
检测过程：检测时，对输入图片进行尺度缩放(一般是缩小),在每一层的图像上采用固定大小的滑动窗口(128*64)滑动，每个个滑动窗口都提取出hog特征，送入到SVM分类器中，看该窗口中是否有目标，有则存下目标区域来，无则继续滑动。(见图6)测过中用到函数detectMultiScale()，图7为人脸检测滑动示意图。
最后将区域最大的人脸确定为当前人证核实检测对象。并按区域坐标在视频帧图像上截取出此人脸，为下一步人脸比对作准备。
人脸比对子***：通过将证件检测***输出的证件照与人脸识别获取的受检对象人脸照片进行比对，获取两者的相似度并与阈值比较，从而为工作人员提供预警服务。本文人脸比对***采用动态局部特征分析技术(Dynamic Local Analysis)，识别人脸特征，首先进行人脸照片的预处理，目的是为了去除照片过高的噪声，将输入的人脸照片用边缘检测的方法转换成二值图，再提取人脸皮肤肌理，然后使用局部特征分析方法来处理脸部的边缘阴影和肤纹，从而识别人脸。通过两人脸照片的特征比对，从而获得相似度，判断是否预警。图8为人脸比对***的流程图。
动态边缘分析方法获得的脸形信息能减少不同光线环境的影响，而肤纹信息提供了标准化的人脸特征的细节。将脸形和肤纹两种信息组合再用局部特征分析(LFA)算法来比较、统计脸部的173个特征点，不论人脸是在何种光线环境下，我们的人脸识别算法都能得到一个很高识别率。
分别从证件检测子***、人脸识别子***获取到处理后的设备证件照图片与检测现场实时人脸图片。
对图像进行灰度处理得到灰度图像，人脸图像在灰度空间总是满足一定的分布，我们利用这一点来指导进行面部特征点的粗略定位，以此作为后续特征点精确定位的基础。
对图像用多阈值进行二值化处理，在得到的二值图像中，用区域标号算法对不同的“黑”连通区域进行标号化，用预置的面积阈值滤掉噪声造成的小的孤立连通区，从而确定人脸图像头发区域。然后对剩下的连通区域进行综合判断，确定出属于人眼的连通区域。
此时，对图像进行边缘处理，得到边缘图像，利用人眼虹膜区域的谷特征和研究区域的高频特征，得到坐标集合，从而获取虹膜中心点。
由于人脸图像可能存在的图像平面内的旋转，通过两个虹膜中心点的位置，用仿射变换对图像进行矫正。
统计其他人脸其他特征，如嘴部特征。进行综合比对，判断两图像的特征分布的匹配程度，通过函数转换从而得到两人脸相似度，与事先选取的合适阈值比较，判断是否预警。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于人脸检测的出入境人证核实的方法，其特征在于：证件检测设备获取证件所有人的照片，同时通过摄像机将受检对象的视频传到PC端，对视频帧进行实时进行人脸检测处理获取当前检测者的人脸照片，运用人脸比对技术将人脸照片与证件照片进行比对，获取相似度，从而判断是否是同一人。
2.根据权利要求1所述的出入境人证核实的方法，其特征在于：证件检测的具体步骤是：连接证件检测设备到工作PC，当设备感应到证件时，证件信息被读取到PC端，可通过公安***验证信息真伪；若无法读取，则证件可能属伪证，证件读取的同时，证件照图片1会自动存储到PC本地；通过自带SDK的高清摄像头实时采集检测现场的受检对象的人脸图像，利用OpenCV提供的函数获取视频帧图像，再调用人脸识别函数detectMultiScale()来识别图像中的人脸，确定受检对象的实时人脸照片并缓存到图片2，其中人脸识别函数利用核心HOG算法，分别处理图片1、2，缩小对比范围，将图片上除人脸矩形区域以外的部分进行切割处理，此处利用到图像处理中灰度化、二值化、腐蚀、滤波、平滑处理技术以及并计算像素值，从而区分人脸与其他区域，完成切割；将处理后的两图片，统计人脸特征进行比对，获取相似度；找到最精确的预警临界点，然后根据相似度与阈值的比较判断是否为工作人员预警。
3.根据权利要求2所述的出入境人证核实的方法，其特征在于：人脸识别的具体步骤是：从高清相机SDK获取视频帧，通过OpenCV函数转换得到的实时视频图片，图像通过采样的方式进行尺度缩放，并采样大小固定的窗口在整个图像区域上进行滑动，对每个窗口的区域进行HOG特征提取；每个窗口提取出的特征被送到二分分类器进行分类，分类器在多个尺度上进行扫描，含有人脸的区域会产生多个重叠的检测判断，各个尺度和位置都不相同，综合各个区域的检测判断，分析概率情况判断人脸区域；若存在多个人脸区域，则取其中最大者为目标人脸。
4.根据权利要求3所述的出入境人证核实的方法，其特征在于：人脸比对的具体步骤是：对图像进行灰度处理得到灰度图像，对图像用多阈值进行二值化处理，在得到的二值图像中，用区域标号算法对不同的“黑”连通区域进行标号化，用预置的面积阈值滤掉噪声造成的小的孤立连通区，从而确定人脸图像头发区域；然后对剩下的连通区域进行综合判断，确定出属于人眼的连通区域；此时，对图像进行边缘处理，得到边缘图像，利用人眼虹膜区域的谷特征和研究区域的高频特征，得到坐标集合，从而获取虹膜中心点；由于人脸图像可能存在的图像平面内的旋转，通过两个虹膜中心点的位置，用仿射变换对图像进行矫正；统计其他人脸其他特征；进行综合比对，判断两图像的特征分布的匹配程度，通过函数转换从而得到两人脸相似度，与事先选取的合适阈值比较，判断是否预警。
CN201611018932.4A 2016-11-18 2016-11-18 一种基于人脸检测的出入境人证核实的方法 Pending CN106650623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611018932.4A CN106650623A (zh) 2016-11-18 2016-11-18 一种基于人脸检测的出入境人证核实的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611018932.4A CN106650623A (zh) 2016-11-18 2016-11-18 一种基于人脸检测的出入境人证核实的方法

Publications (1)

Publication Number Publication Date
CN106650623A true CN106650623A (zh) 2017-05-10

Family

ID=58807398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611018932.4A Pending CN106650623A (zh) 2016-11-18 2016-11-18 一种基于人脸检测的出入境人证核实的方法

Country Status (1)

Country Link
CN (1) CN106650623A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742094A (zh) * 2017-09-22 2018-02-27 江苏航天大为科技股份有限公司 提高人证比对结果的图像处理方法
CN107944395A (zh) * 2017-11-27 2018-04-20 浙江大学 一种基于神经网络验证人证合一的方法及***
CN107992834A (zh) * 2017-12-11 2018-05-04 成都西华升腾科技有限公司 用于限制出境人员的报警装置
CN108875495A (zh) * 2017-10-17 2018-11-23 北京旷视科技有限公司 人证核验装置及人证核验方法
CN108875527A (zh) * 2018-01-05 2018-11-23 北京旷视科技有限公司 行人识别***、方法和监控***
CN109454862A (zh) * 2018-12-19 2019-03-12 上海中菁智能机械有限公司 一种采用视觉技术的同步对花在线检测与控制装置
CN109583254A (zh) * 2018-11-16 2019-04-05 北京中竞鸽体育文化发展有限公司 运动物体识别方法、装置及存储介质
CN112565352A (zh) * 2020-11-19 2021-03-26 中国人民解放军海军航空大学 一种军用车辆驾驶远程授权及监控***
CN113221606A (zh) * 2020-04-27 2021-08-06 南京南瑞信息通信科技有限公司 一种基于ims视频会议登录的人脸识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329568A1 (en) * 2008-07-02 2010-12-30 C-True Ltd. Networked Face Recognition System
CN102902959A (zh) * 2012-04-28 2013-01-30 王浩 基于二代身份证存储证件照的人脸识别方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329568A1 (en) * 2008-07-02 2010-12-30 C-True Ltd. Networked Face Recognition System
CN102902959A (zh) * 2012-04-28 2013-01-30 王浩 基于二代身份证存储证件照的人脸识别方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIUWONS: "使用OpenCV Android SDK从摄像头帧实时检测人脸", 《HTTPS://BLOG.CSDN.NET/TOBACCO5648/ARTICLE/DETAILS/51615632》 *
彭源等: "图像中基于滑动窗口的行人检测框架", 《上海电力学院学报》 *
焦峰等: "基于局部特征分析的人脸识别方法", 《计算机辅助设计与图形学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742094A (zh) * 2017-09-22 2018-02-27 江苏航天大为科技股份有限公司 提高人证比对结果的图像处理方法
CN108875495A (zh) * 2017-10-17 2018-11-23 北京旷视科技有限公司 人证核验装置及人证核验方法
CN108875495B (zh) * 2017-10-17 2024-03-01 北京旷视科技有限公司 人证核验装置及人证核验方法
CN107944395A (zh) * 2017-11-27 2018-04-20 浙江大学 一种基于神经网络验证人证合一的方法及***
CN107944395B (zh) * 2017-11-27 2020-08-18 浙江大学 一种基于神经网络验证人证合一的方法及***
CN107992834A (zh) * 2017-12-11 2018-05-04 成都西华升腾科技有限公司 用于限制出境人员的报警装置
CN108875527A (zh) * 2018-01-05 2018-11-23 北京旷视科技有限公司 行人识别***、方法和监控***
CN109583254A (zh) * 2018-11-16 2019-04-05 北京中竞鸽体育文化发展有限公司 运动物体识别方法、装置及存储介质
CN109454862A (zh) * 2018-12-19 2019-03-12 上海中菁智能机械有限公司 一种采用视觉技术的同步对花在线检测与控制装置
CN113221606A (zh) * 2020-04-27 2021-08-06 南京南瑞信息通信科技有限公司 一种基于ims视频会议登录的人脸识别方法
CN113221606B (zh) * 2020-04-27 2022-08-23 南京南瑞信息通信科技有限公司 一种基于ims视频会议登录的人脸识别方法
CN112565352A (zh) * 2020-11-19 2021-03-26 中国人民解放军海军航空大学 一种军用车辆驾驶远程授权及监控***

Similar Documents

Publication Publication Date Title
CN106650623A (zh) 一种基于人脸检测的出入境人证核实的方法
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及***
US7715596B2 (en) Method for controlling photographs of people
CN102945366B (zh) 一种人脸识别的方法及装置
CN103914686B (zh) 一种基于证件照与采集照的人脸比对认证方法及***
CN104036278B (zh) 人脸算法标准脸部图像的提取方法
CN110008909B (zh) 一种基于ai的实名制业务实时稽核***
CN106250936A (zh) 基于机器学习的多特征多线程安检违禁品自动识别方法
CN101556717A (zh) 一种atm智能安保***及监测方法
CN108734235A (zh) 一种用于电子处方的身份识别方法及***
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
He et al. A new segmentation approach for iris recognition based on hand-held capture device
Monwar et al. Pain recognition using artificial neural network
CN110222647A (zh) 一种基于卷积神经网络的人脸活体检测方法
CN109448193A (zh) 身份信息识别方法及装置
CN110866442B (zh) 基于实时人脸识别的人证合一查验***和方法
CN112001318A (zh) 一种身份证件信息采集方法及其***
CN107657201A (zh) Next系列产品图像特征识别***及其识别方法
CN105809154A (zh) 人脸识别方法及装置
CN105893994A (zh) 一种人脸识别***
Weda et al. Automatic children detection in digital images
CN113449560A (zh) 一种基于动态人像库进行人脸比对的技术
Viriri et al. Improving iris-based personal identification using maximum rectangular region detection
CN116386121B (zh) 一种基于电网安全生产的人员识别方法和装置
Tedjojuwono Fast Performance Indonesian Automated License Plate Recognition Algorithm Using Interconnected Image Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510