CN113449560A - 一种基于动态人像库进行人脸比对的技术 - Google Patents
一种基于动态人像库进行人脸比对的技术 Download PDFInfo
- Publication number
- CN113449560A CN113449560A CN202010222921.8A CN202010222921A CN113449560A CN 113449560 A CN113449560 A CN 113449560A CN 202010222921 A CN202010222921 A CN 202010222921A CN 113449560 A CN113449560 A CN 113449560A
- Authority
- CN
- China
- Prior art keywords
- face
- comparison
- personnel
- portrait
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于动态人像库进行人脸比对的技术，实施步骤如下：客户提供某个重点人员的身份证号，数据来源是重点人员告警信息表(zdry_gjxx_hb)和卡口人脸采集信息表(kk_rl_cjxx_hb)；人脸信息的获取采用人脸识别***，人脸识别的***包括图像获取、人脸识别比对和模型训练；根据身份证号查询重点人员预警库；通过动态建立人像库的方法来保障比对的准度；最终找出与重点人员多次同时间同地点出现的伴随人员，并将构成伴随关系的人员信息输出。本发明利用重点人员的告警信息，通过人像比对的方法，建立动态人像库，快速的找出与重点人员构成伴随关系的其他人员，从而解决公安机关通过重点人员查找与其具有密切伴随关系的其他人员困难的问题。
Description
技术领域
本发明涉及人像库动态建库技术，特别是涉及一种基于人像库比对、任务库比对两次比对的技术。
背景技术
海康的人脸识别***可以抓拍经过摄像头的人员，并且把抓拍到的人像进行个体切分、结构化处理并存储。如果重点人员信息库里的重点人员被抓拍后，会产生一条告警信息并存储到重点人员告警信息库中，由于海康的人脸识别***并不能对非重点人员库的人员进行报警，也没有非重点人员库人员的身份证等相关信息，所以就不能智能地分析出与重点人员具有伴随关系的其他人员。因此，本发明提供了一种基于动态人像库进行人脸比对的技术，以解决上述提出的问题。
发明内容
本发明的目的在于提供一种基于动态人像库进行人脸比对的技术，公安机关通过重点人员查找与其具有密切伴随关系的其他人员困难的问题，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于动态人像库进行人脸比对的技术，具体实施步骤如下：
(1)、客户提供某个重点人员的身份证号，收集数据，数据来源是重点人员告警信息表(zdry_gjxx_hb)和卡口人脸采集信息表(kk_rl_cjxx_hb)；
(2)、步骤(1)中人脸信息的获取采用人脸识别***，人脸识别的***包括图像获取、人脸识别比对和模型训练；
(3)、根据身份证号查询重点人员预警库，得到相关摄像头编号和抓拍时间参数，根据摄像头编号和抓拍时间构造参数去查询人脸采集信息库，将得到的人脸数据导入任务库，然后再建立一个人像库，在和人像库比对的同时扩充人像库以及将比对到的人像放入任务库相应的文件夹，人像库比对完毕再和任务库进行一次比对，最终产生的结果即为：任务库中有若干个目录，每个目录下面存放不同的人脸，同一个目录下面存放的属于同一个人的不同人脸，最终统计各个目录下的文件个数来确定伴随次数，对伴随次数进行排序处理，并把伴随次数大于2的人员输出界面；
(4)、通过动态建立人像库的方法来保障比对的准度，通过两次比对(即人像库比对和任务库比对)保证比对的精度；
(5)、最终找出与重点人员多次同时间同地点出现的伴随人员，并将构成伴随关系的人员信息输出。
作为本发明进一步的方案：所述重点人员告警信息表(zdry_gjxx_hb)有主键(rowkey)、告警时间(alarmTime)、摄像头编号(cameraCode)、摄像头名称(cameraName)、身份证号(sfzh)、姓名(name)、任务号(taskId)、小图(snapped)、大图(refrence)等信息。
作为本发明再进一步的方案：所述卡口人脸采集信息表有主键(rowkey)、摄像头编号(cameraCode)、摄像头名称(cameraName)、拍照时间(captureTime)、任务号(taskId)、人脸图(face)、背景图(bkg)。
作为本发明再进一步的方案：所述图像获取可通过摄像头、照片、视频录像的方式进行；
人脸识别比对放入具体方法为：首先进行人脸预处理，然后进行特征提取、特征比对，最后人脸识别结果输出，特征提取从图像获取中获得图片；
模型训练的具体步骤为：使用Gabor和LBP算法通过人脸大数据提取特征模型，且特征模型可进行深度学习，特征模型为人脸识别比对中特征提取和特征比提供模型。
作为本发明再进一步的方案：所述步骤(4)中第一次比对使用阈值为0.95，第二次与任务库比对过程中使用阈值0.9。
作为本发明再进一步的方案：所述步骤(5)中输出的信息包括抓拍时间、抓拍地点、人脸图、背景大图。
作为本发明再进一步的方案：所述的基于动态人像库进行人脸比对的技术，在使用过程中，会将日志信息存储至mysql中，整体架构后端通过python的flask框架完成，前端展示使用vue框架完成。
与现有技术相比，本发明的有益效果是：
1、本发明利用重点人员的告警信息，通过人像比对的方法，建立动态人像库，快速的找出与重点人员构成伴随关系的其他人员，从而解决公安机关通过重点人员查找与其具有密切伴随关系的其他人员困难的问题。
2、本发明使用了ArcFace离线SDK中的人脸特征提取和人脸特征比对，借助虹软的人脸识别API对重点人员随行人员进行人脸识别，识别得到的数据再进行算法分析，从而输出结果，结果精确可靠。
附图说明
图1为本发明的技术分析流程图。
图2为本发明中人脸识别***的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人脸识别主要分为人脸检测(facedetecTIon)、特征提取(featureextracTIon)和人脸识别(facerecogniTIon)三个过程。
人脸检测：人脸检测是指从输入图像中检测并提取人脸图像，通常采用Haar特征和Adaboost算法训练级联分类器对图像中的每一块进行分类。如果某一矩形区域通过了级联分类器，则被判别为人脸图像。
特征提取：特征提取是指通过一些数字来表征人脸信息，这些数字就是本发明要提取的特征。
常见的人脸特征分为两类，一类是几何特征，另一类是表征特征。几何特征是指眼睛、鼻子和嘴等面部特征之间的几何关系，如距离、面积和角度等。由于算法利用了一些直观的特征，计算量小。但其所需的特征点不能精确选择，限制了它的应用范围。另外，当光照变化、人脸有外物遮挡、面部表情变化时，特征变化较大。所以说，这类算法只适合于人脸图像的粗略识别，无法在实际中应用。
表征特征指利用人脸图像的灰度信息，通过一些算法提取全局或局部特征。其中比较常用的特征提取算法是LBP算法。LBP方法首先将图像分成若干区域，在每个区域的像素640x960邻域中用中心值作阈值化，将结果看成是二进制数。LBP算子的特点是对单调灰度变化保持不变。每个区域通过这样的运算得到一组直方图，然后将所有的直方图连起来组成一个大的直方图并进行直方图匹配计算进行分类。
人脸识别：这里提到的人脸识别是狭义的人脸识别，即将待识别人脸所提取的特征与数据库中人脸的特征进行对比，根据相似度判别分类。而人脸识别又可以分为两个大类：一类是确认，这是人脸图像与数据库中已存的该人图像比对的过程，回答是与不是的问题；另一类是辨认，这是人脸图像与数据库中已存的所有图像匹配的过程，回答你是谁的问题。显然，人脸辨认要比人脸确认困难，因为辨认需要进行海量数据的匹配。常用的分类器有最近邻分类器、支持向量机等。
虹软人脸识别API：ArcFace离线SDK，包含人脸检测、性别检测、年龄检测、人脸识别、RGB活体检测、IR活体检测等能力，初次使用时需联网激活，激活后即可在本地无网络环境下工作，可根据具体的业务需求结合人脸识别SDK灵活地进行应用层开发。
请参阅图1～2，本发明实施例中，一种基于动态人像库进行人脸比对的技术，具体实施步骤如下：
(1)、客户提供某个重点人员的身份证号，为找出与该重点人员构成伴随关系的其他人员，收集数据，数据来源是重点人员告警信息表(zdry_gjxx_hb)和卡口人脸采集信息表(kk_rl_cjxx_hb)；
其中，重点人员告警信息表(zdry_gjxx_hb)有主键(rowkey)、告警时间(alarmTime)、摄像头编号(cameraCode)、摄像头名称(cameraName)、身份证号(sfzh)、姓名(name)、任务号(taskId)、小图(snapped)、大图(refrence)等信息；
卡口人脸采集信息表有主键(rowkey)、摄像头编号(cameraCode)、摄像头名称(cameraName)、拍照时间(captureTime)、任务号(taskId)、人脸图(face)、背景图(bkg)。
(2)、步骤(1)中人脸信息的获取采用人脸识别***；
其中，人脸识别的***包括图像获取、人脸识别比对和模型训练，图像获取可通过摄像头、照片、视频录像等方式进行；
人脸识别比对放入具体方法为：首先进行人脸预处理，然后进行特征提取、特征比对，最后人脸识别结果输出，特征提取从图像获取中获得图片；
模型训练的具体步骤为：使用Gabor和LBP算法通过人脸大数据提取特征模型，且特征模型可进行深度学习，特征模型为人脸识别比对中特征提取和特征比提供模型。
(3)、根据身份证号查询重点人员预警库，得到相关摄像头编号和抓拍时间等参数，根据摄像头编号和抓拍时间构造参数去查询人脸采集信息库，将得到的人脸数据导入任务库，然后再建立一个人像库，在和人像库比对的同时扩充人像库以及将比对到的人像放入任务库相应的文件夹，人像库比对完毕再和任务库进行一次比对，进行细节调整，提高了比对的准度和精度，最终产生的结果即为：任务库中有若干个目录，每个目录下面存放不同的人脸，同一个目录下面存放的属于同一个人的不同人脸，最终统计各个目录下的文件个数来确定伴随次数，对伴随次数进行排序处理，并把伴随次数大于2的人员输出界面；
(4)、为解决人脸比对误判及遗漏的问题，通过动态建立人像库的方法来保障比对的准度，通过两次比对(即人像库比对和任务库比对)保证比对的精度，两次比对所使用的阈值不同，第一次为了提高精度，使用阈值为0.95，这样可以确保每次匹配到的均为同一个人，用来避免误判现象，第二次与任务库比对过程中使用阈值0.9，用来避免遗漏现象(即同一个人被识别为两个人)，如若再次比对，可降低阈值为0.85等，建人像库的意义在于在不失识别精度的前提下扩大人像库样本，使得后期识别可以更加准确；
(5)、最终找出与重点人员多次同时间同地点出现的伴随人员，并将构成伴随关系的人员信息输出，输出的信息包括抓拍时间、抓拍地点、人脸图、背景大图等等。
另外，本发明的基于动态人像库进行人脸比对的技术在使用过程中，会将日志信息存储至mysql中，整体架构后端通过python的flask框架完成，前端展示使用vue框架完成，展现的页面内容分为如下：
页面1：展示最近半年来的报警记录情况，统计按重点人报警次数降序排列，数据可经查询hbase库(zdry_gjxx_hb)得到并渲染至页面。
页面2：民警可点击选取重点人员及输入相应参数对重点人员伴随进行查询，输入完成点击后交由后台计算。
页面3：展示所有相关实验的结果，即实验序号-任务名-任务运行时间-重点人员证件号码-重点人员姓名-抓拍告警记录数-比对结果等等，抓拍告警记录数和比对结果可点击进入页面4和页面5，页面3的数据来源于查询任务运行时创建的mysql日志表。
页面4：详细介绍抓拍的告警记录的情况，展示了抓拍的重点人员相片和公安部门提供的重点人员相片，以及抓拍时间地点及摄像头编号，这部分数据也主要来源于查询hbase库(zdry_gjxx_hb)得到渲染至页面。
页面5：展示伴随情况，对每一个伴随现象进行详细描述，展示伴随人照片，背景大图，伴随时间，地点等相关信息。这部分数据同样来源于对hbase库的卡口人脸采集信息表(kk_rl_cjxx_hb)查询得到数据并渲染至页面。
页面6：除此之外，还提供了人像库的功能，人像库即为进行每次实验的所有人脸数据的汇总，后续可以进行相关查询，这部分数据放在服务器上新建的一个人像库目录中。
本发明用python语言进行编写，结合Hadoop集群的Phoenix、hbase和spark等组件，通过输入重点人员的身份证号，快速找到与重点人员伴随的其他人员，借助虹软的人脸识别API对重点人员出入地点的伴随人进行人脸识别，通过算法比对分析，找出与重点人员多次同时间同地点出现的伴随人员，并将构成伴随关系的人员信息输出。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于动态人像库进行人脸比对的技术，其特征在于，具体实施步骤如下：
(1)、客户提供某个重点人员的身份证号，收集数据，数据来源是重点人员告警信息表(zdry_gjxx_hb)和卡口人脸采集信息表(kk_rl_cjxx_hb)；
(2)、步骤(1)中人脸信息的获取采用人脸识别***，人脸识别的***包括图像获取、人脸识别比对和模型训练；
(3)、根据身份证号查询重点人员预警库，得到相关摄像头编号和抓拍时间参数，根据摄像头编号和抓拍时间构造参数去查询人脸采集信息库，将得到的人脸数据导入任务库，然后再建立一个人像库，在和人像库比对的同时扩充人像库以及将比对到的人像放入任务库相应的文件夹，人像库比对完毕再和任务库进行一次比对，最终产生的结果即为：任务库中有若干个目录，每个目录下面存放不同的人脸，同一个目录下面存放的属于同一个人的不同人脸，最终统计各个目录下的文件个数来确定伴随次数，对伴随次数进行排序处理，并把伴随次数大于2的人员输出界面；
(4)、通过动态建立人像库的方法来保障比对的准度，通过两次比对(即人像库比对和任务库比对)保证比对的精度；
(5)、最终找出与重点人员多次同时间同地点出现的伴随人员，并将构成伴随关系的人员信息输出。
2.根据权利要求1所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述重点人员告警信息表(zdry_gjxx_hb)有主键(rowkey)、告警时间(alarmTime)、摄像头编号(cameraCode)、摄像头名称(cameraName)、身份证号(sfzh)、姓名(name)、任务号(taskId)、小图(snapped)、大图(refrence)信息。
3.根据权利要求1所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述卡口人脸采集信息表有主键(rowkey)、摄像头编号(cameraCode)、摄像头名称(cameraName)、拍照时间(captureTime)、任务号(taskId)、人脸图(face)、背景图(bkg)。
4.根据权利要求1所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述图像获取可通过摄像头、照片、视频录像的方式进行；
人脸识别比对放入具体方法为：首先进行人脸预处理，然后进行特征提取、特征比对，最后人脸识别结果输出，特征提取从图像获取中获得图片；
模型训练的具体步骤为：使用Gabor和LBP算法通过人脸大数据提取特征模型，且特征模型可进行深度学习，特征模型为人脸识别比对中特征提取和特征比提供模型。
5.根据权利要求1所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述步骤(4)中第一次比对使用阈值为0.95，第二次与任务库比对过程中使用阈值0.9。
6.根据权利要求1所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述步骤(5)中输出的信息包括抓拍时间、抓拍地点、人脸图、背景大图。
7.根据权利要求1-6中任一项所述的一种基于动态人像库进行人脸比对的技术，其特征在于，所述的基于动态人像库进行人脸比对的技术在使用过程中会将日志信息存储至mysql中，整体架构后端通过python的flask框架完成，前端展示使用vue框架完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222921.8A CN113449560A (zh) | 2020-03-26 | 2020-03-26 | 一种基于动态人像库进行人脸比对的技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222921.8A CN113449560A (zh) | 2020-03-26 | 2020-03-26 | 一种基于动态人像库进行人脸比对的技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449560A true CN113449560A (zh) | 2021-09-28 |
Family
ID=77807058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010222921.8A Pending CN113449560A (zh) | 2020-03-26 | 2020-03-26 | 一种基于动态人像库进行人脸比对的技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449560A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558056A (zh) * | 2024-01-11 | 2024-02-13 | 东云睿连(武汉)计算技术有限公司 | 一种基于人脸图像的伴随关系识别方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110092848A (ko) * | 2010-02-10 | 2011-08-18 | 주식회사 레드코어 | 얼굴 인증 및 등록방법 |
| CN102622604A (zh) * | 2012-02-14 | 2012-08-01 | 西安电子科技大学 | 一种基于可变形部件加权的多角度人脸检测方法 |
| WO2018116488A1 (ja) * | 2016-12-22 | 2018-06-28 | 日本電気株式会社 | 解析サーバ、監視システム、監視方法及びプログラム |
| CN108229335A (zh) * | 2017-12-12 | 2018-06-29 | 深圳市商汤科技有限公司 | 关联人脸识别方法和装置、电子设备、存储介质、程序 |
| CN109117714A (zh) * | 2018-06-27 | 2019-01-01 | 北京旷视科技有限公司 | 一种同行人员识别方法、装置、***及计算机存储介质 |
| CN109461106A (zh) * | 2018-10-11 | 2019-03-12 | 浙江公共安全技术研究院有限公司 | 一种多维信息感知处理方法 |
| CN109961046A (zh) * | 2019-03-26 | 2019-07-02 | 武汉大学 | 基于关键帧回溯构建动态样本集的视频流人脸识别方法 |
| CN110580300A (zh) * | 2018-05-21 | 2019-12-17 | 若尔玛余胜 | 基于人脸识别***案发地点可疑目标自动查询方法 |
| CN110909651A (zh) * | 2019-11-15 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 视频主体人物的识别方法、装置、设备及可读存储介质 |
-
2020
- 2020-03-26 CN CN202010222921.8A patent/CN113449560A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110092848A (ko) * | 2010-02-10 | 2011-08-18 | 주식회사 레드코어 | 얼굴 인증 및 등록방법 |
| CN102622604A (zh) * | 2012-02-14 | 2012-08-01 | 西安电子科技大学 | 一种基于可变形部件加权的多角度人脸检测方法 |
| WO2018116488A1 (ja) * | 2016-12-22 | 2018-06-28 | 日本電気株式会社 | 解析サーバ、監視システム、監視方法及びプログラム |
| CN108229335A (zh) * | 2017-12-12 | 2018-06-29 | 深圳市商汤科技有限公司 | 关联人脸识别方法和装置、电子设备、存储介质、程序 |
| CN110580300A (zh) * | 2018-05-21 | 2019-12-17 | 若尔玛余胜 | 基于人脸识别***案发地点可疑目标自动查询方法 |
| CN109117714A (zh) * | 2018-06-27 | 2019-01-01 | 北京旷视科技有限公司 | 一种同行人员识别方法、装置、***及计算机存储介质 |
| CN109461106A (zh) * | 2018-10-11 | 2019-03-12 | 浙江公共安全技术研究院有限公司 | 一种多维信息感知处理方法 |
| CN109961046A (zh) * | 2019-03-26 | 2019-07-02 | 武汉大学 | 基于关键帧回溯构建动态样本集的视频流人脸识别方法 |
| CN110909651A (zh) * | 2019-11-15 | 2020-03-24 | 腾讯科技（深圳）有限公司 | 视频主体人物的识别方法、装置、设备及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558056A (zh) * | 2024-01-11 | 2024-02-13 | 东云睿连(武汉)计算技术有限公司 | 一种基于人脸图像的伴随关系识别方法及*** |
| CN117558056B (zh) * | 2024-01-11 | 2024-04-02 | 东云睿连(武汉)计算技术有限公司 | 一种基于人脸图像的伴随关系识别方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Face detection and recognition system using digital image processing | |
| US11017215B2 (en) | Two-stage person searching method combining face and appearance features | |
| US8934679B2 (en) | Apparatus for real-time face recognition | |
| Dagnes et al. | Occlusion detection and restoration techniques for 3D face recognition: a literature review | |
| Mady et al. | Face recognition and detection using Random forest and combination of LBP and HOG features | |
| US20160307057A1 (en) | Fully Automatic Tattoo Image Processing And Retrieval | |
| Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
| WO2019083509A1 (en) | PEOPLE SEGMENTATIONS FOR BACKGROUND REPLACEMENTS | |
| Monwar et al. | Pain recognition using artificial neural network | |
| Khetani et al. | A Study on Different Sign Language Recognition Techniques | |
| Saeed | A framework for recognition of facial expression using HOG features | |
| Ali et al. | A robust and efficient system to detect human faces based on facial features | |
| CN109345427B (zh) | 一种结合人脸识别和行人识别技术的教室视频点到方法 | |
| CN113449560A (zh) | 一种基于动态人像库进行人脸比对的技术 | |
| Mangla et al. | Sketch-based facial recognition: a weighted component-based approach (WCBA) | |
| RU2541918C2 (ru) | Устройство автоматизированного распознавания лиц при обработке групповой фотографии | |
| Loos et al. | Detection and identification of chimpanzee faces in the wild | |
| Pflug | Ear recognition: Biometric identification using 2-and 3-dimensional images of human ears | |
| Khalid et al. | Face recognition for varying illumination and different optical zoom using a combination of binary and geometric features | |
| Al-Bakri et al. | A review paper on face recognition techniques | |
| Xu et al. | A geometric-based tattoo retrieval system | |
| Egorova et al. | An Improvement of face detection algorithm for color photos | |
| Mukane et al. | EMERGING FORENSIC FACE MATCHING TECHNOLOGY TO APPREHEND CRIMINALS:: A SURVEY | |
| Monson et al. | Behaviour knowledge space-based fusion for image forgery detection | |
| Kumar et al. | Challenges in face detection and recognition techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |