CN109685044A - 基于k均值聚类算法的人脸识别检索方法 - Google Patents
基于k均值聚类算法的人脸识别检索方法 Download PDFInfo
- Publication number
- CN109685044A CN109685044A CN201910119779.1A CN201910119779A CN109685044A CN 109685044 A CN109685044 A CN 109685044A CN 201910119779 A CN201910119779 A CN 201910119779A CN 109685044 A CN109685044 A CN 109685044A
- Authority
- CN
- China
- Prior art keywords
- personage
- feature vector
- face
- image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于k均值聚类的人脸识别检索方法,包括:使用卷积神经网络从图像库中提取人脸图像的特征向量,建立人物库,每个人物都通过k均值聚类方法计算出该人物对应的中心向量;使用卷积神经网络从待查询图像中提取特征向量,并与人物库中的各中心向量作浮点数精确比对,通过比较结果,确定返回的检索结果。本发明具有较快的检索速度,同时解决大量人脸特征向量存放在内存中,消耗硬件资源的问题。
Description
技术领域
本发明涉及人脸识别技术领域。
背景技术
在人脸识别应用领域中,一个重要的应用过程就是从众多人脸图像中,找出同一个人的所有图像。在现有的社会场景中(例如:学校、媒体、公安等),都会有大量的图片存在数据库中,如何从大量的数据图像中,快速找到一个人的所有图片是一个难题。如果使用1:1精确比对的方法计算,则速度慢,检索时间长,同时所有的人脸图像特征向量放在内存中,会占用大量的内存空间。因此,需要设计一种高效、快速的人脸检索方法,来提高检索速度,同时降低内存的消耗。
发明内容
本发明的目的在于提供一种基于k均值聚类算法的人脸识别检索方法,具有较快的检索速度,同时解决大量人脸特征向量存放在内存中,消耗硬件资源的问题。
实现上述目的的技术方案是:
一种基于k均值聚类的人脸识别检索方法,包括:
使用卷积神经网络从图像库中提取人脸图像的特征向量,建立人物库,每个人物都通过k均值聚类方法计算出该人物对应的中心向量;
使用卷积神经网络从待查询图像中提取特征向量,并与人物库中的各中心向量作浮点数精确比对,通过比较结果,确定返回的检索结果。
优选的,从图像库中,使用mtcnn(Multi-task convolutional neural networks,多任务卷积神经网络)对普通图像检测人脸位置,并对检测出来的人脸做对齐和裁剪操作,得到人脸图像;
利用insightface(Additive Angular Margin Loss for Deep FaceRecognition,基于角度的人脸识别模型)学习模型提取人脸图像的特征向量;
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对,判断该人脸属于人物库中的哪个人物,将人脸图像的特征向量存入该人物中,并更新中心向量。
优选的,若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值,是同一人,反之,则不是同一人;
如果人脸图像的特征向量不属于任何一个人物,则创建新的人物。
优选的,利用insightface学习模型提取待查询图像的特征向量;
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值,返回与该人物对应的所有人脸;若相反,返回结果查无此人。
优选的,所述的人物库中,当人物中只有一个人脸图像的特征向量时,通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
优选的,每个人脸图像的特征向量或待查询图像的特征向量都有512维。
优选的,人物库中一个人物的所有人脸图像的特征向量对应维数相加,除以人脸图像的特征向量的个数,即为中心向量。
优选的,人脸图像的特征向量或待查询图像的特征向量中,每一维中的数据都是浮点数。
优选的,所述的浮点数精确比对,指:求两个向量的余弦距离;
所述的预设的阈值,指:同一个人的人脸特征向量的最大夹角距离。
本发明的有益效果是:本发明通过构建人物库的方法,可以大大减少人脸识别时的比对次数,从而减少计算量,加快检索速度。同时,因为在数据量很庞大的情况下,把所有人脸的特征向量加载到内存中,会消耗大量的内存资源,构建人物库,只用把人物库的中心向量加载到内存中即可,可以节约内存。
附图说明
图1是本发明的人脸识别检索方法的流程步骤图;
图2是本发明的人脸识别检索方法的流程示意图;
图3是本发明中人物库的构建示意图;
图4是本发明中中心向量的计算示意图;
图5是本发明中精确比对的示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图1和图2,本发明的基于k均值聚类的人脸识别检索方法,包括下列步骤:
步骤S110,使用卷积神经网络从图像库中提取人脸图像的特征向量,使用insightface学习模型,作为特征向量提取的方法,提取出的特征向量有512维,是一个高维的浮点数。在提取之前,从图像库中使用mtcnn对普通图像检测人脸位置,并对检测出来的人脸做对齐和裁剪操作,得到人脸图像。
步骤S120,建立人物库,每个人物都通过k均值聚类方法计算出该人物对应的中心向量。中心向量的数量和人物个数相等。将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对,判断该人脸属于人物库中的哪个人物,将人脸图像的特征向量存入该人物中,并更新中心向量。若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值,是同一人,反之,则不是同一人;如果人脸图像的特征向量不属于任何一个人物,则创建新的人物。
具体地,如图3所示,人物库的具体构建过程包括:
对于第一个从图像库中提取出来的人脸图像,在人物库中创建人物1。使用卷积神经网络提取人脸特征向量,并将该特征向量放入人物1中。使用k均值(k=1)聚类方法,计算人物1的中心向量,保存在人物1中。当人物中只有一个人脸图像的特征向量时,通过k均值(k=1)聚类方法计算出来的人物中心向量等于这个人脸图像的特征向量。
对于第二个从图像库中提取出来的人脸图像,同样提取其特征向量,该特征向量需要先和人物1的中心向量精确比较,确定人脸和人物1是不是同一个人。如果对比结果大于设定的阈值,创建人物2,把第二个人脸特征向量放入人物2,计算人物2的中心向量。如果比对结果小于设定好的阈值,那证明这两个人脸是同一个人,将第二个人脸的特征向量放入人物库1,重新计算人物1的中心向量。
对于后续的人脸,需要先和已经存在于人物库中的人物中心向量作比较,如果该人脸是其中的某个人物,则将该人脸的特征向量加入该人物中,如果不存在于人物库中,则创建新的人物。每一个人脸只会属于一个人物,每一个人物可以包含多个人脸。
如图4所示,计算人物的中心向量,在做后续的计算和比对过程中,用中心向量来代替人物做计算。在人物库中,包含多个人物,每个人物下,包含多个人脸图像的特征向量,每个人脸图像的特征向量,对应一个人脸图像。在计算中心向量时,多个特征向量通过k均值(k=1)聚类方法,计算人物中心向量。具体的计算过程包括:每一个特征向量都有512维,所有特征向量对应维数相加,除以特征向量的个数,即为中心向量。
步骤S130,查询检索过程,同样使用卷积神经网络从待查询图像中提取特征向量。同样采用insightface学习模型。
步骤S140,将待查询图像的特征向量与人物库中的各中心向量作如步骤S120一样的浮点数精确比对。人脸图像的特征向量或待查询图像的特征向量中,每一维中的数据都是浮点数。如图5所示,浮点数精确比对的过程是求两个向量的余弦距离。人脸图像的特征向量提取模型insightface,在训练过程中使用的是余弦距离。比对的结果是两个向量的夹角距离。和提前设定好的阈值作对比来确定是不是同一个人。
预设的阈值表示同一个人的人脸特征向量的最大夹角距离。数值大于设定的阈值表示不是同一个人,反之,是同一个人。
步骤S150,通过比较结果,确定返回的检索结果。如果查到了人脸和某个人物相似,则对应该人物中的所有人脸和待查询的人脸相似,返回该人物对应的所有人脸。如果查不到结果,证明数据库中没有该人物,返回结果查无此人。
以上实施例仅供说明本发明之用,而非对本发明的限制,有关技术领域的技术人员,在不脱离本发明的精神和范围的情况下,还可以作出各种变换或变型,因此所有等同的技术方案也应该属于本发明的范畴,应由各权利要求所限定。
Claims (9)
1.一种基于k均值聚类的人脸识别检索方法,其特征在于,包括:
使用卷积神经网络从图像库中提取人脸图像的特征向量,建立人物库,每个人物都通过k均值聚类方法计算出该人物对应的中心向量;
使用卷积神经网络从待查询图像中提取特征向量,并与人物库中的各中心向量作浮点数精确比对,通过比较结果,确定返回的检索结果。
2.根据权利要求1所述的基于k均值聚类的人脸识别检索方法,其特征在于,从图像库中,使用mtcnn对普通图像检测人脸位置,并对检测出来的人脸做对齐和裁剪操作,得到人脸图像;
利用insightface学习模型提取人脸图像的特征向量;
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对,判断该人脸属于人物库中的哪个人物,将人脸图像的特征向量存入该人物中,并更新中心向量。
3.根据权利要求2所述的基于k均值聚类的人脸识别检索方法,其特征在于,若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值,是同一人,反之,则不是同一人;
如果人脸图像的特征向量不属于任何一个人物,则创建新的人物。
4.根据权利要求1所述的基于k均值聚类的人脸识别检索方法,其特征在于,
利用insightface学习模型提取待查询图像的特征向量;
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值,返回与该人物对应的所有人脸;若相反,返回结果查无此人。
5.根据权利要求3所述的基于k均值聚类的人脸识别检索方法,其特征在于,所述的人物库中,当人物中只有一个人脸图像的特征向量时,通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
6.根据权利要求1所述的基于k均值聚类的人脸识别检索方法,其特征在于,每个人脸图像的特征向量或待查询图像的特征向量都有512维。
7.根据权利要求2所述的基于k均值聚类的人脸识别检索方法,其特征在于,人物库中一个人物的所有人脸图像的特征向量对应维数相加,除以人脸图像的特征向量的个数,即为中心向量。
8.根据权利要求6所述的基于k均值聚类的人脸识别检索方法,其特征在于,人脸图像的特征向量或待查询图像的特征向量中,每一维中的数据都是浮点数。
9.根据权利要求3或4所述的基于k均值聚类的人脸识别检索方法,其特征在于,所述的浮点数精确比对,指:求两个向量的余弦距离;
所述的预设的阈值,指:同一个人的人脸特征向量的最大夹角距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910119779.1A CN109685044B (zh) | 2019-02-18 | 2019-02-18 | 基于k均值聚类算法的人脸识别检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910119779.1A CN109685044B (zh) | 2019-02-18 | 2019-02-18 | 基于k均值聚类算法的人脸识别检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685044A true CN109685044A (zh) | 2019-04-26 |
CN109685044B CN109685044B (zh) | 2023-06-06 |
Family
ID=66196410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910119779.1A Active CN109685044B (zh) | 2019-02-18 | 2019-02-18 | 基于k均值聚类算法的人脸识别检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685044B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276320A (zh) * | 2019-06-26 | 2019-09-24 | 杭州创匠信息科技有限公司 | 基于人脸识别的门禁方法、装置、设备和存储介质 |
CN110874419A (zh) * | 2019-11-19 | 2020-03-10 | 山东浪潮人工智能研究院有限公司 | 一种人脸数据库快速检索技术 |
CN111091106A (zh) * | 2019-12-23 | 2020-05-01 | 浙江大华技术股份有限公司 | 图像聚类方法及装置、存储介质、电子装置 |
CN113792171A (zh) * | 2021-11-15 | 2021-12-14 | 西安热工研究院有限公司 | 基于内存管理的图像检索方法、***、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140363075A1 (en) * | 2013-06-10 | 2014-12-11 | Yahoo! Inc. | Image-based faceted system and method |
WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及*** |
CN107766811A (zh) * | 2017-10-10 | 2018-03-06 | 浙江大学 | 一种基于复杂流型结构的人脸识别方法及*** |
CN107909104A (zh) * | 2017-11-13 | 2018-04-13 | 腾讯数码(天津)有限公司 | 一种图片的人脸聚类方法、装置及存储介质 |
-
2019
- 2019-02-18 CN CN201910119779.1A patent/CN109685044B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140363075A1 (en) * | 2013-06-10 | 2014-12-11 | Yahoo! Inc. | Image-based faceted system and method |
WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及*** |
CN107766811A (zh) * | 2017-10-10 | 2018-03-06 | 浙江大学 | 一种基于复杂流型结构的人脸识别方法及*** |
CN107909104A (zh) * | 2017-11-13 | 2018-04-13 | 腾讯数码(天津)有限公司 | 一种图片的人脸聚类方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
李振东等: "深度卷积特征向量用于快速人脸图像检索", 《计算机辅助设计与图形学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276320A (zh) * | 2019-06-26 | 2019-09-24 | 杭州创匠信息科技有限公司 | 基于人脸识别的门禁方法、装置、设备和存储介质 |
CN110874419A (zh) * | 2019-11-19 | 2020-03-10 | 山东浪潮人工智能研究院有限公司 | 一种人脸数据库快速检索技术 |
CN111091106A (zh) * | 2019-12-23 | 2020-05-01 | 浙江大华技术股份有限公司 | 图像聚类方法及装置、存储介质、电子装置 |
CN111091106B (zh) * | 2019-12-23 | 2023-10-10 | 浙江大华技术股份有限公司 | 图像聚类方法及装置、存储介质、电子装置 |
CN113792171A (zh) * | 2021-11-15 | 2021-12-14 | 西安热工研究院有限公司 | 基于内存管理的图像检索方法、***、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109685044B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685044A (zh) | 基于k均值聚类算法的人脸识别检索方法 | |
CN104933417B (zh) | 一种基于稀疏时空特征的行为识别方法 | |
US10963504B2 (en) | Zero-shot event detection using semantic embedding | |
CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及*** | |
CN106803055B (zh) | 人脸识别方法和装置 | |
Lin et al. | Group event detection with a varying number of group members for video surveillance | |
US20190325197A1 (en) | Methods and apparatuses for searching for target person, devices, and media | |
CN107862300A (zh) | 一种基于卷积神经网络的监控场景下行人属性识别方法 | |
US11335127B2 (en) | Media processing method, related apparatus, and storage medium | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
Li et al. | Modified hidden factor analysis for cross-age face recognition | |
CN111160264A (zh) | 一种基于生成对抗网络的漫画人物身份识别方法 | |
CN110009662B (zh) | 人脸跟踪的方法、装置、电子设备及计算机可读存储介质 | |
Mady et al. | Efficient real time attendance system based on face detection case study “MEDIU staff” | |
US11908222B1 (en) | Occluded pedestrian re-identification method based on pose estimation and background suppression | |
Sankaran et al. | Multimodal fusion refiner networks | |
CN113347381B (zh) | 预测不雅举止轨迹的方法及*** | |
Kadambari et al. | Automation of attendance system using facial recognition | |
Dong et al. | Facial expression recognition based on improved VGG convolutional neural network | |
CN116935292A (zh) | 一种基于自注意力模型的短视频场景分类方法及*** | |
Xia et al. | Recognition of suspicious behavior using case-based reasoning | |
Wan et al. | Face detection method based on skin color and adaboost algorithm | |
Zhou et al. | Social network construction of the role relation in unstructured data based on multi-view | |
Fan et al. | Research on liveness detection algorithms based on deep learning | |
CN110490027B (zh) | 人脸特征提取训练方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |