CN109408651A - 一种基于人脸脸势识别的人脸检索方法 - Google Patents

一种基于人脸脸势识别的人脸检索方法 Download PDF

Info

Publication number
CN109408651A
CN109408651A CN201811111939.XA CN201811111939A CN109408651A CN 109408651 A CN109408651 A CN 109408651A CN 201811111939 A CN201811111939 A CN 201811111939A CN 109408651 A CN109408651 A CN 109408651A
Authority
CN
China
Prior art keywords
face
palace lattice
track
algorithm
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811111939.XA
Other languages
English (en)
Other versions
CN109408651B (zh
Inventor
方亮
井焜
王阔阔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN201811111939.XA priority Critical patent/CN109408651B/zh
Publication of CN109408651A publication Critical patent/CN109408651A/zh
Application granted granted Critical
Publication of CN109408651B publication Critical patent/CN109408651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于人脸脸势识别的人脸检索方法，根据人脸轨迹不同建立不同的人像库，然后将人像分别放置不同的人像库中，完成入库操作，在进行人脸检索时，首先要收集人脸运动轨迹，根据轨迹的不同的去查询对应的人像库，然后在库中检索出最相似的人脸图像。这样就完成了检索工作。在入库和检索过程中，要依据人脸运动轨迹来确定要进行操作的人像库。通过采集轨迹建立不同的人像库，这样避免了用户手动输入辅助信息如选择分组、输入分类编码等，避免用户进行额外的信息交互。由于分成了多个库，有效的缩小了库容量，提高了检索的命中率。

Description

一种基于人脸脸势识别的人脸检索方法
技术领域
本发明涉及一种人脸检索方法，具体是一种基于人脸脸势识别的人脸检索方法，属于人脸识别技术领域。
背景技术
目前常用的交互方式有手势、密码等，脸势交互鲜有提及，通过记录人脸在摄像头下的移动轨迹、五官特征的运动次数以及次序组合等(张闭嘴、睁闭眼等)，实现类手势、密码等交互输入效果，针对一些特定场景有改善用户体验的作用。
人脸识别技术主要包括1:1比对和1:N检索两种方式，其中1:N检索是实现在库中查找待选人员。衡量1:N检索性能的指标是首位命中率、前N位命中率，影响命中率的主要参数包括算法性能、库容量、照片质量等，其中库容量是一项非常关键的因素，如何有效缩小库容量，成为在实际场景应用中急需解决的问题，常用的手段主要是用户手动输入辅助信息如选择分组、输入分类编码等，这些手段都需要用户进行额外的信息交互，给人的体验不够流畅。
发明内容
本发明要解决的技术问题是提供一种基于人脸脸势的人脸检索方法，不需要用户经过额外的信息交互的情况下，有效缩小检索的库容量。
为了解决所述技术问题，本发明采用的技术方案是：一种基于人脸脸势的人脸检索方法，步骤以下步骤：S01)、人脸入库，对人脸运动轨迹和人脸进行采集，根据运动轨迹的不同创建不同的人像库，然后根据运动轨迹将人像分别放置在不同的人像库中；S02)、人脸检索，首先收集人脸运动轨迹，根据轨迹的不同去查询对应的人像库，然后在人像库中检索出最相似的人脸图像，完成检索工作。
进一步的，步骤S01的具体步骤为：S11)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度为W，图像高度为H；S02)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；S13)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；S14)、宫格绘制，将采集显示区域以等分宫格进行划分；S15)、人脸轨迹绘制，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S11至S14完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，得出人脸宫格轨迹；S16)、信息存储，按人脸宫格轨迹信息分类，将同一人脸宫格轨迹的人脸照片建模存入同一个人像库，得到以人脸宫格轨迹划分的多个人像库。
进一步的，步骤S02的具体步骤为：S21)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度为W，图像高度为H；S22)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；S23)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；S24)、宫格绘制，将采集显示区域以等分宫格进行划分；S25)、提取人脸宫格轨迹，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S21至S24完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，得出人脸宫格轨迹；S26)、查找比对，将提取的人脸宫格轨迹与存储的人脸宫格轨迹逐一比较，直到得到相同的人脸宫格轨迹，并确定其对应人像库；S27)、1：M检索：在人脸轨迹绘制过程中通过人脸定位算法找出质量最优的人脸照片，然后将该照片与步骤S26提取的人像库做1：M检索工作，得出检索结果，检索工作完成。
进一步的，得出人脸宫格轨迹的过程为：首先通过几何重心方法计算人脸中心点坐标 N表示人脸关键特征点集内关键特征点的个数，0≤i＜N；设绘制的宫格任一格子中心点坐标为Qk(xk,yk)，通过公式计算人脸中心点与宫格任一格子中心点的关系，求最小距离Dismin＝Min(Disk)，最小距离对应的宫格编号即为人脸中心点所在宫格，将每一帧图像人脸中心点所在宫格连线，就得出人脸宫格轨迹。
进一步的，人脸定位算法是基于Boosting架构和Haar特征相结合的人脸定位算法、基于机器学习-深度学习的人脸定位算法、基于机器学习-SVM或者Bayes学习的人脸定位算法、基于几何形状分析的人脸定位算法、基于纹理的人脸特征点定位算法中的一种。
进一步的，特征点定位算法是基于主动形状模型的人脸特征点定位算法、基于机器学习-深度学习的人脸定位算法、基于机器学习-SVM或者Bayes学习的人脸定位算法、基于几何形状分析的人脸定位算法、基于纹理的人脸特征点定位算法中的一种。
进一步的，宫格绘制步骤中，将采集显示区域以等分宫格划分成9宫格或者25宫格。
进一步的，人脸宫格轨迹为L型、V型或者T型。
进一步的，信息存储的形式为数据库或者磁盘文件。
本发明的有益效果：本发明根据人脸轨迹不同建立不同的人像库，然后将人像分别放置不同的人像库中，完成入库操作，在进行人脸检索时，首先要收集人脸运动轨迹，根据轨迹的不同的去查询对应的人像库，然后在库中检索出最相似的人脸图像。这样就完成了检索工作。也就是说，在入库和检索过程中，要依据人脸运动轨迹来确定要进行操作的人像库。通过采集轨迹建立不同的人像库，这样避免了用户手动输入辅助信息如选择分组、输入分类编码等，避免用户进行额外的信息交互。由于分成了多个库，有效的缩小了库容量，提高了检索的命中率。
附图说明
图1为人脸入库的流程图；
图2为人脸检索的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
本实施例公开一种基于人脸脸势的人脸检索方法，主要包括人脸入库和人脸检索两个步骤。人脸入库就是对人脸运动轨迹和人脸进行采集，根据运动轨迹的不同创建不同的人像库，然后根据运动轨迹将人像分别放置在不同的人像库中，这样就完成了入库操作。人脸检索就是首先收集人脸运动轨迹，根据轨迹的不同去查询对应的人像库，然后在人像库中检索出最相似的人脸图像，完成检索工作。在入库和检索过程中，要依据人脸运动轨迹来确定要进行操作的人像库。
如图1所示，人脸入库的具体流程为：
S11)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度设为W，图像高度设为H；
本实施例中，可以通过以下算法完成人脸定位：
1、基于Boosting架构+Haar特征相结合的人脸定位算法；
2、基于机器学习-深度学习的人脸定位算法；
3、基于机器学习-其他学习(SVM、Bayes等)的人脸定位算法；
4、基于几何形状分析的人脸定位算法；
5、基于纹理的人脸特征点定位算法。
人脸定位算法目前已经是相当成熟的技术，在本实施例中就不再进行详述。
S12)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；
本实施例中，可以通过以下算法完成人脸特征点定位：
1、基于ASM(主动形状模型)的人脸特征点定位算法；
2、基于机器学习-深度学习的人脸特征点定位算法；
3、基于机器学习-其他学习(SVM、Bayes等)的人脸特征点定位算法；
4、基于几何形状的人脸特征点定位算法；
5、基于纹理的人脸特征点定位算法；
6、其他的人脸特征点定位算法；
人脸特征点定位算法目前已经是相当成熟的技术，在本实施例中就不再进行详述。
S13)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；
S14)、宫格绘制，将采集显示区域以等分宫格进行划分，可以划分成9宫格或者25宫格等；
S15)、人脸轨迹绘制，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S11至S14完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，具体映射法可以是最小距离法，通过以上步骤得出人脸宫格轨迹，如9宫格中的L型，V型，T型等。
S16)、信息存储，按人脸宫格轨迹信息分类，将同一人脸宫格轨迹的人脸照片(在人脸轨迹绘制过程中，通过人脸定位算法找出质量最优的人脸照片)建模存入同一个人像库，得到以人脸宫格轨迹划分的多个人像库；存储的形式可以是数据库、磁盘文件等。
如图2所示，人脸检索的具体流程为：
S21)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度设为W，图像高度设为H；
本实施例中，可以通过以下算法完成人脸定位：
6、基于Boosting架构+Haar特征相结合的人脸定位算法；
7、基于机器学习-深度学习的人脸定位算法；
8、基于机器学习-其他学习(SVM、Bayes等)的人脸定位算法；
9、基于几何形状分析的人脸定位算法；
10、基于纹理的人脸特征点定位算法。
人脸定位算法目前已经是相当成熟的技术，在本实施例中就不再进行详述。
S22)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；
本实施例中，可以通过以下算法完成人脸特征点定位：
1、基于ASM(主动形状模型)的人脸特征点定位算法；
2、基于机器学习-深度学习的人脸特征点定位算法；
3、基于机器学习-其他学习(SVM、Bayes等)的人脸特征点定位算法；
4、基于几何形状的人脸特征点定位算法；
5、基于纹理的人脸特征点定位算法；
6、其他的人脸特征点定位算法；
人脸特征点定位算法目前已经是相当成熟的技术，在本实施例中就不再进行详述。
S23)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；
S24)、宫格绘制，将采集显示区域以等分宫格进行划分，划分成与人脸检索时相同的宫格；
S25)、提取人脸宫格轨迹，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S21至S24完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，具体映射法可以是最小距离法，得出人脸宫格轨迹；
S26)、查找比对，将提取的人脸宫格轨迹与存储的人脸宫格轨迹逐一比较，直到得到相同的人脸宫格轨迹，并确定其对应人像库；
S27)、1：M检索：在人脸轨迹绘制过程中通过人脸定位算法找出质量最优的人脸照片，然后将该照片与步骤S26提取的人像库做1：M检索工作，得出检索结果，检索工作完成。
当进行完人脸检索以后，***工作就算完成。
上述人脸入库和人脸检索的过程中，得出人脸宫格轨迹的过程为：首先通过几何重心方法计算人脸中心点坐标 N表示人脸关键特征点集内关键特征点的个数，0≤i＜N；设绘制的宫格任一格子中心点坐标为Qk(xk,yk)，通过公式计算人脸中心点与宫格任一格子中心点的关系，求最小距离Dismin＝Min(Disk)，最小距离对应的宫格编号即为人脸中心点所在宫格，将每一帧图像人脸中心点所在宫格连线，就得出人脸宫格轨迹。
以上所揭露仅为本发明的一个典型的具体实施案例，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所做的等同变化仍视为本发明所涵盖的范围。

Claims (9)

1.一种基于人脸脸势的人脸检索方法，其特征在于：步骤以下步骤：S01)、人脸入库，对人脸运动轨迹和人脸进行采集，根据运动轨迹的不同创建不同的人像库，然后根据运动轨迹将人像分别放置在不同的人像库中；S02)、人脸检索，首先收集人脸运动轨迹，根据轨迹的不同去查询对应的人像库，然后在人像库中检索出最相似的人脸图像，完成检索工作。
2.根据权利要求1所述的基于人脸脸势的人脸检索方法，其特征在于：步骤S01的具体步骤为：S11)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度为W，图像高度为H；S12)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；S13)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；S14)、宫格绘制，将采集显示区域以等分宫格进行划分；S15)、人脸轨迹绘制，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S11至S14完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，得出人脸宫格轨迹；S16)、信息存储，按人脸宫格轨迹信息分类，将同一人脸宫格轨迹的人脸照片建模存入同一个人像库，得到以人脸宫格轨迹划分的多个人像库。
3.根据权利要求2所述的基于人脸脸势识别的人脸检索方法，其特征在于：步骤S02的具体步骤为：S21)、人脸定位，通过人脸定位算法，完成单帧图像人脸区域定位，图像宽度为W，图像高度为H；S22)人脸特征点定位，通过特征点定位算法，完成人脸关键特征点集P(x,y){0<x<W,0<y<H}定位；S23)、人脸中心点定位，通过几何重心计算方法，完成计算人脸中心点坐标；S24)、宫格绘制，将采集显示区域以等分宫格进行划分；S25)、提取人脸宫格轨迹，逐一分析含有用户在采集设备前移动人脸的的图像序列，重复步骤S21至S24完成每一帧图像人脸中心计算，将计算后的人脸中心点与已划分宫格进行映射，得出人脸宫格轨迹；S26)、查找比对，将提取的人脸宫格轨迹与存储的人脸宫格轨迹逐一比较，直到得到相同的人脸宫格轨迹，并确定其对应人像库；S27)、1：M检索：在人脸轨迹绘制过程中通过人脸定位算法找出质量最优的人脸照片，然后将该照片与步骤S26提取的人像库做1：M检索工作，得出检索结果，检索工作完成。
4.根据权利要求2或3所述的基于人脸脸势识别的人脸检索方法，其特征在于：得出人脸宫格轨迹的过程为：首先通过几何重心方法计算人脸中心点坐标N表示人脸关键特征点集内关键特征点的个数，0≤i＜N；设绘制的宫格任一格子中心点坐标为Qk(xk,yk)，通过公式计算人脸中心点与宫格任一格子中心点的关系，求最小距离Dismin＝Min(Disk)，最小距离对应的宫格编号即为人脸中心点所在宫格，将每一帧图像人脸中心点所在宫格连线，就得出人脸宫格轨迹。
5.根据权利要求2或3所述的基于人脸脸势识别的人脸检索方法，其特征在于：人脸定位算法是基于Boosting架构和Haar特征相结合的人脸定位算法、基于机器学习-深度学习的人脸定位算法、基于机器学习-SVM或者Bayes学习的人脸定位算法、基于几何形状分析的人脸定位算法、基于纹理的人脸特征点定位算法中的一种。
6.根据权利要求2或3所述的基于人脸脸势识别的人脸检索方法，其特征在于：特征点定位算法是基于主动形状模型的人脸特征点定位算法、基于机器学习-深度学习的人脸定位算法、基于机器学习-SVM或者Bayes学习的人脸定位算法、基于几何形状分析的人脸定位算法、基于纹理的人脸特征点定位算法中的一种。
7.根据权利要求2或3所述的基于人脸脸势识别的人脸检索方法，其特征在于：宫格绘制步骤中，将采集显示区域以等分宫格划分成9宫格或者25宫格。
8.根据权利要求2或3所述的基于人脸脸势识别的人脸检索方法，其特征在于：人脸宫格轨迹为L型、V型或者T型。
9.根据权利要求2所述的基于人脸脸势识别的人脸检索方法，其特征在于：信息存储的形式为数据库或者磁盘文件。
CN201811111939.XA 2018-09-21 2018-09-21 一种基于人脸脸势识别的人脸检索方法 Active CN109408651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811111939.XA CN109408651B (zh) 2018-09-21 2018-09-21 一种基于人脸脸势识别的人脸检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811111939.XA CN109408651B (zh) 2018-09-21 2018-09-21 一种基于人脸脸势识别的人脸检索方法

Publications (2)

Publication Number Publication Date
CN109408651A true CN109408651A (zh) 2019-03-01
CN109408651B CN109408651B (zh) 2020-09-29

Family

ID=65465278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811111939.XA Active CN109408651B (zh) 2018-09-21 2018-09-21 一种基于人脸脸势识别的人脸检索方法

Country Status (1)

Country Link
CN (1) CN109408651B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144326A (zh) * 2019-12-28 2020-05-12 神思电子技术股份有限公司 一种用于人机交互的人脸防重识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710B (zh) * 2009-05-19 2011-02-09 重庆大学 一种基于人脸姿态估计的人机交互方法
CN103384234B (zh) * 2012-05-04 2016-09-28 深圳市腾讯计算机***有限公司 人脸身份认证方法和***
CN107273796A (zh) * 2017-05-05 2017-10-20 珠海数字动力科技股份有限公司 一种基于人脸特征的快速人脸识别搜索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710B (zh) * 2009-05-19 2011-02-09 重庆大学 一种基于人脸姿态估计的人机交互方法
CN103384234B (zh) * 2012-05-04 2016-09-28 深圳市腾讯计算机***有限公司 人脸身份认证方法和***
CN107273796A (zh) * 2017-05-05 2017-10-20 珠海数字动力科技股份有限公司 一种基于人脸特征的快速人脸识别搜索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144326A (zh) * 2019-12-28 2020-05-12 神思电子技术股份有限公司 一种用于人机交互的人脸防重识别方法
CN111144326B (zh) * 2019-12-28 2023-10-27 神思电子技术股份有限公司 一种用于人机交互的人脸防重识别方法

Also Published As

Publication number Publication date
CN109408651B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN109522853B (zh) 面向监控视频的人脸检测与搜索方法
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及***
CN104008370B (zh) 一种视频人脸识别方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
CN104408429B (zh) 一种视频代表帧提取方法及装置
CN109657609A (zh) 人脸识别方法及***
CN109117797A (zh) 一种基于人脸质量评价的人脸抓拍识别方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN107871106A (zh) 人脸检测方法和装置
CN106845357A (zh) 一种基于多通道网络的视频人脸检测和识别方法
CN109190508A (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN110363047A (zh) 人脸识别的方法、装置、电子设备和存储介质
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN104881671B (zh) 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN109410168A (zh) 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
WO2009123354A1 (en) Method, apparatus, and program for detecting object
US20090245575A1 (en) Method, apparatus, and program storage medium for detecting object
CN112149557B (zh) 一种基于人脸识别的人物身份跟踪方法及***
CN110176023A (zh) 一种基于金字塔结构的光流估计方法
CN106682681A (zh) 一种基于相关反馈的识别算法自动改进方法
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN108229432A (zh) 人脸标定方法及装置
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN107992783A (zh) 人脸图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant