CN110866469A - 一种人脸五官识别方法、装置、设备及介质 - Google Patents
一种人脸五官识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110866469A CN110866469A CN201911047655.3A CN201911047655A CN110866469A CN 110866469 A CN110866469 A CN 110866469A CN 201911047655 A CN201911047655 A CN 201911047655A CN 110866469 A CN110866469 A CN 110866469A
- Authority
- CN
- China
- Prior art keywords
- facial
- facial features
- feature
- features
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 311
- 238000000034 method Methods 0.000 title claims abstract description 60
- 241000282414 Homo sapiens Species 0.000 title description 17
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 80
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 210000004709 eyebrow Anatomy 0.000 claims description 40
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 210000001508 eye Anatomy 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 210000001331 nose Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000124033 Salix Species 0.000 description 1
- 235000017276 Salvia Nutrition 0.000 description 1
- 240000007164 Salvia officinalis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸五官识别方法、装置、设备及介质。方法包括：获取待识别脸部五官图像；通过特征提取模型从待识别脸部五官图像中提取出五官特征；基于五官特征与多个标准五官特征间的相似度，确定与五官特征相匹配的标准五官特征，每个标准五官特征标注有对应的五官属性类型；获取相匹配的标准五官特征对应的五官属性类型；将相匹配的标准五官特征对应的五官属性类型作为待识别脸部五官图像的五官属性类型；特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，脸部五官样本图像携带有所属用户的分类标注信息。
Description
技术领域
本发明涉及互联网通信技术领域，尤其涉及一种人脸五官识别方法、装置、设备及介质。
背景技术
随着互联网通信技术的发展，各种各样的生物特征识别技术也应运而生，人脸识别便是其中的一种。人脸识别，属于计算机视觉领域，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸作为人体的重要的生物特征，人脸具有唯一性和不易被复制的良好特性，同时人脸图像的采集也相对方便，因而人脸识别在很多领域都有着重要的作用。
人脸中的五官(眉、眼、耳、鼻和口)往往也有着对应的五官属性类型。比如，眉毛有柳叶眉、剑眉等，眼睛有桃花眼、丹凤眼等。进行更细粒度的人脸五官识别也具有重要的意义。然而，现有技术中，得到的人脸五官识别方案需要对大量的脸部五官样本图像进行五官属性类型的标注，这样存在着标注工作量大的问题，比如给每个眉毛样本图像标注对应的五官属性类型(柳叶眉、剑眉等)。此外可以基于不同的分类维度进行五官属性类型的标注(比如，对于眉毛样本图像可以以眉形分类维度来标注，也可以以眉毛浓密分类维度来标注)，不同的分类维度之间的差异可能造成标识时区分难度大的问题。现有技术中存在的问题影响着建立相关模型进行人脸五官识别的效率。因此，需要提供对人脸五官更有效的识别方案。
发明内容
为了解决现有技术应用在对人脸五官进行识别时，建立相关模型效率低、成本高等问题，本发明提供了一种人脸五官识别方法、装置、设备及介质：
一方面，本发明提供了一种人脸五官识别方法，所述方法包括：
获取待识别脸部五官图像；
通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
获取所述相匹配的标准五官特征对应的五官属性类型；
将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
其中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
另一方面提供了一种人脸五官识别装置，所述装置包括：
图像获取模块：用于获取待识别脸部五官图像；
特征提取模块：用于通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
特征匹配模块：用于基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
五官属性类型获取模块：用于获取所述相匹配的标准五官特征对应的五官属性类型；
五官属性类型标注模块：用于将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
其中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的人脸五官识别方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的人脸五官识别方法。
本发明提供的一种人脸五官识别方法、装置、设备及介质，具有如下技术效果：
本发明训练得到脸部五官分类模型，基于该脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构构建特征提取模型。通过该特征提取模型得到待识别脸部五官图像的五官特征。基于该五官特征与标准五官特征间的相似度，为该待识别脸部五官图像标注相匹配的标准五官特征对应的五官属性类型。在相关模型的训练中，不需要为脸部五官样本图像标注具体的五官属性类型，减少人工标注的难度及工作量。以特征比较的形式识别出用户的五官属性类型，能够精确地获得人脸细粒度五官的信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种应用环境的示意图；
图2是本发明实施例提供的一种人脸五官识别方法的流程示意图；
图3是本发明实施例提供的获取待识别脸部五官图像的一种流程示意图；
图4是本发明实施例提供的训练得到脸部五官分类模型的一种流程示意图；
图5是本发明实施例提供的一种特征提取模型的应用场景的示意图；
图6也是是本发明实施例提供的一种特征提取模型的应用场景的示意图；
图7也是是本发明实施例提供的一种特征提取模型的应用场景的示意图；
图8是本发明实施例提供的一种人脸五官识别装置的组成框图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，可以包括客户端01和服务器02，客户端与服务器通过网络连接。待识别脸部五官图像可以由客户端发送至服务器。服务器基于对接收到的待识别脸部五官图像作图像处理以为其标注对应的五官属性类型。需要说明的是，图1仅仅是一种示例。
具体的，客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。
具体的，所述服务器02可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器02可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器02可以为上述客户端提供后台服务。
在实际应用中，本发明实施例提供的方案可以涉及人工智能的相关技术，在下述的具体实施例中会进行说明。人工智能(Artificial Intelligence，AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
以下介绍本发明一种人脸五官识别方法的具体实施例，图2是本发明实施例提供的一种人脸五官识别方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2、6所示，所述方法可以包括：
S201：获取待识别脸部五官图像；
在本发明实施例中，待识别脸部五官图像可以是由利用光学原理成像并记录影像的设备采集得到的图像。利用光学原理成像并记录影像的设备可以是数码相机、终端设备的摄像头(比如智能眼镜的摄像头、手机的摄像头)。采集得到的待识别脸部五官图像可以尺寸大小各异，相应的，所述待识别脸部五官图像的尺寸范围可以相对广泛。待识别脸部五官图像可以是利用光学原理成像并记录影像的设备直接成像的图像，也可以是对上述直接成像的图像进行预处理后的图像。预处理方式可以包括对图像的去噪处理、灰度处理等。
在一个具体的实施例中，如图3所示，所述获取待识别脸部五官图像的步骤，包括：
S301：采集待识别图像；
待识别图像可以是数码相机、摄像头所拍摄的图像，或者，待识别图像还可以是从数码相机、摄像头拍摄的视频中截取的图像，或者，待识别图像也可以是用户通过网络上传到服务器的图像。其中，待识别图像可以是静态图像，也可以是动态图像。当然，待识别图像的获取方式还可以包括其他可能的方式，本发明实施例对此不做限制。
S302：对所述待识别图像进行人脸检测得到人脸图像；
人脸检测(脸部检测)可以对于任意一幅给定的图像，采用智能策略对其进行搜索以确定其中是否含有人脸。利用人脸检测技术，可以过滤掉不包含人脸的待识别图像。对于包含人脸的待识别图像，也可以将其中的人脸区域裁剪出来，得到人图像。
S303：对所述人脸图像进行人脸关键点检测，得到至少一个所述待识别脸部五官图像；
人脸关键点检测可以是定位五官关键点在人脸上的位置，五官关键点可以包括从眉毛、眼睛、耳朵、鼻子和口组成的群组中选择的至少一个。利用人脸关键点检测技术，可以将不包含人脸关键点的区域从人脸图像中裁除，相应的，可以将人脸图像中包含人脸关键点的区域分别裁剪出来，得到至少一个待识别脸部五官图像。所述待识别脸部五官图像中包括眉部对象、眼部对象、耳部对象、鼻部对象或者口部对象。这样可以减少冗余特征对人脸五官识别的干扰，减少识别过程中的计算量。
在实际应用中，获取到采集的视频数据后，从该视频数据中提取具有脸部特征的帧。然后对所述帧进行脸部检测，得到脸部坐标矩形框。再根据所述脸部坐标矩形框进行五官关键点定位，得到五官关键点。再根据所述五官关键点确定脸部五官的坐标位置。再根据所述脸部五官的坐标位置确定具体的眉部位置、眼部位置、耳部位置、鼻部位置或者口部位置，相应的，得到眉部图像、眼部图像、耳部图像、鼻部图像或者口部图像。
S202：通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
在本发明实施例中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
在一个具体的实施例中，所述通过特征提取模型从所述待识别脸部五官图像中提取出五官特征，包括：根据所述待识别脸部五官图像中的五官对象确定与所述五官对象对应的目标特征提取模型；通过所述目标特征提取模型从所述待识别脸部五官图像中提取出所述五官特征。
五官对象可以是眉部对象、眼部对象、耳部对象、鼻部对象或者口部对象。目标特征提取模型对应针对同一五官对象的脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构。比如，待识别脸部五官图像中的五官对象为眉部对象，那么目标特征提取模型是用于提取眉部特征的，构建该目标特征提取模型利用的网络结构所指向的脸部五官分类模型也是用于实现眉部分类的。
在实际应用中，对于接收到的人脸图像，可以基于五官对象进行裁剪得到至少一个待识别脸部五官图像，再将各个待识别脸部五官图像分别输入对应的目标特征提取模型。比如将眉部图像输入用于提取眉部特征的特征提取模型，将眼部图像输入用于提取眼部特征的特征提取模型。
在另一个具体的实施例中，如图4、5所示，所述脸部五官分类模型的训练过程包括如下步骤：
S401：获取脸部五官样本图像；
所述脸部五官样本图像中包括眉部对象、眼部对象、耳部对象、鼻部对象或者口部对象。脸部五官样本图像可以是基于人脸关键点检测对人脸样本图像进行裁剪得到的，这里可以参考前述步骤S303基于人脸关键点检测对人脸图像进行裁剪得到待识别脸部五官图像的相关过程，不再赘述。人脸样本图像可以对应人脸识别模型的训练，这样脸部五官样本图像所携带的所属用户的分类标注信息可以复用人脸样本图像的标注信息(身份标签)。
具体的，可以确定第一数量阈值和第二数量阈值，所述第一数量阈值表征候选用户的数量，所述第二数量阈值表征对应同一候选用户的图像数量。然后，根据所述第一数量阈值和所述第二数量阈值获取所述脸部五官样本图像。在获取训练用样本图像时，设置了候选用户的数量的维度以及同一候选用户的图像数量的维度。进一步的，可以根据所述第一数量阈值和所述第二数量阈值获取所述人脸样本图像(对应人脸识别模型的训练)，比如获取N个人的图像，每个人100-300张不定的图像数。再基于人脸关键点检测对人脸样本图像进行裁剪得到脸部五官样本图像，复用人脸样本图像及其携带的标注信息。
S402：将所述脸部五官样本图像输入神经网络模型进行图像分类训练；
可以确定尺寸阈值，然后根据所述尺寸阈值调整所述人脸五官样本图像的尺寸数值，再将尺寸数值调整后的所述人脸五官样本图像输入所述神经网络模型进行图像分类训练。设置输入神经网络模型的脸部五官样本的尺寸为M*N像素(比如112*56像素)，对人脸五官样本图像的初始尺寸进行对应的调整。当然，也可以在前述步骤S303中对人脸图像按照所述尺寸阈值进行裁剪以得到待识别脸部五官图像。
所述神经网络模型的网络结构中包括用于提取脸部五官图像特征信息的残差网络ResNet18(可以由卷积层，池化层，全连接层构成)以及用于基于该脸部五官图像特征信息进行脸部五官分类的分类器(或者分类层)。当然，可以对神经网络模型的网络结构作增减卷积层的调整，以及神经网络模型的网络结构不限于此。
在实际应用中，将符合尺寸阈值要求的眉部样本图像输入所述神经网络模型。然后，由ResNet18得到眉部样本图像的特征，该特征可以是256维的，该特征可以具体由ResNet18中的conv5-3层(第五个卷积块里面的第三个卷积层)输出。再由分类器(或者分类层)基于该特征进行分类。
S403：在训练过程中，调整所述神经网络模型的模型参数至所述神经网络模型输出的分类结果与输入的所述脸部五官样本图像的所述分类标注信息相匹配；
所述模型参数的调整过程包括如下步骤：根据中间值与标注值得到损失值，所述中间值对应所述神经网络模型输出的分类结果，所述标注值对应输入的所述脸部五官样本图像的所述分类标注信息；根据所述损失值得到所述模型参数的梯度；基于所述模型参数的梯度更新所述模型参数。损失值对应模型训练的前向计算阶段，在该阶段，模型会采样一定数量的样本图像用于当前迭代的训练。每个样本图像经过模型的前向计算会产生损失值，损失值的大小表示了此样本图像学习的好坏。之后在模型训练的反向传播阶段，通过损失值计模型算参数的梯度，进而调整模型参数。
S404：将调整后的所述模型参数对应的所述神经网络模型作为所述人脸五官分类模型；
训练得到的人脸五官分类模型可以输出待预测图像所属用户的分类结果，比如待预测图像表征的眉毛属于哪个用户。使用多个已标注的脸部五官样本图像进行机器学习训练得到人脸五官分类模型，由此得到的人脸五官分类模型具有高泛化能力，可以提高进行图像分类的适应能力，可以提高图像分类的可靠性和有效性。
在实际应用中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构。通过特征提取模型从所述待识别脸部五官图像中提取出五官特征可以根据下述步骤实现：将待识别脸部五官图像输入人脸五官分类模型，取出人脸五官分类模型的中间层的输出结果，该中间层对应人脸五官分类模型中用于提取脸部五官图像特征信息的残差网络ResNet18，具体的可以是conv5-3层的输出结果。这里的输出结果便是五官特征。
S203：基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
在本发明实施例中，同一五官对象可以对应多个标准五官特征，每个所述标准五官特征标注有对应的五官属性类型。标准五官特征指向的五官对象之间一定的差异性，同时每个标准五官特征指向的五官对象在相关图像中特征清晰。比如，眉部对象的多个标准五官特征可以包括指向柳叶眉的标准五官特征、指向剑眉的标准五官特征、指向拱形眉的标准五官特征以及指向高挑眉的标准五官特征等等，相应的，“柳叶眉”、“剑眉”、“拱形眉”以及“高挑眉”可以分别作为对应标准五官特征所标注的五官属性类型。进一步的，可以定义标准五官，获取携带有标准五官对象的标准脸部五官图像，将标准脸部五官图像输入所述特征提取模型以得到标准五官特征。所述标准脸部五官图像携带有描述对应的五官属性类型的类型标注。当然，定义标准五官可以基于不同的维度，比如种族、性别、形状、颜色等等。
所述相似度可以采用包括从欧式距离(欧几里得度量，euclidean metric：指在m维空间中两个点之间的真实距离，或者向量的自然长度)、余弦相似度(余弦相似性：是通过计算两个向量的夹角余弦值来评估他们的相似度；将向量根据坐标值，绘制到向量空间中，如最常见的二维空间)、相对熵(Kullback-Leibler散度，是两个概率分布间差异的非对称性度量)组成的群组中选择的至少一个确定。
在一个具体的实施例中，可以将所述五官特征分别与所述多个标准五官特征进行相似度计算，得到相似度集合。比如，所述五官特征对应眉部对象，相应的，多个标准五官特征为多个标准眉部特征：标准眉部特征1、标准眉部特征2和标准眉部特征3。将所述五官特征分别与所述多个标准眉部特征进行相似度计算，分别得到所述五官特征对应各标准眉部特征的相似度：相似度1(对应标准眉部特征1)、相似度2(对应标准眉部特征2)和相似度3(对应标准眉部特征3)。相似度1、相似度2和相似度3组成相似度集合。然后，在所述相似度集合中确定出最大相似度。比如，相似度1为70％，相似度2为65％，相似度3为90％。那么最大相似度为相似度3。再将所述最大相似度对应的标准五官特征确定为所述相匹配的标准五官特征。这样所述相匹配的标准五官特征为标准眉部特征3(对应最大相似度：相似度3)。
S204：获取所述相匹配的标准五官特征对应的五官属性类型；
在本发明实施例中，可以定义标准五官，获取携带有标准五官对象的标准脸部五官图像，将标准脸部五官图像输入所述特征提取模型以得到标准五官特征。所述标准脸部五官图像携带有描述对应的五官属性类型的类型标注。可以将标准五官特征与对应的五官属性类型预先存储起来，当确定出所述相匹配的标准五官特征后，基于存储数据中的对应关系获取所述相匹配的标准五官特征对应的五官属性类型。
S205：将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
在本发明实施例中，利用所述相匹配的标准五官特征对应的五官属性类型对所述待识别脸部五官图像进行标注。
在实际应用中，对于接收到的人脸图像，可以基于五官对象进行裁剪得到至少一个待识别脸部五官图像，再将各个待识别脸部五官图像分别输入对应的特征提取模型。可参考步骤S202-S205，每个待识别脸部五官图像依次进行特征提取、相似度计算、五官属性类型获取与标注，进而实现对人脸图像的更准确的脸部五官标注，如图7所示，可以以此展示给用户。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中训练得到脸部五官分类模型，基于该脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构构建特征提取模型。通过该特征提取模型得到待识别脸部五官图像的五官特征。基于该五官特征与标准五官特征间的相似度，为该待识别脸部五官图像标注相匹配的标准五官特征对应的五官属性类型。在相关模型的训练中，不需要为脸部五官样本图像标注具体的五官属性类型，减少人工标注的难度及工作量。以特征比较的形式识别出用户的五官属性类型，能够精确地获得人脸细粒度五官的信息。
本发明实施例还提供了一种人脸五官识别装置，如图8所示，所述装置包括：
图像获取模块810：用于获取待识别脸部五官图像；
特征提取模块820：用于通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
特征匹配模块830：用于基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
五官属性类型获取模块840：用于获取所述相匹配的标准五官特征对应的五官属性类型；
五官属性类型标注模块850：用于将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
其中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。
本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的人脸五官识别方法。
进一步地，图9示出了一种用于实现本发明实施例所提供的人脸五官识别方法的电子设备的硬件结构示意图，所述电子设备可以参与构成或包含本发明实施例所提供的人脸五官识别装置。如图9所示，电子设备90可以包括一个或多个(图中采用902a、902b，……，902n来示出)处理器902(处理器902可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器904、以及用于通信功能的传输装置906。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备90还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
应当注意到的是上述一个或多个处理器902和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备90(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器904可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器902通过运行存储在存储器94内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种人脸五官识别方法。存储器904可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至电子设备90。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备90的通信供应商提供的无线网络。在一个实例中，传输装置906包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输装置906可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备90(或移动设备)的用户界面进行交互。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种人脸五官识别方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的人脸五官识别方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸五官识别方法，其特征在于，所述方法包括：
获取待识别脸部五官图像；
通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
获取所述相匹配的标准五官特征对应的五官属性类型；
将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
其中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别脸部五官图像的步骤，包括：
采集待识别图像；
对所述待识别图像进行人脸检测得到人脸图像；
对所述人脸图像进行人脸关键点检测，得到至少一个所述待识别脸部五官图像；
其中，所述待识别脸部五官图像中包括眉部对象、眼部对象、耳部对象、鼻部对象或者口部对象。
3.根据权利要求1所述的方法，其特征在于，所述通过特征提取模型从所述待识别脸部五官图像中提取出五官特征，包括：
根据所述待识别脸部五官图像中的五官对象确定与所述五官对象对应的目标特征提取模型；
通过所述目标特征提取模型从所述待识别脸部五官图像中提取出所述五官特征。
4.根据权利要求1所述的方法，其特征在于，所述基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，包括：
将所述五官特征分别与所述多个标准五官特征进行相似度计算，得到相似度集合；
在所述相似度集合中确定出最大相似度；
将所述最大相似度对应的标准五官特征确定为所述相匹配的标准五官特征。
5.根据权利要求1所述的方法，其特征在于，所述脸部五官分类模型的训练过程包括如下步骤：
获取脸部五官样本图像；
将所述脸部五官样本图像输入神经网络模型进行图像分类训练；
在训练过程中，调整所述神经网络模型的模型参数至所述神经网络模型输出的分类结果与输入的所述脸部五官样本图像的所述分类标注信息相匹配；
将调整后的所述模型参数对应的所述神经网络模型作为所述人脸五官分类模型；
其中，所述脸部五官样本图像中包括眉部对象、眼部对象、耳部对象、鼻部对象或者口部对象。
6.根据权利要求5所述的方法，其特征在于，所述模型参数的调整过程包括如下步骤：
根据中间值与标注值得到损失值，所述中间值对应所述神经网络模型输出的分类结果，所述标注值对应输入的所述脸部五官样本图像的所述分类标注信息；
根据所述损失值得到所述模型参数的梯度；
基于所述模型参数的梯度更新所述模型参数。
7.根据权利要求5所述的方法，其特征在于，所述获取所述脸部五官样本图像，包括：
确定第一数量阈值和第二数量阈值，所述第一数量阈值表征候选用户的数量，所述第二数量阈值表征对应同一候选用户的图像数量；
根据所述第一数量阈值和所述第二数量阈值获取所述脸部五官样本图像。
8.一种人脸五官识别装置，其特征在于，所述装置包括：
图像获取模块：用于获取待识别脸部五官图像；
特征提取模块：用于通过特征提取模型从所述待识别脸部五官图像中提取出五官特征；
特征匹配模块：用于基于所述五官特征与多个标准五官特征间的相似度，确定与所述五官特征相匹配的标准五官特征，每个所述标准五官特征标注有对应的五官属性类型；
五官属性类型获取模块：用于获取所述相匹配的标准五官特征对应的五官属性类型；
五官属性类型标注模块：用于将所述相匹配的标准五官特征对应的五官属性类型作为所述待识别脸部五官图像的五官属性类型；
其中，所述特征提取模型对应脸部五官分类模型中用于提取脸部五官图像特征信息的网络结构，所述脸部五官分类模型是通过多个脸部五官样本图像进行机器学习训练获得的，所述脸部五官样本图像携带有所属用户的分类标注信息。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的人脸五官识别方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的人脸五官识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047655.3A CN110866469B (zh) | 2019-10-30 | 一种人脸五官识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047655.3A CN110866469B (zh) | 2019-10-30 | 一种人脸五官识别方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110866469A true CN110866469A (zh) | 2020-03-06 |
| CN110866469B CN110866469B (zh) | 2024-07-16 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950421A (zh) * | 2020-08-05 | 2020-11-17 | 广东金杭科技有限公司 | 人脸识别***和轨迹跟踪*** |
| CN112241689A (zh) * | 2020-09-24 | 2021-01-19 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN112836661A (zh) * | 2021-02-07 | 2021-05-25 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112884961A (zh) * | 2021-01-21 | 2021-06-01 | 吉林省吉科软信息技术有限公司 | 一种用于疫情防控的人脸识别闸机*** |
| CN115376196A (zh) * | 2022-10-25 | 2022-11-22 | 上海联息生物科技有限公司 | 图像处理方法、金融隐私数据的安全处理方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844781A (zh) * | 2017-11-28 | 2018-03-27 | 腾讯科技（深圳）有限公司 | 人脸属性识别方法及装置、电子设备及存储介质 |
| CN108021905A (zh) * | 2017-12-21 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图片处理方法、装置、终端设备及存储介质 |
| CN108345849A (zh) * | 2018-01-31 | 2018-07-31 | 深圳港云科技有限公司 | 一种面部识别方法及其设备 |
| CN108510456A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 基于感知损失的深度卷积神经网络的草图简化方法 |
| WO2019071664A1 (zh) * | 2017-10-09 | 2019-04-18 | 平安科技（深圳）有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
| CN109727350A (zh) * | 2018-12-14 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 一种基于人脸识别的门禁控制方法及装置 |
| CN109784154A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 基于深度神经网络的情绪识别方法、装置、设备及介质 |
| CN109902660A (zh) * | 2019-03-18 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种表情识别方法及装置 |
| CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
| CN110069985A (zh) * | 2019-03-12 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的目标点位置检测方法、装置、电子设备 |
| CN110321437A (zh) * | 2019-05-27 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 一种语料数据处理方法、装置、电子设备及介质 |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071664A1 (zh) * | 2017-10-09 | 2019-04-18 | 平安科技（深圳）有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
| CN107844781A (zh) * | 2017-11-28 | 2018-03-27 | 腾讯科技（深圳）有限公司 | 人脸属性识别方法及装置、电子设备及存储介质 |
| CN108021905A (zh) * | 2017-12-21 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图片处理方法、装置、终端设备及存储介质 |
| CN108345849A (zh) * | 2018-01-31 | 2018-07-31 | 深圳港云科技有限公司 | 一种面部识别方法及其设备 |
| CN108510456A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 基于感知损失的深度卷积神经网络的草图简化方法 |
| CN109784154A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 基于深度神经网络的情绪识别方法、装置、设备及介质 |
| CN109727350A (zh) * | 2018-12-14 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 一种基于人脸识别的门禁控制方法及装置 |
| CN110069985A (zh) * | 2019-03-12 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的目标点位置检测方法、装置、电子设备 |
| CN109902660A (zh) * | 2019-03-18 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种表情识别方法及装置 |
| CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
| CN110321437A (zh) * | 2019-05-27 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 一种语料数据处理方法、装置、电子设备及介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950421A (zh) * | 2020-08-05 | 2020-11-17 | 广东金杭科技有限公司 | 人脸识别***和轨迹跟踪*** |
| CN112241689A (zh) * | 2020-09-24 | 2021-01-19 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN112884961A (zh) * | 2021-01-21 | 2021-06-01 | 吉林省吉科软信息技术有限公司 | 一种用于疫情防控的人脸识别闸机*** |
| CN112836661A (zh) * | 2021-02-07 | 2021-05-25 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN115376196A (zh) * | 2022-10-25 | 2022-11-22 | 上海联息生物科技有限公司 | 图像处理方法、金融隐私数据的安全处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108280477B (zh) | 用于聚类图像的方法和装置 | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN112287820A (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
| US20190087683A1 (en) | Method and apparatus for outputting information | |
| CN111680678B (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113538441A (zh) | 图像分割模型的处理方法、图像处理方法及装置 | |
| CN112446322B (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN112419326A (zh) | 图像分割数据处理方法、装置、设备及存储介质 | |
| CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN111582342A (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN112818995B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN105430394A (zh) | 视频数据压缩处理方法、装置和设备 | |
| CN113706562B (zh) | 图像分割方法、装置、***及细胞分割方法 | |
| CN113011387A (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
| CN115131801A (zh) | 基于多模态的文档识别方法、装置、设备和存储介质 | |
| Liao et al. | Multi-scale saliency features fusion model for person re-identification | |
| CN111582449B (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| CN113706550A (zh) | 图像场景识别和模型训练方法、装置和计算机设备 | |
| CN113569081A (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN111626212A (zh) | 图片中对象的识别方法和装置、存储介质及电子装置 | |
| CN111814811A (zh) | 图像信息提取方法、训练方法及装置、介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022143 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |