CN105975961A - 人脸识别的方法、装置及终端 - Google Patents

人脸识别的方法、装置及终端 Download PDF

Info

Publication number
CN105975961A
CN105975961A CN201610491320.0A CN201610491320A CN105975961A CN 105975961 A CN105975961 A CN 105975961A CN 201610491320 A CN201610491320 A CN 201610491320A CN 105975961 A CN105975961 A CN 105975961A
Authority
CN
China
Prior art keywords
face
area
target image
region
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610491320.0A
Other languages
English (en)
Other versions
CN105975961B (zh
Inventor
陈志军
龙飞
张旭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201610491320.0A priority Critical patent/CN105975961B/zh
Publication of CN105975961A publication Critical patent/CN105975961A/zh
Application granted granted Critical
Publication of CN105975961B publication Critical patent/CN105975961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种人脸识别的方法、装置及终端,所述方法的一具体实施方式包括:获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。该实施方式在保证不降低识别精度的情况下,无需对整个图像的每个区域进行精确识别,从而节省了时间,提高了人脸识别的效率。

Description

人脸识别的方法、装置及终端
技术领域
本公开涉及计算机技术领域,特别涉及一种人脸识别的方法、装置及终端。
背景技术
人脸识别技术是当前发展非常迅速的一项计算机技术,可以广泛应用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域。随着技术的进一步成熟和社会认同度的提高,人脸识别技术将应用在更多的领域,具有更加广阔的应用前景。
在相关技术中,为了提高人脸识别的准确度,可以采用卷积神经网络技术对图像进行人脸识别。但是,在对图像进行识别时,通常需要对整个图像的每个区域进行精确识别,从而才能较为准确的定位出图像中的人脸位置。从而浪费了时间,降低了人脸识别的效率。
发明内容
为了解决上述技术问题,本公开提供一种人脸识别的方法、装置及终端。
根据本公开实施例的第一方面,提供一种人脸识别的方法,包括:
获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;
根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。
可选的,所述获取第一区域,包括:
获取所述目标图像对应的人脸概率的分布信息,所述人脸概率为具有人脸特征的概率;
基于所述目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域。
可选的,所述获取所述目标图像对应的人脸概率的分布信息,包括:
基于全卷积网络获取所述目标图像中每个检测区域的人脸概率;
根据所述每个检测区域的人脸概率及位置信息,确定所述目标图像对应的人脸概率的分布信息。
可选的,所述基于全卷积网络获取所述目标图像中每个检测区域的人脸概率,包括:
采用预先训练的全卷积网络人脸识别模型对第一尺度下的所述目标图像进行识别,以获取所述目标图像中每个检测区域的人脸概率;其中,所述第一尺度小于所述目标图像的原尺度。
可选的,所述基于所述目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域,包括:
将所述目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,从所述目标图像中获取包含所述第二区域的最小矩形区域作为第一区域。
可选的,所述将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域,包括:
获取所述第一区域对应的人脸概率的分布信息;
基于所述第一区域对应的人脸概率的分布信息,从所述第一区域中检测出所述目标区域。
可选的,所述获取所述第一区域对应的人脸概率的分布信息,包括:
采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取所述第一区域对应的人脸概率的分布信息,其中,所述第二尺度小于所述目标图像的原尺度,大于所述第一尺度。
可选的,重复执行以下检测步骤,以从所述第一区域中分别检测出每个 所述目标区域:
获取所述第一区域中未被标记人脸标识的检测区域的集合;
将所述集合中满足第一预定条件的检测区域,作为中心检测区域;
将所述中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域;
将所述中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对所述中心检测区域以及对应的周边检测区域标记相同的人脸标识。
可选的,所述将所述中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域,包括:
从与所述中心检测区域相邻的检测区域开始,依次获取满足第二预定条件的检测区域作为对应的周边检测区域。
可选的,所述满足第一预定条件包括:人脸概率最大,并且人脸概率大于或者等于第二概率。
所述满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。
可选的,所述根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息,包括:
基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域;
基于所述精确区域确定出所述目标图像中每张人脸对应的位置信息。
可选的,所述基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域,包括:
若存在相邻的目标区域,将包含相邻目标区域的最小矩形区域作为候选区域;
采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取所述候选区域对应的人脸概率的分布信息,其中,所述第三尺度小于或者等于所述目标图像的原尺度,大于所述第二尺度;
重复执行所述检测步骤,以获取所述目标图像中每张人脸对应的精确区域。
可选的,针对每张人脸,确定出所述目标图像中该人脸对应的位置信息,包括:
以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例;
获取该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
根据本公开实施例的第二方面,提供一种人脸识别的装置,包括:
获取模块,被配置为获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
检测模块,被配置为将从所述获取模块获取的第一区域中检测出的每张人脸所对应的区域作为目标区域;
确定模块,被配置为根据所述检测模块检测出的目标区域确定出所述目标图像中每张人脸对应的位置信息。
可选的,所述获取模块包括:
第一获取子模块,被配置为获取所述目标图像对应的人脸概率的分布信息,所述人脸概率为具有人脸特征的概率;
第二获取子模块,被配置为基于所述第一获取子模块获取的目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域。
可选的,所述第一获取子模块包括:
概率获取子模块,被配置为基于全卷积网络获取所述目标图像中每个检测区域的人脸概率;
信息确定子模块,被配置为根据所述概率获取子模块获取的每个检测区域的人脸概率及位置信息,确定所述目标图像对应的人脸概率的分布信息。
可选的,所述概率获取子模块包括:
第一识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第一尺度下的所述目标图像进行识别,以获取所述目标图像中每个检测区域 的人脸概率;其中,所述第一尺度小于所述目标图像的原尺度。
可选的,所述第二获取子模块包括:
区域获取子模块,被配置为将所述目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,从所述目标图像中获取包含所述第二区域的最小矩形区域作为第一区域。
可选的,所述检测模块包括:
第三获取子模块,被配置为获取所述第一区域对应的人脸概率的分布信息;
检测子模块,被配置为基于所述第三获取子模块获取的第一区域对应的人脸概率的分布信息,从所述第一区域中检测出所述目标区域。
可选的,所述第三获取子模块包括:
第二识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取所述第一区域对应的人脸概率的分布信息,其中,所述第二尺度小于所述目标图像的原尺度,大于所述第一尺度。
可选的,所述检测子模块包括:
集合获取子模块,被配置为获取所述第一区域中未被标记人脸标识的检测区域的集合;
中心检测区域确定子模块,被配置为将所述集合获取子模块获取的集合中满足第一预定条件的检测区域,作为中心检测区域;
周边检测区域确定子模块,被配置为将所述中心检测区域确定子模块确定的中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域;
标记子模块,被配置为将所述中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对所述中心检测区域以及对应的周边检测区域标记相同的人脸标识。
可选的,所述周边检测区域确定子模块包括:
条件检测子模块,被配置为从与所述中心检测区域相邻的检测区域开始,依次获取满足第二预定条件的检测区域作为对应的周边检测区域。
可选的,所述满足第一预定条件包括:人脸概率最大,并且人脸概率大于或者等于第二概率。
所述满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。
可选的,所述确定模块包括:
精确区域确定子模块,被配置为基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域;
位置信息确定子模块,被配置为基于所述精确区域确定子模块确定的精确区域确定出所述目标图像中每张人脸对应的位置信息。
可选的,所述精确区域确定子模块包括:
选取子模块,被配置为在存在相邻的目标区域时,将包含相邻目标区域的最小矩形区域作为候选区域;
第三识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取所述候选区域对应的人脸概率的分布信息,其中,所述第三尺度小于或者等于所述目标图像的原尺度,大于所述第二尺度;
执行子模块,被配置为重复执行所述检测步骤,以获取所述目标图像中每张人脸对应的精确区域。
可选的,位置信息确定子模块包括:
圆形区域获取子模块,被配置为以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例;
位置信息获取子模块,被配置为获取所述圆形区域获取子模块获取的该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
根据本公开实施例的第三方面,提供一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;
根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的上述实施例提供的人脸识别的方法,首先从待识别的目标图像中获取包含所有人脸的部分区域作为第一区域,然后对第一区域进行识别,从中检测出的每张人脸所对应的区域作为目标区域,最后根据目标区域确定出目标图像中每张人脸对应的位置信息。从而在保证不降低识别精度的情况下,无需对整个图像的每个区域进行精确识别,节省了时间,提高了人脸识别的效率。
本公开的上述实施例提供的人脸识别的方法,通过获取目标图像对应的人脸概率的分布信息,并基于目标图像对应的人脸概率的分布信息从目标图像中获取部分区域作为第一区域,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
本公开的上述实施例提供的人脸识别的方法,在获取到第一区域后,获取第一区域对应的人脸概率的分布信息,基于第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域,并根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
本公开的上述实施例提供的人脸识别的方法,在获取到第一区域后,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,并基于目标区域确定出目标图像中每张人脸对应的精确区域,基于精确区域确定出目标图 像中每张人脸对应的位置信息。从而提高了人脸识别的精确度和效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1A是本公开根据一示例性实施例示出的一种人脸识别的方法的流程图;
图1B是本公开根据一示例性实施例示出的一种从目标图像中选取第一区域的示意图;
图2是本公开根据一示例性实施例示出的另一种人脸识别的方法的流程图;
图3A是本公开根据一示例性实施例示出的另一种人脸识别的方法的流程图;
图3B是本公开根据一示例性实施例示出的一种从第一区域中检测出目标区域的方法的流程图;
图4是本公开根据一示例性实施例示出的另一种人脸识别的方法的流程图;
图5是本公开根据一示例性实施例示出的一种人脸识别的装置的框图;
图6是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图7是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图8是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图9是本公开根据一示例性实施例示出的另一种人脸识别的装置的框 图;
图10是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图11是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图12是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图13是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图14是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图15是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图16是本公开根据一示例性实施例示出的另一种人脸识别的装置的框图;
图17是本公开根据一示例性实施例示出的一种人脸识别的装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解, 本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1A所示,图1A是根据一示例性实施例示出的一种人脸识别的方法的流程图,该方法可以应用于终端设备或者服务器中。本领域技术人员可以理解,该终端设备可以包括但不限于诸如智能手机的移动终端设备、智能穿戴式设备、平板电脑、个人数字助理、膝上型便携计算机以及台式电脑等等。该方法包括以下步骤:
在步骤101中,获取第一区域。
在本实施例中,首先可以获取待识别的图像作为目标图像。可以通过摄像设备直接采集图像,并将采集到的图像作为目标图像,也可以从本地预存的图像中选取一些图像作为目标图像,还可以接收其它的终端设备或者服务器传输的图像作为目标图像。可以理解,还可以通过其它方式获取目标图像,本公开对获取目标图像的具体方式方面不限定。
接着,可以从目标图像中获取第一区域,该第一区域包含目标图像中的所有人脸,并且,该第一区域为目标图像中的部分区域。如图1B所示,图像111为目标图像,区域112为目标图像中的人脸区域,可以将区域113作为第一区域,该区域113包含目标图像中的所有人脸。也可以将区域114作为第一区域,该区域114也包含目标图像中的所有人脸。可以理解,目标图像中任意包含所有人脸的部分区域均可以作为第一区域,本公开对第一区域的具体选择方面不限定。
在本实施例中,需要先粗略的检测出目标图像中人脸的大概区域,根据目标图像中人脸的大概区域获取第一区域。在一种实现方式中,可以采用现 有的一些精确度较低的方式,直接对目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。在另一种实现方式中,还可以基于全卷积网络的算法对缩小尺度的目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。可以理解,还可以通过其它方式获取目标图像中每个检测区域的人脸概率,本公开对获取目标图像中每个检测区域的人脸概率的具体方式方面不限定。
在步骤102中,将从第一区域中检测出的每张人脸所对应的区域作为目标区域。
在步骤103中,根据目标区域确定出目标图像中每张人脸对应的位置信息。
在本实施例中,可以忽略目标图像中除第一区域以外的其它区域,仅对第一区域进行识别分析,以从第一区域中分别检测出每张人脸对应的区域作为目标区域。由于每个人脸对应的目标区域可能是一个圆形区域或者是一个近似圆形的不规则区域,而图像由多行多列排布的像素点构成,因此,为了便于描述和标记,可以根据每个人脸对应的目标区域确定出包含该目标区域的一个矩形区域,用该矩形区域描述和标记目标图像中对应人脸的位置信息。
本公开的上述实施例提供的人脸识别的方法,首先从待识别的目标图像中获取包含所有人脸的部分区域作为第一区域,然后对第一区域进行识别,从中检测出的每张人脸所对应的区域作为目标区域,最后根据目标区域确定出目标图像中每张人脸对应的位置信息。从而在保证不降低识别精度的情况下,无需对整个图像的每个区域进行精确识别,节省了时间,提高了人脸识别的效率。
如图2所示,图2根据一示例性实施例示出的另一种人脸识别的方法的流程图,该实施例详细描述了获取第一区域的过程,该方法可以应用于终端设备或者服务器中,包括以下步骤:
在步骤201中,获取目标图像对应的人脸概率的分布信息。
在本实施例中,上述人脸概率为具有人脸特征的概率。在获取到待识别 的目标图像以后,可以获取目标图像对应的人脸概率的分布信息。在本实施例的一种实现方式中,可以采用现有的一些精确度较低的方式,直接对目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。
在本实施例的另一种实现方式中,还可以基于全卷积网络获取目标图像对应的人脸概率的分布信息。采用全卷积网络技术获取的目标图像对应的人脸概率的分布信息具有更高的准确度。具体来说,首先,可以基于全卷积网络获取目标图像中每个检测区域的人脸概率。对于目标图像来说,由多个行和列的像素点排布而成,可以将目标图像按照像素点的排布均匀划分成多个区域作为检测区域,每个检测区域包括一组矩形像素点的阵列。例如,可以以16*16的矩形像素点阵列为单位,对目标图像划分检测区域,假设,目标图像的像素为1600*3200,则可以从目标图像中划分出100*200个检测区域。以每个检测区域为一个检测单位,分别计算每个检测区域的人脸概率。可以理解,还可以以32*32的矩形像素点阵列为单位,对目标图像划分检测区域,本公开对检测区域的具体划分方面不限定。
在本实施例中,可以采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别,以获取目标图像中每个检测区域的人脸概率。其中,第一尺度小于目标图像的原尺度。具体地,可以先将目标图像缩小至第一尺度,此时,目标图像的像素值也比原目标图像的像素值有所减少。然后,将缩小后的目标图像划分出多个检测区域,采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别,得到的识别结果为目标图像中每个检测区域的人脸概率。由于缩小后的目标图像的像素值比原目标图像的像素值有所减少,因此,在采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别时,计算量比采用上述模型对原尺度下的目标图像进行识别时的计算量小,因此提高了计算速度。
接着,可以根据每个检测区域的人脸概率及位置信息,确定目标图像对应的人脸概率的分布信息。具体来说,可以获取每个检测区域的位置信息,然后将每个检测区域的位置信息与对应的人脸概率相关联,从而生成目标图 像对应的人脸概率的分布信息。例如,可以生成目标图像对应的人脸概率的热度图,该热度图可以用于描述目标图像对应的人脸概率的分布信息。
在步骤202中,基于目标图像对应的人脸概率的分布信息从目标图像中获取部分区域作为第一区域。
在本实施例中,可以对目标图像中每个检测区域对应的人脸概率进行统计计算,获取目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,可以将第二区域作为粗略获取到的人脸区域。其中,第一概率为预设的一个概率的阈值,第一概率可以是一个经验值,可以理解,本公开对第一概率的具体取值方面不限定。
在本实施例中,可以将目标图像中任意包含第二区域的区域作为第一区域。进一步的,还可以从目标图像中获取包含第二区域的最小矩形区域作为第一区域。可以理解,如果第二区域选取的面积最小,则计算量也是最小的,因此提高了计算速度。
在步骤203中,将从第一区域中检测出的每张人脸所对应的区域作为目标区域。
在步骤204中,根据目标区域确定出目标图像中每张人脸对应的位置信息。
需要说明的是,对于与图1A实施例中相同的步骤,在上述图2实施例中不再进行赘述,相关内容可参见图1A实施例。
本公开的上述实施例提供的人脸识别的方法,通过获取目标图像对应的人脸概率的分布信息,并基于目标图像对应的人脸概率的分布信息从目标图像中获取部分区域作为第一区域,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
如图3A所示,图3A是根据一示例性实施例示出的另一种人脸识别的方法的流程图,该实施例详细描述了将从第一区域中检测出的每张人脸所对应的区域作为目标区域的过程,该方法可以用于终端设备或者服务器中,包括 以下步骤:
在步骤301中,获取第一区域。
在步骤302中,获取第一区域对应的人脸概率的分布信息。
在本实施例中,在获取到第一区域后,接着获取第一区域对应的人脸概率的分布信息。可以采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取第一区域对应的人脸概率的分布信息,其中,第二尺度小于目标图像的原尺度,大于图2实施例中的第一尺度。
具体来说,可以先将目标图像缩小至第二尺度,此时,目标图像的像素值比原目标图像的像素值有所减少,但比图2实施例中的图像的像素值有所增加。然后,从缩小后的目标图像中取缩小的第一区域,将缩小后的第一区域划分出多个检测区域,采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,得到的识别结果为第一区域中每个检测区域的人脸概率。
由于缩小后的第一区域的像素值比原第一区域的像素值有所减少,因此,在采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别时,计算量比采用上述模型对原尺度下的第一区域进行识别时的计算量小,所以提高了计算速度。但比图2实施例中的图像的像素值有所增加,因此,计算目标图像中每个检测区域的人脸概率的精确度大于图2实施例中粗略计算的精确度。
需要说明的是,还可以先从原目标图像中获取第一区域,然后仅对获取到的第一区域进行缩小处理,缩小至第二尺度下,本公开对此方面不限定。
在步骤303中,基于第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域。
在本实施例中,可以根据第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域。如图3B所示,图3B是根据一示例性实施例示出的一种从第一区域中检测出目标区域的方法的流程图,可以通过重复执行检测步骤311-314,从第一区域中分别检测出每个目标区域。每执行一次该检测 步骤,可以检测出一张人脸的区域。该检测步骤可以包括:
在步骤311中,获取第一区域中未被标记人脸标识的检测区域的集合。
在本实施例中,当第一区域中的检测区域被确定为人脸区域后,可以采用人脸标识对该检测区域进行标记,并且采用相同的人脸标识标记对应于同一张人脸的检测区域。因此,首先,可以获取第一区域中未被标记人脸标识的检测区域的集合。
在步骤312中,将集合中满足第一预定条件的检测区域,作为中心检测区域。
在本实施例中,满足第一预定条件可以包括:人脸概率最大,并且人脸概率大于或者等于第二概率。其中,第二概率为预设的一个概率的阈值,第二概率可以是一个经验值,可以理解,本公开对第二概率的具体取值方面不限定。需要说明的是,第二概率应该大于图2实施例中的第一概率。
因此,可以从上述集合中对应的人脸概率大于或者等于第二概率的检测区域中,获取人脸概率最大的检测区域,将该检测区域最为中心区域。
在步骤313中,将中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域。
在本实施例中,满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。例如,检测区域SA与中心检测区域S0之间,相隔的所有检测区域包括SB、SC、SD,如果检测区域SA的人脸概率均小于检测区域SB、SC、SD的人脸概率,则检测区域SA可以作为中心检测区域S0对应的周边检测区域。
具体来说,可以从与中心检测区域相邻的检测区域开始,向离开中心检测区域的方向,依次判断检测区域是否满足第二预定条件,直至检测到不满足第二预定条件的检测区域为止,停止检测不满足第二预定条件的检测区域的相邻区域。并获取满足第二预定条件的检测区域作为对应的周边检测区域。
例如,可以先判断与中心检测区域相邻的四个检测区域是否满足第二预定条件,如果满足第二预定条件,则将这四个检测区域作为对应的周边检测 区域。并分别判断这四个周边检测区域相邻的检测区域是否满足第二预定条件,如果满足第二预定条件,则将满足第二预定条件的相邻检测区域也作为对应的周边检测区域。以此类推,直到检测出不满足第二预定条件的检测区域,停止继续检测相邻的检测区域。
在步骤314中,将中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对中心检测区域以及对应的周边检测区域标记相同的人脸标识。
在本实施例中,可以将中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对中心检测区域以及对应的周边检测区域标记相同的人脸标识。
在步骤304中,根据目标区域确定出目标图像中每张人脸对应的位置信息。
需要说明的是,对于与图1A和图2实施例中相同的步骤,在上述图3A实施例中不再进行赘述,相关内容可参见图1A和图2实施例。
本公开的上述实施例提供的人脸识别的方法,在获取到第一区域后,获取第一区域对应的人脸概率的分布信息,基于第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域,并根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
如图4所示,图4是根据一示例性实施例示出的另一种人脸识别的方法的流程图,该实施例详细描述了根据目标区域确定出目标图像中每张人脸对应的位置信息的过程,该方法可以用于终端设备或者服务器中,包括以下步骤:
在步骤401中,获取第一区域。
在步骤402中,将从第一区域中检测出的每张人脸所对应的区域作为目标区域。
在步骤403中,基于目标区域确定出目标图像中每张人脸对应的精确区 域。
在本实施例中,如果每个目标区域都是独立的,相互之间不相邻,则可以将独立的每个目标区域作为目标图像中每张人脸对应的精确区域。不需要再进行进一步精确的计算。如果存在相邻的目标区域,则说明两张人脸可能离得比较近,需要进行进一步精确的计算,从而确定出目标图像中每张人脸对应的精确区域。
具体来说,可以将包含相邻目标区域的最小矩形区域作为候选区域,采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取候选区域对应的人脸概率的分布信息,其中,第三尺度小于或者等于目标图像的原尺度,大于第二尺度。然后,通过重复执行检测步骤311~314,从而获取目标图像中每张人脸对应的精确区域。
在步骤404中,基于精确区域确定出目标图像中每张人脸对应的位置信息。
在本实施例中,针对每张人脸,可以通过如下方式确定出目标图像中该人脸对应的位置信息:首先,可以以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例。然后,获取该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
需要说明的是,对于与图1A-图3A实施例中相同的步骤,在上述图4实施例中不再进行赘述,相关内容可参见图1A-图3A实施例。
本公开的上述实施例提供的人脸识别的方法,在获取到第一区域后,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,并基于目标区域确定出目标图像中每张人脸对应的精确区域,基于精确区域确定出目标图像中每张人脸对应的位置信息。从而提高了人脸识别的精确度和效率。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执 行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
与前述人脸识别的方法实施例相对应,本公开还提供了人脸识别的装置及其所应用的终端的实施例。
如图5所示,图5是本公开根据一示例性实施例示出的一种人脸识别的装置框图,该装置包括:获取模块501,检测模块502以及确定模块503。
其中,获取模块501,被配置为获取第一区域,第一区域为待识别的目标图像中的部分区域,第一区域包含目标图像中的所有人脸。
在本实施例中,首先可以获取待识别的图像作为目标图像。可以通过摄像设备直接采集图像,并将采集到的图像作为目标图像,也可以从本地预存的图像中选取一些图像作为目标图像,还可以接收其它的终端设备或者服务器传输的图像作为目标图像。可以理解,还可以通过其它方式获取目标图像,本公开对获取目标图像的具体方式方面不限定。
接着,可以从目标图像中获取第一区域,该第一区域包含目标图像中的所有人脸,并且,该第一区域为目标图像中的部分区域。在本实施例中,需要先粗略的检测出目标图像中人脸的大概区域,根据目标图像中人脸的大概区域获取第一区域。在一种实现方式中,可以采用现有的一些精确度较低的方式,直接对目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。在另一种实现方式中,还可以基于全卷积网络的算法对缩小尺度的目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。可以理解,还可以通过其它方式获取目标图像中每个检测区域的人脸概率,本公开对获取目标图像中每个检测区域的人脸概率的具体方式方面不限定。
检测模块502,被配置为将从获取模块501获取的第一区域中检测出的每张人脸所对应的区域作为目标区域。
确定模块503,被配置为根据检测模块502检测出的目标区域确定出目标图像中每张人脸对应的位置信息。
在本实施例中,可以忽略目标图像中除第一区域以外的其它区域,仅对第一区域进行识别分析,以从第一区域中分别检测出每张人脸对应的区域作为目标区域。由于每个人脸对应的目标区域可能是一个圆形区域或者是一个近似圆形的不规则区域,而图像由多行多列排布的像素点构成,因此,为了便于描述和标记,可以根据每个人脸对应的目标区域确定出包含该目标区域的一个矩形区域,用该矩形区域描述和标记目标图像中对应人脸的位置信息。
如图5所示的装置用于实现上述如图1A所示的方法流程。上述人脸识别的装置实施例,首先由获取模块501从待识别的目标图像中获取包含所有人脸的部分区域作为第一区域,然后检测模块502对第一区域进行识别,从中检测出的每张人脸所对应的区域作为目标区域,最后确定模块503根据目标区域确定出目标图像中每张人脸对应的位置信息。从而在保证不降低识别精度的情况下,无需对整个图像的每个区域进行精确识别,节省了时间,提高了人脸识别的效率。
如图6所示,图6是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图5所示实施例的基础上,获取模块501可以包括:第一获取子模块601和第二获取子模块602。
其中,第一获取子模块601,被配置为获取目标图像对应的人脸概率的分布信息,人脸概率为具有人脸特征的概率。
在本实施例中,在获取到待识别的目标图像以后,可以获取目标图像对应的人脸概率的分布信息。在本实施例的一种实现方式中,可以采用现有的一些精确度较低的方式,直接对目标图像进行识别,从而粗略的获取目标图像中每个检测区域的人脸概率。
在本实施例的另一种实现方式中,还可以基于全卷积网络获取目标图像对应的人脸概率的分布信息。采用全卷积网络技术获取的目标图像对应的人脸概率的分布信息具有更高的准确度。
第二获取子模块602,被配置为基于第一获取子模块601获取的目标图像对应的人脸概率的分布信息从目标图像中获取部分区域作为第一区域。
在本实施例中,可以对目标图像中每个检测区域对应的人脸概率进行统计计算,获取目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,可以将第二区域作为粗略获取到的人脸区域。其中,第一概率为预设的一个概率的阈值,第一概率可以是一个经验值,可以理解,本公开对第一概率的具体取值方面不限定。
上述人脸识别的装置实施例,通过第一获取子模块601获取目标图像对应的人脸概率的分布信息,并由第二获取子模块602基于目标图像对应的人脸概率的分布信息从目标图像中获取部分区域作为第一区域,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
如图7所示,图7是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图6所示实施例的基础上,第一获取子模块601可以包括:概率获取子模块701和信息确定子模块702。
其中,概率获取子模块701,被配置为基于全卷积网络获取目标图像中每个检测区域的人脸概率。
在本实施例中,对于目标图像来说,由多个行和列的像素点排布而成,可以将目标图像按照像素点的排布均匀划分成多个区域作为检测区域,每个检测区域包括一组矩形像素点的阵列。例如,可以以16*16的矩形像素点阵列为单位,对目标图像划分检测区域,假设,目标图像的像素为1600*3200,则可以从目标图像中划分出100*200个检测区域。以每个检测区域为一个检测单位,分别计算每个检测区域的人脸概率。可以理解,还可以以32*32的矩形像素点阵列为单位,对目标图像划分检测区域,本公开对检测区域的具体划分方面不限定。
信息确定子模块702,被配置为根据概率获取子模块701获取的每个检测区域的人脸概率及位置信息,确定目标图像对应的人脸概率的分布信息。
在本实施例中,可以获取每个检测区域的位置信息,然后将每个检测区 域的位置信息与对应的人脸概率相关联,从而生成目标图像对应的人脸概率的分布信息。例如,可以生成目标图像对应的人脸概率的热度图,该热度图可以用于描述目标图像对应的人脸概率的分布信息。
上述人脸识别的装置实施例,通过概率获取子模块701基于全卷积网络获取目标图像中每个检测区域的人脸概率。并由信息确定子模块702根据概率获取子模块701获取的每个检测区域的人脸概率及位置信息,确定目标图像对应的人脸概率的分布信息。从而进一步地节省了时间,提高了人脸识别的效率。
如图8所示,图8是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图7所示实施例的基础上,概率获取子模块701可以包括:第一识别子模块801。
其中,第一识别子模块801,被配置为采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别,以获取目标图像中每个检测区域的人脸概率;其中,第一尺度小于目标图像的原尺度。
在本实施例中,具体地,可以先将目标图像缩小至第一尺度,此时,目标图像的像素值也比原目标图像的像素值有所减少。然后,将缩小后的目标图像划分出多个检测区域,采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别,得到的识别结果为目标图像中每个检测区域的人脸概率。
上述人脸识别的装置实施例,由于缩小后的目标图像的像素值比原目标图像的像素值有所减少,在采用预先训练的全卷积网络人脸识别模型对第一尺度下的目标图像进行识别时,计算量比采用上述模型对原尺度下的目标图像进行识别时的计算量小,因此提高了计算速度。
如图9所示,图9是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图6所示实施例的基础上,第二获取子模块602可以包括:区域获取子模块901。
其中,区域获取子模块901,被配置为将目标图像中人脸概率大于或者 等于第一概率的区域作为第二区域,从目标图像中获取包含第二区域的最小矩形区域作为第一区域。
在本实施例中,可以将目标图像中任意包含第二区域的区域作为第一区域。进一步的,还可以从目标图像中获取包含第二区域的最小矩形区域作为第一区域。
上述人脸识别的装置实施例,由于第二区域选取的面积最小,则计算量也是最小的,因此提高了计算速度。
如图10所示,图10是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图5所示实施例的基础上,检测模块502可以包括:第三获取子模块1001和检测子模块1002。
其中,第三获取子模块1001,被配置为获取第一区域对应的人脸概率的分布信息。
在本实施例中,在获取到第一区域后,接着获取第一区域对应的人脸概率的分布信息。可以采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取第一区域对应的人脸概率的分布信息,其中,第二尺度小于目标图像的原尺度,大于图2实施例中的第一尺度。
检测子模块1002,被配置为基于第三获取子模块1001获取的第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域。
在本实施例中,可以根据第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域。可以由检测子模块1002重复执行3B所示的检测步骤,从第一区域中分别检测出每个目标区域。每执行一次该检测步骤,可以检测出一张人脸的区域。
如图10所示的装置用于实现上述如图3A所示的方法流程。上述人脸识别的装置实施例,在获取到第一区域后,通过获取第一区域对应的人脸概率的分布信息,基于第一区域对应的人脸概率的分布信息,从第一区域中检测出目标区域,并根据目标区域确定出目标图像中每张人脸对应的位置信息。从而进一步地节省了时间,提高了人脸识别的效率。
如图11所示,图11是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图10所示实施例的基础上,第三获取子模块1001可以包括:第二识别子模块1101。
其中,第二识别子模块1101,被配置为采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取第一区域对应的人脸概率的分布信息,其中,第二尺度小于目标图像的原尺度,大于第一尺度。
具体来说,可以先将目标图像缩小至第二尺度,此时,目标图像的像素值比原目标图像的像素值有所减少,但比图2实施例中的图像的像素值有所增加。然后,从缩小后的目标图像中取缩小的第一区域,将缩小后的第一区域划分出多个检测区域,采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,得到的识别结果为第一区域中每个检测区域的人脸概率。
上述人脸识别的装置实施例,由于缩小后的第一区域的像素值比原第一区域的像素值有所减少,因此,在采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别时,计算量比采用上述模型对原尺度下的第一区域进行识别时的计算量小,所以提高了计算速度。但比图2实施例中的图像的像素值有所增加,因此,计算目标图像中每个检测区域的人脸概率的精确度大于图2实施例中粗略计算的精确度。
如图12所示,图12是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图10所示实施例的基础上,检测子模块1002可以包括:集合获取子模块1201,中心检测区域确定子模块1202,周边检测区域确定子模块1203和标记子模块1204。
其中,集合获取子模块1201,被配置为获取第一区域中未被标记人脸标识的检测区域的集合。
在本实施例中,当第一区域中的检测区域被确定为人脸区域后,可以采用人脸标识对该检测区域进行标记,并且采用相同的人脸标识标记对应于同一张人脸的检测区域。因此,首先,可以获取第一区域中未被标记人脸标识 的检测区域的集合。
中心检测区域确定子模块1202,被配置为将集合获取子模块1201获取的集合中满足第一预定条件的检测区域,作为中心检测区域。
在本实施例中,满足第一预定条件可以包括:人脸概率最大,并且人脸概率大于或者等于第二概率。其中,第二概率为预设的一个概率的阈值,第二概率可以是一个经验值,可以理解,本公开对第二概率的具体取值方面不限定。需要说明的是,第二概率应该大于第一概率。
因此,可以从上述集合中对应的人脸概率大于或者等于第二概率的检测区域中,获取人脸概率最大的检测区域,将该检测区域最为中心区域。
周边检测区域确定子模块1203,被配置为将中心检测区域确定子模块1202确定的中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域。
在本实施例中,满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。具体来说,可以从与中心检测区域相邻的检测区域开始,向离开中心检测区域的方向,依次判断检测区域是否满足第二预定条件,直至检测到不满足第二预定条件的检测区域为止,停止检测不满足第二预定条件的检测区域的相邻区域。并获取满足第二预定条件的检测区域作为对应的周边检测区域。
例如,可以先判断与中心检测区域相邻的四个检测区域是否满足第二预定条件,如果满足第二预定条件,则将这四个检测区域作为对应的周边检测区域。并分别判断这四个周边检测区域相邻的检测区域是否满足第二预定条件,如果满足第二预定条件,则将满足第二预定条件的相邻检测区域也作为对应的周边检测区域。以此类推,直到检测出不满足第二预定条件的检测区域,停止继续检测相邻的检测区域。
标记子模块1204,被配置为将中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对中心检测区域以及对应的周边检测区域标记相同的人脸标识。
在本实施例中,可以将中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对中心检测区域以及对应的周边检测区域标记相同的人脸标识。
如图12所示的装置用于实现上述如图3B所示的方法流程。上述人脸识别的装置实施例,可以检测出每张人脸的区域。从而进一步地节省了时间,提高了人脸识别的效率。
如图13所示,图13是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图12所示实施例的基础上,周边检测区域确定子模块1203可以包括:条件检测子模块1301。
其中,条件检测子模块1301,被配置为从与中心检测区域相邻的检测区域开始,依次获取满足第二预定条件的检测区域作为对应的周边检测区域。
在一些可选实施方式中,满足第一预定条件包括:人脸概率最大,并且人脸概率大于或者等于第二概率。
满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。
如图14所示,图14是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图5所示实施例的基础上,确定模块503可以包括:精确区域确定子模块1401和位置信息确定子模块1402。
其中,精确区域确定子模块1401,被配置为基于目标区域确定出目标图像中每张人脸对应的精确区域。
在本实施例中,如果每个目标区域都是独立的,相互之间不相邻,则可以将独立的每个目标区域作为目标图像中每张人脸对应的精确区域。不需要再进行进一步精确的计算。如果存在相邻的目标区域,则说明两张人脸可能离得比较近,需要进行进一步精确的计算,从而确定出目标图像中每张人脸对应的精确区域。
具体来说,可以将包含相邻目标区域的最小矩形区域作为候选区域,采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别, 以获取候选区域对应的人脸概率的分布信息,其中,第三尺度小于或者等于目标图像的原尺度,大于第二尺度。然后,通过重复执行检测步骤311~步骤314,从而获取目标图像中每张人脸对应的精确区域。
位置信息确定子模块1402,被配置为基于精确区域确定子模块1401确定的精确区域确定出目标图像中每张人脸对应的位置信息。
在本实施例中,针对每张人脸,可以通过如下方式确定出目标图像中该人脸对应的位置信息:首先,可以以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例。然后,获取该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
如图14所示的装置用于实现上述如图4所示的方法流程。上述人脸识别的装置实施例,在获取到第一区域后,将从第一区域中检测出的每张人脸所对应的区域作为目标区域,并基于目标区域确定出目标图像中每张人脸对应的精确区域,基于精确区域确定出目标图像中每张人脸对应的位置信息。从而提高了人脸识别的精确度和效率。
如图15所示,图15是本公开根据一示例性实施例示出的另一种人脸识别的装置框图,该实施例在前述图14所示实施例的基础上,精确区域确定子模块1401可以包括:选取子模块1501,第三识别子模块1502和执行子模块1503。
其中,选取子模块1501,被配置为在存在相邻的目标区域时,将包含相邻目标区域的最小矩形区域作为候选区域。
第三识别子模块1502,被配置为采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取候选区域对应的人脸概率的分布信息,其中,第三尺度小于或者等于目标图像的原尺度,大于第二尺度。
执行子模块1503,被配置为重复执行检测步骤,以获取目标图像中每张人脸对应的精确区域。
如图16所示,图16是本公开根据一示例性实施例示出的另一种人脸识 别的装置框图,该实施例在前述图14所示实施例的基础上,位置信息确定子模块1402可以包括:圆形区域获取子模块1601和位置信息获取子模块1602。
其中,圆形区域获取子模块1601,被配置为以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例。
位置信息获取子模块1602,被配置为获取圆形区域获取子模块1601获取的该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
上述人脸识别的装置实施例,以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例。然后,获取该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。从而进一步提高了人脸识别的精确度和效率。
应当理解,上述装置可以预先设置在终端设备或者服务器中,也可以通过下载等方式而加载到终端设备或者服务器中。上述装置中的相应模块可以与终端设备或者服务器中的模块相互配合以实现人脸识别的方案。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种终端,该终端包括有处理器;用于存储处理器可执行指令的存储器;其中,该处理器被配置为:
获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;
根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。
图17是根据一示例性实施例示出的一种人脸识别的装置9900的一结构示意图。例如,装置9900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图17,装置9900可以包括以下一个或多个组件:处理组件9902,存储器9904,电源组件9906,多媒体组件9908,音频组件9910,输入/输出(I/O)的接口9912,传感器组件9914,以及通信组件9916。
处理组件9902通常控制装置9900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件9902可以包括一个或多个处理器9920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件9902可以包括一个或多个模块,便于处理组件9902和其他组件之间的交互。例如,处理组件9902可以包括多媒体模块,以方便多媒体组件9908和处理组件9902之间的交互。
存储器9904被配置为存储各种类型的数据以支持在装置9900的操作。这些数据的示例包括用于在装置9900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器9904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件9906为装置9900的各种组件提供电力。电源组件9906可以包括电源管理***,一个或多个电源,及其他与为装置9900生成、管理和分配电力相关联的组件。
多媒体组件9908包括在所述装置9900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测 与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件9908包括一个前置摄像头和/或后置摄像头。当装置9900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件9910被配置为输出和/或输入音频信号。例如,音频组件9910包括一个麦克风(MIC),当装置9900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器9904或经由通信组件9916发送。在一些实施例中,音频组件9910还包括一个扬声器,用于输出音频信号。
I/O接口9912为处理组件9902和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件9914包括一个或多个传感器,用于为装置9900提供各个方面的状态评估。例如,传感器组件9914可以检测到装置9900的打开/关闭状态,组件的相对定位,例如所述组件为装置9900的显示器和小键盘,传感器组件9914还可以检测装置9900或装置9900一个组件的位置改变,用户与装置9900接触的存在或不存在,装置9900方位或加速/减速和装置9900的温度变化。传感器组件9914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件9914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件9914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器,微波传感器或温度传感器。
通信组件9916被配置为便于装置9900和其他设备之间有线或无线方式的通信。装置9900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件9916经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中, 所述通信组件9916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置9900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器9904,上述指令可由装置9900的处理器9920执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (27)

1.一种人脸识别的方法,其特征在于,所述方法包括:
获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;
根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述获取第一区域,包括:
获取所述目标图像对应的人脸概率的分布信息,所述人脸概率为具有人脸特征的概率;
基于所述目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域。
3.根据权利要求2所述的方法,其特征在于,所述获取所述目标图像对应的人脸概率的分布信息,包括:
基于全卷积网络获取所述目标图像中每个检测区域的人脸概率;
根据所述每个检测区域的人脸概率及位置信息,确定所述目标图像对应的人脸概率的分布信息。
4.根据权利要求3所述的方法,其特征在于,所述基于全卷积网络获取所述目标图像中每个检测区域的人脸概率,包括:
采用预先训练的全卷积网络人脸识别模型对第一尺度下的所述目标图像进行识别,以获取所述目标图像中每个检测区域的人脸概率;其中,所述第一尺度小于所述目标图像的原尺度。
5.根据权利要求2所述的方法,其特征在于,所述基于所述目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域,包括:
将所述目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,从所述目标图像中获取包含所述第二区域的最小矩形区域作为第一区域。
6.根据权利要求4所述的方法,其特征在于,所述将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域,包括:
获取所述第一区域对应的人脸概率的分布信息;
基于所述第一区域对应的人脸概率的分布信息,从所述第一区域中检测出所述目标区域。
7.根据权利要求6所述的方法,其特征在于,所述获取所述第一区域对应的人脸概率的分布信息,包括:
采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取所述第一区域对应的人脸概率的分布信息,其中,所述第二尺度小于所述目标图像的原尺度,大于所述第一尺度。
8.根据权利要求6所述的方法,其特征在于,重复执行以下检测步骤,以从所述第一区域中分别检测出每个所述目标区域:
获取所述第一区域中未被标记人脸标识的检测区域的集合;
将所述集合中满足第一预定条件的检测区域,作为中心检测区域;
将所述中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域;
将所述中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对所述中心检测区域以及对应的周边检测区域标记相同的人脸标识。
9.根据权利要求8所述的方法,其特征在于,所述将所述中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域,包括:
从与所述中心检测区域相邻的检测区域开始,依次获取满足第二预定条件的检测区域作为对应的周边检测区域。
10.根据权利要求8所述的方法,其特征在于,所述满足第一预定条件包括:人脸概率最大,并且人脸概率大于或者等于第二概率;
所述满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。
11.根据权利要求8所述的方法,其特征在于,所述根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息,包括:
基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域;
基于所述精确区域确定出所述目标图像中每张人脸对应的位置信息。
12.根据权利要求11所述的方法,其特征在于,所述基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域,包括:
若存在相邻的目标区域,将包含相邻目标区域的最小矩形区域作为候选区域;
采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取所述候选区域对应的人脸概率的分布信息,其中,所述第三尺度小于或者等于所述目标图像的原尺度,大于所述第二尺度;
重复执行所述检测步骤,以获取所述目标图像中每张人脸对应的精确区域。
13.根据权利要求12所述的方法,其特征在于,针对每张人脸,确定出所述目标图像中该人脸对应的位置信息,包括:
以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例;
获取该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
14.一种人脸识别的装置,其特征在于,所述装置包括:
获取模块,被配置为获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
检测模块,被配置为将从所述获取模块获取的第一区域中检测出的每张人脸所对应的区域作为目标区域;
确定模块,被配置为根据所述检测模块检测出的目标区域确定出所述目标图像中每张人脸对应的位置信息。
15.根据权利要求14所述的装置,其特征在于,所述获取模块包括:
第一获取子模块,被配置为获取所述目标图像对应的人脸概率的分布信息,所述人脸概率为具有人脸特征的概率;
第二获取子模块,被配置为基于所述第一获取子模块获取的目标图像对应的人脸概率的分布信息从所述目标图像中获取部分区域作为第一区域。
16.根据权利要求15所述的装置,其特征在于,所述第一获取子模块包括:
概率获取子模块,被配置为基于全卷积网络获取所述目标图像中每个检测区域的人脸概率;
信息确定子模块,被配置为根据所述概率获取子模块获取的每个检测区域的人脸概率及位置信息,确定所述目标图像对应的人脸概率的分布信息。
17.根据权利要求16所述的装置,其特征在于,所述概率获取子模块包括:
第一识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第一尺度下的所述目标图像进行识别,以获取所述目标图像中每个检测区域的人脸概率;其中,所述第一尺度小于所述目标图像的原尺度。
18.根据权利要求15所述的装置,其特征在于,所述第二获取子模块包括:
区域获取子模块,被配置为将所述目标图像中人脸概率大于或者等于第一概率的区域作为第二区域,从所述目标图像中获取包含所述第二区域的最小矩形区域作为第一区域。
19.根据权利要求17所述的装置,其特征在于,所述检测模块包括:
第三获取子模块,被配置为获取所述第一区域对应的人脸概率的分布信息;
检测子模块,被配置为基于所述第三获取子模块获取的第一区域对应的人脸概率的分布信息,从所述第一区域中检测出所述目标区域。
20.根据权利要求19所述的装置,其特征在于,所述第三获取子模块包括:
第二识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第二尺度下的第一区域进行识别,以获取所述第一区域对应的人脸概率的分布信息,其中,所述第二尺度小于所述目标图像的原尺度,大于所述第一尺度。
21.根据权利要求19所述的装置,其特征在于,所述检测子模块包括:
集合获取子模块,被配置为获取所述第一区域中未被标记人脸标识的检测区域的集合;
中心检测区域确定子模块,被配置为将所述集合获取子模块获取的集合中满足第一预定条件的检测区域,作为中心检测区域;
周边检测区域确定子模块,被配置为将所述中心检测区域确定子模块确定的中心检测区域周围满足第二预定条件的检测区域,作为对应的周边检测区域;
标记子模块,被配置为将所述中心检测区域与对应的周边检测区域构成的连通区域作为一张人脸对应目标区域,并对所述中心检测区域以及对应的周边检测区域标记相同的人脸标识。
22.根据权利要求21所述的装置,其特征在于,所述周边检测区域确定子模块包括:
条件检测子模块,被配置为从与所述中心检测区域相邻的检测区域开始,依次获取满足第二预定条件的检测区域作为对应的周边检测区域。
23.根据权利要求21所述的装置,其特征在于,所述满足第一预定条件包括:人脸概率最大,并且人脸概率大于或者等于第二概率;
所述满足第二预定条件包括:人脸概率大于或者等于第二概率,并且人脸概率小于与中心检测区域之间的所有检测区域的人脸概率。
24.根据权利要求21所述的装置,其特征在于,所述确定模块包括:
精确区域确定子模块,被配置为基于所述目标区域确定出所述目标图像中每张人脸对应的精确区域;
位置信息确定子模块,被配置为基于所述精确区域确定子模块确定的精确区域确定出所述目标图像中每张人脸对应的位置信息。
25.根据权利要求24所述的装置,其特征在于,所述精确区域确定子模块包括:
选取子模块,被配置为在存在相邻的目标区域时,将包含相邻目标区域的最小矩形区域作为候选区域;
第三识别子模块,被配置为采用预先训练的全卷积网络人脸识别模型对第三尺度下的候选区域进行识别,以获取所述候选区域对应的人脸概率的分布信息,其中,所述第三尺度小于或者等于所述目标图像的原尺度,大于所述第二尺度;
执行子模块,被配置为重复执行所述检测步骤,以获取所述目标图像中每张人脸对应的精确区域。
26.根据权利要求25所述的装置,其特征在于,位置信息确定子模块包括:
圆形区域获取子模块,被配置为以该人脸的精确区域的中心为圆心获取圆形区域,使得该圆形区域中,人脸的精确区域所占比例大于或者等于预定比例;
位置信息获取子模块,被配置为获取所述圆形区域获取子模块获取的该圆形区域的外接矩形的位置信息作为该人脸对应的位置信息。
27.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取第一区域,所述第一区域为待识别的目标图像中的部分区域,所述第一区域包含所述目标图像中的所有人脸;
将从所述第一区域中检测出的每张人脸所对应的区域作为目标区域;
根据所述目标区域确定出所述目标图像中每张人脸对应的位置信息。
CN201610491320.0A 2016-06-28 2016-06-28 人脸识别的方法、装置及终端 Active CN105975961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610491320.0A CN105975961B (zh) 2016-06-28 2016-06-28 人脸识别的方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610491320.0A CN105975961B (zh) 2016-06-28 2016-06-28 人脸识别的方法、装置及终端

Publications (2)

Publication Number Publication Date
CN105975961A true CN105975961A (zh) 2016-09-28
CN105975961B CN105975961B (zh) 2019-06-28

Family

ID=57020916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610491320.0A Active CN105975961B (zh) 2016-06-28 2016-06-28 人脸识别的方法、装置及终端

Country Status (1)

Country Link
CN (1) CN105975961B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446862A (zh) * 2016-10-11 2017-02-22 厦门美图之家科技有限公司 一种人脸检测方法及***
CN107145833A (zh) * 2017-04-11 2017-09-08 腾讯科技(上海)有限公司 人脸区域的确定方法和装置
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法
CN108537208A (zh) * 2018-04-24 2018-09-14 厦门美图之家科技有限公司 一种多尺度的人脸检测方法及计算设备
CN109558839A (zh) * 2018-11-29 2019-04-02 徐州立讯信息科技有限公司 自适应人脸识别方法和实现该方法的设备及***
CN109990893A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 测光参数计算方法、装置及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592147A (zh) * 2011-12-30 2012-07-18 深圳市万兴软件有限公司 一种人脸检测的方法和装置
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN104794462A (zh) * 2015-05-11 2015-07-22 北京锤子数码科技有限公司 一种人物图像处理方法及装置
CN105046231A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 人脸检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592147A (zh) * 2011-12-30 2012-07-18 深圳市万兴软件有限公司 一种人脸检测的方法和装置
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN104794462A (zh) * 2015-05-11 2015-07-22 北京锤子数码科技有限公司 一种人物图像处理方法及装置
CN105046231A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 人脸检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAIZU JIANG 等: "Face Detection with the Faster R-CNN", 《ARXIV PREPRINT ARXIV:1606.03473》 *
JIFENG DAI 等: "R-FCN:Object Detection via Region-based Fully Convolutional Networks", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS (NIPS)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446862A (zh) * 2016-10-11 2017-02-22 厦门美图之家科技有限公司 一种人脸检测方法及***
CN107145833A (zh) * 2017-04-11 2017-09-08 腾讯科技(上海)有限公司 人脸区域的确定方法和装置
WO2018188453A1 (zh) * 2017-04-11 2018-10-18 腾讯科技(深圳)有限公司 人脸区域的确定方法、存储介质、计算机设备
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法
CN107844785B (zh) * 2017-12-08 2019-09-24 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法
CN109990893A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 测光参数计算方法、装置及终端设备
CN109990893B (zh) * 2017-12-29 2021-03-09 浙江宇视科技有限公司 测光参数计算方法、装置及终端设备
CN108537208A (zh) * 2018-04-24 2018-09-14 厦门美图之家科技有限公司 一种多尺度的人脸检测方法及计算设备
CN109558839A (zh) * 2018-11-29 2019-04-02 徐州立讯信息科技有限公司 自适应人脸识别方法和实现该方法的设备及***

Also Published As

Publication number Publication date
CN105975961B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN106651955B (zh) 图片中目标物的定位方法及装置
CN105975961A (zh) 人脸识别的方法、装置及终端
CN107239535A (zh) 相似图片检索方法及装置
CN105631403A (zh) 人脸识别方法及装置
CN110688951A (zh) 图像处理方法及装置、电子设备和存储介质
CN105528606A (zh) 区域识别方法及装置
CN106202330A (zh) 垃圾信息的判断方法及装置
CN105260732A (zh) 图片处理方法及装置
CN105469056A (zh) 人脸图像处理方法及装置
CN105828201A (zh) 视频处理方法及装置
CN106372204A (zh) 推送消息处理方法及装置
CN107463903B (zh) 人脸关键点定位方法及装置
CN106295511A (zh) 人脸跟踪方法及装置
CN104850852A (zh) 特征向量计算方法和装置
CN105447462A (zh) 人脸姿态估计方法及装置
CN106250921A (zh) 图片处理方法及装置
CN104731880A (zh) 图片排序方法和装置
CN103955481A (zh) 图片显示方法和装置
CN104700353A (zh) 图像滤镜生成方法及装置
CN105975156A (zh) 应用界面显示方法及装置
CN105404863A (zh) 人物特征识别方法及***
CN105631406A (zh) 图像识别处理方法和装置
CN105631803A (zh) 滤镜处理的方法和装置
CN106201310A (zh) 通知消息的显示方法、装置及终端
CN106095407A (zh) 图标排布方法、装置和移动设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant