CN113095116B - 身份识别方法及相关产品 - Google Patents
身份识别方法及相关产品 Download PDFInfo
- Publication number
- CN113095116B CN113095116B CN201911354336.7A CN201911354336A CN113095116B CN 113095116 B CN113095116 B CN 113095116B CN 201911354336 A CN201911354336 A CN 201911354336A CN 113095116 B CN113095116 B CN 113095116B
- Authority
- CN
- China
- Prior art keywords
- user
- image acquisition
- image
- face
- auxiliary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012544 monitoring process Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种身份识别方法及相关产品,该方法包括:在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;对所述用户的人脸图像进行识别,得到所述用户的身份信息。采用本申请实施例有利于提高身份识别精度。
Description
技术领域
本申请涉及电子技术领域,具体涉及一种身份识别方法及相关产品。
背景技术
随着人工智能技术的发展,人脸识别技术越来越成熟。而人脸识别技术在多个领域有着举重若轻的地位。例如,安防、监控以及身份识别,等等。在进行监控识别时,需提前布局摄像头,通过摄像头实时获取用户的人脸图像,并使用预先训练好的网络模型对获取到的人脸图像进行识别,在识别出该人脸图像对应的身份信息异常时,则进行报警提示。
但是,有些嫌疑人或者犯罪分子为了躲避监控,故意避开摄像头的拍摄范围或者抓拍角度,从而导致摄像头抓拍到的图像不包含人脸图像,无法识别该嫌疑人或者犯罪分子的身份信息,进而导致身份识别出错,监控安全性低。
发明内容
本申请实施例提供了一种身份识别方法及相关产品,通过人脸朝向从目标辅图像获取设备中获取包含人脸的目标图像,通过对目标图像的识别,得到精确的身份信息,进而提高身份识别的精确度以及监控的安全性。
第一方面,本申请实施例提供一种身份识别方法,包括:
在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;
对所述用户的人脸图像进行识别,得到所述用户的身份信息。
第二方面,本申请实施例提供一种身份识别装置,包括:
第一识别单元,用于在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
获取单元,用于根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;
第二识别单元,用于对所述用户的人脸图像进行识别,得到所述用户的身份信息。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中,在进行身份识别时,当主图像获取设备无法获取到用户的人脸图像时,则根据该主图像获取设备获取到的图像进行人脸识别确定人脸朝向,根据该人脸朝向从对应的辅图像获取设备中获取该用户的人脸图像,并根据人脸图像进行身份识别,从而保证可以实时获取到任何用户的人脸图像,解决了目前存在无法获取到的人脸图像遗漏身份识别的问题,进而提高了身份识别的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的一种身份识别的***架构图;
图1B为本申请实施例提供的一种身份识别方法的流程示意图
图1C为本申请实施例提供的一种确定人脸朝向的示意图;
图1D为本申请实施例提供的一种构建泰森多边形的示意图;
图2为本申请实施例提供的另一种身份识别方法的流程示意图;
图3为本申请实施例提供的另一种身份识别方法的流程示意图;
图4为本申请实施例提供的一种身份识别装置的结构示意图;
图5为本申请实施例提供的一种身份识别装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请中的身份识别装置可以包括智能手机(如Android手机、iOS手机、WindowsPhone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile InternetDevices,简称:MID)或穿戴式设备等。上述身份识别装置仅是举例,而非穷举,包含但不限于上述身份识别装置。在实际应用中,上述身份识别装置还可以包括:智能车载终端、计算机设备等等。
首先需要说明的是,本申请所提到的主图像获取设备获取到的图像不包含用户的人脸,是指不包含该用户的正脸,但是,并不限定该图像包含有该用户侧脸的情况。
参阅图1A,图1A为本申请实施例提供的一种身份识别的***架构图,包括:身份识别装置100和多个图像获取设备200,其中,该多个图像获取设备200中包括一个主图像获取设备和多个辅图像获取设备。一般来说,身份识别装置100基于主图像获取设备200传输的图像进行人脸识别,实现监控。
可选的,该多个图像获取设备200可以为相同的图像获取设备,也可以为不同的图像获取设备,本申请对此不做限定。
其中,该图像获取设备可以为摄像机、CCD摄像机、网络摄像、单目照相机、双目照相机,等等。
在确定出主图像获取设备200在当前时刻获取到的图像不包含人脸时,对该图像进行识别,即对该图像进行姿势识别,得到该用户的人脸朝向,并确定出多个辅图像获取设备中与该人脸朝向对应的目标辅图像获取设备,并从该目标辅图像获取设备中获取该用户的人脸图像,对该人脸图像进行识别,得到该用户的身份信息。
可以看出,在本申请实施例中,预先构建了辅图像获取设备集群,在进行身份识别时,当主图像获取设备无法获取到用户的人脸图像时,则根据该主图像获取设备获取到的图像进行人脸识别以确定人脸朝向,根据该人脸朝向从辅图像获取设备集群中的目标辅图像获取设备中获取用户的人脸图像,并根据人脸图像进行身份识别,实现了在任何情况下都可以获取到任何用户的人脸图像,解决了目前存在无法获取到的人脸图像而遗漏身份识别的问题,进而提高了身份识别的精度。
参阅图1B,图1B为本申请实施例提供的一种身份识别方法的流程示意图。该方法应用于身份识别装置。本实施例的方法包括但不限于以下步骤:
101:在确定主图像获取设备获取到的图像不包含用户的人脸时,身份识别装置对所述图像进行识别,得到所述用户的人脸朝向。
身份识别装置对主图像获取设备获取到的图像实时识别,在确定出该图像中不包含人脸时,对该图像进行姿势识别,确定该用户的人脸朝向。
具体来说,以主图像获取设备建立坐标系,即以该主图像获取设备为原点建立三维坐标系(图1C仅示出了xoy面的二维坐标系),然后,识别该识别该图像中的人体特征(例如,后头部),并基于该图像的第一深度信息确定该人体特征在该三维坐标系中的三维坐标,基于该三维坐标确定该人体特征在当前时刻相对于主图像获取设备的第一偏离角度β;根据人脸与人体特征的相对角度γ以及该人体特征相对于主图像获取设备的第一偏离角度β,得到人脸相对于主图像获取设备的第一偏离角度。图1C中以该人体特征为后头部为例说明,即γ=0,第一偏离角度为β,根据主图像获取设备在当前时刻的抓拍角度α以及第一偏离角度β确定人脸朝向,即人脸相对于水平方向的偏离角度(α+β)。
102:身份识别装置根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像。
具体来说,身份识别装置获取该监控区域的辅图像获取设备集群的布局信息,即安装位置和各个辅图像设备的型号以及旋转规则,该布局信息反映出各个辅图像获取设备在各个时刻的抓拍角度;然后,根据该布局信息确定出当前时刻各个辅图像获取设备的抓拍角度。如图1C所示,在确定出各个辅图像获取设备的抓拍角度后,将抓拍角度与该人脸朝向对应的辅图像获取设备作为该目标辅图像获取设备。
进一步地,身份识别装置根据该图像中的该人体特征的深度信息确定该用户与主图像获取设备的第一距离;然后,根据该布局信息确定主图像获取设备与该目标辅图像获取设备之间的距离,根据该距离以及第一距离,确定出该用户与该目标辅图像获取设备之间的第二距离。由于,该目标辅图像获取设备在当前时刻可能会抓拍到多个人脸图像,为了使获得到的人脸图像与主图像获取设备拍摄的图像属于同一个用户,则获取该目标辅图像获取设备所抓拍到的图像上各个人脸的深度信息,将深度信息与第二距离对应的人脸作为该用户的人脸,并对该人脸进行图像截取,得到该用户的人脸图像。
103:身份识别装置对所述用户的人脸图像进行识别,得到所述用户的身份信息。
身份识别装置对人脸图像进行人脸识别,得到该用户的身份信息。
可以看出,在本申请实施例中,预先构建了辅图像获取设备集群,在进行身份识别时,当主图像获取设备无法获取到用户的人脸图像时,则根据该主图像获取设备获取到的图像进行人脸识别以确定人脸朝向,根据该人脸朝向从辅图像获取设备集群中的目标辅图像获取设备中获取用户的人脸图像,并根据人脸图像进行身份识别,实现了在任何情况下都可以获取到任何用户的人脸图像,解决了目前存在无法获取到的人脸图像而遗漏身份识别的问题,进而提高了身份识别的精度。
在一种可能的实施方式中,对所述第一图像进行识别,得到所述用户的人脸朝向之前,所述方法还包括:
获取监控区域的中心位置,并在所述监控区域的边界上选取N个点,其中,该N个点为随机选取的,也可是按照一定间隔选取的,本申请对此不做限定,N为大于1的整数;
根据所述监控区域的中心位置以及所述N个点构建泰森多边形,其中,该泰森多边形所对应的区域为该主图像获取设备所监控的区域;
输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
具体来说,如图1D所示,从该监控区域的边界上选取了A、B、C、D、E、F六个点,然后,将该监控区域的中心O与ABCDEF相连,然后,分别获取每个连线的中垂线,得到G、H、I、J、K、L交点,将G、H、I、J、K、L交点依次连接,得到与该O点对应的泰森多边形;然后,在泰森多边形的顶点,即G、H、I、J、K、L上设置辅图像获取设备。
在本示例中,由于泰森多边形中的点与该点对应的离散点的距离最近,故通过构建泰森多边形,找到辅助图像获取设备集群的最优设置点,也就是说该泰森多边形区域(也就是)中的任何一个位置均有最近的辅助图像获取设备,进而可以保证该主图像获取设备所监控的区域每个位置都可以获取到完整清晰的图像,进而提高辅助图像获取设备集群的部署效率以及精确度。
在一种可能的实施方式中,对所述用户的人脸图像进行识别,得到所述用户的身份信息之前,所述方法还包括:
获取所述用户的人脸图像的亮度值;
在所述用户的人脸图像的亮度值小于阈值的情况下,对所述用户的人脸图像进行增强处理,得到增强后的人脸图像;
所述对所述用户的人脸图像进行识别,得到所述用户的身份信息,包括:
对所述增强后的人脸图像进行识别,得到所述用户的身份的信息。
具体来说,获取当前时刻,在当前时刻处于夜间时间段时,则抓拍到的人脸图像可能比较暗,为了提高身份识别成功率,可对该人脸图像进行增强处理。即对该人脸图像中的每个像素点进行高频方向分解,分别得到每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量,其中,对每个像素点进行高频方向分解实质上为求取每个像素点的海森(Hessian)矩阵,即分别求取每个像素点在水平方向上的二阶偏微分、竖直方向上的二阶偏微分、对角方向上的混合偏微分,将水平方向上的二阶偏微分作为每个像素点的第一分量、竖直方向上的二阶偏微分作为第二分量以及对角方向上的混合偏微分作为第三分量,其中,求偏微分的过程为现有技术,不再叙述。然后,将该人脸图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像;对该第一分量图像、第二分量图像以及第三分量图像进行锐化处理,得到锐化后的第一分量图像、第二分量图像以及第三分量图像;将该第一分量图像、第二分量图像以及第三分量图像与该人脸图像进行像素叠加,得到增强后的人脸图像。
在本示例中,在使用人脸图像进行身份识别之前,先对图像进行增强处理,以便得到清晰的人脸图像,进而提高了身份识别的精度。
在一种可能的实施方式中,在M(N为大于1的整数)个辅图像获取设备在当前时刻的抓拍角度均与该人脸朝向对应的情况下,则该目标辅图像获取设备的数量为M个,则可从该M目标辅图像获取设备中获取M个子图像,每个子图像均为该用户的人脸图像,故对所述用户的人脸图像进行识别,得到所述用户的身份信息的实现过程,包括:提取所述M个子图像中每个子图像的特征,得到每个子图像的特征图;对所述M个子图像的特征图进行特征融合,得到目标特征图;对所述目标特征图进行识别,得到所述用户的身份信息。
其中,对所述M个子图像的特征图进行特征融合,包括:获取每个特征图对应的权重系数,根据每个特征图对应的权重系数对该M个子图像的特征图进行进行加权处理,得到该目标特征图。其中,该权重系数与每个特征图对应的子图像的亮度值对应。具体来说,获取每个子图像的亮度值,对该M个子图像的N个亮度值进行归一化处理,得到每个子图像的特征图的权重系数。
需要说明的是,在该人脸图像包括M个子图像的情况下,也可以分别对每个子图像进行图像增强处理,增强过程与上述的增强过程类似,不再叙述。
在一种可能的实施方式中,在对用户的人脸图像进行识别时,可对该用户人脸进行遮挡物(例如,口罩、墨镜)识别,在确定该人脸图像中存在遮挡物的情况下,对该人脸图像进行截取,得到未被遮挡的各个预设关键部位(如,耳朵,左脸、右脸,等等)对应的第一图像,然后,对各个第一图像进行识别,得到得到该用户的身份信息。
具体来说,对各个第一图像进行体征提取,得到各个第一图像的第一特征图,然后,将各个第一图像的第一特征图进行拼接,得到第一目标特征图(第一像素矩阵),然后,使用该第一目标特征图与图像模板进行匹配,得到匹配的目标图像模板,将该目标图像模板对应的身份信息作为该用户的身份信息。
由于,该第一目标特征图是由预设关键部位的特征图组成的,故可能只包含了部分脸部特征。因此,在进行匹配时,将该第一目标特征图在图像模板上按照预设步长进行滑动,将每次滑动时所框选到的部分像素矩阵与该第一像素矩阵进行匹配,得到本次滑动所对应的匹配值,该匹配值可通过计算第一像素矩阵与框选到的像素矩阵的欧几里德距离或者曼哈顿距离或者Jaccard(杰卡德)系数得到;最后,取滑动过程中的最大匹配值作为与该图像模板对应的匹配值。
在本示例中,由于遮挡的原因,截取部分面部图像进行身份识别,故通过与部分面部图像适配的部分匹配的方式,可以提高身份识别的成功率。
在一种可能的实施方式,在获取到各个预设关键部位的第一图像后,可使用各个第一图像的第一特征图分别与图像模板进行匹配,匹配过程与上述滑动匹配过程类似,不再叙述,得到各个第一图像的目标图像模板;然后,统计各个目标图像模板出现的频次,将频次最高的目标图像模板对应的身份信息作为该用户的身份信息。
参阅图2,图2为本申请实施例提供的另一种身份识别方法的流程示意图。该方法应用于身份识别装置。本实施例的方法包括但不限于以下步骤:
201:身份识别装置获取监控区域的中心位置,并在所述监控区域的边界上选取N个点。
202:身份识别装置根据所述监控区域的中心位置以及所述N个点构建泰森多边形。
203:身份识别装置输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
204:在确定主图像获取设备获取到的图像不包含用户的人脸时,身份识别装置对所述图像进行识别,得到所述用户的人脸朝向。
205:身份识别装置根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像。
206:身份识别装置对所述用户的人脸图像进行识别,得到所述用户的身份信息。
需要说明的是,图2所示的方法的各个步骤的具体实现过程可参见上述图1B所述方法的具体实现过程,在此不再叙述。
可以看出,在本申请实施例中,通过构建泰森多边形的方式,可快速确定出辅图像获取设备集群的部署位置,提高了辅图像获取设备集群的部署效率;在进行身份识别时,当主图像获取设备无法获取到用户的人脸图像时,则根据该主图像获取设备获取到的图像进行人脸识别以确定人脸朝向,根据该人脸朝向从辅图像获取设备集群中的目标辅图像获取设备中获取用户的人脸图像,并根据人脸图像进行身份识别,实现了在任何情况下都可以获取到任何用户的人脸图像,解决了目前存在无法获取到的人脸图像而遗漏身份识别的问题,进而提高了身份识别的精度。
参阅图3,图3为本申请实施例提供的另一种身份识别方法的流程示意图。该方法应用于身份识别装置。本实施例的方法包括但不限于以下步骤:
301:身份识别装置获取监控区域的中心位置,并在所述监控区域的边界上选取N个点。
302:身份识别装置根据所述监控区域的中心位置以及所述N个点构建泰森多边形。
303:身份识别装置输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
304:在确定主图像获取设备获取到的图像不包含用户的人脸时,身份识别装置对所述图像进行识别,得到所述用户的人脸朝向。
305:身份识别装置根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像。
306:身份识别装置获取所述用户的人脸图像的亮度值。
307:在所述用户的人脸图像的亮度值小于阈值的情况下,身份识别装置对所述用户的人脸图像进行增强处理,得到增强后的人脸图像。
308:身份识别装置对所述增强后的人脸图像进行识别,得到所述用户的身份的信息。
需要说明的是,图3所示的方法的各个步骤的具体实现过程可参见上述图1B所述方法的具体实现过程,在此不再叙述。
可以看出,在本申请实施例中,通过构建泰森多边形的方式,可快速确定出辅图像获取设备集群的部署位置,提高了辅图像获取设备集群的部署效率;在进行身份识别时,当主图像获取设备无法获取到用户的人脸图像时,则根据该主图像获取设备获取到的图像进行人脸识别以确定人脸朝向,根据该人脸朝向从辅图像获取设备集群中的目标辅图像获取设备中获取用户的人脸图像,并根据人脸图像进行身份识别,实现了在任何情况下都可以获取到任何用户的人脸图像,解决了目前存在无法获取到的人脸图像而遗漏身份识别的问题,进而提高了身份识别的精度;另外,在对人脸图像进行识别之前,对人脸图像进行增强处理,进而提高人脸图像的识别成功率。
参阅图4,图4为本申请实施例提供的一种身份识别装置的结构示意图。如图4所示,身份识别装置400包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;
对所述用户的人脸图像进行识别,得到所述用户的身份信息。
在一种可能的实施方式中,在根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备方面,上述程序具体用于执行以下步骤的指令:
根据所述辅图像获取设备集群的布局信息;
根据所述布局信息确定所述辅图像获取设备集群中每个辅图像获取设备在当前时刻的抓拍角度;
确定抓拍角度与所述人体朝向对应的辅图像获取设备为所述目标辅图像获取设备。
在一种可能的实施方式中,在从所述目标辅图像获取设备中获取所述用户的人脸图像方面,上述程序具体用于执行以下步骤的指令:
根据所述图像的深度信息确定所述用户与所述主图像获取设备的第一距离;
根据所述第一距离确定所述用户与所述目标辅图像获取设备的第二距离;
从所述目标辅图像获取设备在当前时刻抓拍到的图像中截取与所述第二距离对应的人脸图像,得到所述用户的人脸图像。
在一种可能的实施方式中,对所述第一图像进行识别,得到所述用户的人脸朝向之前,上述程序还用于执行以下步骤的指令:
获取监控区域的中心位置,并在所述监控区域的边界上选取N个点,所述N为大于1的整数;
根据所述监控区域的中心位置以及所述N个点构建泰森多边形;
输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
在一种可能的实施方式中,在所述目标辅图像获取设备的数量为M个的情况下,所述人脸图像包括M个子图像,所述M为大于1的整数,在对所述用户的人脸图像进行识别,得到所述用户的身份信息方面,上述程序具体用于执行以下步骤的指令:
提取所述M个子图像中每个子图像的特征,得到每个子图像的特征图;
对所述M个子图像的特征图进行特征融合,得到目标特征图;
对所述目标特征图进行识别,得到所述用户的身份信息。
在一种可能的实施方式中,对所述用户的人脸图像进行识别,得到所述用户的身份信息之前,上述程序还用于执行以下步骤的指令:
获取所述用户的人脸图像的亮度值;
在所述用户的人脸图像的亮度值小于阈值的情况下,对所述用户的人脸图像进行增强处理,得到增强后的人脸图像;
所述对所述用户的人脸图像进行识别,得到所述用户的身份信息,包括:
对所述增强后的人脸图像进行识别,得到所述用户的身份的信息。
参阅图5,图5本申请实施例提供的一种身份识别装置的功能单元组成框图。身份识别装置500包括:第一识别单元510、获取单元520和第二识别单元530,其中:
第一识别单元510,用于在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
获取单元520,用于根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;
第二识别单元530,用于对所述用户的人脸图像进行识别,得到所述用户的身份信息。
在一种可能的实施方式中,在根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备方面,获取单元520,具体用于:
根据所述辅图像获取设备集群的布局信息;
根据所述布局信息确定所述辅图像获取设备集群中每个辅图像获取设备在当前时刻的抓拍角度;
确定抓拍角度与所述人体朝向对应的辅图像获取设备为所述目标辅图像获取设备。
在一种可能的实施方式中,在从所述目标辅图像获取设备中获取所述用户的人脸图像方面,获取单元520,具体用于:
根据所述图像的深度信息确定所述用户与所述主图像获取设备的第一距离;
根据所述第一距离确定所述用户与所述目标辅图像获取设备的第二距离;
从所述目标辅图像获取设备在当前时刻抓拍到的图像中截取与所述第二距离对应的人脸图像,得到所述用户的人脸图像。
在一种可能的实施方式中,身份识别装置500还包括提示单元540,对所述第一图像进行识别,得到所述用户的人脸朝向之前,提示单元540,用于:
获取监控区域的中心位置,并在所述监控区域的边界上选取N个点,所述N为大于1的整数;
根据所述监控区域的中心位置以及所述N个点构建泰森多边形;
输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
在一种可能的实施方式中,在所述目标辅图像获取设备的数量为M个的情况下,所述人脸图像包括M个子图像,在对所述用户的人脸图像进行识别,得到所述用户的身份信息方面,第二识别单元530,具体用于:
提取所述M个子图像中每个子图像的特征,得到每个子图像的特征图;
对所述M个子图像的特征图进行特征融合,得到目标特征图;
对所述目标特征图进行识别,得到所述用户的身份信息。
在一种可能的实施方式中,身份识别装置还包括增强单元550,对所述用户的人脸图像进行识别,得到所述用户的身份信息之前,增强单元550,用于:
获取所述用户的人脸图像的亮度值;
在所述用户的人脸图像的亮度值小于阈值的情况下,对所述用户的人脸图像进行增强处理,得到增强后的人脸图像;
所述对所述用户的人脸图像进行识别,得到所述用户的身份信息,包括:
对所述增强后的人脸图像进行识别,得到所述用户的身份的信息。
本申请实施例还提供一种计算机存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种身份识别方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种身份识别方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种身份识别方法,其特征在于,包括:
在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;包括:
根据所述图像的深度信息确定所述用户与所述主图像获取设备的第一距离;获取所述辅图像获取设备集群的布局信息,确定所述主图像获取设备与所述目标辅图像获取设备之间的距离,其中,所述布局信息包括各个辅图像获取设备的安装位置;
根据所述主图像获取设备与所述目标辅图像获取设备之间的距离,以及所述第一距离,确定所述用户与所述目标辅图像获取设备的第二距离;
从所述目标辅图像获取设备在当前时刻抓拍到的图像中截取与所述第二距离对应的人脸图像,得到所述用户的人脸图像;
对所述用户的人脸图像进行识别,得到所述用户的身份信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,包括:
获取所述辅图像获取设备集群的布局信息;
根据所述布局信息确定所述辅图像获取设备集群中每个辅图像获取设备在当前时刻的抓拍角度;
确定抓拍角度与所述人脸朝向对应的辅图像获取设备为所述目标辅图像获取设备。
3.根据权利要求1所述的方法,其特征在于,对所述图像进行识别,得到所述用户的人脸朝向之前,所述方法还包括:
获取监控区域的中心位置,并在所述监控区域的边界上选取N个点,所述N为大于1的整数;
根据所述监控区域的中心位置以及所述N个点构建泰森多边形;
输出提示信息,所述提示信息用于提示在所述中心位置处设置所述主图像获取设备,在所述多个泰森多边形的顶点处设置所述辅图像获取设备集群。
4.根据权利要求1所述的方法,其特征在于,在所述目标辅图像获取设备的数量为M个的情况下,所述人脸图像包括M个子图像,所述M为大于1的整数,所述对所述用户的人脸图像进行识别,得到所述用户的身份信息,包括:
提取所述M个子图像中每个子图像的特征,得到每个子图像的特征图;
对所述M个子图像的特征图进行特征融合,得到目标特征图;
对所述目标特征图进行识别,得到所述用户的身份信息。
5.根据权利要求4所述的方法,其特征在于,对所述用户的人脸图像进行识别,得到所述用户的身份信息之前,所述方法还包括:
获取所述用户的人脸图像的亮度值;
在所述用户的人脸图像的亮度值小于阈值的情况下,对所述用户的人脸图像进行增强处理,得到增强后的人脸图像;
所述对所述用户的人脸图像进行识别,得到所述用户的身份信息,包括:
对所述增强后的人脸图像进行识别,得到所述用户的身份的信息。
6.一种身份识别装置,其特征在于,包括:
第一识别单元,用于在确定主图像获取设备获取到的图像不包含用户的人脸时,对所述图像进行识别,得到所述用户的人脸朝向;
获取单元,用于根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备,并从所述目标辅图像获取设备中获取所述用户的人脸图像;包括:
根据所述图像的深度信息确定所述用户与所述主图像获取设备的第一距离;获取所述辅图像获取设备集群的布局信息,确定所述主图像获取设备与所述目标辅图像获取设备之间的距离,其中,所述布局信息包括各个辅图像获取设备的安装位置;
根据所述主图像获取设备与所述目标辅图像获取设备之间的距离,以及所述第一距离,确定所述用户与所述目标辅图像获取设备的第二距离;
从所述目标辅图像获取设备在当前时刻抓拍到的图像中截取与所述第二距离对应的人脸图像,得到所述用户的人脸图像;
第二识别单元,用于对所述用户的人脸图像进行识别,得到所述用户的身份信息。
7.根据权利要求6所述的装置,其特征在于,
在根据所述用户的人脸朝向确定与所述主图像获取设备对应的辅图像获取设备集群中的目标辅图像获取设备方面,所述获取单元,具体用于:
获取所述辅图像获取设备集群的布局信息;
根据所述布局信息确定所述辅图像获取设备集群中每个辅图像获取设备在当前时刻的抓拍角度;
确定抓拍角度与所述人脸朝向对应的辅图像获取设备为所述目标辅图像获取设备。
8.一种电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1-5任一项方法中的步骤的指令。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911354336.7A CN113095116B (zh) | 2019-12-23 | 2019-12-23 | 身份识别方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911354336.7A CN113095116B (zh) | 2019-12-23 | 2019-12-23 | 身份识别方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095116A CN113095116A (zh) | 2021-07-09 |
CN113095116B true CN113095116B (zh) | 2024-03-22 |
Family
ID=76663952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911354336.7A Active CN113095116B (zh) | 2019-12-23 | 2019-12-23 | 身份识别方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095116B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
CN102063607A (zh) * | 2009-11-16 | 2011-05-18 | 日电(中国)有限公司 | 一种用于采集人脸图像的方法和*** |
CN102254169A (zh) * | 2011-08-23 | 2011-11-23 | 东北大学秦皇岛分校 | 基于多摄像机的人脸识别方法及*** |
KR20120071286A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 |
CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技(深圳)有限公司 | 一种人脸识别方法、装置和*** |
CN107291810A (zh) * | 2017-05-18 | 2017-10-24 | 深圳云天励飞技术有限公司 | 数据处理方法、装置及存储介质 |
CN107409169A (zh) * | 2015-03-27 | 2017-11-28 | 英特尔公司 | 用于控制对相机设备的图像传感器进行的用户访问的技术 |
CN107480658A (zh) * | 2017-09-19 | 2017-12-15 | 苏州大学 | 基于多角度视频的人脸识别装置和方法 |
CN107918726A (zh) * | 2017-10-18 | 2018-04-17 | 深圳市汉普电子技术开发有限公司 | 距离感应方法、设备及存储介质 |
CN109636956A (zh) * | 2018-10-26 | 2019-04-16 | 深圳云天励飞技术有限公司 | 一种门禁***控制方法、装置以及电子设备 |
CN109657576A (zh) * | 2018-12-06 | 2019-04-19 | 联想(北京)有限公司 | 图像采集控制方法、装置、存储介质及*** |
CN109685014A (zh) * | 2018-12-25 | 2019-04-26 | 努比亚技术有限公司 | 面部识别方法、装置、移动终端及存储介质 |
CN109815813A (zh) * | 2018-12-21 | 2019-05-28 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105739707B (zh) * | 2016-03-04 | 2018-10-02 | 京东方科技集团股份有限公司 | 电子设备、脸部识别跟踪方法和三维显示方法 |
CN108055452B (zh) * | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
-
2019
- 2019-12-23 CN CN201911354336.7A patent/CN113095116B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
CN102063607A (zh) * | 2009-11-16 | 2011-05-18 | 日电(中国)有限公司 | 一种用于采集人脸图像的方法和*** |
KR20120071286A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 |
CN102254169A (zh) * | 2011-08-23 | 2011-11-23 | 东北大学秦皇岛分校 | 基于多摄像机的人脸识别方法及*** |
CN107409169A (zh) * | 2015-03-27 | 2017-11-28 | 英特尔公司 | 用于控制对相机设备的图像传感器进行的用户访问的技术 |
CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技(深圳)有限公司 | 一种人脸识别方法、装置和*** |
CN107291810A (zh) * | 2017-05-18 | 2017-10-24 | 深圳云天励飞技术有限公司 | 数据处理方法、装置及存储介质 |
CN107480658A (zh) * | 2017-09-19 | 2017-12-15 | 苏州大学 | 基于多角度视频的人脸识别装置和方法 |
CN107918726A (zh) * | 2017-10-18 | 2018-04-17 | 深圳市汉普电子技术开发有限公司 | 距离感应方法、设备及存储介质 |
WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
CN109636956A (zh) * | 2018-10-26 | 2019-04-16 | 深圳云天励飞技术有限公司 | 一种门禁***控制方法、装置以及电子设备 |
CN109657576A (zh) * | 2018-12-06 | 2019-04-19 | 联想(北京)有限公司 | 图像采集控制方法、装置、存储介质及*** |
CN109815813A (zh) * | 2018-12-21 | 2019-05-28 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
CN109685014A (zh) * | 2018-12-25 | 2019-04-26 | 努比亚技术有限公司 | 面部识别方法、装置、移动终端及存储介质 |
Non-Patent Citations (4)
Title |
---|
HybVOR: A Voronoi-Based 3D GIS Approach for Camera Surveillance Network Placement;Reda Yaagoubi等;ISPRS International Journal of Geo-Information;第2015卷(第4期);754-782 * |
Multi-face Recognition at a Distance Using Light-Field Camera;Raghavendra, R等;2018 Ninth International Conference on Intelligent Information Hiding and Multimedia Signal;第2013卷;346-349页 * |
基于三维模型的遮挡人脸识别方法研究;房冉;中国优秀硕士学位论文全文数据库信息科技辑;第2019卷;全文 * |
基于动态路网的分布式邻近目标查询算法;叶晨;杨振宇;喻剑;龙其;;通信学报(第12期);116-135 * |
Also Published As
Publication number | Publication date |
---|---|
CN113095116A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609383B (zh) | 3d人脸身份认证方法与装置 | |
CN107748869B (zh) | 3d人脸身份认证方法与装置 | |
CN107633165B (zh) | 3d人脸身份认证方法与装置 | |
TWI751161B (zh) | 終端設備、智慧型手機、基於臉部識別的認證方法和系統 | |
WO2019152983A2 (en) | System and apparatus for face anti-spoofing via auxiliary supervision | |
CN107437067A (zh) | 人脸活体检测方法及相关产品 | |
CN105518710B (zh) | 视频检测方法、视频检测***以及计算机程序产品 | |
CN109829370A (zh) | 人脸识别方法及相关产品 | |
CN111754415A (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
CN113205057B (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
CN112487922B (zh) | 一种多模态人脸活体检测方法及*** | |
CN110956114A (zh) | 人脸活体检测方法、装置、检测***及存储介质 | |
CN109815813A (zh) | 图像处理方法及相关产品 | |
CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
CN113657195A (zh) | 人脸图像识别方法、设备、电子装置和存储介质 | |
CN113221767A (zh) | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 | |
CN112700568B (zh) | 一种身份认证的方法、设备及计算机可读存储介质 | |
CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
CN111783677B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
CN111597944B (zh) | 活体检测方法、装置、计算机设备及存储介质 | |
CN113538315A (zh) | 图像处理方法及装置 | |
CN113095116B (zh) | 身份识别方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |