CN111079707B - 人脸检测方法及相关装置 - Google Patents
人脸检测方法及相关装置 Download PDFInfo
- Publication number
- CN111079707B CN111079707B CN201911413002.2A CN201911413002A CN111079707B CN 111079707 B CN111079707 B CN 111079707B CN 201911413002 A CN201911413002 A CN 201911413002A CN 111079707 B CN111079707 B CN 111079707B
- Authority
- CN
- China
- Prior art keywords
- feature map
- face detection
- anchor point
- convolution
- anchor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸检测方法及相关装置,方法包括:根据输入图片和第一卷积集合获得第一特征图;根据第一特征图和第二卷积集合获得第二特征图,以及根据第二特征图和第三卷积集合获得第三特征图;根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数;根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。采用本申请实施例能够解决在不同的应用场景下检测器需要重新训练的问题,有助于提高人脸检测精度。
Description
技术领域
本申请涉及神经网络技术领域,具体涉及一种人脸检测方法及相关装置。
背景技术
基于深度学习的人脸检测,锚点anchor是一个很重要的参数,anchor使得目标检测能够更加精准的定位和减少计算量。无论是滑动窗口(Sliding Window)还是区域生成网络(Region Proposal Network,RPN)都存在着人为设置超参数的过程。anchor通常是对训练集进行聚类分析得到的。当数据集发生改变,就需要重新聚类生成anchor,并重新训练网络,带来很多不必要的重复性工作。另外,anchor的设置不能很好的覆盖数据集中分布较少的目标尺寸。
发明内容
本申请实施例提供一种人脸检测方法及相关装置,用于解决在不同的应用场景下检测器需要重新训练的问题,有助于提高人脸检测精度。
第一方面,本申请实施例提供一种人脸检测方法,包括:
根据输入图片和第一卷积集合获得第一特征图;
根据第一特征图和第二卷积集合获得第二特征图,以及根据第二特征图和第三卷积集合获得第三特征图;
根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数;
根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。
在一些可能的实施例中,根据输入图片和第一卷积集合获得第一特征图,包括:
将尺寸大小为M*M的输入图片输入第一卷积集合,M为大于1的整数;
调用预先存储于第一卷积集合中的特征提取算法;
使用特征提取算法对输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,P为大于1的整数。
在一些可能的实施例中,根据第一特征图和第四卷积集合获得N个锚点,包括:
将尺寸大小为(M/2P)*(M/2P)*2N的第一特征图输入第四卷积集合;
根据第一特征图和第四卷积集合包括的全局池化层GAP获得2N个数据点;
根据2N个数据点和第四卷积集合包括的预设卷积过滤器获得N个锚点。
在一些可能的实施例中,根据所述第一特征图、所述第二特征图、所述第三特征图和所述N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果,包括:
对所述N个锚点执行划分操作,得到三个锚点集合,所述三个锚点集合中的每个锚点集合均包括(N/3)个锚点;
根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果;
根据所述第二特征图和所述三个锚点集合中的第2个锚点集合在所述三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果;
根据所述第三特征图和所述三个锚点集合中的第3个锚点集合在所述三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果;
将所述第一部分人脸检测结果、所述第二部分人脸检测结果和所述第三部分人脸检测结果确定为人脸检测结果。
在一些可能的实施例中,根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果,包括:
将所述第一特征图和所述三个锚点集合中的第1个锚点集合输入三个神经网络层中的第1个神经网络层;
判断锚点A对应的内容是否为人脸或背景,所述锚点A为所述第1个锚点集合包括的(N/3)个锚点中的任意一个;
若所述锚点A对应的内容为人脸,则对所述锚点A执行回归分析操作,得到回归分析后的所述锚点A;
对所述第1个锚点集合包括的(N/3)个锚点中除所述锚点A之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,所述(N/3-1)个回归分析后的锚点与所述(N/3-1)个锚点一一对应;
将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第一部分人脸检测结果。
第二方面,本申请实施例提供一种人脸检测装置,包括:
第一获得单元,用于根据输入图片和第一卷积集合获得第一特征图;
第二获得单元,用于根据第一特征图和第二卷积集合获得第二特征图;
第三获得单元,用于根据第二特征图和第三卷积集合获得第三特征图;
第四获得单元,用于根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数;
人脸检测单元,用于根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行如本申请实施例第一方面的方法中的部分或全部步骤的指令。
第四方面,本申请实施例提供一种计算机可读存储介质,上述计算机可读存储介质用于存储计算机程序,上述计算机程序被处理器执行,以实现本申请实施例第一方面的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行本申请实施例第一方面的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,相较于当数据集发生改变时,需要重新聚类生成anchor,且anchor的设置不能很好的覆盖数据集中分布较少的目标尺寸,在本申请实施例中,根据输入图片和第一卷积集合获得第一特征图,根据第一特征图和第四卷积集合获得多个锚点,此时当数据集发生改变时,无需重新聚类生成anchor,有助于解决在不同的应用场景下检测器需要重新训练的问题。同时,三个特征图和多个锚点在三个神经网络层中执行人脸检测结果,此时能够覆盖数据集中分布较少的目标尺寸,有助于提高人脸检测精度。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1A是本申请实施例提供的一种现有的人脸检测***的架构示意图;
图1B是本申请实施例提供的一种改进的人脸检测***的架构示意图;
图2是本申请实施例提供的一种人脸检测方法的流程示意图;
图3A是本申请实施例提供的另一种人脸检测方法的流程示意图;
图3B是本申请实施例提供的一种基于第一特征图和第1个锚点集合在第一yolo层执行人脸检测的示意图;
图4是本申请实施例提供的一种人脸检测装置的功能单元个成框图;
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,UE),移动台(mobile station,MS),终端设备(terminal device,TD)等等。
下面对本申请实施例进行详细介绍。
请参见图1A,图1A是本申请实施例提供的一种现有的人脸检测***的架构示意图,该人脸检测***包括输入图片、第一卷积集合、第二卷积集合、第三卷积集合、第一yolo层、第二yolo层和第三yolo层,其中:
输入图片经过第一卷积集合处理,得到第一特征图;
第一特征图经过第二卷积集合处理,得到第二特征图;
第二特征图经过第三卷积集合处理,得到第三特征图;
第一特征图经过第一yolo层处理,得到第一部分人脸检测结果;
第二特征图经过第二yolo层处理,得到第二部分人脸检测结果;
第三特征图经过第三yolo层处理,得到第三部分人脸检测结果。
请参见图1B,图1B是本申请实施例提供的一种改进的人脸检测***的架构示意图,该人脸检测***包括输入图片、第一卷积集合、第二卷积集合、第三卷积集合、第四卷积集合、第一yolo层、第二yolo层和第三yolo层,其中:
输入图片经过第一卷积集合处理,得到第一特征图;
第一特征图经过第二卷积集合处理,得到第二特征图;
第二特征图经过第三卷积集合处理,得到第三特征图;
第一特征图经过第四卷积集合处理,得到三个锚点集合,三个锚点集合包括第1个锚点集合、第2个锚点集合和第3个锚点集合;
第一特征图和第1个锚点集合经过第一yolo层处理,得到第一部分人脸检测结果;
第二特征图和第2个锚点集合经过第二yolo层处理,得到第二部分人脸检测结果;
第三特征图和第3个锚点集合经过第三yolo层处理,得到第三部分人脸检测结果。
请参见图2,图2是本申请实施例提供的一种人脸检测方法的流程示意图,该人脸检测方法包括步骤201-204,具体如下:
201、人脸检测装置根据输入图片和第一卷积集合获得第一特征图。
在第一卷积集合中,对输入图片执行多次下采样和多倍降采样操作,得到第一特征图。
202、人脸检测装置根据第一特征图和第二卷积集合获得第二特征图,以及根据第二特征图和第三卷积集合获得第三特征图。
在第二卷积集合中,对第一特征图执行多倍降采样操作,得到第二特征图;
在第三卷积集合中,对第二特征图执行多倍降采样操作,得到第三特征图;
在卷积集合中进行降采样的倍数:第一卷积集合>第二卷积集合>第三卷积集合。
203、人脸检测装置根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数。
在第四卷积集合中,第一特征图经过全局池化层处理,得到2N个数据点;2N个数据点经过预设卷积过滤器处理,得到N个锚点。
204、人脸检测装置根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。
三个神经网络层可以包括第一yolo层、第二yolo层和第三yolo层。
可以看出,相较于当数据集发生改变时,需要重新聚类生成anchor,且anchor的设置不能很好的覆盖数据集中分布较少的目标尺寸,在本申请实施例中,根据输入图片和第一卷积集合获得第一特征图,根据第一特征图和第四卷积集合获得多个锚点,此时当数据集发生改变时,无需重新聚类生成anchor,有助于解决在不同的应用场景下检测器需要重新训练的问题。同时,三个特征图和多个锚点在三个神经网络层中执行人脸检测结果,有助于提高人脸检测精度。
请参见图3A,图3A为本申请实施例提供的另一种人脸检测方法的流程示意图,该人脸检测方法包括步骤301-312,具体如下:
301、人脸检测装置将尺寸大小为M*M的输入图片输入第一卷积集合,M为大于1的整数。
M可以为416。
302、人脸检测装置调用预先存储于第一卷积集合中的特征提取算法,以及使用特征提取算法对输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,P为大于1的整数。
特征提取算法可以包括尺度不变特征变化SIFT算法、加速稳健特征SURF算法、局部二值模式LBP算法等。
P可以为5,N可以为9。
首先,人脸检测装置可以对输入图片执行5次下采样操作,然后,人脸检测装置执行32倍降采样操作。
第一特征图的尺寸大小可以为13*13*18。
303、人脸检测装置根据第一特征图和第二卷积集合获得第二特征图。
在一个可能的实施例中,人脸检测装置根据第一特征图和第二卷积集合获得第二特征图,包括:
人脸检测装置将尺寸大小为(M/2P)*(M/2P)*2N的第一特征图输入第二卷积集合;
人脸检测装置获取第二卷积集合中预先存储的对第一特征图执行降采样操作的倍数为(2P-1);
人脸检测装置对第一特征图执行(2P-1)倍数降采样操作,得到尺寸大小为(M/2P -1)*(M/2P-1)*2N的第二特征图。
第二特征图的尺寸大小可以为26*26*18。
304、人脸检测装置根据第二特征图和第三卷积集合获得第三特征图。
在一个可能的实施例中,人脸检测装置根据第二特征图和第三卷积集合获得第三特征图,包括:
人脸检测装置将尺寸大小为(M/2P-1)*(M/2P-1)*2N的第二特征图输入第三卷积集合;
人脸检测装置获取第三卷积集合中预先存储的对第二特征图执行降采样操作的倍数为(2P-2);
人脸检测装置对第二特征图执行(2P-2)倍数降采样操作,得到尺寸大小为(M/2P -2)*(M/2P-2)*2N的第三特征图。
第三特征图的尺寸大小可以为52*52*18。
305、人脸检测装置将尺寸大小为(M/2P)*(M/2P)*2N的第一特征图输入第四卷积集合。
306、人脸检测装置根据第一特征图和第四卷积集合包括的全局池化层GAP获得2N个数据点。
307、人脸检测装置根据2N个数据点和第四卷积集合包括的预设卷积过滤器获得N个锚点。
预设卷积过滤器可以为1*1卷积过滤器。
308、人脸检测装置对N个锚点执行划分操作,得到三个锚点集合,三个锚点集合中的每个锚点集合均包括(N/3)个锚点。
人脸检测装置对N个锚点执行排序操作,得到排序后的N个锚点,将排序后的N个锚点中的第1个锚点至第(N/3)个锚点确定为第1个锚点集合,将排序后的N个锚点中的第(N/3+1)个锚点至第(2N/3)个锚点确定为第2个锚点集合,将排序后的N个锚点中的第(2N/3+1)个锚点至第N个锚点确定为第3个锚点集合。
每个锚点包括两个数值,两个数值分别表示先验框的长和宽。
309、人脸检测装置根据第一特征图和三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果。
第1个神经网络层可以为第一yolo层。
在一个可能的实施例中,人脸检测装置根据第一特征图和三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果,包括:
人脸检测装置将第一特征图和三个锚点集合中的第1个锚点集合输入三个神经网络层中的第1个神经网络层;
人脸检测装置判断锚点A对应的内容是否为人脸或背景,锚点A为第1个锚点集合包括的(N/3)个锚点中的任意一个;
若锚点A对应的内容为人脸,则人脸检测装置对锚点A执行回归分析操作,得到回归分析后的锚点A;
人脸检测装置对第1个锚点集合包括的(N/3)个锚点中除锚点A之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,(N/3-1)个回归分析后的锚点与(N/3-1)个锚点一一对应;
人脸检测装置将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第一部分人脸检测结果。
人脸检测装置对锚点A对应的内容进行特征提取,得到第一特征集合;如果第一特征集合与人脸特征集合匹配,那么人脸检测装置确定锚点A对应的内容为人脸;如果第一特征集合与人脸特征集合不匹配,那么人脸检测装置确定锚点A对应的内容为背景;其中,人脸特征集合预先存储于人脸检测装置中。
人脸检测装置对锚点A执行回归分析操作,得到锚点A对应的先验框的初始中心坐标和偏移量;人脸检测装置根据中心坐标和偏移量获得锚点A对应的先验框的最终中心坐标;人脸检测装置将锚点A对应的先验框的最终中心坐标、长和宽确定为回归分析后的锚点A。
举例来说,如图3B所示,图3B是本申请实施例提供的一种基于第一特征图和第1个锚点集合在第一yolo层执行人脸检测的示意图,人脸检测装置将第一特征图和3个锚点输入第一yolo层;人脸检测装置对3个锚点中的每个锚点对应的内容进行分类,得到每个锚点对应的内容为人脸或背景;如果锚点对应的内容是人脸,那么人脸检测装置对该锚点执行回归分析操作。
310、人脸检测装置根据第二特征图和三个锚点集合中的第2个锚点集合在三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果。
第2个神经网络层可以为第二yolo层。
在一个可能的实施例中,人脸检测装置根据第二特征图和三个锚点集合中的第2个锚点集合在三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果,包括:
人脸检测装置将第二特征图和三个锚点集合中的第2个锚点集合输入三个神经网络层中的第2个神经网络层;
人脸检测装置判断锚点B对应的内容是否为人脸或背景,锚点B为第2个锚点集合包括的(N/3)个锚点中的任意一个;
若锚点B对应的内容为人脸,则人脸检测装置对锚点B执行回归分析操作,得到回归分析后的锚点B;
人脸检测装置对第2个锚点集合包括的(N/3)个锚点中除锚点B之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,(N/3-1)个回归分析后的锚点与(N/3-1)个锚点一一对应;
人脸检测装置将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第二部分人脸检测结果。
人脸检测装置判断锚点B对应的内容是否为人脸或背景参见上述人脸检测装置判断锚点A对应的内容是否为人脸或背景的描述,在此不再叙述。
人脸检测装置对锚点B执行回归分析操作得到回归分析后的锚点B参见上述人脸检测装置对锚点A执行回归分析操作得到回归分析后的锚点A的描述,在此不再叙述。
311、人脸检测装置根据第三特征图和三个锚点集合中的第3个锚点集合在三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果。
第3个神经网络层可以为第三yolo层。
在一个可能的实施例中,人脸检测装置根据第三特征图和三个锚点集合中的第3个锚点集合在三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果,包括:
人脸检测装置将第三特征图和三个锚点集合中的第3个锚点集合输入三个神经网络层中的第3个神经网络层;
人脸检测装置判断锚点C对应的内容是否为人脸或背景,锚点C为第3个锚点集合包括的(N/3)个锚点中的任意一个;
若锚点C对应的内容为人脸,则人脸检测装置对锚点C执行回归分析操作,得到回归分析后的锚点C;
人脸检测装置对第3个锚点集合包括的(N/3)个锚点中除锚点C之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,(N/3-1)个回归分析后的锚点与(N/3-1)个锚点一一对应;
人脸检测装置将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第三部分人脸检测结果。
人脸检测装置判断锚点C对应的内容是否为人脸或背景参见上述人脸检测装置判断锚点A对应的内容是否为人脸或背景的描述,在此不再叙述。
人脸检测装置对锚点C执行回归分析操作得到回归分析后的锚点C参见上述人脸检测装置对锚点A执行回归分析操作得到回归分析后的锚点A的描述,在此不再叙述。
312、人脸检测装置将第一部分人脸检测结果、第二部分人脸检测结果和第三部分人脸检测结果确定为人脸检测结果。
人脸检测结果包括三个特征图中的每个特征图的先验框(包括人脸图像)对应的输入图片的区域,三个特征图的尺寸互不相同。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,人脸检测装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对一个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据方法示例对人脸检测装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面为本申请装置实施例,本申请装置实施例用于执行本申请方法实施例所实现的方法。请参见图4,图4是本申请实施例提供的一种人脸检测装置的功能单元组成框图,该人脸检测装置400包括:
第一获得单元401,用于根据输入图片和第一卷积集合获得第一特征图;
第二获得单元402,用于根据第一特征图和第二卷积集合获得第二特征图;
第三获得单元403,用于根据第二特征图和第三卷积集合获得第三特征图;
第四获得单元404,用于根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数;
人脸检测单元405,用于根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。
可以看出,相较于当数据集发生改变时,需要重新聚类生成anchor,且anchor的设置不能很好的覆盖数据集中分布较少的目标尺寸,在本申请实施例中,根据输入图片和第一卷积集合获得第一特征图,根据第一特征图和第四卷积集合获得多个锚点,此时当数据集发生改变时,无需重新聚类生成anchor,有助于解决在不同的应用场景下检测器需要重新训练的问题。同时,三个特征图和多个锚点在三个神经网络层中执行人脸检测结果,此时能够覆盖数据集中分布较少的目标尺寸,有助于提高人脸检测精度。
在一些可能的实施例中,在根据输入图片和第一卷积集合获得第一特征图方面,上述第一获得单元401具体用于:
将尺寸大小为M*M的输入图片输入第一卷积集合,M为大于1的整数;
调用预先存储于第一卷积集合中的特征提取算法;
使用特征提取算法对输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,P为大于1的整数。
在一些可能的实施例中,在根据第一特征图和第四卷积集合获得N个锚点方面,上述第四获得单元404具体用于:
将尺寸大小为(M/2P)*(M/2P)*2N的第一特征图输入第四卷积集合;
根据第一特征图和第四卷积集合包括的全局池化层GAP获得2N个数据点;
根据2N个数据点和第四卷积集合包括的预设卷积过滤器获得N个锚点。
在一些可能的实施例中,在根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果方面,上述人脸检测单元405具体用于:
对所述N个锚点执行划分操作,得到三个锚点集合,所述三个锚点集合中的每个锚点集合均包括(N/3)个锚点;
根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果;
根据所述第二特征图和所述三个锚点集合中的第2个锚点集合在所述三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果;
根据所述第三特征图和所述三个锚点集合中的第3个锚点集合在所述三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果;
将所述第一部分人脸检测结果、所述第二部分人脸检测结果和所述第三部分人脸检测结果确定为人脸检测结果。
在一些可能的实施例中,在根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果方面,上述人脸检测单元405具体用于:
将所述第一特征图和所述三个锚点集合中的第1个锚点集合输入三个神经网络层中的第1个神经网络层;
判断锚点A对应的内容是否为人脸或背景,所述锚点A为所述第1个锚点集合包括的(N/3)个锚点中的任意一个;
若所述锚点A对应的内容为人脸,则对所述锚点A执行回归分析操作,得到回归分析后的所述锚点A;
对所述第1个锚点集合包括的(N/3)个锚点中除所述锚点A之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,所述(N/3-1)个回归分析后的锚点与所述(N/3-1)个锚点一一对应;
将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第一部分人脸检测结果。
与上述图2和图3A所示的实施例一致的,请参见图5,图5是本申请实施例提供的一种电子设备的结构示意图,该电子设备500包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
根据输入图片和第一卷积集合获得第一特征图;
根据第一特征图和第二卷积集合获得第二特征图,以及根据第二特征图和第三卷积集合获得第三特征图;
根据第一特征图和第四卷积集合获得N个锚点,N为大于1的整数;
根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果。
可以看出,相较于当数据集发生改变时,需要重新聚类生成anchor,且anchor的设置不能很好的覆盖数据集中分布较少的目标尺寸,在本申请实施例中,根据输入图片和第一卷积集合获得第一特征图,根据第一特征图和第四卷积集合获得多个锚点,此时当数据集发生改变时,无需重新聚类生成anchor,有助于解决在不同的应用场景下检测器需要重新训练的问题。同时,三个特征图和多个锚点在三个神经网络层中执行人脸检测结果,此时能够覆盖数据集中分布较少的目标尺寸,有助于提高人脸检测精度。
在一些可能的实施例中,在根据输入图片和第一卷积集合获得第一特征图方面,上述程序包括具体用于执行以下步骤的指令:
将尺寸大小为M*M的输入图片输入第一卷积集合,M为大于1的整数;
调用预先存储于第一卷积集合中的特征提取算法;
使用特征提取算法对输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,P为大于1的整数。
在一些可能的实施例中,在根据第一特征图和第四卷积集合获得N个锚点方面,上述程序包括具体用于执行以下步骤的指令:
将尺寸大小为(M/2P)*(M/2P)*2N的第一特征图输入第四卷积集合;
根据第一特征图和第四卷积集合包括的全局池化层GAP获得2N个数据点;
根据2N个数据点和第四卷积集合包括的预设卷积过滤器获得N个锚点。
在一些可能的实施例中,在根据第一特征图、第二特征图、第三特征图和N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果方面,上述程序包括具体用于执行以下步骤的指令:
对所述N个锚点执行划分操作,得到三个锚点集合,所述三个锚点集合中的每个锚点集合均包括(N/3)个锚点;
根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果;
根据所述第二特征图和所述三个锚点集合中的第2个锚点集合在所述三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果;
根据所述第三特征图和所述三个锚点集合中的第3个锚点集合在所述三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果;
将所述第一部分人脸检测结果、所述第二部分人脸检测结果和所述第三部分人脸检测结果确定为人脸检测结果。
在一些可能的实施例中,在根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果方面,上述程序包括具体用于执行以下步骤的指令:
将所述第一特征图和所述三个锚点集合中的第1个锚点集合输入三个神经网络层中的第1个神经网络层;
判断锚点A对应的内容是否为人脸或背景,所述锚点A为所述第1个锚点集合包括的(N/3)个锚点中的任意一个;
若所述锚点A对应的内容为人脸,则对所述锚点A执行回归分析操作,得到回归分析后的所述锚点A;
对所述第1个锚点集合包括的(N/3)个锚点中除所述锚点A之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,所述(N/3-1)个回归分析后的锚点与所述(N/3-1)个锚点一一对应;
将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第一部分人脸检测结果。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实现方式及应用范围上均会有改变之处,综上上述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种人脸检测方法,其特征在于,包括:
根据输入图片和第一卷积集合获得第一特征图;
根据所述第一特征图和第二卷积集合获得第二特征图,以及根据所述第二特征图和第三卷积集合获得第三特征图;
根据所述第一特征图和第四卷积集合获得N个锚点,所述N为大于1的整数;
根据所述第一特征图、所述第二特征图、所述第三特征图和所述N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果;包括:对所述N个锚点执行划分操作,得到三个锚点集合,所述三个锚点集合中的每个锚点集合均包括(N/3)个锚点;根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果;根据所述第二特征图和所述三个锚点集合中的第2个锚点集合在所述三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果;根据所述第三特征图和所述三个锚点集合中的第3个锚点集合在所述三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果;将所述第一部分人脸检测结果、所述第二部分人脸检测结果和所述第三部分人脸检测结果确定为人脸检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据输入图片和第一卷积集合获得第一特征图,包括:
将尺寸大小为M*M的输入图片输入第一卷积集合,所述M为大于1的整数;
调用预先存储于所述第一卷积集合中的特征提取算法;
使用所述特征提取算法对所述输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,所述P为大于1的整数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一特征图和第四卷积集合获得N个锚点,包括:
将尺寸大小为(M/2P)*(M/2P)*2N的所述第一特征图输入第四卷积集合;
根据所述第一特征图和所述第四卷积集合包括的全局池化层GAP获得2N个数据点;
根据所述2N个数据点和所述第四卷积集合包括的预设卷积过滤器获得N个锚点。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果,包括:
将所述第一特征图和所述三个锚点集合中的第1个锚点集合输入三个神经网络层中的第1个神经网络层;
判断锚点A对应的内容是否为人脸或背景,所述锚点A为所述第1个锚点集合包括的(N/3)个锚点中的任意一个;
若所述锚点A对应的内容为人脸,则对所述锚点A执行回归分析操作,得到回归分析后的所述锚点A;
对所述第1个锚点集合包括的(N/3)个锚点中除所述锚点A之外的(N/3-1)个锚点执行相同操作,得到(N/3-1)个回归分析后的锚点,所述(N/3-1)个回归分析后的锚点与所述(N/3-1)个锚点一一对应;
将(N/3)个回归分析后的锚点中的每个回归分析后的锚点对应的内容确定为第一部分人脸检测结果。
5.一种人脸检测装置,其特征在于,包括:
第一获得单元,用于根据输入图片和第一卷积集合获得第一特征图;
第二获得单元,用于根据所述第一特征图和第二卷积集合获得第二特征图;
第三获得单元,用于根据所述第二特征图和第三卷积集合获得第三特征图;
第四获得单元,用于根据所述第一特征图和第四卷积集合获得N个锚点,所述N为大于1的整数;
人脸检测单元,用于根据所述第一特征图、所述第二特征图、所述第三特征图和所述N个锚点在三个神经网络层中执行人脸检测操作,得到人脸检测结果;包括:对所述N个锚点执行划分操作,得到三个锚点集合,所述三个锚点集合中的每个锚点集合均包括(N/3)个锚点;根据所述第一特征图和所述三个锚点集合中的第1个锚点集合在三个神经网络层中的第1个神经网络层执行人脸检测操作,得到第一部分人脸检测结果;根据所述第二特征图和所述三个锚点集合中的第2个锚点集合在所述三个神经网络层中的第2个神经网络层执行人脸检测操作,得到第二部分人脸检测结果;根据所述第三特征图和所述三个锚点集合中的第3个锚点集合在所述三个神经网络层中的第3个神经网络层执行人脸检测操作,得到第三部分人脸检测结果;将所述第一部分人脸检测结果、所述第二部分人脸检测结果和所述第三部分人脸检测结果确定为人脸检测结果。
6.根据权利要求5所述的装置,其特征在于,在根据输入图片和第一卷积集合获得第一特征图方面,所述第一获得单元具体用于:
将尺寸大小为M*M的输入图片输入第一卷积集合,所述M为大于1的整数;
调用预先存储于所述第一卷积集合中的特征提取算法;
使用所述特征提取算法对所述输入图片执行P次下采样和2P倍降采样操作,得到尺寸大小为(M/2P)*(M/2P)*2N的第一特征图,所述P为大于1的整数。
7.根据权利要求6所述的装置,其特征在于,在根据所述第一特征图和第四卷积集合获得N个锚点方面,所述第四获得单元具体用于:
将尺寸大小为(M/2P)*(M/2P)*2N的所述第一特征图输入第四卷积集合;
根据所述第一特征图和所述第四卷积集合包括的全局池化层GAP获得2N个数据点;
根据所述2N个数据点和所述第四卷积集合包括的预设卷积过滤器获得N个锚点。
8.一种电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-4任一项所述的方法中的部分或全部步骤的指令。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行,以实现如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911413002.2A CN111079707B (zh) | 2019-12-31 | 2019-12-31 | 人脸检测方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911413002.2A CN111079707B (zh) | 2019-12-31 | 2019-12-31 | 人脸检测方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079707A CN111079707A (zh) | 2020-04-28 |
CN111079707B true CN111079707B (zh) | 2023-06-13 |
Family
ID=70320628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911413002.2A Active CN111079707B (zh) | 2019-12-31 | 2019-12-31 | 人脸检测方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079707B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409210A (zh) * | 2018-09-11 | 2019-03-01 | 北京飞搜科技有限公司 | 一种基于ssd框架的人脸检测方法及*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403141B (zh) * | 2017-07-05 | 2020-01-10 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN107644209A (zh) * | 2017-09-21 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 人脸检测方法和装置 |
CN109902697B (zh) * | 2017-12-07 | 2022-10-28 | 展讯通信(天津)有限公司 | 多目标检测方法、装置及移动终端 |
CN109359555A (zh) * | 2018-09-21 | 2019-02-19 | 江苏安凰领御科技有限公司 | 一种高精度的人脸快速检测方法 |
CN109801270B (zh) * | 2018-12-29 | 2021-07-16 | 北京市商汤科技开发有限公司 | 锚点确定方法及装置、电子设备和存储介质 |
CN110298298B (zh) * | 2019-06-26 | 2022-03-08 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
CN110472539B (zh) * | 2019-08-01 | 2022-09-30 | 上海海事大学 | 一种文本检测方法、装置及计算机存储介质 |
-
2019
- 2019-12-31 CN CN201911413002.2A patent/CN111079707B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409210A (zh) * | 2018-09-11 | 2019-03-01 | 北京飞搜科技有限公司 | 一种基于ssd框架的人脸检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111079707A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875732B (zh) | 模型训练与实例分割方法、装置和***及存储介质 | |
US9483835B2 (en) | Depth value restoration method and system | |
CN108121984B (zh) | 一种字符识别方法及装置 | |
CN106651877B (zh) | 实例分割方法及装置 | |
US9552642B2 (en) | Apparatus and method for tracking object using feature descriptor, and apparatus and method for removing garbage feature | |
CN106650615B (zh) | 一种图像处理方法及终端 | |
CN108846842B (zh) | 一种图像噪声检测方法、装置及电子设备 | |
US20200082542A1 (en) | Image processing method and apparatus | |
CN109472193A (zh) | 人脸检测方法及装置 | |
CN111861867B (zh) | 图像背景虚化方法和装置 | |
CN110120059B (zh) | 一种图标生成方法及装置 | |
CN107563974A (zh) | 图像去噪方法、装置、电子设备及存储介质 | |
CN111222379A (zh) | 一种手部检测方法及装置 | |
CN111881846B (zh) | 图像处理方法和相关装置、设备、存储介质 | |
CN109635755A (zh) | 人脸提取方法、装置及存储介质 | |
CN110827301B (zh) | 用于处理图像的方法和装置 | |
CN108038491B (zh) | 一种图像分类方法及装置 | |
CN109711287B (zh) | 人脸采集方法及相关产品 | |
CN109035285B (zh) | 图像边界确定方法及装置、终端及存储介质 | |
CN114359641A (zh) | 目标对象的检测方法以及相关装置、设备 | |
CN111079707B (zh) | 人脸检测方法及相关装置 | |
CN107346544B (zh) | 一种图像处理方法和电子设备 | |
KR102239588B1 (ko) | 이미지 처리 방법 및 장치 | |
CN113269280A (zh) | 文本检测方法、装置、电子设备及计算机可读存储介质 | |
JP2019191973A (ja) | 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |