CN112115954A - 一种特征提取方法、装置、机器可读介质及设备 - Google Patents

一种特征提取方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112115954A
CN112115954A CN202011055038.0A CN202011055038A CN112115954A CN 112115954 A CN112115954 A CN 112115954A CN 202011055038 A CN202011055038 A CN 202011055038A CN 112115954 A CN112115954 A CN 112115954A
Authority
CN
China
Prior art keywords
point cloud
voxel
layer
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011055038.0A
Other languages
English (en)
Other versions
CN112115954B (zh
Inventor
姚志强
周曦
曹睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Original Assignee
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd filed Critical Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority to CN202011055038.0A priority Critical patent/CN112115954B/zh
Publication of CN112115954A publication Critical patent/CN112115954A/zh
Application granted granted Critical
Publication of CN112115954B publication Critical patent/CN112115954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种特征提取方法，包括：获取待处理图像的原始点云数据；利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。本发明通过对原始点云的处理，得到一个由多层点云叠加构成的拓扑结构，其拓扑结构的计算和存储复杂度为O(n)，避免了巨大的存储空间占用和计算量需求，同时，由于直接处理点云数据从而保持3维数据的完整和不变性，完全发挥了3维数据的优势，使得基于该方法的3D生物识别技术在计算效率和精度上都取得了很好的效果。

Description

一种特征提取方法、装置、机器可读介质及设备
技术领域
本发明涉及特征处理领域，具体涉及一种特征提取方法、装置、机器可读介质及设备。
背景技术
随着人工智能潮流的兴起，基于二维图像的2D人脸识别技术迅速发展成熟，并得到了大规模应用。但是二维人脸图像在很多情况(例如不均匀光照、光照不足、人脸角度较大、化妆)下图像纹理变化巨大，从而导致准确率大大降低。而三维信息则不会受到纹理变化的干扰，若基于三维信息进行人脸识别则可以很好地解决前述问题。此外使用3维信息的人脸识别***，也不会被二维图像、视频欺骗攻击，这也是目前2D人脸识别技术的一大隐患。
然而目前真正基于3维信息的3D人脸识别技术距离大量落地还有一定距离。目前的三维人脸识别技术依据对人脸特征的提取方式主要有以下几种：
(1)基于人工特征的方法：通过信息采集和预处理，将人脸数据处理成三维点云或三角网格；对处理好的三维人脸数据，通过人类专家设计的方法提取人工特征，例如计算三维点云的曲率，法线，设计SIFT,MMH等特征，再根据提取好的特征进行匹配，从而分辨不同的人脸数据是否属于同一人。这类算法的缺点是，人工特征主要基于三维模型，当人脸表情变化较大时三维模型变化也较大，故对于人脸表情较为敏感。而一些全局的人工特征例如计算三维形变模型参数的方法能解决表情变化问题，但需要很大的额外计算量。同时，与2维人脸识别领域类似的，人工特征在大规模三维人脸测试集上表现不是很好。
(2)基于深度学习的方法：由于深度学习在二维人脸识别上的成功，学术界也把目光放在使用深度学习的方法来进行三维人脸识别的研究。而基于深度学习的做法也面临着巨大的挑战因而导致目前尚未有大规模应用。因为基于深度学习的方法主要依赖卷积神经网络逐层叠加，不断对低级特征抽象，从而自动学成高级的人脸特征。目前对3维数据使用神经网络主要有一下几类方向：
a)模仿2维数据的处理方式，将3维数据表示成3维空间网格信息，将2维卷积拓展成3维卷积，利用3维卷积模块搭建深度学习网络并处理3维信息，但是增加一个维度后，对数据空间占用以及计算消耗都带来指数级的增长，复杂度为O(n3)，使得有限的资源可处理的数据精度大大降低，计算耗时大大增强，目前难以用于工程实际。
b)另一个思路是将结构光、TOF等相机拍摄的深度图片直接交给传统的2维神经网络处理，但是这样做却丢失了很多重要的3维信息：首先2维深度图只是一个视角的观察数据，与2维人脸识别情况一样，大量不可见的3维面部信息被丢失；其次，直接使用深度图信息，与2维人脸识别情况一样，引入了相机成像带来的畸变，丧失了3维数据的空间不变性，不能发挥3维数据的优势。
c)设计点云处理网络如典型的点云处理网络PointNet系列(点云网络)、以及DGCNN(动态图卷积网络)。但是这些网络需要实时地计算点云内部点与点之间的距离，从而建立点云内部的拓扑结构关系，使得神经网络能在这种拓扑结构上逐层抽取特征。但是这种距离计算十分耗费内存和cpu，复杂度较高。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种特征提取方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种特征提取方法，包括：
获取待处理图像的原始点云数据；
利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。
可选地，所述拓扑结构的点云层数与所述第一点云深度学习网络的层数相同。
可选地，所述利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，包括：
利用体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推，
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
可选地，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure BDA0002710606400000031
转化方法为：
Figure BDA0002710606400000032
i＝0,1,2,...,n，n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；
对所述体素坐标
Figure BDA0002710606400000033
取整，得到所述体素网格编号；
遍历所有效体素坐标
Figure BDA0002710606400000034
得到有效体素。
可选地，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块，用于对所述原始点云数据进行多次特征处理；其中，特征处理模块与第一点云深度学习网络的每一层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
可选地，每个所述特征处理模块包括：
mlp子模块，用于对输入的点云中每个点进行特征计算并进行维度拓展；
特征划分子模块，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
可选地，所述mlp子模块包括全连接线性单元、批归一化单元、激活单元。
可选地，所述特征处理模块还包括残差子模块、特征拼接子模块。
可选地，若待处理对象为人脸，则该方法还包括：
基于目标特征对人脸点云数据进行对齐；
利用第二点云深度学习模型对对齐后的人脸点云数据进行特征提取；所述第二点云深度学习模型的深度大于所述第一点云深度学习模型的深度。
为实现上述目的及其他相关目的，本发明提供一种特征提取装置，包括：
点云数据获取模块，用于获取待处理图像的原始点云数据；
拓扑结构构建模块，用于利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
特征提取模块，用于基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。
可选地，所述拓扑结构构建模块包括：
初始点云层构建子模块，用于利用体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
第一点云层生成模块，用于将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
第一点云层生成模块，用于利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推；
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
可选地，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure BDA0002710606400000041
转化方法为：
Figure BDA0002710606400000042
i＝0,1,2,...,n，n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；
对所述体素坐标
Figure BDA0002710606400000043
取整，得到所述体素网格编号；
遍历所有效体素坐标
Figure BDA0002710606400000044
得到有效体素。
可选地，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块，用于对所述原始点云数据进行多次特征处理；其中，特征处理模块与第一点云深度学习网络的每一层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
可选地，所述特征处理模块包括：
mlp子模块，用于对输入的数据进行维度拓展；
特征划分子模块，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种特征提取方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种特征提取方法，包括：获取待处理图像的原始点云数据；利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。本发明通过对原始点云的处理，得到一个由多层点云叠加构成的拓扑结构，其拓扑结构的计算和存储复杂度为O(n)，避免了巨大的存储空间占用和计算量需求，同时，由于直接处理点云数据从而保持3维数据的完整和不变性，完全发挥了3维数据的优势，使得基于该方法的3D生物识别技术在计算效率和精度上都取得了很好的效果。
附图说明
图1为本发明一实施例一种特征提取方法的流程图；
图2为本发明一实施例利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分方法流程图；
图3为本发明一实施例第一点云深度学习网络的结构示意图；
图4为本发明一实施例一种特征提取装置的示意图；
图5为本发明一实施例中终端设备的硬件结构示意图；
图6为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种特征提取方法，包括：
S11获取待处理图像的原始点云数据；
S12利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
S13基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。其中，所述拓扑结构的点云层数与所述第一点云深度学习网络的层数相同。
本发明通过对原始点云的处理，得到一个由多层点云叠加构成的拓扑结构，其拓扑结构的计算和存储复杂度为O(n)，避免了巨大的存储空间占用和计算量需求，同时，由于直接处理点云数据从而保持3维数据的完整和不变性，完全发挥了3维数据的优势。
本发明在对点云进行层级特征处理时，拓扑结构的计算空间复杂度为O(n)，远优于目前常用的点云处理方法：3维卷积的复杂度为O(n3)，以及动态图卷积网络DGCNN的复度度O(n2)。比起处理深度图的2D方法，本发明直接处理点云数据，保留更多的3维信息，同时避免相机引入的畸变，而且能简便地进行多帧数据融合以及人脸旋转对齐，这是2D方法难以做到的。使得基于该方法的3D人脸识别技术在计算效率和精度上都取得了很好的效果。
在一实施例中，待处理对像的原始点云可以通过如结构光、TOF相机、光场相机、激光雷达等设备采集数据并转化为点云。在采集完点云后，可以对点云内每一个点进行编号，其中编号用pi表示，i＝0,1,2,...,n，n为点云总数。
点云数据即是指3D点云数据。3D点云数据是以数据点的形式记录结构的一种数据，每一个数据点均包含有三维坐标。例如，可以是x,y,z轴上的坐标值。当然，每一个数据点也还可以包含有灰度、颜色等其他信息，本实施例对此不作限定。
若待处理对象是人，则采集得到的是人体点云数据，若需要进行人脸识别时，只需要人脸部分的点云数据，则可以从人体点云数据中提取出人脸点云数据；当然也可以直接采集人脸点云数据。
在一实施例中，如图2所示，所述利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，包括：
S21利用体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
体素网格，可以认为是微小的空间三维立方体的集合。而体素，或者叫立体像素(voxel)，是体积像素(volumepixel)的简称。概念上类似二维空间的最小单位——像素，像素用在二维电脑图像的视频数据上。体积像素是数字数据于三维空间分区上的最小单位，可以理解为体素网格中的三维立方体。
体素网络可以通过获取的点云进行创建，也可以给定一个体素网格，明确其尺寸，这里所说的尺寸是指体素网格的尺寸，即三维立方体的尺寸。在本实施例中，给定体素网格的尺寸v0，依据体素网格的尺寸v0对获取点云的进行均匀的空间划分，每个点pi都会被划分到一个对应的体素空间中，将该体素空间的编号对应到pi上。需要说明的是，每个点pi会被划分到一个对应的体素空间中，每个体素空间中可以对应有多个点。
S22将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
S23利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推，
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
新的点可以用
Figure BDA0002710606400000071
表示，其中，点的数量为n1，再给定一个体素尺寸v1，v1≥v0，再执行步骤S21和步骤S23，可以得到新的一层点
Figure BDA0002710606400000072
点的数量为n2，如此往复m次，就可以得到了多层点云，将所述多层点云进行叠加，得到一个逐层叠加的拓扑结构。这样拓扑结构的计算空间复杂度为O(n)，相对于整体***可忽略不计。
在一实施例中，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure BDA0002710606400000073
转化方法为：
Figure BDA0002710606400000074
i＝0,1,2,...,n，n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；对所述体素坐标
Figure BDA0002710606400000075
取整，得到所述体素网格编号；遍历所有效体素坐标
Figure BDA0002710606400000076
得到有效体素。与体素表示法(复杂度为O(n3))不同，这里只处理并存储了有效体素，其计算量存储消耗并不会指数增长，复杂度仅为O(n)。
在一实施例中，如图3所述，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块31，用于对所述原始点云数据进行多次特征处理；其中，多个特征处理模块的数量与拓扑结构中的点云层的层数相同；其中，特征处理模块与第一点云深度学习网络的每一层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
如图3所示，所述特征处理模块包括：
mlp子模块311，用于对输入的点云中每个点进行特征计算并进行维度拓展；
特征划分子模块312，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块313，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
例如，输入为原始的点云数据，可以被认为是第一层点云，数量为n，维度为d0，如果是纯三维数据，则d0＝3，如果点云还附加有颜色信息，可将颜色作为额外的维度拼接到三维坐标维度后面，此时，d0＝3+c，c为颜色的维度。使用mlp子模块(包括全连接线性单元、批归一化单元、激活单元)对第一层点云中的每一个点云进行特征计算，得到特征点，其中特征点包括特征数量、特征维度，经过mlp子模块处理后，特征维度被拓展为d1，d1>d0，特征数量为n，每个特征的编号与点云中点对应。
对特征的维度进行拓展后，利用拓扑结构的关系索引，通过特征划分子模块把用于将具有相同体素网格编号对应的特征点划分为一组，得到特征组；最后通过特征池化子模块对特征组内特征执行池化操作，得到了n1(n1＜n)个新特征，这n1个新特征可以被认为是池化特征。继续使用前述mlp模块对第二层点云进行特征提取，将特征维度拓展到d2，此时再利用拓扑结构的关系索引，通过特征划分子模块对具有相同体素网格编号对应的特征点进行划分，得到特征组，然后再对特征组进行池化操作。如此往复，就得到了一个dm的高维向量。第一点云深度学习模型的层数可调，层数越深，计算量越大，但是能提取到更加抽象和有效的特征。
举例说明：原始点云数据是ABCDEF，经过第一次体素网格划分时，AB两个点在同一个体素空间中，对应的体素网格编号是1，该体素空间的中心为第二层点云层中的点；CD两个点在另一个体素空间中，对应的体素网格编号是2，该体素空间的中心为第二层点云层中的点；EF两个点在同一个体素空间中，对应的编号是3，该体素空间的中心为第二层点云层中的点。经过第二次体素网格划分时，ABCD对应的第二层中的点(两个体素中心)被划分到一个体素空间，对应体素网格编号f1，EF对应的第二层中的点被划分在另一个体素空间，对应体素网格编号f2，以此类推得到拓扑结构。
将原始点云数据ABCDEF输入到第一点云深度学习网络中，经过第一个mlp模块进行特征提取，得到A1B1C1D1E1F1。对提取的特征进行池化处理，根据前面拓扑结构的编号关系，由于AB编号相同，CD编号相同，EF编号相同，所以A1B1被划分为一组，C1D1被划分为一组，E1F1被划分为一组。对各组内特征进行特征综合及池化处理，每一组得到一个特征向量，最终得到3个新特征向量(分别为T1、T2、T3)。将该3个新特征向量输入下一个mlp模块进行特征提取处理，得到新的特征向量T11、T22、T33。由于在第二次体素网格划分时，ABCD对应第二层点云层中的点被划分到同一体素空间，编号为f1，EF对应的第二层中的点被划分在另一个体素空间，对应体素网格编号f2，所以特征向量T11、T22被划分成一组，T33为另一组，继续对这两组特征进行池化操作，分别输出新的特征向量S1、S2，依次类推，直到拓扑结构的最顶层，最后输出1个特征向量并且该特征向量的维度被扩展到dm维度。
在一实施例中，所述特征处理模块还包括残差子模块、特征拼接子模块。通过这两个子模块，可以增强相应的性能。
在一实施例中，若待处理对象为人脸，该方法还包括：
基于目标特征对人脸点云数据进行对齐；
具体地，基于目标特征预测人脸的姿态(包括旋转角度和偏移量)，基于所述人脸的姿态将人脸点云数据旋转、平移到统一的方向。由于姿态预测并不需要特别抽象的特征，因此，第一点云深度学习模型具有较少的层数。
在对人脸点云数据进行对齐后，利于第二点云深度学习模型对对齐后的人脸点云数据进行特征提取。
其中，第二点云深度学习模型的结构与第一点云深度学习模型的结构相似，但所述第二点云深度学习模型的深度大于所述第一点云深度学习模型的深度。
利用第二点云深度学习模型对对齐后的人脸点云数据进行特征提取的方法与利用第一点云深度学习模型对前述的原始点云数据进行特征提取的方法步骤相同，不同的是第一点云深度学习模型提取的是对原始人脸点云数据进行人脸特征提取，而第二点云深度学习模型提取的是对对齐后的人脸点云数据进行人脸特征提取。两者间所用到的方法、模型可以相互参考。
如图4所示，本发明实施例还提供一种特征提取装置，包括：
点云数据获取模块41，用于获取待处理图像的原始点云数据；
拓扑结构构建模块42，用于拓扑结构构建模块，用于利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
特征提取模块43，用于基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。其中，所述拓扑结构的点云层数与所述第一点云深度学习网络的层数相同。
本发明通过对原始点云的处理，得到一个由多层点云叠加构成的拓扑结构，其拓扑结构的计算和存储复杂度为O(n)，避免了巨大的存储空间占用和计算量需求，同时，由于直接处理点云数据从而保持3维数据的完整和不变性，完全发挥了3维数据的优势。
本发明在对点云进行层级特征处理时，拓扑结构的计算空间复杂度为O(n)，远优于目前常用的点云处理方法：3维卷积的复杂度为O(n3)，以及动态图卷积网络DGCNN的复度度O(n2)。比起处理深度图的2D方法，本发明直接处理点云数据，保留更多的3维信息，同时避免相机引入的畸变，而且能简便地进行多帧数据融合以及人脸旋转对齐，这是2D方法难以做到的。使得基于该方法的3D人脸识别技术在计算效率和精度上都取得了很好的效果。
在一实施例中，所述拓扑结构构建模块包括：
初始点云层构建子模块，用于利用体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
第一点云层生成模块，用于将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
第一点云层生成模块，用于利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推；
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
在一实施例中，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure BDA0002710606400000101
转化方法为：
Figure BDA0002710606400000102
i＝0,1,2,...,n，n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；
对所述体素坐标
Figure BDA0002710606400000103
取整，得到所述体素网格编号；
遍历所有效体素坐标
Figure BDA0002710606400000104
得到有效体素。
在一实施例中，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块，用于对所述原始点云数据进行多次特征处理；其中，特征处理模块与第一点云深度学习网络的每一层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
在一实施例中，所述特征处理模块包括：
mlp子模块，用于对输入的数据进行维度拓展；
特征划分子模块，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
由于装置实施例与方法实施例相对应，因此，装置实施例的具体实施例部分可以参考方法实施例，这里不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件***接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理***，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和***接口模块之间提供接口，上述***接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于***SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种特征提取方法，其特征在于，包括：
获取待处理图像的原始点云数据；
利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。
2.根据权利要求1所述的特征提取方法，其特征在于，所述拓扑结构的点云层数与所述第一点云深度学习网络的层数相同。
3.根据权利要求1所述的特征提取方法，其特征在于，所述利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，包括：
利用一体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推，
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
4.根据权利要求3所述的特征提取方法，其特征在于，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure FDA0002710606390000011
转化方法为：
Figure FDA0002710606390000012
i＝0,1,2,...,n，n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；
对所述体素坐标
Figure FDA0002710606390000013
取整，得到所述体素网格编号；
遍历所有效体素坐标
Figure FDA0002710606390000014
得到有效体素。
5.根据权利要求1所述的特征提取方法，其特征在于，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块，用于对所述原始点云数据进行多次特征处理；其中，所述多个特征处理模块与所述拓扑结构的点云层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
6.根据权利要求5所述的特征提取方法，其特征在于，每个所述特征处理模块包括：
mlp子模块，用于对输入的点云中每个点进行特征计算并进行维度拓展；
特征划分子模块，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
7.根据权利要求6所述的特征提取方法，其特征在于，所述mlp子模块包括全连接线性单元、批归一化单元、激活单元。
8.根据权利要求7所述的特征提取方法，其特征在于，所述特征处理模块还包括残差子模块、特征拼接子模块。
9.根据权利要求1所述的特征提取方法，其特征在于，若待处理对象为人脸，则该方法还包括：
基于目标特征对人脸点云数据进行对齐；
利用第二点云深度学习模型对对齐后的人脸点云数据进行特征提取；所述第二点云深度学习模型的深度大于所述第一点云深度学习模型的深度。
10.一种特征提取装置，其特征在于，包括：
点云数据获取模块，用于获取待处理图像的原始点云数据；
拓扑结构构建模块，用于利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；
特征提取模块，用于基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到目标特征。
11.根据权利要求10所述的特征提取装置，其特征在于，所述拓扑结构构建模块包括：
初始点云层构建子模块，用于利用体素网格对所述原始点云数据进行空间划分，以使所述原始点云数据中的每个点对应一体素空间，其中所述原始点云数据是初始点云层；
第一点云层生成模块，用于将每个体素空间的中心确定为新的点云层中的点，以生成新的点云层；
第一点云层生成模块，用于利用另一个体素网格对所述新的点云层进行空间划分，已使所述新的点云层中每个点对应一体素空间，将每个体素空间的中心确定为最新的点云层中的点，依次类推；
其中，后一次空间划分时的体素网格尺寸大于前一次空间划分时的体素网格尺寸，每层点云层中的每个点对应相应体素空间的体素网格编号。
12.根据权利要求11所述的特征提取装置，其特征在于，所述体素网格编号的生成过程包括：
将点云层中每个点的编号pi转化为体素坐标
Figure FDA0002710606390000035
转化方法为：
Figure FDA0002710606390000031
Figure FDA0002710606390000032
n为点云总数，pmin是点云坐标x,y,z中的最小值，v为体素网格的尺寸；
对所述体素坐标
Figure FDA0002710606390000033
取整，得到所述体素网格编号；
遍历所有效体素坐标
Figure FDA0002710606390000034
得到有效体素。
13.根据权利要求10所述的特征提取装置，其特征在于，所述第一点云深度学习网络包括：
依次连接的多个特征处理模块，用于对所述原始点云数据进行多次特征处理；其中，特征处理模块与第一点云深度学习网络的每一层一一对应；
后一个特征处理模块的输入为前一个特征处理模块的输出；后一个特征处理模块输出的特征的数量小于前一个特征处理模块输出的特征的数量，后一个特征处理模块输出的特征的维度大于前一个特征处理模块输出的特征的维度。
14.根据权利要求13所述的特征提取装置，其特征在于，所述特征处理模块包括：
mlp子模块，用于对输入的数据进行维度拓展；
特征划分子模块，用于将具有相同体素网格编号的点云对应的特征划分为一组，得到特征组；
特征池化子模块，用于对所述特征组进行池化操作，得到池化特征；所述池化特征为特征处理模块的输出。
15.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-9中一个或多个所述的方法。
16.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-9中一个或多个所述的方法。
CN202011055038.0A 2020-09-30 2020-09-30 一种特征提取方法、装置、机器可读介质及设备 Active CN112115954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011055038.0A CN112115954B (zh) 2020-09-30 2020-09-30 一种特征提取方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011055038.0A CN112115954B (zh) 2020-09-30 2020-09-30 一种特征提取方法、装置、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN112115954A true CN112115954A (zh) 2020-12-22
CN112115954B CN112115954B (zh) 2022-03-29

Family

ID=73798419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011055038.0A Active CN112115954B (zh) 2020-09-30 2020-09-30 一种特征提取方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112115954B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801155A (zh) * 2021-01-20 2021-05-14 廖彩红 基于人工智能的业务大数据分析方法及服务器
CN116206066A (zh) * 2023-04-25 2023-06-02 阿里巴巴达摩院(杭州)科技有限公司 基于场景重建生成视频的方法、存储介质和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238244A1 (en) * 2004-04-26 2005-10-27 Canon Kabushiki Kaisha Function approximation processing method and image processing method
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
CN110674829A (zh) * 2019-09-26 2020-01-10 哈尔滨工程大学 一种基于图卷积注意网络的三维目标检测方法
CN111617480A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种点云渲染方法及装置
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238244A1 (en) * 2004-04-26 2005-10-27 Canon Kabushiki Kaisha Function approximation processing method and image processing method
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110674829A (zh) * 2019-09-26 2020-01-10 哈尔滨工程大学 一种基于图卷积注意网络的三维目标检测方法
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN111617480A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种点云渲染方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801155A (zh) * 2021-01-20 2021-05-14 廖彩红 基于人工智能的业务大数据分析方法及服务器
CN116206066A (zh) * 2023-04-25 2023-06-02 阿里巴巴达摩院(杭州)科技有限公司 基于场景重建生成视频的方法、存储介质和***
CN116206066B (zh) * 2023-04-25 2023-09-12 阿里巴巴达摩院(杭州)科技有限公司 基于场景重建生成视频的方法、存储介质和***

Also Published As

Publication number Publication date
CN112115954B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111028330B (zh) 三维表情基的生成方法、装置、设备及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
Chen et al. Visibility-aware point-based multi-view stereo network
CN111583399B (zh) 图像处理方法、装置、设备、介质和电子设备
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN112115954B (zh) 一种特征提取方法、装置、机器可读介质及设备
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
Xie et al. Toward 3D object reconstruction from stereo images
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Zhang et al. Detailed 3D human body reconstruction from a single image based on mesh deformation
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN115272608A (zh) 一种人手重建方法及设备
CN112101252B (zh) 一种基于深度学习的图像处理方法、***、设备及介质
CN108765549A (zh) 一种基于人工智能的产品三维展示方法及装置
CN112070877A (zh) 点云处理方法、装置、设备及计算机可读存储介质
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN116029912A (zh) 图像处理模型的训练、图像处理方法、装置、设备及介质
CN113694525A (zh) 获取虚拟形象的方法、装置、设备及存储介质
CN112258392A (zh) 一种超分辨图像训练方法、装置、介质及设备
CN112232143B (zh) 一种人脸点云优化方法、装置、机器可读介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant