CN113705342B - 一种基于人体上下文注意力机制的人脸检测方法 - Google Patents

一种基于人体上下文注意力机制的人脸检测方法 Download PDF

Info

Publication number
CN113705342B
CN113705342B CN202110806607.9A CN202110806607A CN113705342B CN 113705342 B CN113705342 B CN 113705342B CN 202110806607 A CN202110806607 A CN 202110806607A CN 113705342 B CN113705342 B CN 113705342B
Authority
CN
China
Prior art keywords
frame
feature
target
target frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110806607.9A
Other languages
English (en)
Other versions
CN113705342A (zh
Inventor
田中山
赖少川
王现中
谢成
梁建平
杨大慎
邵其其
李凌波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Oil and Gas Pipeline Network Corp
Original Assignee
China Oil and Gas Pipeline Network Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Oil and Gas Pipeline Network Corp filed Critical China Oil and Gas Pipeline Network Corp
Priority to CN202110806607.9A priority Critical patent/CN113705342B/zh
Publication of CN113705342A publication Critical patent/CN113705342A/zh
Application granted granted Critical
Publication of CN113705342B publication Critical patent/CN113705342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体上下文注意力机制的人脸检测方法，涉及人脸检测技术领域，解决现有检测方式在户外施工中无人机视角下精度差的技术问题，方法包括：S1.采集图片并利用网络PNet回归得到多个可能包含有人脸的回归目标框；S2.利用soft‑NMS过滤掉回归目标框中重合较多的目标框得到一次过滤目标框；S3.对一次过滤目标框进行扩充和利用网络Rnet处理得到高精度目标框；S4.利用soft‑NMS过滤掉高精度目标框中重合较多的目标框得到二次过滤目标框；S5.对二次过滤目标框进行扩充和利用网络ONet处理得到最终的人脸框以及人脸框的打分；S6.通过基于cosface分类损失的训练方法对网络PNet、网络RNet、网络ONet进行训练。

Description

一种基于人体上下文注意力机制的人脸检测方法
技术领域
本发明涉及人脸检测技术领域，更具体地说，它涉及一种基于人体上下文注意力机制的人脸检测方法。
背景技术
目前来说，由于石油化工生产等户外工作领域，其实际工作场景下，不同于目前主流人脸检测方法所针对的室内场景。一般来说石油化工等领域的户外场景，其监控主要依赖无人机，并且其成像具有人脸与镜头夹角大、人脸尺寸偏小等特点，因此为实际生产过程中人脸检测算法的应用带来了许多新的挑战。
并且在近年来，随着科学技术的发展，无人机技术也进入了迅猛发展的时代。各种民用、商用的无人机也进入了千家万户，大众也开始接触无人机设备以及使用无人机进行日常的拍照以及录像，而在警用无人机领域，基于无人机端的检测识别以及定位技术对于公共安全保障体系具有特殊的战略意义。与此同时，随着自动化技术的发展，户外工作的监控技术自动化、去人力化的需求越来越多。并且目前越来越多的户外施工项目的安全性、保密性等工作的要求日益提高；针对目前户外施工对安全性、保密性同自动化、去人工这一对矛盾，如何将现在的无人机技术以及人脸检测技术结合起来用于户外施工的监控就显得尤为重要。
在计算机视觉领域，人脸检测任务一直是计算机视觉领域关注的焦点任务，同时也是在实际应用上落地最成功的任务。下面介绍目前常用的人脸检测算法：(1)级联型人脸检测算法。基于级联型人脸检测算法主要代表为MTCNN算法，此处介绍MTCNN算法的主要流程。MTCNN算法的主要思路是通过三个级联的人脸检测网络，由粗到精地对人脸框进行回归，得到最后的人脸框。(2)基于两步式检测框架的人脸检测算法。两步式检测算法是指从RCNN为起源的一系列算法，其中最经典的是以Faster R-CNN算法为基础框架延伸出来的一系列算法。Faster R-CNN算法的主要流程是首先对输入图片通过基础的卷积神经网络(如VGG网络或者ResNet网络)提取特征，然后通过RPN网络生成特定数量的候选目标框，取分类得分排名前两千的目标框作为目标潜在区域送入RoI Pooling层，并且把这些目标框调整到统一尺度。最后利用全连接层融合归一化后的目标卷积特征，再分别连接两个全连接层进行目标框的分类和位置回归任务。(3)基于单步式检测框架的人脸检测算法。单步式检测算法主要是以YOLO以及SSD为代表的一系列算法，具有速度快，准确率高的特点。以SSD算法为基础而提出的SFD(Single Shot Scale-invariant Face Detector)算法也是人脸检测领域的单步式检测的经典算法。
总体来说，目前人脸检测方法已经较为成熟，但主要都是针对数据集中的室内场景。针对目前石油化工等产业户外施工时所采用的无人机前下视角，仍缺少较为有效的、有针对性的方法，检测精度低。
发明内容
本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的是提供一种可以提高检测精度的基于人体上下文注意力机制的人脸检测方法。
本发明的技术方案是：一种基于人体上下文注意力机制的人脸检测方法，包括：
S1.在户外施工场景下采集包含有人的图片，并利用增添了注意力机制支路的潜在人脸框产生网络PNet回归得到不同尺度下的多个可能包含有人脸的回归目标框；
S2.利用soft-NMS过滤掉所述回归目标框中重合较多的目标框得到一次过滤目标框；
S3.对所述一次过滤目标框的覆盖区域进行扩充，并引入包含人体姿态的上下文信息得到一次扩充目标框，利用增添了注意力机制支路的微调网络Rnet对所述一次扩充目标框和一次过滤目标框进行处理得到高精度目标框；
S4.利用soft-NMS过滤掉所述高精度目标框中重合较多的目标框得到二次过滤目标框；
S5.对所述二次过滤目标框的覆盖区域进行扩充得到二次扩充目标框，利用最后的输出网络ONet对所述二次扩充目标框和二次过滤目标框进行处理得到最终的人脸框以及人脸框的打分；
S6.通过基于cosface分类损失的训练方法对所述网络PNet、网络RNet、网络ONet进行训练。
作为进一步地改进，所述步骤S1包括：
S1-1.利用ResNet50进行特征提取，其中，对于经过了不同层级输出的特征图分别作为不同尺度下的特征结果；
S1-2.对所述特征结果进行基于注意力机制的特征检测，将检测结果与所述特征结果进行指数叠加，得到包含有人脸区域的高亮特征图；
S1-3.将所述高亮特征图输入所述网络Pnet得到所述回归目标框。
进一步地，在所述步骤S2、步骤S4中，计算所有目标框的IoU分数，根据各目标框的IoU分数与最高的IoU分数进行降分处理，并用降分处理得到新的分数代替各目标框原有的IoU分数，公式如下：
Figure BDA0003166825360000031
或者：
Figure BDA0003166825360000032
其中，Si表示第i个目标框的iou得分，M表示置信度最高的目标框，Bi表示第i个目标框，iou()函数表示计算iou，k为设定的阈值，σ为设定的衰减指数。
进一步地，所述步骤S3包括：
S3-1.在所述一次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S3-2.对所述一次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将所述一次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取以及人脸检测和人脸分类。
进一步地，所述步骤S5包括：
S5-1.在所述二次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S5-2.对所述二次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将所述二次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取，回归得到最终的人脸框以及人脸框的打分。
进一步地，所述步骤S6包括：
所述cosface分类损失函数为：
Figure BDA0003166825360000041
其中s为超球面的半径，m为margin，N为样本总数，yi表示第i个样本的类别标签，s为超球面的半径，m为margin，为固定参数，θj表示第j类样本中心同当前样本的特征夹角；
利用Adam优化方法对损失以及网络结构进行梯度下降，达到了最优的效果。
有益效果
本发明与现有技术相比，具有的优点为：
(1)利用类似于单步式的潜在目标网络取代了传统的级联式网络MTCNN中潜在目标网络的图像金字塔结构，并且网络中对于不同层的特征图分别进行了不同尺度下的检测，使此方法的鲁棒性更高，更适应了实际应用中的不同尺度需求，并且极大地提高了原有算法的速度。
(2)使用了soft-NMS来代替原有MTCNN的NMS算法，较好地针对了实际场景中的遮挡现象，提高了算法的准确率。
(3)对于产生的潜在目标框，针对无人机视角下人体结构信息丰富的特点，引入了上下文信息，进一步提高了算法的性能。
(4)针对特征图提出了注意力机制，将特征图与注意力特征图进行融合，加强了算法在局部的针对性，并且提高了运算速度。
(5)利用cosface代替MTCNN中的softmax，使得网络训练可以获得更加鲁棒的结构。
(6)改进的级联型人脸检测器(MSCCNN)耗时0.366s WIDER FACE easy数据集准确率0.874。
(7)所提出的改进的Soft-NMS AP相对NMS在不同阈值下提升至少1个百分点。
(8)引入上下文信息的CACCNN的PNet在引入上下文信息后在结果上明显优于MSCCNN的PNet，在UAV数据集上提升了6％，在WIDER FACE数据集的三个验证集上分别提上了1.4％、2％以及5％。
(9)加入了注意力机制的PNet在用时缩短0.2秒的情况下，网络产生的潜在目标框的数量下降明显。
附图说明
图1为本发明的检测流程图；
图2为本发明中网络Pnet中注意力机制响应的效果图；
图3为本发明中网络Rnet和网络Onet的注意力机制响应效果图；
图4为本发明中注意力机制产生的原理；
图5为本发明应用于户外场景数据集的效果图。
具体实施方式
下面结合附图中的具体实施例对本发明做进一步的说明。
参阅图1-5，一种基于人体上下文注意力机制的人脸检测方法，包括：
S1.在户外施工场景下，利用无人机、无人车或其他摄像设备，采集包含有人的图片，并利用增添了注意力机制支路的潜在人脸框产生网络PNet回归得到不同尺度下的多个可能包含有人脸的回归目标框；
S2.利用soft-NMS过滤掉回归目标框中重合较多的目标框得到一次过滤目标框；
S3.对一次过滤目标框的覆盖区域进行扩充，并引入包含人体姿态的上下文信息得到一次扩充目标框，利用增添了注意力机制支路的微调网络Rnet对一次扩充目标框和一次过滤目标框进行处理得到高精度目标框；
S4.利用soft-NMS过滤掉高精度目标框中重合较多的目标框得到二次过滤目标框；
S5.对二次过滤目标框的覆盖区域进行扩充得到二次扩充目标框，利用最后的输出网络ONet对二次扩充目标框和二次过滤目标框进行处理得到最终的人脸框以及人脸框的打分；
S6.通过基于cosface分类损失的训练方法对网络PNet、网络RNet、网络ONet进行训练。
步骤S1包括：
S1-1.利用ResNet50进行特征提取，其中，对于经过了不同层级输出的特征图分别作为不同尺度下的特征结果；
S1-2.对特征结果进行基于注意力机制的特征检测，将检测结果与特征结果进行指数叠加，得到包含有人脸区域的高亮特征图；
S1-3.将高亮特征图输入网络Pnet得到回归目标框。
在步骤S2、步骤S4中，计算所有目标框的IoU分数，根据各目标框的IoU分数与最高的IoU分数进行降分处理，并用降分处理得到新的分数代替各目标框原有的IoU分数，公式如下：
Figure BDA0003166825360000071
或者：
Figure BDA0003166825360000072
其中，Si表示第i个目标框的iou得分，M表示置信度最高的目标框，Bi表示第i个目标框，iou()函数表示计算iou，k为设定的阈值，σ为设定的衰减指数。
步骤S3包括：
S3-1.在一次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S3-2.对一次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将一次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取以及人脸检测和人脸分类。
步骤S5包括：
S5-1.在二次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S5-2.对二次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将二次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取，回归得到最终的人脸框以及人脸框的打分。
步骤S6包括：
cosface分类损失函数为：
Figure BDA0003166825360000081
其中s为超球面的半径，m为margin，N为样本总数，yi表示第i个样本的类别标签，s为超球面的半径，m为margin，为固定参数，θj表示第j类样本中心同当前样本的特征夹角；
利用Adam优化方法对损失以及网络结构进行梯度下降，达到了最优的效果。
上述步骤S1～S6可以针对户外施工无人机前下视角进行人脸检测，其对于现有的方法进行了较大的改进，引入了上下文信息以及注意力机制，以及众多结构上的调整，使整体结构更加针对无人机前下视角的人脸检测任务，使得在石油化工等有着较多户外施工要求的领域，无人机下的人脸识别技术可以更好地适应该场景下的自动生产监控的需求。
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。

Claims (6)

1.一种基于人体上下文注意力机制的人脸检测方法，其特征在于，包括：
S1.在户外施工场景下采集包含有人的图片，并利用增添了注意力机制支路的潜在人脸框产生网络PNet回归得到不同尺度下的多个可能包含有人脸的回归目标框；
S2.利用soft-NMS过滤掉所述回归目标框中重合较多的目标框得到一次过滤目标框；
S3.对所述一次过滤目标框的覆盖区域进行扩充，并引入包含人体姿态的上下文信息得到一次扩充目标框，利用增添了注意力机制支路的微调网络Rnet对所述一次扩充目标框和一次过滤目标框进行处理得到高精度目标框；
S4.利用soft-NMS过滤掉所述高精度目标框中重合较多的目标框得到二次过滤目标框；
S5.对所述二次过滤目标框的覆盖区域进行扩充得到二次扩充目标框，利用最后的输出网络ONet对所述二次扩充目标框和二次过滤目标框进行处理得到最终的人脸框以及人脸框的打分；
S6.通过基于cosface分类损失的训练方法对所述网络PNet、网络RNet、网络ONet进行训练。
2.根据权利要求1所述的一种基于人体上下文注意力机制的人脸检测方法，其特征在于，所述步骤S1包括：
S1-1.利用ResNet50进行特征提取，其中，对于经过了不同层级输出的特征图分别作为不同尺度下的特征结果；
S1-2.对所述特征结果进行基于注意力机制的特征检测，将检测结果与所述特征结果进行指数叠加，得到包含有人脸区域的高亮特征图；
S1-3.将所述高亮特征图输入所述网络Pnet得到所述回归目标框。
3.根据权利要求1所述的一种基于人体上下文注意力机制的人脸检测方法，其特征在于，在所述步骤S2、步骤S4中，计算所有目标框的IoU分数，根据各目标框的IoU分数与最高的IoU分数进行降分处理，并用降分处理得到新的分数代替各目标框原有的IoU分数，公式如下：
Figure FDA0003166825350000021
或者：
Figure FDA0003166825350000022
其中，Si表示第i个目标框的iou得分，M表示置信度最高的目标框，Bi表示第i个目标框，iou()函数表示计算iou，k为设定的阈值，σ为设定的衰减指数。
4.根据权利要求1所述的一种基于人体上下文注意力机制的人脸检测方法，其特征在于，所述步骤S3包括：
S3-1.在所述一次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S3-2.对所述一次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将所述一次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取以及人脸检测和人脸分类。
5.根据权利要求1所述的一种基于人体上下文注意力机制的人脸检测方法，其特征在于，所述步骤S5包括：
S5-1.在所述二次过滤目标框中，在原图上保持中心不变，将尺度扩大，得到包含相关的人体的上下文结构信息的区域特征框；
S5-2.对所述二次过滤目标框、区域特征框提取一次特征得到特征图，将该特征图与注意力特征图进行指数叠加作为第一支路，并且将所述二次过滤目标框、区域特征框作为第二支路，进行进一步的特征提取，回归得到最终的人脸框以及人脸框的打分。
6.根据权利要求1所述的一种基于人体上下文注意力机制的人脸检测方法，其特征在于，所述步骤S6包括：
所述cosface分类损失函数为：
Figure FDA0003166825350000031
其中s为超球面的半径，m为margin，N为样本总数，yi表示第i个样本的类别标签，s为超球面的半径，m为margin，为固定参数，θj表示第j类样本中心同当前样本的特征夹角；
利用Adam优化方法对损失以及网络结构进行梯度下降，达到了最优的效果。
CN202110806607.9A 2021-07-16 2021-07-16 一种基于人体上下文注意力机制的人脸检测方法 Active CN113705342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110806607.9A CN113705342B (zh) 2021-07-16 2021-07-16 一种基于人体上下文注意力机制的人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110806607.9A CN113705342B (zh) 2021-07-16 2021-07-16 一种基于人体上下文注意力机制的人脸检测方法

Publications (2)

Publication Number Publication Date
CN113705342A CN113705342A (zh) 2021-11-26
CN113705342B true CN113705342B (zh) 2023-01-13

Family

ID=78648750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110806607.9A Active CN113705342B (zh) 2021-07-16 2021-07-16 一种基于人体上下文注意力机制的人脸检测方法

Country Status (1)

Country Link
CN (1) CN113705342B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612769B (zh) * 2022-03-14 2023-05-26 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259742A (zh) * 2020-01-09 2020-06-09 南京理工大学 基于深度学习的异常人群检测方法
CN112200161B (zh) * 2020-12-03 2021-03-02 北京电信易通信息技术股份有限公司 一种基于混合注意力机制的人脸识别检测方法
CN112541483B (zh) * 2020-12-25 2024-05-17 深圳市富浩鹏电子有限公司 Yolo和分块-融合策略结合的稠密人脸检测方法

Also Published As

Publication number Publication date
CN113705342A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US11100370B2 (en) Method of using deep discriminate network model for person re-identification in image or video
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
WO2021238019A1 (zh) 基于Ghost卷积特征融合神经网络实时车流量检测***及方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测***及方法
CN110619268A (zh) 基于时空分析与深度特征的行人再识别方法及装置
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及***
CN111401149A (zh) 基于长短期时域建模算法的轻量级视频行为识别方法
CN113705342B (zh) 一种基于人体上下文注意力机制的人脸检测方法
CN117830788B (zh) 一种多源信息融合的图像目标检测方法
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN117474883A (zh) 基于残差偏移网络自适应优化的绝缘子状态检测方法
CN105354591A (zh) 基于高阶类别相关先验知识的三维室外场景语义分割***
CN116342496A (zh) 一种用于智能巡检的异常物体检测方法和***
CN110598716A (zh) 一种人员属性识别方法、装置及***
CN107730535B (zh) 一种可见光红外级联视频跟踪方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
Heng et al. Anti-vibration hammer detection in UAV image
CN113034598B (zh) 一种基于深度学习的无人机电力巡线方法
CN111783891B (zh) 一种定制化物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant