CN110598751B - 一种基于几何属性的锚点生成方法 - Google Patents

一种基于几何属性的锚点生成方法 Download PDF

Info

Publication number
CN110598751B
CN110598751B CN201910749521.XA CN201910749521A CN110598751B CN 110598751 B CN110598751 B CN 110598751B CN 201910749521 A CN201910749521 A CN 201910749521A CN 110598751 B CN110598751 B CN 110598751B
Authority
CN
China
Prior art keywords
width
height
bounding box
clustering
bounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910749521.XA
Other languages
English (en)
Other versions
CN110598751A (zh
Inventor
丁新涛
张琦
王万军
接标
杭后俊
李汪根
周文
卞维新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Normal University
Original Assignee
Anhui Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Normal University filed Critical Anhui Normal University
Priority to CN201910749521.XA priority Critical patent/CN110598751B/zh
Publication of CN110598751A publication Critical patent/CN110598751A/zh
Application granted granted Critical
Publication of CN110598751B publication Critical patent/CN110598751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于几何属性的锚点生成方法，属于深度学习领域，方法步骤包括：步骤一、提取图像中所有标注边界框的坐标，将标注边界框的宽和高均进行归一化；步骤二、通过欧氏距离对标注边界框的宽高比进行聚类；步骤三、通过SIoU距离对标注边界框的尺寸进行聚类；步骤四、以尺寸和宽高比聚类中心为间断点，生成尺寸和宽高比向量的锚点。本发明通过对标注边界框归一化，对标注边界框的宽高比及尺寸进行聚类，所生成的锚点包含目标的几何属性，可提取区域建议，以提高目标检测的精度。

Description

一种基于几何属性的锚点生成方法
技术领域
本发明涉及目标检测领域，具体涉及一种基于几何属性的锚点生成方法。
背景技术
随着深度学习的快速发展，基于卷积神经网络的模型广泛应用于场景中目标的检测。通常，基于卷积神经网络的目标检测方法可分为二阶段检测法和一阶段检测法。二阶段检测方法首先提取区域建议，然后将区域建议输出至检测器中并对该区域中的目标位置和类别进行预测，如Faster RCNN(Ren Shaoqing等,Faster RCNN:towards real-timeobject detection with region proposal networks,IEEE Trans on Pattern Analysisand Machine Intelligence,2017,39(6):1137-1149)；一阶段检测方法不需要提取区域建议，直接从图像中提取目标的候选区域并在该区域中对目标位置和类别进行预测，如YOLO(Joseph Redmons等.YOLO9000:better,faster,stronger,Proc of the IEEE Conf onComputer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2017:6517-6525)。尽管Faster RCNN和YOLO等深度模型对一般目标的检测具有良好的适用性，但其未考虑目标属性等先验知识，使得它们在特定场景的应用中仍存在检测精度不理想的问题。
发明内容
根据以上现有技术的不足，本发明提出了一种基于几何属性的锚点生成方法，通过对标注边界框的宽高比及尺寸进行聚类，生成具有几何属性的锚点，用于提取区域建议，以提高检测精度。
为了解决上述技术问题，本发明采用的技术方案为：一种锚点生成方法，通过K-means聚类获取目标的宽高比、大小的先验几何属性，生成锚点。锚点生成方法步骤包括：步骤一、从目标数据集的每张图像中提取出所有目标的标注边界框的宽和高，并将每个标注边界框的宽和高与该张图像的宽和高相除，得到n个归一化的标注边界框的宽和高，在坐标图中，以原点表示归一化后的边界框的左下角顶点，以右上角顶点表示为边界框的宽高坐标；步骤二、将步骤一中归一化的标注边界框的宽与高相除，生成对应标注边界框的宽高比，基于欧氏距离采用K均值聚类算法(K-means)对n个标注边界框的宽高比进行聚类，得到n个聚类中心的宽高比；步骤三、对于步骤一中归一化的标注边界框的宽和高，采用基于强化交并比(Strengthed Intersection over Union,SIoU)距离的K-means算法对n个标注边界框的宽和高进行聚类，得到n个聚类中心的宽高尺度；步骤四、将步骤二及步骤三得到的n个聚类中心的宽高比及宽高尺度与锚点的基础尺度相乘，生成锚点。
可选的，所述方法步骤一中的归一化方法为：提取图像中所有标注边界框的坐标设为点集D，Di＝[xi1,yi1,xi2,yi2]表示第i个标注边界框的左上角及右下角坐标，第i个标注边界框的宽和高分别为wi＝xi2-xi1，hi＝yi2-yi1，将第i个标注边界框的宽wi和高hi分别除以图像的宽M和高N，即
Figure BDA0002166730320000021
Figure BDA0002166730320000022
表示归一化后标注边界框的宽高集合，将归一化后图像中的边界框的左下角归置到原点，以右上角顶点表示为边界框的宽高坐标。
可选的，所述方法步骤二中的边界框宽高比聚类方法为：计算每个标注边界框的宽高比
Figure BDA0002166730320000023
得到宽高比集合{ri}，对{ri}进行K-means聚类，从所有的{ri}中随机选取K个作为初始质心集合{Km}，计算{ri}中每个宽高比与{Km}中每个初始质心的欧式距离，将距离每个质心最近的宽高比归为一簇，共划分为K个簇；计算每个簇的均值，更新质心位置，重复步骤二，当每个簇的质心边界框的更新误差小于给定误差时，结束步骤二。
可选的，所述方法步骤三中的边界框尺寸聚类方法为：
步骤(1)、在使用右上角顶点表示边界框的宽高坐标之后，从所有标注边界框中随机选取K个作为初始质心边界框，对n个标注边界框和K个初始质心边界框在宽高平面上进行聚类，计算第l个质心边界框到第i个标注边界框的SIoU，SIoU的计算公式为：
Figure BDA0002166730320000024
步骤(2)、计算两个边界框之间的交并比(Intersection over Union,IoU)，将两个标注边界框交集的面积Sl∩i与标注边界框并集的面积Sl∪i相除，即
Figure BDA0002166730320000025
步骤(3)、计算两个边界框之间的最小闭包的面积SC，将两个边界框的最小闭包面积与边界框并集的面积SC-Sl∪i的差值与最小闭包的面积SC相除，作为M，即
Figure BDA0002166730320000026
步骤(4)、计算IoU与M的差值，作为SIoU，即SIoU＝IoU-M；
步骤(5)、计算第l个质心边界框到第i个标注边界框的距离
Figure BDA0002166730320000027
将距离每个质心最近的宽高比归为一簇，共划分为K个簇；
步骤(6)、分别求出每个簇中所有边界框的宽的中值作为这一簇中新质心边界框的宽，相应地，以高的中值作为这一簇中新质心边界框的高；
步骤(7)、重复上述步骤(1)-(6)，当每个簇的质心边界框的更新误差小于给定误差时，聚类结束，将K个质心边界框的宽与高相乘即得到K个尺寸SK。
可选的，所述方法步骤四中的生成锚点的尺寸和宽高比向量的方法为：在聚类结束之后，将由边界框宽高比聚类得到的RK及边界框尺寸聚类得到的SK与锚点的基础尺寸Bs相乘，得到包含目标几何属性的锚点。
本发明有益效果是:本发明给出了一种基于几何属性的锚点生成方法，本发明首先将数据集中所有图像的宽和高进行归一化；其次，通过欧式距离对标注边界框的宽高比进行聚类；再次，通过SIoU距离对标注边界框的尺寸进行聚类；最后，以尺寸和宽高比聚类中心为间断点，生成锚点。
附图说明
下面对本说明书附图所表达的内容及图中的标记作简要说明：
图1是本发明的锚点生成方法的流程框图；
图2是本发明的具体实施方式的提取标注边界框坐标示意图；
图3是本发明的具体实施方式的标注边界框坐标归一化示意图；
图4是本发明的具体实施方式的标注边界框宽高比聚类样本数量示意图；
图5是本发明的具体实施方式的SIoU距离示意图；
图6是本发明的具体实施方式的标注边界框尺寸聚类示意图；
图7是本发明的具体实施方式的生成的锚点尺寸SK和宽高比RK示意图；
图8是本发明的步骤三中标注边界框尺寸聚类方法的流程框图。
具体实施方式
下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
一种基于几何属性的锚点生成方法，通过对训练数据集的所有目标的宽高比及尺寸进行聚类，生成锚点，以便提高目标的检测精度。
如图1-7所示，本方法包括如下步骤：
S1、从目标数据集的每张图像中提取出所有目标的标注边界框的宽和高，并将每个标注边界框的宽和高与该张图像的宽和高相除，得到n个归一化的标注边界框的宽和高，在坐标图中，以原点表示归一化后的边界框的左下角顶点，以右上角顶点表示为边界框的宽高坐标；
S2、将步骤S1中归一化的标注边界框的宽与高相除，生成对应标注边界框的宽高比，基于欧氏距离采用K均值聚类算法(K-means)对n个标注边界框的宽高比进行聚类，得到n个聚类中心的宽高比；
S3、对于S1中归一化的标注边界框的宽和高，采用基于强化交并比(StrengthedIntersection over Union,SIoU)距离的K-means算法对n个标注边界框的宽和高进行聚类，得到n个聚类中心的宽高尺度；
S4、将步骤S2及步骤S3得到的n个聚类中心的宽高比及宽高尺度与锚点的基础尺度相乘，生成锚点。
本方法将数据集中所有图像的宽和高均进行归一化，如图2所示；将归一化图像中的边界框的左下角归置到原点，如图3所示；其次，通过欧式距离对标注边界框的宽高比进行聚类，得到标注边界框的宽高比聚类结果，如图4所示；再次，通过SIoU距离(图5)对标注边界框的尺寸进行聚类，得到标注边界框的尺寸聚类结果，如图6所示；最后，以尺寸和宽高比聚类中心为间断点，生成锚点的尺寸和宽高比向量，如图7所示。
进一步的，所述步骤S1的归一化方法为：如图2所示，提取图像中所有标注边界框的坐标设为点集D，Di＝[xi1,yi1,xi2,yi2]表示第i个标注边界框的左上角及右下角坐标，第i个标注边界框的宽和高分别为wi＝xi2-xi1，hi＝yi2-yi1，将第i个标注边界框的宽wi和高hi分别除以图像的宽M和高N，即
Figure BDA0002166730320000041
Figure BDA0002166730320000042
表示归一化后标注边界框的宽高集合，如图3所示，将归一化后图像中的边界框的左下角归置到原点，以右上角顶点表示为边界框的宽高坐标。
进一步的，所述步骤S2中标注边界框的宽高比聚类方法为：计算每个标注边界框的宽高比
Figure BDA0002166730320000043
得到宽高比集合{ri}，对{ri}进行K-means聚类，从所有的{ri}中随机选取K个作为初始质心集合{Km}，计算{ri}中每个宽高比与{Km}中每个初始质心的欧式距离，将距离每个质心最近的宽高比归为一簇，共划分为K个簇；计算每个簇的均值，更新质心位置，重复步骤S2，当每个簇的质心边界框的更新误差小于给定误差时，结束步骤S2，聚类结果如图4所示，其中黑色柱体显示了聚类样本数量，柱体下端的区间显示了每一类中ri的范围。
进一步的，如图8所示，所述方法步骤S3中的标注边界框尺寸聚类方法为：
S301、在使用右上角顶点表示边界框的宽高坐标之后，从所有标注边界框中随机选取K个作为初始质心边界框，对n个标注边界框和K个初始质心边界框在宽高平面上进行聚类，计算第l个质心边界框到第i个标注边界框的SIoU，如图5所示，SIoU的计算公式为：
Figure BDA0002166730320000044
S302、计算两个边界框之间的交并比(Intersection over Union,IoU)，将两个标注边界框交集的面积Sl∩i与标注边界框并集的面积Sl∪i相除，即
Figure BDA0002166730320000045
S303、计算两个边界框之间的最小闭包的面积SC，将两个边界框的最小闭包面积与边界框并集的面积SC-Sl∪i的差值与最小闭包的面积SC相除，作为M，即
Figure BDA0002166730320000051
S304、计算IoU与M的差值，作为SIoU，即SIoU＝IoU-M；
S305、计算第l个质心边界框到第i个标注边界框的距离
Figure BDA0002166730320000052
将距离每个质心最近的宽高比归为一簇，共划分为K个簇；
S306、分别求出每个簇中所有边界框的宽的中值作为这一簇中新质心边界框的宽，相应地，以高的中值作为这一簇中新质心边界框的高；
S307、重复上述步骤S301-S306，当每个簇的质心边界框的更新误差小于给定误差时，聚类结束，聚类结果如图6所示，将K个质心边界框的宽与高相乘即得到K个尺寸SK。
进一步的，如图7所示，所述方法步骤S4中的生成尺寸和宽高比向量的方法为：在聚类结束之后，将由边界框宽高比聚类得到的RK及边界框尺寸聚类得到的SK与锚点的基础尺寸Bs相乘，得到包含目标几何属性的锚点。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (4)

1.一种基于几何属性的锚点生成方法，其特征在于，所述锚点生成方法包括如下步骤：
步骤一、从目标数据集的每张图像中提取出所有目标的标注边界框的宽和高，并将每个标注边界框的宽和高与该张图像的宽和高相除，得到n个归一化的标注边界框的宽和高，在坐标图中，以原点表示归一化后的边界框的左下角顶点，以右上角顶点表示为边界框的宽高坐标；
步骤二、将步骤一中归一化的标注边界框的宽与高相除，生成对应标注边界框的宽高比，基于欧氏距离采用K均值聚类算法(K-means)对n个标注边界框的宽高比进行聚类，得到n个聚类中心的宽高比；
步骤三、对于步骤一中归一化的标注边界框的宽和高，采用基于强化交并比(Strengthed Intersection over Union,SIoU)距离的K-means算法对n个标注边界框的宽和高进行聚类，得到n个聚类中心的宽高尺度；
步骤四、将步骤二及步骤三得到的n个聚类中心的宽高比及宽高尺度与锚点的基础尺度相乘，生成锚点；
所述方法步骤三中的标注边界框尺寸聚类方法为：
步骤(1)、在使用右上角顶点表示边界框的宽高坐标之后，从所有标注边界框中随机选取K个作为初始质心边界框，对n个标注边界框和K个初始质心边界框在宽高平面上进行聚类，计算第l个质心边界框到第i个标注边界框的SIoU，SIoU的计算公式为：
Figure FDA0003549918080000011
步骤(2)、计算两个边界框之间的交并比(Intersection over Union,IoU)，将两个标注边界框交集的面积Sl∩i与标注边界框并集的面积Sl∪i相除，即
Figure FDA0003549918080000012
步骤(3)、计算两个边界框之间的最小闭包的面积SC，将两个边界框的最小闭包面积与边界框并集的面积SC-Sl∪i的差值与最小闭包的面积SC相除，作为M，即
Figure FDA0003549918080000013
步骤(4)、计算IoU与M的差值，作为SIoU，即SIoU＝IoU-M；
步骤(5)、计算第l个质心边界框到第i个标注边界框的距离
Figure FDA0003549918080000014
将距离每个质心最近的宽高比归为一簇，共划分为K个簇；
步骤(6)、分别求出每个簇中所有边界框的宽的中值作为这一簇中新质心边界框的宽，相应地，以高的中值作为这一簇中新质心边界框的高；
步骤(7)、重复上述步骤(1)-(6)，当每个簇的质心边界框的更新误差小于给定误差时，聚类结束，将K个质心边界框的宽与高相乘即得到K个尺寸SK。
2.根据权利要求1所述的基于几何属性的锚点生成方法，其特征在于，所述方法步骤一中的归一化方法为：提取图像中所有标注边界框的坐标设为点集D，Di＝[xi1,yi1,xi2,yi2]表示第i个标注边界框的左上角及右下角坐标，第i个标注边界框的宽和高分别为wi＝xi2-xi1，hi＝yi2-yi1，将第i个标注边界框的宽wi和高hi分别除以图像的宽M和高N，即
Figure FDA0003549918080000021
表示归一化后标注边界框的宽高集合，将归一化后图像中的边界框的左下角归置到原点，以右上角顶点表示为边界框的宽高坐标。
3.根据权利要求2所述的基于几何属性的锚点生成方法，其特征在于，所述方法步骤二中标注边界框的宽高比聚类方法为：计算每个标注边界框的宽高比
Figure FDA0003549918080000022
得到宽高比集合{ri}，对{ri}进行K-means聚类，从所有的{ri}中随机选取K个作为初始质心集合{Km}，计算{ri}中每个宽高比与{Km}中每个初始质心的欧式距离，将距离每个质心最近的宽高比归为一簇，共划分为K个簇；计算每个簇的均值，更新质心位置，重复步骤二，当每个簇的质心边界框的更新误差小于给定误差时，结束步骤二。
4.根据权利要求3所述的基于几何属性的锚点生成方法，其特征在于，所述方法步骤四中的生成尺寸和宽高比向量的方法为：在聚类结束之后，将由边界框宽高比聚类得到的RK及边界框尺寸聚类得到的SK与锚点的基础尺寸Bs相乘，得到包含目标几何属性的锚点。
CN201910749521.XA 2019-08-14 2019-08-14 一种基于几何属性的锚点生成方法 Active CN110598751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749521.XA CN110598751B (zh) 2019-08-14 2019-08-14 一种基于几何属性的锚点生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749521.XA CN110598751B (zh) 2019-08-14 2019-08-14 一种基于几何属性的锚点生成方法

Publications (2)

Publication Number Publication Date
CN110598751A CN110598751A (zh) 2019-12-20
CN110598751B true CN110598751B (zh) 2022-06-07

Family

ID=68854398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749521.XA Active CN110598751B (zh) 2019-08-14 2019-08-14 一种基于几何属性的锚点生成方法

Country Status (1)

Country Link
CN (1) CN110598751B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797993B (zh) * 2020-06-16 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression;Hamid Rezatofighi etc.;《arXiv[cs.CV]》;20190415;第1-9页 *
Liangji Fang etc..Putting the Anchors Efficiently:Geometric Constrained.《Asian Conference on Computer Vision 2018》.2019,第387-403页. *
YOLO9000:Better, Faster, Stronger;Joseph Redmon etc.;《arXiv[cs.CV]》;20161225;第1-9页 *
基于改进候选区域网络的红外飞机检测;姜晓伟 等;《激光与红外》;20190120;第1卷(第49期);第110-115页 *
复杂采集环境下QR码识别;于春晓;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190215(第2期);第I138-2233页 *

Also Published As

Publication number Publication date
CN110598751A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
US10929649B2 (en) Multi-pose face feature point detection method based on cascade regression
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN111275688B (zh) 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
US11530915B2 (en) Dimension measuring device, dimension measuring method, and semiconductor manufacturing system
CN110232311A (zh) 手部图像的分割方法、装置及计算机设备
JP6069489B2 (ja) 物体認識装置および物体認識方法並びにプログラム
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
Qian et al. Grasp pose detection with affordance-based task constraint learning in single-view point clouds
CN110688965A (zh) 基于双目视觉的ipt模拟训练手势识别方法
CN110598634B (zh) 一种基于图例库的机房草图识别方法及其装置
Liu et al. Road centerlines extraction from high resolution images based on an improved directional segmentation and road probability
CN112784869B (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
Cupec et al. Object recognition based on convex hull alignment
Thalhammer et al. SyDPose: Object detection and pose estimation in cluttered real-world depth images trained using only synthetic data
Zhang et al. Out-of-region keypoint localization for 6D pose estimation
CN111914832A (zh) 一种rgb-d相机在动态场景下的slam方法
CN110598751B (zh) 一种基于几何属性的锚点生成方法
Xia et al. Fast template matching based on deformable best-buddies similarity measure
CN113673540A (zh) 一种基于定位信息引导的目标检测方法
CN117593420A (zh) 基于图像处理的平面图纸标注方法、装置、介质及设备
Liu et al. Robust 3-d object recognition via view-specific constraint
CN101118544A (zh) 一种图像形状轮廓描述符的构造方法
CN111062393B (zh) 一种基于谱聚类的自然场景汉字分割方法
Delaye et al. Fuzzy relative positioning templates for symbol recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant