CN109978069B - 降低ResNeXt模型在图片分类中过拟合现象的方法 - Google Patents

降低ResNeXt模型在图片分类中过拟合现象的方法 Download PDF

Info

Publication number
CN109978069B
CN109978069B CN201910263146.8A CN201910263146A CN109978069B CN 109978069 B CN109978069 B CN 109978069B CN 201910263146 A CN201910263146 A CN 201910263146A CN 109978069 B CN109978069 B CN 109978069B
Authority
CN
China
Prior art keywords
network
resnext
feature
cropout
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910263146.8A
Other languages
English (en)
Other versions
CN109978069A (zh
Inventor
路通
侯文博
王文海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910263146.8A priority Critical patent/CN109978069B/zh
Publication of CN109978069A publication Critical patent/CN109978069A/zh
Application granted granted Critical
Publication of CN109978069B publication Critical patent/CN109978069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了降低ResNeXt模型在图片分类中过拟合现象的方法，包括如下步骤：步骤1，对公开数据集中的训练图片进行预处理；步骤2，基于ResNeXt网络搭建网络模型，并对ResNeXt网络进行Cropout方法的修改；步骤3，使用随机梯度下降法训练修改过后的ResNeXt网络，得到训练好的网络模型；步骤4，输入一张给定的待分类图片，使用步骤3中训练好的网络模型对其进行分类，得到最后的结果。

Description

降低ResNeXt模型在图片分类中过拟合现象的方法
技术领域
本发明涉及深度学习技术领域，尤其涉及降低ResNeXt模型在图片分类中过拟合现象的方法。
背景技术
近几年深度神经网络在图片分类等多媒体研究领域发挥了巨大作用，然而人们面对的一个普遍问题就是如何使深度网络的训练更加稳定。为了解决这个问题并且进一步提高神经网络的效果，人们通常设计不同的规则来约束网络，最常见的技术就是批量归一化(BN，Batch Normalization)和Dropout(随机失活Dropout是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性co-dependence从而实现神经网络的正则化regularization，降低其结构风险structural risk)。而过拟合现象对深度网络来说仍然是个问题，它可能导致深度网络模型的泛化能力非常差。而在实际的多媒体应用中，由于训练深度网络所需要的大量数据不容易获得并且人工标注成本太大，过拟合现象更是比较严重。
发明内容
为了解决现有技术中图片分类问题中仍然存在的过拟合问题，本发明在ResNeXt网络模型的基础上提出了一种降低图片分类任务中过拟合现象的新方法，叫做Cropout(Cropout属于本发明给这个方法取的名字，只有英文名)。
本发明具体公开了降低ResNeXt模型在图片分类中过拟合现象的方法，包括如下步骤：
步骤1，对公开数据集中的训练图片进行预处理；
步骤2，基于ResNeXt网络搭建网络模型，并对ResNeXt网络进行修改；
步骤3，使用随机梯度下降法训练修改过后的ResNeXt网络，得到训练好的网络模型；
步骤4，输入一张给定的待分类图片，使用步骤3中训练好的网络模型对其进行分类，得到最后的分类结果。
步骤1包括：对公开数据集中的训练图片进行常见的数据增强操作，比如：随机裁剪、水平翻转、随机放缩等，具体地，首先将训练图片按照比例0.8、0.9、1.1、1.2随机放缩，然后将训练图片随机水平翻转或按照-30°、-15°、15°、30°等角度进行随机旋转，最后从训练图片上随机裁剪出大小为32×32的样例，作为最终的训练图片。
步骤2包括以下步骤：
步骤2-1，按照文献Aggregated residual transformations for deep neuralnetworks中的方法，使用基数为G的ResNeXt网络的卷积部分对训练图片进行特征提取，得到分组卷积后的G条转换路径，将转换路径的特征图记为x，其大小为H×W，H、W分别表示特征图的长和宽；
步骤2-2，Cropout方法为对每条转换路径随机绑定一个随机裁剪操作，具体包括：对特征图x沿着每条边进行k个零元素的填充，将其从原始的H×W扩展为(H+k)×(W+k)大小的特征图y，在扩展后的特征图y上随机裁剪出H×W大小的特征图x′，定义在特征图x上补充k个零元素后进行随机裁剪的操作为Ρk，则特征图x上的随机裁剪变换可以用如下公式来表示：
x′＝Ρk(x),
其中x′为随机裁剪变换后的特征图。
Cropout方法包括基于ResNeXt网络的聚合变换(通常采用分组卷积的形式实现，即步骤2-1中的分组卷积)，ResNeXt网络原始的聚合变换用如下公式表示：
Figure BDA0002015938380000021
其中，
Figure BDA0002015938380000022
实际上为一个将特征图x映射为一个低维向量空间的卷积函数，∑为拼接操作，G为ResNeXt的转换路径条数，i代表第i条转换路径，
Figure BDA0002015938380000023
为聚合变换后的特征图。
由于所有的变换路径共享相同的拓扑结构，而本发明提出的Cropout方法将轻微的打破聚合变换的同性质形式，则经由Cropout方法修改后的聚合变换可以表示为：
Figure BDA0002015938380000024
其中
Figure BDA0002015938380000025
为经过Cropout方法修改过的聚合变换后的新特征图；
该Cropout方法中每条转换路径上绑定的随机裁剪操作仅在网络初始化时构建，此后在网络的训练和测试过程中该绑定方式均保持不变。
步骤2-3，将G条经由本发明的方法修改过的聚合转换路径上的特征图x′通过拼接操作合成在一起，形成一个新的特征图作为ResNeXt的下一层网络的输入数据；
与现有技术相比，本发明提出的方法有以下优势：
有效降低ResNeXt网络在图片分类任务中的过拟合现象；
本发明在不改变原有网络大小和深度的前提下非常易于实现。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明整体架构图；
图2a为未使用分组卷积的ResNeXt的bottleneck单元的设计。
图2b为使用了分组卷积的ResNeXt的bottleneck单元的设计。
图3为公开数据集CIFAR-10部分图片样例。
具体实施方式
实施例1
下面结合附图及实施例，以公开数据集CIFAR-10和CIFAR-100为例对本发明做进一步说明。
数据集CIFAR-10为一个包含10分类的60000张32*32彩色图像组成，每个类别有6000张图像，整个数据集包含50000张训练图片和10000张测试图片；数据集CIFAR-100为一个包含100分类的彩色图片，每个类别含有600张图片，共分为50000张训练数据和10000张测试数据。CIFAR-10数据集部分图像样例如图3所示。
步骤1，分别对两个公开数据集CIFAR-10和CIFAR-100中50000张训练数据进行预处理，包括对其进行随机裁剪、水平翻转、随机放缩等常见数据增强操作等，具体地，首先将训练图片按照比例0.8、0.9、1.1、1.2随机放缩，然后将训练图片随机水平翻转或按照-30°、-15°、15°、30°等角度进行随机旋转，最后从训练图片上随机裁剪出大小为32×32的样例，作为最终的训练图片。
步骤2，搭建网络模型，使用https://github.com/prlz77/ResNeXt.pytorch中ResNeXt网络的pytorch版本为实例模型，该模型为基数为8，深度为64的ResNeXt-29网络，写作“ResNeXt-29，8×64D”，并以此网络进行本发明中Cropout方法的修改，具体包括以下步骤：
首先，使用ResNeXt-29，8×64D网络的卷积部分按照文献Aggregated residualtransformations for deep neural networks中的方法，对训练图片进行特征提取，得到分组卷积后的8条转换路径，转换路径的特征图为x，其大小为H×W；
然后，对每条转换路径随机绑定一个随机裁剪操作，具体地，对特征图x的每条边进行k个零元素的填充，将其从原始的H×W扩展为(H+k)×(W+k)大小的特征图y；
最后在扩展后的特征图y上随机裁剪出H×W大小的特征图x′；
本发明将以上最大零元素的填充数量为k的随机裁剪操作定义为Ρk，所以特征图x上的随机裁剪变换可以用以下公式来表示：
x′＝Ρk(x),
其中x′为随机裁剪变换后的特征图。
Cropout的设计主要基于ResNeXt的聚合变换(通常采用分组卷积的形式实现)，而聚合变换可以用以下公式表示：
Figure BDA0002015938380000041
在本发明中，
Figure BDA0002015938380000042
实际上为一个将特征图x映射为一个低维向量空间的卷积函数，∑为拼接操作，G为ResNeXt的转换路径条数，i代表第i条转换路径，
Figure BDA0002015938380000043
为聚合变换后的特征图。。
由于所有的变换路径共享相同的拓扑结构，而本发明提出的Cropout方法将轻微的打破聚合变换的同性质形式，则经由Cropout方法修改后的聚合变换可以表示为：
Figure BDA0002015938380000044
图1描述了Cropout的概念。在本发明的设计中，裁剪操作在网络初始化阶段随机完成，并且这种裁剪操作与转换路径的绑定关系在初始化网络后是固定不变的。因此，训练时的网络结构和测试时网络结构是完全相同的。
修改后的模型细节如表1所示，表1中为Cropout设计了一个超参数P＝{p0,p1,p2}，而经过反复验证当Cropout的超参数设置为P＝{1,1,1}时，在数据集CIFAR-10图片分类任务中表现最好；而当超参数设置为P＝{0,1,0}时，在数据集CIFAR-100图片分类任务中表现最好。
表1
Figure BDA0002015938380000051
图2a和图2b阐述了经Cropout方法修改的ResNeXt的bottleneck的设计细节，因为ResNeXt网络采用了bottleneck设计，在每个转换路径上实现了Cropout方法，如图2a所示，从图中可以看出，在前一层卷积特征图经过分组数为8的分组卷积后，随机裁剪发生在每个阶段中卷积核大小为1×1的卷积层后面，卷积核大小为3×3的卷积层前面，然后经过3×3的卷积层后，由拼接操作(即图中“concatenate”操作)后，8个转换路径上的特征图形成新的特征图作为ResNeXt下一层网络的输入。图2b中所示结构由于使用了分组卷积而比图2a中结构更高效，并且除了3×3的卷积与Cropout的顺序不同外与图2a几乎相同，因此在实际使用中采用图2b结构。
步骤3，训练网络模型，使用随机梯度下降法，分别以步骤1中增强过后的两个数据集中的图片作为训练数据对步骤2中修改过后的ResNeXt-29,8×64D模型进行监督训练，得到两个数据集上的训练模型，分别用R1和R2来表示。典型的训练参数设置如下表2：
表2
Figure BDA0002015938380000061
步骤4，图片分类，对于一张给定的待分类图片，即数据集CIFAR-10或CIFAR-100中各自10000张测试数据中的任意一张，使用步骤3中训练好的对应不同数据集的网络模型R1和R2对其进行分类得到最后的分类结果。将两个数据集中所有测试数据均分类完成后，分别统计两个数据集分类情况的准确率，得到两个结果：
(1)当Cropout参数取P＝{1,1,1}时，在CIFAR-10上的分类错误率为3.38％，相比不使用Cropout方法修改的模型错误率降低了0.27％；
(2)当Cropout参数取P＝{0,1,0}时，在CIFAR-100上的分类错误率为16.89％，比不使用Cropout方法修改的模型错误率降低了0.88％。
以上结果在如今分类错误率已经非常低的情况下进一步将错误率压低，证明本发明方法确实降低了ResNeXt在图像分类任务中的过拟合现象。
本发明提供了降低ResNeXt模型在图片分类中过拟合现象的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.降低ResNeXt模型在图片分类中过拟合现象的方法，其特征在于，包括如下步骤：
步骤1，对公开数据集中的训练图片进行预处理；
步骤2，基于ResNeXt网络搭建网络模型，并对ResNeXt网络使用Cropout方法进行修改；
步骤3，使用随机梯度下降法训练修改过后的ResNeXt网络，得到训练好的网络模型；
步骤4，输入一张给定的待分类图片，使用步骤3中训练好的网络模型对其进行分类，得到最后的分类结果；
步骤1包括：对公开数据集中的训练图片进行数据增强操作，包括随机裁剪、水平翻转、随机放缩；
步骤2包括以下步骤：
步骤2-1，使用基数为G的ResNeXt网络的卷积部分对训练图片进行特征提取，得到分组卷积后的G条转换路径，将转换路径的特征图记为x，其大小为H×W，H、W分别表示特征图的长和宽；
步骤2-2，Cropout方法为对每条转换路径随机绑定一个随机裁剪操作，具体包括：对特征图x沿着每条边进行k个零元素的填充，将其从原始的H×W扩展为(H+k)×(W+k)大小的特征图y，在扩展后的特征图y上随机裁剪出H×W大小的特征图x′，定义在特征图x上补充k个零元素后进行随机裁剪的操作为Pk，则特征图x上的随机裁剪变换用如下公式来表示：
x′＝Pk(x)，
其中x′为随机裁剪变换后的特征图；
Cropout方法包括基于ResNeXt网络的聚合变换，ResNeXt网络原始的聚合变换用如下公式表示：
Figure FDA0002637662410000011
其中，
Figure FDA0002637662410000012
为一个将特征图x映射为一个低维向量空间的卷积函数，∑为拼接操作，G为ResNeXt的转换路径条数，i代表第i条转换路径，
Figure FDA0002637662410000013
为聚合变换后的特征图；
则经由Cropout方法修改后的聚合变换表示为：
Figure FDA0002637662410000021
其中
Figure FDA0002637662410000022
为经过Cropout方法修改过的聚合变换后的新特征图；
步骤2-3，将G条经由Cropout方法修改过的聚合转换路径上的特征图x′通过拼接操作合成在一起，形成一个新的特征图作为ResNeXt的下一层网络的输入数据。
CN201910263146.8A 2019-04-02 2019-04-02 降低ResNeXt模型在图片分类中过拟合现象的方法 Active CN109978069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910263146.8A CN109978069B (zh) 2019-04-02 2019-04-02 降低ResNeXt模型在图片分类中过拟合现象的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910263146.8A CN109978069B (zh) 2019-04-02 2019-04-02 降低ResNeXt模型在图片分类中过拟合现象的方法

Publications (2)

Publication Number Publication Date
CN109978069A CN109978069A (zh) 2019-07-05
CN109978069B true CN109978069B (zh) 2020-10-09

Family

ID=67082485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910263146.8A Active CN109978069B (zh) 2019-04-02 2019-04-02 降低ResNeXt模型在图片分类中过拟合现象的方法

Country Status (1)

Country Link
CN (1) CN109978069B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348537B (zh) 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110522440B (zh) * 2019-08-12 2021-04-13 广州视源电子科技股份有限公司 基于分组卷积神经网络的心电信号识别装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734058B1 (en) * 2005-08-24 2010-06-08 Qurio Holding, Inc. Identifying, generating, and storing cropping information for multiple crops of a digital image
US9311523B1 (en) * 2015-07-29 2016-04-12 Stradvision Korea, Inc. Method and apparatus for supporting object recognition
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN106778701A (zh) * 2017-01-20 2017-05-31 福州大学 一种加入Dropout的卷积神经网络的果蔬图像识别方法
CN107563495A (zh) * 2017-08-04 2018-01-09 深圳互连科技有限公司 面向嵌入式低功耗卷积神经网络方法
CN108629288A (zh) * 2018-04-09 2018-10-09 华中科技大学 一种手势识别模型训练方法、手势识别方法及***
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510004B (zh) * 2018-04-04 2022-04-08 深圳大学 一种基于深度残差网络的细胞分类方法及***
CN109063719B (zh) * 2018-04-23 2022-02-01 湖北工业大学 一种联合结构相似性和类信息的图像分类方法
CN109087375B (zh) * 2018-06-22 2023-06-23 华东师范大学 基于深度学习的图像空洞填充方法
CN109472352A (zh) * 2018-11-29 2019-03-15 湘潭大学 一种基于特征图统计特征的深度神经网络模型裁剪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734058B1 (en) * 2005-08-24 2010-06-08 Qurio Holding, Inc. Identifying, generating, and storing cropping information for multiple crops of a digital image
US9311523B1 (en) * 2015-07-29 2016-04-12 Stradvision Korea, Inc. Method and apparatus for supporting object recognition
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN106778701A (zh) * 2017-01-20 2017-05-31 福州大学 一种加入Dropout的卷积神经网络的果蔬图像识别方法
CN107563495A (zh) * 2017-08-04 2018-01-09 深圳互连科技有限公司 面向嵌入式低功耗卷积神经网络方法
CN108629288A (zh) * 2018-04-09 2018-10-09 华中科技大学 一种手势识别模型训练方法、手势识别方法及***
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Aggregated Residual Transformations for Deep Neural Networks;Saining Xie，Ross Girshick，Piotr Dollar，Zhuowen Tu，Kaiming He;《arXiv:1611.05431v2 [cs.CV]》;20170411;第1-10页 *
Data Augmentation using Random Image Cropping and Patching for Deep CNNs;Ryo Takahashi, Takashi Matsubara;《JOURNAL OF LATEX CLASS FILES》;20150831;第1-16页 *
END-TO-END TEXT-INDEPENDENT SPEAKER VERIFICATION WITH FLEXIBILITY IN UTTERANCE DURATION;Chunlei Zhang，Kazuhito Koishida;《2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)》;20171231;第584-590页 *
基于卷积神经网络的图像特征识别研究;杨念聪，任琼，张成喆，周子煜;《信息与电脑》;20170908;第62-64页 *

Also Published As

Publication number Publication date
CN109978069A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
Thai et al. Image classification using support vector machine and artificial neural network
CN109859295A (zh) 一种特定动漫人脸生成方法、终端设备及存储介质
CN111079795B (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN111126404B (zh) 一种基于改进YOLO v3的古文字及字体识别方法
CN109344759A (zh) 一种基于角度损失神经网络的亲属识别方法
CN109948714A (zh) 基于残差卷积和递归神经网络的中文场景文本行识别方法
CN109978069B (zh) 降低ResNeXt模型在图片分类中过拟合现象的方法
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及***
Li et al. Image super-resolution with parametric sparse model learning
CN104933445A (zh) 一种基于分布式K-means的海量图像分类方法
CN109413510A (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
Esmaeilzehi et al. Compnet: A new scheme for single image super resolution based on deep convolutional neural network
CN113554100A (zh) 异构图注意力网络增强的Web服务分类方法
Jiang et al. Efficient fisher discrimination dictionary learning
Yu et al. Deep metric learning with dynamic margin hard sampling loss for face verification
Webster et al. Generating private data surrogates for vision related tasks
CN117648724A (zh) 一种版式文件的数据安全传输方法
CN113743079A (zh) 一种基于共现实体交互图的文本相似度计算方法及装置
Gan et al. A deep graph embedding network model for face recognition
Bao et al. Half quadratic splitting method combined with convolution neural network for blind image deblurring
CN115984547A (zh) 目标检测模型、训练方法及***、目标检测方法及***
He et al. A support-denoiser-driven framework for single image restoration
CN110427892B (zh) 基于深浅层自相关融合的cnn人脸表情特征点定位方法
CN114547310A (zh) 一种假新闻早期检测方法、***、设备及介质
Xiao et al. Optimizing generative adversarial networks in Latent Space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant