CN107239759B - 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 - Google Patents

一种基于深度特征的高空间分辨率遥感图像迁移学习方法 Download PDF

Info

Publication number
CN107239759B
CN107239759B CN201710387269.3A CN201710387269A CN107239759B CN 107239759 B CN107239759 B CN 107239759B CN 201710387269 A CN201710387269 A CN 201710387269A CN 107239759 B CN107239759 B CN 107239759B
Authority
CN
China
Prior art keywords
image
remote sensing
neural network
convolutional neural
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710387269.3A
Other languages
English (en)
Other versions
CN107239759A (zh
Inventor
霍连志
赵理君
张伟
郑柯
唐娉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201710387269.3A priority Critical patent/CN107239759B/zh
Publication of CN107239759A publication Critical patent/CN107239759A/zh
Application granted granted Critical
Publication of CN107239759B publication Critical patent/CN107239759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度特征的高空间分辨率遥感图像迁移学习方法。该方法可以利用已有的遥感图像以及样本信息对新获取的遥感图像直接进行分类，从而为遥感快速监测提供支持。该方法包括以下步骤：对源域图像以及目标域图像，使用主成分变换，分别提取其前三个主成分分量；对生成的三个波段的新图像，提取每个像素为中心的图像块输入到已经训练好的多层卷积神经网络；输出卷积神经网络的最后一个全连接层，得到该像素的深度特征表示；对源域图像以及源域的训练样本，基于提取的深度特征使用支持向量机分类器训练得到一个分类器；对目标域图像，使用得到的支持向量分类器直接进行分类，完成从源域图像以及类别对应关系到目标域的迁移学习。

Description

一种基于深度特征的高空间分辨率遥感图像迁移学习方法
技术领域
本发明涉及遥感图像处理技术，具体的说，涉及一种基于深度特征的高空间分辨率遥感图像迁移学习方法，该方法可以基于已有高空间分辨率遥感图像以及样本数据，对新获取的遥感图像在没有样本的情况下进行自动分类，从而快速处理遥感图像，为遥感监测提供支持。
背景技术
遥感技术目前被广泛应用于地学应用中，如森林资源规划、农作物估产、环境评估、灾害监测等。遥感图像分类技术是把遥感图像从数据转换为信息的关键步骤。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系、各个类别的训练样本等。监督分类分类方法能够保证获得比较好的分类精度，但是获取训练样本是一个耗时耗力的过程。在常规模式下，遥感卫星对某一特定地区会按照一定的重返周期进行成像，形成一系列时间序列的遥感图像。如果对每新获取的一个时相遥感图像都进行样本的采集，人工操作将是极其繁重的。尤其是对于遥感灾害应急等应用，需要在获取遥感图像的情况下快速地获得其专题分类及变化信息。因而，研究如何利用过去获得的遥感图像以及训练样本信息，对新获取的遥感图像进行自动分类 (指不需要进行样本的重新采集)具有一定的实用价值。
机器学习领域的迁移学习试图满足上述的应用需求。迁移学习利用某一个分类任务(包括原始数据以及各类别的样本数据，通常称为源域)学习得到的规则、规律对一个新的、并具有一定相关性的分类任务 (只包括原始数据，没有或者很少的样本数据，还不足以训练出一个有效的分类器，通常称为目标域)进行分类。目前迁移学习算法主要包含两大类方法：基于实例的方法以及基于特征提取的方法。在前一种方法中，其基本思想是，尽管源域的训练数据和目标域的数据多少有些不同，但是由于两个域的数据是有一定相关性的，因而源域的训练数据应该还是会存在一部分数据(比如其中一个数据子集)适合用来对目标域数据训练出一个有效的分类模型；因而该类算法的目标就是从源域中找出那些适合目标域数据的实例，并将这些实例用于辅助目标域进行分类，典型的算法如TrAdaBoost。在第二种方法中，其主要思路是通过特征降维，把源域数据和目标域数据，分降到具有最大相似性的子空间上：在共同的子空间上，源域的训练样本即可直接用于目标域进行分类器的训练，典型算法有TPLSA算法、CoCC算法等。这两类算法尽管在应用中取得了一定的效果，但其离实际应用仍有一定的距离。
2012年Krizhevsky A.在机器学***均和最大化，是对提取特征的进一步抽象；全连接层是将卷积层和池化层的输出使用向量堆叠起来，形成一层或多层全连接层，实现高阶的推导能力。AlexNet取得巨大成功后，后续研究者又在增加网络层数、网络优化方法等各方面广泛研究，又出现了GoogleNet,VGGNet等具有影响力的卷积神经网络。研究人员并把设计好的网络结构，以及已经训练好的网络模型参数进行公开，供后续的研究人员直接使用，或者针对自己的数据集进行参数的调整优化。
需要指出的是，这些公开的经典卷积神经网络(AlexNet,GoogleNet,VGGNet等)都是通过对自然目标图像(如汽车、飞机等各种自然常见物体以及各种场景)进行训练得到的，因而往往并不能在遥感图像中直接应用。高空间分辨率遥感图像与这些自然场景具有一定的相似性，但更多是不同；另外识别任务也不相同，比如高空间分辨率遥感图像更主要用于区分建筑、道路、树木、草地等地表覆盖类别。本专利的基本思路是，基于历史的遥感图像(比如前一个时相的遥感数据)以及样本数据，使用多层的卷积神经网络(如AlexNet,GoogleNet,VGGNet等)提取其最后一个全连接层特征，作为其深度特征；并利用样本数据基于提取的深度特征进行分类器的训练；对新获取的遥感图像，使用同样的卷积神经网络，提取其深度特征，并利用基于历史遥感图像以及样本数据训练得到的分类器模型直接进行分类。
本专利提出了一种基于深度特征的高空间分辨率遥感图像迁移学习方法：针对遥感应用中快速监测的需求，基于已有的高空间分辨率遥感图像以及样本数据，本专利所提出的遥感图像迁移学习方法，其核心是利用目前广泛使用并取到巨大成功的卷积神经网络提取遥感图像特征，这种图像特征由于通过多层的神经网络提取，属于对图像更高层次特征的抽象表达，而不局限于传统的图像光谱特征的表达，因而能够减小不同时相遥感图像的辐射差异性对分类造成的影响，具有更强的迁移能力。该技术方法可以利用已有的遥感图像以及样本信息，训练好分类器；对新获取的遥感图像，直接利用已经训练好的分类器进行分类，从而为遥感快速监测等应用提供支持。
发明内容
本发明的目的是提供一种基于深度特征的高空间分辨率遥感图像迁移学习方法。
本发明的基本思路为：对于源域图像以及目标域图像分别使用已训练好的卷积神经网络进行深度特征的提取；使用源域的训练样本对基于源域图像提取的深度特征进行分类器的训练；对基于源域的训练样本训练得到的分类器，对目标域图像提取的深度特征进行直接分类，完成分类知识的迁移。
本发明的技术方案提供的一种基于深度特征的高空间分辨率遥感图像迁移学习方法，其特征在于包括以下实施步骤：
A选择已经训练好的卷积神经网络模型；
B对源域图像以及目标域图像，使用主成分变换，分别提取其前三个主成分分量，形成相应的三个波段的新图像；
C对生成的三个波段的新图像，分别以每个像素为中心取其一定大小窗口的图像块输入到选定的卷积神经网络；
D输出卷积神经网络中的最后一个全连接层，得到该像素的深度特征表示；
E对源域图像以及源域的训练样本，基于步骤D中提取的深度特征使用支持向量机分类器进行训练得到一个分类器；
F对步骤D中得到的目标域图像的深度特征，使用步骤E中训练得到的分类器进行分类，完成从源域图像以及类别对应关系到目标域的迁移学习。
上述实施步骤的特征在于：
步骤A中训练好的卷积神经网络模型是指AlexNet,VGGNet,GoogleNet等通过使用目前世界上图像识别领域最大、具有大量标记数据的数据库ImageNet训练得到的多层卷积神经网络。
步骤B中所述的主成分变换是由于高空间分辨率的遥感图像大都拥有多于3个成像波段(除常规的红绿蓝三个光谱波段外，一般都具有观测植被的近红外波段)，如IKONOS卫星具有4个光谱波段；而最新的WorldView-4卫星具有8个光谱波段；需要使用主成分分析将常规的高空间分辨率遥感图像进行降维处理，获得其前三个主成分分量，降维到三个波段。
步骤C中所述的一定大小的窗口，选取奇数大小的窗口如5×5,7×7,9×9,11×11等。窗口大小不应过大，需要根据遥感图像的空间分辨率以及应用需求而定；通用的选取原则是所设定的窗口大小，使其选取的图像块内的像素应该大部分(超过80％)和中心像素的地物类型一致。
步骤D中所述的该像素的深度特征表示，是指对每个像素选取以其为中心的图像块，输入到卷积神经网络后，从第一层网络开始逐渐向后计算，直到最后一个全连接层，得到一个高维的向量，作为该像素的深度特征。
步骤E是指，使用源域图像得到的高维的深度特征以及样本类别信息，使用经典的支持向量机分类器进行训练，得到一个分类器；支持向量机核函数选择线性核函数。
步骤F是指，利用步骤E中训练得到的分类器，输入目标域图像得到的高维的深度特征，得到目标域图像的分类结果，完成了从源域图像知识到目标域图像的迁移。
本发明与现有技术相比有如下特点：该高空间分辨率遥感图像迁移学习算法充分利用了目前比较成熟的多层的卷积神经网络，从而捕捉了图像高层次的特征，从而避免了两幅不同图像由于辐射差异的造成的图像光谱值的差异性，进而能够更好地提升图像迁移学习效果，为新获取图像的快速自动化处理提供了技术支持，进而为遥感快速监测服务。
附图说明：
附图1是一种基于深度特征的高空间分辨率遥感图像迁移学习方法流程图
具体实施方式：
采用本发明实现一种基于深度特征的高空间分辨率遥感图像迁移学习方法的实施例如附图1 所示，现结合附图1 对其进行描述。
处理单元100对目前常见多波段的高空间分辨率遥感图像(如四个波段的IKONOS卫星多光谱图像，八个波段的WorldView-4卫星多光谱图像)进行主成分变换，使用前三个分量(即最有信息量的前三个分量)生成一个三个波段的图像。
处理单元101对处理单元100中得到的图像的每个像素，以其为几何中心读取奇数窗口大小(如5×5, 7×7,9×9,11×11)的图像块，该图像块作为该像素具有空间上下文信息的表示。
处理单元102输入已有的卷积神经网络，即把处理单元101提取的图像块输入到已经训练好的卷积神经网络(如AlexNet,GoogleNet,VGGNet等)。卷积神经网络一般有两种类型的操作：前向传播操作以及反向传播操作。反向操作主要进行导数的向后传递，用于网络结构的参数学习。由于我们利用了已经训练好的卷积神经网络(如AlexNet,GoogleNet,VGGNet等)，我们不需要进行反向的操作，即不需要进行网络参数的学习。
我们只需要进行对卷积神经网络进行前向操作。在前向传播过程中，我们把图像块输入到卷积神经网络中，逐层进行计算，直到计算至最后一个全连接层。
处理单元103提取一组高维的特征向量即把所采用的卷积神经网络的最后一个全连接层的结果输出，该向量的维数由所采用的卷积神经网络的结构所确定(如AlexNet的最后一个全连接层，即FC7层，向量维数为4096)。对每一个像素，通过处理单元101提取的图像块输入到卷积神经网络，都会输出一个高维的特征向量，该向量即为该像素高层次的抽象特征表示，即为其深度特征。
处理单元104训练支持向量机分类器即根据已有的分类体系、各类别的样本数据以及处理单元103提取的图像深度特征进行分类器的训练，分类器选择经典的支持向量机。而考虑到处理单元103提取的特征为高维的向量，支持向量机分类器中重要的核函数选择的问题，选用线性核函数。处理单元104仅对源域的原始数据以及样本数据进行处理。
处理单元105使用已有的分类器模型进行分类即对新获取的高空间分辨率遥感图像，经过处理单元 103后提取的高维特征向量，直接使用处理单元104生成的支持向量机分类器，进行预测，得到新获取的遥感图像的分类结果。该过程不需要对新获取的遥感图像进行样本采集，从而加速了图像分类的流程。该图像迁移学习策略的关键，是对所有的遥感图像使用了具有多个层次具有一定深度的卷积神经网络进行特征提取，从而使得提取的图像特征具有很高的地物类型抽象表达能力，进而减小了辐射差异造成的两幅图像光谱值差异对分类的影响，从而能够在没有重新进行样本采集的情况下，对新获取的图像，获得较好的分类效果。
本发明的一个实例在PC平台上实现，经实验验证，该图像迁移学习算法，利用多层的卷积神经网络提取的图像特征，对已有的高空间分辨率遥感图像以及训练样本进行分类器的训练，能够得到比较可靠的分类器模型，对新获取的遥感图像能够进行自动分类(不需要获取额外的训练样本)，分类结果可靠，能够用于遥感快速监测的应用需求。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。

Claims (1)

1.一种基于深度特征的高空间分辨率遥感图像迁移学习方法，其特征在于包括以下步骤：
A选择已经训练好的卷积神经网络模型；
B对源域图像以及目标域图像，使用主成分变换，分别提取其前三个主成分分量，形成相应的三个波段的新图像；
C对生成的三个波段的新图像，分别以每个像素为中心取其一定大小窗口的图像块输入到选定的卷积神经网络；
D输出卷积神经网络中的最后一个全连接层的值，得到该像素的深度特征表示；
E对源域图像以及源域的训练样本，基于步骤D中提取的深度特征使用支持向量机分类器进行训练得到一个分类器；
F对步骤D中得到的目标域图像的深度特征，使用步骤E中训练得到的分类器进行分类，完成从源域图像以及类别对应关系到目标域的迁移学习。
CN201710387269.3A 2017-05-27 2017-05-27 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 Active CN107239759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710387269.3A CN107239759B (zh) 2017-05-27 2017-05-27 一种基于深度特征的高空间分辨率遥感图像迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710387269.3A CN107239759B (zh) 2017-05-27 2017-05-27 一种基于深度特征的高空间分辨率遥感图像迁移学习方法

Publications (2)

Publication Number Publication Date
CN107239759A CN107239759A (zh) 2017-10-10
CN107239759B true CN107239759B (zh) 2020-11-27

Family

ID=59985239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710387269.3A Active CN107239759B (zh) 2017-05-27 2017-05-27 一种基于深度特征的高空间分辨率遥感图像迁移学习方法

Country Status (1)

Country Link
CN (1) CN107239759B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909101B (zh) * 2017-11-10 2019-07-12 清华大学 基于卷积神经网络的半监督迁移学习字符识别方法及***
CN108629289B (zh) * 2018-04-11 2021-07-30 千寻位置网络有限公司 农田的识别方法及***、应用于农业的无人机
CN109003239B (zh) * 2018-07-04 2022-03-29 华南理工大学 一种基于迁移学习神经网络的多光谱图像锐化方法
CN109359623B (zh) * 2018-11-13 2021-05-11 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN109740495A (zh) * 2018-12-28 2019-05-10 成都思晗科技股份有限公司 基于迁移学习技术的室外天气图像分类方法
CN110111297B (zh) * 2019-03-15 2021-03-30 浙江大学 一种基于迁移学习的注塑制品表面图像缺陷识别方法
CN110837875B (zh) * 2019-11-18 2022-07-05 国家基础地理信息中心 地表覆盖数据质量异常判断方法及装置
CN111191510B (zh) * 2019-11-29 2022-12-09 杭州电子科技大学 基于关系网络的复杂场景下遥感图像小样本目标识别方法
CN111274905A (zh) * 2020-01-16 2020-06-12 井冈山大学 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法
CN112232249B (zh) * 2020-10-22 2023-08-15 中国科学院空天信息创新研究院 一种基于深度特征的遥感图像变化检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794396A (zh) * 2010-03-25 2010-08-04 西安电子科技大学 基于迁移网络学习的遥感图像目标识别***及方法
CN105469109A (zh) * 2015-11-19 2016-04-06 中国地质大学（武汉） 一种用于遥感图像分类的基于类心对齐的迁移学习方法
CN106599922A (zh) * 2016-12-16 2017-04-26 中国科学院计算技术研究所 用于大规模数据标定的迁移学习方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976361A (zh) * 2010-11-23 2011-02-16 中国矿业大学 一种用于遥感影像的多核支持向量机分类方法
US9147129B2 (en) * 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US8908919B2 (en) * 2012-05-29 2014-12-09 The Johns Hopkins University Tactical object finder
CN102915445B (zh) * 2012-09-17 2015-08-19 杭州电子科技大学 一种改进型的神经网络高光谱遥感影像分类方法
CN106023065B (zh) * 2016-05-13 2019-02-19 中国矿业大学 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
CN106096660B (zh) * 2016-06-22 2019-04-30 东南大学 基于独立成分分析算法的卷积神经网络
CN106326931A (zh) * 2016-08-25 2017-01-11 南京信息工程大学 基于深度学习的乳腺钼靶图像自动分类方法
CN106650781A (zh) * 2016-10-21 2017-05-10 广东工业大学 一种卷积神经网络图像识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794396A (zh) * 2010-03-25 2010-08-04 西安电子科技大学 基于迁移网络学习的遥感图像目标识别***及方法
CN105469109A (zh) * 2015-11-19 2016-04-06 中国地质大学（武汉） 一种用于遥感图像分类的基于类心对齐的迁移学习方法
CN106599922A (zh) * 2016-12-16 2017-04-26 中国科学院计算技术研究所 用于大规模数据标定的迁移学习方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remote Sensing Imagery;fan hu et al;《remote sens》;20151231;第7卷(第11期);第14680-14707页 *
典型遥感数据分类方法的适用性分析——以遥感图像场景分类为例;赵理君 等;《遥感学报》;20161231(第2期);第157-171页 *

Also Published As

Publication number Publication date
CN107239759A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
Khan et al. An automated system for cucumber leaf diseased spot detection and classification using improved saliency method and deep features selection
Li et al. Hyperspectral image reconstruction by deep convolutional neural network for classification
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN104915636B (zh) 基于多级框架显著性特征的遥感影像道路识别方法
Maurya et al. Road extraction using k-means clustering and morphological operations
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
Fendri et al. Fusion of thermal infrared and visible spectra for robust moving object detection
CN104616032A (zh) 基于深度卷积神经网络的多摄像机***目标匹配方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN111126361B (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
WO2023030182A1 (zh) 图像生成方法及装置
Jahan et al. Fusion of hyperspectral and LiDAR data using discriminant correlation analysis for land cover classification
CN115393719A (zh) 结合空谱域自适应与集成学习的高光谱图像分类方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Li et al. Mixing self-attention and convolution: A unified framework for multi-source remote sensing data classification
CN114299382A (zh) 高光谱遥感图像分类方法及***
Ouzounis et al. Interactive collection of training samples from the max-tree structure
Liu et al. Remote sensing image classification based on convolutional neural networks with two-fold sparse regularization
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
Wang et al. Automatic framework for semi-supervised hyperspectral image classification using self-training with data editing
Nuradili et al. UAV Remote-Sensing Image Semantic Segmentation Strategy Based on Thermal Infrared and Multispectral Image Features
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant