CN109145885A - 一种大尺度农作物遥感分类方法及*** - Google Patents
一种大尺度农作物遥感分类方法及*** Download PDFInfo
- Publication number
- CN109145885A CN109145885A CN201811183899.XA CN201811183899A CN109145885A CN 109145885 A CN109145885 A CN 109145885A CN 201811183899 A CN201811183899 A CN 201811183899A CN 109145885 A CN109145885 A CN 109145885A
- Authority
- CN
- China
- Prior art keywords
- crops
- trend
- model
- rsnet
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种大尺度农作物遥感分类方法及***。所述方法及***根据残差网络模型以及金字塔池化网络模型建立迁移遥感网络RSNet模型,并根据历史年份大范围农作物标记样本中的历史训练样本对所述迁移RSNet模型进行预训练,建立预训练迁移RSNet模型;基于随机分布和独立分布的现势小区域高精度农作物标记样本对预训练模型进行微调,然后基于微调模型对现势影像实现了大尺度农作物的快速自动化分类。本发明提供的现势小区域农作物标记样本微调模型整体上大幅度提高了大尺度农作物的分类精度,实现了农作物标记样本空间尺度的迁移,解决了传统农作物分类中标记样本受限于“特定区域、特定影像、特定目标”的问题,提高了大尺度农作物分类精度及分类效率。
Description
技术领域
本发明涉及农作物分类技术领域,特别是涉及一种大尺度农作物遥感分类 方法及***。
背景技术
高效、准确的大尺度遥感影像分类是一个长期的遥感科学难题。农作物遥 感分类及其空间分布监测是农业研究的主要切入点,更是农业遥感推广过程的 关键问题之一。随着遥感数据源和遥感技术的发展,传统的遥感影像大尺度农 作物遥感分类方法在分类精度和效率方面均已取得了巨大进展。根据数据源的 不同,传统大尺度农作物遥感大尺度农作物遥感分类方法可以分为基于单时相 影像的分类、基于时间序列影像的分类以及多源复合的分类,这些大尺度农作 物遥感分类方法在特定区域取得较大成就。但是,传统特征提取和训练样本选 择方法的区域局限性制约着传统大尺度农作物遥感分类方法在大尺度农作物 遥感识别中的应用。
近年来,随着深度学习的发展,遥感影像中不同类别的多层次特征被自动 提取,使得高效地进行大尺度农作物空间分布成为可能,深度学习方法在遥感 影像分类中已逐渐展现出应用潜力。然而,深度学习得到一个高准确性模型的 条件之一是需要大量标记样本,但在实际应用中,有标记样本的获取往往费时、 费力,有标记训练样本的实时快速采集成为遥感大规模应用的瓶颈问题。而事 实上,历史采集的标记样本和分类专题图可以为新的分类任务提供丰富的先验 知识,同时,根据农作物种植特点,每年的耕地范围基本不会变化,因此历史 的标记样本数据的空间位置对现势影像的目标分类是非常有帮助的。传统的深 度学习算法没有很好地将这些具有先验知识的历史样本数据应用到新的遥感 信息自动提取中,因此传统大尺度农作物大尺度农作物遥感分类方法中往往存 在“样本数据饥饿”问题,限制了遥感影像大尺度自动化分类的应用。
发明内容
本发明的目的是提供一种大尺度农作物遥感分类方法及***,以提高大尺 度遥感影像分类的分类精度和效率,并解决传统大尺度农作物遥感分类方法中 的“数据饥饿”问题。
为实现上述目的,本发明提供了如下方案:
一种大尺度农作物遥感分类方法,包括:
获取历史年份大范围农作物标记样本和现势小区域农作物标记样本;
根据所述历史年份大范围农作物标记样本确定历史训练样本和历史验证 样本;
根据所述现势小区域农作物标记样本确定随机分布现势训练样本、随机分 布现势验证样本、独立分布现势训练样本以及独立分布现势验证样本;
获取残差网络模型和金字塔池化网络模型;
根据所述残差网络模型以及所述金字塔池化网络模型建立迁移RSNet模 型;
根据所述历史训练样本对所述迁移RSNet模型进行预训练,建立预训练 迁移RSNet模型;
根据所述随机分布现势训练样本对所述预训练迁移RSNet模型进行微调, 建立第一微调迁移RSNet模型;
根据所述独立分布现势训练样本对所述预训练迁移RSNet模型进行微调, 建立第二微调迁移RSNet模型;
采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述 第二微调迁移RSNet模型对现势影像进行省级农作物分类。
可选的,所述获取历史年份大范围农作物标记样本和现势小区域农作物标 记样本,具体包括:
获取历史年份大范围区域内的历史多时相中分影像以及历史农作物物候 历数据;所述大范围区域为省或省以上范围区域;
根据所述历史多时相中分影像以及所述历史农作物物候历数据构建所述 历史年份大范围农作物标记样本;
获取当前年份小区域的现势多时相高分影像以及当前农作物物候历数据; 所述小区域为多个县;
根据所述现势多时相高分影像以及所述当前农作物物候历数据构建所述 现势小区域农作物标记样本。
可选的,所述根据所述历史多时相中分影像以及所述历史农作物物候历数 据构建所述历史年份大范围农作物标记样本,具体包括:
根据所述历史多时相中分影像以及所述历史农作物物候历数据,采用目标 变化检测与支持向量机结合的方法对农作物进行分类,构建所述历史年份大范 围农作物标记样本。
可选的,所述根据所述现势多时相高分影像以及所述当前农作物物候历数 据构建所述现势小区域农作物标记样本,具体包括:
采用面向对象方法对所述现势多时相高分影像以及所述当前农作物物候 历数据进行影像对象分割,获得分割后的指定区域影像对象;
根据所述分割后的指定区域影像对象构建农作物的光谱特征以及纹理特 征;
采用随机森林算法对所述农作物的光谱特征以及纹理特征进行特征提取 与优化,并利用支持向量机分类器进行高精度农作物分类,确定高分辨率的农 作物分类结果;
采用众数原则的重采样方法将所述高分辨率的农作物分类结果重采样为 与中分辨率农作物标记样本相同的分辨率,获得所述现势小区域农作物标记样 本。
可选的,所述根据所述历史年份大范围农作物标记样本确定历史训练样本 和历史验证样本,具体包括:
选取85%的所述历史年份大范围农作物标记样本作为所述历史训练样本, 其余15%的所述历史年份大范围农作物标记样本作为所述历史验证样本。
可选的,所述根据所述现势小区域农作物标记样本确定随机分布现势训练 样本、随机分布现势验证样本、独立分布现势训练样本以及独立分布现势验证 样本,具体包括:
随机选取85%的所述现势小区域农作物标记样本作为所述随机分布现势 训练样本,其余15%的所述现势小区域农作物标记样本作为所述随机分布现势 验证样本。
选取所述小区域内相邻85%的指定区域内的所述现势小区域农作物标记 样本作为所述独立分布现势训练样本,其余15%的所述现势小区域农作物标记 样本作为所述独立分布现势验证样本。
可选的,所述采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet 模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类之后, 还包括:
采用野外调查样本点对所述预训练迁移RSNet模型、所述第一微调迁移 RSNet模型和所述第二微调迁移RSNet模型进行精度评价;所述精度评价的指 标包括总体分类精度、制图精度、用户精度、Kappa系数以及表征制图精度和 用户精度加权平均的F1分数。
一种大尺度农作物遥感分类***,包括:
农作物标记样本获取模块,用于获取历史年份大范围农作物标记样本和现 势小区域农作物标记样本;
历史样本确定模块,用于根据所述历史年份大范围农作物标记样本确定历 史训练样本和历史验证样本;
现势样本确定模块,用于根据所述现势小区域农作物标记样本确定随机分 布现势训练样本、随机分布现势验证样本、独立分布现势训练样本以及独立分 布现势验证样本;
网络模型获取模块,用于获取残差网络模型和金字塔池化网络模型;
迁移RSNet模型建立模块,用于根据所述残差网络模型以及所述金字塔 池化网络模型建立迁移RSNet模型;
预训练迁移RSNet模型建立模块,用于根据所述历史训练样本对所述迁 移RSNet模型进行预训练,建立预训练迁移RSNet模型;
第一微调迁移RSNet模型建立模块,用于根据所述随机分布现势训练样 本对所述预训练迁移RSNet模型进行微调,建立第一微调迁移RSNet模型;
第二微调迁移RSNet模型,用于根据所述独立分布现势训练样本对所述 预训练迁移RSNet模型进行微调,建立第二微调迁移RSNet模型;
农作物分类模块,用于采用所述预训练迁移RSNet模型、所述第一微调 迁移RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物 分类。
可选的,所述历史样本确定模块具体包括:
历史样本确定单元,用于选取85%的所述历史年份大范围农作物标记样本 作为所述历史训练样本,选取其余15%的所述历史年份大范围农作物标记样本 作为所述历史验证样本。
可选的,所述现势样本确定模块具体包括:
随机分布现势样本确定单元,用于随机选取85%的所述现势小区域农作物 标记样本作为所述随机分布现势训练样本,其余15%的所述现势小区域农作物 标记样本作为所述随机分布现势验证样本。
独立分布现势样本确定单元,用于选取所述小区域内相邻85%的指定区域 内的所述现势小区域农作物标记样本作为所述独立分布现势训练样本,其余 15%的所述现势小区域农作物标记样本作为所述独立分布现势验证样本。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种大尺度农作物遥感分类方法及***,所述方法及***根 据残差网络模型以及金字塔池化网络模型建立迁移遥感网络RSNet模型,并 根据历史年份大范围农作物标记样本中的历史训练样本对所述迁移RSNet模 型进行预训练,建立预训练迁移RSNet模型;基于随机分布和独立分布的现 势小区域高精度农作物标记样本对预训练模型进行微调,然后基于微调模型对 现势影像实现了大尺度农作物高效的自动化分类。本发明提供的现势小区域农 作物标记样本微调模型整体上大幅度提高了大尺度农作物的分类精度,实现了 农作物标记样本空间尺度的迁移,解决了传统农作物分类中标记样本受限于“特定区域、特定影像、特定目标”的问题,提高了大尺度农作物分类精度及 分类效率。
此外,本发明提供的方法及***基于历史年份大范围农作物标记样本构建 的预训练迁移RSNet模型对现势影像实现了大尺度农作物快速、自动化分类, 且分类过程中充分利用了历史标记样本,很大程度上减少了样本选择的工作 量,解决了传统大尺度农作物分类方法中的“数据饥饿”问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是 本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性 的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的大尺度农作物遥感分类方法的方法流程图;
图2为本发明提供的3个模型迁移场景的迁移RSNet模型精度评价对比 图;
图3为采用本发明提供的预训练迁移RSNet模型进行省级农作物分类的 分类结果图;
图4为采用本发明提供的第一微调迁移RSNet模型进行省级农作物分类 的分类结果图;
图5为采用本发明提供的第二微调迁移RSNet模型进行省级农作物分类 的分类结果图;
图6为本发明所提供的大尺度农作物遥感分类***的***结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种大尺度农作物遥感分类方法及***,以提高大尺 度遥感影像分类的分类精度和效率,并解决传统大尺度农作物遥感分类方法中 的“数据饥饿”问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和 具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的大尺度农作物遥感分类方法的方法流程图。参见图1, 本发明提供的一种大尺度农作物遥感大尺度农作物遥感分类方法,具体包括:
步骤101:获取历史年份大范围农作物标记样本和现势小区域农作物标记 样本。具体包括:
步骤S1:获取历史年份大范围区域内的历史多时相中分影像以及历史农 作物物候历数据;所述大范围区域为省或省以上范围区域;
步骤S2:根据所述历史多时相中分影像以及所述历史农作物物候历数据 构建所述历史年份大范围农作物标记样本;具体包括:
基于历史年份大范围(如一个省区域内)的历史多时相中分影像(如高分 一号16米空间分辨率影像)和历史农作物物候历数据,利用目标变化检测与 支持向量机(SupportVector Machine,SVM)结合的方法,进行大尺度农作物 遥感分类,构建所述历史年份大范围农作物标记样本。
步骤S3:获取当前年份小区域的现势多时相高分影像以及当前农作物物 候历数据;所述小区域为多个县。
步骤S4:根据所述现势多时相高分影像以及所述当前农作物物候历数据 构建所述现势小区域农作物标记样本;具体包括:
基于当前年份小区域内的现势多时相高分影像(如高分一号2米/8米空间 分辨率融合影像)和当前农作物物候历数据,采用面向对象方法对所述现势多 时相高分影像以及所述当前农作物物候历数据进行影像对象分割,获得分割后 的指定区域影像对象;
根据所述分割后的指定区域影像对象构建农作物的光谱特征以及纹理特 征;
采用随机森林算法(Random Forest,RF)对所述农作物的光谱特征以及 纹理特征进行特征提取与优化,并利用支持向量机分类器进行高精度农作物分 类,确定高分辨率的指定区域农作物分类结果;
采用众数原则的重采样方法将所述高分辨率的指定区域农作物分类结果 重采样为与中分辨率农作物标记样本相同的分辨率,获得所述现势小区域农作 物标记样本。
步骤102:根据所述历史年份大范围农作物标记样本确定历史训练样本和 历史验证样本。具体包括:
步骤S3:选取85%的所述历史年份大范围农作物标记样本作为所述历史 训练样本,其余15%的所述历史年份大范围农作物标记样本作为所述历史验证 样本。
步骤103:根据所述现势小区域农作物标记样本确定随机分布现势训练样 本、随机分布现势验证样本、独立分布现势训练样本以及独立分布现势验证样 本。具体包括:
随机选取85%的所述现势小区域农作物标记样本作为所述随机分布现势 训练样本,将其余15%的所述现势小区域农作物标记样本作为所述随机分布现 势验证样本。
选取所述小区域内相邻85%的指定区域内的所述现势小区域农作物标记 样本作为所述独立分布现势训练样本,其余15%的所述现势小区域农作物标记 样本作为所述独立分布现势验证样本。
步骤104:获取残差网络模型和金字塔池化网络模型。
步骤105:根据所述残差网络模型以及所述金字塔池化网络模型建立迁移 RSNet模型。
本发明改进现有的残差网络(Residual Network,ResNet)的ResNet-50模 型,将ResNet-50残差网络模型与金字塔池化网络(Pyramid Scene Parsing Network,PSPNet)模型结合,生成一个适用于多光谱遥感影像农作物“端到 端”分类的模型,即所述迁移遥感网络(Remote Sensing Network,RSNet)模 型。
步骤106:根据所述历史训练样本对所述迁移RSNet模型进行预训练,建 立预训练迁移RSNet模型。
基于所述历史年份大范围农作物标记样本中的历史训练样本,对所述迁移 RSNet模型进行预训练,让模型学习和提取遥感影像农作物相关的特征,使建 立的所述预训练迁移RSNet模型能够适用于遥感影像大尺度农作物遥感分类。
步骤107:根据所述随机分布现势训练样本对所述预训练迁移RSNet模型 进行微调,建立第一微调迁移RSNet模型。
基于所述随机分布现势小区域农作物标记样本中的随机分布现势训练样 本,对充分预训练的所述预训练迁移RSNet模型进行微调,使得RSNet能进 一步学习现势遥感影像中农作物的特征,从而提高现势遥感影像农作物的分类 精度,得到所述第一微调迁移RSNet模型。
步骤108:根据所述独立分布现势训练样本对所述预训练迁移RSNet模型 进行微调,建立第二微调迁移RSNet模型。
基于所述独立分布现势小区域农作物标记样本中的独立分布现势训练样 本,对充分预训练的所述预训练迁移RSNet模型进行微调,使得RSNet能进 一步学习现势遥感影像中农作物的特征,从而提高现势遥感影像农作物的分类 精度,得到所述第二微调迁移RSNet模型。
本发明根据历史年份大范围农作物标记样本和现势小区域农作物标记样 本(包括随机分布现势小区域农作物标记样本和独立分布现势小区域农作物标 记样本)设计3个迁移遥感网络模型场景,分别为:场景一,基于历史年份大 范围农作物标记样本构建预训练迁移RSNet模型;场景二,基于随机分布现 势小区域农作物标记样本对所述预训练迁移RSNet模型进行微调,生成第一 微调迁移RSNet模型;场景三,基于独立分布现势小区域农作物标记样本对 预训练模型进行微调,生成第二微调迁移RSNet模型。并分别对3个迁移场景的RSNet模型进行训练和精度评价,模型精度评价的指标为混淆矩阵的总 体分类精度(Overall Accuracy,OA)、制图精度(Product Accuracy,PA)和用 户精度(User Accuracy,UA)。
其中3个迁移RSNet模型的训练样本和验证样本如表1所示:
表1不同迁移RSNet模型的训练样本和验证样本个数
场景一 | 场景二 | 场景三 | |
训练样本/个 | 92629 | 1335 | 1228 |
验证样本/个 | 8673 | 298 | 400 |
各个模型精度评价指标的具体含义及公式如表2所示:
表2模型精度评价指标
得到3个模型迁移场景的迁移RSNet模型(分别为所述预训练迁移RSNet 模型、所述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型)的精 度评价对比结果如图2所示。图2中CNN-1332000为本发明实施例提供的场 景一的预训练迁移RSNet模型,CNN-52000为本发明实施例提供的场景二的 第一微调迁移RSNet模型,CNN-24000为本发明实施例提供的场景三的第二 微调迁移RSNet模型,CNN后面的数字代表该场景中模型迭代次数。从图2 可以看出,3个模型的总体精度均大于80%,其中,场景二所述第一微调迁移 RSNet模型的精度最高,场景三所述第二微调迁移RSNet模型的收敛速度最 快。
步骤109:采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet 模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类。
基于3个迁移场景的RSNet模型(包括所述预训练迁移RSNet模型、所 述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型)分别对现势影 像进行农作物分类,设计相应的大尺度分类场景,分别为:场景一,基于所述 预训练迁移RSNet模型进行省级农作物分类,验证所述预训练迁移RSNet模 型时间尺度的泛化性;场景二,基于所述第一微调迁移RSNet模型进行省级 农作物分类,验证所述第一微调迁移RSNet模型的适用性和泛化能力;场景 三,基于所述第二微调迁移RSNet模型进行省级农作物分类,验证所述第二 微调迁移RSNet模型空间尺度的泛化性。
在所述步骤109采用所述预训练迁移RSNet模型、所述第一微调迁移 RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类 之后,还包括:
采用野外调查样本点对所述预训练迁移RSNet模型、所述第一微调迁移 RSNet模型和所述第二微调迁移RSNet模型进行精度评价;所述精度评价的指 标包括混淆矩阵的总体分类精度(OverallAccuracy,OA)、制图精度(Product Accuracy,PA)、用户精度(UserAccuracy,UA)、Kappa系数(Kappa Coefficient, K)以及表征制图精度和用户精度加权平均的F1分数。
分别将所述预训练迁移RSNet模型(CNN-1332000)、所述第一微调迁移 RSNet模型(CNN-52000)、所述第二微调迁移RSNet模型(CNN-24000)应 用到现势影像省级农作物分类中,用野外调查样本点进行精度评价,精度评价 指标分别为总体分类精度(OA)、制图精度(PA)、用户精度(UA)、kappa 系数(公式为),以及表征制图精度和用 户精度加权平均的F1分数,F1=[2×(PA×UA)]/[(PA+UA)]。各个精度评价指标 的具体含义及公式如表3所示:
表3模型精度评价指标
采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型及所述 第二微调迁移RSNet模型对现势影像进行省级农作物分类的分类结果如下:
(1)场景一采用所述预训练迁移RSNet模型进行省级农作物分类的分类 结果如图3所示,省级农作物分类精度评价结果如表4所示:
表4基于CNN-1332000模型的省级作物分类精度评价表
场景一预训练模型分类结果的精度评价表4显示水稻、玉米的制图精度较 低,也就是说大量的水稻、玉米被错分为其他。根据吉林省地势形态差异明显, 地势由东南向西北倾斜,呈现明显的东南高、西北低的特征,从图3可以看出, 东南部的丘陵区和山区存在明显的漏分现象,地势平坦的西北部分类结果较 好。但是在西北部的通榆县、大安市、前郭尔罗斯蒙古族自治县、扶余县这4 县(图3中区域二)出现较明显的漏分现象,尤其是玉米的漏分,通过分析遥 感影像发现这4县的地块比较破碎,并且影像质量不好,其中大安市的南部有 厚云覆盖,通榆县和扶余县裸地时期的影像有薄云覆盖,通榆县、前郭尔罗斯 蒙古族自治县、扶余县有大量盐碱土分布,在影像上呈现白色,使得玉米的光 谱特征不明显。地区起伏较大的东南部地区,地块也较破碎,模型预测在卷积 过程中将破碎区域的小类卷积成大类别,导致零星分布的水稻、玉米均被错分 为其他。但是,在地形平坦、地块规整、作物种植连片的区域(图3中区域一) 取得较好的分类效果。特别值得注意的是,场景一模型在位于中北部地势较平 坦、地块较规整的榆树市取得了很好的分类结果,总体分类精度达到90.88%, Kappa系数为0.86,水稻的制图精度和用户精度均在90.27%以上,玉米的制 图精度和用户精度也都大于85.54%。比较特别的是,由于2016年榆树市的遥 感影像有大量厚云覆盖,因此没有进行农作物分类,也就是榆树市既没有参与 模型预训练也没有参与模型微调,而基于历史大范围农作物标记样本构建的所 述预训练迁移RSNet模型预测的农作物分类结果却很好。该实验结果表明, 本发明提供的预训练迁移RSNet模型在地势平坦、地块规整的区域取得较好 的时间尺度泛化,一定程度解决了大尺度遥感数据分类大量标记样本的“数据 饥饿”问题,实现了大尺度农作物快速自动化遥感分类。
(2)场景二采用所述第一微调迁移RSNet模型进行省级农作物分类的分 类结果如图4所示,省级农作物分类精度评价结果如表5所示:
表5基于CNN-52000模型的省级作物分类精度评价表
场景三采用所述第二微调迁移RSNet模型进行省级农作物分类的分类结 果如图5所示,省级农作物分类精度评价结果如表6所示:
表6基于CNN-24000模型的省级作物分类精度评价表
整体上看,场景二和场景三中水稻、玉米的分类精度得到了大幅度提高, 且两个微调模型(所述第一微调迁移RSNet模型和所述第二微调迁移RSNet 模型)取得了一致的分类结果。
场景二、场景三的省级农作物分类结果精度评价表5、表6显示水稻的制 图精度较低,即大量的水稻被漏分。从图4、图5可以看出,与场景一预训练 迁移RSNet模型的分类结果相比,地势起伏较大的东南部区域得到较大改善 (图4、图5中区域三),但是仍然存在漏分现象。在地势平坦的中部地区(图 4、图5中区域一),两个微调模型的分类结果都较好。但是西北部地区(图 4、图5中区域二)仍然存在严重的漏分现象,其中,通榆县、大安市、前郭尔罗斯蒙古族自治县、扶余县这4县与场景一模型的结果存在相同的现象。其 中西北角的洮北区、镇赉县以及中北部的扶余县、榆树市,虽然地势较平坦, 但是水稻错分现象严重,通过分析分类结果及遥感影像发现,该区域的地块也 较破碎,更重要的是水稻光谱差异明显,与参与微调的小区域样本中水稻光谱 有较大差异,因此,导致微调模型提取的水稻特征不全面,从而使得水稻分类 精度改善不明显。以榆树市为例,利用历史训练样本充分预训练的 CNN-1332000模型在榆树市的分类中取得很好的效果,而基于现势小区域训 练样本微调的CNN-52000、CNN-24000模型在榆树市的分类中,总体分类精 度为79.52%,低于CNN-1332000模型的分类结果;但是玉米的用户精度和制 图精度均大于90%,高于CNN-1332000模型的分类结果;水稻的用户精度达 到96.03%,而由于水稻光谱差异大,制图精度只有61.88%,低于CNN-1332000 模型的分类结果。这是因为,相对于玉米来说,水稻是属于小类,现势标记样 本水稻面积也远小于玉米和其他,加上全省水稻的光谱特征差异明显,从而水 稻的整体精度提升不明显,而被充分训练且面积占比大的玉米,取得很好的分类效果,精度明显提高。场景二和场景三的分类结果验证了微调迁移RSNet 模型在大尺度范围的应用能力,解决了传统分类模型中训练样本只适用于“特 定区域、特定影像、特定目标”的问题,减少了样本选择的工作量,提高了分 类效率。
总而言之,从上述3个分类场景发现:首先,基于迁移RSNet模型对吉 林全省60个县进行农作物分类,用时仅6.5小时,这大大提高了分类速度。 其次,利用历史模型直接预测现势影像中农作物的结果表明,在地势平坦、地 块规整、作物连片种植的区域取得较好的分类结果,在地块破碎区域的泛化能 力有待提高。整体上,迁移RSNet模型充分利用历史训练样本,实现了时间 尺度和空间尺度的迁移,一定程度上解决了遥感影像农作物分类中需要大量标 记样本支持的难题,实现了遥感影像农作物自动化快速分类。最后,利用小区域现势标记样本微调预模型对现势遥感影像进行农作物分类的结果表明,在地 势平坦的平原区和地势起伏大的丘陵、山区,种植分布广、面积大且规模种植 的玉米得到了充分训练,取得很好的分类结果,而种植面积小、光谱差异大的 水稻的分类精度提升不够明显,样本不均衡、样本代表性问题有待改善。整体 上,基于小区域现势标记样本微调预训练RSNet模型,解决了传统分类模型 中训练样本适用于“特定区域、特定影像、特定目标”的不足,减少了样本选 择的工作量,提高了分类效率,为形成一套大尺度农作物遥感分类方法打下扎实的基础。
图6为本发明所提供的大尺度农作物遥感分类***的***结构图。参见图 6,本发明提供的一种大尺度农作物遥感分类***,包括:
农作物标记样本获取模块601,用于获取历史年份大范围农作物标记样本 和现势小区域农作物标记样本;
历史样本确定模块602,用于根据所述历史年份大范围农作物标记样本确 定历史训练样本和历史验证样本;
现势样本确定模块603,用于根据所述现势小区域农作物标记样本确定随 机分布现势训练样本、随机分布现势验证样本、独立分布现势训练样本以及独 立分布现势验证样本;
网络模型获取模块604,用于获取残差网络模型和金字塔池化网络模型;
迁移RSNet模型建立模块605,用于根据所述残差网络模型以及所述金字 塔池化网络模型建立迁移RSNet模型;
预训练迁移RSNet模型建立模块606,用于根据所述历史训练样本对所述 迁移RSNet模型进行预训练,建立预训练迁移RSNet模型;
第一微调迁移RSNet模型建立模块607,用于根据所述随机分布现势训练 样本对所述预训练迁移RSNet模型进行微调,建立第一微调迁移RSNet模型;
第二微调迁移RSNet模型608,用于根据所述独立分布现势训练样本对所 述预训练迁移RSNet模型进行微调,建立第二微调迁移RSNet模型;
农作物分类模块609,用于采用所述预训练迁移RSNet模型、所述第一微 调迁移RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作 物分类。
其中,所述农作物标记样本获取模块601具体包括:
历史影像及历史数据获取单元,用于获取历史年份大范围区域内的历史多 时相中分影像以及历史农作物物候历数据;所述大范围区域为省或省以上范围 区域;
历史年份大范围农作物标记样本构建单元,用于根据所述历史多时相中分 影像以及所述历史农作物物候历数据构建所述历史年份大范围农作物标记样 本;
当前影像及当前数据获取单元,用于获取当前年份小区域的现势多时相高 分影像以及当前农作物物候历数据;所述小区域为多个县;
现势小区域农作物标记样本构建单元,用于根据所述现势多时相高分影像 以及所述当前农作物物候历数据构建所述现势小区域农作物标记样本。
所述历史年份大范围农作物标记样本构建单元具体包括:
历史年份大范围农作物标记样本构建子单元,用于根据所述历史多时相中 分影像以及所述历史农作物物候历数据,采用目标变化检测与支持向量机结合 的方法对农作物进行分类,构建所述历史年份大范围农作物标记样本。
所述现势小区域农作物标记样本构建单元具体包括:
影像分割子单元,用于采用面向对象方法对所述现势多时相高分影像以及 所述当前农作物物候历数据进行影像对象分割,获得分割后的指定区域影像对 象;
特征构建子单元,用于根据所述分割后的指定区域影像对象构建农作物的 光谱特征以及纹理特征;
高精度农作物分类子单元,用于采用随机森林算法对所述农作物的光谱特 征以及纹理特征进行特征提取与优化,并利用支持向量机分类器进行高精度农 作物分类,确定高分辨率的农作物分类结果;
重采样子单元,用于采用众数原则的重采样方法将所述高分辨率的农作物 分类结果重采样为与中分辨率农作物标记样本相同的分辨率,获得所述现势小 区域农作物标记样本。
所述历史样本确定模块602具体包括:
历史样本确定单元,用于选取85%的所述历史年份大范围农作物标记样本 作为所述历史训练样本,选取其余15%的所述历史年份大范围农作物标记样本 作为所述历史验证样本。
所述现势样本确定模块603具体包括:
随机分布现势样本确定单元,用于随机选取85%的所述现势小区域农作物 标记样本作为所述随机分布现势训练样本,其余15%的所述现势小区域农作物 标记样本作为所述随机分布现势验证样本;
独立分布现势样本确定单元,用于选取所述小区域内相邻85%的指定区域 内的所述现势小区域农作物标记样本作为所述独立分布现势训练样本,其余 15%的所述现势小区域农作物标记样本作为所述独立分布现势验证样本。
此外,所述***还包括精度评价模块,用于采用野外调查样本点对所述预 训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述第二微调迁移 RSNet模型进行精度评价;所述精度评价的指标包括总体分类精度、制图精度、 用户精度、Kappa系数以及表征制图精度和用户精度加权平均的F1分数。
本发明大尺度农作物遥感分类***基于历史年份大范围农作物标记样本 对迁移RSNet模型进行模型预训练,基于随机分布现势小区域农作物标记样 本和独立分布现势小区域农作物标记样本对预训练迁移RSNet模型进行微调, 实现了现势影像省级农作物遥感快速自动分类,同时解决了遥感影像分类中训 练样本“数据饥饿”的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于 实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较 简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的 一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变 之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种大尺度农作物遥感分类方法,其特征在于,包括:
获取历史年份大范围农作物标记样本和现势小区域农作物标记样本;
根据所述历史年份大范围农作物标记样本确定历史训练样本和历史验证样本;
根据所述现势小区域农作物标记样本确定随机分布现势训练样本、随机分布现势验证样本、独立分布现势训练样本以及独立分布现势验证样本;
获取残差网络模型和金字塔池化网络模型;
根据所述残差网络模型以及所述金字塔池化网络模型建立迁移遥感网络RSNet模型;
根据所述历史训练样本对所述迁移RSNet模型进行预训练,建立预训练迁移RSNet模型;
根据所述随机分布现势训练样本对所述预训练迁移RSNet模型进行微调,建立第一微调迁移RSNet模型;
根据所述独立分布现势训练样本对所述预训练迁移RSNet模型进行微调,建立第二微调迁移RSNet模型;
采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类。
2.根据权利要求1所述的大尺度农作物遥感分类方法,其特征在于,所述获取历史年份大范围农作物标记样本和现势小区域农作物标记样本,具体包括:
获取历史年份大范围区域内的历史多时相中分影像以及历史农作物物候历数据;所述大范围区域为省或省以上范围区域;
根据所述历史多时相中分影像以及所述历史农作物物候历数据构建所述历史年份大范围农作物标记样本;
获取当前年份小区域的现势多时相高分影像以及当前农作物物候历数据;所述小区域为多个县;
根据所述现势多时相高分影像以及所述当前农作物物候历数据构建所述现势小区域农作物标记样本。
3.根据权利要求2所述的大尺度农作物遥感分类方法,其特征在于,所述根据所述历史多时相中分影像以及所述历史农作物物候历数据构建所述历史年份大范围农作物标记样本,具体包括:
根据所述历史多时相中分影像以及所述历史农作物物候历数据,采用目标变化检测与支持向量机结合的方法对农作物进行分类,构建所述历史年份大范围农作物标记样本。
4.根据权利要求2所述的大尺度农作物遥感分类方法,其特征在于,所述根据所述现势多时相高分影像以及所述当前农作物物候历数据构建所述现势小区域农作物标记样本,具体包括:
采用面向对象方法对所述现势多时相高分影像以及所述当前农作物物候历数据进行影像对象分割,获得分割后的指定区域影像对象;
根据所述分割后的指定区域影像对象构建农作物的光谱特征以及纹理特征;
采用随机森林算法对所述农作物的光谱特征以及纹理特征进行特征提取与优化,并利用支持向量机分类器进行高精度农作物分类,确定高分辨率的农作物分类结果;
采用众数原则的重采样方法将所述高分辨率的农作物分类结果重采样为与中分辨率农作物标记样本相同的分辨率,获得所述现势小区域农作物标记样本。
5.根据权利要求1所述的大尺度农作物遥感分类方法,其特征在于,所述根据所述历史年份大范围农作物标记样本确定历史训练样本和历史验证样本,具体包括:
选取85%的所述历史年份大范围农作物标记样本作为所述历史训练样本,其余15%的所述历史年份大范围农作物标记样本作为所述历史验证样本。
6.根据权利要求1所述的大尺度农作物遥感分类方法,其特征在于,所述根据所述现势小区域农作物标记样本确定随机分布现势训练样本、随机分布现势验证样本、独立分布现势训练样本以及独立分布现势验证样本,具体包括:
随机选取85%的所述现势小区域农作物标记样本作为所述随机分布现势训练样本,其余15%的所述现势小区域农作物标记样本作为所述随机分布现势验证样本;
选取所述小区域内相邻85%的指定区域内的所述现势小区域农作物标记样本作为所述独立分布现势训练样本,其余15%的所述现势小区域农作物标记样本作为所述独立分布现势验证样本。
7.根据权利要求1所述的大尺度农作物遥感分类方法,其特征在于,所述采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类之后,还包括:
采用野外调查样本点对所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型进行精度评价;所述精度评价的指标包括总体分类精度、制图精度、用户精度、Kappa系数以及表征制图精度和用户精度加权平均的F1分数。
8.一种大尺度农作物遥感分类***,其特征在于,包括:
农作物标记样本获取模块,用于获取历史年份大范围农作物标记样本和现势小区域农作物标记样本;
历史样本确定模块,用于根据所述历史年份大范围农作物标记样本确定历史训练样本和历史验证样本;
现势样本确定模块,用于根据所述现势小区域农作物标记样本确定随机分布现势训练样本、随机分布现势验证样本、独立分布现势训练样本以及独立分布现势验证样本;
网络模型获取模块,用于获取残差网络模型和金字塔池化网络模型;
迁移RSNet模型建立模块,用于根据所述残差网络模型以及所述金字塔池化网络模型建立迁移RSNet模型;
预训练迁移RSNet模型建立模块,用于根据所述历史训练样本对所述迁移RSNet模型进行预训练,建立预训练迁移RSNet模型;
第一微调迁移RSNet模型建立模块,用于根据所述随机分布现势训练样本对所述预训练迁移RSNet模型进行微调,建立第一微调迁移RSNet模型;
第二微调迁移RSNet模型,用于根据所述独立分布现势训练样本对所述预训练迁移RSNet模型进行微调,建立第二微调迁移RSNet模型;
农作物分类模块,用于采用所述预训练迁移RSNet模型、所述第一微调迁移RSNet模型和所述第二微调迁移RSNet模型对现势影像进行省级农作物分类。
9.根据权利要求8所述的大尺度农作物遥感分类***,其特征在于,所述历史样本确定模块具体包括:
历史样本确定单元,用于选取85%的所述历史年份大范围农作物标记样本作为所述历史训练样本,选取其余15%的所述历史年份大范围农作物标记样本作为所述历史验证样本。
10.根据权利要求8所述的大尺度农作物遥感分类***,其特征在于,所述现势样本确定模块具体包括:
随机分布现势样本确定单元,用于随机选取85%的所述现势小区域农作物标记样本作为所述随机分布现势训练样本,其余15%的所述现势小区域农作物标记样本作为所述随机分布现势验证样本;
独立分布现势样本确定单元,用于选取所述小区域内相邻85%的指定区域内的所述现势小区域农作物标记样本作为所述独立分布现势训练样本,其余15%的所述现势小区域农作物标记样本作为所述独立分布现势验证样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811183899.XA CN109145885B (zh) | 2018-10-11 | 2018-10-11 | 一种大尺度农作物遥感分类方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811183899.XA CN109145885B (zh) | 2018-10-11 | 2018-10-11 | 一种大尺度农作物遥感分类方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145885A true CN109145885A (zh) | 2019-01-04 |
CN109145885B CN109145885B (zh) | 2020-09-15 |
Family
ID=64811052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811183899.XA Active CN109145885B (zh) | 2018-10-11 | 2018-10-11 | 一种大尺度农作物遥感分类方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145885B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298366A (zh) * | 2019-07-05 | 2019-10-01 | 北华航天工业学院 | 农作物分布提取方法及装置 |
WO2021068176A1 (zh) * | 2019-10-11 | 2021-04-15 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
CN113033453A (zh) * | 2021-04-06 | 2021-06-25 | 北京艾尔思时代科技有限公司 | 一种适用于景观破碎区作物类型遥感识别的方法及*** |
CN114332570A (zh) * | 2022-03-17 | 2022-04-12 | 北京艾尔思时代科技有限公司 | 基于cdl深度学习进行作物迁移分类的方法和*** |
CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
CN117975292A (zh) * | 2024-03-25 | 2024-05-03 | 中国科学院东北地理与农业生态研究所 | 一种温带森林沼泽提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
CN103761447A (zh) * | 2014-02-18 | 2014-04-30 | 中国科学院遥感与数字地球研究所 | 用于地市及县两级粮食补贴核算的种植面积遥感估算方法 |
CN108053408A (zh) * | 2017-12-05 | 2018-05-18 | 中国资源卫星应用中心 | 一种基于遥感卫星影像的高自动化土地利用更新方法 |
-
2018
- 2018-10-11 CN CN201811183899.XA patent/CN109145885B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
CN103761447A (zh) * | 2014-02-18 | 2014-04-30 | 中国科学院遥感与数字地球研究所 | 用于地市及县两级粮食补贴核算的种植面积遥感估算方法 |
CN108053408A (zh) * | 2017-12-05 | 2018-05-18 | 中国资源卫星应用中心 | 一种基于遥感卫星影像的高自动化土地利用更新方法 |
Non-Patent Citations (1)
Title |
---|
DUJUAN ZHANG等: "Fully Convolutional Neural Networks for Large Scale Cropland Mapping with Historical Label Dataset", 《IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298366A (zh) * | 2019-07-05 | 2019-10-01 | 北华航天工业学院 | 农作物分布提取方法及装置 |
CN110298366B (zh) * | 2019-07-05 | 2021-05-04 | 北华航天工业学院 | 农作物分布提取方法及装置 |
WO2021068176A1 (zh) * | 2019-10-11 | 2021-04-15 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
CN113033453A (zh) * | 2021-04-06 | 2021-06-25 | 北京艾尔思时代科技有限公司 | 一种适用于景观破碎区作物类型遥感识别的方法及*** |
CN113033453B (zh) * | 2021-04-06 | 2023-09-15 | 北京艾尔思时代科技有限公司 | 一种适用于景观破碎区作物类型遥感识别的方法及*** |
CN114332570A (zh) * | 2022-03-17 | 2022-04-12 | 北京艾尔思时代科技有限公司 | 基于cdl深度学习进行作物迁移分类的方法和*** |
CN114332570B (zh) * | 2022-03-17 | 2022-06-03 | 北京艾尔思时代科技有限公司 | 基于cdl深度学习进行作物迁移分类的方法和*** |
CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
CN117253155B (zh) * | 2023-11-17 | 2024-03-15 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
CN117975292A (zh) * | 2024-03-25 | 2024-05-03 | 中国科学院东北地理与农业生态研究所 | 一种温带森林沼泽提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109145885B (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145885A (zh) | 一种大尺度农作物遥感分类方法及*** | |
Kempton et al. | Statistical methods for plant variety evaluation | |
Miao et al. | Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud | |
CN105740759A (zh) | 基于多时相数据中特征提取的中稻信息决策树分类方法 | |
CN104899786B (zh) | 玉米品种种植适宜性精细区划方法与*** | |
CN109409261B (zh) | 一种农作物分类方法及*** | |
Zhu et al. | Quantification of light interception within image-based 3-D reconstruction of sole and intercropped canopies over the entire growth season | |
CN107527014A (zh) | 县级作物种植面积遥感统计抽样调查方案设计方法 | |
Ribeiro et al. | Placing land cover pattern preferences on the map: Bridging methodological approaches of landscape preference surveys and spatial pattern analysis | |
CN109544554A (zh) | 一种植物图像分割及叶片骨架提取方法及*** | |
CN108195767A (zh) | 河口湿地外来种监测方法 | |
Majeed et al. | Vegetation analysis and environmental indicators of an arid tropical forest ecosystem of Pakistan | |
Li et al. | PSegNet: Simultaneous semantic and instance segmentation for point clouds of plants | |
Kenobi et al. | Linear discriminant analysis reveals differences in root architecture in wheat seedlings related to nitrogen uptake efficiency | |
Behm et al. | A phenotypic plasticity framework for assessing intraspecific variation in arbuscular mycorrhizal fungal traits | |
CN110298322A (zh) | 一种基于遥感数据的耕地提取方法及*** | |
CN105957115A (zh) | 广义dem思想下的农作物种植结构遥感提取方法 | |
Song et al. | Recognition of sunflower growth period based on deep learning from UAV remote sensing images | |
Callister et al. | Enviromic prediction enables the characterization and mapping of Eucalyptus globulus Labill breeding zones | |
CN113570273A (zh) | 一种灌溉耕地统计数据的空间化方法及*** | |
Lupia | Crop/land suitability analysis by ArcGIS tools | |
CN117036861A (zh) | 一种基于Faster-YOLOv8s网络的玉米作物行识别方法 | |
Guo et al. | Automatic and accurate acquisition of stem-related phenotypes of mature soybean based on deep learning and directed search algorithms | |
CN109670426B (zh) | 一种基于陆地卫星遥感影像数据源的地物信息提取方法 | |
CN114781199A (zh) | 水源涵养对气候变化的响应分析方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |