CN110110729B - 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 - Google Patents

基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 Download PDF

Info

Publication number
CN110110729B
CN110110729B CN201910211894.1A CN201910211894A CN110110729B CN 110110729 B CN110110729 B CN 110110729B CN 201910211894 A CN201910211894 A CN 201910211894A CN 110110729 B CN110110729 B CN 110110729B
Authority
CN
China
Prior art keywords
network
building
loss value
scale
shaped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910211894.1A
Other languages
English (en)
Other versions
CN110110729A (zh
Inventor
刘袁缘
方芳
郭明强
覃杰
陈鼎元
杨淞晰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910211894.1A priority Critical patent/CN110110729B/zh
Publication of CN110110729A publication Critical patent/CN110110729A/zh
Application granted granted Critical
Publication of CN110110729B publication Critical patent/CN110110729B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多尺度和多任务的U形CNN网络模型来实现遥感图像的建筑掩模提取方法，以实例分割方式实现高分辨率遥感图像在不同尺度下的精确建筑掩模提取。本发明提供的建筑掩模提取方法中运用了多尺度融合U形网络、区域建议关注网络和边缘约束损失的多任务网络，通过优化联合ECL等的多任务混合损失来快速收敛整个网络，从而抑制有限可用训练数据中的过度补偿。本发明在不同尺度上已经实现了优异的性能和强大的鲁棒性，在多种数据集上的精度显著提高。

Description

基于U形CNN模型实现遥感图像的建筑实例掩模提取方法
技术领域
本发明涉及高分辨率遥感影像建筑物实例提取技术领域，更具体地说，涉及一种基于多尺度和多任务的U形CNN模型来实现遥感图像的建筑物实例掩模提取方法。
背景技术
基于高分辨率遥感的抽象建筑物提取传感图像已被广泛用于通过深度学习自动测量和绘图。由于以下问题，它仍然是一项重要且具有挑战性的任务，一方面是由于目前的语义分割方法不能够从具有变异尺度的地籍数据库中有效地提取单个建筑物的掩模；另一方面是当卷积层变得更深时，现有的完全卷积网络难以使用有限的可用训练集获得精确的掩模。
发明内容
本发明要解决的技术问题在于，针对上述缺陷，提供一种利用多尺度U形CNN模型来实现遥感图像的建筑掩模提取方法，精确地实现具有不同尺度的每个单个建筑物掩模。
本发明解决其技术问题所采用的技术方案是：构造一种基于U形CNN模型实现遥感图像的建筑实例掩模提取方法，包括以下三个步骤：
S1、多尺度融合U形网络对输入遥感图像数据进行预处理；
S2、将步骤S1预处理得到的数据输入到多尺度融合U形网络的三个预训练ResNet模型中，得到三张尺度不同的特征信息图；
S3、对步骤S2得到的三张尺度不同的特征信息图进行两次级联融合操作，将三张尺度不同的特征信息图融合为复合特征信息图；
S4、将步骤S3得到的复合特征信息图输入到U形反卷积网络中进行特征学习，进一步得到输入遥感图像数据的第一全局特征图；
S5、将步骤S4得到的第一全局特征图输入到区域建议关注网络中进行建筑物区域边界框提取，得到每个建筑物区域的局部特征图；
S6、将步骤S5得到的每张局部特征图分别输入到基于边缘约束损失的多任务学习网络中，计算上述局部特征图的联合混合损失值L；
S7、根据得到的联合混合损失值L优化所述多尺度融合U形网络、区域建议关注网络和基于边缘约束损失的多任务学习网络的网络参数，并返回至步骤S2，期间重复执行步骤S2-S7，直到步骤S6中输出的联合混合损失值L收敛时，进一步执行步骤S8；
S8、从所述第一全局特征图中提取建筑掩模。
进一步的，步骤S1中通过2倍上采样、原尺度和2倍下采样预处理操作，将输入的遥感图像数据处理成三个并行分支；其中：
第一个分支为2X输入流，第二个分支为1X输入流，第三个分支为0.5X输入流。
进一步的，步骤S2中，所述第一个分支输入到3个串联的预训练残差卷积单元中得到第一尺度特征信息图；所述第二分支输入到2个串联的预训练残差卷积单元中得到第二尺度特征信息图；所述第三分支输入到1个预训练残差卷积单元中得到第三尺度特征信息图。
进一步的，所述2X输入流用于将输入的图像插值为2倍大小；所述1X输入流用于保持图像的原始大小；所述0.5X输入流用于将输入的图像降采样为0.5倍大小。
进一步的，步骤S3中使用2个级联的特征拼接和1*1卷积将第一尺度特征信息图、第二尺度特征信息图和第三尺度特征信息图融合为复合特征信息图。
进一步的，步骤S4中使用的U形反卷积网络用于对复合特征信息图进行建筑物的第一全局特征提取；所述U形反卷积网络共包括4个网络块，其中，每个网络块均包括上采样层和反卷积层，在每个网络块的辅助作用下，进一步输出第一全局特征图。
进一步的，步骤S6中基于边缘约束损失的多任务学习网络引入了ECL边缘约束损失来增强实例边界的响应用以提取更精确的建筑物掩码，并且所述基于边缘约束损失的多任务学习网络中通过计算输入图像的分类损失值Lcls、边界框损失值Lbbox、掩模损失值Lseg和ECL损失值Ledge，来进一步求解输入图像的联合混合损失值L，并通过计算得到的联合损失值L来进一步优化整个网络的网络参数；其中，联合混合损失值L的计算公式为：
L＝Lcls+λ1pLbbox+λ2pLseg+λ3pLedge；
其中，p∈{0，1}，λ1、λ2和λ3分别为用于平衡加权因子。
进一步的，所述分类损失值Lcls和边界框损失值Lbbox是基于选定的局部特征图计算得到的，所述掩模损失值Lseg和ECL损失值Ledge是基于所有的局部特征图计算得到的。
在本发明所述的建筑掩模提取方法中，以实例分割方式实现高分辨率遥感图像不同尺度的精确建筑掩模提取。
实施本发明提供的一种基于多尺度U形CNN模型实现遥感图像的建筑掩模提取方法，具有以下有益效果：
1、所述建筑掩模提取方法利用多尺度融合U形网络可以融合不同尺度的特征来提取具有不同尺度的建筑物的掩模；
2、采用基于ECL的多任务网络可以通过优化联合ECL和多任务丢失来快速收敛整个网络，从而抑制有限可用训练数据中的过度补偿；
3、本发明在不同尺度上已经实现了优异的性能和强大的鲁棒性，在多种数据集上的精度显著提高。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的高分辨率遥感影像建筑物提取流程图。
图2为本发明实施例的模型架构图。
图3为本发明实施例的多尺度融合U形网络的示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1和图2，其分别为本发明实施例的高分辨率遥感影像建筑物提取流程图和本发明实施例的模型架构图，具体包括以下步骤：
S1、多尺度融合U形网络对输入遥感图像数据进行预处理；所述预处理包括2倍上采样、原尺度和2倍下采样预处理操作，通过所述预处理操作将输入的遥感图像数据处理为三个并行的输入流，分别为：2X输入流、1X输入流，和0.5X输入流；其中，所述2X输入流用于将输入的图像插值为2倍大小；所述1X输入流用于保持图像的原始大小；所述0.5X输入流用于将输入的图像降采样为0.5倍大小。
S2、将步骤S1预处理得到的数据输入到多尺度融合U形网络的三个预训练ResNet模型中，得到三张尺度不同的特征信息图；其中：
所述2X输入流输入到3个串联的预训练残差卷积单元中得到第一尺度特征信息图；所述1X输入流输入到2个串联的预训练残差卷积单元中得到第二尺度特征信息图；所述0.5X输入流输入到1个预训练残差卷积单元中得到第三尺度特征信息图。
S3、对步骤S2得到的三张尺度不同的特征信息图使用2个级联的特征拼接和1*1卷积操作，将三张尺度不同的特征信息图融合为复合特征信息图。
S4、将步骤S3得到的复合特征信息图输入到U形反卷积网络中进行特征学习，进一步得到输入遥感图像数据的第一全局特征图；其中：
所述U形反卷积网络共包括4个网络块，每个网络块均包括上采样层和反卷积层，在每个网络块的辅助作用下，进一步输出输入图像的第一全局特征图。
S5、将步骤S4得到的第一全局特征图输入到区域建议关注网络中进行建筑物区域边界框提取，得到每个建筑物区域的局部特征图。
S6、将步骤S5得到的每张局部特征图分别输入到基于边缘约束损失-ECL的多任务学习网络中，计算上述局部特征图的联合混合损失值L；其中：
所述基于边缘约束损失的多任务学习网络引入了ECL边缘约束损失来增强实例边界的响应用以提取更精确的建筑物掩码，并且所述基于边缘约束损失的多任务学习网络中通过计算输入图像的分类损失值Lcls、边界框损失值Lbbox、掩模损失值Lseg和ECL损失值Ledge，来进一步求解输入图像的联合混合损失值L，并通过计算得到的联合损失值L来进一步优化整个网络的网络参数；其中，联合混合损失值L的计算公式为：
L＝Lcls+λ1pLbbox+λ2pLseg+λ3pLedge；
其中，p∈{0，1}，λ1、λ2和λ3分别为用于平衡加权因子。本实施例中设置λ1＝1、λ2＝1、λ3＝1，所述分类损失值Lcls和边界框损失值Lbbox是基于选定的局部特征图计算得到的，所述掩模损失值Lseg和ECL损失值Ledge是基于所有的局部特征图计算得到的。上述联合混合损失值L的计算公式中：
分类损失值Lcls的数学计算公式为：
Figure GDA0003739185640000061
其中，x是预测损失值，y是真实损失值；i是单个建筑和非建筑的类别，j是总类别；i＝1,...,j；
边界框损失值Lbbox的数学计算公式为：
Figure GDA0003739185640000062
其中，ti为预测框的中心坐标及其宽度和高度(x,y,w,h)；
Figure GDA0003739185640000063
为地面真实建筑的中心坐标及其宽度和高度。
掩模损失值Lseg的数学计算公式为：
Figure GDA0003739185640000064
ECL损失值Ledge的数学计算公式为：
Figure GDA0003739185640000065
其中，y是地面真实边界，
Figure GDA0003739185640000066
是掩模的边界。
S7、根据得到的联合混合损失值L优化所述多尺度融合U形网络、区域建议关注网络和基于边缘约束损失的多任务学习网络的网络参数，并返回至步骤S2，期间重复执行步骤S2-S7，直到步骤S6中输出的联合混合损失值L收敛时，进一步执行步骤S8；
S8、从所述第一全局特征图中提取建筑掩模。
本发明实施例在训练的过程中使用了三种建筑分割数据集，即ISPRS 2D语义标记挑战数据集，WHU航空数据集和自注释建筑物实例分割数据集，使用分别在ISPRS数据集和自注释数据集上训练的模型来评估在WHU航空数据集上的方法性能。
请参考图3，其为本发明实施例的多尺度融合U形网络示意图；其中，所述通过多尺度融合U形网络输出的三个支流包括3个并行分支和2个融合操作，在对3个并行分支进行融合操作的时候，不同分支的特征映射即Fusion 1和Fusion 2的融合，具体为第一个分支的ResNet Block-2和第二个分支的ResNet Block-1融合，第一个分支的Block-3、第二个分支的Block-2和第三个分支的Block-1融合，其中，融合的输出结果由求和运算产生，且输出的是混合多尺度建筑环境特征；为了提高融合的效率和精度，本实施例中Fusion 1和Fusion2网络的维数分别设为64和256。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种基于U形CNN模型实现遥感图像的建筑实例掩模提取方法，其特征在于，包括以下三个步骤：
S1、多尺度融合U形网络对输入遥感图像数据进行预处理；
S2、将步骤S1预处理得到的数据输入到多尺度融合U形网络的三个预训练ResNet模型中，得到三张尺度不同的特征信息图；
S3、对步骤S2得到的三张尺度不同的特征信息图进行两次级联融合操作，将三张尺度不同的特征信息图融合为复合特征信息图；
S4、将步骤S3得到的复合特征信息图输入到U形反卷积网络中进行特征学习，进一步得到输入遥感图像数据的第一全局特征图；
S5、将步骤S4得到的第一全局特征图输入到区域建议关注网络中进行建筑物区域边界框提取，得到每个建筑物区域的局部特征图；
S6、将步骤S5得到的每张局部特征图分别输入到基于边缘约束损失的多任务学习网络中，计算上述局部特征图的联合混合损失值L；
S7、根据得到的联合混合损失值L优化所述多尺度融合U形网络、区域建议关注网络和基于边缘约束损失的多任务学习网络的网络参数，并返回至步骤S2，期间重复执行步骤S2-S7，直到步骤S6中输出的联合混合损失值L收敛时，进一步执行步骤S8；
S8、从所述第一全局特征图中提取建筑掩模。
2.根据权利要求1所述的建筑实例掩模提取方法，其特征在于，步骤S1中通过2倍上采样、原尺度和2倍下采样预处理操作，将输入的遥感图像数据处理成三个并行分支；其中：
第一个分支为2X输入流，第二个分支为1X输入流，第三个分支为0.5X输入流。
3.根据权利要求2所述的建筑实例掩模提取方法，其特征在于，步骤S2中，所述第一个分支输入到3个串联的预训练残差卷积单元中得到第一尺度特征信息图；所述第二个 分支输入到2个串联的预训练残差卷积单元中得到第二尺度特征信息图；所述第三个 分支输入到1个预训练残差卷积单元中得到第三尺度特征信息图。
4.根据权利要求2所述的建筑实例掩模提取方法，其特征在于，所述2X输入流用于将输入的图像插值为2倍大小；所述1X输入流用于保持图像的原始大小；所述0.5X输入流用于将输入的图像降采样为0.5倍大小。
5.根据权利要求2或3所述的建筑实例掩模提取方法，其特征在于，步骤S3中使用2个级联的特征拼接和1*1卷积将第一尺度特征信息图、第二尺度特征信息图和第三尺度特征信息图融合为复合特征信息图。
6.根据权利要求1所述的建筑实例掩模提取方法，其特征在于，步骤S4中使用的U形反卷积网络用于对复合特征信息图进行建筑物的第一全局特征提取；所述U形反卷积网络共包括4个网络块，其中，每个网络块均包括上采样层和反卷积层，在每个网络块的辅助作用下，进一步输出第一全局特征图。
7.根据权利要求1所述的建筑实例掩模提取方法，其特征在于，步骤S6中基于边缘约束损失的多任务学习网络引入了ECL边缘约束损失来增强实例边界的响应用以提取更精确的建筑物掩码，并且所述基于边缘约束损失的多任务学习网络中通过计算输入图像的分类损失值Lcls、边界框损失值Lbbox、掩模损失值Lseg和ECL损失值Ledge，来进一步求解输入图像的联合混合损失值L，并通过计算得到的联合损失值L来进一步优化整个网络的网络参数；其中，联合混合损失值L的计算公式为：
L＝Lcls+λ1pLbbox+λ2pLseg+λ3pLedge；
其中，p∈{0，1}，λ1、λ2和λ3分别为用于平衡加权因子。
8.根据权利要求7所述的建筑实例掩模提取方法，其特征在于，所述分类损失值Lcls和边界框损失值Lbbox是基于选定的局部特征图计算得到的，所述掩模损失值Lseg和ECL损失值Ledge是基于所有的局部特征图计算得到的。
CN201910211894.1A 2019-03-20 2019-03-20 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 Expired - Fee Related CN110110729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910211894.1A CN110110729B (zh) 2019-03-20 2019-03-20 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910211894.1A CN110110729B (zh) 2019-03-20 2019-03-20 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法

Publications (2)

Publication Number Publication Date
CN110110729A CN110110729A (zh) 2019-08-09
CN110110729B true CN110110729B (zh) 2022-08-30

Family

ID=67484480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910211894.1A Expired - Fee Related CN110110729B (zh) 2019-03-20 2019-03-20 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法

Country Status (1)

Country Link
CN (1) CN110110729B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852225B (zh) * 2019-10-31 2022-05-06 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及***
CN111079602B (zh) * 2019-12-06 2024-02-09 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111860233B (zh) * 2020-07-06 2021-05-18 中国科学院空天信息创新研究院 基于选择注意力网络的sar图像复杂建筑物提取方法及***
CN112863550B (zh) * 2021-03-01 2022-08-16 德鲁动力科技(成都)有限公司 基于注意力残差学习的哭声检测方法及***
CN113408350B (zh) * 2021-05-17 2023-09-19 杭州电子科技大学 一种基于边缘特征提取的遥感图像显著性检测方法
CN113255760A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 训练图像处理模型的方法、图像处理的方法及装置
CN113670872A (zh) * 2021-08-18 2021-11-19 中国地质大学（武汉） 一种日光诱导叶绿素荧光数据的获取方法及***
CN117216039B (zh) * 2023-10-31 2024-04-09 重庆市规划和自然资源信息中心 基于三维地籍数据库进行建筑物三维底座构建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938066B (zh) * 2012-12-07 2015-10-28 南京大学 一种基于多元数据重建建筑物外轮廓多边形的方法
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
US9418446B2 (en) * 2014-08-27 2016-08-16 Nokia Technologies Oy Method and apparatus for determining a building location based on a building image
CN107220657B (zh) * 2017-05-10 2018-05-18 中国地质大学（武汉） 一种面向小数据集的高分辨率遥感影像场景分类的方法
CN109086660A (zh) * 2018-06-14 2018-12-25 深圳市博威创盛科技有限公司 多任务学习深度网络的训练方法、设备及存储介质
CN109377445B (zh) * 2018-10-12 2023-07-04 北京旷视科技有限公司 模型训练方法、替换图像背景的方法、装置和电子***

Also Published As

Publication number Publication date
CN110110729A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110110729B (zh) 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN111027547A (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111259940B (zh) 一种基于空间注意力地图的目标检测方法
CN111723798B (zh) 一种基于关联性层级残差的多实例自然场景文本检测方法
CN111860235A (zh) 高低层特征融合的注意力遥感图像描述的生成方法及***
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN109635714B (zh) 文档扫描图像的矫正方法及装置
CN113361521B (zh) 场景图像的检测方法及其装置
CN113822284A (zh) 一种基于边界注意力的rgbd图像语义分割方法
CN112149563A (zh) 一种注意力机制人体图像关键点姿态估计方法及***
Franken et al. Rebuilding the cadastral map of The Netherlands, the artificial intelligence solution
Wu et al. TAL: Topography-aware multi-resolution fusion learning for enhanced building footprint extraction
CN116503744B (zh) 高度等级引导的单视角遥感影像建筑高度估计方法和装置
CN114359709A (zh) 一种针对遥感图像的目标检测方法及装置
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
Sahu et al. Vector map generation from aerial imagery using deep learning
CN111353441B (zh) 基于位置数据融合的道路提取方法和***
CN115222947B (zh) 基于全局自注意力变换网络的岩石节理分割方法和装置
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN113763447B (zh) 深度图的补全方法、电子设备及存储介质
Chen et al. Multi-type change detection of building models by integrating spatial and spectral information
Kazemi et al. Deriving multi‐scale GEODATA from TOPO‐250K road network Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220830