CN107274441B - 一种高光谱图像的波段校准方法和*** - Google Patents

一种高光谱图像的波段校准方法和*** Download PDF

Info

Publication number
CN107274441B
CN107274441B CN201710447441.XA CN201710447441A CN107274441B CN 107274441 B CN107274441 B CN 107274441B CN 201710447441 A CN201710447441 A CN 201710447441A CN 107274441 B CN107274441 B CN 107274441B
Authority
CN
China
Prior art keywords
image
band
points
matching
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710447441.XA
Other languages
English (en)
Other versions
CN107274441A (zh
Inventor
单小军
唐吉文
唐娉
白洋
邹松
李艳艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201710447441.XA priority Critical patent/CN107274441B/zh
Publication of CN107274441A publication Critical patent/CN107274441A/zh
Application granted granted Critical
Publication of CN107274441B publication Critical patent/CN107274441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种高光谱图像的波段配准方法，包括：选取某一个波段作为基准波段，生成新的图像作为基准图像；在待配准波段图像上提取特征点，以特征点为中心提取模板窗口；在基准图像上选择与特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；建立待配准波段图像和基准图像的粗变换关系，计算出所述特征点在基准图像上的匹配点，以该匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点；建立待配准波段图像和基准图像的精变换关系，完成待配准波段图像的校正。采用本发明的技术方案，可以自动完成无人机高光谱图像的波段配准，使无人机高光谱图像所有波段具有空间一致性，处理速度快，配准精度高。

Description

一种高光谱图像的波段校准方法和***
技术领域
本发明属于高光谱图像处理技术领域，涉及一种无人机高光谱图像波段配准方法和***。
背景技术
无人机具有机动性高、成本低的优点，近年来在小范围大比例尺制图、应急救灾、资源环境调查、精细农业等方面有广泛的应用，成为卫星遥感和传统航空遥感的一个重要补充方式。无人机高光谱遥感跟卫星高光谱遥感相比有其得天独厚的优势，由于无人机的飞行高度低，获取的高光谱图像既有丰富的光谱信息，也有着很高的空间分辨率，空间分辨率可达到厘米级别，可以应用于环境监测、精准农业(作物长势判断、作物估产、病虫害预警)等方面。
由于无人机本身的特点以及搭载在无人机上的高光谱成像仪的成像方式，无人机高光谱图像的处理是一个不小的挑战。搭载在卫星上的传统高光谱成像仪有分光器，波段之间都是对齐的，不需要进行波段之间的配准。无人机特别是旋翼型无人机由于载荷有限，一般为几千克，不能搭载传统的高光谱成像仪。目前无人机上搭载的高光谱成像仪多为框幅式成像仪，采用连续曝光的成像方式，获取多波段的高光谱图像。由于曝光期间无人机在运动，因此同一景图像不同波段之间不是对齐的，需要进行波段之间的配准。
发明内容
有鉴于此，本发明提供了一种高光谱图像的波段配准方法，包括：
步骤S100，选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充若干个像素，生成新的图像作为基准图像；
步骤S200，在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口；
步骤S300，对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；
步骤S400，基于所述粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点；
步骤S500，基于所述精匹配点建立待配准波段图像和基准图像的精变换关系，然后使用该精变换关系完成待配准波段图像的校正；
步骤S600，重复步骤S200～S500，完成下一波段的配准。
进一步的，在提取特征点之前，对待配准波段图像进行突出对比度的增强操作。
进一步的，步骤S400中所述的粗匹配点为使用随机采样一致性方法和最小二乘法剔除误匹配点以后的粗匹配点，步骤S500中所述的精匹配点为使用随机采样一致性方法和最小二乘法剔除误匹配点以后的精匹配点。
进一步的，每配准一个波段之后，计算该波段相对于基准波段的偏移量，在步骤S300中对下一波段使用特征点的坐标加上偏移量之后的坐标为中心提取搜索窗口。
进一步的，在步骤S200中，使用
Figure BDA0001321566460000021
或SIFT或Harris或SURF作为提取特征点的算子。
本发明还提供一种高光谱图像的波段配准***，包括：
基准图像生成模块，用于选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充若干个像素，生成新的图像作为基准图像；
模板窗口提取模块，用于在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口；
粗匹配模块，用于对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；
精匹配模块，用于基于所述粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点
几何校正模块，用于基于所述精匹配点建立待配准波段图像和基准图像的精变换关系，然后使用该精变换关系完成待配准波段图像的校正；
进一步的，上述波段配准***还包括图像增强模块，用于在提取特征点之前，对待配准波段图像进行突出对比度的增强操作。
进一步的，上述波段配准***还包括误匹配点剔除模块，用于使用随机采样一致性方法和最小二乘法剔除误匹配点。
进一步的，上述波段配准***还包括偏移量计算模块，用于在配准一个波段之后，计算该波段相对于基准波段的偏移量。
采用上述技术方案，可以自动完成无人机高光谱图像的波段配准，使无人机高光谱图像所有波段具有空间一致性，处理速度快，配准精度高。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例的高光谱图像的波段配准方法流程图。
图2为本发明实施例的高光谱图像的波段配准***结构图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
如图1所示，本实施例的高光谱图像的波段配准方法，包括以下步骤：
步骤S100，选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充M个像素，生成新的图像作为基准图像。
波段配准是以高光谱图像的某一个波段为基准，进行配准。因此，在配准前需要先选择合适的波段作为基准波段，选取的原则是其它波段和该波段的配准成功率和准确率更高，选取方法可以通过各个波谱范围分析、实际进行配准实验等确定，此为公知常识，不再赘述。
原始高光谱图像在每个波段的大小一样，根据实际应用需要，配准后，每个波段的图像大小也必须一样。但是，由于成像时间不一致，导致基准波段与其它波段的成像范围不一致，如果直接配准，并保证配准后图像大小不变，会导致配准后的图像丢失部分数据，因此，选择好基准波段以后，要将基准波段的图像上下左右各扩充M个像素，形成新的图像作为基准图像。M的取值通过其它波段和基准波段之间的最大偏移量来确定，M取值大于最大偏移量。
步骤S200，在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口。
在提取特征点之前，要对待配准波段图像进行增强操作，突出对比度，使提取的特征点数量更多。
本步骤中，可使用
Figure BDA0001321566460000041
或SIFT(Scale-invariant feature transform，尺度不变特征转换)或Harris或SURF(Speeded-Up Robust Features，加速稳健特征)作为提取特征点的算子，本实施例优选
Figure BDA0001321566460000042
算子，通过计算待配准波段图像各像素的Robert梯度和以像素(c,r)为中心的一个窗口的灰度协方差矩阵，在待配准波段图像中寻找尽可能小而接近圆的误差椭圆的点作为特征点。
步骤S300，对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，然后使用归一化相关系数完成粗匹配得到粗匹配点。
粗匹配完成之后，可能会存在一些误匹配点，使用随机采样一致性方法(RandomSample Consensus,RANSAC)和最小二乘法剔除误匹配点，得到正确的粗匹配点。
步骤S400，基于上述正确的粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用归一化相关系数完成精匹配得到精匹配点。
相比粗匹配，精匹配使用更小的搜索窗口，更高的归一化相关系数阈值，找到更精确的精匹配点。精确匹配完成后，使用RANSAC和最小二乘法剔除误匹配点，得到正确的精匹配点。
步骤S500，基于上述正确的精匹配点建立待配准波段图像和基准图像的精变换关系，然后使用该精变换关系完成待配准波段图像的校正。
校正模型使用多项式模型，多项式模型的阶数根据匹配点数量和图像变形情况来确定。多项式模型需要匹配点分布比较均匀。在校正之前对匹配点进行均匀化，具体方法为：对图像按网格划分，把匹配点分配到不同的网格，对于有匹配点的网格，保留匹配度最大的一个控制点，然后利用均匀化后的匹配点构建模型。
步骤S600，重复步骤S200～S500，完成下一波段的配准。
为了提高配准效率，每配准一个波段之后，计算该波段相对于基准波段的偏移量，在步骤S300中对下一波段使用特征点的坐标加上偏移量之后的坐标为中心提取搜索窗口。
如图2所示，本实施例还提供一种用于上述高光谱图像的波段配准方法的***，包括：
基准图像生成模块100，用于选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充若干个像素，生成新的图像作为基准图像；
模板窗口提取模块200，用于在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口；
粗匹配模块300，用于对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；
精匹配模块400，用于基于所述粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点
几何校正模块500，用于基于所述精匹配点建立待配准波段图像和基准图像的精变换关系，然后使用该精变换关系完成待配准波段图像的校正。
本实施例的波段配准***，还包括图像增强模块，用于在提取特征点之前，对待配准波段图像进行突出对比度的增强操作。
本实施例的波段配准***，还包括误匹配点剔除模块，用于使用随机采样一致性方法和最小二乘法剔除误匹配点。
本实施例的波段配准***，还包括偏移量计算模块，用于在配准一个波段之后，计算该波段相对于基准波段的偏移量。
本实施例提供的高光谱图像的波段校准方法和***可以自动完成无人机高光谱图像的波段配准，使无人机高光谱图像所有波段具有空间一致性，处理速度快，配准精度高。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种高光谱图像的波段配准方法，其特征在于，包括：
步骤S100，选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充M个像素，生成新的图像作为基准图像，其中，M的取值通过其他波段和基准波段之间的最大偏移量来确定，且M的取值大于最大偏移量；
步骤S200，在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口；
步骤S300，对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；
步骤S400，基于所述粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点；
步骤S500，基于所述精匹配点建立待配准波段图像和基准图像的精变换关系，然后使用该精变换关系完成待配准波段图像的校正；
步骤S600，重复步骤S200～S500，完成下一波段的配准。
2.根据权利要求1所述的波段配准方法，其特征在于，在提取特征点之前，对待配准波段图像进行突出对比度的增强操作。
3.根据权利要求1所述的波段配准方法，其特征在于，步骤S400中所述的粗匹配点为使用随机采样一致性方法和最小二乘法剔除误匹配点以后的粗匹配点，步骤S500中所述的精匹配点为使用随机采样一致性方法和最小二乘法剔除误匹配点以后的精匹配点。
4.根据权利要求1所述的波段配准方法，其特征在于，每配准一个波段之后，计算该波段相对于基准波段的偏移量，在步骤S300中对下一波段使用特征点的坐标加上偏移量之后的坐标为中心提取搜索窗口。
5.根据权利要求1所述的波段配准方法，其特征在于，在步骤S200中，使用
Figure FDA0002486102200000011
或SIFT或Harris或SURF作为提取特征点的算子。
6.一种高光谱图像的波段配准***，其特征在于，包括：
基准图像生成模块，用于选取某一个波段作为基准波段，然后将该波段的图像上下左右各扩充M个像素，生成新的图像作为基准图像，其中，M的取值通过其他波段和基准波段之间的最大偏移量来确定，且M的取值大于最大偏移量；
模板窗口提取模块，用于在待配准波段图像上提取特征点，以特征点为中心提取每个特征点的模板窗口；
粗匹配模块，用于对每一个特征点，在基准图像上选择与所述特征点相同的坐标作为中心，提取搜索窗口，使用模板匹配方法得到粗匹配点；
精匹配模块，用于基于所述粗匹配点建立待配准波段图像和基准图像的粗变换关系，对每一个特征点，根据所述粗变换关系计算出所述特征点在基准图像上的匹配点，以所述匹配点为中心提取搜索窗口，使用模板匹配方法得到精匹配点
几何校正模块，用于基于所述精匹配点建立待配准波段图像和基准图像的精变换关系，对每一个特征点，根据所述精变换关系，使用多项式模型进行几何校正。
7.根据权利要求6所述的波段配准***，其特征在于，还包括图像增强模块，用于在提取特征点之前，对待配准波段图像进行突出对比度的增强操作。
8.根据权利要求6所述的波段配准***，其特征在于，还包括误匹配点剔除模块，用于使用随机采样一致性方法和最小二乘法剔除误匹配点。
9.根据权利要求6所述的波段配准***，其特征在于，还包括偏移量计算模块，用于在配准一个波段之后，计算该波段相对于基准波段的偏移量。
CN201710447441.XA 2017-06-14 2017-06-14 一种高光谱图像的波段校准方法和*** Active CN107274441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710447441.XA CN107274441B (zh) 2017-06-14 2017-06-14 一种高光谱图像的波段校准方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710447441.XA CN107274441B (zh) 2017-06-14 2017-06-14 一种高光谱图像的波段校准方法和***

Publications (2)

Publication Number Publication Date
CN107274441A CN107274441A (zh) 2017-10-20
CN107274441B true CN107274441B (zh) 2020-07-03

Family

ID=60066739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710447441.XA Active CN107274441B (zh) 2017-06-14 2017-06-14 一种高光谱图像的波段校准方法和***

Country Status (1)

Country Link
CN (1) CN107274441B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493298B (zh) * 2018-11-13 2019-08-30 中国国土资源航空物探遥感中心 一种机载摆扫式高光谱数据快速几何校正方法
CN110285870A (zh) * 2019-07-22 2019-09-27 深圳市卓城科技有限公司 车辆轴型与车轮数检测分析方法及其***
CN111915582B (zh) * 2020-07-28 2024-03-08 南京工业大学浦江学院 基于亮度特征耦合信息量制约的图像篡改检测方法
CN112288009A (zh) * 2020-10-29 2021-01-29 西安电子科技大学 一种基于模板匹配的r-sift芯片硬件木马图像配准方法
CN112598717B (zh) * 2020-12-14 2024-05-17 珠海欧比特卫星大数据有限公司 高光谱卫星影像全谱段配准方法及介质
CN113658063B (zh) * 2021-07-28 2023-05-26 中国科学院西安光学精密机械研究所 一种用于aotf型光谱成像仪的自动数据修正方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281645A (zh) * 2008-05-23 2008-10-08 哈尔滨工程大学 基于小成分及噪声成分的多光谱图像配准方法
CN101509782A (zh) * 2009-03-09 2009-08-19 华中科技大学 一种小型地标捕获定位方法
CN101950419A (zh) * 2010-08-26 2011-01-19 西安理工大学 同时存在平移和旋转情况下的快速图像配准方法
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN105701830A (zh) * 2016-01-18 2016-06-22 武汉大学 基于几何模型的lasis波段影像配准方法及***
CN106204601A (zh) * 2016-07-15 2016-12-07 华东师范大学 一种基于波段扫描形式的活体高光谱序列图像并行配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281645A (zh) * 2008-05-23 2008-10-08 哈尔滨工程大学 基于小成分及噪声成分的多光谱图像配准方法
CN101509782A (zh) * 2009-03-09 2009-08-19 华中科技大学 一种小型地标捕获定位方法
CN101950419A (zh) * 2010-08-26 2011-01-19 西安理工大学 同时存在平移和旋转情况下的快速图像配准方法
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN105701830A (zh) * 2016-01-18 2016-06-22 武汉大学 基于几何模型的lasis波段影像配准方法及***
CN106204601A (zh) * 2016-07-15 2016-12-07 华东师范大学 一种基于波段扫描形式的活体高光谱序列图像并行配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LASIS 影像波段配准;张过，李凡;《红外与毫米波学报》;20160831;第35卷(第4期);第 505-510页 *
基于特征点的遥感图像配准方法及应用研究;徐丽燕;《中国博士学位论文全文数据库 信息科技辑》;20130615(第06期);第37-52、72-73页 *

Also Published As

Publication number Publication date
CN107274441A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107274441B (zh) 一种高光谱图像的波段校准方法和***
WO2019042232A1 (zh) 一种快速鲁棒的多模态遥感影像匹配方法和***
CN107133976B (zh) 一种获取三维高光谱信息的方法和装置
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
KR101510206B1 (ko) 항공 하이퍼스펙트럴 영상을 이용한 수치지도 수정 도화용 도시변화지역의 탐지 방법
CN111062267B (zh) 一种时间序列遥感影像降维方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和***
CN109671109B (zh) 密集点云生成方法及***
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN114549871A (zh) 一种无人机航拍图像与卫星影像匹配方法
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN107194960A (zh) 一种用于高光谱图像的配准方法
CN111951295B (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
CN111951178B (zh) 显著提升图像质量的图像处理方法、装置和电子设备
Paffenholz et al. Geo-referencing point clouds with transformational and positional uncertainties
CN116740135B (zh) 红外弱小目标跟踪方法、装置、电子设备及存储介质
US20190051042A1 (en) Ceiling map building method, ceiling map building device, and ceiling map building program
CN114782274B (zh) 基于光照估计的无人机多光谱图像辐射校正方法
CN113496505B (zh) 图像配准方法、装置、多光谱相机、无人设备及存储介质
CN114565653A (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
CN114418913A (zh) 一种基于小波变换的isar与红外图像像素级融合方法
Zhang et al. Guided feature matching for multi-epoch historical image blocks pose estimation
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置
Pateraki et al. Analysis and performance of the Adaptive Multi-Image matching algorithm for airborne digital sensor ADS40

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant