CN110308438B - 一种利用多回波单站扫描数据校正激光雷达反射强度的方法 - Google Patents

一种利用多回波单站扫描数据校正激光雷达反射强度的方法 Download PDF

Info

Publication number
CN110308438B
CN110308438B CN201910639389.7A CN201910639389A CN110308438B CN 110308438 B CN110308438 B CN 110308438B CN 201910639389 A CN201910639389 A CN 201910639389A CN 110308438 B CN110308438 B CN 110308438B
Authority
CN
China
Prior art keywords
data
intensity
correcting
value
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910639389.7A
Other languages
English (en)
Other versions
CN110308438A (zh
Inventor
孙圆
熊金鑫
王倩茹
汪倩如
王少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN201910639389.7A priority Critical patent/CN110308438B/zh
Publication of CN110308438A publication Critical patent/CN110308438A/zh
Application granted granted Critical
Publication of CN110308438B publication Critical patent/CN110308438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种利用多回波单站扫描数据校正激光雷达反射强度的方法,属于森林结构分析技术领域。本发明利用地面三维激光雷达扫描仪,结合计算几何的技术手段,直接从三维的角度获取目标物三维坐标和强度信息,进而对强度信息拟合方程,将拟合方程中的模拟值和标准值差值以加法形式填补到原始数据中以达到校正的目的。本发明更好地实现激光强度对目标物结构、材质、属性的提取和反演,实现点云分类与目标特征提取的精细化,实现对不同目标地物的探测与识别,满足激光探测领域对获取高精度、高准确度的目标信息要求。本发明与传统观测手段相比,工作量小,无需接触式观测,不破坏林分立木结构和生长特性,具有客观高效精确的特点。

Description

一种利用多回波单站扫描数据校正激光雷达反射强度的方法
技术领域
本发明属于森林结构分析技术领域,具体涉及一种利用多回波单站扫描数据校正激光雷达反射强度的方法。
背景技术
由于三维激光扫描得到的激光强度与坐标信息之间有非常精确的一一对应关系,因此利用其提取物理信息,可以实现点云的可视化、地物分类与特征提取和对不同目标的探测与识别。以往由于强度信息中的噪声较大,一般弃之不用。近年来,由于多回波激光技术提供的数据采集技术,回收点云的精度在逐步提高,越来越多的研究人员开始重视对强度信息的使用。
多项研究表明,根据朗伯余弦定律可以有效校正由于入射角造成的地面激光扫描强度数据的偏差。例如Fang W等2015年在《IEEE Transactions on Geoscience andRemote Sensing》第53卷的“Intensity Correction of Terrestrial Laser ScanningData by Estimating Laser Transmission Function”一文中,分析了由距离引起地面激光扫描强度数据的近距离效应,提出了一种基于激光传输函数估计的方法,该方法利用一种新的样本数据来估计距离和强度数据方程的参数。Tan K等2017年在《IEEE Journal ofSelected Topics in Applied Earth Observations&Remote Sensing》第9卷的“Intensity data correction for the distance effect in terrestrial laserscanners”一文中,将理论模型替换为距离的多项式函数,提出了一种新的针对不同扫描仪的距离校正方法,该方法适用于自然曲面且具有较高的精度,但其局限性在于强度数据的改正精度取决于***参数的稳定性。Kaasalainen S等2009年在《IEEE Transactions onGeoscience&Remote Sensing》第47卷的“Radiometric Calibration of LIDAR IntensityWith Commercially Available Reference Targets”一文中,提出了一种光的辐射检测和测距强度数据的新方法,并演示了该方法在自然目标上的应用。Errington A F C等2015年在《IEEE Intemational Conference on Imaging Systems&Techniques》中的“Reflectance modelling using terrestrial LiDAR intensity data”一文中,提出了利用反射强度、入射角和从地面激光扫描设备中获得的范围来模拟漫反射表面反射率。利用地下钾矿中获得的数据,对Faro Focus3D和RieglVZ-400两种不同的地面激光扫描设备进行了参数建模,并分别取得了标准差在可允许范围内的验证结果。
发明内容
发明目的:针对现有技术存在的不足,本发明的目的是提供一种利用多回波单站扫描数据校正激光雷达反射强度的方法,具有工作量小,无需接触式观测,不破坏林分立木结构和生长特性,具有客观高效精确的特点。
技术方案:为了解决上述问题,本发明所采用的技术方案如下:
一种利用多回波单站扫描数据校正激光雷达反射强度的方法,利用地面三维激光雷达扫描仪,结合计算几何的技术手段,直接从三维的角度获取目标物三维坐标和强度信息,进而对强度信息拟合方程,将拟合方程中的模拟值和标准值的差值以加法形式填补到原始数据中以达到校正的目的。具体包括以下步骤:
(1)地面三维激光雷达扫描仪获得目标物的三维激光点云数据,并对数据进行预处理;
(2)结合计算几何的技术手段,获取目标物不同距离、不同高度和不同材质所包含三维坐标和强度信息,并对点云数据进行裁剪过滤并分类存储;
(3)根据最小二乘法平差,运用多项式函数分别以高度和距离作为因变量进行多项式模拟,根据拟合结果选取拟合方程,并求出高度或距离校正的模拟值;
(4)选取标准值,将强度数据的标准值减去高度校正的模拟值得到差值,再将差值以加法形式填补到原始数据中,即可得到对于高度效应的校正结果;同理可得到对于距离效应的校正结果;
(5)将高度效应的校正结果与距离效应的校正结果相乘得到相乘后的标准值,再返回到标准值,即为模型的最终校正结果。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,三维激光扫描仪获取的三维激光点云数据包含扫描目标点的空间几何、激光束返回的强度信息,以及每个点的空间位置坐标信息。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,对三维激光点云数据的预处理包括:对获取的点云数据去除噪点和拉丝点。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,步骤(2)中提取不同材质在不同高度和不同距离的强度数据的平均值进行后续的数据处理及实验分析。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,步骤(3)中多项式模拟是利用残差模来反映多项式函数拟合效果,残差模的值越小则拟合效果越好。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,步骤(3)中选取拟合方程时同时考虑数据的拟合效果和简便性。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,步骤(4)中以距离最远及高度最小为校正的标准值。
所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于:步骤(5)的返回到强度数据的标准值是指求得相乘后的标准值与步骤(4)中的标准值的比例,再将所有相乘的值乘以这个比例,使得步骤(4)中的标准值不变。
有益效果:与现有的技术相比,本发明的优点包括:
本发明利用多回波地面激光扫描得到的点云强度数据建立校正模型,对目标物激光强度数据进行校正,使激光强度直接反应目标的真实反射率,从而更好地实现激光强度对目标结构、材质、属性的提取和反演,实现点云分类与目标特征提取的精细化,实现对不同目标地物的探测与识别,满足激光探测领域对获取高精度、高准确度的目标信息要求。本发明与传统观测手段相比,工作量小,无需接触式观测,不破坏林分立木结构和生长特性,具有客观高效精确的特点。
附图说明
图1为本发明的流程示意图;
图2为室内试验示意图;
图3为扫描方式示意图;
图4为入射角效应转化为高度效应示意图;
图5为消除材质间距离误差示意图;
图6为多个确定距离的多项式次数N2与残差模的关系;
图7为白纸原始激光强度分布图;
图8为白纸点云强度数据校正结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合具体实施例对本发明的具体实施方式做详细的说明。
实施例1
下面结合具体实施例,进一步阐明本发明,实施例在以本发明技术方案为前提下进行实施,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明的原理为:利用较新的遥感技术手段(地面三维激光雷达扫描***),结合计算几何的技术手段,直接从三维的角度获取目标物的三维坐标和强度信息,进而对强度信息拟合方程,考虑数据的拟合效果和简便性选取拟合方程,将方程中的模拟值和标准值差值以加法的形式填补到原始数据中以达到校正的目的。
如图1的流程图所示,本申请的利用多回波单站扫描数据校正激光雷达反射强度的方法,主要包括下步骤:
(1)室内墙面漫反射目标物的三维激光点云数据的获取及预处理;三维激光扫描仪获取的三维激光点云数据包含扫描目标点的空间几何、激光束返回的强度信息,以及每个点的空间位置坐标信息;预处理过程包括对获取的点云数据去除噪点和拉丝点;
(2)将数据依据不同距离、不同高度和不同材质所包含三维坐标和强度信息,对点云数据进行裁剪过滤并分类存储;提取不同材质在不同高度和不同距离的强度数据的平均值进行后续的数据处理及实验分析;对获取的点云去除噪点和拉丝点
(3)根据最小二乘法平差,运用多项式函数分别按高度和距离作为因变量拟合原始数据进行多项式模拟,根据拟合结果选取拟合方程,并求出高度或距离校正的模拟值;选取拟合方程时同时考虑数据的拟合效果和简便性;多项式模拟是利用残差模来反映多项式函数拟合效果,残差模的值越小则拟合效果越好;
(4)以距离最远及高度最小为强度数据校正的标准值,将强度数据的标准值减去高度校正的模拟值得到差值,再将差值以加法形式填补到原始数据中,即可得到对于高度效应的校正结果,再返回到标准值,同理可得到对于距离效应的校正结果;
(5)将高度效应的校正结果与距离效应的校正结果相乘得到相乘后的标准值,再返回到步骤(4)中强度数据的标准值,即为模拟的最终校正结果;返回到强度数据的标准值是指求得相乘后的标准值与步骤(4)中的标准值的比例,再将所有相乘的值乘以这个比例,使得步骤(4)中的标准值不变。
以下通过实例对本发明作进一步解释:以7种不同反射率的目标物(无患子叶反面、无患子叶正面、无患子枝、白纸、银杏枝、银杏叶反面、银杏叶正面)设计距离实验和高度实验,将7种漫反射目标物固定在室内的墙面上(如图2从左到右分别为无患子叶反面、无患子叶正面、无患子枝、白纸、银杏枝、银杏叶反面、银杏叶正面)。根据目标物到地面的不同距离(分别为1.2米、1.7米、2.2米、2.7米、3.2米、3.7米)设置不同高度的目标参照组;设置地面三维激光扫描仪到墙面的距离分别为2米、3米、4米、5米、6米、7米,分别设置6个单站点,将仪器(高0.2米)架在桌面(高1米)上,对目标物进行扫描,单个目标物扫描示意图如图3所示。
使用地面三维激光扫描仪RIEGLVZ-400i(参数如表1所示),对研究对象进行三维点云数据的单个站点采集。利用软件RiSCAN PRO 2.6进行去除噪点和拉丝点,得到的三维点云数据。
表1三维激光扫描仪RIEGL VZ-400i参数
Figure BDA0002129679980000041
Figure BDA0002129679980000051
在对数据预处理之后,共取得6个不同距离单站点扫描数据工程。依据不同距离、不同高度和不同材质所包含三维坐标和强度信息,对点云数据进行裁剪过滤并分类存储为ascii格式。虽然距离和入射角是影响目标物反射率的因素,但根据图4,可以将入射角表示成为更简单的高度和距离。而且各个材质间依然存在不可忽略的距离,造成仪器与非白纸材质的真实距离并非仪器到白纸之间的距离,故将非白纸材质与仪器的部分距离转化成与仪器的高度差,如图5。考虑到实验中漫反射目标物的面积比较小,为了实验过程简便易于操作,提取不同材质在不同高度和不同距离的强度数据的平均值进行后续的数据处理及实验分析。
固定距离,将高度设为自变量,点云强度值设为因变量,在matlab中用不同次数多项式拟合,得到不同距离的点云强度关于高度的多项式,根据软件给出的残差,兼顾模型简洁性(如图6)(次数越低,模型越简洁),选择最佳模型,根据模型求得各个高度模型值。
选择距离最远及高度最小为校正的标准值(其值更为接近反射率的真实值),将强度数据的标准值减去高度校正的模拟值得到差值,再将差值以加法形式填补到原始数据中,即可得到对于高度效应的校正结果,同理可得到对于距离效应的校正结果。将高度改正结果与距离改正结果相乘,即为模型的最终校正结果,图7为白纸初始反射率分布图,图8为经过模型校正之后的反射率分布图,可以明显的看出本模型能够很好的对自然目标物进行反射率校正。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于,利用地面三维激光雷达扫描仪,结合计算几何的技术手段,直接从三维的角度获取目标物三维坐标和强度信息,进而对强度信息拟合方程,将拟合方程中的模拟值和标准值的差值以加法形式填补到原始数据中以达到校正的目的;包括下步骤:
(1)地面三维激光雷达扫描仪获得目标物的三维激光点云数据,并对数据进行预处理;
(2)结合计算几何的技术手段,获取目标物不同距离、不同高度和不同材质所包含三维坐标和强度信息,并对点云数据进行裁剪过滤并分类存储;
(3)根据最小二乘法平差,运用多项式函数分别以高度和距离作为因变量进行多项式模拟,根据拟合结果选取拟合方程,并求出高度或距离校正的模拟值;
(4)选取强度数据的标准值,将强度数据的标准值减去高度校正的模拟值得到差值,再将差值以加法形式填补到原始数据中,即可得到对于高度效应的校正结果;同理可得到对于距离效应的校正结果;
(5)将高度效应的校正结果与距离效应的校正结果相乘,即为模拟的最终校正结果。
2.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于:三维激光扫描仪获取的三维激光点云数据包含扫描目标物的空间几何、激光束返回的强度信息,以及每个目标物的空间位置坐标信息。
3.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于:步骤(1)数据预处理:对获取的点云数据去除噪点和拉丝点。
4.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于,步骤(2)中提取不同材质在不同高度和不同距离的强度数据的平均值进行后续的数据处理及实验分析。
5.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于,步骤(3)中多项式模拟是利用残差模来反映多项式函数拟合效果,残差模的值越小则拟合效果越好。
6.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于,步骤(3)中选取拟合方程时同时考虑数据的拟合效果和简便性。
7.根据权利要求1所述的利用多回波单站扫描数据校正激光雷达反射强度的方法,其特征在于,步骤(4)中以距离最远及高度最小为校正强度数据的标准值。
CN201910639389.7A 2019-07-15 2019-07-15 一种利用多回波单站扫描数据校正激光雷达反射强度的方法 Active CN110308438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910639389.7A CN110308438B (zh) 2019-07-15 2019-07-15 一种利用多回波单站扫描数据校正激光雷达反射强度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910639389.7A CN110308438B (zh) 2019-07-15 2019-07-15 一种利用多回波单站扫描数据校正激光雷达反射强度的方法

Publications (2)

Publication Number Publication Date
CN110308438A CN110308438A (zh) 2019-10-08
CN110308438B true CN110308438B (zh) 2021-08-10

Family

ID=68081385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910639389.7A Active CN110308438B (zh) 2019-07-15 2019-07-15 一种利用多回波单站扫描数据校正激光雷达反射强度的方法

Country Status (1)

Country Link
CN (1) CN110308438B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112946606B (zh) * 2019-12-11 2024-02-13 北京万集科技股份有限公司 激光雷达的标定方法、装置、设备、***及存储介质
CN111208491B (zh) * 2020-01-17 2022-05-03 岭纬科技(厦门)有限公司 一种高分辨率固态激光雷达点云的杂点消除方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802183A (zh) * 2016-11-30 2017-06-06 努比亚技术有限公司 一种光感传感器校准方法及终端
CN107504997A (zh) * 2017-10-17 2017-12-22 中国科学技术大学 一种光电探测器的非线性校准***及方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109031344A (zh) * 2018-08-01 2018-12-18 南京林业大学 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法
CN109781660A (zh) * 2019-01-28 2019-05-21 华中科技大学 基于多光子电子提取光谱的土壤中石油污染物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257323A (ja) * 2004-03-09 2005-09-22 Denso Corp 距離検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802183A (zh) * 2016-11-30 2017-06-06 努比亚技术有限公司 一种光感传感器校准方法及终端
CN107504997A (zh) * 2017-10-17 2017-12-22 中国科学技术大学 一种光电探测器的非线性校准***及方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109031344A (zh) * 2018-08-01 2018-12-18 南京林业大学 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法
CN109781660A (zh) * 2019-01-28 2019-05-21 华中科技大学 基于多光子电子提取光谱的土壤中石油污染物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Correction of Incidence Angle and Distance Effects on TLS Intensity Data Based on Reference Targets";Kai Tan etc.;《remote sensing》;20160316;1-20 *

Also Published As

Publication number Publication date
CN110308438A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN109410256B (zh) 基于互信息的点云与影像自动高精度配准方法
Pueschel et al. The influence of scan mode and circle fitting on tree stem detection, stem diameter and volume extraction from terrestrial laser scans
CN110221311B (zh) 基于tls和uav自动化提取高郁闭林分树高的方法
Van der Zande et al. Influence of measurement set-up of ground-based LiDAR for derivation of tree structure
Hosoi et al. 3-D voxel-based solid modeling of a broad-leaved tree for accurate volume estimation using portable scanning lidar
Lovell et al. Measuring tree stem diameters using intensity profiles from ground-based scanning lidar from a fixed viewpoint
Hopkinson et al. Integrating terrestrial and airborne lidar to calibrate a 3D canopy model of effective leaf area index
Pesci et al. Effects of surface irregularities on intensity data from laser scanning: an experimental approach.
CN106248003B (zh) 一种三维激光点云提取植被冠层聚集度指数的方法
Pyysalo et al. Reconstructing tree crowns from laser scanner data for feature extraction
Qin et al. Toward an optimal algorithm for LiDAR waveform decomposition
Pueschel The influence of scanner parameters on the extraction of tree metrics from FARO Photon 120 terrestrial laser scans
Van Leeuwen et al. Automated reconstruction of tree and canopy structure for modeling the internal canopy radiation regime
CN104748677A (zh) 采用三维激光扫描方式测量植株形态的方法
CN110308438B (zh) 一种利用多回波单站扫描数据校正激光雷达反射强度的方法
CN105547244A (zh) 一种结合立体像对的激光高度计高程控制点生成方法
CN110988909A (zh) 基于tls进行高寒脆弱区沙地植被的植被盖度测定方法
CN112906719A (zh) 基于消费级深度相机的立木因子测量方法
Li et al. A new approach for estimating living vegetation volume based on terrestrial point cloud data
CN111679262B (zh) 激光点云强度标定方法、装置、设备及存储介质
Li et al. Damage detection for historical architectures based on TLS intensity data
CN110208777B (zh) 精确的角反射器几何误差测量方法
Vletter (Semi) automatic extraction from Airborne Laser Scan data of roads and paths in forested areas
Bao et al. Synchronous estimation of DTM and fractional vegetation cover in forested area from airborne LIDAR height and intensity data
CN110346782A (zh) 一种长距离地面三维激光雷达回波强度数据的改正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant