CN103697883B - 一种基于天际线成像的飞行器水平姿态确定方法 - Google Patents
一种基于天际线成像的飞行器水平姿态确定方法 Download PDFInfo
- Publication number
- CN103697883B CN103697883B CN201410005334.8A CN201410005334A CN103697883B CN 103697883 B CN103697883 B CN 103697883B CN 201410005334 A CN201410005334 A CN 201410005334A CN 103697883 B CN103697883 B CN 103697883B
- Authority
- CN
- China
- Prior art keywords
- axis
- aircraft
- formula
- camera
- horizontal attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000009434 installation Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000011541 reaction mixture Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于天际线成像的飞行器水平姿态确定方法。该方法利用检测的图像边缘坐标，通过反复选取内点拟合二次曲线的方法确定候选的天际线投影曲线；接着，利用比较区域灰度统计值的方法选择出正确的天际线投影曲线，计算出相机水平姿态角；最后，通过安装关系获得飞行器水平姿态角。与已有技术中假设天际线成像为直线的方法相比，本发明利用严格的二次曲线模型提取的天际线，更加符合实际的物理本质；此外，与以往直接利用相机水平姿态测量值作为载体水平姿态信息相比，引入了相机与飞行器本体坐标系的安装关系，相机安装更加灵活。
Description
技术领域
本发明属于飞行器导航领域，尤其涉及一种基于天际线成像的飞行器姿态确定的方法。
背景技术
飞行器姿态信息不仅对飞行器自身的飞行控制具有至关重要的作用，在对地定位、导航中也是很关键的数据。例如，激光测距数据的处理，必须引入飞行器姿态信息才能获得可用于地形匹配的实时地形高度图。目前，常规的飞行器姿态测量是通过角速度或角加速度的积分计算获得飞行姿态，属于惯性导航方法，测量设备体积和重量大，测量过程容易产生较大的误差积累。基于视觉成像的飞行器姿态测量方法，只需被动的成像设备即可完成数据采集，具有设备简单、能耗低、不存在误差积累等特点，是惯性测量方法的辅助甚至替代方法，实现从飞行器视觉成像进行姿态估计将会大大增强视觉导航***的适应能力。
利用机载图像测量飞行器姿态一种常用方法是，首先识别地面已知的目标，然后通过目标的控制信息与图像的约束关系来解算飞行器的姿态。该方法的前提是需要地面具有引导标志，如应用于无人机助降中的地面圆形标志、H形标志以及机场跑道等已知控制标志，或者是利用城市建筑等已知结构的目标。这些方法的不足是需要已知空间目标的控制信息，受限制较多，只能应用于特定场合。在飞行器（尤其是无人机）自动飞行控制中，为增强适应性，研究人员提出了基于地平线成像的姿态测量方法。尽管由于地平线的成像不受偏航姿态角的约束，根据图像的地平线不能估计偏航角而只能测量俯仰角和滚转角两个姿态角，但这对于飞行控制、导航等多种应用情况，仍然是非常关键的姿态信息。
在假设天际线在图像上的投影为直线的条件下，文献《DamienDusha,WageehBoles,RodneyWalker,AttitudeEstimationforaFixed-WingAircraftUsingHorizonDetectionandOpticalFlow,DOI10.1109/DICTA.2007:485-492》给出了从地平线成像确定飞行器姿态的解析方法，文献《李立春,基于无人机序列成像的地形重建及其在导航中的应用研究,2009,国防科技大学博士学位论文.》对这一方法进行了比较详细地讨论。此外，利用图像中地平线上下面积比与俯仰角度之间关系进行俯仰姿态确定。该方法首先对不同的滚转角建立地平线上下面积比与实际俯仰角度对应的标定数据库，在飞行过程中，实时测量滚动角和图像地平线上下面积比，根据测量结果从数据库中查询得到实时的俯仰角度值。此外，文献《ScottM.Ettinger.VisionGuidedFlightStabilityandControlforMicroAirVehicles.ProceedingsofIEEEInternationalConferenceonRoboticsandAutomation,2002.》、《ScottM.Etinger,MichaelC.Nechyba,IfjuP.G.TowardsFlightAutonomy:Vision-BasedHorizonDetectionforMicroAirVehicles[J].Automat.2003:23-44.》、《高爱民,曹云峰,陈松灿,一种基于视觉的微型飞行器姿态检测算法,飞机设计,2002,4:70-73》，对不同的滚转角建立地平线上下面积比与实际俯仰角度对应的标定数据库，在飞行过程中，实时测量滚动角和图像地平线上下面积比，根据测量结果从数据库中查询得到实时的俯仰角度值。
上述的基于天际线成像的飞行器姿态确定方法存在两个问题：第一，将天际线在图像上的投影视为直线的假设并不成立，事实上天际线投影是与飞行器距离地面高度和地面曲率半径相关的严格的二次曲线，直线假设在高空飞行器和大视场成像条件下存在不容忽视的误差；第二，上述图像得到的水平姿态角实际上仅仅是相机在水平坐标系中的姿态，由于相机不可能与飞行器完全同轴，用测量相机的水平姿态作为飞行器的水平姿态，存在一定的误差，精度受限。
发明内容
本发明的目的在于提供一种基于天际线成像的飞行器水平姿态确定方法，在不显著增加成本的条件下利用视觉成像的方法实现飞行器水平姿态的高精度测量。
一种基于天际线成像的飞行器水平姿态确定方法，其特征在于包括以下步骤：
第一步，建立坐标系
1.1建立相机坐标系F和像面坐标系，如下：
相机坐标系F记为XYZ，Z轴为相机水平放置状态下的光轴方向，Y轴垂直水平面指向天空，X轴由右手定则确定；像面坐标系的坐标原点为光电探测器像面主点，和分别对应光电探测器像面的行坐标和列坐标，行坐标和列坐标的坐标单位为像素；定义相机水平姿态角为相机依次绕x轴和z轴的转角，方向为逆着x轴（或z轴）看逆时针为正，分别记为和。
1.2建立飞行器本体坐标系F1，如下：
飞行器本体坐标系F1记为X1Y1Z1，Z1轴为飞行器水平状态下的沿轴线方向指向飞行器正前方，Y1轴垂直水平面指向天空，X1轴由右手定则确定；定义飞行器水平姿态角为依次绕X1轴和Z1轴的转角，分别记为和。
第二步，检测图像轮廓
2.1利用已有的图像边缘检测算法，如文献《AComputationalApproachtoEdgeDetection》（1986年发表于《IEEETransactionsonPatternAnalysisandMachineIntelligence》）提出的算法，提取图像轮廓点坐标，记为集合。其中为由相邻的图像轮廓点坐标构成的子集，为相邻的图像轮廓点坐标子集的个数。
2.2定义子集所含轮廓点数目为的长度，中子集按照长度由大至小进行排序，并记为，为中长度大于L的子集。
第三步，检测天际线
3.1选取中长度大于L的子集构成集合，其中；并对中的每个轮廓点坐标子集，利用最小二乘法算法求得满足式（1）的M条二次曲线的系数、、、、的值，其中，。
（1）
3.2分别计算集合中所有图像轮廓点到满足式（1）的M条二次曲线的距离，将距离小于对应的图像轮廓点作为内点，得到每条二次曲线对应的内点坐标子集合；取中的内点坐标再次利用最小二乘算法，计算得到新的、、、、值。
3.3重复步骤3.2，直到每条二次曲线对应的内点子集合中的内点与二次曲线的距离均值小于阈值。
3.4利用比较区域灰度统计值的方法，如文献《基于相位编组和灰度统计的海天线检测》（2011年发表于《国防科技大学学报》第33卷第6期）提出的方法，在M条候选二次曲线中选择出正确的天际线投影曲线，记为
（2）
第四步，计算天际线投影曲线与光电探测器像面外接圆的交点P1和P2在极坐标下的角度坐标和
4.1定义函数如公式（3）所示，计算处的判断值，记为集合，其中为圆周率，一般取10～20之间的自然数，。
（3）
4.2找出中满足式（4）的四个元素、、、
，其中，（4）
4.3计算交点P1在极坐标表示下对应的角度，方法如下：
若=0，则；
若=0，则；
若，则将作为的初值，利用最小二乘迭代算法求得满足函数的值。
4.4计算交点P2在极坐标表示下对应的角度，方法如下：
若=0，则；
若=0，则；
若，则将作为的初值，利用最小二乘迭代算法求得满足函数的值。
第五步，计算相机绕Z轴的水平姿态角
计算相机绕Z轴的水平姿态角，公式为：
（5）
第六步，计算相机绕X轴的水平姿态角
6.1计算P4的坐标
计算P4的坐标，P4为过P3且垂直于P1和P2连线的直线与天际线投影曲线的交点，其中P3为P1和P2连线的中点，方法如下：
若，则P4坐标计算公式为
（6）
若，则P4坐标计算公式为
（7）
式（6）和式（7）中，、分别满足式（8）和式（9）
（8）
（9）
6.2计算相机绕X轴的水平姿态角
计算相机绕X轴的水平姿态角，计算公式为
（10）
式中，
（11）
（12）
（13）
其中，为地球半径，为相机距离地平面的高度；
第七步，计算飞行器水平姿态角和
利用公式14，计算飞行器依次绕X1轴和Z1轴的水平姿态角和。
（14）
式14中，、、分别满足式15。
（15）
式15中，为相机在飞行器坐标系中的安装姿态矩阵。
以往基于天际线成像的飞行器姿态确定方法，都是基于天际线在相机像面上的投影为直线这一假设，但实际的天际线投影是与飞行器距离地面高度和地面曲率半径相关的严格的二次曲线，直线假设在高空飞行器和大视场成像条件下存在不容忽视的误差。
本发明提出了一种基于天际线的飞行器水平姿态确定方法，利用严格的二次曲线模型提取的天际线，更加符合实际的物理本质；此外，与以往直接利用相机水平姿态测量值作为载体水平姿态信息相比，引入了相机与飞行器本体坐标系的安装关系，相机安装更加灵活。综上所述，与已有技术相比，本发明的方法具有更好的适应性和精度。
附图说明
图1相机坐标系和飞行器坐标系示意图，
图2天际线投影曲线与水平姿态角关系示意图，
图3本发明整体流程图。
具体实施方式
采用本发明对相机拍摄的图像进行天际线检测并应用于飞行器水平姿态的测量，具体步骤如下：
第一步，建立坐标系
1.1建立相机坐标系F和像面坐标系
1.2建立飞行器本体坐标系F1
第二步，检测图像轮廓
2.1提取图像轮廓点坐标，记为集合。
2.2中子集按照长度由大至小进行排序，并记为。
第三步，检测天际线
3.1选取中长度大于L的子集构成集合，利用最小二乘法算法求得M条二次曲线的系数、、、、的值。
3.2分别计算集合中所有图像轮廓点到满足式（1）的M条二次曲线的距离，将距离小于对应的图像轮廓点作为内点，得到每条二次曲线对应的内点坐标子集合；取中的内点坐标再次利用最小二乘算法，计算得到新的、、、、值。
3.3重复步骤3.2，直到每条二次曲线对应的内点子集合中的内点与二次曲线的距离均值小于阈值。
3.4利用比较区域灰度统计值的方法，在M条候选二次曲线中选择出正确的天际线投影曲线。
第四步，计算天际线投影曲线与光电探测器像面外接圆的交点P1和P2的在极坐标下的角度坐标和
4.1定义函数，计算处的判断值，记为集合。
4.2找出中满足式（4）的四个元素、、、。
4.3计算交点P1在极坐标表示下对应的角度。
4.4计算交点P2在极坐标表示下对应的角度。
第五步，计算相机绕Z轴的水平姿态角
第六步，计算相机绕X轴的水平姿态角
6.1计算P4的坐标
6.2计算相机绕X轴的水平姿态角
第七步，计算飞行器水平姿态角和。
Claims (1)
1.一种基于天际线成像的飞行器水平姿态确定方法，利用视觉成像的方法实现飞行器水平姿态的测量，其特征在于包括以下步骤：
第一步，建立坐标系
1.1建立相机坐标系F和像面坐标系，如下：
相机坐标系F记为XYZ，Z轴为相机水平放置状态下的光轴方向，Y轴垂直水平面指向天空，X轴由右手定则确定；像面坐标系的坐标原点为光电探测器像面主点，和分别对应光电探测器像面的行坐标和列坐标，坐标单位为像素；定义相机水平姿态角为相机依次绕x轴和z轴的转角，方向为逆着x轴看逆时针为正，分别记为和；
1.2建立飞行器本体坐标系F1，如下：
飞行器本体坐标系F1记为X1Y1Z1，Z1轴为飞行器水平状态下的沿轴线方向指向飞行器正前方，Y1轴垂直水平面指向天空，X1轴由右手定则确定；定义飞行器水平姿态角为依次绕X1轴和Z1轴的转角，分别记为和；
第二步，检测图像轮廓
2.1利用已有的图像边缘检测算法，提取图像轮廓点坐标，记为集合，其中为由相邻的图像轮廓点坐标构成的子集，为相邻的图像轮廓点坐标子集的个数；
2.2定义子集所含轮廓点数目为的长度，中子集按照长度由大至小进行排序，并记为；
第三步，检测天际线
3.1选取中长度大于L的子集构成集合，其中；并对中的每个轮廓点坐标子集，利用最小二乘法算法求得满足式（1）的M条二次曲线的系数、、、、的值，其中，；
（1）
3.2分别计算集合中所有图像轮廓点到满足式（1）的M条二次曲线的距离，将距离小于对应的图像轮廓点作为内点，得到每条二次曲线对应的内点坐标子集合；取中的内点坐标再次利用最小二乘算法，计算得到新的、、、、值；
3.3重复步骤3.2，直到每条二次曲线对应的内点子集合中的内点与二次曲线的距离均值小于阈值；
3.4利用比较区域灰度统计值的方法，在M条候选二次曲线中选择出正确的天际线投影曲线，记为
（2）；
第四步，计算天际线投影曲线与光电探测器像面外接圆的交点P1和P2在极坐标下的角度坐标和
4.1定义函数，计算处的判断值，记为集合，其中为圆周率，取10～20之间的自然数，；
（3）
4.2找出中满足式（4）的四个元素、、、
，其中，（4）
4.3计算交点P1在极坐标表示下对应的角度，方法如下：
若=0，则；
若=0，则；
若，则将作为的初值，利用最小二乘迭代算法求得满足函数的值；
4.4计算交点P2在极坐标表示下对应的角度，方法如下：
若=0，则；
若=0，则；
若，则将作为的初值，利用最小二乘迭代算法求得满足函数的值；
第五步，计算相机绕Z轴的水平姿态角
计算相机绕Z轴的水平姿态角，公式为：
（5）
第六步，计算相机绕X轴的水平姿态角
6.1计算P4的坐标
计算P4的坐标，P4为过P3且垂直于P1和P2连线的直线与天际线投影曲线的交点，其中P3为P1和P2连线的中点，方法如下：
若，则P4坐标计算公式为
（6）
若，则P4坐标计算公式为
（7）
式（6）和式（7）中，、分别满足式（8）和式（9）
（8）
（9）
6.2计算相机绕X轴的水平姿态角
计算相机绕X轴的水平姿态角，计算公式为
（10）
式中，
（11）
（12）
（13）
其中，为地球半径，为相机距离地平面的高度；
第七步，计算飞行器水平姿态角和
利用公式（14），计算飞行器依次绕X1轴和Z1轴的水平姿态角和
（14）
式14中，、、分别满足式（15）
（15）
式（15）中，为相机在飞行器坐标系中的安装姿态矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410005334.8A CN103697883B (zh) | 2014-01-07 | 2014-01-07 | 一种基于天际线成像的飞行器水平姿态确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410005334.8A CN103697883B (zh) | 2014-01-07 | 2014-01-07 | 一种基于天际线成像的飞行器水平姿态确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103697883A CN103697883A (zh) | 2014-04-02 |
| CN103697883B true CN103697883B (zh) | 2016-03-30 |
Family
ID=50359495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410005334.8A Active CN103697883B (zh) | 2014-01-07 | 2014-01-07 | 一种基于天际线成像的飞行器水平姿态确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103697883B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107466385B (zh) * | 2016-08-03 | 2021-06-01 | 深圳市大疆灵眸科技有限公司 | 一种云台控制方法及*** |
| CN106885573A (zh) * | 2017-02-15 | 2017-06-23 | 南京航空航天大学 | 面向四旋翼飞行器的运动捕捉***实时测姿方法 |
| CN107340711A (zh) * | 2017-06-23 | 2017-11-10 | 中国人民解放军陆军军官学院 | 一种基于视频图像的微型飞行器姿态角自动检测方法 |
| CN109375537A (zh) * | 2018-10-13 | 2019-02-22 | 南昌大学 | 一种无人机的海天实时分辨*** |
| CN110580043B (zh) * | 2019-08-12 | 2020-09-08 | 中国科学院声学研究所 | 一种基于图像目标识别的水面目标规避方法 |
| CN112597905A (zh) * | 2020-12-25 | 2021-04-02 | 北京环境特性研究所 | 一种基于天际线分割的无人机检测方法 |
| CN114037875A (zh) * | 2021-11-16 | 2022-02-11 | 武汉中海庭数据技术有限公司 | 一种基于轮廓特征的地面标线分类提取方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4253239B2 (ja) * | 2003-10-07 | 2009-04-08 | 富士重工業株式会社 | 画像認識を用いた航法装置 |
-
2014
- 2014-01-07 CN CN201410005334.8A patent/CN103697883B/zh active Active
Non-Patent Citations (4)
| Title |
|---|
| "Vision-Guided Flight Stability and Control for Micro Air Vehicles";Scott M. Ettinger;《Proceedings of the 2002 IEEWRSJ Intl. Conference on intelligent Robots and Systems EPFL》;20021031;正文第2134-2140页 * |
| "一种基于图像信息的微小型飞行器姿态测量方法";黄英东等;《弹箭与制导学报》;20090630;第29卷(第3期);正文第9-12页 * |
| "一种基于视觉的微型飞行器姿态检测算法";高爱民等;《飞机设计》;20021231(第4期);正文第70-73页 * |
| "基于相位编组和灰度统计的海天线检测";桂阳等;《国防科技大学学报》;20111231;第33卷(第6期);正文第111-115页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103697883A (zh) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103697883B (zh) | 一种基于天际线成像的飞行器水平姿态确定方法 | |
| CN104197928B (zh) | 多摄像机协同的无人机检测、定位及跟踪方法 | |
| CN105644785B (zh) | 一种基于光流法和地平线检测的无人机着陆方法 | |
| CN107451593B (zh) | 一种基于图像特征点的高精度gps定位方法 | |
| CN104215239B (zh) | 基于视觉的无人机自主着陆导引装置实现的导引方法 | |
| CN102353377B (zh) | 一种高空长航时无人机组合导航***及其导航定位方法 | |
| CN102607526A (zh) | 双介质下基于双目视觉的目标姿态测量方法 | |
| Coutard et al. | Visual detection and 3D model-based tracking for landing on an aircraft carrier | |
| CN110081875B (zh) | 一种仿鸽子智能的无人机自主导航***及方法 | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN111649737B (zh) | 一种面向飞机精密进近着陆的视觉-惯性组合导航方法 | |
| CN110503687B (zh) | 一种空中光电测量平台目标定位方法 | |
| CN101839721A (zh) | 自主交会对接中的视觉导航方法 | |
| CN103616016A (zh) | 基于点线组合特征的位姿视觉测量方法 | |
| CN107945229B (zh) | 用于静止轨道对地观测卫星面阵仪器的恒星质心提取方法 | |
| CN103617328A (zh) | 一种飞机三维姿态解算方法 | |
| CN108955685A (zh) | 一种基于立体视觉的加油飞机锥套位姿测量方法 | |
| CN108896957A (zh) | 一种无人机操控信号源的定位***及方法 | |
| CN109724586B (zh) | 一种融合深度图和点云的航天器相对位姿测量方法 | |
| CN108122255A (zh) | 一种基于梯形与圆形组合地标的无人机位姿估计方法 | |
| CN109341686A (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| KR20210034253A (ko) | 위치 추정 장치 및 방법 | |
| CN109857128A (zh) | 无人机视觉定点降落方法、***、设备及存储介质 | |
| CN108225273A (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| CN112365592A (zh) | 一种基于双向高程模型的局部环境特征描述方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |