CN111089564B - 一种动平台动目标双目测距***及方法 - Google Patents

一种动平台动目标双目测距***及方法 Download PDF

Info

Publication number
CN111089564B
CN111089564B CN201911296829.XA CN201911296829A CN111089564B CN 111089564 B CN111089564 B CN 111089564B CN 201911296829 A CN201911296829 A CN 201911296829A CN 111089564 B CN111089564 B CN 111089564B
Authority
CN
China
Prior art keywords
target
image
coordinate
detected
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911296829.XA
Other languages
English (en)
Other versions
CN111089564A (zh
Inventor
印剑飞
朱婧文
钮赛赛
许东欢
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201911296829.XA priority Critical patent/CN111089564B/zh
Publication of CN111089564A publication Critical patent/CN111089564A/zh
Application granted granted Critical
Publication of CN111089564B publication Critical patent/CN111089564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种动平台动目标双目测距***及方法。所述***包括：第一图像采集设备、第二图像采集设备、第一导航设备和第二导航设备，所述第一图像采集设备和所述第一导航设备固定连接，所述第二图像采集设备和所述第二导航设备固定连接。本发明实施例通过将相机与惯组和卫导固连的方式实时获得相机本身的位置和姿态信息，通过对实时位姿和图像信息的解算，建立目标实时的透射投影方程，通过求解方程得到目标在世界坐标系下的绝对位置，从而可以解算得到目标到两个相机的距离，解决了实时性要求较高的情况下动平台双目测距的难题。

Description

一种动平台动目标双目测距***及方法
技术领域
本发明涉及视觉三角测量技术领域，特别是一种动平台动目标双目测距***及方法。
背景技术
双目测距是一种模仿人类利用双目感知距离的被动测距方法，主要是采用两个相距一段距离的相机对同一目标从不同的角度进行观测，构成两个相机和目标之间的测量三角形，运用三角测量原理来完成距离的解算。实际使用中，根据两个相机之间的相对位姿关系是否固定又可以分为定平台双目测距和动平台双目测距。
传统的双目测距方法主要是针对定平台双目测距模型提出的，通常采用基于标定的方法来获取相机的内外参数，测量过程中相机的相对位姿不再发生变化，透射投影方程通过使用前的标定就可以获得，该方法较为成熟，目前已经应用在无人机导航、机器人视觉、智能交通、卫星在轨服务等领域。其缺点是一旦标定完成，两个相机之间的相对位姿就不能改变，否则就需要重新标定；对于测量远距离目标时，由于测量精度的要求就必须保证基线足够长，这也导致了双目测距***体积非常庞大，不够灵活。这些缺点也导致了传统的定平台双目测距方法对于实时性要求较高的动平台动目标双目测距不适用。
所谓动平台双目测距就是两个相机的相对位姿关系是不断变化的，目前在这方面的研究比较少，较为类似的是无人机用单目相机和自身的飞行采用以时间换空间的方法来测距对地面进行三维场景重构，但是对于运动目标测距不适用。在武器领域多弹协同探测的应用中，导弹武器以高速飞行，弹间相对位姿不断发生变化，要使用双/多弹来模拟双目视觉的三角测量原理对目标进行探测面临的就是动平台双目测距的难题。
发明内容
本发明解决的技术问题是：克服现有技术中导弹武器以高速飞行，弹间相对位姿不断发生变化，要使用双/多弹来模拟双目视觉的三角测量原理对目标进行探测面临的就是动平台双目测距的难题的不足，提供了一种动平台动目标双目测距***及方法。
本发明的技术解决方案是：
为了解决上述技术问题，本发明实施例提供了一种动平台动目标双目测距***，包括：
第一图像采集设备、第二图像采集设备、第一导航设备和第二导航设备，所述第一图像采集设备和所述第一导航设备固定连接，所述第二图像采集设备和所述第二导航设备固定连接。
优选地，所述第一图像采集设备和所述第二图像采集设备之间的距离大于阈值距离。
优选地，所述第一导航设备包括：第一卫星导航设备和第一惯组设备，所述第二导航设备包括：第二卫星导航设备和第二惯组设备，
所述第一惯组设备的滚转轴和所述第一图像采集设备的光轴相互平行；
所述第二惯组设备的滚转轴和所述第二图像采集设备的光轴相互平行。
为了解决上述技术问题，本发明实施例提供了一种动平台动目标双目测距方法，应用于上述任一项所述的***，包括：
采用第一图像采集设备采集待测目标对应的第一图像，并采用第二图像采集设备采集所述待测目标对应的第二图像；
记录所述第一图像采集设备在地心地固坐标系下的第一地心坐标，及所述第二图像采集设备在地心地固坐标系下的第二地心坐标；
获取所述待测目标在所述第一图像中的第一图像坐标，及所述待测目标在所述第二图像中的第二图像坐标；
根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标；
在确定为同一目标时，根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述待测目标和所述第一图像采集设备之间的第一距离，及所述待测目标和所述第二图像采集设备之间的第二距离。
优选地，所述根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标，包括：
根据所述第一图像坐标、所述第二图像坐标和针孔成像模型，建立所述待测目标从世界坐标系下到像素坐标系下的投影方程；
根据所述投影方程判定所述待测目标是否满足极线几何约束关系，获取判定结果；
根据所述判定结果，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标。
优选地，所述根据所述判定结果，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标，包括：
在判定所述待测目标满足所述极线几何约束关系时，确定所述第一图像中的待测目标和所述第二图像中的待测目标为同一目标；
在判定所述待测目标不满足所述极线几何约束关系时，确定所述第一图像中的待测目标和所述第二图像中的待测目标不为同一目标。
优选地，所述根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述待测目标和所述第一图像采集设备之间的第一距离，及所述待测目标和所述第二图像采集设备之间的第二距离，包括：
根据所述第一地心坐标和所述第二地心坐标，确定所述待测目标在地心地固坐标系下的目标坐标；
根据所述第一图像坐标、所述第二图像坐标和所述目标坐标，计算得到所述第一距离和所述第二距离。
本发明与现有技术相比的优点在于：
本发明不需要标定相机的内外参数，通过将相机与惯组和卫导固连的方式实时获得相机本身的位置和姿态信息，通过对实时位姿和图像信息的解算，建立目标实时的透射投影方程，通过求解方程得到目标在世界坐标系下的绝对位置，从而可以解算得到目标到两个相机的距离，解决了实时性要求较高的情况下动平台双目测距的难题。
1、该方法不需要进行额外的标定获取相机的内外参数，适合实时性要求较高的应用场景；
2、相比较现有的双目测距***，基线更长、体积更小，更灵活，可以测较远距离的目标；
3、相比于传统摄影测量的方法来说，不再以时间换空间，可以应用于动目标测距。
附图说明
图1为本发明实施例提供的一种动平台动目标双目测距***的结构示意图；
图2为本发明实施例提供的相机成像模型的示意图；
图3为本发明实施例提供的动平台双目测距原理及极线约束的示意图；
图4为本发明实施例提供的动平台动目标双目测距方法的步骤流程图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的实施例一部分实施例，而不是全部的实施例。基于本发明的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的实施例保护的范围。
实施例一
参照图1，示出了本发明实施例提供的一种动平台动目标双目测距***的结构示意图，如图1所示，该动平台动目标双目测距系具体可以包括如下：第一图像采集设备、第二图像采集设备、第一导航设备和第二导航设备，其中，第一图像采集设备和第一导航设备固定连接，第二图像采集设备和第二导航设备固定连接。如图1所示，两个相机分别表示第一图像采集设备和第二图像采集设备。
第一图像采集设备和第一导航设备可以采用工装固定连接，第二图像采集设备和第二导航设备也可以采用工装固定连接。
为了保证测量精度，第一图像采集设备和第二图像采集设备之间的距离大于阈值距离。
第一导航设备可以包括第一卫星导航设备和第一惯组设备，第二导航设备可以包括第二卫星导航设备和第二惯组设备。
在采用第一图像采集设备和第二图像采集设备采集待测目标时，可以设置第一惯组设备的滚转轴和第一图像采集设备的光轴相互平行，并设置第二惯组设备的滚转轴和第二图像采集设备的光轴相互平行。
本发明实施例提供的动平台动目标双目测距***，不需要标定相机的内外参数，通过将相机与惯组和卫导固连的方式实时获得相机本身的位置和姿态信息，通过对实时位姿和图像信息的解算，建立目标实时的透射投影方程，通过求解方程得到目标在世界坐标系下的绝对位置，从而可以解算得到目标到两个相机的距离，解决了实时性要求较高的情况下动平台双目测距的难题。
1、该***不需要进行额外的标定获取相机的内外参数，适合实时性要求较高的应用场景；
2、相比较现有的双目测距***，基线更长、体积更小，更灵活，可以测较远距离的目标；
3、相比于传统摄影测量的方法来说，不再以时间换空间，可以应用于动目标测距。
实施例二
参照图4，示出了本发明实施例提供的一种动平台动目标双目测距方法的步骤流程图，如图4所示，该动平台动目标双目测距方法具体可以包括如下步骤：
步骤201：采用第一图像采集设备采集待测目标对应的第一图像，并采用第二图像采集设备采集所述待测目标对应的第二图像；
步骤202：记录所述第一图像采集设备在地心地固坐标系下的第一地心坐标，及所述第二图像采集设备在地心地固坐标系下的第二地心坐标；
步骤203：获取所述待测目标在所述第一图像中的第一图像坐标，及所述待测目标在所述第二图像中的第二图像坐标；
步骤204：根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标；
步骤205：在确定为同一目标时，根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述待测目标和所述第一图像采集设备之间的第一距离，及所述待测目标和所述第二图像采集设备之间的第二距离。
接下来结合图2～图3，对本发明实施例提供的动平台动目标双目测距方法进行如下详细描述。
在下述描述中，图像采集设备以相机为例进行如下详细描述。
本发明要解决的技术问题是在实时性要求较高且两个相机相对位姿不断变化的情况下对动目标进行测距。为了解决该技术问题，发明了一种动平台动目标双目测距方法，通过卫导和惯组采集得到的相机本身的位置信息以及探测到目标时自身的姿态加上此时目标在两个相机采集得到的图像信息，建立得到投影方程组。通过对极几何约束判断两个相机获取图像中的目标是否为同一个目标，若满足则通过求解方程组来重建目标三维坐标，从而解算得到目标分别到两个相机间的距离。动平台双目测距方法的具体步骤如下：
本发明采用的技术方案是：
步骤1：数据采集
如附图1所示，首先将两个具有相同内参的单目相机分开放置，为了保证测量精度，两相机之间放置距离尽可能远一些。分别将单目相机和导航设备(卫导和惯组)通过工装固连，惯组的滚转轴和相机的光轴平行。通过分别调整两个相机的位置和姿态使得两个相机从不同角度同时获取目标的图像信息，并记录下此时惯组和卫导输出的相机的姿态和位置信息。卫导的位置信息为
Figure BDA0002320791330000071
λ表示经度，
Figure BDA0002320791330000072
表示纬度，h表示高度。将位置信息转换到世界标系下，选取地心地固坐标系作为世界坐标系。其地心地固系下坐标(X,Y,Z)可以通过以下公式计算得到：
Figure BDA0002320791330000073
上述公式中，Re为地球半径，Rf为地球扁率。
经过转换后，相机1和相机2在地心地固坐标系下的坐标分别为t1(x1,y1,z1)，t2(x2,y2,z2)，相机1和相机2从地心地固坐标系到相机坐标系的旋转矩阵分别为R1，R2。
步骤2：建立投影方程并确认目标
获取待测目标在两相机采集图像中各自的坐标位置(u1,v1)和(u2,v2)，根据针孔成像模型，分别建立目标从世界坐标系下三维坐标到像素坐标系下二维坐标的投影方程：
Figure BDA0002320791330000074
Figure BDA0002320791330000081
上述公式(1)和(2)中，zc为尺度引文，f为相机的焦距，dx、dy为像元尺寸，u0、v0为相机光心的像素坐标，M为3×4的透视投影矩阵，P(x,y,z)为待测目标在地心地固坐标系下的三维坐标。
目标在两相机采集图像中各自的坐标位置满足立体视觉中的极线几何关系，即：
[u2,v2,1]F[u1,v1,1]T＝0 (3)
其中F是基本矩阵。通过将获取的目标点在两幅图像中的坐标代入(3)式左边，进一步验证是否是同一个待测目标。实际使用时，由于传感器误差、噪声等因素，(3)式不可能严格满足，用以下等式来代替，ε为一个较小的阈值：
|[u2,v2,1]F[u1,v1,1]T|<ε (4)
步骤3：目标三维坐标重建
联立步骤2中建立的两个投影方程，可以得到：
Figure BDA0002320791330000082
(5)式化简之后是一个四个方程，三个未知数的超定方程组，通过最小二乘算法可以求得超定方程组唯一解：
P＝(HTH)-1HTB (6)
其中，
Figure BDA0002320791330000091
P为待测目标在地心地固坐标系下的坐标。
步骤4：距离计算
步骤1中通过坐标转换得到了两个相机在地心地固坐标系下的坐标为t1(x1,y1,z1)，t2(x2,y2,z2)，步骤3中计算得到目标在地心地固坐标系下的坐标为P(x,y,z)，通过两点之间的距离公式可以最终求得待测目标点分别到两个相机的距离d1，d2。
Figure BDA0002320791330000092
其中，i＝1,2。
本发明实施例提供的动平台动目标双目测距方法，不需要标定相机的内外参数，通过将相机与惯组和卫导固连的方式实时获得相机本身的位置和姿态信息，通过对实时位姿和图像信息的解算，建立目标实时的透射投影方程，通过求解方程得到目标在世界坐标系下的绝对位置，从而可以解算得到目标到两个相机的距离，解决了实时性要求较高的情况下动平台双目测距的难题。
1、该方法不需要进行额外的标定获取相机的内外参数，适合实时性要求较高的应用场景；
2、相比较现有的双目测距***，基线更长、体积更小，更灵活，可以测较远距离的目标；
3、相比于传统摄影测量的方法来说，不再以时间换空间，可以应用于动目标测距。
以上所述仅为本发明的实施例的较佳实施例而已，并不用以限制本发明的实施例，凡在本发明的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的实施例的保护范围之内。

Claims (4)

1.一种动平台动目标双目测距方法，应用动平台动目标双目测距***，其特征在于，动平台动目标双目测距***包括：第一图像采集设备、第二图像采集设备、第一导航设备和第二导航设备，所述第一图像采集设备和所述第一导航设备固定连接，所述第二图像采集设备和所述第二导航设备固定连接；动平台指第一图像采集设备、第二图像采集设备分别固定在两个独立移动的平台上；
动平台动目标双目测距方法包括：
采用第一图像采集设备采集待测目标对应的第一图像，并采用第二图像采集设备采集所述待测目标对应的第二图像；
记录所述第一图像采集设备在地心地固坐标系下的第一地心坐标，及所述第二图像采集设备在地心地固坐标系下的第二地心坐标；
获取所述待测目标在所述第一图像中的第一图像坐标，及所述待测目标在所述第二图像中的第二图像坐标；
根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标；
在确定为同一目标时，根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述待测目标和所述第一图像采集设备之间的第一距离，及所述待测目标和所述第二图像采集设备之间的第二距离；
所述根据所述第一地心坐标、所述第二地心坐标、第一图像坐标和所述第二图像坐标，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标，包括：
根据所述第一图像坐标、所述第二图像坐标和针孔成像模型，建立所述待测目标从世界坐标系下到像素坐标系下的投影方程；
根据所述投影方程判定所述待测目标是否满足极线几何约束关系，获取判定结果；
根据所述判定结果，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述判定结果，确定所述第一图像中的待测目标和所述第二图像中的待测目标是否为同一目标，包括：
在判定所述待测目标满足所述极线几何约束关系时，确定所述第一图像中的待测目标和所述第二图像中的待测目标为同一目标；
在判定所述待测目标不满足所述极线几何约束关系时，确定所述第一图像中的待测目标和所述第二图像中的待测目标不为同一目标。
3.根据权利要求1所述的方法，其特征在于，所述第一图像采集设备和所述第二图像采集设备之间的距离大于阈值距离。
4.根据权利要求1所述的方法，其特征在于，所述第一导航设备包括：第一卫星导航设备和第一惯组设备，所述第二导航设备包括：第二卫星导航设备和第二惯组设备，
所述第一惯组设备的滚转轴和所述第一图像采集设备的光轴相互平行；
所述第二惯组设备的滚转轴和所述第二图像采集设备的光轴相互平行。
CN201911296829.XA 2019-12-16 2019-12-16 一种动平台动目标双目测距***及方法 Active CN111089564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911296829.XA CN111089564B (zh) 2019-12-16 2019-12-16 一种动平台动目标双目测距***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911296829.XA CN111089564B (zh) 2019-12-16 2019-12-16 一种动平台动目标双目测距***及方法

Publications (2)

Publication Number Publication Date
CN111089564A CN111089564A (zh) 2020-05-01
CN111089564B true CN111089564B (zh) 2021-12-07

Family

ID=70395113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911296829.XA Active CN111089564B (zh) 2019-12-16 2019-12-16 一种动平台动目标双目测距***及方法

Country Status (1)

Country Link
CN (1) CN111089564B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及***
CN109074476A (zh) * 2016-08-01 2018-12-21 深圳市大疆创新科技有限公司 用于障碍物规避的***以及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及***
CN109074476A (zh) * 2016-08-01 2018-12-21 深圳市大疆创新科技有限公司 用于障碍物规避的***以及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《动平台下双目视觉定位标定算法研究》;钱真 等;《计算机仿真》;20121031;第29卷(第10期);293-297页 *
《基于UKF的双飞行机器人三维动目标合作定位与跟踪方法》;何玉庆 等;《第三十一届中国控制会议论文集C卷》;20121031;5088-5091页 *

Also Published As

Publication number Publication date
CN111089564A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与***
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN112525162B (zh) 一种无人机测量输电线路影像距离的***及方法
CN103759716B (zh) 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN108534782B (zh) 一种基于双目视觉***的地标地图车辆即时定位方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN108801274B (zh) 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN109238235B (zh) 单目序列图像实现刚***姿参数连续性测量方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和***
CN108489398B (zh) 一种广角场景下激光加单目视觉测量三维坐标的方法
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别***及方法
CN103759670A (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合***及方法
CN109146958B (zh) 一种基于二维图像的交通标志空间位置测量方法
CN111220120B (zh) 一种动平台双目测距自校准方法及装置
CN106408601A (zh) 一种基于gps的双目融合定位方法及装置
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN102692214A (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN110470226A (zh) 一种基于无人机***的桥梁结构位移测量方法
CN109269525B (zh) 一种空间探测器起飞或着陆过程光学测量***及方法
CN107038753B (zh) 立体视觉三维重建***及方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant