CN112750088B - 基于线性规划的视频图像自动扭正和稳像的方法 - Google Patents

基于线性规划的视频图像自动扭正和稳像的方法 Download PDF

Info

Publication number
CN112750088B
CN112750088B CN202011486626.XA CN202011486626A CN112750088B CN 112750088 B CN112750088 B CN 112750088B CN 202011486626 A CN202011486626 A CN 202011486626A CN 112750088 B CN112750088 B CN 112750088B
Authority
CN
China
Prior art keywords
video
frame
linear programming
image
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011486626.XA
Other languages
English (en)
Other versions
CN112750088A (zh
Inventor
英向华
佟新
石永杰
赵赫
王睿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202011486626.XA priority Critical patent/CN112750088B/zh
Publication of CN112750088A publication Critical patent/CN112750088A/zh
Application granted granted Critical
Publication of CN112750088B publication Critical patent/CN112750088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于线性规划的视频图像自动扭正和稳像的方法,首先将原视频逐帧分离得到图片集,再将估计得到的原视频相邻两帧之间的仿射变换矩阵作为运动信息,并提取每一帧内的直线段,估计竖直方向的灭点位置和水平线位置;然后构建线性规划模型,将用于矫正每一帧的变换矩阵为线性规划模型的待优化参数,通过求解模型获得与视频帧数等数量的射影变换矩阵;之后对原视频逐帧变换,并将变换后的帧合成得到新视频。采用本发明优化得到的一系列射影变换矩阵可以同时完成扭正和稳像,处理后的视频有更好的视觉效果,处理速度快,得到的结果具有全局最优性。

Description

基于线性规划的视频图像自动扭正和稳像的方法
技术领域
本发明涉及视频稳像和视频扭正技术,尤其涉及一种基于线性规划的视频图像自动扭正和稳像的方法,是一种应用每帧图像的几何信息和相邻帧之间的运动信息的基于线性规划的自动视频扭正和稳像的方法,可以快速自动地同时进行针对视频的稳像和扭正。
背景技术
由于摄像机的晃动,拍摄的视频中经常会出现不合适的抖动。而且建筑物等竖直结构由于拍摄视角等原因经常会在视频中出现倾斜,这些都使得视频的视觉舒适度降低。现有的视频稳像的方法一般通过运动恢复结构(Structure from Motion,SfM)恢复摄像机原始的3D路径,或者根据特征点的位置变化或相邻帧之间的变换矩阵来描述2D路径,并且平滑这一路径来生成原始视频的稳定版本。然而这些方法并没有考虑到如何将视频中倾斜的竖直结构扭正,而这种扭正通常能够显著提高视频视觉效果。
视频图像中经常可以获取灭点和水平线等几何信息。一些针对单幅图像的扭正方法使用这些几何信息进行图像扭正,然而这类方法通常只能建模成非凸优化,求解时间长且不能保证全局最优性。还有一些方法针对视频的扭正技术使用了竖直方向灭点信息,然而这类方法没有考虑视频相邻帧之间的连贯性和视频的抖动,处理后的视频视觉效果不佳。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于线性规划的视频图像自动扭正和稳像的方法,应用每帧图像的几何信息和相邻帧之间的运动信息,基于线性规划对视频图像进行快速自动视频图像扭正和稳像,对于一段输入的视频,为每一帧估计一个射影变换矩阵并对视频逐帧进行摄影变换,能够同时完成视频的扭正和稳像,使得处理后的视频图像有更好的视觉效果。
为了实现这一目的,首先将视频逐帧分离得到图片集,估计原始视频相邻两帧之间的仿射变换矩阵作为运动信息,并提取每一帧内的直线段,估计竖直方向的灭点位置和水平线位置。根据以上信息,构建以用来矫正每一帧的变换矩阵为待优化参数的线性规划模型。然后求解模型,获得与视频帧数等数量的射影变换矩阵。最后对原视频逐帧变换,并将变换后的帧合成新视频。
本发明的技术方案如下:
一种基于线性规划的视频图像自动扭正和稳像的方法,包括如下步骤:
1)数据预处理,包括:进行视频帧分离,从图像中提取线段,估计视频图像竖直方向灭点位置和水平线信息,并估计连续两帧图像之间的仿射变换矩阵
将视频逐帧分离成图片集合,可采用Matlab中的VideoReader类进行视频帧分离,对于分离的每一帧,使用LSD(Line Segment Detector,线段检测器)方法从视频图像中提取线段。根据曼哈顿假设,使用随机抽样一致算法(random sample consensus,RANSAC)估计视频图像竖直方向灭点位置和水平线信息,并估计原始视频连续两帧图像之间的仿射变换矩阵;
2)构建线性规划模型的目标函数和约束条件。
以步骤1)中得到的所有帧为原始输入帧,对于输入的所有帧,以输出帧到输入帧之间的射影变换矩阵为待优化参数。模型的目标函数为关于扭正的优化项和关于稳像的优化项之和。关于扭正的优化项包括变换前后竖直无穷远点和竖直灭点的距离、水平线的斜率以及图像内视觉上是水平或竖直方向的直线段的斜率。关于稳像的优化项为从同一原始帧到处理后相邻两帧的射影变换矩阵的残差。本发明中所有优化项采用L1范数形式,保证目标函数为线性。
模型的约束条件包括两项,分别为使裁剪框保持在原始图像的可见范围内和使每一个射影变换矩阵和单位矩阵的差别在一定范围内。由于本发明方法对于每一帧只进行变形和裁剪,所以为了保证新生成的视频不出现黑边,需要使裁剪框保持在原始图像的可见范围内,以此作为第一项约束条件。同时,为了保证生成的视频不包含大的畸变,需要使每一个射影变换矩阵和单位矩阵的差别在一定范围内,以此作为第二项约束条件,具体为:
Figure BDA0002839533960000021
其中,b11,…,b32为第t帧的射影变换矩阵Bt中待优化的8个未知参数。
3)模型求解,得到每一个原始帧对应的射影变换矩阵;
由于所建立的模型是线性规划模型,具体实施时,可以通过Matlab的CVX优化包快速准确的求解。对求解的结果求逆变换,即得到每一个原始帧对应的射影变换矩阵。
4)生成新视频:应用这些射影变换矩阵对原始帧进行变换和裁剪,再将处理后的视频帧合成新的视频。
具体实施时,可采用Matlab中的VideoWriter类的视频合成工具完成视频合成。
与现有技术相比,本发明的有益效果:
本发明提供一种快速的同时视频扭正和稳像方法。该方法既利用竖直灭点,水平线和长直线段等几何信息,又利用了相邻帧之间的运动信息,使得优化得到的一系列射影变换矩阵可以的同时完成扭正和稳像两个功能,处理后的视频有更好的视觉效果。本发明用一个模型同时完成视频的扭正和稳像,避免了分部考虑带来的互相影响。同时将问题建模成了线性规划,保证的求解的速度和结果的全局最优性。
附图说明
图1为本发明提供的视频扭正和稳像方法的流程框图。
图2为本发明提供的视频扭正和稳像方法的符号示意图。
其中,I1,…,In为原始视频帧序列,I′1,…,I′n为处理后的输出视频帧序列,n为视频的帧数。Ft表示第t+1帧到第t帧的仿射变换矩阵,Bt表示处理后的第t帧到对应原始帧的射影变换矩阵。Rt表示同一原始帧到处理后相邻两帧的变换矩阵的残差。
图3为本发明实施例中所利用的几何信息示意图。
图4为本发明实施例提供的从视频中提取得到的图像。
图5为本发明实施例进行视频扭正和稳像后得到的结果图像。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供一种基于线性规划的视频图像自动扭正和稳像的方法,首先将视频逐帧分离得到图片集,估计相邻两帧之间的仿射变换矩阵作为运动信息,并提取每一帧内的直线段,估计竖直方向的灭点位置和水平线位置。根据以上信息,构建以用来矫正每一帧的变换矩阵为待优化参数的线性规划模型。然后求解模型,获得与视频帧数等数量的射影变换矩阵。最后对原视频逐帧变换,并将变换后的帧合成新视频。图1所示为本发明提供的视频扭正和稳像方法的流程。
由图1可以看出,***的整个处理过程由四个阶段组成:数据预处理、构建动态规划模型、模型求解和新视频生成。图2为描述算法的符号说明示意图。
第一阶段:数据预处理
该阶段包括:逐帧分离视频,检测每一帧的几何信息,包括:直线段、竖直方向灭点和水平线(图3为具体实施检测得到的几何信息结果)。
将待处理的视频逐帧提取,获得图片集合,可采用Matlab中的VideoReader类进行图片提取,图4为具体实施时图片提取的结果样图。对于提取得到的每一帧图像,使用LSD算法进行直线段提取。在曼哈顿假设下,通过RANSAC方法获得三个灭点位置,其中水平方向的两个灭点所在直线即水平线,同时估计连续两帧图像之间的仿射变换矩阵,用Ft表示第t+1帧到第t帧的变换矩阵。
第二阶段:构建线性规划模型
本阶段包括线性规划模型目标函数的构建和约束条件的构建。本发明以输出视频的每一帧到输入视频对应帧的变换矩阵为待优化的未知量,其中第t帧的射影变换矩阵Bt表示为:
Figure BDA0002839533960000041
其中,b11,…,b32为矩阵中待优化的8个未知参数。
本发明的线性规划的目标函数包括两个部分,第一部分是和图像扭正相关的优化项,第二部分是和视频稳像相关的优化项。和图像扭正相关的优化项包括:和竖直方向灭点相关的优化项、和水平线相关的优化项、和图像上一些直线段相关的优化项;
和竖直方向灭点相关的优化项,具体为:
Figure BDA0002839533960000042
其中[xp,yp,1]T为原视频第t帧中竖直方向灭点的齐次坐标。
和水平线相关的优化项,具体为:
Figure BDA0002839533960000043
其中[n1,n2,n3]T为原视频第t帧中水平线的齐次坐标。
和图像上一些直线段相关的优化项,具体为:
Figure BDA0002839533960000044
其中[l1,l2,l3]T为原视频第t帧中一个视觉上希望是水平或竖直方向的直线段的齐次坐标。对于水平方向的直线段,令e=1;对于竖直方向的直线段,令e=0。对于多条直线段,应用非极大值抑制(NMS)来减少直线段个数,保证本发明的运行效率。
和视频稳像相关的优化项可表示为:
Figure BDA0002839533960000051
其中,Rt=|FtBt+1-Bt|表示同一原始帧到处理后相邻两帧的变换矩阵的残差,|Rt|、|Rt+1-Rt|和|Rt+2-2Rt+1+Rt|分表示处理后相邻帧之间运动的位移、速度和加速度。ω1,ω2,ω3为权重,实施例中分别取10,1,100。
最终的目标函数为:
Figure BDA0002839533960000052
其中,ω4,ω5,ω6为权重,实施例中分别取10,10,1。
模型的约束条件包括保证裁剪框在原始图像内的约束和保持变换矩阵和单位矩阵的差别在一定范围内的约束;
保证裁剪框在原始图像内的约束,具体表示为:
Figure BDA0002839533960000053
其中w和h为图像的宽和高。
Figure BDA0002839533960000054
为图像四个顶点的齐次坐标,其中i=1,…,4。
保持变换矩阵和单位矩阵的差别在一定范围内的约束,具体表示为:
Figure BDA0002839533960000055
第三阶段:模型求解
由于所建立的模型是线性规划模型,可以通过Matlab的CVX优化包快速准确的求解。对于得到的结果
Figure BDA0002839533960000056
我们求取它们的逆矩阵
Figure BDA0002839533960000057
n为视频的帧数。
第四阶段:新视频生成
对于原视频中的每一帧It,使用
Figure BDA0002839533960000058
对其进行射影变换,并将其裁剪成和原视频图像相同大小,图5为进行射影变换之后得到的结果图像。最后将处理得到的所有帧合成新的视频,即为进行基于线性规划的视频图像自动扭正和稳像后得到的视频。具体实施可采用Matlab中的VideoWriter类进行视频合成。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于线性规划的视频图像自动扭正和稳像的方法,首先将原视频逐帧分离得到图片集,再将估计得到的原视频相邻两帧之间的仿射变换矩阵作为运动信息,并提取每一帧内的直线段,估计竖直方向的灭点位置和水平线位置;然后构建线性规划模型,将用于矫正每一帧的变换矩阵为线性规划模型的待优化参数,通过求解模型获得与视频帧数等数量的射影变换矩阵;之后对原视频逐帧变换,并将变换后的帧合成得到新视频;包括如下步骤:
1)数据预处理,包括:进行视频帧分离,从视频图像中提取线段,估计视频图像竖直方向灭点位置和水平线信息,并估计原视频相邻两帧图像之间的仿射变换矩阵;
2)构建线性规划模型的目标函数和约束条件;
以步骤1)进行视频帧分离得到的所有帧为原始输入帧,对于输入的所有帧,以输出帧到输入帧之间的射影变换矩阵为待优化参数;
线性规划模型的目标函数为关于扭正的优化项和关于稳像的优化项Est之和;优化项均采用L1范数形式,以保证目标函数为线性;
关于扭正的优化项包括:和竖直方向灭点相关的优化项
Figure FDA0003613182550000011
和水平线相关的优化项
Figure FDA0003613182550000012
和图像上直线段相关的优化项
Figure FDA0003613182550000013
其中:
和竖直方向灭点相关的优化项
Figure FDA0003613182550000014
具体表示为:
Figure FDA0003613182550000015
其中,[xp,yp,1]T为原视频第t帧中竖直方向灭点的齐次坐标;
和水平线相关的优化项
Figure FDA0003613182550000016
具体表示为:
Figure FDA0003613182550000017
其中,[n1,n2,n3]T为原视频第t帧中水平线的齐次坐标;
和图像上直线段相关的优化项
Figure FDA0003613182550000018
具体表示为:
Figure FDA0003613182550000019
其中,[l1,l2,l3]T为原视频第t帧中一个视觉上是水平或竖直方向的直线段的齐次坐标;对于水平方向的直线段,令e=1;对于竖直方向的直线段,令e=0;对于多条直线段,应用非极大值抑制NMS方法减少直线段个数,以保证运行效率;b11,…,b32为第t帧的射影变换矩阵Bt中待优化的8个未知参数;
Figure FDA00036131825500000110
线性规划模型的目标函数表示为:
Figure FDA0003613182550000021
其中,ω4,ω5,ω6为权重;
线性规划模型的约束条件包括:使裁剪框保持在原始图像的可见范围内和使每一个射影变换矩阵和单位矩阵的差别在设定范围内;
3)通过模型求解,对求解的结果求逆变换,即得到每一个原始帧对应的射影变换矩阵;
4)生成新视频:根据射影变换矩阵对原始帧进行变换和裁剪,再将处理后的视频帧合成得到新的视频。
2.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤4)通过采用视频合成工具完成视频合成;视频合成工具具体采用Matlab中VideoWriter类。
3.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤1)数据预处理中将视频逐帧分离成图片集合,具体采用Matlab中的VideoReader类进行视频帧分离;对于分离得到的每一帧,使用线段检测器LSD方法从视频图像中提取线段。
4.如权利要求3所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,具体采用随机抽样一致算法RANSAC估计视频图像竖直方向灭点位置和水平线信息,并估计原视频相邻两帧图像之间的仿射变换矩阵。
5.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤2)中,所述关于扭正的优化项包括变换前后竖直无穷远点和竖直灭点的距离、水平线的斜率以及图像内视觉上是水平或竖直方向的直线段的斜率;所述关于稳像的优化项为从同一原始帧到处理后相邻两帧的射影变换矩阵的残差。
6.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤2)模型的约束条件中,使每一个射影变换矩阵和单位矩阵的差别在设定范围内,具体表示为:
Figure FDA0003613182550000022
其中,b11,…,b32为第t帧的射影变换矩阵Bt中待优化的8个未知参数。
7.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤2)模型的约束条件中,使裁剪框保持在原始图像的可见范围内,具体表示为:
Figure FDA0003613182550000031
其中,w和h为图像的宽和高;
Figure FDA0003613182550000032
为图像四个顶点的齐次坐标,其中i=1,…,4。
8.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,和视频稳像相关的优化项Est表示为:
Figure FDA0003613182550000033
其中,Rt=|FtBt+1-Bt|表示同一原始帧到处理后相邻两帧的变换矩阵的残差,|Rt|、|Rt+1-Rt|和|Rt+2-2Rt+1+Rt|分表示处理后相邻帧之间运动的位移、速度和加速度;ω1,ω2,ω3为权重。
9.如权利要求1所述基于线性规划的视频图像自动扭正和稳像的方法,其特征是,步骤3)模型求解,具体通过Matlab的CVX优化包进行快速准确的求解。
CN202011486626.XA 2020-12-16 2020-12-16 基于线性规划的视频图像自动扭正和稳像的方法 Active CN112750088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011486626.XA CN112750088B (zh) 2020-12-16 2020-12-16 基于线性规划的视频图像自动扭正和稳像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011486626.XA CN112750088B (zh) 2020-12-16 2020-12-16 基于线性规划的视频图像自动扭正和稳像的方法

Publications (2)

Publication Number Publication Date
CN112750088A CN112750088A (zh) 2021-05-04
CN112750088B true CN112750088B (zh) 2022-07-26

Family

ID=75648511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011486626.XA Active CN112750088B (zh) 2020-12-16 2020-12-16 基于线性规划的视频图像自动扭正和稳像的方法

Country Status (1)

Country Link
CN (1) CN112750088B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN109040521A (zh) * 2017-06-08 2018-12-18 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
CN110047091A (zh) * 2019-03-14 2019-07-23 河海大学 一种基于相机轨迹估计和特征块匹配的稳像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN109040521A (zh) * 2017-06-08 2018-12-18 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
CN110047091A (zh) * 2019-03-14 2019-07-23 河海大学 一种基于相机轨迹估计和特征块匹配的稳像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Hybrid Approach for Near-Range Video Stabilization;Shuaicheng Liu等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20170831;第1922-1933页 *
Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths;Matthias Grundmann等;《IEEE》;20110822;第225-232页 *
一种快速的车载实时视频稳像方法;蔡耀仪;《电脑知识与技术》;20100531;第3466-3469页 *

Also Published As

Publication number Publication date
CN112750088A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
US11282249B2 (en) System and method for perspective preserving stitching and summarizing views
US9454796B2 (en) Aligning ground based images and aerial imagery
JP3935500B2 (ja) 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP4620607B2 (ja) 画像処理装置
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
JP6736362B2 (ja) 画像処理装置、画像処理方法、プログラム
US8385732B2 (en) Image stabilization
CN108345821B (zh) 面部追踪方法及设备
JP6976733B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
JP5251410B2 (ja) カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
US9002132B2 (en) Depth image noise removal apparatus and method based on camera pose
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
CN105791795A (zh) 立体图像处理方法、装置以及立体视频显示设备
CN112750088B (zh) 基于线性规划的视频图像自动扭正和稳像的方法
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
EP2879090A1 (en) Aligning ground based images and aerial imagery
KR101524074B1 (ko) 영상 처리 방법
CN113762129A (zh) 实时2d人体姿势估计***中的姿势稳定***和方法
Sun et al. Error compensation and reliability based view synthesis
Dervişoğlu et al. Interpolation-based smart video stabilization
JP3523064B2 (ja) 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体
JP3860564B2 (ja) 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant