CN111798395B - 基于tv约束的事件相机图像重建方法及*** - Google Patents

基于tv约束的事件相机图像重建方法及*** Download PDF

Info

Publication number
CN111798395B
CN111798395B CN202010620396.5A CN202010620396A CN111798395B CN 111798395 B CN111798395 B CN 111798395B CN 202010620396 A CN202010620396 A CN 202010620396A CN 111798395 B CN111798395 B CN 111798395B
Authority
CN
China
Prior art keywords
image
event
camera
double
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010620396.5A
Other languages
English (en)
Other versions
CN111798395A (zh
Inventor
余磊
江盟
王碧杉
杨文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010620396.5A priority Critical patent/CN111798395B/zh
Publication of CN111798395A publication Critical patent/CN111798395A/zh
Application granted granted Critical
Publication of CN111798395B publication Critical patent/CN111798395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种基于TV约束的事件相机图像重建方法及***，包括事件相机同时输出强度图像序列和事件流，对事件相机输出的每帧图像，根据该帧的时间戳提取曝光时间内的事件流；建立事件双积分模型，该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系；在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束，从建立图像重建的变分模型；基于所得图像重建的变分模型，通过联合优化求解来重建出高质量的灰度图像序列。本发明能解决事件相机图像重建中的运动模糊和噪声问题，恢复出高帧率的高质量强度图像序列。

Description

基于TV约束的事件相机图像重建方法及***
技术领域
本发明涉及图像处理领域，尤其是基于TV约束的事件相机图像重建方法及***。
背景技术
事件相机是受人类视网膜启发的仿生视觉传感器，利用芯片模拟生物视网膜对外界光强变化的感知过程。与传统相机输出的图像帧不同，事件相机是通过感知场景亮度变化的方式来异步地获取光强变化信息，输出一系列的异步事件流，其中每一事件包含像素坐标，时间以及极性：e＝{x,y,t,p}，x,y表示坐标，t表示时间戳，p＝±1表示极性(+1表示亮度增强，-1表示亮度减小)，如图1所示。与传统相机相比，事件相机具有高时间分辨率、低延迟(1μs)、高动态范围(>120dB)以及低功耗(10mW)等特点，这些优势使得该传感器在高速机器人定位、目标跟踪与识别等研究领域中，具有极广泛的应用前景。
在事件相机的相关研究中，事件相机和传统光学相机的输出方式不同导致许多成熟的基于图像帧的视觉方法不能直接应用于事件相机，事件相机输出的事件流缺乏场景纹理和细节信息且存在大量噪声。因此，为了使事件相机在视觉任务中得到有效应用，在为事件相机开发新的计算机视觉方法基础上，需要对事件流进行图像重建以便于后续成熟的视觉方法的应用。基于事件相机的图像重建一方面能够提供有效的场景表示，便于建立事件与场景对应关系。另一方面图像重建是使得现有的图像处理方法和分析技术得以在事件相机中应用的基础，通过事件流重建出图像帧，后续就可以直接利用经典的图像处理的方式对重建出来的图像或视频进行分析和处理，例如目标检测、跟踪与识别等。
现有的事件相机，例如DAVIS(dynamicand active vision sensor)可以同时输出强度图像和事件流，但是相机拍摄的亮度图像帧率较低，延迟较高(≥5ms的延迟)，事件相机在记录高动态的场景时，亮度图像会收到运动模糊和噪声影响。事件相机的高时间分辨率和高动态范围特性，给传统光学图像的运动模糊和饱和曝光等问题的解决提供了新的思路，使得事件相机能够解决极端环境下目标成像的问题。因此，研究基于事件相机的图像重建技术，利用事件数据的高时间分辨率和高动态范围特性，联合传统的低帧率强度图像，重建出高动态范围、高帧率的清晰图像或视频，获得能反映真实场景信息的有效表示，对于事件相机在实际场景中的应用具有重要价值。
发明内容
为了克服事件相机图像重建过程中的运动模糊以及噪声问题，本发明提供了一种基于TV约束的图像重建方案来重建清晰的强度图像。
本发明所采用的技术方案是一种基于TV约束的事件相机图像重建方法，包括如下步骤：
步骤1，事件相机同时输出强度图像序列和事件流；
步骤2，对事件相机输出的每帧图像Yi，根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流，其中，T为曝光时间长度；
步骤3，建立事件双积分模型，该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系，实现方式如下，
构建事件相机捕获的图像Yi与重建的灰度图像序列以及曝光时间[ti-T/2,ti+T/2]内事件流之间线性的数学关系：
Figure BDA0002562854410000021
其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度，Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号，τ为积分符号，exp()表示指数函数，e()表示事件；
步骤4，在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束，从建立图像重建的变分模型如下，
Figure BDA0002562854410000022
其中，▽表示求空间梯度，
Figure BDA0002562854410000023
表示去噪后的双积分图像，λ、β分别表示正则项的权重；
步骤5，基于步骤4所得图像重建的变分模型，通过联合优化求解来重建出高质量的灰度图像序列。
而且，步骤5中，通过联合优化求解来重建出高质量的灰度图像序列时，利用基于***Bregman迭代的交替迭代最小化方式实现。
而且，迭代过程实现如下，
(1)首先固定
Figure BDA0002562854410000031
图像Ik+1(f)的更新如下：
Figure BDA0002562854410000032
其中，
Figure BDA0002562854410000033
是第k次迭代的双积分图像；
(2)固定图像Ik+1(f)，第k次迭代的双积分图像
Figure BDA0002562854410000034
的更新如下：
Figure BDA0002562854410000035
在迭代收敛时重建出质量较高的强度图像。
而且，对任意帧图像Yi进行图像重建，重建的帧速率达到事件相机的触发速率。
本发明还提供一种基于TV约束的事件相机图像重建***，用于执行如上所述基于TV约束的事件相机图像重建方法。
本发明能解决事件相机图像重建中的运动模糊和噪声问题，通过联合事件相机的传统图像帧和事件流，通过两者的信息互补融合，并在重建过程中引入全变分空间平滑约束，去除运动模糊的同时抑制重建图像的噪声，恢复出高帧率的高质量强度图像序列。
附图说明
图1是传统相机和事件相机数据对比图。
图2是本发明实施例基于TV约束的事件相机图像重建流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用于解释本发明，并不用于限定本发明。
本发明主要是融合传统图像和事件流二者信息来完成图像重建，根据图像的模糊生成模型以及事件生成模型推导出事件双积分模型，在此基础上将事件数据和图像数据融合并引入图像空间平滑约束，提出一种基于TV约束的图像重建方法。首先利用相机的模糊图像生成模型，在时间方向上对相机的图像生成过程建模，然后根据事件相机的数学模型，联合图像模糊生成模型推导出一种简单有效的事件的双积分模型，该模型充分利用了事件流的高分率时间特性建立了相机拍摄的图像，事件数据及清晰的高帧率潜在图像之间的关系，即模糊图像可以视为是高帧率的潜在图像序列的积分，而事件则表示潜在图像之间的强度变化。最后，在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束，从而建立图像重建的变分模型，通过联合优化求解来重建出高质量的灰度图像序列。
如图2所示，本发明实施例提供的一种基于TV空间约束的事件相机重建方法，具体实现步骤如下：
步骤1，事件相机同时输出强度图像序列
Figure BDA0002562854410000041
和事件流
Figure BDA0002562854410000042
其中，Yi表示事件相机输出的第i帧图像，l为强度图像序列中图像帧数，em表示事件相机输出的个事件点，M为事件流中事件点的数目。
步骤2，对事件相机输出的每帧图像Yi，根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流；
其中，T为曝光时间长度。
步骤3，建立事件的双积分模型，该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系：
图像生成模型定义为在曝光时间内t时刻的瞬时强度图像I(t)的累积
Figure BDA0002562854410000043
根据事件的生成模型log(I(t))-log(I(f))＞p·c和事件的连续时间模型e(t)＝pcδ(t-te)，p＝±1表示极性(+1表示亮度增强，-1表示亮度减小)，c为对比度阈值，e()表示事件，te表示事件触发的时刻，可以推导出连续潜在图像序列I(t)与事件信号相关的数学模型，即：
Figure BDA0002562854410000044
其中，log()表示求对数，exp()表示指数函数，δ()为狄克拉函数，τ为积分符号，
该模型结合图像生成模型可推导出事件的双积分模型，构建事件相机捕获的图像Yi与重建的灰度图像序列I(f)以及曝光时间[ti-T/2,ti+T/2]内的事件流e(t)之间线性的数学关系：
Figure BDA0002562854410000045
其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度，Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号。
步骤4，在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束，从而建立图像重建的变分模型：
事件相机拍摄得到的原始图像信号和由事件流生成的双积分图像信号都是有噪声的。为了解决这些问题，在步骤3的双积分模型基础上引入全变分(TV，Total Variation)空间平滑正则项来抑制噪声，惩罚空间波动的同时保留边缘，将事件相机图像重建问题转化能量最小化问题：
Figure BDA0002562854410000051
其中，
Figure BDA0002562854410000052
表示求空间梯度，
Figure BDA0002562854410000053
表示去噪后的双积分图像，λ、β分别表示相应正则项的权重，根据实验建议的优选取值是λ＝0.01,β＝0.005。
步骤5，通过联合优化求解来重建出高质量的灰度图像序列：
利用基于***Bregman迭代的交替迭代最小化方法对步骤4的优化问题进行求解。在迭代过程中，初始化
Figure BDA0002562854410000054
首先固定双积分图像
Figure BDA0002562854410000055
利用***Bregman方法更新估计的图像I(f)，然后基于估计更新的图像I(f)同样利用***Bregman方法估计双积分图像
Figure BDA0002562854410000056
重复迭代以达到最优的图像估计I(f)，过程如下：
(3)更新I(f)：首先固定
Figure BDA0002562854410000057
灰度图像Ik+1(f)的更新如下：
Figure BDA0002562854410000058
其中，
Figure BDA0002562854410000059
是第k次迭代的双积分图像。
(4)更新
Figure BDA00025628544100000510
固定图像Ik+1(f)，第k+1次迭代的双积分图像
Figure BDA00025628544100000511
的更新如下：
Figure BDA00025628544100000512
通常在迭代次数k≤5收敛重建出质量较高的强度图像I(f)。
具体实施时，该方法可采用计算机软件技术实现自动运行流程，实施方法流程的相应***装置也在本发明的保护范围内。
进一步地，对任意帧图像Yi，上述图像重建步骤均是等效的，可以估计任意时刻f处的图像I(f)，理论上重建的帧速率可以达到事件相机的触发速率(每秒事件数)。
为便于了解本发明技术效果，提供采用以上实施例流程实现重建的实例如下：
(1)事件相机同时输出强度图像序列
Figure BDA00025628544100000513
和事件流
Figure BDA00025628544100000514
(2)对于每一个新帧Yi，根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流；(3)对于曝光时间内任意时刻f＝ti-T/2:Δt:ti+T/2，间隔时间Δt来控制重建的帧率Δt＝T/20，根据事件双积分模型计算f时刻的双积分图像
Figure BDA0002562854410000061
(4)初始化
Figure BDA0002562854410000062
λ＝0.01,β＝0.005，通过交替迭代I(f)、
Figure BDA0002562854410000063
求解能量最小化问题，最后得到高质量的图像I(f)。
通过事件相机重建示例，比较相机拍摄的图像、事件流及重建的结果，可见本发明方法能在去除图像运动模糊的同时降低图像噪声，重建出清晰图像。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于TV约束的事件相机图像重建方法，其特征在于，包括如下步骤：
步骤1，事件相机同时输出强度图像序列和事件流；
步骤2，对事件相机输出的每帧图像Yi，根据该帧的时间戳ti提取曝光时间[ti-T/2,ti+T/2]内的事件流，其中，T为曝光时间长度；
步骤3，建立事件双积分模型，该模型建立相机拍摄的图像、事件数据及清晰的瞬时强度图像之间的关系，实现方式如下，
构建事件相机捕获的图像Yi与重建的灰度图像序列以及曝光时间[ti-T/2,ti+T/2]内事件流之间线性的数学关系：
Figure FDA0003750107160000011
其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[ti-T/2,ti+T/2]处的图像强度，Ji(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号，τ为积分符号，exp()表示指数函数，e()表示事件；
步骤4，在事件双积分模型基础上引入TV正则项的分段光滑先验作为重建图像的空间约束，从而 建立图像重建的变分模型如下，
Figure FDA0003750107160000012
其中，
Figure FDA0003750107160000013
表示求空间梯度，
Figure FDA0003750107160000014
表示去噪后的双积分图像，λ、β分别表示正则项的权重；
步骤5，基于步骤4所得图像重建的变分模型，通过联合优化求解来重建出高质量的灰度图像序列。
2.根据权利要求1所述基于TV约束的事件相机图像重建方法，其特征在于：步骤5中，通过联合优化求解来重建出高质量的灰度图像序列时，利用基于***Bregman迭代的交替迭代最小化方式实现。
3.根据权利要求2所述基于TV约束的事件相机图像重建方法，其特征在于：迭代过程实现如下，
(1)首先固定
Figure FDA0003750107160000021
第k+1次迭代重建的强度图像Ik+1(f)的更新如下：
Figure FDA0003750107160000022
其中，
Figure FDA0003750107160000023
是第k次迭代的双积分图像；
(2)固定图像Ik+1(f)，第k+1次迭代的双积分图像
Figure FDA0003750107160000024
的更新如下：
Figure FDA0003750107160000025
在迭代收敛时重建出质量较高的强度图像。
4.根据权利要求1或2或3所述基于TV约束的事件相机图像重建方法，其特征在于：对任意帧图像Yi进行图像重建，重建的帧速率达到事件相机的触发速率。
5.一种基于TV约束的事件相机图像重建***，其特征在于：用于执行如权利要求1至4任一项所述基于TV约束的事件相机图像重建方法。
CN202010620396.5A 2020-06-30 2020-06-30 基于tv约束的事件相机图像重建方法及*** Active CN111798395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620396.5A CN111798395B (zh) 2020-06-30 2020-06-30 基于tv约束的事件相机图像重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010620396.5A CN111798395B (zh) 2020-06-30 2020-06-30 基于tv约束的事件相机图像重建方法及***

Publications (2)

Publication Number Publication Date
CN111798395A CN111798395A (zh) 2020-10-20
CN111798395B true CN111798395B (zh) 2022-08-30

Family

ID=72810782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620396.5A Active CN111798395B (zh) 2020-06-30 2020-06-30 基于tv约束的事件相机图像重建方法及***

Country Status (1)

Country Link
CN (1) CN111798395B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232356B (zh) * 2020-11-19 2023-09-22 中国人民解放军战略支援部队航天工程大学 一种基于合群度和边界特征的事件相机去噪方法
CN113067979A (zh) * 2021-03-04 2021-07-02 北京大学 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
CN113269699B (zh) * 2021-04-22 2023-01-03 天津(滨海)人工智能军民融合创新中心 基于异步事件流与灰度图像融合的光流估计方法与***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894550A (zh) * 2016-03-31 2016-08-24 浙江大学 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及***
CN110148159A (zh) * 2019-05-20 2019-08-20 厦门大学 一种基于事件相机的异步目标跟踪方法
CN110428477A (zh) * 2019-06-24 2019-11-08 武汉大学 一种不受速度影响的事件相机的成图方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037079A1 (en) * 2016-08-24 2018-03-01 Universität Zürich Simultaneous localization and mapping with an event camera
US11244464B2 (en) * 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN110503686A (zh) * 2019-07-31 2019-11-26 三星（中国）半导体有限公司 基于深度学习的物***姿估计方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894550A (zh) * 2016-03-31 2016-08-24 浙江大学 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及***
CN110148159A (zh) * 2019-05-20 2019-08-20 厦门大学 一种基于事件相机的异步目标跟踪方法
CN110428477A (zh) * 2019-06-24 2019-11-08 武汉大学 一种不受速度影响的事件相机的成图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation;Gottfried Munda;《International Journal of Computer Vision》;20180704;全文 *
低维流形约束下的事件相机去噪算法;江盟等;《信号处理》;20191031;第35卷(第10期);全文 *

Also Published As

Publication number Publication date
CN111798395A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Rebecq et al. High speed and high dynamic range video with an event camera
CN111798395B (zh) 基于tv约束的事件相机图像重建方法及***
Baldwin et al. Time-ordered recent event (tore) volumes for event cameras
Pan et al. High frame rate video reconstruction based on an event camera
Paredes-Vallés et al. Back to event basics: Self-supervised learning of image reconstruction for event cameras via photometric constancy
Zhang et al. Learning to restore hazy video: A new real-world dataset and a new method
CN111539884B (zh) 一种基于多注意力机制融合的神经网络视频去模糊方法
WO2020199831A1 (zh) 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
CN111798370B (zh) 基于流形约束的事件相机图像重建方法及***
Zhao et al. Super resolve dynamic scene from continuous spike streams
CN114245007B (zh) 一种高帧率视频合成方法、装置、设备和存储介质
Liu et al. Self-supervised linear motion deblurring
CN106251297A (zh) 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN111614965B (zh) 基于图像网格光流滤波的无人机视频稳像方法及***
Xiang et al. Learning super-resolution reconstruction for high temporal resolution spike stream
Haoyu et al. Learning to deblur and generate high frame rate video with an event camera
CN116579945B (zh) 一种基于扩散模型的夜间图像复原方法
Zhong et al. Real-world video deblurring: A benchmark dataset and an efficient recurrent neural network
Yuan et al. Single image dehazing via NIN-DehazeNet
Xin et al. Video face super-resolution with motion-adaptive feedback cell
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
Chen et al. Self-supervised joint dynamic scene reconstruction and optical flow estimation for spiking camera
US8823809B1 (en) Methods and systems for increasing image sensor sensitivity
Liu et al. Sensing diversity and sparsity models for event generation and video reconstruction from events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant