CN113538374B - 一种面向高速运动物体的红外图像模糊校正方法 - Google Patents
一种面向高速运动物体的红外图像模糊校正方法 Download PDFInfo
- Publication number
- CN113538374B CN113538374B CN202110799635.2A CN202110799635A CN113538374B CN 113538374 B CN113538374 B CN 113538374B CN 202110799635 A CN202110799635 A CN 202110799635A CN 113538374 B CN113538374 B CN 113538374B
- Authority
- CN
- China
- Prior art keywords
- image
- degradation
- fuzzy
- prior
- priori
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012937 correction Methods 0.000 title claims abstract description 19
- 230000015556 catabolic process Effects 0.000 claims abstract description 43
- 238000006731 degradation reaction Methods 0.000 claims abstract description 43
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 44
- 238000013441 quality evaluation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000012530 fluid Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向高速运动物体的红外图像模糊校正方法，具体如下：同步获取退化图像及当前退化图像对应的高速运动状态参数；根据高速运动状态参数，从先验退化函数库中选择先验退化函数；对退化图像进行特征显著性区域优选；定义基于先验信息约束的气动光学效应校正的最小化代价函数；利用金字塔原理求取不同尺度下的模糊核，通过先验模糊核对每层估计结果进行约束，得到图像尺度下的估计模糊核；根据估计的退化模糊核，通过非盲图像复原算法，得到校正后的图像；评价模糊核的估计质量，更新先验模糊核库。本发明基于气动理论模型和试验数据的先验知识，结合金字塔原理实现了对气动光学畸变图像的智能校正。
Description
技术领域
本发明属于气动光学、航天科技与信息处理相结合的交叉技术领域，特别是涉及一种面向高速运动物体的红外图像模糊校正方法。
背景技术
气动光学效应是一门交叉学科。搭载了光学成像***的飞行器在大气中高速飞行时，其头部的光学头罩和大气发生剧烈的相互作用，形成激波、膨胀波、湍流边界层等多种复杂的流场结构，对光学成像探测***造成气动热、热辐射和光学图像传输干扰效应，引起成像模糊、偏移和抖动，这种效应称为气动光学效应。飞行器速度越高,气动光学效应越严重，光学窗口周围的复杂流场导致光线传输介质折射率具有不均匀性，在光线传输时会造成波前畸变、抖动、偏移等效应，进而会严重降低成像质量，导致光学***接收到已畸变的模糊图像。因此，研究如何实现机载气动退化图像质量的校正，具有非常重要的价值。
传统的数字图像校正算法都是在退化函数已知的情况下进行校正的，即先确定点扩展函数或其参数，然后利用诸如逆滤波和维纳滤波这样的方法恢复图像。但是由气动光学效应引起的复杂流场，其点扩展函数是无法提前预知的，而且是随机变化的，难以确定其光学传递函数，因此目前针对图像的气动光学效应校正技术，主要是利用仅有的先验知识进行盲目卷积算法，缺点是适用性差，自适应能力差，稳定性难以保障，而且一般需要复杂的迭代计算，耗时较长。
发明内容
为了克服上述问题，本发明提供了一种面向高速运动物体的红外图像模糊校正方法。
本发明所采用的技术方案是：
一种面向高速运动物体的红外图像模糊校正方法，包括如下步骤：
步骤一：同步获取退化图像及当前退化图像对应的高速运动状态参数；
步骤二：根据高速运动状态参数，从退化函数库中选择初始化模糊核；
步骤三：对退化图像进行特征显著性区域优选：
步骤四：定义基于先验信息约束的气动光学效应校正的最小化代价函数：
步骤五：利用金字塔原理求取不同尺度下的模糊核，通过先验模糊核对每层估计结果进行约束，得到图像尺度下的估计模糊核；
步骤六：根据估计的退化模糊核，通过非盲图像复原算法，得到校正后的图像；
步骤七：评价退化图像与校正图像的质量，当图像质量提升数值大于阈值时，更新先验退化函数库，否则增加步骤五中金字塔求解的迭代次数，重新执行步骤二至步骤六处理过程。
其中，步骤二中先验退化函数库的生成方法具体如下：
首先通过流体建模、风洞实验的方法，得到典型高速运动状态参数下的气动光学效应强度参数σt；
通过拟合方法，得到强度参数σt与高速运动状态参数的连续映射关系，拟合方法包括多项式拟合、高斯拟合、最小二乘拟合；
建立气动光学效应连续退化函数模型：
其中，ωi为权重参数，σt为强度参数，xi和yi为偏移量控制参数；
设置n组典型高速运动状态参数输入退化函数模型，得到n个退化函数，组成先验退化函数库。
其中，步骤二中初始化模糊核选择方法具体如下：
读取输入的退化图像所携带的高速运动状态参数，包括速度；
通过线性加权求解最小化损失函数或非线性回归的方法，在先验模糊核库中选择最接近的状态参数对应的模糊核。
其中，步骤三中图像特征显著性区域优选方法采用基于显著性边缘优选方法，通过计算图像梯度矩阵的局部和，选择局部梯度和最大的图像区域为图像特征显著性区域；或者采用基于CRF学习框架下的显著性区域自动选择方法。
其中，步骤四中构建基于先验的代价函数的方法为：基于先验知识建立代价函数，将模糊核的估计问题转变成一个求解最优化问题，同时基于稀疏性的特性对图像和模糊核添加正则化约束项。
其中，步骤五中先验模糊核约束方法为：利用先验模糊核对模糊核的估计过程添加约束；模糊核先验项为通过L2正则化约束项，保证模糊核估计与先验模糊核之间残差的稀疏性，提高模糊核估计的准确程度。
其中，步骤六中非盲图像复原方法为基于Lucy的方法或者基于超拉普拉斯先验约束的方法。
其中，步骤七中质量评估方法为使用图像质量评价函数，对校正前后的图像进行计算，图像质量评价函数包括PSNR、SSIM或GMG。
其中，步骤七中更新先验退化函数库的方法为线性加权方法，更新的先验退化函数为：
PSFi'＝θ1·PSFi+θ2·PSFnew
其中，PSFi为原始的先验退化函数，PSFnew为当前估计的退化模糊核，参数θ1、θ2分别为两者的权重。
本发明的优点如下：
1、充分利用先验信息，相比传统的正则化方法，提高了模糊核估计的精度，克服了伪影和振铃问题；
2、本发明方法能够针对高速运动状态下的气动光学效应进行实时校正。
附图说明
图1是本发明所述一种面向高速运动物体的红外图像模糊校正方法的流程框图。
具体实施方式
下面对本发明作进一步的说明，但本发明并不局限于这些内容。
实施例
前期通过流体建模、风洞实验的方法，得到典型飞行状态下的气动光学效应强度参数；然后通过建立数学模型，得到飞行器飞行参数与退化函数的连续映射关系，获得气动光学效应退化模型，设置一组典型飞行参数输入，得到退化函数库。同步获取退化图像及当前退化图像对应的飞行器飞行参数，其中，根据输入的待处理退化图像对应的飞行器飞行参数，在模糊核库中选择飞行状态最接近的退化函数；同时，对输入的原始退化图像，求取局部梯度和，找出梯度和矩阵最大元素值，在梯度和矩阵中的x、y坐标，同时限制区域坐标值最大不超过图像大小，得到区域坐标；对坐标值进行四舍五入，得到最终显著性区域的四角坐标，根据坐标在原始退化图像中截取出特征显著性区域。对提取出的模糊图像的特征显著性区域，定义基于先验信息约束的气动光学效应校正的最小化代价函数：
其中x代表清晰图像，y代表模糊图，k代表点扩散函数PSF，γ、α和λ是正则化约束强度参数。第一项是似然项，保持x*k与观测数据y相似性。第二项和第三项是强度先验约束，分别用l2和l0范数正则化项表示，用来保持模糊核和图像的稀疏性。第四项是梯度先验约束，用来保证图像梯度的稀疏性。最后一项是先验模糊约束，模糊核先验项为通过L2正则化约束项，保证模糊核估计与先验模糊核之间残差的稀疏性，提高模糊核估计的准确程度。在迭代过程中，首先建立图像多分辨率金字塔，对模糊核和模糊图像下采样，从分辨率最低的最顶层图像x和模糊核k开始，交替迭代更新x和k。通过先验模糊核对每层估计结果进行约束，得到该层图像尺度下的估计模糊核，利用估计的模糊核k对模糊图像进行复原，对复原后的图像进行上采样，得到多分辨率金字塔下一层的潜在中间图像x，如此迭代下去，直到获得最精细的分辨率层级。根据估计的退化模糊核，通过超拉普拉斯非盲图像复原算法，得到校正后的图像。使用PSNR、SSIM或GMG等图像质量评价函数，对校正前后的图像进行计算。结果提升大于85％时，按照线性加权方法更新先验退化函数：
PSFi'＝θ1·PSFi+θ2·PSFnew
其中，PSFi为原始的先验退化函数，PSFnew为当前估计的退化模糊核，权重参数θ1、θ2分别设置为0.3和0.7。否则增加迭代次数，重新进行整个校正过程。
指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (5)
1.一种面向高速运动物体的红外图像模糊校正方法，其特征在于：包括如下步骤：
步骤一：同步获取退化图像及当前退化图像对应的高速运动状态参数；
步骤二：根据高速运动状态参数，从退化函数库中选择初始化模糊核；
先验退化函数库的生成方法具体如下：
首先通过流体建模、风洞实验的方法，得到典型高速运动状态参数下的气动光学效应强度参数σt；
通过采用多项式拟合、高斯拟合和最小二乘拟合三者的拟合方法，得到强度参数σt与高速运动状态参数的连续映射关系；
建立气动光学效应连续退化函数模型：
其中，ωi为权重参数，σt为强度参数，xi和yi为偏移量控制参数；
设置n组典型高速运动状态参数输入退化函数模型，得到n个退化函数，组成先验退化函数库；
初始化模糊核选择方法具体如下：
读取输入的退化图像所携带的高速运动状态参数，包括速度；
通过线性加权求解最小化损失函数或非线性回归的方法，在先验模糊核库中选择最接近的状态参数对应的模糊核；
步骤三：对退化图像进行特征显著性区域优选，图像特征显著性区域优选方法采用基于显著性边缘优选方法，通过计算图像梯度矩阵的局部和，选择局部梯度和最大的图像区域为图像特征显著性区域；或者采用基于CRF学习框架下的显著性区域自动选择方法；
步骤四：定义基于先验信息约束的气动光学效应校正的最小化代价函数，构建基于先验的代价函数的方法为：基于先验知识建立代价函数，将模糊核的估计问题转变成一个求解最优化问题，同时基于稀疏性的特性对图像和模糊核添加正则化约束项；
步骤五：利用金字塔原理求取不同尺度下的模糊核，通过先验模糊核对每层估计结果进行约束，得到图像尺度下的估计模糊核；
步骤六：根据估计的退化模糊核，通过非盲图像复原算法，得到校正后的图像；
步骤七：评价退化图像与校正图像的质量，当图像质量提升数值大于阈值时，更新先验退化函数库，否则增加步骤五中金字塔求解的迭代次数，重新执行步骤二至步骤六处理过程。
2.根据权利要求1所述的一种面向高速运动物体的红外图像模糊校正方法，其特征在于：所述的步骤五中先验模糊核约束方法为：利用先验模糊核对模糊核的估计过程添加约束；模糊核先验项为
3.根据权利要求1所述的一种面向高速运动物体的红外图像模糊校正方法，其特征在于：所述的步骤六中非盲图像复原方法为基于Lucy的方法或者基于超拉普拉斯先验约束的方法。
4.根据权利要求1所述的一种面向高速运动物体的红外图像模糊校正方法，其特征在于：所述的步骤七中质量评估方法为使用图像质量评价函数，对校正前后的图像进行计算，图像质量评价函数包括PSNR、SSIM或GMG。
5.根据权利要求1所述的一种面向高速运动物体的红外图像模糊校正方法，其特征在于：所述的步骤七中更新先验退化函数库的方法为线性加权方法，更新的先验退化函数为：
PSFi'＝θ1·PSFi+θ2·PSFnew
其中，PSFi为原始的先验退化函数，PSFnew为当前估计的退化模糊核，参数θ1、θ2分别为两者的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799635.2A CN113538374B (zh) | 2021-07-15 | 2021-07-15 | 一种面向高速运动物体的红外图像模糊校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799635.2A CN113538374B (zh) | 2021-07-15 | 2021-07-15 | 一种面向高速运动物体的红外图像模糊校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538374A CN113538374A (zh) | 2021-10-22 |
| CN113538374B true CN113538374B (zh) | 2023-11-28 |
Family
ID=78099397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110799635.2A Active CN113538374B (zh) | 2021-07-15 | 2021-07-15 | 一种面向高速运动物体的红外图像模糊校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538374B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793284B (zh) * | 2021-11-17 | 2022-03-15 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
| CN113962908B (zh) * | 2021-12-21 | 2022-05-10 | 武汉工程大学 | 气动光学效应大视场退化图像逐点校正复原方法及*** |
| CN114663304B (zh) * | 2022-03-16 | 2023-09-19 | 中国科学院光电技术研究所 | 一种基于稀疏先验的光学合成孔径***成像增强方法 |
| CN114529481B (zh) * | 2022-04-21 | 2022-07-26 | 武汉工程大学 | 气动光学热辐射效应校正方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236650A (zh) * | 2008-01-24 | 2008-08-06 | 上海交通大学 | 基于梯度加载优化的实时旋转模糊图像恢复方法 |
| CN106920220A (zh) * | 2017-02-24 | 2017-07-04 | 西北工业大学 | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 |
| CN107742278A (zh) * | 2017-10-25 | 2018-02-27 | 重庆邮电大学 | 结合l0范数和空间尺度信息的运动模糊图像盲复原方法 |
| CN108830802A (zh) * | 2018-05-16 | 2018-11-16 | 浙江大学 | 一种基于短曝图像梯度导向的图像模糊核估计方法 |
| WO2018227882A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京大学深圳研究生院 | 基于先验约束和离群值抑制的图像去模糊方法 |
| CN109919871A (zh) * | 2019-03-05 | 2019-06-21 | 重庆大学 | 基于图像和模糊核混合约束的模糊核估计方法 |
| CN110852973A (zh) * | 2019-11-12 | 2020-02-28 | 华中科技大学 | 一种脉冲噪声模糊图像非线性复原方法及*** |
| CN112132758A (zh) * | 2020-08-05 | 2020-12-25 | 浙江工业大学 | 基于非对称光学***点扩散函数模型的图像复原方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070286514A1 (en) * | 2006-06-08 | 2007-12-13 | Michael Scott Brown | Minimizing image blur in an image projected onto a display surface by a projector |
| JP5213670B2 (ja) * | 2008-01-16 | 2013-06-19 | 三洋電機株式会社 | 撮像装置及びぶれ補正方法 |
| JP2015115733A (ja) * | 2013-12-11 | 2015-06-22 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
-
2021
- 2021-07-15 CN CN202110799635.2A patent/CN113538374B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236650A (zh) * | 2008-01-24 | 2008-08-06 | 上海交通大学 | 基于梯度加载优化的实时旋转模糊图像恢复方法 |
| CN106920220A (zh) * | 2017-02-24 | 2017-07-04 | 西北工业大学 | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 |
| WO2018227882A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京大学深圳研究生院 | 基于先验约束和离群值抑制的图像去模糊方法 |
| CN107742278A (zh) * | 2017-10-25 | 2018-02-27 | 重庆邮电大学 | 结合l0范数和空间尺度信息的运动模糊图像盲复原方法 |
| CN108830802A (zh) * | 2018-05-16 | 2018-11-16 | 浙江大学 | 一种基于短曝图像梯度导向的图像模糊核估计方法 |
| CN109919871A (zh) * | 2019-03-05 | 2019-06-21 | 重庆大学 | 基于图像和模糊核混合约束的模糊核估计方法 |
| CN110852973A (zh) * | 2019-11-12 | 2020-02-28 | 华中科技大学 | 一种脉冲噪声模糊图像非线性复原方法及*** |
| CN112132758A (zh) * | 2020-08-05 | 2020-12-25 | 浙江工业大学 | 基于非对称光学***点扩散函数模型的图像复原方法 |
Non-Patent Citations (7)
| Title |
|---|
| A new type of fuzzy systems using pyramid membership functions (PMFs) and approximation properties;Mingzuo Jiang et.al;《Soft Computing》;全文 * |
| Dynamic PET Image Reconstruction Incorporating Multiscale Superpixel Clusters;Shuangliang Cao et.al;《IEEE Access》(第09期);全文 * |
| 基于大气湍流相关参数的图像复原方法研究;邹皓;《中国优秀硕士学位论文全文数据库（信息科技辑）》(第01期);全文 * |
| 基于波段选择估计PSF的高光谱图像运动模糊盲校正方法;南一冰;高昆;倪国强;;红外与毫米波学报(06);全文 * |
| 气动光学效应分析与气动模糊图像复原;杨文霞等;《光学学报》;第29卷(第02期);全文 * |
| 混合正则化约束的湍流退化图像复原算法;张姣;李俊山;隋中山;汪晓建;;激光与红外(07);全文 * |
| 结合仿射变换和多层B样条配准的湍流畸变图像校正;张姣;李俊山;杨亚威;;光学精密工程(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538374A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538374B (zh) | 一种面向高速运动物体的红外图像模糊校正方法 | |
| Pan et al. | Learning dual convolutional neural networks for low-level vision | |
| CN110097519B (zh) | 基于深度学习的双监督图像去雾方法、***、介质和设备 | |
| CN106920220B (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| CN105657402B (zh) | 一种深度图恢复方法 | |
| CN108549892B (zh) | 一种基于卷积神经网络的车牌图像清晰化方法 | |
| CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及*** | |
| CN105913392A (zh) | 复杂环境下退化图像综合质量提升方法 | |
| CN114418883B (zh) | 一种基于深度先验的盲图像去模糊方法 | |
| CN106339996B (zh) | 一种基于超拉普拉斯先验的图像盲去模糊方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN108198151A (zh) | 一种基于改进rl反卷积算法的星图去模糊方法 | |
| CN115358953B (zh) | 一种基于图像配准和动态目标融合的去湍流方法 | |
| CN109767404A (zh) | 一种椒盐噪声下红外图像去模糊方法 | |
| Shen et al. | Implicit euler ode networks for single-image dehazing | |
| CN114494015A (zh) | 基于盲超分辨率网络的图像重建方法 | |
| CN112837320A (zh) | 一种基于并行空洞卷积的遥感影像语义分割方法 | |
| CN113160179A (zh) | 一种基于动态区域卷积的图像去模糊方法 | |
| CN116363168A (zh) | 一种基于超分辨网络的遥感视频目标跟踪方法及*** | |
| CN112085674B (zh) | 基于神经网络的航拍图像去模糊算法 | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN116843544A (zh) | 一种高超声速流场导入卷积神经网络进行超分辨率重建的方法、***及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |