CN108960085B - 一种合成孔径雷达图像舰船目标候选区域快速提取方法 - Google Patents
一种合成孔径雷达图像舰船目标候选区域快速提取方法 Download PDFInfo
- Publication number
- CN108960085B CN108960085B CN201810634036.3A CN201810634036A CN108960085B CN 108960085 B CN108960085 B CN 108960085B CN 201810634036 A CN201810634036 A CN 201810634036A CN 108960085 B CN108960085 B CN 108960085B
- Authority
- CN
- China
- Prior art keywords
- target
- ship
- synthetic aperture
- aperture radar
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种合成孔径雷达(SAR)图像舰船目标候选区域快速提取方法,涉及遥感领域中的合成孔径雷达(SAR)目标智能解译领域。主要包括以下步骤:1)利用分块均值迭代方法计算阈值,对输入SAR影像I海洋杂波进行一次过滤;2)利用分块核密度估计,采用大阈值二次滤除强海洋杂波;3)利用种子点生长复原目标被滤除部分,标记所有舰船候选目标,生成舰船目标候选区域切片。本发明可以有效清除强海洋杂波干扰,精准获取海上舰船目标候选区域,具有运算速度快、泛化能力强的优点,比CFAR算法运行速度快10倍以上。
Description
技术领域
本发明涉及合成孔径雷达(简称SAR)海上目标智能解译领域,尤其是一种SAR图像舰船目标候选区域提取方法,实现SAR舰船目标候选区域切片快速生成,可适用于基于深度学习的SAR舰船目标检测***,具有运算速度快、泛化能力强的优点。
技术背景
随着深度学***相对以往有较明显的提高,特别是SAR海上舰船目标智能检测技术。由于深度学习模型运算量大,对单张切片的检测耗时往往远大于传统算法,特别是faster-RCNN等基于候选区域的卷积神经网络模型。因此,目前基于深度学习的SAR海上舰船目标智能检测技术需要先通过传统算法提取目标的候选区域,以降低模型对大幅场景的检测范围,从而提高深度学习模型对大幅场景的检测速度。
目前的SAR舰船目标候选区域提取的方法主要是借助恒虚警率检测(CFAR)算法。该算法通过对海杂波进行建模,利用CFAR检测器估计海杂波模型参数,并通过设定的恒虚警率滤除海杂波。然而,CFAR算法存在以下缺点:
1)CFAR算法输入参数较多,针对不同卫星、不同分辨率的SAR图像,都需要重新调整参数;
2)CFAR需要进行大量的海杂波模型参数计算,运算量较大;
3)CFAR虚警率依赖人工经验选择;
4)CFAR仅对杂波分布建模,会对被检目标构成一定的漏检风险;
本发明利用均值迭代方法计算阈值,对海洋杂波进行一次过滤,该步骤计算速度比CFAR算法提高10倍以上,针对不同卫星和不同分辨率的SAR图像无需调参,针对强海洋杂波场景不漏检目标;通过分块核密度估计、大阈值二次滤除强海洋杂波、种子点生长复原目标等操作,可以有效清除强海洋杂波干扰,快速、精准获取海上舰船目标候选区域。
发明内容
为了克服已有SAR图像舰船目标候选区域算法泛化能力差、运算量较大的不足,本发明提供一种合成孔径雷达图像舰船目标候选区域快速提取方法,具有运算速度快、泛化能力强的优点。
本发明解决其技术问题所采用的技术方案是:
一种合成孔径雷达图像舰船目标候选区域快速提取方法,所述的提取方法包括以下步骤:
(1)将输入SAR影像的亮度矩阵记为I,按b×b对I进行分块处理;其中,b=min{检测舰船目标长度}/影像分辨率;
(2)计算所有分块中元素的均值,并将所有分块中亮度小于均值的点的亮度值更新为均值;
(3)重复步骤(2)设定次数n,利用OTSU算法对迭代更新n次后的结果进行二值处理,获得海杂波粗过滤结果,记为A;
(4)对海杂波粗过滤结果A按c×c进行分块处理,依次估计每个c×c分块的核密度;利用设定阈值Th1,滤除核密度估计结果中小于阈值Th1的分块,结果记为B;其中,c=min{检测舰船目标宽度}/影像分辨率;
(5)将B与A进行矩阵点乘运算,获得舰船候选目标的种子点;利用种子点生长算法重建舰船候选目标,并以重建舰船候选目标的形心为中心,裁切获得舰船候选目标候选区域切片。
其中,步骤(3)中参数n的取值范围是5~20。
其中,步骤(4)中核密度估计的方法如下:记A中第l个c×c分块为Ωl,则Ωl的核密度K(Ωl)为:
其中,步骤(4)中设定阈值Th1取值范围为:Th1∈(0.2~0.3)。
其中,步骤(5)中,利用种子点生长算法重建舰船候选目标,其重建方法如下:以B、A矩阵点乘运算结果中的非零点为种子点,以矩阵A为生长目标区域,通过种子点生长算法重建潜在原始目标。
本发明具备以下技术优势:
1)利用均值迭代方法计算阈值,对海洋杂波进行一次过滤,该步骤计算速度比CFAR算法快两个数量级,针对不同卫星和不同分辨率的SAR图像无需调参,针对强海洋杂波场景不漏检目标;
2)通过分块核密度估计、大阈值二次滤除强海洋杂波、种子点生长复原目标等操作,可以有效清除强海洋杂波干扰,快速、精准获取海上舰船目标候选区域。
附图说明
图1是本发明实现框图;
图2是本发明1m分辨率TerraSAR图片;
图3是本发明一次滤除海杂波中间过程;
图4是本发明大阈值滤除海杂波结果;
图5是本发明种子点生长使用的三种邻域模板。
具体实施方式
参见附图1)~5),进一步详细说明本发明的内容:
本发明一种合成孔径雷达图像舰船目标候选区域快速提取方法,如图1所示包括以下步骤:
1)利用均值迭代方法计算阈值,对输入SAR影像I海洋杂波进行一次过滤;所述的,对海洋杂波进行一次过滤,具体操作如下所述:
1.1)图2为输入SAR影像I,按b×b对I进行分块处理,其中,b=min{检测舰船目标长度}/影像分辨率;
1.2)记当前处理单元块为Ω,计算Ω单元块内元素均值,记为Mean;
1.3)更新Ω单元块内元素值,更新操作如下:
1.4)重复1.2)~1.3)操作,重复n次,其中n取5~15,为固定参数;
进一步分析,假设现假设舰船目标区域的亮度值均为M1,像素点数量为N1,记舰船目标集合为Π(M1,N1),表示N1个亮度值为M1的像素点的数量;分别统计不同亮度的海杂波,并用{Π(Mj,Nj)|j=2,3,…}描述海杂波模型;Π(M1,N1)与Π(Mj,Nj)构成的局部区域集合记为H~Π(Mi,Ni),i=1,2,3,…,且M1≥Mi。
集合H的亮度均值记为Mean:
迭代更新集合{(Mi,Ni)},更新规则如下:
多次迭代计算可使得Mean值逐渐逼近舰船目标。为了分析方便,假设海杂波亮度值服从均匀分布,Π{(Mi,Ni)}集合退化为Π(M2,N2)。由式(2)可得:
其中,ΔM=M1-M2,N=N1+N2。
n次迭代后,Meann取值为:
由式(4)分析可知,Meann以负指数曲线逼近M1。由此可知,Π{(Mi,Ni)}计算得到的Meann将以近似成负指数曲线逼近M1。
由以上推导可知,Meann值取决于目标的亮度值、目标与海杂波的亮度差以及目标区域占Ω单元块的比值。根据SAR图像的成像机理可知,舰船目标与海杂波的亮度存在较明显差异,CFAR算法的实现也是基于这一基本事实。通过以上推导可以看出Meann始终小于目标亮度值,因此本发明利用1.2)~1.4)操作滤除海杂波的同时,不会漏掉目标。参见图3,图3所示为重复1.2)~1.3)操作n次后,Ω单元块取值情况。
1.5)利用OTSU算法对Ω单元块进行二值化。其中,Ω单元块经二值化操作后变为0-1矩阵;
1.6)对所有单元块依次执行步骤1.2)~1.5),获得海杂波粗过滤结果,记为A;
进一步分析,所述的步骤1)计算复杂度低,通过矩阵加减运算即可实现。实测处理5000*1000的宽幅SAR影像,迭代10次,仅需20ms;而CFAR算法处理5000*1000的宽幅SAR影像,采用最简单的高斯分布,仍需9.8s时间。可见,本发明海杂波一次过滤运行速度比CFAR算法高2个量级以上。
2)利用分块核密度估计,采用大阈值二次滤除强海洋杂波;具体操作如下所示:
2.1)对杂波滤除结果A按c×c进行分块处理;其中,
c=min{检测舰船目标宽度}/影像分辨率
2.2)记当前处理单元块为Ωl,以Ωl内元素的均值估计Ωl的核密度,其核密度估计公式为:
2.3)选择大阈值Th1滤除Ωl内的强海杂波,滤除更新操作如下:
其中,Th1取值为0.2~0.3;
2.4)依次对所有区块执行2.3)~2.4)步骤,结果记为B,滤除结果参见图4;
用大阈值滤除小密度分块,只保护舰船目标主干区域;丢失的舰船目标部分,利用种子点生长算法复原。
3)利用种子点生长复原目标被滤除部分,标记所有舰船候选目标;该步骤具体操作如下:
3.1)将B与A进行矩阵点乘运算,获得舰船候选目标的种子点;由于矩阵A是一个稀疏的0-1矩阵,且目标信息完整,因此可以在矩阵A中执行种子点生长操作,复原B中目标缺失部分;
3.2)参见图5,考虑到高分辨率目标可能出现区域断裂的情况,针对不同的分辨率选择使用不同的邻域模板,a为10米分辨率模板,b为3-5米分辨率模板,c为1-2米分辨率模板,记种子点为(i,j),邻域模板为M,种子点集合记为C,则种子点生长算法可以描述为:
3.3)对B中所有目标区域执行复原操作后,计算出目标的外包矩形,并标记所有舰船候选目标。
Claims (5)
1.一种合成孔径雷达图像舰船目标候选区域快速提取方法,其特征在于:所述的快速提取方法包含以下步骤:
(1)将输入SAR影像的亮度矩阵记为I,按b×b对I进行分块处理;其中,b=min{检测舰船目标长度}/影像分辨率;
(2)计算所有分块中元素的均值,并将所有分块中亮度小于均值的点的亮度值更新为均值;
(3)重复步骤(2)设定次数n,利用OTSU算法对迭代更新n次后的结果进行二值处理,获得海杂波粗过滤结果,记为A;
(4)对海杂波粗过滤结果A按c×c进行分块处理,依次估计每个c×c分块的核密度;利用设定阈值Th1,滤除核密度估计结果中小于阈值Th1的分块,结果记为B;其中,c=min{检测舰船目标宽度}/影像分辨率;
(5)将B与A进行矩阵点乘运算,获得舰船候选目标的种子点;利用种子点生长算法重建舰船候选目标,并以重建舰船候选目标的形心为中心,裁切获得舰船候选目标候选区域切片。
2.根据权利要求1所述的一种合成孔径雷达图像舰船目标候选区域快速提取方法,其特征在于:步骤(3)中参数n的取值范围是5~20。
4.根据权利要求1所述的一种合成孔径雷达图像舰船目标候选区域快速提取方法,其特征在于:步骤(4)中设定阈值Th1取值范围为:Th1∈(0.2~0.3)。
5.根据权利要求1所述的一种合成孔径雷达图像舰船目标候选区域快速提取方法,其特征在于:步骤(5)中,利用种子点生长算法重建舰船候选目标,其重建方法如下:以B、A矩阵点乘运算结果中的非零点为种子点,以矩阵A为生长目标区域,通过种子点生长算法重建潜在原始目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810634036.3A CN108960085B (zh) | 2018-06-20 | 2018-06-20 | 一种合成孔径雷达图像舰船目标候选区域快速提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810634036.3A CN108960085B (zh) | 2018-06-20 | 2018-06-20 | 一种合成孔径雷达图像舰船目标候选区域快速提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108960085A CN108960085A (zh) | 2018-12-07 |
CN108960085B true CN108960085B (zh) | 2021-10-01 |
Family
ID=64491799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810634036.3A Active CN108960085B (zh) | 2018-06-20 | 2018-06-20 | 一种合成孔径雷达图像舰船目标候选区域快速提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960085B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096829A (zh) * | 2011-01-06 | 2011-06-15 | 西北工业大学 | 基于迭代最优化距离分类的空间弱小目标检测方法 |
CN102722878A (zh) * | 2012-06-13 | 2012-10-10 | 西安电子科技大学 | 基于目标提取和ppb算法的sar图像去斑方法 |
CN103942803A (zh) * | 2014-05-05 | 2014-07-23 | 北京理工大学 | 基于sar图像的水域自动检测方法 |
CN104036239A (zh) * | 2014-05-29 | 2014-09-10 | 西安电子科技大学 | 基于特征融合和聚类的高分辨sar图像快速舰船检测方法 |
CN105719258A (zh) * | 2016-01-28 | 2016-06-29 | 河南师范大学 | 最小十字窗中值与均值迭代滤波的图像噪声滤除方法 |
CN106170819A (zh) * | 2014-12-26 | 2016-11-30 | 中国海洋大学 | 一种合成孔径雷达图像舰船目标快速检测方法 |
CN107657272A (zh) * | 2017-09-14 | 2018-02-02 | 中国电子科技集团公司第五十四研究所 | 一种遥感图像海上目标检测方法 |
CN107808383A (zh) * | 2017-10-13 | 2018-03-16 | 上海无线电设备研究所 | 一种强海杂波下sar图像目标快速检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2780595A1 (en) * | 2011-06-22 | 2012-12-22 | Roman Palenychka | Method and multi-scale attention system for spatiotemporal change determination and object detection |
KR20130103217A (ko) * | 2012-03-09 | 2013-09-23 | 삼성전자주식회사 | 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법 |
-
2018
- 2018-06-20 CN CN201810634036.3A patent/CN108960085B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096829A (zh) * | 2011-01-06 | 2011-06-15 | 西北工业大学 | 基于迭代最优化距离分类的空间弱小目标检测方法 |
CN102722878A (zh) * | 2012-06-13 | 2012-10-10 | 西安电子科技大学 | 基于目标提取和ppb算法的sar图像去斑方法 |
CN103942803A (zh) * | 2014-05-05 | 2014-07-23 | 北京理工大学 | 基于sar图像的水域自动检测方法 |
CN104036239A (zh) * | 2014-05-29 | 2014-09-10 | 西安电子科技大学 | 基于特征融合和聚类的高分辨sar图像快速舰船检测方法 |
CN106170819A (zh) * | 2014-12-26 | 2016-11-30 | 中国海洋大学 | 一种合成孔径雷达图像舰船目标快速检测方法 |
CN105719258A (zh) * | 2016-01-28 | 2016-06-29 | 河南师范大学 | 最小十字窗中值与均值迭代滤波的图像噪声滤除方法 |
CN107657272A (zh) * | 2017-09-14 | 2018-02-02 | 中国电子科技集团公司第五十四研究所 | 一种遥感图像海上目标检测方法 |
CN107808383A (zh) * | 2017-10-13 | 2018-03-16 | 上海无线电设备研究所 | 一种强海杂波下sar图像目标快速检测方法 |
Non-Patent Citations (6)
Title |
---|
An Adaptive Ship Detection Scheme for Spaceborne SAR Imagery;Xiangguang Leng等;《Sensors (Basel, Switzerland)》;20160823;第16卷(第9期);第1-22页 * |
一种基于多极化散射机理的极化SAR图像舰船目标检测方法;文伟等;《电子与信息学报》;20171231;第39卷(第1期);第103-109页 * |
均值加速中值滤波算法;吴储彬;《江苏技术师范学院院报》;20070314;第12卷(第6期);第102-106页 * |
基于分块预判断的SAR图像舰船目标检测方法;樊庆聚等;《太赫兹科学与电子信息学报》;20160630;第14卷(第3期);第378-384页 * |
基于区域生长的SAR图像目标检测方法研究;王义敏等;《计算机应用》;20090131;第29卷(第1期);第45-46页 * |
基于复杂背景的光学遥感图像舰船目标检测技术;金文超;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20140415;第I140-699页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108960085A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
CN110298211B (zh) | 一种基于深度学习和高分辨率遥感影像的河网提取方法 | |
Martinis et al. | Unsupervised extraction of flood-induced backscatter changes in SAR data using Markov image modeling on irregular graphs | |
Melgani | Contextual reconstruction of cloud-contaminated multitemporal multispectral images | |
Chang et al. | Estimation of riverbed grain-size distribution using image-processing techniques | |
Kang et al. | Fog model-based hyperspectral image defogging | |
Yang et al. | Ocean front detection from instant remote sensing SST images | |
CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
CN116486288A (zh) | 基于轻量级密度估计网络的航拍目标计数与检测方法 | |
CN114648547B (zh) | 用于反无人机红外探测***的弱小目标检测方法和装置 | |
Oehmcke et al. | Creating cloud-free satellite imagery from image time series with deep learning | |
Wahbi et al. | A deep learning classification approach using high spatial satellite images for detection of built-up areas in rural zones: Case study of Souss-Massa region-Morocco | |
Xu et al. | COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences | |
Liu et al. | Thick cloud removal under land cover changes using multisource satellite imagery and a spatiotemporal attention network | |
Tavus et al. | A cnn-based flood mapping approach using sentinel-1 data | |
Petrou et al. | Prediction of sea ice motion with recurrent neural networks | |
Cresson et al. | Comparison of convolutional neural networks for cloudy optical images reconstruction from single or multitemporal joint SAR and optical images | |
Courbot et al. | Sparse analysis for mesoscale convective systems tracking | |
CN117011542A (zh) | 基于时间序列影像的遥感影像厚云去除方法、***和设备 | |
CN112785629A (zh) | 一种基于无监督深度光流网络的极光运动表征方法 | |
CN108960085B (zh) | 一种合成孔径雷达图像舰船目标候选区域快速提取方法 | |
Vukadinov et al. | An algorithm for coastline extraction from satellite imagery | |
Zhu et al. | Annotating only at definite pixels: A novel weakly supervised semantic segmentation method for sea fog recognition | |
Raj et al. | A novel Ship detection method from SAR image with reduced false alarm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |