CN114529836A - 一种sar图像目标检测方法 - Google Patents
一种sar图像目标检测方法 Download PDFInfo
- Publication number
- CN114529836A CN114529836A CN202210170355.XA CN202210170355A CN114529836A CN 114529836 A CN114529836 A CN 114529836A CN 202210170355 A CN202210170355 A CN 202210170355A CN 114529836 A CN114529836 A CN 114529836A
- Authority
- CN
- China
- Prior art keywords
- network
- sar image
- target detection
- image target
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种SAR图像目标检测方法,包括:为了解决SAR目标轮廓不清晰和多尺度问题,所述SAR图像目标检测网络的基准网络采用YOLOX网络,引入了无锚框的检测框架,在此基础上对其骨干网络进行了重新的轻量化设计,即NLCNet网络,包括对网络尾部的SE模块进行了删除,并对深度可分离卷积进行了重新的堆叠,同时在网络尾部使用了大的卷积核,从而获取图像的全局信息;针对SAR目标的强散射特性,在骨干网络中设计了一种新的位置注意力机制,细节是在不同空间方向上,将SE模块的全局池化操作替换为两个一维池化操作,形成两个独立的分支,能够更好的在通道注意力中添加位置信息来抑制背景杂波,从而更加准确的识别和定位目标;该方法具有较快的检测速度和精度。
Description
技术领域
本发明涉及目标检测技术领域,具体涉及一种SAR图像目标检测方法。
背景技术
合成孔径雷达(SAR)是捕获合成孔径雷达(SAR)图像的主要手段, 具有全天候、全天时的特点,且不受天气或其他成像特性的影响。随着工具、 信息和技术的快速更新,可以获得大量的SAR图像。由于SAR成像的图像 特殊性,人工解译费时费力,大量数据没有得到充分利用。SAR图像目标检 测是一种从图像中自动定位和识别特定目标的技术,在现实生活中具有广泛 的应用前景。例如,在军事领域,对特定军事目标的位置进行检测有利于战术部署同时也可以提高预警能力。在民用领域,可以在海上发现一些走私和 非法渔船,有助于对海上运输的监测和管理。
详细研究发现,目前的SAR目标检测任务仍存在以下问题需要解决:
(1)现有的SAR图像检测算法主要是基于锚框的设计。然而,锚框超 参数的设置很大程度上依赖于人类的经验,生成的锚框大大降低了模型的训 练速度。此外,锚框检测算法多侧重于目标边缘信息的捕获,而SAR图像 轮廓信息不清晰,尤其是中小型SAR目标,极大地限制了其检测效率。
(2)为了进一步提高精度,大多数现有的算法盲目增加了模型结构和最 新技术,导致了大量的模型参数,在实际应用中,这样的算法推理速度慢、 效率低下,不利于在移动设备上的部署模型,大大降低了模型的实用性。
(3)现有工作没有考虑SAR图像的散射和目标轮廓不清晰的问题,导致 算法无法更好地抑制背景杂波,强调目标的显著信息,大大降低了模型性能。
为此,本发明提出一种SAR图像目标检测方法。
发明内容
为解决上述问题,本发明提供一种SAR图像目标检测方法,该方法可 以更好的平衡SAR目标检测的精度和速度。
本发明提供了如下的技术方案。
一种SAR图像目标检测方法,包括以下步骤:
获取待检测的SAR图像;
构建SAR图像目标检测网络;所述SAR图像目标检测网络的基准网络 采用YOLOX网络,引入无锚框的检测框架;对所述SAR图像目标检测网 络的骨干网络进行轻量化设计,更改为基于LCNet网络的NLCNet网络;
其中,所述NLCNet网络的尾部的SE模块删除,并对所述NLCNet网 络的深度可分离卷积进行重新的堆叠,所述NLCNet网络尾部的卷积核大于 原LCNet网络;在所述骨干网络中引入位置增强注意力机制;
将获取待检测的SAR图像输入至训练后的SAR图像目标检测网络中, 获得SAR图像的目标检测结果。
优选地,所述位置增强注意力机制,包括以下步骤:
输入特征图X,在垂直和水平两个方向上进行两个一维全局池化,形成 两个具有方向感知的独立的特征图;
将生成的两个具有特定方向信息的特征图进行编码,形成两个注意图;
将两个注意图在其空间方向上分别进行卷积运算,使用卷积函数F进行 变换,从而生成中间特征图;
两个中间特征图沿着空间维度通过另外两个1x1卷积变换转换为与输 入特征图X具有相同通道数的张量;
将两个张量应用于位置增强注意块,输出带有位置信息的特征图。
优选地,所述两个具有方向感知的独立的特征图的获取,包括以下步骤:
池化核的空间范围为(H,1)或(1,W),通道c在高度h处的输出表示为:
在宽度w处,通道c的输出表示为:
优选地,所述中间特征图的生成,包括:
式中,δ为非线性激活函数,Bn为batchnorm操作,fh和fw为中间特征 图。
优选地,所述两个中间特征图沿着空间维度通过另外两个1x1卷积变换 转换为与输入特征图X具有相同通道数的张量,包括以下步骤:
通过另外两个1x1卷积变换Fh和Fw,沿着空间维度将fh和fw转换为与 输入特征图X具有相同通道数的张量:
gh=σ(Fh(fh))
gw=σ(Fw(fw))
其中,σ为sigmoid函数;
将输出gh和gw应用于位置增强注意块:
式中,xc表示注意力机制的输入特征图,yc表示注意力机制的输出特征 图。
优选地,所述NLCNet网络尾部的卷积核大小为5X5。
本发明的有益效果:
(1)针对基于锚的目标检测算法高度依赖专家经验设计的框架问题, 以及解决SAR图像目标轮廓信息不清晰、背景复杂等问题的困难,本发明 引入了一种无锚目标检测算法,将最新的YOLOX作为基础网络,用LCNet 取代骨干Darknet-53,然后根据SAR目标特性进行优化设计,从而更好的平 衡速度和精度。
(2)为了平衡速度和模型复杂度,本发明通过深度可分离卷积模块的 巧妙设计,SE模块的删除和多模块的新颖结构构造,构建了一种新的轻量 级主干NLCNet,该算法大大提高了推理速度和检测精度。
(3)为了提高复杂背景下SAR目标的定位能力,本发明设计了一种位 置增强注意策略,该策略是通过添加目标位置感知信息,引导注意力更好地 突出目标区域,从而有效抑制SAR目标强散射导致特征提取不足的问题, 更好地检测复杂背景下的目标,从而提高检测精度。
附图说明
图1是本发明实施例的整体框架图,NLCNet网络中的序号1-6表示每 个block的输出特征图;
图2是本发明实施例的NLCNet骨干网络细节示意图;
图3是本发明实施例的结构对比的经典SE通道注意块和位置增强注意 块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及 实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施 例仅用以解释本发明,并不用于限定本发明。
实施例1
本发明的一种SAR图像目标检测方法,如图1-3所示,包括以下步骤:
S1:为了解决SAR目标轮廓不清晰和多尺度问题,所述SAR图像目标 检测网络的基准网络采用YOLOX网络,引入了无锚框的检测框架;
在此基础上对其骨干网络进行了重新的轻量化设计,即NLCNet网络;
细节包括对网络尾部的SE模块进行了删除,并对深度可分离卷积进行 了重新的堆叠,同时使用H-Swish作为NLCNet网络的激活函数;
S2:针对SAR目标的强散射特性,在骨干网络中设计了一种新的位置 增强注意力机制(PEA);
细节是在不同空间方向上,将SE模块的全局池化操作替换为两个一维 池化操作,形成两个独立的分支,能够更好的在通道注意力中添加位置信息 来抑制背景杂波,从而更加准确的识别和定位目标;
具体的,YOLOX是YOLO系列中第一个应用无锚模式的模型。具体操 作是直接将真值框投影到特征图的中心位置的3×3区域,并定义为正样本 区域,同时预测目标位置的四个数值(左上角偏移的距离以及框的高和宽)。 本发明对YOLOX骨干网进行了重新设计:
现有的YOLO系列主干大多使用DarkNet-53和CSPNet架构。这样的 主干在检测效果上通常很好,但在推理速度上仍有欠缺。为此,根据SAR 目标的特点,将骨干网络进行轻量型设计,即NLCNet,以更好地平衡速度 和准确性。NLCNet使用深度可分离卷积作为基本块,本发明重新组织和堆 叠这些区块,同时删除尾部的SE模块以及在网络尾部使用了大的卷积核, 从而形成一个新的骨干网络。该网络在以下两个方面进行了改进:SE模块的 删除和卷积核尺寸选择。NLCNet的结构细节如图2所示。
(1)SE模块的删除
SE模块广泛用于许多网络中。它可以帮助模型对网络中的通道进行加 权以获得更好的特征。但是,我们不能盲目的在模型中加入SE模块,因为 不是所有的模型添加SE模块都会更有效。本发明在LCnet的基础上,在后 续的实验中去掉SE模块,模型的准确率不仅没有降低,而且模型的参数也 比较小。具体细节如表1所示。
表1 NLCNet网络细节
(2)卷积核尺寸选择
有实验表明,不同大小的卷积会对网络性能产生一定的影响。卷积核越 大,卷积过程中的感受野越大,越有利于构建目标的全局信息。因此,本发 明选择使用较大的卷积核。实验发现,将大卷积核放置在网络的尾部是最好 的选择,因为这两种方法的性能相当于替换了网络的所有层(即每层使用一 个5x5的卷积核)。因此,这种替换只在网络的末端执行。通过简单的叠加, SE模块的删除和使用相应的技术的应用,本发明使用的轻量级主干在SSDD 数据集上取得了一定的精度提高,同时参数数量也明显减少。由此可见, NLCNet的优势是明显的。
本发明引入了位置增强注意力机制,它可以将目标在图像中的位置信息 嵌入到通道注意中,使移动网络能够获取图像的大部分区域,从而有效地、 充分地利用图像信息,同时也可以维护远程依赖关系,并且这个过程的计算 开销相对较低。具体细节如图3所示。
具体的:
在通道注意中,图像中的空间信息通常可以通过全局池化操作得到,因 此可以建立通道之间的联系,但在此过程中,位置信息会丢失,这是对全局 信息进行压缩的结果,但是,位置信息是特征提取需要利用的一部分。为了 解决这一问题,位置注意力机制在二维全局池化中进行相应的改变,将原始 的通道注意分割,形成两个一维全局池化操作。具体来说,给定输入X,用 两个一维全局池化操作对水平方向和垂直方向的每个通道进行编码,池化核 的大小为(H,1)或(1,W),通道c在高度H处的输出表示为:
在宽度W处,通道c的输出表示为:
通过上述变换,可以在两个空间方向上聚合输入特征,得到两个具有方 向性感知特征的特征图。这两个特征映射不仅使对应的注意力模块保存特征 之间的远程依赖关系,还可以在空间方向上保持准确的位置信息,从而帮助 网络更准确地检测目标。
如上所述,上述两式支持一个全局的接受域,并对精确的位置信息进行 编码。将两个注意图在其空间方向上分别进行卷积运算,使用卷积函数F进 行变换,从而生成中间特征图:
式中,δ为非线性激活函数,Bn为batchnorm操作,fh和fw为中间特征 图;
通过另外两个1x1卷积变换Fh和Fw,沿着空间维度将fh和fw转换为与 输入X具有相同通道数的张量:
gh=σ(Fh(fh))
gw=σ(Fw(fw))
其中,σ为sigmoid函数;
将输出gh和gw应用于位置增强注意块:
式中,xc表示注意力机制的输入特征图,yc表示注意力机制的输出特征 图。
位置注意力增强机制Position-enhanced attention考虑了空间信息的编码, 如上所述,沿水平方向和垂直方向的注意力同时应用于输入张量。这种编码 过程可以使Position-enhanced attention更准确地定位图像中的目标位置,从 而有助于更好地识别整个模型。
本发明提出了一种新的轻量级位置增强无锚框SAR目标检测算法,其 可以在保证精度的同时,提高模型推理速度,可以为SAR图像目标检测领 域的研究人员提供参考价值。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明 的保护范围之内。
Claims (6)
1.一种SAR图像目标检测方法,其特征在于,包括:
获取待检测的SAR图像;
构建SAR图像目标检测网络;所述SAR图像目标检测网络的基准网络采用YOLOX网络,引入无锚框的检测框架;对所述SAR图像目标检测网络的骨干网络更改为基于LCNet网络的NLCNet网络;
其中,所述NLCNet网络的尾部的SE模块删除,并对所述NLCNet网络的深度可分离卷积进行重新的堆叠,所述NLCNet网络尾部的卷积核大于原LCNet网络;在所述骨干网络中引入位置增强注意力机制;
将获取待检测的SAR图像输入至训练后的SAR图像目标检测网络中,获得SAR图像的目标检测结果。
2.根据权利要求1所述的SAR图像目标检测方法,其特征在于,所述位置增强注意力机制,包括以下步骤:
输入特征图X,在垂直和水平两个方向上进行两个一维全局池化,形成两个具有方向感知的独立的特征图;
将生成的两个具有特定方向信息的特征图进行编码,形成两个注意图;
将两个注意图在其空间方向上分别进行卷积运算,使用卷积函数F进行变换,从而生成中间特征图;
两个中间特征图沿着空间维度通过另外两个1x1卷积变换转换为与输入特征图X具有相同通道数的张量;
将两个张量应用于位置增强注意块,输出带有位置信息的特征图。
6.根据权利要求1所述的SAR图像目标检测方法,其特征在于,所述NLCNet网络尾部的卷积核大小为5X5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210170355.XA CN114529836B (zh) | 2022-02-23 | 2022-02-23 | 一种sar图像目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210170355.XA CN114529836B (zh) | 2022-02-23 | 2022-02-23 | 一种sar图像目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114529836A true CN114529836A (zh) | 2022-05-24 |
CN114529836B CN114529836B (zh) | 2022-11-08 |
Family
ID=81625431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210170355.XA Active CN114529836B (zh) | 2022-02-23 | 2022-02-23 | 一种sar图像目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114529836B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152633A (zh) * | 2023-04-18 | 2023-05-23 | 天津大学 | 一种基于空间特征表示的目标检测网络的检测方法和*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428550A (zh) * | 2019-11-29 | 2020-07-17 | 长沙理工大学 | 一种基于改进YOLOv3的车辆检测方法 |
CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及*** |
CN112750129A (zh) * | 2021-03-11 | 2021-05-04 | 湘潭大学 | 一种基于特征增强位置注意力机制的图像语义分割模型 |
CN113076992A (zh) * | 2021-03-31 | 2021-07-06 | 武汉理工大学 | 一种生活垃圾检测方法及装置 |
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
CN113903022A (zh) * | 2021-09-23 | 2022-01-07 | 山东师范大学 | 基于特征金字塔与注意力融合的文本检测方法及*** |
CN113919444A (zh) * | 2021-11-10 | 2022-01-11 | 北京市商汤科技开发有限公司 | 目标检测网络的训练方法、目标检测方法及装置 |
CN113988197A (zh) * | 2021-11-03 | 2022-01-28 | 山东新一代信息产业技术研究院有限公司 | 基于多相机、多激光雷达的联合标定及目标融合检测方法 |
-
2022
- 2022-02-23 CN CN202210170355.XA patent/CN114529836B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428550A (zh) * | 2019-11-29 | 2020-07-17 | 长沙理工大学 | 一种基于改进YOLOv3的车辆检测方法 |
CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及*** |
CN112750129A (zh) * | 2021-03-11 | 2021-05-04 | 湘潭大学 | 一种基于特征增强位置注意力机制的图像语义分割模型 |
CN113076992A (zh) * | 2021-03-31 | 2021-07-06 | 武汉理工大学 | 一种生活垃圾检测方法及装置 |
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
CN113903022A (zh) * | 2021-09-23 | 2022-01-07 | 山东师范大学 | 基于特征金字塔与注意力融合的文本检测方法及*** |
CN113988197A (zh) * | 2021-11-03 | 2022-01-28 | 山东新一代信息产业技术研究院有限公司 | 基于多相机、多激光雷达的联合标定及目标融合检测方法 |
CN113919444A (zh) * | 2021-11-10 | 2022-01-11 | 北京市商汤科技开发有限公司 | 目标检测网络的训练方法、目标检测方法及装置 |
Non-Patent Citations (3)
Title |
---|
CHENG CUI ET AL: "PP-LCNet: A Lightweight CPU Convolutional Neural Network", 《ARXIV:2109.15099V1》 * |
ZHENG GE ET AL: "YOLOX: Exceeding YOLO Series in 2021", 《ARXIV:2107.08430V2》 * |
陈彬: "特殊场景下图像分类算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152633A (zh) * | 2023-04-18 | 2023-05-23 | 天津大学 | 一种基于空间特征表示的目标检测网络的检测方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN114529836B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
CN111626128B (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
CN111832655B (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
CN114926746B (zh) | 基于多尺度差分特征注意力机制的sar图像变化检测方法 | |
CN114202696A (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
CN100370486C (zh) | 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法 | |
CN106844739B (zh) | 一种基于神经网络协同训练的遥感图像变化信息检索方法 | |
CN115147731A (zh) | 一种基于全空间编码注意力模块的sar图像目标检测方法 | |
CN112348758B (zh) | 一种光学遥感图像数据增强方法及目标识别方法 | |
CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与*** | |
CN114529836B (zh) | 一种sar图像目标检测方法 | |
CN113642606A (zh) | 一种基于注意力机制的海上舰船检测方法 | |
CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
CN115908924A (zh) | 一种基于多分类器的小样本高光谱图像语义分割方法及*** | |
CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
CN116071664A (zh) | 基于改进CenterNet网络的SAR图像舰船检测方法 | |
CN115115863A (zh) | 水面多尺度目标检测方法、装置及***和存储介质 | |
Wang et al. | Based on the improved YOLOV3 small target detection algorithm | |
CN117011728A (zh) | 基于改进YOLOv7的无人机航拍目标检测方法 | |
CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
CN113902975B (zh) | 一种用于sar舰船检测的场景感知数据增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |