CN113283278A - 一种抗干扰的激光水下目标识别仪 - Google Patents

一种抗干扰的激光水下目标识别仪 Download PDF

Info

Publication number
CN113283278A
CN113283278A CN202110025036.5A CN202110025036A CN113283278A CN 113283278 A CN113283278 A CN 113283278A CN 202110025036 A CN202110025036 A CN 202110025036A CN 113283278 A CN113283278 A CN 113283278A
Authority
CN
China
Prior art keywords
feature
map
channel
neural network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110025036.5A
Other languages
English (en)
Other versions
CN113283278B (zh
Inventor
吕以豪
陈金水
高洁
王文海
卢建刚
刘兴高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110025036.5A priority Critical patent/CN113283278B/zh
Publication of CN113283278A publication Critical patent/CN113283278A/zh
Application granted granted Critical
Publication of CN113283278B publication Critical patent/CN113283278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种抗干扰的激光水下目标识别仪,由水下激光扫描装置、计算装置与显示装置依次相连组成,水下激光扫描装置对待检测水下区域进行扫描,将所得激光点云传输至计算装置,将其转化为二维图像数据,进行目标识别工作。所述的计算装置包括神经网络识别模块与存储模块。神经网络识别模块利用EfficientNet卷积神经网络与注意力机制相结合,引导网络忽略图像中的噪声,提高对于目标有效特征位置的关注,从而增加网络的抗干扰能力。本发明实现了智能化、抗干扰、高精度的激光水下目标识别。

Description

一种抗干扰的激光水下目标识别仪
技术领域
本发明涉及激光水下目标识别领域,具体地,涉及一种抗干扰的激光水下目标识别仪。
背景技术
激光水下目标识别技术是一项目前正在发展的先进的探测技术,它集激光技术、通信技 术、信号处理与目标识别和电子技术等于一体,并且具有广阔的应用前景。对该技术的研究 与开发无论是在理论上还是在实际应用上都具有十分重要的价值。
为了改善已有的深度学习网络的表现与能力,许多学者提出进一步模仿人类大脑的工作 模式,将注意力机制引入神经网络模型中。目前在自然语言处理与图像理解分析两大深度学 习经典应用场景已经有了许多成功的尝试。前者将注意力机制引入循环神经网络(RNN)中, 对输入文本语句中的关键字、词汇、句子、段落甚至章节关系在模型训练过程中赋予不同的 重要性,从而更加准确地完成内容理解,机器翻译等复杂任务。后者将注意力机制与卷积神 经网络相结合,在训练过程中不断学习特征图中对于最终任务完成更加重要的部分,从而赋 予这部分内容更高的权重,相当于对自身训练结果的二次强化,在分类,检测,分割等许多 视觉应用场景都有十分成功的应用。
发明内容
本发明的目的是针对现有技术的不足,提供一种抗干扰的激光水下目标识别仪。
本发明解决其技术问题所采用的技术方案是:一种抗干扰的激光水下目标识别仪,包括 依次相连的水下激光扫描装置、计算装置与显示装置,所述水下激光扫描装置对待检测水下 区域进行扫描,将所得激光点云传输至计算装置,将其转化为二维图像数据,进行目标识别 工作。所述的计算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合,利用 结构高度优化的EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操 作***等数据的存储模块。
进一步地,所述神经网络识别模块实现目标识别工作,过程如下:
(1)将激光点云数据处理为三通道的图片数据,输入储存在数据存储模块中的包含注意力机 模块的EfficientNet卷积神经网络模型。
(2)卷积神经网络对输入图片进行特征提取,生成多个阶段的特征图,赋予特征图每个通道 一个权重,再将该权重回乘到该通道特征图的每个元素中,从而使得该层特征图不同通道的 激活量在原本基础上呈现新的数值差异,其中某通道的权重越高,新生成的该通道的特征图 的数值越大,即重要性越高。其实现过程为:
(2.1)对原特征图在通道维度上做全局平均池化,其表达式如(1)式。其中pi是图像中的第i 个像素点,n是图像中的总像素点数,
Figure BDA0002890060560000021
是输出的池化值。因此可将通道数为C的特征图转化 为1×1×C的特征向量F。
Figure BDA0002890060560000022
(2.2)将特征向量F输入几层全连接结构,特征维度通过映射先降低再升高,最终得到与输 入维度相同的权重向量W。
(2.3)将W经过sigmoid激活函数层后乘回到原特征图中,赋予该特征图不同通道以不同权 重。
(3)生成类激活映射图(CAM),这是一种卷积神经网络抽象特征提取情况的可视化方式,也 可以看做对于网络关注区域的可视化手段,具体过程如下:
(3.1)对输入特征图做全局平均池化,最终得到维度与CONV通道数相同的特征向量。
(3.2)利用式(2)计算对应当前输入样本的类激活映射图(CAM)。
Figure BDA0002890060560000023
其中w1,w2...wn是当前输入样本所属类别在全连接层中对应的权重向量w,其维度与特征向 量相同;Mi是特征图的第i通道图像;f是将图像中小于均值像素点置零的函数。式(2)表示 权重向量w与对应的特征图相乘再做和,最终得到的热图即为网络关注的区域对应到输入图 像中的情况。因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征向量 中各元素的权重,又因为此方法中特征向量由最后一层特征图经过GAP而来,则特征向量代 表着特征图各通道的激活情况,即相应代表的特征在输入样本中的分布情况。
(4)对于EfficientNet卷积神经网络的每一个block输出的特征图,计算注意力热图,其实现 如式(3)。其中hi是步骤(2)所述的特征图每个通道的权重,n是该层特征图的通道数,Mi是 特征图的第i个通道图像。
Figure BDA0002890060560000024
(5)将EfficientNet卷积神经网络的每一个block生成的热图(Heat)与其更深层的block生成 的热图(Heat)做式(4)的平方误差损失(MSE Loss),最后一层特征图的热图(Heat)与网络的类激 活映射图(CAM)做平方误差损失(MSE Loss),并将计算的所有损失加入网络的总损失中。
Figure BDA0002890060560000031
其中,pi,qi分别为输入的两个图像的第i个像素点,n是图片的总像素点数。
上述过程是一个层级结构,使网络由浅至深每个block输出的特征图都能受到注意力机 制的引导,从而增强关键特征,提高网络的识别精度。因为特征图的每个通道都对一类输入 数据中的特征敏感,因此通道的权重即为特征的权重,上述过程是一个特征选择过程。
本发明的技术构思为:将水下激光扫描装置、计算装置与显示装置,水下激光扫描装置、 计算装置与显示装置依次相连,其特征是所述水下激光扫描装置对待检测水下区域进行扫描, 将所得激光点云传输至计算装置,将其转化为二维图像数据,进行目标识别工作。所述的计 算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合,利用结构高度优化的 EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***等数据的 储存模块。由于水体的流动与折射率的变化,采集到的各类水下目标的激光图像中存在较多 的噪点,对深度学习网络的识别效果造成影响。本专利中的神经网络识别模块利用EfficientNet 卷积神经网络与注意力机制相结合,引导网络忽略图像中的噪声,提高对于目标有效特征位 置的关注,从而增加网络的抗干扰能力。
本发明的有益效果主要表现在:本发明抗干扰的激光水下目标识别仪具有很快的推理速 度与抗干扰能力,能够迅速稳定准确地完成激光水下目标的识别。
附图说明
图1是抗干扰的激光水下目标识别仪识别实现过程流程图。
具体实施方式
下面根据附图具体说明本发明。
本发明的抗干扰的激光水下目标识别仪包括依次相连的水下激光扫描装置、计算装置与 显示装置,所述水下激光扫描装置对待检测水下区域进行扫描,将所得激光点云传输至计算 装置,将其转化为二维图像数据,进行目标识别工作,识别结果由显示装置显示。所述的计 算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合,利用结构高度优化的 EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***等数据的 存储模块。
本发明的工作过程如图1,具体步骤如下:
1)水下激光扫描装置在作业区域进行激光扫描,形成点云数据后通过线缆回传计算装置。
2)计算装置中集成了包含注意力机模块的EfficientNet卷积神经网络模型和数据存储模 块,其识别过程如下:
2.1)将激光点云数据处理为三通道的图片数据,输入储存在数据存储模块中的包含注意 力机模块的EfficientNet卷积神经网络模型。
2.2)卷积神经网络对输入图片进行特征提取,生成多个阶段的特征图,赋予特征图每个 通道一个权重,再将该权重回乘到该通道特征图的每个元素中,从而使得该层特征图不同通 道的激活量在原本基础上呈现新的数值差异,其中某通道的权重越高,新生成的该通道的特 征图的数值越大,即重要性越高。其实现过程为:
2.2.1)对原特征图在通道维度上做全局平均池化,其表达式如(1)式。其中pi是图像中的 第i个像素点,n是图像中的总像素点数,
Figure BDA0002890060560000041
是输出的池化值。因此可将通道数为C的特征图 转化为1×1×C的特征向量F。
Figure BDA0002890060560000042
2.2.2)将特征向量F输入几层全连接结构,特征维度通过映射先降低再升高,最终得到 与输入维度相同的权重向量W。
2.2.3)将W经过sigmoid激活函数层后乘回到原特征图中,赋予该特征图不同通道以不 同权重。
2.3)生成类激活映射图(CAM),这是一种卷积神经网络抽象特征提取情况的可视化方式, 也可以看做对于网络关注区域的可视化手段,具体过程如下:
2.3.1)对输入特征图做全局平均池化,最终得到维度与CONV通道数相同的特征向量。
2.3.2)利用式(2)计算对应当前输入样本的类激活映射图(CAM):
Figure BDA0002890060560000043
其中,w1,w2...wn是当前输入样本所属类别在全连接层中对应的权重向量w,其维度与 特征向量相同;Mi是特征图的第i通道图像;f是将图像中小于均值像素点置零的函数。式(2) 表示权重向量w与对应的特征图相乘再做和,最终得到的热图即为网络关注的区域对应到输 入图像中的情况。因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征 向量中各元素的权重,又因为此方法中特征向量由最后一层特征图经过GAP而来,则特征向 量代表着特征图各通道的激活情况,即相应代表的特征在输入样本中的分布情况。
2.4)对于EfficientNet卷积神经网络的每一个block输出的特征图,计算注意力热图,其 实现如式(3)。其中hi是2.2)所述的特征图每个通道的权重,n是该层特征图的通道数,Mi是 特征图的第i个通道图像。
Figure BDA0002890060560000044
2.5)将EfficientNet卷积神经网络的每一个block生成的热图(Heat)与其更深层的block 生成的热图(Heat)做式(4)的平方误差损失(MSE Loss)。最后一层特征图的热图(Heat)与网络的 类激活映射图(CAM)做平方误差损失(MSE Loss)。将计算得到的所有损失加入网络的总损失 中。
Figure BDA0002890060560000051
其中pi,qi分别为输入的两个图像的第i个像素点,n是图片的总像素点数。
上述过程是一个层级结构,使网络由浅至深每个block输出的特征图都能受到注意力机 制的引导,从而增强关键特征,提高网络的识别精度。因为特征图的每个通道都对一类输入 数据中的特征敏感,因此通道的权重即为特征的权重,上述过程是一个特征选择过程。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要 求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。

Claims (2)

1.一种抗干扰的激光水下目标识别仪,其特征在于,包括依次相连的水下激光扫描装置、计算装置与显示装置,所述水下激光扫描装置对待检测水下区域进行扫描,将所得激光点云传输至计算装置,将其转化为二维图像数据,进行目标识别工作,识别结果由显示装置显示。所述的计算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合,利用结构高度优化的EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***等数据的存储模块。
2.根据权利要求1所述抗干扰的激光水下目标识别仪,其特征在于,所述神经网络识别模块实现目标识别工作,过程如下:
(1)将激光点云数据处理为三通道的图片数据,输入储存在数据存储模块中的包含注意力机模块的EfficientNet卷积神经网络模型。
(2)卷积神经网络对输入图片进行特征提取,生成多个阶段的特征图,赋予特征图每个通道一个权重,再将该权重回乘到该通道特征图的每个元素中,从而使得该层特征图不同通道的激活量在原本基础上呈现新的数值差异,其中某通道的权重越高,新生成的该通道的特征图的数值越大,即重要性越高。其实现过程为:
(2.1)对原特征图在通道维度上做全局平均池化,其表达式如(1)式。其中pi是图像中的第i个像素点,n是图像中的总像素点数,
Figure FDA0002890060550000011
是输出的池化值。因此可将通道数为C的特征图转化为1×1×C的特征向量F。
Figure FDA0002890060550000012
(2.2)将特征向量F输入几层全连接结构,特征维度通过映射先降低再升高,最终得到与输入维度相同的权重向量W。
(2.3)将W经过sigmoid激活函数层后乘回到原特征图中,赋予该特征图不同通道以不同权重。
(3)生成类激活映射图(CAM),这是一种卷积神经网络抽象特征提取情况的可视化方式,也可以看做对于网络关注区域的可视化手段,具体过程如下:
(3.1)对输入特征图做全局平均池化,最终得到维度与CONV通道数相同的特征向量。
(3.2)利用式(2)计算对应当前输入样本的类激活映射图(CAM)。
Figure FDA0002890060550000013
其中w1,w2...wn是当前输入样本所属类别在全连接层中对应的权重向量w,其维度与特征向量相同;Mi是特征图的第i通道图像;f是将图像中小于均值像素点置零的函数。式(2)表示权重向量w与对应的特征图相乘再做和,最终得到的热图即为网络关注的区域对应到输入图像中的情况。因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征向量中各元素的权重,又因为此方法中特征向量由最后一层特征图经过GAP而来,则特征向量代表着特征图各通道的激活情况,即相应代表的特征在输入样本中的分布情况。
(4)对于EfficientNet卷积神经网络的每一个block输出的特征图,计算注意力热图,其实现如式(3)。其中hi是步骤(2)所述的特征图每个通道的权重,n是该层特征图的通道数,Mi是特征图的第i个通道图像。
Figure FDA0002890060550000021
(5)将EfficientNet卷积神经网络的每一个block生成的热图(Heat)与其更深层的block生成的热图(Heat)做式(4)的平方误差损失(MSE Loss),最后一层特征图的热图(Heat)与网络的类激活映射图(CAM)做平方误差损失(MSE Loss),并将计算的所有损失加入网络的总损失中。
Figure FDA0002890060550000022
其中,pi,qi分别为输入的两个图像的第i个像素点,n是图片的总像素点数。
CN202110025036.5A 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪 Active CN113283278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110025036.5A CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110025036.5A CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Publications (2)

Publication Number Publication Date
CN113283278A true CN113283278A (zh) 2021-08-20
CN113283278B CN113283278B (zh) 2023-03-24

Family

ID=77275485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110025036.5A Active CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Country Status (1)

Country Link
CN (1) CN113283278B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140792A (zh) * 2022-02-08 2022-03-04 山东力聚机器人科技股份有限公司 基于动态滑动窗口的微小目标检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
US20190324439A1 (en) * 2017-08-02 2019-10-24 Strong Force Iot Portfolio 2016, Llc Data monitoring systems and methods to update input channel routing in response to an alarm state
CN110738698A (zh) * 2019-11-08 2020-01-31 青岛合启立智能科技有限公司 浮水式海底数据测量方法、装置和电子设备
CN111126134A (zh) * 2019-11-11 2020-05-08 浙江大学 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190324439A1 (en) * 2017-08-02 2019-10-24 Strong Force Iot Portfolio 2016, Llc Data monitoring systems and methods to update input channel routing in response to an alarm state
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN110738698A (zh) * 2019-11-08 2020-01-31 青岛合启立智能科技有限公司 浮水式海底数据测量方法、装置和电子设备
CN111126134A (zh) * 2019-11-11 2020-05-08 浙江大学 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140792A (zh) * 2022-02-08 2022-03-04 山东力聚机器人科技股份有限公司 基于动态滑动窗口的微小目标检测方法及装置

Also Published As

Publication number Publication date
CN113283278B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN111444968A (zh) 一种基于注意力融合的图像描述生成方法
CN107844743A (zh) 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN111259940B (zh) 一种基于空间注意力地图的目标检测方法
US20230260255A1 (en) Three-dimensional object detection framework based on multi-source data knowledge transfer
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN110020681A (zh) 基于空间注意力机制的点云特征提取方法
CN110084240A (zh) 一种文字提取***、方法、介质和计算设备
CN113536925A (zh) 一种基于引导注意力机制的人群计数方法
CN113283278B (zh) 一种抗干扰的激光水下目标识别仪
CN114676852A (zh) 一种基于相关性类激活映射的通用对抗扰动生成方法
CN116258931B (zh) 基于ViT和滑窗注意力融合的视觉指代表达理解方法和***
Li et al. CLS-DETR: A DETR-series object detection network using classification information to accelerate convergence
CN114067359B (zh) 融合人体关键点与可见部位注意力特征的行人检测方法
CN112598065B (zh) 一种基于记忆的门控卷积神经网络语义处理***及方法
Si et al. Image semantic segmentation based on improved DeepLab V3 model
CN111914751B (zh) 一种图像人群密度识别检测方法及***
CN114529949A (zh) 一种基于深度学习的轻量级手势识别方法
CN114821337A (zh) 基于时相一致性伪标签的半监督sar图像建筑区提取方法
CN114723049A (zh) 一种基于梯度优化的类激活映射方法及装置
CN114049567A (zh) 自适应软标签生成方法以及在高光谱图像分类中的应用
CN116563313B (zh) 基于门控融合注意力的遥感影像大豆种植区域分割方法
Yang et al. Underwater bubble plume image generative model based on noise prior and multi conditional labels
Yang et al. A Knowledge Distillation-based Ground Feature Classification Network with Multiscale Feature Fusion in Remote Sensing Images
Yang et al. Research on real-time detection of road vehicle targets based on YOLOV4 improved algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant