CN114022730A - 一种基于自监督学习神经网络的点目标相位检索方法 - Google Patents
一种基于自监督学习神经网络的点目标相位检索方法 Download PDFInfo
- Publication number
- CN114022730A CN114022730A CN202111260725.0A CN202111260725A CN114022730A CN 114022730 A CN114022730 A CN 114022730A CN 202111260725 A CN202111260725 A CN 202111260725A CN 114022730 A CN114022730 A CN 114022730A
- Authority
- CN
- China
- Prior art keywords
- neural network
- self
- light spot
- learning neural
- supervision learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000012634 optical imaging Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督学习神经网络的点目标相位检索方法，利用的***包括：成像探测器与自监督学习神经网络模块。在训练过程中，自监督学习神经网络将输入的光斑图像的数据样本映射到Zernike系数，然后通过光学成像***利用Zernike系数计算出光斑图像，根据输入与输出光斑图像之间的相似度计算损失函数实现自监督学习。测试过程中，成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。该方法不依赖任何标签值，仅通过畸变光斑数据的内在特征，建立采集光斑样本之间的映射关系；有效地避免了传统监督学习需要大量标签样本的技术瓶颈，有利于神经网络相位检索方法的实际应用。
Description
技术领域
本发明涉及相位检索领域，具体涉及一种基于自监督学习神经网络的点目标相位检索方法，主要通过建立自监督学习神经网络模型实现对点目标波前像差的高效探测。
背景技术
神经网络是一种非线性、自主调节的信息处理***，用于学习和存储输入输出模型之间的大量非线性映射关系。神经网络相位检索模型采用光强探测器件采集畸变光斑，学习样本关系实现相位复原。该方法探测性能稳定，且在强相位畸变的条件下仍具有一定的应用前景。但是在神经网络相位检索模型实际应用过程中，传统的监督学习神经网络在训练过程中需要采集大量的带有标签的数据样本，大大的增加了应用成本与难度。
针对以上问题，本发明提出一种基于自监督学习神经网络的点目标相位检索方法。采用成像探测器采集离焦位置的畸变光斑图像，为自监督学习网络提供数据样本。自监督学习神经网络模块训练提升输入与输出光斑的相似度。测试过程中，成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。该方法不依赖任何标签值，仅通过畸变光斑数据的内在特征，建立起采集光斑样本间的关系。避免了传统监督学习需要大量标签样本的技术瓶颈，有利于神经网络相位检索方法的实际应用。
发明内容
本发明要解决的技术问题为：提出一种基于自监督学习神经网络的点目标相位检索方法，主要通过自监督学习神经网络相位检索的方法解决传统监督学习神经网络需要大量标签样本的技术瓶颈，有利于神经网络相位检索方法的实际应用。
本发明采用的技术方案为：一种基于自监督学习神经网络的点目标相位检索方法，该方法包括如下步骤：
步骤一、成像探测器采集畸变光斑图像；
步骤二、根据成像探测器采集得到离焦位置畸变光斑图像，进行自监督学习神经网络训练；卷积神经网络模块使用经典网络MobilenetV1，具体结构：
1)MobileNet的结构首先是一个3x3标准卷积，然后是堆叠的depthwiseseparableconvolution，其中一些depthwise卷积会通过strides＝2进行下采样。平均池化用于将特征更改为1x1，并根据预测的类别大小添加一个全连接层；
2)由于不是分类问题，我们去掉了最后一个softmax层。核心是decomposabledepthwise separableconvolution，不仅可以降低模型的计算复杂度，还可以大大减小模型的体积；
3)Depthwiseseparableconvolution是一个factorized卷积操作，可以分解成两个更小的操作：depthwiseconvolution和pointwiseconvolution。Depthwise卷积对每个输入通道使用不同的卷积核，pointwise卷积使用1x1的卷积核。首先是使用depthwise卷积分别对不同的输入通道进行卷积，然后使用pointwise卷积将上述输出组合起来。
步骤三、通过大量光斑数据学习训练后，根据成像***探测得到离焦畸变光斑图像，自监督学习神经网络输出***所需的波前参数，实现相位检索。
进一步地，成像探测器负责采集离焦位置的畸变光斑图像，为自监督学习网络提供训练、测试数据。
进一步地，根据成像探测器采集得到的光斑图像，进行自监督学习神经网络训练：
1)建立自监督学习神经网络结构：其中包括：网络编码、隐层向量、网络解码三个部分；
2)自监督学习神经网络编码部分：其中包括：若干层卷积层、池化层及全连接层；
3)自监督学习神经网络的解码部分根据光学***成像原理进行设计，实现输出光斑分布的功能；
4)训练自监督学习神经网络：将输入的光斑图像的数据样本映射到隐层向量即Zernike系数，然后通过光学成像***将这个隐层向量计算回光斑图像。根据输入与输出光斑图像之间的相似度进行损失函数的计算，例如将两张光斑图像的像素均方差值作为loss函数，最终得到点目标相位检索的自监督学习神经网络。
进一步地，测试过程中，将成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。
本发明与现有方法相比具有如下优点：
(1)同传统的波前探测器相比，该发明采用神经网络结合成像探测器进行相位检索，光路简单，应用便捷。
(2)与现有的神经网络相位检索方法相比，该方法不依赖任何标签值，仅通过畸变光斑数据的内在特征，建立起采集光斑样本间的关系。避免了传统监督学习需要大量标签样本的技术瓶颈，有利于神经网络相位检索方法的实际应用。
(3)该发明结构简单，易于实现。
附图说明
图1是本发明的基于自监督学习神经网络的点目标相位检索方法流程图；
图2是本发明的自监督学习神经网络模型的结构图；
图3是本发明的自监督学习神经网络训练流程图。
具体实施方式
以下结合附图对本发明的具体实施方式做详细说明。
如图1所示，基于自监督学习神经网络的点目标相位检索方法，该方法包括如下步骤：
步骤一、成像探测器采集畸变光斑图像；
利用的***包括：成像探测器与自监督学习神经网络模块。成像探测器负责采集离焦位置的畸变光斑图像，为自监督学习网络提供训练、测试数据。
光学***的广义光瞳函数可以描述为：
P(u,v)＝O(u,v)e2πiφ(u,v) (1)
其中，O(u,v)是孔径函数，φ(u,v)是待测像差，通常表示为Zernike多项式的加权组合。
光学***的点扩散函数为：
psf(u,v)＝|FFT(P(u,v))|2 (2)
离焦相机通常放在距离焦点10mm左右位置且需要知道具体离焦距离。
步骤二、根据成像探测器采集得到离焦位置畸变光斑图像，进行自监督学习神经网络训练；
自监督学习神经网络模块主要包括网络训练和网络测试两个部分，具体方法为在训练过程中，自监督学习神经网络将输入的光斑图像的数据样本映射到隐层向量(即Zernike系数)，然后通过光学成像***将这个隐层向量计算成光斑图像，根据输入与输出光斑图像之间的相似度进行损失函数的计算实现自监督学习。
相似度损失函数为相关系数，可以描述为：
其中，Amn和Bmn是两个光斑图像的像素值，
和
分别是Amn和Bmn的平均值，m和n分别代表横向与纵向的像素数。
步骤三、通过大量光斑数据学习训练后，根据成像***探测得到离焦畸变光斑图像，自监督学习神经网络输出***所需的波前参数，实现相位检索。
测试过程中，成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。
测试集上的相关系数为97％，测试集中的相位均方根为0.6284λ，自监督探测并校正后的相位均方根为0.0648λ，同等条件下的监督网络探测并校正后的相位均方根为0.0447λ。
成像探测器负责采集离焦位置的畸变光斑图像，为自监督学习网络提供训练、测试数据。
如图2所示，根据成像探测器采集得到的光斑图像，进行自监督学习神经网络训练：
1)建立自监督学习神经网络结构：其中包括：网络编码、隐层向量、网络解码三个部分；
2)自监督学习神经网络编码部分：其中包括：若干层卷积层、池化层及全连接层；
3)自监督学习神经网络的解码部分根据光学***成像原理进行设计，实现输出光斑分布的功能；
4)训练自监督学习神经网络：将输入的光斑图像的数据样本映射到隐层向量即Zernike系数，然后通过光学成像***将这个隐层向量计算回光斑图像。根据输入与输出光斑图像之间的相似度进行损失函数的计算，例如将两张光斑图像的像素均方差值作为loss函数，最终得到点目标相位检索的自监督学习神经网络。
测试过程中，将成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。
如图3所示，自监督学习神经网络训练流程图。首先对卷积神经网络进行训练，将大量畸变的图像输入到自监督学习神经网络中，根据输入光斑样本与输出光斑图像之间的相似度进行自监督学习。测试过程中，将实际***采集到的畸变图像输入到训练好的自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。
Claims (4)
1.一种基于自监督学习神经网络的点目标相位检索方法，其特征在于：该方法包括如下步骤：
步骤一、成像探测器采集畸变光斑图像；
步骤二、根据成像探测器采集得到离焦位置畸变光斑图像，进行自监督学习神经网络训练；自监督学习神经网络包括卷积神经网络模块和成像模型模块，卷积神经网络模块使用经典网络MobilenetV1，成像模型模块实现相位到光斑的物理成像；
步骤三、通过大量光斑数据学习训练后，根据成像***探测得到离焦畸变光斑图像，自监督学习神经网络输出***所需的波前参数，由卷积神经网络模块实现Zernike系数的输出，实现相位检索。
2.根据权利要求1所述的一种基于自监督学习神经网络的点目标相位检索方法，其特征在于：成像探测器负责采集离焦位置的畸变光斑图像，为自监督学习网络提供训练、测试数据，卷积神经网络模块使用经典网络Mobilenet V1，具体结构：
1)MobileNet的结构首先是一个3x3标准卷积，然后是堆叠的depthwise separableconvolution，其中一些depthwise卷积会通过strides＝2进行下采样，平均池化用于将特征更改为1x1，并根据预测的类别大小添加一个全连接层；
2)由于不是分类问题，去掉了最后一个softmax层，核心是decomposabledepthwiseseparable convolution，不仅可以降低模型的计算复杂度，还可以大大减小模型的体积；
3)Depthwise separable convolution是一个factorized卷积操作，可以分解成两个更小的操作：depthwise convolution和pointwise convolution，Depthwise卷积对每个输入通道使用不同的卷积核，pointwise卷积使用1x1的卷积核，首先是使用depthwise卷积分别对不同的输入通道进行卷积，然后使用pointwise卷积将上述输出组合起来。
3.根据权利要求1所述的一种基于自监督学习神经网络的点目标相位检索方法，其特征在于：根据成像探测器采集得到的光斑图像，进行自监督学习神经网络训练：
1)建立自监督学习神经网络结构：其中包括：网络编码、隐层向量、网络解码三个部分；
2)自监督学习神经网络编码部分：其中包括：若干层卷积层、池化层及全连接层；
3)自监督学习神经网络的解码部分根据光学***成像原理进行设计，实现输出光斑分布的功能；
4)训练自监督学习神经网络：将输入的光斑图像的数据样本映射到隐层向量即Zernike系数，然后通过光学成像***将这个隐层向量计算回光斑图像。根据输入与输出光斑图像之间的相似度进行损失函数的计算，例如将两张光斑图像的像素均方差值作为loss函数，最终得到点目标相位检索的自监督学习神经网络。
4.根据权利要求1所述的一种基于自监督学习神经网络的点目标相位检索方法，其特征在于：测试过程中，将成像探测器采集的单幅离焦光斑图像输入到自监督学习神经网络中，根据映射关系输出***所需的波前参数，实现相位检索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111260725.0A CN114022730B (zh) | 2021-10-28 | 2021-10-28 | 一种基于自监督学习神经网络的点目标相位检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111260725.0A CN114022730B (zh) | 2021-10-28 | 2021-10-28 | 一种基于自监督学习神经网络的点目标相位检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022730A true CN114022730A (zh) | 2022-02-08 |
| CN114022730B CN114022730B (zh) | 2023-08-15 |
Family
ID=80058136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111260725.0A Active CN114022730B (zh) | 2021-10-28 | 2021-10-28 | 一种基于自监督学习神经网络的点目标相位检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022730B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115333621A (zh) * | 2022-08-10 | 2022-11-11 | 长春理工大学 | 一种分布式框架下融合时空特征的光斑质心预测方法 |
| CN117760571A (zh) * | 2022-07-18 | 2024-03-26 | 中国人民解放军国防科技大学 | 基于哈特曼探测器的无监督学习波前探测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040056174A1 (en) * | 2002-09-24 | 2004-03-25 | Specht Donald Francis | Fast phase diversity wavefront correction using a neural network |
| CN109212735A (zh) * | 2018-10-10 | 2019-01-15 | 浙江大学 | 基于机器学习的高速自适应光学环形光斑校正***和方法 |
| CN110020719A (zh) * | 2019-03-26 | 2019-07-16 | 中国科学院光电技术研究所 | 一种基于图像矩特征的波前校正方法 |
| CN110207835A (zh) * | 2019-05-23 | 2019-09-06 | 中国科学院光电技术研究所 | 一种基于离焦图像训练的波前校正方法 |
| CN110349095A (zh) * | 2019-06-14 | 2019-10-18 | 浙江大学 | 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法 |
| CN110648298A (zh) * | 2019-11-01 | 2020-01-03 | 中国工程物理研究院流体物理研究所 | 一种基于深度学习的光学像差畸变校正方法及*** |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN112561831A (zh) * | 2020-12-24 | 2021-03-26 | 中国计量大学 | 一种基于神经网络的畸变校正方法 |
| CN113383225A (zh) * | 2018-12-26 | 2021-09-10 | 加利福尼亚大学董事会 | 使用深度学习将二维荧光波传播到表面上的***和方法 |
-
2021
- 2021-10-28 CN CN202111260725.0A patent/CN114022730B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040056174A1 (en) * | 2002-09-24 | 2004-03-25 | Specht Donald Francis | Fast phase diversity wavefront correction using a neural network |
| CN109212735A (zh) * | 2018-10-10 | 2019-01-15 | 浙江大学 | 基于机器学习的高速自适应光学环形光斑校正***和方法 |
| CN113383225A (zh) * | 2018-12-26 | 2021-09-10 | 加利福尼亚大学董事会 | 使用深度学习将二维荧光波传播到表面上的***和方法 |
| CN110020719A (zh) * | 2019-03-26 | 2019-07-16 | 中国科学院光电技术研究所 | 一种基于图像矩特征的波前校正方法 |
| CN110207835A (zh) * | 2019-05-23 | 2019-09-06 | 中国科学院光电技术研究所 | 一种基于离焦图像训练的波前校正方法 |
| CN110349095A (zh) * | 2019-06-14 | 2019-10-18 | 浙江大学 | 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法 |
| CN110648298A (zh) * | 2019-11-01 | 2020-01-03 | 中国工程物理研究院流体物理研究所 | 一种基于深度学习的光学像差畸变校正方法及*** |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN112561831A (zh) * | 2020-12-24 | 2021-03-26 | 中国计量大学 | 一种基于神经网络的畸变校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭弘扬: "基于液晶校正的空间光耦合技术研究", no. 08, pages 136 - 12 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117760571A (zh) * | 2022-07-18 | 2024-03-26 | 中国人民解放军国防科技大学 | 基于哈特曼探测器的无监督学习波前探测方法 |
| CN117760571B (zh) * | 2022-07-18 | 2024-05-24 | 中国人民解放军国防科技大学 | 基于哈特曼探测器的无监督学习波前探测方法 |
| CN115333621A (zh) * | 2022-08-10 | 2022-11-11 | 长春理工大学 | 一种分布式框架下融合时空特征的光斑质心预测方法 |
| CN115333621B (zh) * | 2022-08-10 | 2023-07-18 | 长春理工大学 | 一种分布式框架下融合时空特征的光斑质心预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022730B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及*** | |
| CN110210608B (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
| CN114022730A (zh) | 一种基于自监督学习神经网络的点目标相位检索方法 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN108038519B (zh) | 一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN115690542A (zh) | 一种基于改进yolov5的航拍绝缘子定向识别方法 | |
| CN115661544B (zh) | 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类***及方法 | |
| CN115019302A (zh) | 一种改进型yolox目标检测模型构建方法及其应用 | |
| CN115205520A (zh) | 胃镜图像智能目标检测方法、***、电子设备及存储介质 | |
| CN114782298A (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN114998667B (zh) | 多光谱目标检测方法、***、计算机设备及存储介质 | |
| CN116543386A (zh) | 一种基于卷积神经网络的农业病虫害图像识别方法 | |
| CN112861855A (zh) | 基于对抗网络模型的群养猪实例分割方法 | |
| KR0151235B1 (ko) | 형상검출방법 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN113609904B (zh) | 一种基于动态全局信息建模和孪生网络的单目标跟踪算法 | |
| CN106530226A (zh) | 获取高分辨率高清晰工业图像的实现方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及*** | |
| CN115330759B (zh) | 一种基于豪斯多夫距离计算距离损失的方法及装置 | |
| CN115294555B (zh) | 基于神经网络的植物病害智能诊断方法及*** | |
| CN115760990B (zh) | 一种菠萝花蕊的识别定位方法、电子设备及存储介质 | |
| Hu et al. | Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |