CN114648667A - 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 - Google Patents
一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 Download PDFInfo
- Publication number
- CN114648667A CN114648667A CN202210346828.7A CN202210346828A CN114648667A CN 114648667 A CN114648667 A CN 114648667A CN 202210346828 A CN202210346828 A CN 202210346828A CN 114648667 A CN114648667 A CN 114648667A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- network
- bilinear
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000004927 fusion Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 abstract 1
- 241000894007 species Species 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于轻量化双线性CNN模型的鸟类图像细粒度识别方法。本发明公开了一种基于轻量化处理的鸟类图像细粒度识别方法,属于计算机视觉领域;具体步骤包括:首先选择鸟类数据集CUB_200_2011作为实验数据集,并进行相应的数据预处理;然后,建立以双线性卷积神经网络为基础的轻量化模型,并将AM‑Softmax和CrossEntropy的联合损失函数作为模型的损失函数,设置优化方法为随机梯度下降,设置合适的学习率等相关参数后,进行网络训练,训练完成后保存模型训练参数;最后,使用测试数据集对模型进行测试,输出测试准确率。本说明在计算机视觉、细粒度图像识别领域具有一定的研究意义和价值。
Description
技术领域
本发明属于机器视觉中的图像识别技术领域,尤其涉及一种基于轻量化双线性CNN模型的鸟类细粒度识别方法。
背景技术
传统的图像识别主要是不同物种之间的识别,类间差异较大;而细粒度图像识别是同一类目标不同子类之间的识别,类间差异较小,类内差异较大,相对于大类图像识别更具有挑战性。例如传统图像识别通常是针对不同物种进行的识别,例如“鸟”、“车”、“狗”等;而在许多的实际应用当中,我们需要识别的往往不是它是属于哪个物种,而是想要具体的知道它是这个物种中的哪个类别,这就是细粒度图像识别任务。其相对通用图像分类任务的区别和难点在于其图像所属类别的力度更为精细,其物体的差异仅体现在细微之处,如何有效地获取前景目标重要的局部区域信息,成为了细粒度图像分类算法要解决的关键性问题。
以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法在图像识别领域取得了巨大的成功,它一般采用卷积函数和激活函数作为主要结构,然后使用软最大(softmax)分类器进行分类识别。在训练时,通常使用交叉熵损失函数计算损失并向梯度减小的方向更新参数。
细粒度目标中不同子类别间总是具有相同的全局外观,而子类别内图像特征往往有很大的差异,因此往往需要复杂的结构才能达到较好的识别准确率,但这往往导致神经网络模型参数的显著增加。交叉熵损失函数虽然擅长处理优化类间差异,但不擅长减少类内差异(即使同一类的特性紧凑),因而其对于这种类内差异较大的细粒度图像识别任务来说具有一定的缺陷,影响最终的识别准确率。
本发明在公开的鸟类图像数据集上进行实验,基于双线性模型,引入深度可分离卷积、AM-Softmax损失函数和交叉熵损失函数,在保证对鸟类细粒度图像进行识别的准确率没有明显降低的前提下,有效地降低了模型参数量,减小了模型参数的存储空间。
发明内容
本发明要解决的技术问题是,提供一种基于轻量化双线性CNN模型的鸟类图像细粒度识别方法,包括以下步骤:
步骤1:预处理鸟类图像细粒度识别数据集,本发明在200类鸟类数据集CUB_200_2011共N幅不同鸟类图像的数据集D上面进行验证,将每一种类的数据集以3:2的比例划分为训练和测试图像,最终得到训练集Dt(包含Nt幅图像)和测试集Ds(包含Ns幅图像),整个鸟类图像数据集表示为D={(Ii,yi)}(1≤i≤N),其中Ii表示鸟类图像,yi表示类别标签;
步骤2:构建轻量化网络模型,选择VGG16作为模型的基础网络结构,并在该网络结构上进行适当的轻量化处理;
步骤2.1:该神经网络由5个卷积块组成,前4个卷积块采用VGG16结构。其中第1、2个卷积块包含两个卷积层和一个池化层,第3、4个卷积块包含三个卷积层和一个池化层;
步骤2.2:网络第5个卷积块在VGG的基础上,删去最后的池化层,并将该卷积块内的3个卷积层全部替换为深度可分离卷积;
步骤2.3:深度可分离卷积分为逐通道卷积和逐点卷积。逐通道卷积的一个卷积核负责一个通道,一个通道只被一个卷积核卷积。一张C通道的h’×w’大小的输入图像在逐通道卷积中,与一个C×3×3的卷积核相乘,输出C×(h’-2)×(w’-2)大小的图像。逐点卷积的运算与常规卷积运算相似,它的M个卷积核的尺寸为1×1×C,C为上一层的通道数,这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的特征图,输出M×(h’-2)×(w’-2)大小的图像;
步骤2.4:最终基础网络的输入为彩色图像Ii∈Rh×w×3(1≤i≤N),其中h和w分别表示图像的高度和宽度,3表示图像的通道个数,网络的输出为多通道的特征fp;
步骤3:构建双线性网络模型,该网络包含A和B两个并行的分支,其中A分支用于提取物体的细粒度特征,B分支提取物体在图像中的位置和相对距离,两个分支对提取后的向量化特征进行外积操作,得到图像的融合特征。这两个分支均使用步骤2中的轻量化网络:
其中,vector(·)表示向量化操作;
其中,bip表示第p幅图像Ip融合分支A和B提取的特征后的特征;
步骤3.4:将bip拉伸为向量,得到第p幅图像Ip的双线性特征:
Bip=vector(bip)
其中,vector(·)表示向量化操作;
步骤3.5:将向量化后的双线性特征标准化:
其中,zp表示第p幅图像Ip的融合特征归一化后的双线性特征;
步骤3.6:使用softmax分类器对归一化后的双线性特征zp进行分类,得到输出结果op∈R1×C,表示为:
其中C代表图像类别的个数。
步骤4:设置网络的损失函数,联合AM-Softmax和CrossEntropy作为损失函数,分别表示为:
在AM-Softmax中,f代表输出层的输入,是最后一个全连接层权值矩阵W的第yp列,yp代表第p个样本真实标签的序号,m是一个大于1的整数,s为缩放因子;在CrossEntropy中,C表示类别数,pi为实际标签,qi为预测结果。联合后的损失函数表示为:
L=αLAMS+(1-α)LCE
其中,α为比例参数,取值范围为[0,1];
步骤5:网络训练:设置学习率、动量、权重下降等训练参数,使用随机梯度下降算法对网络参数进行迭代更新,并保存最终的模型参数;
步骤6:网络测试:加载保存的模型参数,将测试集Ds输入网络中,获得最终的分类准确率。
附图说明
图1为原图像;
图2为网络整体结构;
图3为分类准确率和模型参数量结果图。
图4为本发明方法实施的流程图。
具体实施方式
以下结合附图和实施例对本发明进行详细说明。
一种基于AM-Softmax和轻量化双线性CNN模型的细粒度识别方法,下面结合相关附图对本发明进行解释和阐述:
本发明是在卷积神经网络的基础上,使用包含200类的鸟类图像数据集(通道数为3,像素值∈[0,255]),采用轻量化的双线性网络模型,引用AM-Softmax损失函数来减少类内差异,来有效的对鸟类数据集进行图像识别。
本发明的实施方案流程如下:
步骤1:预处理鸟类数据集。鸟类数据集D分为200类,共包含N=11788幅图像,该数据集的图像如附图1所示。将数据集D按照每类3:2的比例划分为训练集Dt(包含Nt=7073幅图像)和测试集Ds(包含Ns=4715幅图像)。在输入网络之前,将图像裁剪为448×448,并且对数据进行标准化操作即图像的各个维度减去均值并除以图像数据集的标准差;
步骤2:构建轻量化网络,选择VGG16作为模型的基础网络,并在该网络结构上进行适当的轻量化处理;
步骤2.1:该神经网络由5个卷积块组成,前4个卷积块采用VGG16结构。其中第1、2个卷积块包含两个卷积层和一个池化层,第3、4个卷积块包含三个卷积层和一个池化层;
步骤2.2:网络第5个卷积块在VGG的基础上,删去最后的池化层,并将该卷积块内的3个卷积层全部替换为深度可分离卷积;
步骤2.3:深度可分离卷积分为逐通道卷积和逐点卷积。逐通道卷积的一个卷积核负责一个通道,一个通道只被一个卷积核卷积。一张C通道的h’×w’大小的输入图像在逐通道卷积中,与一个C×3×3的卷积核相乘,输出C×(h’-2)×(w’-2)大小的图像。逐点卷积的运算与常规卷积运算相似,它的M个卷积核的尺寸为1×1×C,C为上一层的通道数,这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的特征图,输出M×(h’-2)×(w’-2)大小的图像;
步骤2.4:最终基础网络的输入为彩色图像Ii∈Rh×w×3(1≤i≤N),其中h和w分别表示图像的高度和宽度,3表示图像的通道个数,网络的输出为多通道的特征fp;
步骤3:构建双线性网络模型,该网络包含A和B两个并行的分支,其中A分支用于提取物体的细粒度特征,B分支提取物体在图像中的位置和相对距离,两个分支对提取后的向量化特征进行外积操作,得到图像的融合特征。这两个分支均使用步骤2中的轻量化网络:
其中,vector(·)表示向量化操作;
其中,bip表示第p幅图像Ip融合分支A和B提取的特征后的特征;
步骤3.4:将bip拉伸为向量,得到第p幅图像Ip的双线性特征:
Bip=vector(bip)
其中,vector(·)表示向量化操作;
步骤3.5:将向量化后的双线性特征标准化:
其中,zp表示第p幅图像Ip的融合特征归一化后的双线性特征;
步骤3.6:使用softmax分类器对归一化后的双线性特征zp进行分类,得到输出结果op∈R1×C,表示为:
其中C代表图像类别的个数。
步骤4:设置网络的损失函数,联合AM-Softmax和CrossEntropy作为损失函数,分别表示为:
在AM-Softmax中,f代表输出层的输入,是最后一个全连接层权值矩阵W的第yp列,yp代表第p个样本真实标签的序号,m取值为0.15,s为缩放因子,取值为30;在CrossEntropy中,C表示类别数,pi为实际标签,qi为预测结果。联合后的损失函数表示为:
L=αLAMS+(1-α)LCE
其中,α为比例参数,取值为0.5;
步骤5:网络训练。设置迭代次数为100、学习率为0.001,将训练集Dt输入网络,使用ImageNet训练的VGG16权值初始化基础网络中非轻量化卷积部分,并将其固定,利用随机梯度下降算法对网络参数进行迭代更新。设置迭代次数为100,学习率0.0000001,解除固定所有参数,再次利用随机梯度下降算法对网络参数进行迭代更新,直到损失收敛,保存最终的模型;
步骤6:网络测试。加载保存的模型,将测试集Ds输入网络,获得分类准确率,根据实践结果可以发现,当在原双线性网络模型中引入轻量化模块和AM-Softmax损失函数后,在保证训练的准确率没有明显变化的前提下,网络参数量显著减少,结果如附图3所示。
以上实例仅用于描述本发明,而非限制本发明所描述的技术方案。因此,一切不脱离本发明精神和范围的技术方案及其改进,均应涵盖在本发明的权利要求范围中。
Claims (2)
1.一种基于轻量化双线性CNN模型的鸟类图像细粒度识别方法,其特征在于:包括以下步骤:
步骤1:预处理鸟类图像细粒度识别数据集,在鸟类数据集共N幅不同鸟类图像的数据集D上面进行验证,将每一种类的数据集按比例划分为训练和测试图像,最终得到训练集Dt和测试集Ds,整个鸟类图像数据集表示为D={(Ii,yi)},其中Ii表示鸟类图像,yi表示类别标签;
步骤2:构建轻量化网络模型,选择VGG16作为模型的基础网络结构,并在该网络结构上进行轻量化处理;
步骤2.1:该神经网络由5个卷积块组成,前4个卷积块采用VGG16结构;其中第1、2个卷积块包含两个卷积层和一个池化层,第3、4个卷积块包含三个卷积层和一个池化层;
步骤2.2:网络第5个卷积块在VGG的基础上,删去最后的池化层,并将该卷积块内的3个卷积层全部替换为深度可分离卷积;
步骤2.3:深度可分离卷积分为逐通道卷积和逐点卷积;逐通道卷积的一个卷积核负责一个通道,一个通道只被一个卷积核卷积;一张C通道的h’×w’大小的输入图像在逐通道卷积中,与一个C×3×3的卷积核相乘,输出C×(h’-2)×(w’-2)大小的图像;逐点卷积的运算与常规卷积运算相似,它的M个卷积核的尺寸为1×1×C,C为上一层的通道数,这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的特征图,输出M×(h’-2)×(w’-2)大小的图像;
步骤3:构建双线性网络模型,该双线性网络模型包含A和B两个并行的分支,其中A分支用于提取物体的细粒度特征,B分支提取物体在图像中的位置和相对距离,两个分支对提取后的向量化特征进行外积操作,得到图像的融合特征;两个分支均使用步骤2中的轻量化网络:
步骤5:网络训练:设置学习率、动量、权重下降等训练参数,使用随机梯度下降算法对网络参数进行迭代更新,并保存最终的模型参数;
步骤6:网络测试:加载保存的模型参数,将测试集Ds输入网络中,获得最终的分类准确率。
2.根据权利要求1所述的一种基于轻量化双线性CNN模型的鸟类图像细粒度识别方法,其特征在于:步骤3包括,步骤3.1:对于第p幅训练图像Ip∈Rh×w×3,双线性网络首先分别使用A和B两个分支提取特征,得到两个维度相同的特征和
其中,vector(·)表示向量化操作;
其中,bip表示第p幅图像Ip融合分支A和B提取的特征后的特征;
步骤3.4:将bip拉伸为向量,得到第p幅图像Ip的双线性特征:
Bip=vector(bip)
步骤3.5:将向量化后的双线性特征标准化:
其中,zp表示第p幅图像Ip的融合特征归一化后的双线性特征;
步骤3.6:使用softmax分类器对归一化后的双线性特征zp进行分类,得到输出结果op∈R1×C,表示为:
其中C代表图像类别的个数;
步骤4:设置网络的损失函数,联合AM-Softmax和CrossEntropy作为损失函数,分别表示为:
在AM-Softmax中,f代表输出层的输入,是最后一个全连接层权值矩阵W的第yp列,yp代表第p个样本真实标签的序号,m是一个大于1的整数,s为缩放因子;在CrossEntropy中,C表示类别数,pi为实际标签,qi为预测结果;联合后的损失函数表示为:
L=αLAMS+(1-α)LCE
其中,α为比例参数,取值范围为[0,1]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346828.7A CN114648667B (zh) | 2022-03-31 | 2022-03-31 | 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346828.7A CN114648667B (zh) | 2022-03-31 | 2022-03-31 | 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114648667A true CN114648667A (zh) | 2022-06-21 |
CN114648667B CN114648667B (zh) | 2024-06-07 |
Family
ID=81995233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210346828.7A Active CN114648667B (zh) | 2022-03-31 | 2022-03-31 | 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114648667B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035389A (zh) * | 2022-08-10 | 2022-09-09 | 华东交通大学 | 基于可靠性评估和迭代学习的细粒度图像识别方法和装置 |
CN115063601A (zh) * | 2022-06-28 | 2022-09-16 | 中国科学院半导体研究所 | 基于图像和音频双模态鸟类识别方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN112800927A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法 |
-
2022
- 2022-03-31 CN CN202210346828.7A patent/CN114648667B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN112800927A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115063601A (zh) * | 2022-06-28 | 2022-09-16 | 中国科学院半导体研究所 | 基于图像和音频双模态鸟类识别方法、装置、设备及介质 |
CN115035389A (zh) * | 2022-08-10 | 2022-09-09 | 华东交通大学 | 基于可靠性评估和迭代学习的细粒度图像识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114648667B (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112396002B (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
CN112906720B (zh) | 基于图注意力网络的多标签图像识别方法 | |
CN111612017B (zh) | 一种基于信息增强的目标检测方法 | |
CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
CN111191737A (zh) | 基于多尺度反复注意力机制的细粒度图像分类方法 | |
CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
CN112800927B (zh) | 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法 | |
CN112115291B (zh) | 一种基于深度学习的三维室内模型检索方法 | |
CN113205026A (zh) | 一种基于Faster RCNN深度学习网络改进的车型识别方法 | |
CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
CN112183602B (zh) | 一种带有并行卷积块的多层特征融合细粒度图像分类方法 | |
CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 | |
Finjan et al. | Arabic handwritten digits recognition based on convolutional neural networks with resnet-34 model | |
CN113034506A (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN116863194A (zh) | 一种足溃疡图像分类方法、***、设备及介质 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、***及设备 | |
CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
CN114648667A (zh) | 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 | |
CN112801029A (zh) | 基于注意力机制的多任务学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |