CN114548268A - 基于原型网络的小样本垃圾图像分类方法 - Google Patents

基于原型网络的小样本垃圾图像分类方法 Download PDF

Info

Publication number
CN114548268A
CN114548268A CN202210159436.XA CN202210159436A CN114548268A CN 114548268 A CN114548268 A CN 114548268A CN 202210159436 A CN202210159436 A CN 202210159436A CN 114548268 A CN114548268 A CN 114548268A
Authority
CN
China
Prior art keywords
sample
prototype
network
image
garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210159436.XA
Other languages
English (en)
Inventor
杨赛
杨慧
周伯俊
胡彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202210159436.XA priority Critical patent/CN114548268A/zh
Publication of CN114548268A publication Critical patent/CN114548268A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于原型网络的小样本垃圾图像分类方法,该方法需要少量垃圾图像样本就能完成对垃圾图像的自动分类识别,能够提高垃圾处理过程中的自动分拣效率。包括:首先使用摄像头采集若干垃圾图像构建垃圾分类数据集并使用伽马校正方法对图像进行预处理,然后使用四层卷积神经网络构建原型网络,接着计算查询样本类别概率输出值与真实标签值之间的损失函数对原型网络进行训练,最后固定原型网络中的参数对垃圾图像进行分类测试。

Description

基于原型网络的小样本垃圾图像分类方法
技术领域
本发明涉及计算机视觉领域,特别涉及基于原型网络的小样本垃圾图像分类方法。
背景技术
随着经济的快速增长,城市生活垃圾总量也随之逐年的大量增加。对这些垃圾进行及时有效地快速处理对于创造优美的生活环境,节约地球资源,促进社会的可持续发展具有重要意义。垃圾的自动分拣是实现垃圾分类处理的核心环节,而垃圾图像的分类识别是自动分拣环节的关键,其识别的速度直接制约整个垃圾处理生产线的效率。
随着大规模标注数据的出现以及高性能图形处理器的飞速发展,深度卷积神经网络在诸如图像分类、目标检测以及语义分割等各个计算机视觉领域都取得了巨大的成功。研究人员同样将其应用于垃圾图像的自动识别领域,例如,刘国栋等(刘国栋,冯立辉,陈子健,李亿俍,卢继华.一种基于DMD和YOLOV5的光电智能垃圾分拣方法.申请号:202110758716.8)公开了一种基于DMD和YOLOV5的光电智能垃圾分拣方法,该方法将构建的垃圾图像数据集输入YOLOV5网络进行训练,得到训练好的YOLOV5网络作为垃圾图像识别模型;翟懿奎等(翟懿奎,余翠琳,柯琪锐,周文略,甘俊英,应自炉,曾军英.水底视觉垃圾清理机器人及其运作方法,申请号:202010176992.9.)公开了一种水底视觉垃圾清理机器人及其运作方法,该方法使用宽度学习网络中的自动编码器提取垃圾图像特征,利用代价敏感型分类方法得到权重,并进行分类。袁靖等(袁靖,周翔,张标,邓永财.垃圾分选***及垃圾分选方法.申请号:201910287785.)公开的一种垃圾分选***及垃圾分选方法,该方法中使用Faster R-CNN模型中的区域卷积特征模块提取目标垃圾图像的卷积特征并对其进行分类识别。
然而,上述方法往往依赖于大量的标注图像才能完成对模型的训练,并且模型中的参数量巨大,在对垃圾图像进行实时分类识别时会产生时间滞后,从而影响整个垃圾处理生成线的分拣效率。
发明内容
发明目的:为了解决现有技术中的不足,本发明提供了一种基于原型网络的小样本垃圾图像分类方法,该方法需要少量垃圾图像样本就能完成对垃圾图像的自动分类识别,能够提高垃圾处理过程中的自动分拣效率。
技术方案:本发明所述的基于原型网络的小样本垃圾图像分类方法,包括如下主要步骤:步骤1、图像的采集与预处理:使用摄像头采集若干垃圾图像构建垃圾分类数据集I,并将数据集I分为训练集Itrain和测试集Itest;对于图像数据集I中的每一幅图像利用伽玛校正方法对进行预处理,增加图像的亮度,便于后续的分类识别;
步骤2、原型网络的构建:该网络主要是由四个模块组成,分别为主干网络,原型计算模块,相似性计算模块以及Softmax层;
步骤3、原型网络的输入与输出:采用片段式训练方式,在每个训练片段构建N-way-K-shot分类任务,每个分类任务利用训练集Itrain建立支持样本数据集
Figure BDA0003506769420000021
和查询样本数据集
Figure BDA0003506769420000022
Figure BDA0003506769420000023
Figure BDA0003506769420000024
中的图像输入到原型网络中,依次经过网络的四个模块,得到关于查询样本的类别概率输出值;
步骤4、原型网络的训练:计算查询样本类别概率输出值与真实标签值之间的损失函数,利用梯度下降方法对网络中的参数进行优化;
步骤5、垃圾图像的分类测试:固定原型网络中的参数,利用测试数据集Itest建立支持样本数据集和测试样本数据集,并将其输入到原型网络中,依次经过网络的三个模块,就得到关于查询样本的类别输出值,从而完成对垃圾图像的分类测试。
优选的,步骤1图像的采集与预处理具体方法如下:
(1)使用摄像头采集若干垃圾图像构建垃圾分类数据集I,并将数据集I随机分为训练集Itrain和测试集Itest,并对两个数据集中的图像进行人工标注为四类,这四类标签分别为湿垃圾、干垃圾、可回收垃圾和有害垃圾;
(2)对于图像数据集I中的每一幅图像利用伽马校正方法进行预处理,第n幅图像In进行校正的公式为:
Figure BDA0003506769420000025
其中
Figure BDA0003506769420000026
为校正后的图像,c和γ表示可调的参数。
优选的,步骤2原型网络的构建具体方法如下:
(1)原型网络中的主干网络是由四个卷积模块组成,每一个卷积模块包含一个带有64个3×3滤波器的卷积层,一个批量归一化层和一个ReLU激活层组成;另外,前两个卷积块还增加了2×2最大池层;主干网络表示为Fθ(·),其中θ表示主干网络中的参数;
(2)原型网络中的原型计算模块表示为P(·),该模块对每类支持样本的特征进行均值计算;
(3)原型网络中的相似性计算模块表示为D(·),该模块计算查询样本与每类支持样本原型之间的欧式距离;
(4)原型网络中的softmax层表示为S(·),该模块将查询样本与每类支持样本原型之间的欧式距离转化为概率输出值。
优选的,步骤3原型网络的输入与输出具体方法如下:
(1)在训练集Itrain中随机抽取N类样本,在N类样本里随机抽取K个样本作为支持样本数据集
Figure BDA0003506769420000031
再在剩余样本里面随机抽取Q个样本作为查询样本集
Figure BDA0003506769420000032
(2)支持样本集中第k个校正后图像样本表示为
Figure BDA0003506769420000033
查询样本集中第q个图像样本表示为
Figure BDA0003506769420000034
经过原型网络的主干网络分别被表示为
Figure BDA0003506769420000035
Figure BDA0003506769420000036
支持样本集经过原型计算模块时每类原型特征的计算公式为:
Figure BDA0003506769420000037
(3)支持样本集与查询样本集经过相似性度量模块时,对第q个图像样本特征与第n类支持原型特征的相似性度量计算公式为:
Figure BDA0003506769420000038
(4)查询样本集经过softmax层得到属于第n个类别的概率输出值表示为:
Figure BDA0003506769420000039
优选的,步骤4原型网络的训练具体方法如下:
(1)查询样本类别概率输出值与真实标签值之间的损失函数计算公式为:
Figure BDA00035067694200000310
其中yqn表示第q个查询样本真实标签的第n个分量;
(2)利用梯度下降方法对网络中的参数θ进行优化,进行迭代计算的公式为:
Figure BDA00035067694200000311
其中λ为迭代步长参数。
优选的,步骤5垃圾图像的分类测试具体方法如下:
(1)固定原型网络中的参数θ;
(2)在测试集Itest中随机抽取N类样本,在N类样本里随机抽取K个样本作为支持样本数据集
Figure BDA0003506769420000041
再在剩余样本里面随机抽取Q个样本作为查询样本集
Figure BDA0003506769420000042
(3)支持样本集中第k个校正后图像样本表示为
Figure BDA0003506769420000043
查询样本集中第q个图像样本表示为
Figure BDA0003506769420000044
经过原型网络的主干网络分别被表示为
Figure BDA0003506769420000045
Figure BDA0003506769420000046
支持样本集经过原型计算模块时每类原型特征的计算公式为:
Figure BDA0003506769420000047
(4)支持样本集与查询样本集经过相似性度量模块时,对第q个图像样本特征与第n类支持原型特征的相似性度量计算公式为:
Figure BDA0003506769420000049
(4)查询样本集经过softmax层得到属于第n个类别的概率输出值表示为:
Figure BDA0003506769420000048
有益效果:本发明揭示了一种基于原型网络的小样本垃圾图像分类方法,该方法需要少量垃圾图像样本就能完成对垃圾图像的自动分类识别,能够提高垃圾处理过程中的自动分拣效率。
附图说明
图1为基于原型网络的小样本垃圾图像分类方法的流程图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出;下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图1所示的以生活小区内的垃圾分类为示例并结合图1中基于原型网络的小样本垃圾图像分类方法的流程图对本发明的具体实施方式进行说明,如图1所示其具体步骤如下:
步骤一:构建生活垃圾图像数据集并对数据集内的图像进行预处理:使用摄像头采集诸如菜叶、大骨头、牙膏盒、废旧电池等垃圾的图像,将其人工标注为湿垃圾、干垃圾、可回收垃圾和有害垃圾这四种类别,从而构建垃圾分类数据集I,并将其分为训练集Itrain和测试集Itest,然后利用伽玛校正方法对进行预处理;
步骤二:构建原型网络:该网络由参数θ的主干网络表示为Fθ(·),原型计算模块表示为P(·),相似性计算模块D(·)以及softmax层S(·)组成;
步骤三:原型网络的输入与输出:在训练集Itrain构建支持样本数据集
Figure BDA0003506769420000051
和查询样本集
Figure BDA0003506769420000052
第k个支持样本和第q个查询样本分别被表示为
Figure BDA0003506769420000053
Figure BDA0003506769420000054
第n个类别的原型为
Figure BDA0003506769420000055
然后计算第q个查询图像样本特征与第n类支持原型特征之间的相似性值
Figure BDA0003506769420000056
经过Softmax层后得到第q个查询图像样本属于第n个类别的概率输出值
Figure BDA0003506769420000057
步骤四:原型网络的训练;计算查询样本的类别概率输出值与真实标签值之间的损失函数,利用梯度下降方法对网络中的参数θ进行优化;
步骤五,垃圾图像的分类测试:在测试集Itest上构建支持样本数据集
Figure BDA0003506769420000058
和查询样本集,原型网络中的主干网络对
Figure BDA0003506769420000059
Figure BDA00035067694200000510
中的图像提取特征,第k个支持样本和第q个查询样本分别被表示为
Figure BDA00035067694200000511
Figure BDA00035067694200000512
第n个类别的原型为
Figure BDA00035067694200000513
然后计算第q个查询图像样本特征与第n类支持原型特征之间的相似性值
Figure BDA00035067694200000514
经过Softmax层后得到第q个查询图像样本属于第n个类别的概率输出值
Figure BDA00035067694200000515
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (6)

1.基于原型网络的小样本垃圾图像分类方法,其特征在于,包括如下主要步骤:
步骤1、图像的采集与预处理:使用摄像头采集若干垃圾图像构建垃圾分类数据集I,并将数据集I分为训练集Itrain和测试集Itest;对于图像数据集I中的每一幅图像利用伽玛校正方法对进行预处理,增加图像的亮度,便于后续的分类识别;
步骤2、原型网络的构建:该网络主要是由四个模块组成,分别为主干网络,原型计算模块,相似性计算模块以及Softmax层;
步骤3、原型网络的输入与输出:采用片段式训练方式,在每个训练片段构建N-way-K-shot分类任务,每个分类任务利用训练集Itrain建立支持样本数据集
Figure FDA0003506769410000011
和查询样本数据集
Figure FDA0003506769410000012
Figure FDA0003506769410000013
Figure FDA0003506769410000014
中的图像输入到原型网络中,依次经过网络的四个模块,得到关于查询样本的类别概率输出值;
步骤4、原型网络的训练:计算查询样本类别概率输出值与真实标签值之间的损失函数,利用梯度下降方法对网络中的参数进行优化;
步骤5、垃圾图像的分类测试:固定原型网络中的参数,利用测试数据集Itest建立支持样本数据集和测试样本数据集,并将其输入到原型网络中,依次经过网络的三个模块,就得到关于查询样本的类别输出值,从而完成对垃圾图像的分类测试。
2.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法,其特征在于,步骤1图像的采集与预处理具体方法如下:
(1)使用摄像头采集若干垃圾图像构建垃圾分类数据集I,并将数据集I随机分为训练集Itrain和测试集Itest,并对两个数据集中的图像进行人工标注为四类,这四类标签分别为湿垃圾、干垃圾、可回收垃圾和有害垃圾;
(2)对于图像数据集I中的每一幅图像利用伽马校正方法进行预处理,第n幅图像In进行校正的公式为:
Figure FDA0003506769410000015
其中
Figure FDA0003506769410000016
为校正后的图像,c和γ表示可调的参数。
3.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法,其特征在于,步骤2原型网络的构建具体方法如下:
(1)原型网络中的主干网络是由四个卷积模块组成,每一个卷积模块包含一个带有64个3×3滤波器的卷积层,一个批量归一化层和一个ReLU激活层组成;另外,前两个卷积块还增加了2×2最大池层;主干网络表示为Fθ(·),其中θ表示主干网络中的参数;
(2)原型网络中的原型计算模块表示为P(·),该模块对每类支持样本的特征进行均值计算;
(3)原型网络中的相似性计算模块表示为D(·),该模块计算查询样本与每类支持样本原型之间的欧式距离;
(4)原型网络中的softmax层表示为S(·),该模块将查询样本与每类支持样本原型之间的欧式距离转化为概率输出值。
4.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法,其特征在于,步骤3原型网络的输入与输出具体方法如下:
(1)在训练集Itrain中随机抽取N类样本,在N类样本里随机抽取K个样本作为支持样本数据集
Figure FDA0003506769410000021
再在剩余样本里面随机抽取Q个样本作为查询样本集
Figure FDA0003506769410000022
(2)支持样本集中第k个校正后图像样本表示为
Figure FDA0003506769410000023
查询样本集中第q个图像样本表示为
Figure FDA0003506769410000024
经过原型网络的主干网络分别被表示为
Figure FDA0003506769410000025
Figure FDA0003506769410000026
支持样本集经过原型计算模块时每类原型特征的计算公式为:
Figure FDA0003506769410000027
(3)支持样本集与查询样本集经过相似性度量模块时,对第q个图像样本特征与第n类支持原型特征的相似性度量计算公式为:
Figure FDA0003506769410000028
(4)查询样本集经过softmax层得到属于第n个类别的概率输出值表示为:
Figure FDA0003506769410000029
5.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法,其特征在于,步骤4原型网络的训练具体方法如下:
(1)查询样本类别概率输出值与真实标签值之间的损失函数计算公式为:
Figure FDA00035067694100000210
其中yqn表示第q个查询样本真实标签的第n个分量;
(2)利用梯度下降方法对网络中的参数θ进行优化,进行迭代计算的公式为:
Figure FDA0003506769410000031
其中λ为迭代步长参数。
6.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法,其特征在于,步骤5垃圾图像的分类测试具体方法如下:
(1)固定原型网络中的参数θ;
(2)在测试集Itest中随机抽取N类样本,在N类样本里随机抽取K个样本作为支持样本数据集
Figure FDA0003506769410000032
再在剩余样本里面随机抽取Q个样本作为查询样本集
Figure FDA0003506769410000033
(3)支持样本集中第k个校正后图像样本表示为
Figure FDA0003506769410000034
查询样本集中第q个图像样本表示为
Figure FDA0003506769410000035
经过原型网络的主干网络分别被表示为
Figure FDA0003506769410000036
Figure FDA0003506769410000037
支持样本集经过原型计算模块时每类原型特征的计算公式为:
Figure FDA0003506769410000038
(4)支持样本集与查询样本集经过相似性度量模块时,对第q个图像样本特征与第n类支持原型特征的相似性度量计算公式为:
Figure FDA0003506769410000039
(4)查询样本集经过softmax层得到属于第n个类别的概率输出值表示为:
Figure FDA00035067694100000310
CN202210159436.XA 2022-02-16 2022-02-16 基于原型网络的小样本垃圾图像分类方法 Withdrawn CN114548268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210159436.XA CN114548268A (zh) 2022-02-16 2022-02-16 基于原型网络的小样本垃圾图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210159436.XA CN114548268A (zh) 2022-02-16 2022-02-16 基于原型网络的小样本垃圾图像分类方法

Publications (1)

Publication Number Publication Date
CN114548268A true CN114548268A (zh) 2022-05-27

Family

ID=81677732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210159436.XA Withdrawn CN114548268A (zh) 2022-02-16 2022-02-16 基于原型网络的小样本垃圾图像分类方法

Country Status (1)

Country Link
CN (1) CN114548268A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205521A (zh) * 2022-08-09 2022-10-18 湖南大学 基于神经网络的厨余垃圾检测方法
CN115409124A (zh) * 2022-09-19 2022-11-29 小语智能信息科技(云南)有限公司 基于微调原型网络的小样本敏感信息识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205521A (zh) * 2022-08-09 2022-10-18 湖南大学 基于神经网络的厨余垃圾检测方法
CN115205521B (zh) * 2022-08-09 2024-03-26 湖南大学 基于神经网络的厨余垃圾检测方法
CN115409124A (zh) * 2022-09-19 2022-11-29 小语智能信息科技(云南)有限公司 基于微调原型网络的小样本敏感信息识别方法

Similar Documents

Publication Publication Date Title
CN108520780B (zh) 一种基于迁移学习的医学数据处理和***
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN114548268A (zh) 基于原型网络的小样本垃圾图像分类方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110059765B (zh) 一种矿物智能识别分类***与方法
CN109919012A (zh) 一种基于卷积神经网络的污水处理指示性微生物图像识别方法
CN111652835A (zh) 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN109800795A (zh) 一种果蔬识别方法及***
CN111709477A (zh) 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN115862073A (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN112766229A (zh) 基于注意力机制的人脸点云图像智能识别***及方法
CN110414587A (zh) 基于渐进学习的深度卷积神经网络训练方法与***
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN114511532A (zh) 基于特征引导的通道蒸馏的太阳能电池表面缺陷检测方法
CN114399763A (zh) 一种单样本与小样本微体古生物化石图像识别方法及***
CN109471941A (zh) 一种应对类别不平衡的罪名分类方法
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN113658109A (zh) 一种基于领域损失预测主动学习的玻璃缺陷检测方法
CN111275025A (zh) 一种基于深度学习的车位检测方法
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN115294381B (zh) 基于特征迁移和正交先验的小样本图像分类方法及装置
CN113066049B (zh) Mems传感器疵病种类识别方法及***
CN115496948A (zh) 一种基于深度学习的网络监督细粒度图像识别方法和***
CN114548251A (zh) 基于正则化相关网络的小样本垃圾图像分类方法
CN114627333A (zh) 一种改进深度主动学习的锌浮选泡沫图像分类算法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220527