CN110347851A - 基于卷积神经网络的图像检索方法及*** - Google Patents

基于卷积神经网络的图像检索方法及*** Download PDF

Info

Publication number
CN110347851A
CN110347851A CN201910463906.XA CN201910463906A CN110347851A CN 110347851 A CN110347851 A CN 110347851A CN 201910463906 A CN201910463906 A CN 201910463906A CN 110347851 A CN110347851 A CN 110347851A
Authority
CN
China
Prior art keywords
image
data base
image data
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910463906.XA
Other languages
English (en)
Inventor
金星
夏伟
胡聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910463906.XA priority Critical patent/CN110347851A/zh
Publication of CN110347851A publication Critical patent/CN110347851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于卷积神经网络的图像检索方法及***，包括：建立图像数据库，批量进行图像预处理；利用图像数据库训练基于GoogLeNet的Inception‑v2图像卷积神经网络模型；采集待检测图像，并对其进行预处理，用图像卷积神经网络模型对图像数据库中的图像待检索图像进行特征向量提取；对待检索的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的top n图像反馈给用户，完成图像检索过程。本发明避免了图像缩放、旋转、平移等因素对检索结果造成的影响，大幅度提高了模型训练时间，有效解决了因图纹理复杂而导致特征表示不全面，从而导致检索精度不高的问题。

Description

基于卷积神经网络的图像检索方法及***
技术领域
本发明涉及计算机视觉图像检索领域，具体涉及基于卷积神经网络的图像检索方法及***。
背景技术
近年来，随着互联网的发展和智能设备的普及，网络上存储的图片数量呈现爆发式增长，引发了图像数据过载问题，如何从大规模海量图像中有效检索出用户感兴趣的图像成为当前图像处理与分析领域研究的研究热点。由于传统基于文本的检索人工标注成本高、存在用户主观性，图像检索技术由基于文本的检索逐渐发展成为基于内容的检索，基于内容的图像检索流程是通过提取诸如图像颜色、纹理、形状等图像底层视觉特征，计算查询图像与测试图像特征的距离，返回与查询图像相同或最为相似的图像。但是，底层特征与高层语义之间存在语义鸿沟，不能准确反映出用户的检索意图。随着社会信息技术高速发展以及大数据时代的到来，不仅图像数量增多，而且图像内容也变得复杂多样，传统的基于内容的检索技术已无法满足用户的需求，检索结果容易受到图像缩放、平移、旋转的影响，图像的低级特征相对复杂，检索费时且准确率较低。
随着计算机硬件的快速发展以及数据量的指数增长，深度学习技术特别是卷积神经网络能直接从图像数据中学习到数据的分布，已在图像分类、图像分割、目标检测、人脸识别等视觉任务中取得了成功，其准确率已经超越了人类。利用卷积神经网络的强大的图像特征提取能力，建立卷积神经网络模型，以提高图像检索性能。
发明内容
本发明要解决的技术问题在于，针对上述目前图像检索精度不高、计算量大的技术问题，提供基于卷积神经网络的图像检索方法及***解决上述技术缺陷。
基于卷积神经网络的图像检索方法，包括：
步骤1、建立图像数据库，并批量进行图像预处理；
步骤2、利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；
步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像和所述待检索图像分别进行特征向量提取；
步骤4、对待检测图像的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的前n个图像反馈给用户，完成图像检索过程。
进一步的，步骤1具体包括：
步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；
步骤1.2、将所有图像统一缩放至固定大小；
步骤1.3、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。
进一步的，步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的全连接层产生输出，将Inception-v2模型的softmax层和全连接层去掉，在pool_3层的后面加上新的全连接层，网络节点数为2048，输出节点的数目为数据集图片类别的数目，在对模型进行迁移学习的时候需要定义训练参数。
进一步的，步骤3的具体方法是：用步骤2建立的卷积神经网络模型步骤1建立的图像数据库中的图像提取特征向量，构建特征库，对步骤1中采集的待检索图像特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Yi，i＝1，2，…，N，N为从图像数据库中提取的特征向量的个数。
进一步的，步骤4的具体方法是：根据步骤3提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Yi之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的前n个图像。
基于卷积神经网络的图像检索方法***，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现任意一种基于卷积神经网络的图像检索方法。
与现有技术相比，本发明优势在于：
1、本发明提出了基于卷积神经网络的图像检索方法，根据卷积神经网络的自学***移等因素对检索结果造成的影响，适应能力强。
2、使用较小的专用数据集对已有的网络模型进行微调，提高了模型的准确性；利用GPU加速，大幅度提高了模型训练时间。
3、利用卷积神经网络模型提取图像特征，有效解决了因图纹理复杂而导致特征表示不全面，从而导致检索精度不高的问题。
附图说明
下面结合附图以及具体实施方式对本发明作详细说明，附图中：
图1为本发明基于卷积神经网络的图像检索方法流程图；
图2为本发明基于卷积神经网络的图像检索方法的卷积神经网络结构图；
图3为本发明基于卷积神经网络的图像检索方法的对应检索精度曲线图。
具体实施方式
为了使本发明的技术特征、目的和效果更加易于理解，现对照附图详细说明本发明的具体实施方式。
基于卷积神经网络的图像检索方法，如图1所示，包括：
步骤1、建立图像数据库，并批量进行图像预处理，具体包括：
步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；
步骤1.2、将所有图像数据库中的图像分为训练集和测试集部分，训练集用来训练检索模型，测试集用来检验模型的好坏。
步骤1.3、将所有图像统一缩放至固定大小，在整个卷积神经网络的结构中，卷积层和池化层对图片大小是没有要求的，但是全连接层就需要图片是固定大小，因为全连接层的权值矩阵在训练后是固定大小的矩阵。
步骤1.4、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。
步骤2、，如图2所示，利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；
GoogLeNet是2014年ImageNet比赛的冠军，模型有22层，Inception-v2模型的核心是批量归一化以及卷积核替代，批量归一化解决了内部神经元的数据分布发生变化的问题，使得每一层的输出都规范化到了N(0,1)，同时允许比较高的学习率；取代部分dropout的功能，Inception-v2的卷积核替代是使用两个3x3的卷积核代替一个5x5的卷积核，参数减少但感受野相同，能减轻网络负担。
步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的全连接层产生输出，因为迁移学习训练的特点，网络的训练只训练自己加上的全连接层的神经网络权值，并不会影响Inception-v2的参数。将Inception-v2模型的softmax层和全连接层去掉，在pool_3层的后面加上新的全连接层，网络节点数为2048，输出节点的数目为数据集图片类别的数目，在对模型进行迁移学习的时候需要定义训练参数。
要想使得神经网络具有非线性运算的功能，就要引入非线性的激活函数，这样对任意非线性函数的逼近都可以通过神经网络模型来实现，从而使神经网络模型可以扩展到非线性额模型中。激活函数选用ReLU，能较好地解决神经网络梯度消失的问题。
模型训练的目的是希望损失函数尽量降低，但是在真实的应用中并不是想让卷积模神经网络完全的拟合训练数据的行为，而是希望卷积神经网络训练得到学习数据的内在规律。L2正则化是L2范数惩罚项被添加在参数约束中，公式如下：
滑动平均模型是一个可以让模型更加健壮的方法，在训练网络中应用梯度下降算法的时候，大多数情况下应用滑动平均模型可以使得网络在测试数据集上有更加优秀的表现。在神经网络的训练过程中，***需要维护一个影子变量，其计算公式如下式所示：
Vs＝dr*Vs+(1-dr)*V，
Vs为***维护的影子变量，dr为衰减率，V是待更新变量。从公式可以看出，dr决定的模型更新的速度，dr越接近1，模型越稳定。
迁移学习的网络选择交叉熵代价函数作为该模型的损失函数。
常用的代价函数选择的是二次代价函数，但是二次代价函数的缺点在于初始化的权值和偏置与最终的权值和偏置差距很大的时候，参数的更新的速度就会很难提高。交叉熵代价函数的公式：
其中：n是训练数据的总数，x是所有的训练输入，y是对应的标输出，a是神经网络的输出。交叉熵代价函数没有学习速度下滑的问题，这个特性使得它的性能优于二次代价函数。
在神经网络的训中，权值和偏置每一步迭代更新的速度由学习率直接控制，在学习率设置的比较大的时候，那么权值和偏置可能发生在最优值之间来回摆动的情况，如果参数过小，虽然能保证收敛性，但是训练的效率会大大降低，所以学习率既不能太大，也不能太小。为了解决这一问题，我采用衰减的学习率来训练网络，选择指数型衰减的学习率对网络进行训练。
理论上来说神经网络的性能会随着训练次数的增加而提高，但是如果在有限的数据上无限的训练神经网络，会提高神经网络的过拟合的可能性，从而在未知的数据上的泛华的能力变差。
步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像待检索图像进行特征向量提取，具体方法是：
用步骤2建立的卷积神经网络模型步骤1建立的图像数据库中的图像提取特征向量，构建特征库，对步骤1中采集的待检索图像特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Yi，i＝1，2，…，N，N为从图像数据库中提取的特征向量的个数。
步骤4、对待检索的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的top n图像反馈给用户，完成图像检索过程，具体方法是：
根据步骤3提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Yi之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的top n图像。
本发明基于卷积神经网络的图像检索方法的对应检索精度曲线图如图3所示。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.基于卷积神经网络的图像检索方法，其特征在于，包括：
步骤1、建立图像数据库，并批量进行图像预处理；
步骤2、利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；
步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像和所述待检索图像分别进行特征向量提取；
步骤4、对待检测图像的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的前n个图像反馈给用户，完成图像检索过程。
2.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤1具体包括：
步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；
步骤1.2、将所有图像统一缩放至固定大小；
步骤1.3、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。
3.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的全连接层产生输出，将Inception-v2模型的softmax层和全连接层去掉，在pool_3层的后面加上新的全连接层，网络节点数为2048，输出节点的数目为数据集图片类别的数目，在对模型进行迁移学习的时候需要定义训练参数。
4.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤3的具体方法是：用步骤2建立的卷积神经网络模型步骤1建立的图像数据库中的图像提取特征向量，构建特征库，对步骤1中采集的待检索图像特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Yi，i＝1，2，…，N，N为从图像数据库中提取的特征向量的个数。
5.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤4的具体方法是：根据步骤3提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Yi之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的前n个图像。
6.基于卷积神经网络的图像检索方法***，其特征在于，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～5所述的任意一种基于卷积神经网络的图像检索方法。
CN201910463906.XA 2019-05-30 2019-05-30 基于卷积神经网络的图像检索方法及*** Pending CN110347851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910463906.XA CN110347851A (zh) 2019-05-30 2019-05-30 基于卷积神经网络的图像检索方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910463906.XA CN110347851A (zh) 2019-05-30 2019-05-30 基于卷积神经网络的图像检索方法及***

Publications (1)

Publication Number Publication Date
CN110347851A true CN110347851A (zh) 2019-10-18

Family

ID=68174477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910463906.XA Pending CN110347851A (zh) 2019-05-30 2019-05-30 基于卷积神经网络的图像检索方法及***

Country Status (1)

Country Link
CN (1) CN110347851A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694977A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于数据增强的车辆图像检索方法
CN111709292A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN111797921A (zh) * 2020-07-02 2020-10-20 中国工商银行股份有限公司 一种图像数据对比方法及装置
CN112507158A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 图像处理方法和装置
CN113780304A (zh) * 2021-08-09 2021-12-10 国网安徽省电力有限公司检修分公司 基于神经网络的变电站设备图像检索方法及***
CN114429638A (zh) * 2022-04-06 2022-05-03 四川省大数据中心 一种施工图审查管理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256246A (zh) * 2017-06-06 2017-10-17 西安工程大学 基于卷积神经网络的印花织物图像检索方法
CN108681708A (zh) * 2018-05-16 2018-10-19 福州精益精科技有限责任公司 一种基于Inception神经网络模型的掌静脉图像识别方法、装置及存储介质
CN109190666A (zh) * 2018-07-30 2019-01-11 北京信息科技大学 基于改进的深度神经网络的花卉图像分类方法
WO2019074316A1 (ko) * 2017-10-12 2019-04-18 주식회사 웰시스템코리아 이미지 및 영상의 등록, 검색, 재생을 모바일 디바이스 및 서버에서 분할하여 수행하는 컨벌루션 인공신경망 기반 인식 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256246A (zh) * 2017-06-06 2017-10-17 西安工程大学 基于卷积神经网络的印花织物图像检索方法
WO2019074316A1 (ko) * 2017-10-12 2019-04-18 주식회사 웰시스템코리아 이미지 및 영상의 등록, 검색, 재생을 모바일 디바이스 및 서버에서 분할하여 수행하는 컨벌루션 인공신경망 기반 인식 시스템
CN108681708A (zh) * 2018-05-16 2018-10-19 福州精益精科技有限责任公司 一种基于Inception神经网络模型的掌静脉图像识别方法、装置及存储介质
CN109190666A (zh) * 2018-07-30 2019-01-11 北京信息科技大学 基于改进的深度神经网络的花卉图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘吉: "深度学习在医学图像识别中的应用研究", 《青岛大学学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709292A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN111709292B (zh) * 2020-05-18 2023-05-26 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN111694977A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于数据增强的车辆图像检索方法
CN111797921A (zh) * 2020-07-02 2020-10-20 中国工商银行股份有限公司 一种图像数据对比方法及装置
CN112507158A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 图像处理方法和装置
CN113780304A (zh) * 2021-08-09 2021-12-10 国网安徽省电力有限公司检修分公司 基于神经网络的变电站设备图像检索方法及***
CN113780304B (zh) * 2021-08-09 2023-12-05 国网安徽省电力有限公司超高压分公司 基于神经网络的变电站设备图像检索方法及***
CN114429638A (zh) * 2022-04-06 2022-05-03 四川省大数据中心 一种施工图审查管理***

Similar Documents

Publication Publication Date Title
CN110347851A (zh) 基于卷积神经网络的图像检索方法及***
Zhao et al. ApLeaf: An efficient android-based plant leaf identification system
CN106021406B (zh) 一种数据驱动的迭代式图像在线标注方法
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN106021603A (zh) 一种基于分割和特征匹配的服装图像检索方法
CN108229503A (zh) 一种针对服装照片的特征提取方法
CN105931241B (zh) 一种自然场景图像的自动标注方法
CN110609917B (zh) 基于卷积神经网络和显著性检测的图像检索方法及***
CN105930497B (zh) 基于图像边缘和线条特征的三维模型检索方法
CN107239777A (zh) 一种基于多视角图模型的餐具检测和识别方法
CN109583498A (zh) 一种基于低秩正则化特征增强表征的时尚兼容度预测方法
CN109213853A (zh) 一种基于cca算法的中文社区问答跨模态检索方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN107918761A (zh) 一种基于多流形核鉴别分析的单样本人脸识别方法
CN109509191A (zh) 一种图像显著性目标检测方法及***
CN107016371A (zh) 基于改进的深度置信网络的无人机着陆地貌分类方法
CN106844785A (zh) 一种基于显著性分割的基于内容的图像检索方法
CN110298392A (zh) 一种标签约束自权重多超图学习的半监督分类方法
CN106874942A (zh) 一种基于正则表达式语义的目标模型快速构建方法
CN103399863B (zh) 基于边缘方向差特征袋的图像检索方法
Qi et al. Exploring illumination robust descriptors for human epithelial type 2 cell classification
Rangkuti et al. Batik image retrieval based on similarity of shape and texture characteristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication