CN111797259A - 一种针对有褶皱形变的图像快速搜索方法 - Google Patents
一种针对有褶皱形变的图像快速搜索方法 Download PDFInfo
- Publication number
- CN111797259A CN111797259A CN202010659462.XA CN202010659462A CN111797259A CN 111797259 A CN111797259 A CN 111797259A CN 202010659462 A CN202010659462 A CN 202010659462A CN 111797259 A CN111797259 A CN 111797259A
- Authority
- CN
- China
- Prior art keywords
- searching
- image
- module
- feature
- detection module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000037303 wrinkles Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 239000000463 material Substances 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 28
- 239000004744 fabric Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005295 random walk Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对有褶皱形变的图像快速搜索方法，包括有目标检测模组、特征提取模块、搜索模块，所述目标检测模组基于卷积网络，目标检测模组是一种弱监督模型，负责对图像的内容和材质进行分段抽象，进而确定该图像中的目标位置并计算出最佳的目标区域，所述提取模块利用神经网络来学习实拍图的背景区域。本发明一种针对有褶皱形变的图像快速搜索方法，有效的提升了对有褶皱形变实拍照片，以图搜图准确度及速度，节省了人工比对寻找花型的人力物力，更为省时省力，本发明支持个性化定制图库，以及灵活选择适合本图库的特征算子，以达到最优的效果，经测试及实际使用，在该花型领域的搜索效果及速度远远优于市面上一些通用接口。
Description
技术领域
本发明涉及神经网络、深度学习、图像识别、图像搜索领域技术领域，尤其涉及一种针对有褶皱形变的图像快速搜索方法。
背景技术
以图搜图技术已经经历了多年的发展，从开始的图片像素级匹配，哈希检索，到近年来的特征点匹配，目标识别，以及深度学习的基于内容的搜索，以图搜图的精确度以及速度都得到了大幅度的提升。目前比较主流的搜图方案是将图片库利用深度学习或特征变换等方法，预先提取出特征点并将特征索引存储起来，搜索时对输入图片进行特征提取并在特征索引库中进行搜索匹配。
现有的褶皱形变的图像搜索方法，搜图方案对于布样搜索花型的场景并不适用，首先打印在布样上的图形会随着不同印染方式和布料有明显差异，提高了搜索的难度，搜索时的输入图片大多是手机实拍照片，实拍时布样会有各种褶皱形变，大幅提高了搜图的难度，另外，图库的数量经常十分庞大，数十万张图片中效率且精准地搜到原图是一项十分棘手的任务。
发明内容
本发明的目的是为了解决了现有的褶皱形变的图像搜索方法，搜图方案对于布样搜索花型的场景并不适用，首先打印在布样上的图形会随着不同印染方式和布料有明显差异，提高了搜索的难度的缺点，而提出的一种针对有褶皱形变的图像快速搜索方法。
为了实现上述目的，本发明采用了如下技术方案：一种针对有褶皱形变的图像快速搜索方法，包括有目标检测模组、特征提取模块、搜索模块，所述目标检测模组基于卷积网络，目标检测模组是一种弱监督模型，负责对图像的内容和材质进行分段抽象，进而确定该图像中的目标位置并计算出最佳的目标区域，所述提取模块利用神经网络来学习实拍图的背景区域，并利用该模型去除形变的布样照片背景，再对去除背景后的图片进行SIFT特征提取，最后到花型图库中进行特征向量检索，返回最佳匹配结果的花型图案。
作为上述技术方案的进一步描述：
所述目标检测模组基于标准的16层VGG网络，加入了soft proposal模块，该模块可***网络的任意一层卷积层后，根据前一层的特征图，计算特征差异与空间距离，从而得到目标置信值（Objectness confidence），最后根据置信图得到预测的前景/背景分割框。
作为上述技术方案的进一步描述：
所述特征提取模块基于尺度不变特征变换（SIFT），该模块提取出图像的最显著的N个关键点，用N个独特的特征向量来表示。
作为上述技术方案的进一步描述：
所述搜索模块基于高维向量相似度检索聚类（FAISS），搜索模块针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索。
作为上述技术方案的进一步描述：
所述搜索模块对于海量的图片库，该模块存储之前SIFT特征提取模块，并集成各种聚类、降维算法降低存储空间。
作为上述技术方案的进一步描述：
所述目标检测模组的步骤：
步骤一、输入图片经过传统VGG网络的（L-1）层卷积层的特征图提取，输出结果传入新增的Soft Proposal层；
步骤二、Soft Proposal生成，根据图传播计算出生成的权重矩阵，表示目标在各像素点的概率；
步骤三、Soft Proposal耦合训练，并利用随机漫步（random walk）模型来更新概率图；
步骤四、重复步骤二步骤三直至收敛，输出概率图计算出的边界框。
作为上述技术方案的进一步描述：
所述特征提取模块的步骤：
步骤一、对一张实拍图进行缩放，像素点不高于2.5亿像素；
步骤二、使用opencv的SIFT特征点提取，提取前N个最显著的特征向量；
步骤三、存储至一个二维矩阵中。
作为上述技术方案的进一步描述：
所述特征搜索模块的步骤：
步骤一、将图库中的所有图片通过步骤2计算出特征点库，并存储在FAISS的索引文件index中，另外还需存储图片id与特征点的对应关系id_vectors；
步骤二、将索引文件index及id_vectors预先加载至内存中；
步骤三、将输入的query图片依次通过步骤1，步骤2计算出特征点，并在内存中搜索其K近邻；
步骤四、返回前K张输入图片的近似图。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明一种针对有褶皱形变的图像快速搜索方法，有效的提升了对有褶皱形变实拍照片，以图搜图准确度及速度，节省了人工比对寻找花型的人力物力，更为省时省力，本发明支持个性化定制图库，以及灵活选择适合本图库的特征算子，以达到最优的效果，经测试及实际使用，在该花型领域的搜索效果及速度远远优于市面上一些通用接口。
附图说明
图1为本发明中一种针对有褶皱形变的***整体架构图；
图2为本发明中卷积网络的图像分类模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参照图1-2，一种针对有褶皱形变的图像快速搜索方法，包括有目标检测模组、特征提取模块、搜索模块，其特征在于，所述目标检测模组基于卷积网络，目标检测模组是一种弱监督模型，负责对图像的内容和材质进行分段抽象，进而确定该图像中的目标位置并计算出最佳的目标区域，所述提取模块利用神经网络来学习实拍图的背景区域，并利用该模型去除形变的布样照片背景，再对去除背景后的图片进行SIFT特征提取，最后到花型图库中进行特征向量检索，返回最佳匹配结果的花型图案，该方法基于三种技术，CNN（卷积网络）、SIFT（尺度不变特征变换）以及FAISS（高维向量相似度检索聚类），是一种快速搜索相同图案的方法，该方法通过对背景及前景图片的不断迭代学习，将大部分实拍褶皱形变图片中的背景噪音抠除后，再对抠好的图片进行SIFT特征提取，最后与图片库中的图片进行特征点匹配，达到搜索相同图案的效果。
进一步的，所述目标检测模组基于标准的16层VGG网络，加入了soft proposal模块，该模块可***网络的任意一层卷积层后，根据前一层的特征图，计算特征差异与空间距离，从而得到目标置信值（Objectness confidence），最后根据置信图得到预测的前景/背景分割框。
进一步的，所述特征提取模块基于尺度不变特征变换（SIFT），该模块提取出图像的最显著的N个关键点，用N个独特的特征向量来表示，这些特征向量具有对尺度缩放、旋转、亮度变化无关的特性，因此对褶皱、形变等实拍图的变换不敏感，非常适用于该搜图***的应用场景。
进一步的，所述搜索模块基于高维向量相似度检索聚类（FAISS），搜索模块针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。
进一步的，所述搜索模块对于海量的图片库，该模块存储之前SIFT特征提取模块，并集成各种聚类、降维算法降低存储空间，在搜索过程中将预先计算好的向量库加载至内存中，大大降低搜索匹配所消耗的时间。
进一步的，所述目标检测模组的步骤：
步骤一、输入图片经过传统VGG网络的（L-1）层卷积层的特征图提取，输出结果传入新增的Soft Proposal层；
步骤二、Soft Proposal生成，根据图传播计算出生成的权重矩阵，表示目标在各像素点的概率；
步骤三、Soft Proposal耦合训练，并利用随机漫步（random walk）模型来更新概率图；
步骤四、重复步骤二步骤三直至收敛，输出概率图计算出的边界框。
进一步的，所述特征提取模块的步骤：
步骤一、对一张实拍图进行缩放，像素点不高于2.5亿像素；
步骤二、使用opencv的SIFT特征点提取，提取前N个最显著的特征向量；
步骤三、存储至一个二维矩阵中。
进一步的，所述特征搜索模块的步骤：
步骤一、将图库中的所有图片通过步骤2计算出特征点库，并存储在FAISS的索引文件index中，另外还需存储图片id与特征点的对应关系id_vectors；
步骤二、将索引文件index及id_vectors预先加载至内存中；
步骤三、将输入的query图片依次通过步骤1，步骤2计算出特征点，并在内存中搜索其K近邻；
步骤四、返回前K张输入图片的近似图。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种针对有褶皱形变的图像快速搜索方法，包括有目标检测模组、特征提取模块、搜索模块，其特征在于，所述目标检测模组基于卷积网络，目标检测模组是一种弱监督模型，负责对图像的内容和材质进行分段抽象，进而确定该图像中的目标位置并计算出最佳的目标区域，所述提取模块利用神经网络来学习实拍图的背景区域，并利用该模型去除形变的布样照片背景，再对去除背景后的图片进行SIFT特征提取，最后到花型图库中进行特征向量检索，返回最佳匹配结果的花型图案。
2.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述目标检测模组基于标准的16层VGG网络，加入了soft proposal模块，该模块可***网络的任意一层卷积层后，根据前一层的特征图，计算特征差异与空间距离，从而得到目标置信值（Objectness confidence），最后根据置信图得到预测的前景/背景分割框。
3.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述特征提取模块基于尺度不变特征变换（SIFT），该模块提取出图像的最显著的N个关键点，用N个独特的特征向量来表示。
4.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述搜索模块基于高维向量相似度检索聚类（FAISS），搜索模块针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索。
5.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述搜索模块对于海量的图片库，该模块存储之前SIFT特征提取模块，并集成各种聚类、降维算法降低存储空间。
6.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述目标检测模组的步骤：
步骤一、输入图片经过传统VGG网络的（L-1）层卷积层的特征图提取，输出结果传入新增的Soft Proposal层；
步骤二、Soft Proposal生成，根据图传播计算出生成的权重矩阵，表示目标在各像素点的概率；
步骤三、Soft Proposal耦合训练，并利用随机漫步（random walk）模型来更新概率图；
步骤四、重复步骤二步骤三直至收敛，输出概率图计算出的边界框。
7.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述特征提取模块的步骤：
步骤一、对一张实拍图进行缩放，像素点不高于2.5亿像素；
步骤二、使用opencv的SIFT特征点提取，提取前N个最显著的特征向量；
步骤三、存储至一个二维矩阵中。
8.根据权利要求1所述的一种针对有褶皱形变的图像快速搜索方法，其特征在于，所述特征搜索模块的步骤：
步骤一、将图库中的所有图片通过步骤2计算出特征点库，并存储在FAISS的索引文件index中，另外还需存储图片id与特征点的对应关系id_vectors；
步骤二、将索引文件index及id_vectors预先加载至内存中；
步骤三、将输入的query图片依次通过步骤1，步骤2计算出特征点，并在内存中搜索其K近邻；
步骤四、返回前K张输入图片的近似图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659462.XA CN111797259A (zh) | 2020-07-10 | 2020-07-10 | 一种针对有褶皱形变的图像快速搜索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659462.XA CN111797259A (zh) | 2020-07-10 | 2020-07-10 | 一种针对有褶皱形变的图像快速搜索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797259A true CN111797259A (zh) | 2020-10-20 |
Family
ID=72810663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010659462.XA Pending CN111797259A (zh) | 2020-07-10 | 2020-07-10 | 一种针对有褶皱形变的图像快速搜索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797259A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761239A (zh) * | 2021-09-08 | 2021-12-07 | 武汉工程大学 | 基于海量地理位置信息的索引库建立及检索方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122375A (zh) * | 2016-12-12 | 2017-09-01 | 南京理工大学 | 基于图像特征的图像主体的识别方法 |
| US20180018535A1 (en) * | 2015-12-10 | 2018-01-18 | Intel Corporation | Visual recognition using deep learning attributes |
| CN110866491A (zh) * | 2019-11-13 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 目标检索方法、装置、计算机可读存储介质和计算机设备 |
| CN111177435A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种基于改进pq算法的cbir方法 |
| CN111177438A (zh) * | 2018-11-12 | 2020-05-19 | 深圳云天励飞技术有限公司 | 图像特征值的搜索方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-10 CN CN202010659462.XA patent/CN111797259A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180018535A1 (en) * | 2015-12-10 | 2018-01-18 | Intel Corporation | Visual recognition using deep learning attributes |
| CN107122375A (zh) * | 2016-12-12 | 2017-09-01 | 南京理工大学 | 基于图像特征的图像主体的识别方法 |
| CN111177438A (zh) * | 2018-11-12 | 2020-05-19 | 深圳云天励飞技术有限公司 | 图像特征值的搜索方法、装置、电子设备及存储介质 |
| CN110866491A (zh) * | 2019-11-13 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 目标检索方法、装置、计算机可读存储介质和计算机设备 |
| CN111177435A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种基于改进pq算法的cbir方法 |
Non-Patent Citations (1)
| Title |
|---|
| YI ZHU: "Soft Proposal Networks for Weakly Supervised Object Localization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761239A (zh) * | 2021-09-08 | 2021-12-07 | 武汉工程大学 | 基于海量地理位置信息的索引库建立及检索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022002150A1 (zh) | 一种视觉点云地图的构建方法、装置 | |
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| CN106599836B (zh) | 多人脸跟踪方法及跟踪*** | |
| CN104601964B (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及*** | |
| CN109711366B (zh) | 一种基于群组信息损失函数的行人重识别方法 | |
| CN112967341B (zh) | 基于实景图像的室内视觉定位方法、***、设备及存储介质 | |
| CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
| CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| Quan et al. | Deep feature correlation learning for multi-modal remote sensing image registration | |
| CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN111125397A (zh) | 一种基于卷积神经网络的布料图像检索方法 | |
| CN115063526A (zh) | 二维图像的三维重建方法、***、终端设备及存储介质 | |
| CN111797259A (zh) | 一种针对有褶皱形变的图像快速搜索方法 | |
| Cai et al. | A target tracking method based on KCF for omnidirectional vision | |
| CN114743045B (zh) | 一种基于双分支区域建议网络的小样本目标检测方法 | |
| Montserrat et al. | Scalable logo detection and recognition with minimal labeling | |
| Xue et al. | Low-resolution vehicle recognition based on deep feature fusion | |
| CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 | |
| Ştefan et al. | Deep learning-based person search with visual attention embedding | |
| Li et al. | Aerial Image Object Detection Method Based on Adaptive ClusDet Network | |
| Li et al. | Deep video foreground target extraction with complex scenes | |
| Masala et al. | 2D recurrent neural networks: a high-performance tool for robust visual tracking in dynamic scenes | |
| Kalaiyarasi et al. | Enhancing logo matching and recognition using local features | |
| CN117475091B (zh) | 高精度3d模型生成方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |
|
| RJ01 | Rejection of invention patent application after publication |