CN110046617A - 一种基于深度学习的数字电表读数自适应识别方法 - Google Patents

一种基于深度学习的数字电表读数自适应识别方法 Download PDF

Info

Publication number
CN110046617A
CN110046617A CN201910198242.9A CN201910198242A CN110046617A CN 110046617 A CN110046617 A CN 110046617A CN 201910198242 A CN201910198242 A CN 201910198242A CN 110046617 A CN110046617 A CN 110046617A
Authority
CN
China
Prior art keywords
ammeter
data set
deep learning
electric meter
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910198242.9A
Other languages
English (en)
Inventor
郭航
赵季中
惠维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910198242.9A priority Critical patent/CN110046617A/zh
Publication of CN110046617A publication Critical patent/CN110046617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的数字电表读数自适应识别方法，采集机械电表，数码管表和非智能电表建立电表图像数据集，生成PascalVoc制式的标准数据集，采用Faster‑RCNN算法对生成的标准数据集进行训练，完成电表的识数框选工作，利用卷积神经网络在特征图上通过采用卷积核预测一系列候选框的类别分数，以分数最高的类别作为输出结果完成自适应识别。本发明能够实现不同类型电表的数字区域自适应定位，图像预处理后通过字符识别算法将数字区域字符识别的一整套方法。

Description

一种基于深度学习的数字电表读数自适应识别方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的数字电表读数自适应识别方法。
背景技术
目前通信运营商的基站、机房等基础设施还有很多使用机械式电表，每月需要花费大量人力抄写电表行码，效率低、容易出错，现有技术的对象检测网络依赖于区域提议算法来假设对象位置，由于电表图像是抄表员用手机拍电表上传的，可能会存在照片模糊、光线太暗等情况，对识别有很大影响。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度学习的数字电表读数自适应识别方法，基于Faster-RCNN算法与Tensorflow框架实现电表读数框取与识别。
本发明采用以下技术方案：
一种基于深度学习的数字电表读数自适应识别方法，采集机械电表，数码管表和非智能电表建立电表图像数据集，生成PascalVoc制式的标准数据集，采用Faster-RCNN算法对生成的标准数据集进行训练，完成电表的识数框选工作，使用tesseract-ocr进行数字识别，利用卷积神经网络，采用卷积核预测特征图上一系列候选框的类别分数，以分数最高的类别作为输出结果完成自适应识别。
具体的，按训练集、测试集、验证集对收集的电表图像数据集进行划分，然后使用Label-Image将原有数据集的电表区域进行标注，生成PascalVoc制式的标准数据集。
进一步的，训练集：测试集：验证集为8：1：1。
具体的，配置GPU服务器环境，创建tensorflow-gpu_1.9沙盒环境，完成框架搭建并进行训练。
进一步的，整理标注的电表图像数据集，使用预训练的ImageNet模型对标注的电表图像数据集进行训练并等待训练结果。
具体的，将标准数据集放入Faster-RCNN算法搭建的框架网络中，将VGG_imagenet的预训练模型放入模型网络，按照github参数设置参数并训练，生成训练结果。
进一步的，使用训练完成的模型获取识数框的四点坐标，使用matplotlib存储目标图像以实现关键区域截取的功能。
具体的，电表识数识别具体为：先对关键区域进行图像预处理，然后使用tesseract进行目标区域的识数显示功能。
进一步的，使用字符识别库tesseract-ocr对框出的电表框做识数识别，先对已框选的区域做二值化处理，然后使用已有框架对先处理的区域进行识别，最后显示读数。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于深度学习的数字电表读数自适应识别方法，利用目前目标检测领域最热门的 Faster rcnn算法，使用Google的Tensorflow框架，实现了不同类型电表框选的99.99％的准确度；
进一步的，数据集制作的标准直接影响到后期训练网络学习特征区域的准确度，通过实验证明将训练集、测试集与验证集的比例划分为8:1:1具有最好的精度，由于后期的字符识别数字区域定位的越准确识别的准确度也越高。
进一步的，采用python的第三方matplotlib绘图算法，准确的获取框选的坐标存储变量，进行下一步的识别；对于码表读数识别的模块，使用准确度最高的tesseract-ocr字符库，考虑因素全面，实用性及适用性较强。
进一步的，通过模型识别出数字区域的四点坐标，但是后期在进行字符识别时，需要输入的是数字区域的图像，所以通过python最好的绘图库matplotlib将数字区域保存为数字区域的图像，以供后续在进行字符识别时的输入。
进一步的，由于输入的是电表数字区域的彩色图像，在做字符识别时，彩色图像中有很多的无用信息，会增加识别精度，所以首先需要对图像做灰度化处理之后进行二值化，将原本的彩色图像变成特征很明显的二值图像，之后使用目前识别度最高的字符识别库tesseract-ocr，使用python版本的pytesseract的image_to_string方法可以对输入的预处理后的二值化图像进行数字识别。
综上所述，本发明能够实现不同类型电表的数字区域自适应定位，图像预处理后通过字符识别算法将数字区域字符识别的一整套方法。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为电表识别流程图；
图2为检测算法图，其中，(a)为检测算法流程图，(b)为算法模型准确率图；
图3为数字显示区域框选图；
图4为图像处理图，其中，(a)为图像预处理对比图，(b)为最终读数识别结果图。
具体实施方式
本发明提出了一种基于深度学习的电表行码识别方法，对电表拍照即可自动识别出电表行码。本发明通过采用Faster-RCNN方法对电表的行码区域进行检测定位，利用卷积神经网络在特征图上通过采用卷积核预测一系列候选框的类别分数，以分数最高的类别作为输出结果。
请参阅图1，本发明一种基于深度学习的数字电表读数自适应识别方法，包括以下步骤：
S1、前期收集3000多张的机械电表，数码管表和非智能电表三种电表的电表图像(其为抄表员手机拍电表所得)；
S2、对手中的电表数据集以训练集、测试集、验证集为8：1：1的比例划分，然后使用Label-Image的开源工具将原有数据集的电表区域打好标注，最后生成PascalVoc制式的标准数据集；
S3、配置具有CUDA9.0+CUDNN的GPU服务器环境，并且使用conda创建具有tensorflow-gpu_1.9的沙盒环境；
S4、使用当前准确性最高的目标检测方法Faster-RCNN，git clone相应的tensorflow版本至GPU服务器，进入步骤S3创建的tensorflow的相应沙盒环境，安装python库，然后进入 master根目录执行编译，完成框架搭建，开始执行训练；
首先配置好GPU服务器的相应环境，将TF版本的Faster-rcnn源码从github gitclone至服务器的相应位置，切换到lib下编译整个项目，接着整理步骤S2所标注的电表数据集至源码目录的data文件夹下，由于在ImageNet上训练一个网络，即使使用多GPU也要花费很长时间。共享预训练好的网络，有利于再使用，下载一个预训练的ImageNet的模型放置代码所要求的data文件夹下，完成电表框检测训练的所有参数配置与环境配置，执行./experiments/scripts/faster_rcnn_end2end.sh$DEVICE$DEVICE_ID VGG16pascal_voc然后等待训练完成的结果。
S5、将步骤S2制作完成的标准数据集放入步骤S4的指定数据文件夹中，下载 VGG_imagenet的预训练模型至指定文件夹，按照github参数设置好相应的参数，准备下一步的训练；
S6、切换至master根目录文件夹，执行./experiments/scripts/faster_rcnn_end2end.sh gpu 0 VGG16pascal_voc开始训练；
S7、待步骤S6训练完成后取训练完成的模型文件(*.ckpt)至本地计算机，完成电表的识数框选工作，本地测试成功率99％；
S8、使用模型获取识数框的四点坐标，然后使用matplotlib保存至本地目录以实现关键区域截取的功能；
S9、实现电表识数识别功能，当前使用python库tesseract，首先对关键区域进行图像预处理(降噪、二值化)，接下来使用tesseract来进行目标区域的识数显示功能。
使用字符识别库tesseract-ocr对框出的电表框做识数识别，首先对已框选的区域做二值化处理，然后使用已有的框架对先处理的区域进行识别，最后显示读数。
通过对电表行码进行特征处理，提取关键信息，步骤如下：
①灰度化：采用加权平均法对行码区域进行灰度化处理，以减少运算量，对每个像素的R、 G、B值分别增加加权系数，然后求和；
②直方图均衡：为减少电表图像的光线明暗差异，通过直方图均衡化，把原始图像的灰度直方图从比较集中的某个灰度区域变成了在全部灰度范围内的均匀分布，进行图像的非线性拉伸和重新分配，使一定灰度范围内的像素数量大致相同；
③去噪平滑：为提升图像的质量，通过“中值滤波器”进行去噪平滑，该滤波器在图像上采用一个奇数大小的滑动窗口，使用中间位置像素的灰度级(中位数)来替代窗口中心像素原来的灰度级；
④自适应二值化：通过将图像分成多个小块区域，并计算相应的阈值，根据阈值将图像转化成只包含0、1两个灰度值的黑白图像，进行自适应二值化处理，实现图像的分割；
⑤腐蚀膨胀：通过腐蚀、膨胀操作，将电表行码数字之间分开，将行码数字内的线条连通起来，便于后续进行识别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
a、基于深度学习的电表数字定位估计算法
请参阅图2，当对电表进行数字区域定位的时候，使用目前深度学习领域计算机视觉中目标检测最成熟的算法Faster-RCNN，此网络架构有四个部分：
1)卷积层
原始图片首先经过卷积-激活函数-池化的多层卷积神经网络，获得featuremaps，供后续的 RPN网络和全连接层使用，Faster-RCNN不像RCNN一样需要对每个子图进行卷积层特征提取，只需对全图做一次CNN之后提取特征就可以了，从而大大的减少了计算的时间。
2)RPN层
RPN网络主要用于生成候选框，然后利用softmax判断选框是前景还是背景，然后使用边框回归来精修候选框的位置，之后生成特征图。
3)ROI Pooling层
将不同尺寸的特征图池化成相同的尺寸，最后出入到全连接层进行目标识别与定位。
4)Classifer
使用第三步输出的特征图的proposal，利用Softmax进行具体类别的分类，同时继续利用边框回归来精修物体的位置。
网络的损失函数为：
其中，i是小块中锚点的索引，pi是锚点i作为对象的预测概率。如果锚是正的，则正值标签p是1，如果锚是负的，则正值标签p是0。ti是表示预测边界框的4个参数化坐标的向量，是与正锚点相关联的地面实况框的向量。分类损失Lcls是两类(目标与非目标)的对数损失。
对于回归损失，使用R是鲁棒损失函数(smooth L1)。表示仅对正锚激活回归损失，否则禁用cls和reg层的输出分别由{pi}和{ti}组成。
具体的模型准确率如图2b所示，通过将训练的模型通过测试集的数据图片运行得到的结果如图3可以看得训练得到的模型可以很精确的将电表示数区域定位出来。
b、基于自定义阈值的图像预处理算法
首先需要对定位出的数字区域做预处理，第一步对图像做二值化处理，使用最大类间差法进行二值化，设定阈值为T，w0为前景所占的比例，w1＝1-w0背景点所占比例，u0＝前景灰度均值，u1＝背景灰度均值，u为全局灰度值，u＝w0*u0+w1*u1，目标函数g如下：
g＝w0(u0-u)*(u0-u)+w1(u1-u)*(u1-u)＝w0*(1–w0)*(u0-u1)*(u0-u1)
其中，g越大，t就是越好的阈值，这个函数反映了前景和背景的差值，差值越大，阈值越好。图4a显示了图像预处理前后的效果。
c、基于Tesseract-OCR的电表示数读取方法
基于自定义阈值的图像预处理算法处理后，放入图片使用目前识别速度最高准确度最好的开源OCR识别库进行电表示数识别，最终效果显示在图4b。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于深度学习的数字电表读数自适应识别方法，其特征在于，采集机械电表，数码管表和非智能电表建立电表图像数据集，生成PascalVoc制式的标准数据集，采用Faster-RCNN算法对生成的标准数据集进行训练，完成电表的识数框选工作，使用tesseract-ocr进行数字识别，利用卷积神经网络，采用卷积核预测特征图上一系列候选框的类别分数，以分数最高的类别作为输出结果完成自适应识别。
2.根据权利要求1所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，按训练集、测试集、验证集对收集的电表图像数据集进行划分，然后使用Label-Image将原有数据集的电表区域进行标注，生成PascalVoc制式的标准数据集。
3.根据权利要求2所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，训练集：测试集：验证集为8：1：1。
4.根据权利要求1所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，配置GPU服务器环境，创建tensorflow-gpu_1.9沙盒环境，完成框架搭建并进行训练。
5.根据权利要求4所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，整理标注的电表图像数据集，使用预训练的ImageNet模型对标注的电表图像数据集进行训练并等待训练结果。
6.根据权利要求1所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，将标准数据集放入Faster-RCNN算法搭建的框架网络中，将VGG_imagenet的预训练模型放入模型网络，按照github参数设置参数并训练，生成训练结果。
7.根据权利要求6所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，使用训练完成的模型获取识数框的四点坐标，使用matplotlib存储目标图像以实现关键区域截取的功能。
8.根据权利要求1所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，电表识数识别具体为：先对关键区域进行图像预处理，然后使用tesseract进行目标区域的识数显示功能。
9.根据权利要求8所述的基于深度学习的数字电表读数自适应识别方法，其特征在于，使用字符识别库tesseract-ocr对框出的电表框做识数识别，先对已框选的区域做二值化处理，然后使用已有框架对先处理的区域进行识别，最后显示读数。
CN201910198242.9A 2019-03-15 2019-03-15 一种基于深度学习的数字电表读数自适应识别方法 Pending CN110046617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910198242.9A CN110046617A (zh) 2019-03-15 2019-03-15 一种基于深度学习的数字电表读数自适应识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198242.9A CN110046617A (zh) 2019-03-15 2019-03-15 一种基于深度学习的数字电表读数自适应识别方法

Publications (1)

Publication Number Publication Date
CN110046617A true CN110046617A (zh) 2019-07-23

Family

ID=67273760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198242.9A Pending CN110046617A (zh) 2019-03-15 2019-03-15 一种基于深度学习的数字电表读数自适应识别方法

Country Status (1)

Country Link
CN (1) CN110046617A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427943A (zh) * 2019-08-27 2019-11-08 国家电网有限公司 一种基于r-cnn的智能电表数值识别方法
CN110837818A (zh) * 2019-11-18 2020-02-25 汕头大学 一种基于卷积神经网路的中华白海豚背鳍识别方法
CN111291806A (zh) * 2020-02-02 2020-06-16 西南交通大学 一种基于卷积神经网络工业产品标签号的识别方法
CN111401289A (zh) * 2020-03-24 2020-07-10 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111626323A (zh) * 2020-04-10 2020-09-04 国网浙江杭州市富阳区供电有限公司 一种基于深度学习的电表状态检测和评估方法
CN111738264A (zh) * 2020-05-08 2020-10-02 上海允登信息科技有限公司 一种机房设备显示面板数据的智能采集方法
CN113269194A (zh) * 2021-06-11 2021-08-17 四川长虹网络科技有限责任公司 读数表不完整字符识别方法以及读数表字符识别方法
CN113902914A (zh) * 2021-09-03 2022-01-07 华南理工大学 基于微控制器和卷积神经网络的水表读数自动识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111078A (ja) * 2015-12-18 2017-06-22 株式会社東芝 漏水検出装置
CN108460387A (zh) * 2018-03-26 2018-08-28 国网安徽省电力有限公司检修分公司 智能电力表计抄录计算***及方法
CN108597204A (zh) * 2018-05-22 2018-09-28 广州市暨联牧科信息科技有限公司 一种智能抄表***及其实现方法
CN109029641A (zh) * 2018-07-27 2018-12-18 华南理工大学 一种基于Faster-rcnn的水表自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111078A (ja) * 2015-12-18 2017-06-22 株式会社東芝 漏水検出装置
CN108460387A (zh) * 2018-03-26 2018-08-28 国网安徽省电力有限公司检修分公司 智能电力表计抄录计算***及方法
CN108597204A (zh) * 2018-05-22 2018-09-28 广州市暨联牧科信息科技有限公司 一种智能抄表***及其实现方法
CN109029641A (zh) * 2018-07-27 2018-12-18 华南理工大学 一种基于Faster-rcnn的水表自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴玲云: ""使用深度学习的矢量图字符识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427943A (zh) * 2019-08-27 2019-11-08 国家电网有限公司 一种基于r-cnn的智能电表数值识别方法
CN110837818A (zh) * 2019-11-18 2020-02-25 汕头大学 一种基于卷积神经网路的中华白海豚背鳍识别方法
CN111291806A (zh) * 2020-02-02 2020-06-16 西南交通大学 一种基于卷积神经网络工业产品标签号的识别方法
CN111401289A (zh) * 2020-03-24 2020-07-10 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111401289B (zh) * 2020-03-24 2024-01-23 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN111626323A (zh) * 2020-04-10 2020-09-04 国网浙江杭州市富阳区供电有限公司 一种基于深度学习的电表状态检测和评估方法
CN111738264A (zh) * 2020-05-08 2020-10-02 上海允登信息科技有限公司 一种机房设备显示面板数据的智能采集方法
CN113269194A (zh) * 2021-06-11 2021-08-17 四川长虹网络科技有限责任公司 读数表不完整字符识别方法以及读数表字符识别方法
CN113902914A (zh) * 2021-09-03 2022-01-07 华南理工大学 基于微控制器和卷积神经网络的水表读数自动识别方法
CN113902914B (zh) * 2021-09-03 2024-04-02 华南理工大学 基于微控制器和卷积神经网络的水表读数自动识别方法

Similar Documents

Publication Publication Date Title
CN110046617A (zh) 一种基于深度学习的数字电表读数自适应识别方法
JP6866495B2 (ja) 画像品質の評価方法及び画像品質の評価システム
CN107403130A (zh) 一种字符识别方法及字符识别装置
Wang et al. Adaptive feature pyramid networks for object detection
US9449253B2 (en) Learning painting styles for painterly rendering
CN108399386A (zh) 饼图中的信息提取方法及装置
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN107871125A (zh) 违章建筑识别方法、装置及电子设备
CN108537115B (zh) 图像识别方法、装置及电子设备
CN109255772A (zh) 基于风格迁移的车牌图像生成方法、装置、设备及介质
CN109657582A (zh) 人脸情绪的识别方法、装置、计算机设备及存储介质
CN111008633A (zh) 一种基于注意力机制的车牌字符分割方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN110348383A (zh) 一种基于卷积神经网络回归的道路中心线和双线提取方法
CN113435407B (zh) 一种输电***的小目标识别方法及装置
CN110781890A (zh) 身份证识别方法、装置、电子设备及可读取存储介质
CN110059677A (zh) 基于深度学习的数字表识别方法及设备
CN111488940A (zh) 一种基于深度卷积神经网络的航标图像智能分类方法
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN110399760A (zh) 一种批量二维码定位方法、装置、电子设备及存储介质
Li et al. Gated auxiliary edge detection task for road extraction with weight-balanced loss
CN113628180B (zh) 一种基于语义分割网络的遥感建筑物检测方法及***
CN111079807A (zh) 一种地物分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication