CN109447062A - 基于巡检机器人的指针型仪表识别方法 - Google Patents
基于巡检机器人的指针型仪表识别方法 Download PDFInfo
- Publication number
- CN109447062A CN109447062A CN201811150829.4A CN201811150829A CN109447062A CN 109447062 A CN109447062 A CN 109447062A CN 201811150829 A CN201811150829 A CN 201811150829A CN 109447062 A CN109447062 A CN 109447062A
- Authority
- CN
- China
- Prior art keywords
- pointer
- instrument
- image
- region
- object candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于巡检机器人的指针型仪表识别方法,利用仪表图像数据集训练Adaboost分类器,并为每个巡检点选取一张仪表居中的图像作为模板图像;获取指定巡检点的待检测仪表图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;根据表盘区域的指针颜色,采用不同的图像预处理操作和指针提取操作,提取指针轮廓;根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。本发明利用机器学习,能检测识别多种光照、机器人姿态变化下的仪表示数。
Description
技术领域
本发明涉及电力巡检机器人领域,具体涉及一种基于巡检机器人的指针型仪表识别方法。
背景技术
电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能,其中检测现场电力设备的仪器仪表示数是电力巡检机器人最核心的功能。大部分指针型仪表由于成本和历史的原因,并不具有智能仪表的远传功能,只能利用巡检机器人通过计算机视觉的方法去读取仪表示数。想要准确识别指针型仪表示数,就需要准确检测到视觉图像中液位型仪表的位置。大多数指针型仪表在室外,光照条件复杂,同时巡检机器人拍摄角度也不同,利用传统的图像处理手段进行检测和识别时,检测的示数不稳定,与实际示数的偏差也较大。
发明内容
本发明的目的在于提供一种基于巡检机器人的指针型仪表识别方法,提高了在不同光照不同姿态条件下示数识别的稳定性和精度。
实现本发明目的的技术解决方案为:一种基于巡检机器人的指针型仪表识别方法,包括以下步骤:
步骤1、分类器训练:利用仪表图像数据集训练Adaboost分类器,并为每个巡检点选取一张仪表居中的图像作为模板图像;
步骤2、仪表区域定位:获取指定巡检点的待检测仪表图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;
步骤3、提取指针轮廓:根据表盘区域的指针颜色,采用不同的图像预处理操作和指针提取操作,提取指针轮廓;
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。
本发明与现有技术相比,其显著优点为:1)本发明融合了机器人已有的定位信息,解决了机器人位置不定时目标尺度、角度变化大的问题,在此基础上利用相位相关进行粗检测,利用机器学习的方法进行精确检测,解决了光线过亮、过暗的漏检的问题;2)本发明根据指针颜色(红色与非红色)进行不同的预处理,结合闭运算、直方图均衡化等操作,提高了指针型仪表示数识别准确率,以及对光线、机器人姿态的鲁棒性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例,进一步说明本发明方案。
如图1所示,基于巡检机器人的指针型仪表识别方法,包括以下步骤:
步骤1、分类器训练:利用仪表图像数据集训练Adaboost分类器,并为每个巡检点选取一张仪表居中的图像作为模板图像。由于仪表图像数据集包含了不同光照、姿态条件下的仪表图像,后续无论仪表检测环境如何变化,都能将仪表精确提取出来。
步骤2、仪表区域定位:获取指定巡检点的待检测仪表图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域,具体方法为:
步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位,得到粗定位目标仪表区;
步骤2.2、利用训练的Adaboost分类器对待检测仪表图片进行精确定位,得到若干目标候选区域;
步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标,做加权求出每一目标候选区域的置信度,确定备选检测结果;
计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU,公式为:
式中,C为粗定位目标仪表区域,ni为目标候选区域。
计算每个目标候选区域与模板图像的感知哈希指标,具体方法为:将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量,得到一个特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标。
计算每个目标候选区域图像与模板图像的互信息指标,公式为:
式中,G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高。
将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度,公式为:
Confidence=1-(pHash+1/I(G(X),H(Y)))/(IOU+D)
式中,I(G(X),H(Y))为互信息指标,pHash为感知哈希指标,IOU为交并比指标,D为设定的常数,将置信度最大的目标候选区域作为备选检测结果。
步骤2.4、根据备选检测结果的指标值筛选最终的目标仪表区域,即表盘区域,若备选检测结果的IOU满足同时小于设定阈值thresholdIOU,且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将粗定位目标仪表区域作为最终目标仪表区域,否则以备选检测结果作为最终目标仪表区域。通常设置阈值thresholdIOU取值范围0.1~0.4,阈值thresholdA取值范围10~50。
步骤3、提取指针轮廓:根据表盘区域的指针颜色,采用不同的图像预处理操作和指针提取操作,提取指针轮廓。
指针划分为红色与非红色两种类型,将图片置于HSV颜色空间下,黑色易受到光照影响,在HSV空间下容易模糊,而红色在HSV空间下不易受到光照影响,因此针对红色指针,将图片转到HSV格式,针对非红色指针,将图片灰度化处理。
针对红色指针,由于仪表其他部分没有红色区域,在HSV颜色空间下,颜色分布是连续的,因此根据表1,利用指针颜色为红色的特点,提取指针部分。首先利用HSV的颜色连续性提取红色区域,H取值在(0,10)(156,180),S通道取值在(43,255),V通道(46,255),然后进行闭运算,减少噪点对提取指针的干扰,面积最大红色区域,即为指针轮廓。
表1 HSV基本颜色分量范围表
对非红色指针,首先对灰度图像进行直方图均衡化、高斯滤波,减少光照干扰。由于仪表指针和表盘颜色差异明显,然后利用大津算法对表盘区域二值化,将黑色指针变为白色区域,其他背景变为黑色。最后进行开运算,提取指针轮廓。
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数,具体方法为:
步骤4.1、找到轮廓点相距最大的两个点,以这两点做直线,找轮廓上的点对,使其形成与该直线垂直的线段,从这些点对中找到距离最远的点;
步骤4.2、将两条线段相交的点记为仪表的圆心,以圆心为原点建立坐标系;
步骤4.3、根据找到的四个点,利用余弦定理,计算指针旋转方向以及指向的读数。
Claims (8)
1.一种基于巡检机器人的指针型仪表识别方法,其特征在于,包括以下步骤:
步骤1、分类器训练:利用仪表图像数据集训练Adaboost分类器,并为每个巡检点选取一张仪表居中的图像作为模板图像;
步骤2、仪表区域定位:获取指定巡检点的待检测仪表图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;
步骤3、提取指针轮廓:根据表盘区域的指针颜色,采用不同的图像预处理操作和指针提取操作,提取指针轮廓;
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。
2.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤2中,筛选表盘区域的具体方法为:
步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位,得到粗定位目标仪表区;
步骤2.2、利用训练的Adaboost分类器对待检测仪表图片进行精确定位,得到若干目标候选区域;
步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标,做加权求出每一目标候选区域的置信度,确定备选检测结果;
步骤2.4、根据备选检测结果的指标值,从粗定位目标仪表区域和备选检测结果中选择最终目标仪表区域,即表盘区域。
3.根据权利要求2所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤2.3中,确定备选检测结果的具体方法为:
计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU,公式为:
式中,C为粗定位目标仪表区域,ni为目标候选区域;
计算每个目标候选区域与模板图像的感知哈希指标,具体方法为:将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量,得到一个特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标;
计算每个目标候选区域图像与模板图像的互信息指标,公式为:
式中,G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高;
将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度,公式为:
Confidence=1-(pHash+1/I(G(X),H(Y))/(IOU+D)
式中,I(G(X),H(Y))为互信息指标,pHash为感知哈希指标,IOU为交并比指标,D为设定的常数,将置信度最大的目标候选区域作为备选检测结果。
4.根据权利要求3所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤2.4中,筛选表盘区域的具体方法为:若备选检测结果的IOU满足同时小于设定阈值thresholdIOU,且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将粗定位目标仪表区域作为最终目标仪表区域,否则以备选检测结果作为最终目标仪表区域。
5.根据权利要求4所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤2.4中,设置阈值thresholdIOU取值范围0.1~0.4,阈值thresholdA取值范围10~50。
6.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤3中,图像预处理的方法具体为:针对针对红色指针,将图片转到HSV格式,针对非红色指针,将图片灰度化处理。
7.根据权利要求6所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤3中,提取指针轮廓的具体方法为:
针对红色指针,首先利用HSV的颜色连续性提取红色区域,H取值在(0,10)(156,180),S通道取值在(43,255),V通道(46,255),然后进行闭运算,提取面积最大红色区域,即为指针轮廓;
针对非红色指针,首先对灰度图像进行直方图均衡化、高斯滤波,减少光照干扰;然后利用大津算法对表盘区域二值化,将黑色指针变为白色区域,其他背景变为黑色;最后进行开运算,提取指针轮廓。
8.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法,其特征在于,步骤4中,识别指针示数的具体方法为:
步骤4.1、找到轮廓点相距最大的两个点,以这两点做直线,找轮廓上的点对,使其形成与该直线垂直的线段,从这些点对中找到距离最远的点;
步骤4.2、将两条线段相交的点记为仪表的圆心,以圆心为原点建立坐标系;
步骤4.3、根据找到的四个点,利用余弦定理,计算指针旋转方向以及指向的读数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811150829.4A CN109447062A (zh) | 2018-09-29 | 2018-09-29 | 基于巡检机器人的指针型仪表识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811150829.4A CN109447062A (zh) | 2018-09-29 | 2018-09-29 | 基于巡检机器人的指针型仪表识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109447062A true CN109447062A (zh) | 2019-03-08 |
Family
ID=65545626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811150829.4A Pending CN109447062A (zh) | 2018-09-29 | 2018-09-29 | 基于巡检机器人的指针型仪表识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447062A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784257A (zh) * | 2019-01-08 | 2019-05-21 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器温度表检测与识别方法 |
CN109858474A (zh) * | 2019-01-08 | 2019-06-07 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器油面温控器检测与识别方法 |
CN111950330A (zh) * | 2019-05-16 | 2020-11-17 | 杭州测质成科技有限公司 | 一种基于目标检测的指针式仪表示数检测方法 |
CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
CN113947720A (zh) * | 2021-12-20 | 2022-01-18 | 广东科凯达智能机器人有限公司 | 一种判断密度表的工作状态的方法 |
CN113780263B (zh) * | 2021-09-03 | 2023-06-16 | 华南师范大学 | 一种压力报警器仪表定位和识别读数方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620682A (zh) * | 2008-06-30 | 2010-01-06 | 汉王科技股份有限公司 | 一种指针式仪表读数自动识别的方法及*** |
CN105260412A (zh) * | 2015-09-24 | 2016-01-20 | 东方网力科技股份有限公司 | 一种图像存储方法、图像检索方法和装置 |
CN106557751A (zh) * | 2016-11-22 | 2017-04-05 | 中国石油大学(华东) | 一种带颜色指示信息的指针式压力表自动读数方法 |
CN106951930A (zh) * | 2017-04-13 | 2017-07-14 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表定位方法 |
CN107610128A (zh) * | 2017-09-26 | 2018-01-19 | 山东鲁能智能技术有限公司 | 一种油位计的巡检方法和装置 |
CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
-
2018
- 2018-09-29 CN CN201811150829.4A patent/CN109447062A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620682A (zh) * | 2008-06-30 | 2010-01-06 | 汉王科技股份有限公司 | 一种指针式仪表读数自动识别的方法及*** |
CN105260412A (zh) * | 2015-09-24 | 2016-01-20 | 东方网力科技股份有限公司 | 一种图像存储方法、图像检索方法和装置 |
CN106557751A (zh) * | 2016-11-22 | 2017-04-05 | 中国石油大学(华东) | 一种带颜色指示信息的指针式压力表自动读数方法 |
CN106951930A (zh) * | 2017-04-13 | 2017-07-14 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表定位方法 |
CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
CN107610128A (zh) * | 2017-09-26 | 2018-01-19 | 山东鲁能智能技术有限公司 | 一种油位计的巡检方法和装置 |
CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
Non-Patent Citations (5)
Title |
---|
冀辰宇 等: "基于颜色提取方法的仪表彩色指针识别", 《东北电力大学学报》 * |
徐鹏等: "一种指针式油位计读数识别算法", 《计算机技术与发展》 * |
戴宪策 等: "《基于傅里叶-梅林变换的图像匹配方法研究 》", 《红外技术》 * |
王延华等: "结合HSV与局部Hough变换的指针式仪表识别算法", 《电子设计工程》 * |
祁建等: "基于多特征信息的水表指针自动识别方法", 《计算机与数字工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784257A (zh) * | 2019-01-08 | 2019-05-21 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器温度表检测与识别方法 |
CN109858474A (zh) * | 2019-01-08 | 2019-06-07 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器油面温控器检测与识别方法 |
CN109784257B (zh) * | 2019-01-08 | 2021-10-12 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器温度表检测与识别方法 |
CN109858474B (zh) * | 2019-01-08 | 2021-10-19 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器油面温控器检测与识别方法 |
CN111950330A (zh) * | 2019-05-16 | 2020-11-17 | 杭州测质成科技有限公司 | 一种基于目标检测的指针式仪表示数检测方法 |
CN111950330B (zh) * | 2019-05-16 | 2023-09-29 | 杭州测质成科技有限公司 | 一种基于目标检测的指针式仪表示数检测方法 |
CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
CN113780263B (zh) * | 2021-09-03 | 2023-06-16 | 华南师范大学 | 一种压力报警器仪表定位和识别读数方法及装置 |
CN113947720A (zh) * | 2021-12-20 | 2022-01-18 | 广东科凯达智能机器人有限公司 | 一种判断密度表的工作状态的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447062A (zh) | 基于巡检机器人的指针型仪表识别方法 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
CN109447061A (zh) | 基于巡检机器人的电抗器油位计识别方法 | |
CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
CN109389165A (zh) | 基于巡检机器人的变压器油位计识别方法 | |
CN107292869B (zh) | 基于各向异性高斯核和梯度搜索的图像斑点检测方法 | |
CN110111387B (zh) | 一种基于表盘特征的指针表定位及读数方法 | |
CN107240112B (zh) | 一种复杂场景下个体x角点提取方法 | |
Fan et al. | SAR image registration using multiscale image patch features with sparse representation | |
CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
CN107564006B (zh) | 一种利用Hough变换的圆形目标检测方法 | |
CN111563896B (zh) | 一种用于接触网异常检测的图像处理方法 | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
CN103854278A (zh) | 基于连通区域质心形状上下文的印刷电路板图像配准方法 | |
CN106682674B (zh) | 一种基于智能巡检机器人的指针式仪表自动读数方法 | |
TW201601119A (zh) | 物件辨識與定位方法 | |
CN109784257B (zh) | 一种变压器温度表检测与识别方法 | |
CN109359646A (zh) | 基于巡检机器人的液位型仪表识别方法 | |
CN109446916A (zh) | 基于巡检机器人的放电计数器识别方法 | |
CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 | |
CN109858474B (zh) | 一种变压器油面温控器检测与识别方法 | |
CN112200866B (zh) | 基于色块视觉标记的室内单目全局定位方法 | |
CN111127311B (zh) | 基于微重合区域的图像配准方法 | |
Deb et al. | Optical Recognition of Vehicle license plates | |
CN109360289B (zh) | 融合巡检机器人定位信息的电力表计检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |