CN106296694A - 杆塔倾斜智能图像辨识测量方法 - Google Patents

杆塔倾斜智能图像辨识测量方法 Download PDF

Info

Publication number
CN106296694A
CN106296694A CN201610661227.XA CN201610661227A CN106296694A CN 106296694 A CN106296694 A CN 106296694A CN 201610661227 A CN201610661227 A CN 201610661227A CN 106296694 A CN106296694 A CN 106296694A
Authority
CN
China
Prior art keywords
shaft tower
image
information
angle
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610661227.XA
Other languages
English (en)
Other versions
CN106296694B (zh
Inventor
周封
范贝贝
郝婷
刘小可
崔博闻
王晨光
李隆
孙卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HARBIN TECHNOLOGY UNIV
Harbin University of Science and Technology
Original Assignee
HARBIN TECHNOLOGY UNIV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HARBIN TECHNOLOGY UNIV filed Critical HARBIN TECHNOLOGY UNIV
Priority to CN201610661227.XA priority Critical patent/CN106296694B/zh
Publication of CN106296694A publication Critical patent/CN106296694A/zh
Application granted granted Critical
Publication of CN106296694B publication Critical patent/CN106296694B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种杆塔倾斜智能图像辨识测量方法,属于智能电网技术领域。首先,采集杆塔视频或图像信息及水平或垂直信息,并计算出水平和垂直方向;然后,根据计算出的水平和垂直方向对杆塔视频或图像信息进行角度矫正,再进行预处理;辨识出图像中的杆塔并提取杆塔几何信息,分析处理得到杆塔的轮廓信息,进而确定杆塔轮廓的几何中心线,计算出杆塔几何中心线在视频图像中的倾斜角度,采用三角形法即可获得杆塔的倾斜角度。本发明利用图像处理方法结合水平垂直方向测量传感器对图像进行矫正,使图像处理和计算过程中不会受拍摄角度影响而导致误差的产生,提高了测量准确性,可广泛应用于输电线路杆塔的倾斜测量。

Description

杆塔倾斜智能图像辨识测量方法
技术领域
本发明涉及一种杆塔倾斜智能图像辨识测量方法,属于智能电网技术领域。
背景技术
随着国民经济的快速发展,电力已经成为日常生活和工业生产中不可或缺的产品,电力传输的稳定性对社会发展的影响也越来越大。输电杆塔作为电力传输***重要的组成部分,对电力传输的稳定性起着至关重要的作用。由于受到外力破坏、冰雪灾害破坏、塔基土石松动破坏,杆塔容易发生塔体倾斜。若运行维护人员不能及时发现,将会造成杆塔的倾倒,破坏电力传输的稳定性,严重影响社会经济的发展,因此,需要对输电线路杆塔倾斜状况进行实时测量。
目前,杆塔倾斜测量主要采用倾角传感器测量的方法,基于图像的杆塔倾斜测量方法极少,中国专利“一种基于视频差异的输电线路杆塔倾斜测量的方法”(申请号:201110157735.1)提出将采集到的图像与背景图像相减得到杆塔目标图像,再进行处理后计算出杆塔倾斜角度。但是由于获得干净的背景图像十分困难,且背景也是一直在变化的,从而使得该方法难以实现;而且该方法并未对采集到的图像进行角度矫正,无法修正图像采集设备安装偏差造成的图像旋转,因此,测量误差大,测量准确度低。
发明内容
为了克服现有技术的不足,本发明的目的是提供一种杆塔倾斜智能图像辨识测量方法,用图像处理的方法辨识测量杆塔倾斜,成本低廉、结构简单、安装维护方便;利用图像处理结合水平垂直方向测量传感器进行杆塔倾斜测量,使图像处理和计算过程中不会受拍摄角度影响而导致误差的产生,有效提高计算精度,提高测量的准确率。
为解决上述问题,本发明所采用的技术方案是:
所述的杆塔倾斜智能图像辨识测量方法,采用以下步骤实现:
1)用视频图像采集设备分别采集杆塔顺线路和垂直线路方向的视频或图像信息;视频图像采集设备一般可以采用数码摄像机和照相机,能完整采集被监测杆塔视频或图像信息;
2)用水平垂直方向测量传感器实时采集水平或垂直信息,据此计算出水平和垂直方向;当水平垂直方向测量传感器采集水平信息时,可以在图像中计算出垂直信息,当水平垂直方向测量传感器采集垂直信息时,可以在图像中计算出水平信息;
3)根据计算出的水平和垂直信息对视频图像采集设备采集到的杆塔视频或图像信息进行角度矫正;
4)对校正后的图像信息进行预处理,包括图像滤波去噪处理、图像增强处理,降低复杂环境背景对***图像处理的干扰,准确识别杆塔图像信息,提高杆塔倾斜测量的准确性;图像滤波去噪可以减少图像采集过程中产生的噪声,使图像质量更好,滤波去噪可采用中值滤波法,因为图像采集过程中产生的主要是椒盐噪声,中值滤波法既能有效的抑制椒盐噪声,又能较好的保留图像中的边缘细节;
5)对预处理后的图像信息进行分析处理,准确识别出图像中的杆塔并准确定位,然后提取图像中的杆塔信息;
6)对提取出的杆塔信息进行分析处理,包括图像灰度化处理、图像二值化处理、边缘检测处理、霍夫直线检测处理,得到杆塔的外轮廓信息,从而确定杆塔外轮廓的几何中心线,计算出杆塔几何中心线的在视频图像中的倾斜角度,再根据三角形测量法计算出杆塔实际的倾斜角度。图像二值化可以采用Otsu方法进行阈值分割,Otsu方法可以很好的将背景和目标物体进行分割;边缘检测可以采用Canny边缘检测方法,Canny边缘检测方法被认为是迄今为止最优的边缘检测方法;Hough直线检测采用改进的Hough直线检测,在传统的Hough直线检测基础上设置直线角度阈值,这样可以消除背景及输电线路对检测的影响,进一步的可以计算出杆塔外轮廓的几何中心线,通过数学计算得到几何中心线在图像中的倾斜角度也即杆塔的倾斜角度。
所述方法中的步骤3)、4)、5)、6)可采用下述步骤替换,具有等同的效果:
3)对采集到的杆塔视频图像信息进行预处理,包括图像滤波去噪处理、图像增强处理,降低复杂环境背景对***图像处理的干扰,准确识别杆塔图像信息,提高杆塔倾斜测量的准确性;
4)对预处理后的图像信息进行分析处理,准确识别出图像中的杆塔并准确定位,然后提取图像中的杆塔信息;
5)对提取出的杆塔信息进行分析处理,包括图像灰度化处理、图像二值化处理、边缘检测处理、霍夫直线检测处理,得到杆塔的外轮廓信息,从而确定杆塔外轮廓的几何中心线;
6)将计算出的水平或垂直方向信息与几何中心线结合,计算出杆塔在图像中的倾斜角度,再根据三角形测量法计算出杆塔实际的倾斜角度。
所述方法中,角度矫正是根据水平垂直方向测量传感器采集的水平或垂直信息修正因视频图像采集设备安装偏差造成的图像倾斜。
所述方法中,对预处理后的图像信息进行分析处理,为准确识别杆塔区域,分析处理方法为模板匹配法,由模板图像准确识别杆塔并定位杆塔位置。
所述方法中,对预处理后的图像信息进行分析处理,为准确识别杆塔区域,分析处理方法还可以为角点检测法,杆塔为角点密集对象,角点最密集的区域即杆塔所在区域,用角点密集特性来识别杆塔和定位杆塔位置。
所述方法中,几何中心线是指图像中杆塔外轮廓顶部中点与底部轮点的连线。
所述方法中,计算几何中心线在视频图像中倾斜角度θ,设几何中心线两个端点为P 1P 2P 3P 4的坐标分别为(x 1, y 1)、(x 2, y 2),则倾斜角度θ为:
θ=arctan(y 2 -y 1)/(x 2 -x 1)。
所述方法中,采用三角形法测量杆塔实际倾斜角度的原理是:已知杆塔几何中心线在顺线路方向图像中倾斜角度为α 1,在垂直线路方向图像中的倾斜角度为α 2,则杆塔实际倾斜角度
本发明所提供的方法有益效果如下:
采用智能图像处理的方法辨识计算杆塔倾斜角度,具有成本低廉、结构简单、安装维护方便等优点。
结合水平垂直方向测量传感器采集的水平或垂直信息对图像进行角度矫正,使图像处理和计算过程中不会受拍摄角度影响而导致误差的产生,大大提高了杆塔倾斜辨识计算的准确度。
采用杆塔轮廓提取确定几何中心线的方式进行倾斜角度测量计算,易于实现,且可以有效提高测量精度。
附图说明
图1:杆塔倾斜智能图像辨识测量方法流程图。
图2:三角形测量法示意图。
具体实施方式
下面结合附图实施例对本发明作进一步详细的说明。
如图1所示,杆塔倾斜智能图像辨识测量方法的实现流程为:
首先,用视频图像采集设备分别采集杆塔顺线路和垂直线路方向视频或图像信息。视频图像采集设备一般为普通的数码摄像机和照相机,可以实时采集被监测杆塔的视频图像信息;
用水平垂直方向测量传感器实时采集水平或垂直信息,据此计算出水平和垂直方向。水平垂直方向测量传感器可以采用重力加速度传感器、陀螺仪或水平仪,可以实时测量杆塔垂直方向或水平方向信息;当水平垂直方向测量传感器采集水平信息时,可以在图像中计算出垂直信息,当水平垂直方向测量传感器采集垂直信息时,可以在图像中计算出水平信息。
然后,根据计算出的水平和垂直信息对视频图像采集设备采集到的杆塔视频或图像信息进行角度矫正。角度矫正可以修正因视频图像采集设备安装偏差造成的图像倾斜,提高杆塔倾斜测量的准确性。
进一步的,对矫正后的图像信息进行预处理,预处理包括图像滤波去噪处理、图像增强处理,降低复杂环境背景对***图像处理的干扰,准确识别杆塔图像信息,提高杆塔倾斜测量的准确性。图像滤波去噪可以减少图像中的噪声,提高图像的质量;图像增强可以突出图像中杆塔的边缘细节,有利于对杆塔进行识别和定位。
进一步的,对预处理后的图像信息进行分析处理,准确识别出图像中的杆塔并准确定位,然后提取图像中的杆塔信息;识别和定位杆塔可以使用模板匹配法,由模板图像准确识别杆塔并定位杆塔位置;也可以使用角点检测法,杆塔为角点密集对象,角点最密集的区域即杆塔所在区域,用角点密集特性来识别杆塔和定位杆塔位置。
再进一步的,对提取出的杆塔信息进行分析处理,包括图像灰度化处理、图像二值化处理、边缘检测处理、Hough直线检测处理,得到杆塔的外轮廓信息,从而确定杆塔外轮廓的几何中心线。图像二值化可以将目标物体与背景进行分割,边缘检测及Hough直线检测可以得到杆塔的外轮廓。杆塔外轮廓的集合中心线是图像中杆塔外轮廓顶部中点与底部中点的连线。
最后,计算出杆塔几何中心线的在视频图像中的倾斜角度,再根据三角形测量法计算出杆塔实际倾斜角度。几何中心线在视频图像中倾斜角度θ可以采用下面的公式进行计算,设几何中心线两个端点为P 1P 2P 3P 4的坐标分别为(x 1, y 1)、(x 2, y 2),则倾斜角度θ为:θ=arctan(y 2 -y 1)/(x 2 -x 1)。
如图2所示,采用三角形测量法,进行矢量计算得到杆塔的实际倾斜角度的原理是:假设顺线路方向为X轴方向,垂直线路方向为Y轴方向。杆塔几何中心线在XOY面上的投影为LL在X轴方向的投影为L x ,在Y轴方向上的投影为L y L 2=L x 2 +L y 2 ,则杆塔几何中心线在顺线路方向上投影的倾角的余切 cotθ 1=L y /H ,在垂直线路方向上投影的倾角的余切 cotθ 2=L x /H,又杆塔实际倾角的余切为cotθ=L/H,因此可得杆塔的倾角
以上所述仅为本发明的较佳实施实例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.杆塔倾斜智能图像辨识测量方法,其特征在于:
1)用视频图像采集设备分别采集杆塔顺线路和垂直线路方向的视频或图像信息;
2)用水平垂直方向测量传感器实时采集水平或垂直信息,据此计算出水平和垂直方向;
3)根据计算出的水平和垂直方向对视频图像采集设备采集到的杆塔视频或图像信息进行角度矫正;
4)对矫正后的图像信息进行预处理,包括图像滤波去噪处理、图像增强处理;
5)对预处理后的图像信息进行分析处理,辨识出图像中的杆塔并准确定位,然后提取图像中的杆塔信息;
6)对提取出的杆塔信息进行分析处理,包括图像灰度化、图像二值化、边缘检测、Hough直线检测,得到杆塔的外轮廓信息,从而确定杆塔外轮廓的几何中心线,计算出杆塔几何中心线在视频图像中的倾斜角度,再根据三角形测量法计算出杆塔实际的倾斜角度。
2.根据权利要求1所述的杆塔倾斜智能图像辨识测量方法,其特征在于:所述的角度矫正是根据水平垂直方向测量传感器采集的水平或垂直信息修正因视频图像采集设备安装偏差造成的图像倾斜。
3.根据权利要求1所述的杆塔倾斜智能图像辨识测量方法,其特征在于:所述的对预处理后的图像信息进行分析处理,方法为模板匹配法,由模板图像准确识别杆塔并定位杆塔位置。
4.根据权利要求1所述的杆塔倾斜智能图像辨识测量方法,其特征在于:所述的对预处理后的图像信息进行分析处理,方法为角点检测法,杆塔为角点密集对象,角点最密集的区域即杆塔所在区域,用角点密集特性来识别杆塔和定位杆塔位置。
5.根据权利要求1所述的杆塔倾斜智能图像辨识测量方法,其特征在于:所述的几何中心线是指图像中杆塔顶部轮廓中点与底部轮廓中点的连线。
CN201610661227.XA 2016-08-13 2016-08-13 杆塔倾斜智能图像辨识测量方法 Expired - Fee Related CN106296694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610661227.XA CN106296694B (zh) 2016-08-13 2016-08-13 杆塔倾斜智能图像辨识测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610661227.XA CN106296694B (zh) 2016-08-13 2016-08-13 杆塔倾斜智能图像辨识测量方法

Publications (2)

Publication Number Publication Date
CN106296694A true CN106296694A (zh) 2017-01-04
CN106296694B CN106296694B (zh) 2018-11-09

Family

ID=57668686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610661227.XA Expired - Fee Related CN106296694B (zh) 2016-08-13 2016-08-13 杆塔倾斜智能图像辨识测量方法

Country Status (1)

Country Link
CN (1) CN106296694B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221006A (zh) * 2017-05-11 2017-09-29 南京邮电大学 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN108387215A (zh) * 2018-02-10 2018-08-10 杭州后博科技有限公司 一种基于卫星定位的铁塔倾斜角度计算方法及***
WO2019119663A1 (zh) * 2017-12-22 2019-06-27 北京金风科创风电设备有限公司 测量风力发电机组的塔顶位移的方法、装置和***
CN111024041A (zh) * 2019-12-03 2020-04-17 国网新疆电力有限公司电力科学研究院 一种输电线路绝缘子串风偏运动姿态测量装置及测量方法
CN111193845A (zh) * 2018-11-15 2020-05-22 韩国科学技术研究院 便携式植物影像获取装置
CN111738259A (zh) * 2020-06-29 2020-10-02 广东电网有限责任公司 一种杆塔状态检测方法及装置
CN112037275A (zh) * 2020-08-21 2020-12-04 广东电网有限责任公司 输电线路杆塔倾斜度测量方法、装置及***
CN112082530A (zh) * 2020-08-11 2020-12-15 风脉能源(武汉)股份有限公司 基于标记的机器视觉的塔筒基础环倾斜测量方法、装置、设备
CN112949644A (zh) * 2021-02-25 2021-06-11 哈尔滨市科佳通用机电股份有限公司 一种货车下拉杆故障图像识别方法
CN114898221A (zh) * 2022-07-14 2022-08-12 灵图数据(杭州)有限公司 一种杆塔倾斜检测方法、装置、电子设备及介质
CN117636176A (zh) * 2024-01-26 2024-03-01 内蒙古工业大学 一种基于深度学习的电线杆垂直度检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN102353355A (zh) * 2011-06-14 2012-02-15 西安工程大学 一种基于视频差异的输电线路杆塔倾斜的测量方法
CN102611822A (zh) * 2012-03-14 2012-07-25 海信集团有限公司 投影仪及其投影图像校正方法
CN103063166A (zh) * 2013-01-05 2013-04-24 山西省电力公司大同供电分公司 悬式复合绝缘子串风偏角的检测方法及装置
US20140254861A1 (en) * 2013-03-08 2014-09-11 Raven Industries, Inc. Row guidance parameterization with hough transform
CN105761219A (zh) * 2016-02-03 2016-07-13 北京云江科技有限公司 文本图像倾斜矫正方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102353355A (zh) * 2011-06-14 2012-02-15 西安工程大学 一种基于视频差异的输电线路杆塔倾斜的测量方法
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN102611822A (zh) * 2012-03-14 2012-07-25 海信集团有限公司 投影仪及其投影图像校正方法
CN103063166A (zh) * 2013-01-05 2013-04-24 山西省电力公司大同供电分公司 悬式复合绝缘子串风偏角的检测方法及装置
US20140254861A1 (en) * 2013-03-08 2014-09-11 Raven Industries, Inc. Row guidance parameterization with hough transform
CN105761219A (zh) * 2016-02-03 2016-07-13 北京云江科技有限公司 文本图像倾斜矫正方法和***

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221006A (zh) * 2017-05-11 2017-09-29 南京邮电大学 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN109959335B (zh) * 2017-12-22 2021-09-21 北京金风科创风电设备有限公司 测量塔顶位移的方法、装置和***
WO2019119663A1 (zh) * 2017-12-22 2019-06-27 北京金风科创风电设备有限公司 测量风力发电机组的塔顶位移的方法、装置和***
CN109959335A (zh) * 2017-12-22 2019-07-02 北京金风科创风电设备有限公司 测量塔顶位移的方法、装置和***
CN108387215A (zh) * 2018-02-10 2018-08-10 杭州后博科技有限公司 一种基于卫星定位的铁塔倾斜角度计算方法及***
CN111193845A (zh) * 2018-11-15 2020-05-22 韩国科学技术研究院 便携式植物影像获取装置
CN111024041A (zh) * 2019-12-03 2020-04-17 国网新疆电力有限公司电力科学研究院 一种输电线路绝缘子串风偏运动姿态测量装置及测量方法
CN111738259A (zh) * 2020-06-29 2020-10-02 广东电网有限责任公司 一种杆塔状态检测方法及装置
CN112082530A (zh) * 2020-08-11 2020-12-15 风脉能源(武汉)股份有限公司 基于标记的机器视觉的塔筒基础环倾斜测量方法、装置、设备
CN112037275A (zh) * 2020-08-21 2020-12-04 广东电网有限责任公司 输电线路杆塔倾斜度测量方法、装置及***
CN112949644A (zh) * 2021-02-25 2021-06-11 哈尔滨市科佳通用机电股份有限公司 一种货车下拉杆故障图像识别方法
CN112949644B (zh) * 2021-02-25 2022-03-08 哈尔滨市科佳通用机电股份有限公司 一种货车下拉杆故障图像识别方法
CN114898221A (zh) * 2022-07-14 2022-08-12 灵图数据(杭州)有限公司 一种杆塔倾斜检测方法、装置、电子设备及介质
CN117636176A (zh) * 2024-01-26 2024-03-01 内蒙古工业大学 一种基于深度学习的电线杆垂直度检测方法及装置

Also Published As

Publication number Publication date
CN106296694B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN106296694A (zh) 杆塔倾斜智能图像辨识测量方法
CN109684921B (zh) 一种基于三维激光雷达的道路边界检测与跟踪方法
CN201977794U (zh) 一种身高自动测量***
CN106352800A (zh) 输电线路弧垂智能图像辨识测量方法
CN106092049A (zh) 杆塔倾斜智能图像在线监测***
CN102980896B (zh) 高铁接触网悬挂装置耳片断裂检测方法
CN106530281B (zh) 基于边缘特征的无人机图像模糊判断方法及***
CN105447853A (zh) 飞行装置、飞行控制***及方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
CN106327536B (zh) 一种基于切面点云的领围测量方法
CN109448087B (zh) 一种盾构隧道表面点云数据分段方法
CN210573937U (zh) 一种辊压机辊面在线三维成像装置
CN103223236B (zh) 一种乒乓球训练机智能评价***
CN106989683A (zh) 一种盾构机盾尾间隙视觉测量方法
CN103438834B (zh) 基于结构光投影的层级式快速三维测量装置及测量方法
CN103630093B (zh) 用于混凝土表面粗糙度检测的图像分析方法
CN105718964B (zh) 一种输电线防振锤的视觉检测方法
CN103295232A (zh) 基于直线和区域的sar图像配准方法
CN106570877B (zh) 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位***及方法
CN104764407A (zh) 一种电缆护套厚度的精细测量方法
CN106097317A (zh) 一种基于离散余弦相位信息的多光斑检测和定位方法
CN109359537A (zh) 基于神经网络的人脸姿态角度检测方法及***
CN110009678A (zh) 正畸用弓丝弯制检测方法及***
CN105046316B (zh) 一种基于高斯过程回归的激光双向行人计数方法
CN108830822A (zh) 基于改进Canny算子的受电弓碳滑板磨耗识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181109

Termination date: 20200813

CF01 Termination of patent right due to non-payment of annual fee