CN110334750B - 输电线路铁塔螺栓锈蚀程度图像分类识别方法 - Google Patents
输电线路铁塔螺栓锈蚀程度图像分类识别方法 Download PDFInfo
- Publication number
- CN110334750B CN110334750B CN201910542996.1A CN201910542996A CN110334750B CN 110334750 B CN110334750 B CN 110334750B CN 201910542996 A CN201910542996 A CN 201910542996A CN 110334750 B CN110334750 B CN 110334750B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- point
- bolt
- corrosion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005260 corrosion Methods 0.000 title claims abstract description 85
- 230000007797 corrosion Effects 0.000 title claims abstract description 84
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000005540 biological transmission Effects 0.000 title claims abstract description 20
- 229910052742 iron Inorganic materials 0.000 title claims abstract description 17
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 238000007689 inspection Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了输电线路铁塔螺栓锈蚀程度图像分类识别方法,具体为:步骤1、读入巡检图像I1,灰度化及方差归一化算法得图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,进行相应处理得图像I6~I8;步骤2、对图像I8进行边界追踪,提取内边界,得到内边界图像I9;步骤3、对内边界图像I9进行填充,及后续处理得图像I11;步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,进行判断,得到图像I12;步骤5、对获取的图像I12进行色彩空间变换,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。本方法能够用于指导运维人员的检修工作。
Description
技术领域
本发明属于电力输电线路监测技术领域,具体涉及一种输电线路铁塔螺栓锈蚀程度图像分类识别方法。
背景技术
目前输电铁塔除了少部分重要场合使用钢管塔外,大部分还是以现场组装铁塔为主的,螺栓连接由于拆装方便,利于检修等诸多优点,成为输电铁塔组装过程中广泛采用的一种方式,其连接的可靠性直接关系到输电线路的安全运行。输电铁塔均架设在野外,极易受外部环境影响而产生材料性能下降。若铁塔螺栓长期受含盐量高的雨水侵蚀,将逐渐沙化,雨水可沿着保护帽与塔材的接缝渗入,易造成螺栓锈蚀。若锈蚀不断加剧,受持续强风作用和覆冰等外力条件的影响,将突破铁塔受力临界极限,发生铁塔倾斜、倒塔断线等事故,严重影响输电线路的安全可靠运行,对国民经济造成严重的影响。
据统计,在发生输电铁塔倒落事故的现场经常可以看到生锈的螺栓螺母,倒塔事故分析报告也表明了螺栓连接失效是倒塔事故的主要原因。目前,螺栓锈蚀的检测主要还是依靠人工巡线的方法进行运维。但人工巡线费时费力,输电铁塔螺栓遍布,若螺栓锈蚀点位于高处,将大大增加人工的操作难度,对于无人职守的地段更是很难做到及时的排查与发现,这将对铁塔安全性和可靠性埋下巨大隐患,日积月累,势必造成停电、倒塌等恶性电力事故。
发明内容
本发明的目的是提供一种输电线路铁塔螺栓锈蚀程度图像分类识别方法,在准确提取螺栓的基础上,结合锈蚀的颜色特征来进行锈蚀区域提取,通过锈蚀率来体现螺栓锈蚀的严重程度,用于指导运维人员的检修工作。
本发明所采用的技术方案是,输电线路铁塔螺栓锈蚀程度图像分类识别方法,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8;
步骤2、对图像I8进行边界追踪,判断是否存在内边界,如果存在,则提取内边界,得到内边界图像I9;否则不是,不进行后续操作;
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11;
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12;
步骤5、对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。
本发明的特点还在于,
步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1,对图像进行灰度化得到图像I2,对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
首先,以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
其中,f33=2,其余参数都取值为1,
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
其次,遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4:
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5;
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先、对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6;
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7;
最后、对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8。
步骤2依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、(-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1。E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数;最后将所有内边界的构成的图像记作内边界图像I9。
步骤3中,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定;
假设目标部分为A,即:
质心位置为:
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距:
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11。
步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
步骤5的具体实施方式如下:
步骤5.1、确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点;
三个分量的提取过程分别为:
H的获取:
式中,R,G,B分别为图像I12 RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得,Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异;
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13:
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况;
统计I13中像素值为1的像素点点数,记作Co_rus,通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。
本发明的有益效果是:本发明方法通过图像处理方法检测图像的螺栓锈蚀故障,可应用于无人机巡检和在线监测***,有利于避免人工巡检方式检测效率低、工作强度大、检测速度慢等不足,在减少人力物力投入的同时,能够排除人为因素的干扰,快速准确地评估螺栓锈蚀状况;本发明方法能够在准确提取螺栓的基础上,结合锈蚀的颜色特征来进行锈蚀区域提取,通过锈蚀率来体现螺栓锈蚀的严重程度,用于指导运维人员的检修工作。
附图说明
图1是本发明输电线路铁塔螺栓锈蚀程度图像分类识别方法的算法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明输电线路铁塔螺栓锈蚀程度图像分类识别方法,如图1所示,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8;
步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1(RGB颜色空间),对图像进行灰度化得到图像I2。
对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
其中f33=2,其余参数都取值为1,
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4:
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5。
由于螺栓的反射率低于杆塔塔基,此时得到的疑似螺栓区域为暗区域,区域可能存在部分不连续的噪点,对图像进行形态学处理去除部分不连续的噪点;
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6;
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7;
最后对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8。
步骤2、由于得到的疑似落螺栓区域为暗区域,所以其边界属于内边界。对图像I8做边界跟踪,提取其边界并对提取的边界进行判断,若为内边界,则为需要提取的边界,否则不是,不进行后续操作,依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1。E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3、,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数。此处仅给出一个存在时的表示方式,并不表示所有区域的内外边界都存在。最后将所有内边界的构成的图像记作内边界图像I9。
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11。
对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定。
假设目标部分为A,即:
质心位置为
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11。
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12;
步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
步骤5、锈蚀的螺栓常会呈现出红色和暗红色的颜色特征,所以本发明从颜色入手对螺栓锈蚀进行识别,对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。
步骤5.1、在大量的锈蚀检测实验后,确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点。
三个分量的提取过程分别为:
H的获取:
式中,R,G,B分别为图像I12 RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得。Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13:
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况
统计I13中像素值为1的像素点点数,记作Co_rus。通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。
Claims (5)
1.输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8;
步骤2、对图像I8进行边界追踪,判断是否存在内边界,如果存在,则提取内边界,得到内边界图像I9;否则不是,不进行后续操作;
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11;
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12;
步骤5、对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级;
步骤5的具体实施方式如下:
步骤5.1、确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点;
三个分量的提取过程分别为:
H的获取:
式中,R,G,B分别为图像I12RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得,Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异;
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13:
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况;
统计I13中像素值为1的像素点点数,记作Co_rus,通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。
2.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1,对图像进行灰度化得到图像I2,对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
首先,以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
其中,f33=2,其余参数都取值为1,
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
其次,遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4:
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5;
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先、对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6;
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7;
最后、对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8。
3.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤2依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1;E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数;最后将所有内边界的构成的图像记作内边界图像I9。
4.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤3中,对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11;
拟合正六边形区域获得图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定;
假设目标部分为A,即:
质心位置为
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11。
5.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910542996.1A CN110334750B (zh) | 2019-06-21 | 2019-06-21 | 输电线路铁塔螺栓锈蚀程度图像分类识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910542996.1A CN110334750B (zh) | 2019-06-21 | 2019-06-21 | 输电线路铁塔螺栓锈蚀程度图像分类识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110334750A CN110334750A (zh) | 2019-10-15 |
CN110334750B true CN110334750B (zh) | 2021-06-08 |
Family
ID=68140411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910542996.1A Active CN110334750B (zh) | 2019-06-21 | 2019-06-21 | 输电线路铁塔螺栓锈蚀程度图像分类识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110334750B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115776B (zh) * | 2020-08-07 | 2024-03-12 | 长江三峡通航管理局 | 船闸启闭机大型开式齿轮润滑状态监测方法 |
CN112365481B (zh) * | 2020-11-13 | 2021-06-18 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像处理的横跨梁组装螺栓丢失检测方法 |
CN112419298B (zh) * | 2020-12-04 | 2024-01-19 | 中冶建筑研究总院(深圳)有限公司 | 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质 |
CN112862889A (zh) * | 2021-01-29 | 2021-05-28 | 珠海迪沃航空工程有限公司 | 一种基于图像识别的识别矫正***、方法、装置 |
CN113962994B (zh) * | 2021-12-21 | 2022-03-15 | 武汉智能兴运铁路配件有限公司 | 基于图像处理的三连杆上锁销清洁度检测方法 |
CN114049354B (zh) * | 2022-01-12 | 2022-04-29 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及*** |
CN115205290B (zh) * | 2022-09-15 | 2022-11-18 | 深圳市合成快捷电子科技有限公司 | 一种pcb板生产过程在线检测方法及*** |
CN115345875B (zh) * | 2022-10-17 | 2023-03-24 | 江苏煵笙重工有限公司 | 一种船舶外板锈蚀区域识别及分析方法 |
CN117237396B (zh) * | 2023-11-16 | 2024-02-06 | 山东华盛中天工程机械有限责任公司 | 基于图像特征的钢轨螺栓锈蚀区域分割方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508110A (zh) * | 2011-10-10 | 2012-06-20 | 上海大学 | 基于纹理的绝缘子缺陷诊断方法 |
CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
JP2015161614A (ja) * | 2014-02-27 | 2015-09-07 | 三菱重工業株式会社 | 腐食検出装置及び腐食検出方法 |
WO2015155575A1 (zh) * | 2014-04-12 | 2015-10-15 | 黄勃 | 一种多光谱掌纹图像的反光检测方法和装置 |
CN106023185A (zh) * | 2016-05-16 | 2016-10-12 | 国网河南省电力公司电力科学研究院 | 一种输电设备故障诊断方法 |
CN107063457A (zh) * | 2016-08-22 | 2017-08-18 | 东北师范大学 | 光谱量化定值多光谱遥感图像分割传感器用颜色采集装置 |
CN108633411A (zh) * | 2018-05-15 | 2018-10-12 | 江苏大学 | 一种基于机器视觉的秧箱秧苗量实时监测***及方法 |
CN108665464A (zh) * | 2018-04-03 | 2018-10-16 | 电子科技大学 | 一种基于形态学的高压电塔及高压电线的异物检测方法 |
CN108830877A (zh) * | 2018-06-08 | 2018-11-16 | 中国石油化工股份有限公司 | 岩心体视显微图像定量描述方法 |
CN109785301A (zh) * | 2018-12-27 | 2019-05-21 | 北京交通大学 | 一种基于图像处理的钢轨波磨自动识别方法与评估方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050226489A1 (en) * | 2004-03-04 | 2005-10-13 | Glenn Beach | Machine vision system for identifying and sorting projectiles and other objects |
US8452046B2 (en) * | 2008-10-07 | 2013-05-28 | Honeywell International Inc. | Method and apparatus for automatic sediment or sludge detection, monitoring, and inspection in oil storage and other facilities |
-
2019
- 2019-06-21 CN CN201910542996.1A patent/CN110334750B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508110A (zh) * | 2011-10-10 | 2012-06-20 | 上海大学 | 基于纹理的绝缘子缺陷诊断方法 |
CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
JP2015161614A (ja) * | 2014-02-27 | 2015-09-07 | 三菱重工業株式会社 | 腐食検出装置及び腐食検出方法 |
WO2015155575A1 (zh) * | 2014-04-12 | 2015-10-15 | 黄勃 | 一种多光谱掌纹图像的反光检测方法和装置 |
CN106023185A (zh) * | 2016-05-16 | 2016-10-12 | 国网河南省电力公司电力科学研究院 | 一种输电设备故障诊断方法 |
CN107063457A (zh) * | 2016-08-22 | 2017-08-18 | 东北师范大学 | 光谱量化定值多光谱遥感图像分割传感器用颜色采集装置 |
CN108665464A (zh) * | 2018-04-03 | 2018-10-16 | 电子科技大学 | 一种基于形态学的高压电塔及高压电线的异物检测方法 |
CN108633411A (zh) * | 2018-05-15 | 2018-10-12 | 江苏大学 | 一种基于机器视觉的秧箱秧苗量实时监测***及方法 |
CN108830877A (zh) * | 2018-06-08 | 2018-11-16 | 中国石油化工股份有限公司 | 岩心体视显微图像定量描述方法 |
CN109785301A (zh) * | 2018-12-27 | 2019-05-21 | 北京交通大学 | 一种基于图像处理的钢轨波磨自动识别方法与评估方法 |
Non-Patent Citations (2)
Title |
---|
Automated bridge coating defect recognition using adaptive ellipse approach;Po-Han Chen等;《Automation in Construction》;20091231;第18卷(第5期);第632-643页 * |
图像处理技术在尖轨检测中的应用研究;罗磊等;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181015;第I138-876页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110334750A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110334750B (zh) | 输电线路铁塔螺栓锈蚀程度图像分类识别方法 | |
CN113469966B (zh) | 一种基于防松线识别的列车螺栓松动检测方法 | |
CN113409314B (zh) | 高空钢结构腐蚀的无人机视觉检测与评价方法及*** | |
CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
CN111091544B (zh) | 铁路货车转向架侧面一体架构断裂故障检测方法 | |
CN107967681B (zh) | 一种基于机器视觉的电梯补偿链冲伤缺陷检测方法 | |
CN105426840A (zh) | 一种基于多特征融合的红外森林火灾判定方法 | |
WO2023082418A1 (zh) | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 | |
CN108009574B (zh) | 一种轨道扣件检测方法 | |
CN114581764B (zh) | 基于深度学习算法的地下结构裂纹病害判别方法 | |
CN112419298A (zh) | 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质 | |
CN108335294A (zh) | 复杂条件下的配电房异常状态图像识别方法 | |
CN108508023B (zh) | 一种铁路接触网中接触端部顶紧螺栓的缺陷检测*** | |
CN111667473A (zh) | 基于改进Canny算法的绝缘子憎水性等级判断方法 | |
CN115082849A (zh) | 基于深度学习的模板支架安全智能监测方法 | |
CN117333696A (zh) | 一种基于机器视觉的螺栓检测方法和装置 | |
CN114266748B (zh) | 一种轨交检修领域工艺板表面完整性判定的方法及装置 | |
CN113643352B (zh) | 一种自然覆冰在线监测运行导线图像覆冰程度评估方法 | |
CN112818878A (zh) | 一种塔式起重机裂缝识别定性方法 | |
KR102585146B1 (ko) | 딥러닝 기반의 도로손상 탐지 장치 및 방법 | |
Chen et al. | Surface Defect Detection of Cable Based on Threshold Image Difference | |
Elanangai et al. | Automated system for defect identification and character recognition using IR images of SS-plates | |
CN112808782A (zh) | 一种热轧板除锈等级自动检测方法 | |
CN115147367B (zh) | 一种基于机器视觉的防松线检测方法 | |
CN111223086A (zh) | 一种基于深度学习的建筑裂缝识别及识别效果的优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |