CN106709905B - 一种基于双目视觉图像的防振锤故障在线检测识别方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉图像的防振锤故障在线检测识别方法，包括如下步骤：采用两台摄像机构成双目立体视觉***；建立一个防振锤状态属性集合S；在初始状态下，获取具有防振锤、固定参考照物的初始图像信息，通过初始图像信息的获得防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的初始值S₀；在当前状态下，发现防振锤出现异常故障时，获取具有防振锤、固定参考照物的当前图像信息，通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的当前值S_t；防振锤故障类型识别：根据当前值S_t与初始值S₀计算防振锤状态属性的变化值△S，根据△S判断得到防振锤故障的情况。

Description

一种基于双目视觉图像的防振锤故障在线检测识别方法

技术领域

本发明涉及防振锤的检测技术，具体涉及一种基于双目视觉图像的防振锤故障在线检测识别方法。

背景技术

架空输电线路受风、冰、低温等气象条件的作用，使线路产生振动和舞动，如果振动频率较高而振幅很小，风振动使架空电线在悬点处反复被拗折，会引起材料疲劳，最后导致断股、断线事故；如果舞动的频率很低，而振幅却很大，很容易引起相间闪络，造成线路跳闸、停电或烧伤导线等严重事故。

防振锤是架空输电线路安全措施中不可缺少的一个部件，是重要的防振金具之一，它加挂于线路塔杆悬点处，能够吸收或减弱振动能量，改变线路摇摆频率，防止线路的大幅度振动和舞动，为输电线路的寿命和输电走廊的安全起到举足轻重的作用。因此，关于防振锤的研究非常有意义。

目前，对防振锤故障的检测识别方法还非常少，并且还没有一个方法能够识别防振锤所有故障类型的算法。但是现实中，防振锤常常存在移位故障、损坏故障、脱落故障、异物干扰等故障，这些故障会对输电线路寿命和输电走廊的安全造成威胁。

发明内容

本发明所要解决的技术问题是解决对防震锤的故障检测，目的在于提供一种基于双目视觉图像的防振锤故障在线检测识别方法。

本发明通过下述技术方案实现：

一种基于双目视觉图像的防振锤故障在线检测识别方法，包括如下步骤：

采用两台摄像机构成双目立体视觉***；

建立一个防振锤状态属性集合S；

在初始状态下，利用两台摄像机获取具有防振锤、固定参考照物的初始图像信息，通过初始图像信息获得的防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的初始值S₀；

在当前状态下，防振锤的异常故障检测，发现防振锤出现异常故障时，利用两台摄像机获取具有防振锤、固定参考照物的当前图像信息，通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的当前值S_t；

防振锤故障类型识别：根据当前值S_t与初始值S₀计算防振锤状态属性的变化值△S，根据△S判断得到防振锤故障的情况。

本发明的设计原理是：本发明基于双目立体视觉***以及双目视觉体系获取图像三维坐标的方法进行，本发明还基于防振锤常见故障而建立防振锤状态属性集合S，根据双目立体视觉***和图像三维坐标的方法测算实际工作过程中防振锤状态属性，将这些振锤状态属性集合在一起形成集合S，利用初始状态，即无故障时的振锤状态属性与故障时的振锤状态属性进行比对，从比对结果分析出振锤故障信息。其总体设计方案是分为四个阶段：第一阶段是：用预定的防振锤状态属性集合S，然后在通过初始状态下，利用双目立体视觉***以及获取图像三维坐标的方法来获取初始防振锤三维坐标、固定参考照物三维坐标，我们在知道防振锤三维坐标、固定参考照物三维坐标的情况下可以推测出防振锤状态以及防振锤与固定参考照物之间的空间关系，在这样条件下，可以组合形成防振锤状态属性集合S的初始值S₀。第二阶段是：利用异常情况监测技术判断当前状态下防振锤是否进入到故障状态。第三阶段是：在故障状态确认的情况下，再次运用利用双目立体视觉***以及获取图像三维坐标的方法来获取当前防振锤三维坐标、固定参考照物三维坐标，同样的，我们在知道防振锤三维坐标、固定参考照物三维坐标的情况下可以推测出防振锤状态以及防振锤与固定参考照物之间的空间关系，在这样条件下，可以组合形成防振锤状态属性集合S的当前值S_t。第四阶段是：比对当前值S_t与初始值S₀之间的变化情况，根据这些变化情况分析出故障状态。

总的来说，本发明的技术方案是利用双目立体视觉***，即双摄像头拍摄技术，获得目标物的立体参数，再利用立体参数分析相关属性，并通过前后属性的变化从而得出故障状态。本发明的设计要点在于整个方法处理过程，通过这样的立体参数分析，我们可以得到很多故障参数，从而能全面分析防振锤故障状态，例如，通过分析防振锤的立体参数，就可以直接得到初始状态下和当前状态下防振锤结构的变化，也可以通过分析防振锤的立体参数和固定参考照物的立体参数，分析出固定参考照物与防振锤之间的距离，也可以分析出防振锤的数量变化，需要设计检测防振锤的某个属性时，我根据实际需求设计相关检测模型即可，这些设计模型不固定选用特定模型，以能利用立体参数测算出故障信息为准，本发明的主要构思旨在提供一种方法获得防振锤立体参数，从立体参数分析故障信息的设计方案，上述立体信息即指上述方案中获得的三维坐标信息。

优选的，由于防振锤常常存在移位故障、损坏故障、脱落故障、异物干扰故障，我们设计的防振锤状态属性即是相关上述故障，具体表述如下：所述防振锤状态属性集合S包括ι、m、r、n；ι表示防振锤与固定参考照物之间的距离(可以表示移位故障)；m表示一个防振锤的铁锤数量，正常情况下，一个防振锤有两个铁锤(可以表示损坏故障)；r表示干扰物到防振锤的距离(可以表示异物干扰故障)；n表示某一段高架线的防振锤个数(可以表示脱落故障)；则初始值S₀包括ι₀、m₀、r₀、n₀；当前值S_t包括ι_t、m_t、r_t、n_t；所述变化值△S包括△ι、△m、△r、△n，其中，△ι＝ι_t－ι₀，△m＝m_t－m₀，△r＝r_t－r₀，△n＝n_t－n₀。ι₀表示初始状态下防振锤与固定参考照物之间的距离、m₀表示初始状态下一个防振锤的铁锤数量、r₀表示初始状态下干扰物与防振锤的距离的最低标准值、n₀表示表示初始状态下高架线的防振锤个数；ι_t表示当前状态下防振锤与固定参考照物之间的距离、m_t表示当前状态下一个防振锤的铁锤数量、r_t表示当前状态下干扰物与防振锤的距离、n_t表示当前状态下高架线的防振锤个数。

其中，由于防振锤移位故障难以判断，因此，本发明设计一个固定参考照物，用固定参考照物与防振锤之间的距离的变化来识别防振锤之间是否存在移位，为了能准确的识别出防振锤的移位量，我们优选固定参考照物为高架线线夹，由于高架线线夹与防振锤都设置在同一导线路径上，因此较为便利的开有识别出移位量，也可以将固定参考照物设为任意防振锤或一个另外设定的参考物、还可以是塔杆上的其他物体、也可以是塔杆本身。同时，正常情况下防振锤有两个铁锤，在雷击或其他情况下，铁锤会出现损坏掉落，使得防振锤不平衡，因此，可以通过防振锤的三维坐标获取深度图，从深度图分析铁锤数量，通过前后对比分析出损坏故障，因此，损坏故障可以通过检测铁锤数量变化来表示。另外，由于防振锤掉落故障发生时，防振锤的数量会变化，因此可以通过三维立体参数判断防振锤的数量，通过防振锤的数量变化表示防振锤掉落故障。由于要求以防振锤中心以r₀半径范围内不得出现干扰物，因此，一旦检测到有干扰物时，我们同样通过三维立体参数是不干扰物的立体信息，通过干扰物的立体信息与防振锤的立体信息进行测算出干扰物至防振锤之间的距离，从而检测出干扰物故障，其中r₀属于预先按照有关要求进行设定的值，通过r_t与r₀差值表示干扰物故障。

采用两台摄像机构成双目立体视觉***包括如下过程：

搭建双目立体视觉硬件***：将两台摄像机以基线距离B的间距固定在光学平台上；

拍摄标定板图像组：使经纬格标定板在两个摄像机中完整成像，拍摄多组不同姿态下的经纬格标定板的图像；

获得参数：以任一摄像机的坐标系为世界坐标系，提取经纬格标定板图像角点，用最小二乘法获得左右摄像机的内部参数矩阵、外部参数矩阵以及左右摄像机镜头的畸变参数。

防振锤的异常故障检测包括如下过程：

获取背景图像：关掉摄像机A，由摄像机B获得的一个图像作为背景图像；

异常检测：由摄像机B拍摄当前第一个帧图像，利用背景差法进行异常检测，有异常检测时转故障检测；

故障检测：由摄像机B拍摄当前第二个帧图像，利用背景差法进行故障检测，背景图像的时间早于当前第一个帧图像的时间，当前第一个帧图像的时间早于当前第二个帧图像的时间。其中由摄像机B获得的一个图像可以是以关掉摄像机A为时刻点起，由摄像机B获得的第一帧图像。

利用背景差法进行异常检测包括如下过程：

将摄像机B拍摄的当前第一个帧图像I_t(x，y)与背景图像u_t(x，y)做减法运算得到背景差值；背景差值为D_t(x,y)＝|I_t(x,y)-u_t(x,y)|；当D_t(x,y)≥ε时，则判定为出现异常，ε为异常判定阈值；

利用背景差法进行故障检测包括如下过程：

将摄像机B拍摄的当前第二个帧图像I_t+1(x，y)与背景图像u_t(x，y)做减法运算得到故障检测背景差值；故障检测背景差值为D_t+1(x，y)＝|I_t+1(x，y)-u_t(x，y)|；当D_t+1(x,y)≥ε时，则判定为出现故障，ε为异常判定阈值。

通过上述可以看出，本发明在防振锤的异常故障检测过程中，采用了异常检测和故障检测两个过程，其原因是，由于检测环境为外部开发式环境，常常会存在鸟、树叶等杂物经过摄像头视觉范围内，但这些杂物的出现过程非常短暂，因此，若仅仅进行依次的异常检测，则会触发很多的误报，本发明只有2次检测的调节下才开启当前故障分析的操作，避免***处于经常启动状态，在故障检测前整个***可以维持在低功耗状态下待机，也不会出现多次的误报，减少巡线次数，本发明中的当前第二个帧图像是指时间上晚于当前第一个帧图像的图像。为了提高检测的时效性和防止误触发故障报警，本发明的当前第二个帧图像选择当前第一个帧图像的下一帧图像，例如，如果我们将当前第二个帧图像与当前第一个帧图像的时间间隔设置的过长，假设当前第一个帧图像出现鸟经过，有可能会在当前第二个帧图像中出现树叶，这也会造成误触发故障报警，因此，只有将当前第二个帧图像与当前第一个帧图像的时间间隔设置的较小时，才能判断出瞬间的物体经过，以防止误报故障，从而提高检测的时效性和检测精度和准确性。

下面介绍下，本发明获取三维坐标的过程：

通过初始图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在初始状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成初始图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，在图像的空间定位中，图像测量距离较远，像素坐标的一个微小变化也会引起巨大测量误差。本发明选择在图像序列点匹配完成后再提取亚像素坐标形成匹配点对，使得图像的三维测量结果更加准确，图像场景物体定位更精准。

匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{0(stockbridge)}，Y_{0(stockbridge)}，Z_{0(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_0(clamp)，Y_0(clamp)，Z_0(clamp))的关系如下式所示：

获得防振锤状态属性集合S的初始值S₀包括如下过程：

获取l₀：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l₀，其中，

获取m₀：直接配置m₀＝2或者通过防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m₀，其中m₀表示一个防振锤的铁锤数量；

获取r₀：直接配置r₀值，r₀表示干扰物到防振锤的距离，此时的r₀为防振锤中心的半径；

获取n₀：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n₀表示某一段高架线的防振锤个数；

ι₀、m₀、r₀、n₀为防振锤状态属性集合S的初始值S₀。

通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在当前状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成当前图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{t(stockbridge)}，Y_{t(stockbridge)}，Z_{t(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_t(clamp)，Y_t(clamp)，Z_t(clamp))的关系如下式所示：

识别当前图像信息是否具有防振锤干扰物，若有防振锤干扰物存在，则还包括获取防振锤干扰物三维坐标过程如下：

识别所述匹配点对为防振锤干扰物的匹配点对，则防振锤干扰物在世界坐标系的三维空间坐标(X_{t(distractors)}，Y_{t(distractors)}，Z_{t(distractors)})的关系如下式所示：

获得防振锤状态属性集合S的当前值S_t包括如下过程：

获取l_t：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l_t，其中

获取m_t：由防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m_t，其中m_t表示一个防振锤的铁锤数量；

获取r_t：

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息具有防振锤干扰物，则计算防振锤干扰物到防振锤的距离r_t，r₀为直接配置的值，其中，

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息没有防振锤干扰物，则赋予防振锤干扰物到防振锤的距离r_t，赋予r_t＝r₀；

获取n_t：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n_t表示某一段高架线的防振锤个数；

l_t、m_t、r_t、n_t为防振锤状态属性集合S的当前值S_t。

根据△S判断得到防振锤故障的情况包括以下过程：

输出移位故障：若△ι∈[a,b]，则说明防振锤不存在移位故障，否则，存在移位故障，其中，a,b分别为防振锤与固定参考照物之间的安全距离范围的下限和上限，根据△ι的值表示防振锤移位距离；

输出铁锤损坏故障：如果Δm＝0，则表明防振锤不存在损坏情况，否则，防振锤存在损坏故障，根据△m的值表示铁锤损坏数量；

输出防振锤干扰物故障：如果Δr≤0，则说明防振锤存在异物干扰故障，根据△r的值表示干扰物到防振锤的距离，否则不存在防振锤干扰物故障；

输出防振锤脱落故障：如果Δn≠0，则说明存在防振锤脱落故障，根据△n的值表示防振锤脱落的数量，否则不存在防振锤脱落故障。

根据防振锤各个故障类别的性质的特点，可由状态特征变化量判断得到故障的情况。具体描述为：

1)防振锤与高架线线夹之间的距离有着一定的安全标准，如果这个距离不在安全标准之内，则认为是发生移位，即存在移位故障。即：如果Δl∈[a，b]，则说明防振锤不存在移位故障，否则，存在移位故障。其中，a,b分别为防振锤与高架线线夹之间的安全距离范围的下限和上限。

2)防振锤由一个固定夹和两头带有两个铁锤的一小段金属组成，两头必有两个铁锤，如果只有一个或是没有，称为损坏。故损坏故障的识别方式为：

如果Δm＝0，则表明防振锤不存在损坏情况，否则，防振锤存在损坏故障。

3)在防振锤周围的一定范围内，不允许存在别的物体，否则要对防振锤造成干扰，即防振锤存在异物干扰故障。防振锤异物干扰故障识别方式为：如果Δr≤0，则说明防振锤存在异物干扰故障，否则不存在。

4)在某些高架线需要安装的防振锤数量多于一个，如果检测到的数量不是标准的防振锤数量，则一定是某些防振锤已完全脱落。防振锤脱落故障判定方法为：

如果Δn≠0，则说明存在防振锤脱落故障，否则不存在。

最后输出防振锤故障类型表单，并将故障具体情况输出。例如，a＝0.01米，b＝0.05米，假如防振锤故障状态属性集为ΔS＝{0.03，-1，-0.5，0],则对应的输出结果为：防振锤存在损坏故障和异物干扰故障。假如ΔS＝{3，0，0，0}，则说明防振锤存在移位故障，并且位移值为3米。

本发明与现有技术相比，具有如下的优点和有益效果：

1.通过建立一个防振锤状态属性集合来描述防振锤的状态，将防振锤故障数值化，使防振锤的故障检测方便、快捷、直观、统一、全面。

2.利用双目立体视觉***建立防振锤图像三维坐标，获得的防振锤尺寸精准。

3.利用双目立体视觉体系检测防振锤状态属性集合的所有值，能够得到精准的测量值。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

一种基于双目视觉图像的防振锤故障在线检测识别方法，包括如下步骤：

采用两台摄像机构成双目立体视觉***；

建立一个防振锤状态属性集合S；

在初始状态下，利用两台摄像机获取具有防振锤、固定参考照物的初始图像信息，通过初始图像信息获得的防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的初始值S₀；

在当前状态下，防振锤的异常故障检测，发现防振锤出现异常故障时，利用两台摄像机获取具有防振锤、固定参考照物的当前图像信息，通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的当前值S_t；

防振锤故障类型识别：根据当前值S_t与初始值S₀计算防振锤状态属性的变化值△S，根据△S判断得到防振锤故障的情况。

本发明的设计原理是：本发明基于双目立体视觉***以及双目视觉体系获取图像三维坐标的方法进行，本发明还基于防振锤常见故障而建立防振锤状态属性集合S，根据双目立体视觉***和图像三维坐标的方法测算实际工作过程中防振锤状态属性，将这些振锤状态属性集合在一起形成集合S，利用初始状态，即无故障时的振锤状态属性与故障时的振锤状态属性进行比对，从比对结果分析出振锤故障信息。其总体设计方案是分为四个阶段：第一阶段是：用预定的防振锤状态属性集合S，然后在通过初始状态下，利用双目立体视觉***以及获取图像三维坐标的方法来获取初始防振锤三维坐标、固定参考照物三维坐标，我们在知道防振锤三维坐标、固定参考照物三维坐标的情况下可以推测出防振锤状态以及防振锤与固定参考照物之间的空间关系，在这样条件下，可以组合形成防振锤状态属性集合S的初始值S₀。第二阶段是：利用异常情况监测技术判断当前状态下防振锤是否进入到故障状态。第三阶段是：在故障状态确认的情况下，再次运用利用双目立体视觉***以及获取图像三维坐标的方法来获取当前防振锤三维坐标、固定参考照物三维坐标，同样的，我们在知道防振锤三维坐标、固定参考照物三维坐标的情况下可以推测出防振锤状态以及防振锤与固定参考照物之间的空间关系，在这样条件下，可以组合形成防振锤状态属性集合S的当前值S_t。第四阶段是：比对当前值S_t与初始值S₀之间的变化情况，根据这些变化情况分析出故障状态。

总的来说，本发明的技术方案是利用双目立体视觉***，即双摄像头拍摄技术，获得目标物的立体参数，再利用立体参数分析相关属性，并通过前后属性的变化从而得出故障状态。本发明的设计要点在于整个方法处理过程，通过这样的立体参数分析，我们可以得到很多故障参数，从而能全面分析防振锤故障状态，例如，通过分析防振锤的立体参数，就可以直接得到初始状态下和当前状态下防振锤结构的变化，也可以通过分析防振锤的立体参数和固定参考照物的立体参数，分析出固定参考照物与防振锤之间的距离，也可以分析出防振锤的数量变化，需要设计检测防振锤的某个属性时，我根据实际需求设计相关检测模型即可，这些设计模型不固定选用特定模型，以能利用立体参数测算出故障信息为准，本发明的主要构思旨在提供一种方法获得防振锤立体参数，从立体参数分析故障信息的设计方案，上述立体信息即指上述方案中获得的三维坐标信息。

实施例2

在上述实施例的基础上，优选的，由于防振锤常常存在移位故障、损坏故障、脱落故障、异物干扰故障，我们设计的防振锤状态属性即是相关上述故障，具体表述如下：所述防振锤状态属性集合S包括ι、m、r、n；ι表示防振锤与固定参考照物之间的距离(可以表示移位故障)；m表示一个防振锤的铁锤数量，正常情况下，一个防振锤有两个铁锤(可以表示损坏故障)；r表示干扰物到防振锤的距离(可以表示异物干扰故障)；n表示某一段高架线的防振锤个数(可以表示脱落故障)；则初始值S₀包括ι₀、m₀、r₀、n₀；当前值S_t包括ι_t、m_t、r_t、n_t；所述变化值△S包括△ι、△m、△r、△n，其中，△ι＝ι_t－ι₀，△m＝m_t－m₀，△r＝r_t－r₀，△n＝n_t－n₀。ι₀表示初始状态下防振锤与固定参考照物之间的距离、m₀表示初始状态下一个防振锤的铁锤数量、r₀表示初始状态下干扰物与防振锤的距离的最低标准值、n₀表示表示初始状态下高架线的防振锤个数；ι_t表示当前状态下防振锤与固定参考照物之间的距离、m_t表示当前状态下一个防振锤的铁锤数量、r_t表示当前状态下干扰物与防振锤的距离、n_t表示当前状态下高架线的防振锤个数。

其中，由于防振锤移位故障难以判断，因此，本发明设计一个固定参考照物，用固定参考照物与防振锤之间的距离的变化来识别防振锤之间是否存在移位，为了能准确的识别出防振锤的移位量，我们优选固定参考照物为高架线线夹，由于高架线线夹与防振锤都设置在同一导线路径上，因此较为便利的开有识别出移位量，也可以将固定参考照物设为任意防振锤或一个另外设定的参考物、还可以是塔杆上的其他物体、也可以是塔杆本身。同时，正常情况下防振锤有两个铁锤，在雷击或其他情况下，铁锤会出现损坏掉落，使得防振锤不平衡，因此，可以通过防振锤的三维坐标获取深度图，从深度图分析铁锤数量，通过前后对比分析出损坏故障，因此，损坏故障可以通过检测铁锤数量变化来表示。另外，由于防振锤掉落故障发生时，防振锤的数量会变化，因此可以通过三维立体参数判断防振锤的数量，通过防振锤的数量变化表示防振锤掉落故障。由于要求以防振锤中心以r₀半径范围内不得出现干扰物，因此，一旦检测到有干扰物时，我们同样通过三维立体参数是不干扰物的立体信息，通过干扰物的立体信息与防振锤的立体信息进行测算出干扰物至防振锤之间的距离，从而检测出干扰物故障，其中r₀属于预先按照有关要求进行设定的值，通过r_t与r₀差值表示干扰物故障。

优选的，采用两台摄像机构成双目立体视觉***包括如下过程：

搭建双目立体视觉硬件***：将两台摄像机以基线距离B的间距固定在光学平台上；

拍摄标定板图像组：使经纬格标定板在两个摄像机中完整成像，拍摄多组不同姿态下的经纬格标定板的图像；

获得参数：以任一摄像机的坐标系为世界坐标系，提取经纬格标定板图像角点，用最小二乘法获得左右摄像机的内部参数矩阵、外部参数矩阵以及左右摄像机镜头的畸变参数。

优选的，防振锤的异常故障检测包括如下过程：

获取背景图像：关掉摄像机A，由摄像机B获得的一个图像作为背景图像；

异常检测：由摄像机B拍摄当前第一个帧图像，利用背景差法进行异常检测，有异常检测时转故障检测；

故障检测：由摄像机B拍摄当前第二个帧图像，利用背景差法进行故障检测。

利用背景差法进行异常检测包括如下过程：

将摄像机B拍摄的当前第一个帧图像I_t(x，y)与背景图像u_t(x，y)做减法运算得到背景差值；背景差值为D_t(x,y)＝|I_t(x,y)-u_t(x,y)|；当D_t(x,y)≥ε，ε为异常判定阈值时，则判定为出现异常；

利用背景差法进行故障检测包括如下过程：

将摄像机B拍摄的当前第二个帧图像I_t+1(x，y)与背景图像u_t(x，y)做减法运算得到故障检测背景差值；故障检测背景差值为D_t+1(x，y)＝|I_t+1(x，y)-u_t(x，y)|；当D_t+1(x,y)≥ε，ε为异常判定阈值，则判定为出现故障。

通过上述可以看出，本发明在防振锤的异常故障检测过程中，采用了异常检测和故障检测两个过程，其原因是，由于检测环境为外部开发式环境，常常会存在鸟、树叶等杂物经过摄像头视觉范围内，但这些杂物的出现过程非常短暂，因此，若仅仅进行依次的异常检测，则会触发很多的误报，本发明只有2次检测的调节下才开启当前故障分析的操作，避免***处于经常启动状态，在故障检测前整个***可以维持在低功耗状态下待机，也不会出现多次的误报，减少巡线次数，本发明中的第二个帧图像是指时间上晚于第一个帧图像的图像，并一定不指代第一个帧图像后的相邻帧图像。

优选的，下面介绍下，本发明获取三维坐标的过程：

通过初始图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在初始状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成初始图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，在图像的空间定位中，图像测量距离较远，像素坐标的一个微小变化也会引起巨大测量误差。本发明选择在图像序列点匹配完成后再提取亚像素坐标形成匹配点对，使得图像的三维测量结果更加准确，图像场景物体定位更精准。

匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{0(stockbridge)}，Y_{0(stockbridge)}，Z_{0(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_0(clamp)，Y_0(clamp)，Z_0(clamp))的关系如下式所示：

获得防振锤状态属性集合S的初始值S₀包括如下过程：

获取l₀：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l₀，其中，

获取m₀：直接配置m₀＝2或者通过防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m₀，其中m₀表示一个防振锤的铁锤数量；

获取r₀：直接配置r₀值，r₀表示干扰物到防振锤的距离，此时的r₀为防振锤中心的半径；

获取n₀：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n₀表示某一段高架线的防振锤个数；

ι₀、m₀、r₀、n₀为防振锤状态属性集合S的初始值S₀。

通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在当前状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成当前图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{t(stockbridge)}，Y_{t(stockbridge)}，Z_{t(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_t(clamp)，Y_t(clamp)，Z_t(clamp))的关系如下式所示：

识别当前图像信息是否具有防振锤干扰物，若有防振锤干扰物存在，则还包括获取防振锤干扰物三维坐标过程如下：

识别所述匹配点对为防振锤干扰物的匹配点对，则防振锤干扰物在世界坐标系的三维空间坐标(X_{t(distractors)}，Y_{t(distractors)}，Z_{t(distractors)})的关系如下式所示：

获得防振锤状态属性集合S的当前值S_t包括如下过程：

获取l_t：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l_t，其中

获取m_t：由防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m_t，其中m_t表示一个防振锤的铁锤数量；

获取r_t：

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息具有防振锤干扰物，则计算防振锤干扰物到防振锤的距离r_t，r₀为直接配置的值，其中，

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息没有防振锤干扰物，则赋予防振锤干扰物到防振锤的距离r_t，赋予r_t＝r₀；

获取n_t：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n_t表示某一段高架线的防振锤个数；

l_t、m_t、r_t、n_t为防振锤状态属性集合S的当前值S_t。

根据△S判断得到防振锤故障的情况包括以下过程：

输出移位故障：若△ι∈[a,b]，则说明防振锤不存在移位故障，否则，存在移位故障，其中，a,b分别为防振锤与固定参考照物之间的安全距离范围的下限和上限，根据△ι的值表示防振锤移位距离；

输出铁锤损坏故障：如果Δm＝0，则表明防振锤不存在损坏情况，否则，防振锤存在损坏故障，根据△m的值表示铁锤损坏数量；

输出防振锤干扰物故障：如果Δr≤0，则说明防振锤存在异物干扰故障，根据△r的值表示干扰物到防振锤的距离，否则不存在防振锤干扰物故障；

输出防振锤脱落故障：如果Δn≠0，则说明存在防振锤脱落故障，根据△n的值表示防振锤脱落的数量，否则不存在防振锤脱落故障。

根据防振锤各个故障类别的性质的特点，可由状态特征变化量判断得到故障的情况。具体描述为：

1)防振锤与高架线线夹之间的距离有着一定的安全标准，如果这个距离不在安全标准之内，则认为是发生移位，即存在移位故障。即：如果Δl∈[a，b]，则说明防振锤不存在移位故障，否则，存在移位故障。其中，a,b分别为防振锤与高架线线夹之间的安全距离范围的下限和上限。

2)防振锤由一个固定夹和两头带有两个铁锤的一小段金属组成，两头必有两个铁锤，如果只有一个或是没有，称为损坏。故损坏故障的识别方式为：

如果Δm＝0，则表明防振锤不存在损坏情况，否则，防振锤存在损坏故障。

3)在防振锤周围的一定范围内，不允许存在别的物体，否则要对防振锤造成干扰，即防振锤存在异物干扰故障。防振锤异物干扰故障识别方式为：如果Δr≤0，则说明防振锤存在异物干扰故障，否则不存在。

4)在某些高架线需要安装的防振锤数量多于一个，如果检测到的数量不是标准的防振锤数量，则一定是某些防振锤已完全脱落。防振锤脱落故障判定方法为：

如果Δn≠0，则说明存在防振锤脱落故障，否则不存在。

最后输出防振锤故障类型表单，并将故障具体情况输出。例如，a＝0.01米，b＝0.05米，假如防振锤故障状态属性集为ΔS＝{0.03，-1，-0.5，0},则对应的输出结果为：防振锤存在损坏故障和异物干扰故障。假如ΔS＝{3，0，0，0}，则说明防振锤存在移位故障，并且位移值为3米。

Claims (8)

1.一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，包括如下步骤：

采用两台摄像机构成双目立体视觉***；

建立一个防振锤状态属性集合S；

在初始状态下，利用两台摄像机获取具有防振锤、固定参考照物的初始图像信息，通过初始图像信息获得的防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的初始值S₀；

在当前状态下，防振锤的异常故障检测，发现防振锤出现异常故障时，利用两台摄像机获取具有防振锤、固定参考照物的当前图像信息，通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标从而获得防振锤状态属性集合S的当前值S_t；

防振锤故障类型识别：根据当前值S_t与初始值S₀计算防振锤状态属性的变化值△S，根据△S判断得到防振锤故障的情况；

所述防振锤状态属性集合S包括ι、m、r、n；ι表示防振锤与固定参考照物之间的距离；m表示一个防振锤的铁锤数量，正常情况下，一个防振锤有两个铁锤；r表示干扰物到防振锤的距离；n表示某一段高架线的防振锤个数；则初始值S₀包括ι₀、m₀、r₀、n₀；当前值S_t包括ι_t、m_t、r_t、n_t；所述变化值△S包括△ι、△m、△r、△n，其中，△ι＝ι_t－ι₀，△m＝m_t－m₀，△r＝r_t－r₀，△n＝n_t－n₀；

根据△S判断得到防振锤故障的情况包括以下过程：

输出移位故障：若△ι∈[a,b]，则说明防振锤不存在移位故障，否则，存在移位故障，其中，a,b分别为防振锤与固定参考照物之间的安全距离范围的下限和上限，根据△ι的值表示防振锤移位距离；

输出铁锤损坏故障：如果Δm＝0，则表明防振锤不存在损坏情况，否则，防振锤存在损坏故障，根据△m的值表示铁锤损坏数量；

输出防振锤干扰物故障：如果Δr≤0，则说明防振锤存在异物干扰故障，根据△r的值表示干扰物到防振锤的距离；否则不存在干扰物故障；

输出防振锤脱落故障：如果Δn≠0，则说明存在防振锤脱落故障，根据△n的值表示防振锤脱落的数量，否则不存在防振锤脱落故障。

2.根据权利要求1所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，采用两台摄像机构成双目立体视觉***包括如下过程：

搭建双目立体视觉硬件***：将两台摄像机以基线距离B的间距固定在光学平台上；

拍摄标定板图像组：使经纬格标定板在两个摄像机中完整成像，拍摄多组不同姿态下的经纬格标定板的图像；

获得参数：以任一摄像机的坐标系为世界坐标系，提取经纬格标定板图像角点，用最小二乘法获得左右摄像机的内部参数矩阵、外部参数矩阵以及左右摄像机镜头的畸变参数。

3.根据权利要求1所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，防振锤的异常故障检测包括如下过程：

获取背景图像：关掉摄像机A，由摄像机B获得的一个图像作为背景图像；

异常检测：由摄像机B拍摄当前第一个帧图像，利用背景差法进行异常检测，有异常检测时转故障检测；

故障检测：由摄像机B拍摄当前第二个帧图像，利用背景差法进行故障检测；背景图像的时间早于当前第一个帧图像的时间，当前第一个帧图像的时间早于当前第二个帧图像的时间。

4.根据权利要求3所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，

利用背景差法进行异常检测包括如下过程：

将摄像机B拍摄的当前第一个帧图像I_t(x，y)与背景图像u_t(x，y)做减法运算得到背景差值；背景差值为D_t(x,y)＝|I_t(x,y)-u_t(x,y)|；当D_t(x,y)≥ε时，则判定为出现异常，ε为异常判定阈值；

利用背景差法进行故障检测包括如下过程：

将摄像机B拍摄的当前第二个帧图像I_t+1(x，y)与背景图像u_t(x，y)做减法运算得到故障检测背景差值；故障检测背景差值为D_t+1(x，y)＝|I_t+1(x，y)-u_t(x，y)|；当D_t+1(x,y)≥ε时，则判定为出现故障，ε为异常判定阈值。

5.根据权利要求1-4中任意一项所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，通过初始图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在初始状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成初始图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{0(stockbridge)}，Y_{0(stockbridge)}，Z_{0(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_0(clamp)，Y_0(clamp)，Z_0(clamp))的关系如下式所示：

6.根据权利要求5所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，获得防振锤状态属性集合S的初始值S₀包括如下过程：

获取l₀：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l₀，其中，

获取m₀：直接配置m₀＝2或者通过防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m₀，其中m₀表示一个防振锤的铁锤数量；

获取r₀：直接配置r₀值，r₀表示干扰物到防振锤的距离，此时的r₀为防振锤中心的半径；

获取n₀：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n₀表示某一段高架线的防振锤个数；

ι₀、m₀、r₀、n₀为防振锤状态属性集合S的初始值S₀。

7.根据权利要求1-4中任意一项所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，通过当前图像信息获得防振锤三维坐标、固定参考照物三维坐标包括如下过程：

在当前状态下，通过左摄像机、右摄像机分别获得左图像、右图像，形成当前图像信息；

对左图像、右图像进行消除畸变和极线校正处理，使消除畸变后的左图像与右图像严格地行对应；

对左图像与右图像进行图像预处理；

分别提取左图像与右图像特征点；

匹配左图像与右图像的特征点，得到多组的匹配点对；

获取图像坐标：利用双目立体视觉测量模型求出左图像与右图像在各自像素坐标系的坐标；

实现像素坐标系到世界坐标系的转换：设置左图像的特征点在自己的像素坐标系的像素坐标(x_l，y_l)、右图像的特征点在自己的像素坐标系的像素坐标(x_r，y_r)，(x_l，y_l)与(x_r，y_r)形成匹配点对，匹配点对在世界坐标系的三维空间坐标(X_W,Y_W,Z_W)的关系如下式所示：

其中，x_l和x_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的横坐标，y_l和y_r表示左图像、右图像在匹配后获得匹配点对在像素坐标系下的纵坐标，B表示左摄像机与右摄像机间的基线距离，f表示世界坐标系所在摄像机的焦距，B和f根据摄像机标定得到；

若匹配点对为防振锤的匹配点对，则防振锤在世界坐标系的三维空间坐标(X_{t(stockbridge)}，Y_{t(stockbridge)}，Z_{t(stockbridge)})的关系如下式所示：

若匹配点对为固定参考照物的匹配点对，则固定参考照物在世界坐标系的三维空间坐标(X_t(clamp)，Y_t(clamp)，Z_t(clamp))的关系如下式所示：

识别当前图像信息是否具有防振锤干扰物，若有防振锤干扰物存在，则还包括获取防振锤干扰物三维坐标过程如下：

识别所述匹配点对为防振锤干扰物的匹配点对，则防振锤干扰物在世界坐标系的三维空间坐标(X_{t(distractors)}，Y_{t(distractors)}，Z_{t(distractors)})的关系如下式所示：

8.根据权利要求7所述的一种基于双目视觉图像的防振锤故障在线检测识别方法，其特征在于，获得防振锤状态属性集合S的当前值S_t包括如下过程：

获取l_t：检测出防振锤和固定参考照物，根据防振锤、固定参考照物在世界坐标系的三维空间坐标计算出防振锤与固定参考照物之间的距离l_t，其中

获取m_t：由防振锤的三维坐标获取深度图得到3D点云数据再通过3D匹配方法检测出防振锤的铁锤个数m_t，其中m_t表示一个防振锤的铁锤数量；

获取r_t：

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息具有防振锤干扰物，则计算防振锤干扰物到防振锤的距离r_t，r₀为直接配置的值，其中，

若以防振锤为中心、以r₀为半径的范围内利用帧差法进行识别当前图像信息没有防振锤干扰物，则赋予防振锤干扰物到防振锤的距离r_t，赋予r_t＝r₀；

获取n_t：检测出图像中的电线，然后以一个防振锤寻找窗口沿着电线滑动，每检测到一个防振锤，防振锤数量加1，最终n_t表示某一段高架线的防振锤个数；

l_t、m_t、r_t、n_t为防振锤状态属性集合S的当前值S_t。