CN106826873A - 一种输电线路巡检机器人视觉伺服抓线控制方法 - Google Patents

Abstract

本发明公开了一种输电线路巡检机器人视觉伺服抓线控制方法.属于自动化控制领域，目的在于克服现有人工控制机器人抓线的缺点，提高输电线路巡检与作业机器人的自主化程度，扩大机器人巡检与作业的应用范围。本发明用于机器人在识别输电线路的基础上进行自主抓线。抓线控制流程如下：(1)机器人本体运动学建模；(2)建立抓线运动的手眼模型；(3)构建伺服抓线控制器框架；(4)设计视觉伺服控制器。本发明将数字图像处理技术引入到机器人自主控制，利用机器人采集的图像信息获取线路与机器人的相对位姿关系，通过视觉伺服控制器的设计，使机器人可以自主完成落线动作，为机器人在线路上开展自主化巡检与作业提供了一种智能化的技术手段。

Description

一种输电线路巡检机器人视觉伺服抓线控制方法

技术领域

本发明属于自动化控制领域，具体涉及一种输电线路巡检机器人视觉伺服抓线控制方法，用于输电线路巡检与维护机器人基于视觉图像自主伺服抓线。

背景技术

截止2014年底，我国220kV及以上输电回路长度已经超过60万千米，输电网络需要定期巡视维护。目前，这项工作主要由通过人工使用望远镜在地面对线路进行观察，必要时工人还要登塔走线开展检测作业，工作劳动强度大、危险性高、维护成本高。

为了解决以上问题，并提高线路检测和维护的精细化和自动化水平，输电线巡检机器人成为研究热点。为了跨越线路上防振锤、悬垂线夹等金具障碍，机器人需要通过行走轮脱线躲避障碍，越障后的行走轮抓线是自动越障中的关键环节，抓线的准确性和可靠性是研究的要点。已有文献研究了基于光电开关的输电线定位与抓线方法[孙翠莲等.一种改进的超高压输电线路巡检机器人越障方法.机器人，2006，28(4)：379-384.]和基于电磁传感器的机器人手臂与相线位姿判断方法[陈中伟等.高压巡线机器人电磁传感器导航方法.传感器与微***，2006，25(9)：33-35,39.]，而这些方法都是利用局部信息，可靠性容易受外界环境的干扰，可能会产生伪真的信息，且缺乏直观性。另有文献采用傅里叶描述子构造具有不变性的轮廓形状特征矢量，识别机器人驱动轮，进而抽取图像特征和估计驱动轮-相线在图像空间中的相对位姿，并设计了带有死区的比例控制律来实现驱动轮-相线“对中”控制[张运楚等.架空输电线路巡线机器人越障视觉伺服控制.机器人，2007，29(2)：111-116.]。而该方法仅对行走轮的位置进行控制，没有考虑姿态对于抓线的影响。

发明内容

为了克服现有机器人伺服抓线控制方法的问题，提高机器人抓线的自动化程度与准确性，本发明要解决的技术问题是提供一种输电线路巡检机器人视觉伺服抓线控制方法。

本发明为实现上述目的所采用的技术方案是：一种输电线路巡检机器人视觉伺服抓线控制方法，包括以下步骤：

(1)机器人运动学建模：根据机器人本体设计特征，建立机器人关节坐标系，获取机器人的运动学方程；

(2)建立抓线运动的手眼模型：利用机器人相机获取的包含输电线路与机器人手臂的图像，建立采集图像坐标系与世界坐标系的相对关系，描述机器人旋转关节角与输电线图像特征变化的关系；

(3)构建伺服抓线控制器：根据机器人运动学模型与抓线运动的手眼模型，建立双层闭环构架的控制闭环，由机器人伺服控制器控制巡检机器人本体组成第一层闭环，通过视觉伺服控制器分析图像自动生成控制指令，并传送给机器人伺服控制器，组成第二层闭环。

(4)设计视觉伺服控制器：通过图像处理计算抓线图像的特征偏差，设计伺服控制器。

所述机器人运动学建模包括以下步骤：

在机器人各关节处建立关节坐标系，获取各关节处D-H参数；

以机器人在线手臂作为基座，计算机器人脱线手臂的运动学方程，获取脱线手臂的末端位姿：

其中，α与β分别为线路倾角与箱体倾角，C_α+β与S_α+β分别代表cos(α+β)与sin(α+β)，d_m为双臂间距，C_ij与S_ij分别代表cos(θ_i+θ_j)与sin(θ_i+θ_j)，质心移动距离d_ac＝l₆+l₄-l₃-l₂+d₄-d₃，l₂与l₅为上臂长度，l₃与l₄为下臂长度，l₆与l₇为相机距离，d₃与d₄为移动关节伸缩量，θ₃与θ₄为旋转关节转动量，r_w为驱动轮轮径。

所述机器人抓线运动的手眼模型为：

抓线运动的中心透视投影关系模型为：

若设输电线路上一点为目标点，则u与v是目标点在图像坐标系中的坐标，s_x与s_y是X和Y方向上的采样频率；f是相机焦距，f_x＝f·s_x与f_y＝f·s_y为等效焦距，u₀与v₀是图像物理坐标系原点在图像坐标系中的坐标，(x_c，y_c，z_c)是目标点在摄像机坐标系中的坐标；

设输电线上目标点P，在基础坐标系与摄像机坐标系中的坐标分别为L_P和C_P，根据建立的运动学模型可以得到：

其中，为摄像机坐标到基础坐标系的齐次变换矩阵；

结合联立以上两方程，并进行求导计算，得到机器人旋转关节角θ₃和θ₄的导数与输电线图像特征变化的关系，即抓线运动的手眼模型：

其中，J为图像雅克比矩阵，描述机器人旋转关节角与输电线图像特征变化的关系。

所述设计视觉伺服控制器包括以下步骤：

(1)对机器人采集的线路图像进行预处理，采用Ostu方法将预处理后的灰度图像分割为二值图像，然后进行形态学滤波，用以减弱背景的影响；

(2)提取图像中的直线特征，利用sobel算子提取抓线图像的边缘，通过霍夫变换提取亮度最大的两条直线，作为输电线路的两边缘；

(3)计算图像的特征偏差，建立偏差坐标系，偏差坐标系原点为驱动轮中心点，x轴y轴分别为驱动轮轮槽与轴线方向；根据偏差坐标系原点与输电线中轴线中心点计算位移偏差值，定义输电线中心点偏离行走轮横向中心线的像素为λ_d；根据输电线两边沿斜率的平均值计算姿态偏差值，定义输电线相对行走轮横向中心线偏转的角度为θ_d，通过[λ_d θ_d]^T来定义图像空间中特征的变化；

(4)设计基于图像雅克比矩阵J的伺服控制器，定义图像特征误差为e＝f_d-f(t)＝[λ_d θ_d]^T，其中，f_d＝[λ₀ θ₀]^T为期望的位姿特征值，λ₀是驱动轮处于最佳落线状态时输电线中心点偏离行走轮横向中心线的像素数，θ₀是驱动轮处于最佳落线状态时输电线相对行走轮横向中心线偏转的角度，f(t)＝[λ(t) θ(t)]^T为视觉反馈的位姿特征值，设位姿控制变量为u(t)＝Δq，设计控制器u=KJ⁺e，其中K为正比例系数，J⁺为图像雅克比矩阵的逆阵；定义图像特征误差的容差为[ε_d δ_d]^T，ε_d是安全落线时输电线中心点偏离行走轮横向中心线的最大容许像素数，δ_d是安全落线状态时输电线相对行走轮横向中心线偏转的最大容许角度，利用控制器自主调节机器人行走轮与输电线的相对位姿，使λ_d＜ε_d，θ_d＜δ_d，从而保证机器人驱动轮处于线路上方适合落线位置，完成自主抓线动作。

本发明具有以下优点及有益效果：

1.本发明提供的基于图像的视觉伺服抓线控制方法，克服了现有采用人工控制机器人的缺点，提高了输电线巡检与维护机器人的自动化程度。

2.本发明利用机器人自身携带的相机对线路进行图像采集，通过对采集的巡检图像进行预处理、直线特征提取、特征偏差计算等步骤获取位姿偏差，相比于其他传感器，视觉传感器获取的信息具有数据直观、抗干扰强等优点，采用本方法获取的特征偏差稳定可靠，有利于控制器的设计。

3.本发明已在输电线机器人上进行试验，试验结果表明，采用本发明的机器人***可以快速稳定的实现自主抓线，体现了设计的视觉伺服抓线控制器的准确性与鲁棒性。

附图说明

图1是本发明的流程示意图；

图2是机器人运动学模型；

图3是机器人抓线运动原理图；

图4是机器人抓线手眼模型；

图5是机器人伺服抓线控制闭环结构；

图6是图像处理结果；

图7是视觉抓线控制原理；

图8是视觉伺服控制器框图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明通过视觉传感器采集线路图像，通过图像处理技术获得特征偏差，并以此为基础，结合机器人的运动学模型与抓线运动手眼模型，设计视觉伺服抓线控制器，实现输电线路巡检与维护机器人的自主抓线。该方法克服了现有采用人工控制机器人的缺点，提高了输电线巡检与维护机器人的自动化程度，如图1所示，具体流程如下：

(1)机器人运动学建模：

在机器人各关节处建立关节坐标系，如图2所示，获取各关节处D-H参数；以机器人在线手臂作为基座，计算机器人脱线手臂的运动学方程，获取脱线手臂的末端位姿。

(2)建立抓线运动的手眼模型：

(2.1)如图3所示，根据机构模型和传感器信息，使待落线行走轮粗对准输电线.根据机器人越障位姿关系调整两手臂的旋转关节，保证输电线在待抓线手臂的摄像机视野内。

(2.2)如图4所示，根据机器人相机获取的包含输电线路与机器人手臂的图像，建立抓线运动的中心透视投影关系模型为：

设输电线上目标点P，在基础坐标系与摄像机坐标系中的坐标分别为^Lp和^cp，根据建立的运动学模型可以得到：

其中，为摄像机坐标到基础坐标系的齐次变换矩阵；

结合联立以上两方程，并进行求导计算，可以得到机器人旋转关节角θ₃和θ₄导数与输电线图像特征变化的关系，即抓线运动的手眼模型：

其中，J为图像雅克比矩阵，描述了机器人旋转关节角与输电线路图像特征变化的关系。

(3)构建伺服抓线控制器：根据机器人运动学模型与手眼关系模型，建立伺服抓线控制器框架，设计控制闭环结构，如图5所示，控制闭环采用双层闭环构架，由机器人伺服控制器控制巡检机器人本体行程第一层闭环，通过视觉伺服控制器分析图像自动生成控制指令，并传送给机器人伺服控制器，组成第二层闭环。

(4)设计视觉伺服控制器：

(4.1)如图6所示，对机器人采集的线路图像进行一系列处理，获取特征偏差及参考中心。预处理时，采用Ostu发明方法将预处理后的灰度图像分割为二值图像，然后进行形态学滤波，已减弱背景的影响。利用sobel算子获取直线特征提取抓线图像的边缘，通过霍夫变换提取亮度最大的两条直线，认为是输电线路的两边缘。计算图像的特征偏差，根据参考中心点与输电线中轴线中心点计算位移偏差值，根据输电线两边沿斜率的平均值计算姿态偏差值。

(4.2)如图7所示，建立偏差坐标系，定义输电线中心点偏离行走轮横向中心线的像素为λ_d，输电线相对行走轮横向中心线偏转的角度为θ_d，通过[λ_d θ_d]^T来定义图像空间中特征的变化，定义其容差为[ε_d δ_d]^T.

(5)如图8所示，设计基于图像雅克比矩阵J的伺服控制器，定义图像特征误差为e＝f_d-f(t)＝[λ_d θ_d]^T，其中，f_d＝[λ₀ θ₀]^T为期望的位姿特征值，f(t)＝[λ(t) θ(t)]^T为视觉反馈的位姿特征值，设位姿控制变量为u(t)＝Δq，设计控制器u＝KJ⁺e，其中K为正比例系数，J⁺为图像雅克比矩阵的逆阵。利用控制器自主调节机器人行走轮与输电线的相对位姿，使λ_d＜ε_d，θ_d＜δ_d，保证机器人驱动轮处于线路上方适合落线位置，进而完成自主抓线动作。

Claims (4)

1.一种输电线路巡检机器人视觉伺服抓线控制方法，其特征在于，包括以下步骤：

(1)机器人运动学建模：根据机器人本体设计特征，建立机器人关节坐标系，获取机器人的运动学方程；

(2)建立抓线运动的手眼模型：利用机器人相机获取的包含输电线路与机器人手臂的图像，建立采集图像坐标系与世界坐标系的相对关系，描述机器人旋转关节角与输电线图像特征变化的关系；

(3)构建伺服抓线控制器：根据机器人运动学模型与抓线运动的手眼模型，建立双层闭环构架的控制闭环，由机器人伺服控制器控制巡检机器人本体组成第一层闭环，通过视觉伺服控制器分析图像自动生成控制指令，并传送给机器人伺服控制器，组成第二层闭环。

(4)设计视觉伺服控制器：通过图像处理计算抓线图像的特征偏差，设计伺服控制器。

2.根据权利要求1所述的一种输电线路巡检机器人视觉伺服抓线控制方法，其特征在于，所述机器人运动学建模包括以下步骤：

在机器人各关节处建立关节坐标系，获取各关节处D-H参数；

以机器人在线手臂作为基座，计算机器人脱线手臂的运动学方程，获取脱线手臂的末端位姿：

$T_C^L=\left[\begin{array}{cccc}{C}_{\left(\mathrm{\α}+\mathrm{\β}\right)}{C}_{34}& -C_{\left(\mathrm{\α}+\mathrm{\β}\right)}{S}_{34}& S_{\left(\mathrm{\α}+\mathrm{\β}\right)}& d_{ac}{S}_{\left(\mathrm{\α}+\mathrm{\β}\right)}+d_m{C}_{\left(\mathrm{\α}+\mathrm{\β}\right)}{C}_3\\ S_{34}& C_{34}& 0& d_m{S}_3\\ -S_{\left(\mathrm{\α}+\mathrm{\β}\right)}{C}_{34}& S_{\left(\mathrm{\α}+\mathrm{\β}\right)}{S}_{34}& C_{\left(\mathrm{\α}+\mathrm{\β}\right)}& r_w+d_{ac}{C}_{\left(\mathrm{\α}+\mathrm{\β}\right)}-d_m{S}_{\left(\mathrm{\α}+\mathrm{\β}\right)}{C}_3\\ 0& 0& 0& 1\end{array}\right]$

其中，α与β分别为线路倾角与箱体倾角，C_α+β与S_α+β分别代表cos(α+β)与sin(α+β)，d_m为双臂间距，C_ij与S_ij分别代表cos(θ_i+θ_j)与sin(θ_i+θ_j)，质心移动距离d_ac＝l₆+l₄-l₃-l₂+d₄-d₃，l₂与l₅为上臂长度，l₃与l₄为下臂长度，l₆与l₇为相机距离，d₃与d₄为移动关节伸缩量，θ₃与θ₄为旋转关节转动量，r_w为驱动轮轮径。

3.根据权利要求1所述的一种输电线路巡检机器人视觉伺服抓线控制方法，其特征在于，所述机器人抓线运动的手眼模型为：

抓线运动的中心透视投影关系模型为：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{ccc}{S}_x& 0& u_0\\ 0& S_y& v_0\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]$

若设输电线路上一点为目标点，则u与v是目标点在图像坐标系中的坐标，s_x与s_y是X和Y方向上的采样频率；f是相机焦距，f_x＝f·s_x与f_u＝f·s_y为等效焦距，u₀与v₀是图像物理坐标系原点在图像坐标系中的坐标，(x_c，y_c，z_c)是目标点在摄像机坐标系中的坐标；

设输电线上目标点P，在基础坐标系与摄像机坐标系中的坐标分别为L_P和C_P，根据建立的运动学模型可以得到：

$L_P=T_C^L{C}_P$

其中，为摄像机坐标到基础坐标系的齐次变换矩阵；

结合联立以上两方程，并进行求导计算，得到机器人旋转关节角θ₃和θ₄的导数与输电线图像特征变化的关系，即抓线运动的手眼模型：

$\left[\begin{array}{c}\stackrel{\·}{u}\\ \stackrel{\·}{v}\end{array}\right]=\left[\begin{array}{cc}{U}_1-U_2& U_1\\ -V1-V2& -V_1\end{array}\right]\left[\begin{array}{c}{\stackrel{\·}{\mathrm{\θ}}}_3\\ {\stackrel{\·}{\mathrm{\θ}}}_4\end{array}\right]=J\stackrel{\·}{\mathrm{\θ}}$

其中， $U_1=\frac{f_x\left(v-v_0\right)}{f_y},U_2=\frac{f_x{d}_m{S}_4}{z_c},V_1=\frac{f_y(u-u_0)}{f_x},V_2=\frac{f_y{d}_m{C}_4}{z_c},$ J为图像雅克比矩阵，描述机器人旋转关节角与输电线图像特征变化的关系。

4.根据权利要求1所述的一种输电线路巡检机器人视觉伺服抓线控制方法，其特征在于，所述设计视觉伺服控制器包括以下步骤：

(1)对机器人采集的线路图像进行预处理，采用Ostu方法将预处理后的灰度图像分割为二值图像，然后进行形态学滤波，用以减弱背景的影响；

(2)提取图像中的直线特征，利用sobel算子提取抓线图像的边缘，通过霍夫变换提取亮度最大的两条直线，作为输电线路的两边缘；

(3)计算图像的特征偏差，建立偏差坐标系，偏差坐标系原点为驱动轮中心点，x轴y轴分别为驱动轮轮槽与轴线方向；根据偏差坐标系原点与输电线中轴线中心点计算位移偏差值，定义输电线中心点偏离行走轮横向中心线的像素为λ_d；根据输电线两边沿斜率的平均值计算姿态偏差值，定义输电线相对行走轮横向中心线偏转的角度为θ_d，通过[λ_d θ_d]^T来定义图像空间中特征的变化；

(4)设计基于图像雅克比矩阵J的伺服控制器，定义图像特征误差为e＝f_d-f(t)＝[λ_d θ_d]^T，其中，f_d＝[λ₀ θ₀]^T为期望的位姿特征值，λ₀是驱动轮处于最佳落线状态时输电线中心点偏离行走轮横向中心线的像素数，θ₀是驱动轮处于最佳落线状态时输电线相对行走轮横向中心线偏转的角度，f(t)＝[λ(t) θ(t)]^T为视觉反馈的位姿特征值，设位姿控制变量为u(t)＝Δq，设计控制器u＝KJ⁺e，其中K为正比例系数，J⁺为图像雅克比矩阵的逆阵；定义图像特征误差的容差为[ε_d δ_d]^T，ε_d是安全落线时输电线中心点偏离行走轮横向中心线的最大容许像素数，δ_d是安全落线状态时输电线相对行走轮横向中心线偏转的最大容许角度，利用控制器自主调节机器人行走轮与输电线的相对位姿，使λ_d＜ε_d，θ_d＜δ_d，从而保证机器人驱动轮处于线路上方适合落线位置，完成自主抓线动作。