CN109683629A - 基于组合导航和计算机视觉的无人机电力架线*** - Google Patents

基于组合导航和计算机视觉的无人机电力架线*** Download PDF

Info

Publication number
CN109683629A
CN109683629A CN201910021083.5A CN201910021083A CN109683629A CN 109683629 A CN109683629 A CN 109683629A CN 201910021083 A CN201910021083 A CN 201910021083A CN 109683629 A CN109683629 A CN 109683629A
Authority
CN
China
Prior art keywords
coaster
unmanned plane
module
particle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910021083.5A
Other languages
English (en)
Other versions
CN109683629B (zh
Inventor
张立国
商建超
金梅
张百超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power Research Institute Co Ltd
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201910021083.5A priority Critical patent/CN109683629B/zh
Publication of CN109683629A publication Critical patent/CN109683629A/zh
Application granted granted Critical
Publication of CN109683629B publication Critical patent/CN109683629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02GINSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • H02G1/04Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables for mounting or stretching

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于组合导航和计算机视觉的无人机电力架线***,通过将GPS卫星定位与传统的惯性导航定位相结合,更新其位姿状态,进行位置和姿态的调整,以达到最佳的架线姿态;无人机地面监测站***采用粒子群最优算法,可以为用户提供一键寻址功能,实现无人机自动规划航迹;然后根据双目视觉定位原理,由双目摄像机采集模块利用神经网络深度学习方法提取滑车位置以及滑车穿线孔信息,将滑车位置信息发送给无人机控制器,无人机自动做出姿态调整,将无人机***导航至距离滑车0.5m区域内;并将滑车穿线孔信息传递给瞄准装置,瞄准装置根据事先训练好的每个滑车相对位置分析、动力学分析将引导线配重块弹射入滑车孔,完成引导线的展放。

Description

基于组合导航和计算机视觉的无人机电力架线***
技术领域
本发明涉及一种无人机电力架线***,具体是一种基于组合导航和计算机视觉的无人机电力架线***,属于新兴电力架线技术。
背景技术
在特高压电网搭建的过程中,架线成为了关键的步骤,然而架线中最重要是的搭建牵引线,如何简单、安全、低费用搭设牵引线成为了现今研究的难点。
目前,在架线施工中,搭设牵引线一般采用飞艇、动力伞、小型有人直升机等飞行器,但是上述飞行器中都会有一些大的弊端。飞艇对天气环境的依赖性比较强,容易受风力的影响,操控较差;动力伞需要助跑跑道,对场地的要求较高,且无法再空中定点悬停,对飞手的技术要求过高;直升机租赁费用高,体积庞大,在空中定点悬停作业时侧飞姿态调整比较困难,对飞行员技术要求也过高。
随着无人机技术的不断发展,如今无人机已经逐渐从军事应用走向民用。在许多领域,无人机已经大展身手。在我国无人机正在走向国家电网服务领域,在特高压输电电网架线应用方面,无人机也斩落头角。与其他架线方案相比,无人机区有明显的优势,比如,无人机起飞要求低,可以在小范围内起飞,不要求跑道,并且可以在很短的时间内把姿态调整到预期的状态;对环境保护能力强,在架线的过程中能够跨越大障碍;抗风能力强,能够在5级以下的风力正常工作;精度高,容易控制,对飞手技术要求低;费用低,成本低,可以多次使用;安全性高,对操作人员无生命威胁。
针对上述问题提出了一种结合了无人机组合导航、视觉定位、深度学习的无人机特高压输电电网架线技术。
发明内容
本发明的目的是解决背景技术中存在的问题,而提供一种无人机在特高压输电电网架线方面的技术。
一种基于组合导航和计算机视觉的无人机电力架线***包括无人机***、高压线塔和引导线弹射***,所述无人机***设有无人机、配重块、引导线、地面监测站***和GPS—SINS组合导航***,所述配重块和所述引导线相连,所述GPS—SINS组合导航***设有导航计算机、惯性导航***SINS和GPS 模块;所述导航计算机将惯性导航***SINS和GPS模块提供的信息进行整合并设有能获得最优行进路径的最优行进路径单元;所述高压线塔包括滑车和横担,所述滑车上设有滑车穿线孔;所述引导线弹射***包括视觉识别定位***和瞄准装置,所述视觉识别定位***设有双目摄像机采集模块、滑车标定模块、图像处理模块、立体矫正与立体匹配模块和三维信息提取模块,以实现所述滑车的信息采集和无人机与滑车相对位置调整;所述双目摄像机采集模块对所述滑车进行图像采集,所述滑车标定模块对所述滑车在图像中的轮廓及位置进行标定,所述图像处理模块对采集的图像进行图像预处理,所述立体矫正与立体匹配模块对所述滑车和采集的图像进行对比和匹配,所述三维信息提取模块对采集的图像进行三维处理,并提取所述滑车及滑车穿线孔的三维信息,为所述瞄准装置提供精准的三维信息。
优选地,所述地面监测站***包括航点规划模块和显示模块,所述航点规划模块能实现所述无人机的自动航迹规划和一键寻址功能,所述显示模块能显示所述无人机的飞行姿态和所述滑车的图像信息。
优选的,所述惯性导航***SINS下设有三轴加速度计、三轴陀螺仪和高度计,以获得所述无人机的加速度、角速度和高度信息;所述的GPS模块可以获取无人的位置信息;所述导航计算机将上述两者提供的信息进行整合,根据卡尔曼滤波算法进行更新,采用粒子群优化算法计算出最优的行进路径。
优选的,所述导航计算机将惯性导航***SINS和GPS模块提供的信息进行整合,通过转换矩阵将姿态误差角与平台误差角统一,两者的转换矩阵为:
其中δθ、δγ、δψ分别为俯仰误差角、滚转误差角和航向姿态误差角; 分别为平台误差角;θ、γ、ψ分别为无人机载体在真实情况下的俯仰角、滚转角和航向角。
优选的,采用粒子群优化算法计算出最优的行进路径具体为:
S1、对航迹规划空间在x轴上做n等分,对应n个航迹节点坐标参数,设置算法参数,算法参数至少包括粒子群数N、最大速度Vmax、最大最小惯性权重ωmax和ωmin、加速因子c1和c2、最大迭代次数Tmax
S2、令迭代次数t=1,从约束条件出发,初始化粒子群位置矩阵,其中约束条件为粒子群位置矩阵行向量前后元素之间的约束,使其满足飞行航迹节点均在威胁区域外、航迹段与威胁区域无交点并且相邻航迹段满足最大转弯角约束;
S3、采用Griewank函数计算每个粒子的适应度值,并将每个粒子与其历史最优适应度比较,若当前粒子的适应度值大于历史最优适应度值,则更新当前粒子的位置和适应度值为历史最优;
S4、判断t>Tmax,如果是则转到S12,否则转到S5;
S5、令i=1,其中i为第i个粒子;
S6、令m=1,其中m为第m维空间;
S7、更新粒子的速度与位置,若|vim|≥|vmax|,则取|vim|=|vmax|,方向不变,其中Vim为粒子i在第m维的速度,i=1,2,…,N,m=1,2,…,n,位置更新为xim(t+1)=xim(t)+vim(t+1),其中Xim(t)表示粒子i在第m维中第t次迭代的位置,Xim(t+1)表示粒子i在第m维中第t+1次迭代的位置;
S8、m=m+1;如果m>n,转到S9;否则转到S7;
S9、i=i+1;如果i>N,转到S10;否则转到S6;
S10、检查更新后所有粒子的有效性,将无效的粒子重新进行初始化;
S11、若上次迭代与本次迭代的全局最优适应度值之差小于ε,则保留当前全局最优位置,同时重新初始化粒子群位置,并且t=t+1,返回步骤4;
S12、迭代结束,选取一条最优航迹。
优选地,所述瞄准装置能将所述引导线,弹射穿过所述滑车上的滑车穿线孔。
优选地,所述无人机***作为载体,携带所述引导线弹射***和引导线飞至高压线塔,所述视觉识别定位***能自动识别高压电线上滑车的位置,通过所述瞄准装置,所述引导线能准确地穿过滑车,完成所述引导线的展放。
优选地,所述图像处理模块采用Caffe框架的深度学习方法离线对滑车图像进行大量训练,通过摄像机采集的滑车图像进行识别,进一步提取滑车的信息,再根据摄像机和滑车标定模块的标定结果,获取滑车和无人机的相对位置信息。
优选地,所述地面监测站***采用粒子群算法完成所述无人机的路径规划。
本发明的有益效果是:本发明对现今高压架线技术存在的诸多缺点进行改进,提供了一种基于组合导航和计算计视觉的无人机电力架线***,该***提高了无人机定位精度,采用深度学习的方法提高了滑车图像信息提取的正确率,主要避免了在架线过程中对线路、农田、植被等的破坏,同时相对于人工展放又提高了工作效率,降低了施工工人的安全隐患。未来的无人机架线技术的发展方向就是不断提高无人机的载重能力、抗风能力和飞行控制能力,使无人机更加智能,作业精度更高,此发明内容具有广阔的应用前景。
附图说明
图1为本发明的总体结构示意图;
图2为本发明的GPS-SINS组合导航示意图;
图3为本发明的高压线塔示意图;
图4为本发明的粒子群优化算法示意图;
图5为本发明的双目视觉定位弹射装置工作流程图;
图6为卷积神经网络框架结构图;
图7为本发明的双目视觉定位原理示意图;以及
图8为本发明的地面站用户界面。
主要附图标记:
无人机***1;无人机2;引导线弹射***3;配重块4;引导线5;高压线塔6;滑车7;横担8;地面监测站***A;航点规划模块A1;显示模块A2;三轴加速度计B;高度计C;三轴陀螺仪D;GPS模块E;导航计算机F;双目摄像机采集模块a;摄像机和滑车标定模块b;图像处理模块c;立体矫正与立体匹配模块d;三维信息提取模块e;瞄准装置f。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-8所示,一种基于组合导航和计算机视觉的无人机电力架线***,包括无人机***1、引导线弹射***3和高压线塔6,无人机***1设有飞行控制器、无人机2、配重块4、引导线5和地面监测站***A;高压线塔6 包括六个横担8和六组高压线塔上的滑车7,滑车7上设有滑车穿线孔,每组滑车7都需要穿引导线5。
作为本发明的一种技术优化方案,无人机***1下的无人机2采用高精度 GPS—SINS组合导航***来完成无人机2到高压线塔6滑车7的导航。无人机***1下设有地面监测站***A和GPS—SINS组合导航***;地面监测站***A包括航点规划模块A1和显示模块A2,用户可以用航点规划模块A1实现无人机2的自动航迹规划和一键寻址功能,如图8显示了地面监测站***A中无人机2的航迹信息,其中H为无人机2的起始位置,1、2、3分别为无人机 2的3个航点。显示模块A2可以显示无人机2的飞行姿态和高压线塔6上滑车7的图像信息。
GPS—SINS组合导航***下设有惯性导航***SINS和GPS模块E,惯性导航***SINS下设有三轴加速度计B、三轴陀螺仪D、高度计C和导航计算机F,对三轴加速度计B采集无人机2的加速度信息,进一步可以通过导航计算机F计算出无人机2的速度信息、三轴陀螺仪D采集无人机2的角速度信息,进一步可以通过导航计算机F计算出无人机2的位姿角、高度计C可以获得无人机2的高度信息,导航计算机F将惯性导航***SINS中的无人机2姿态信息XS与GPS模块E中的无人机2位置信息XG进行整合,采用粒子群最优算法将无人机2的最终姿态Xi传给飞行控制器,同时与地面监测站***A进行通信,将位姿信息传输到显示模块A2。
作为本发明的一种技术优化方案,引导线弹射***3包括视觉识别定位***和瞄准装置f。视觉识别定位***下设有双目摄像机采集模块a、摄像机和滑车标定模块b、图像处理模块c、立体矫正与立体匹配模块d、三维信息提取模块e,实现该***相对于高压线塔6上的滑车7的位置姿态调整。瞄准装置f 可以将配重块4和引导线5,弹射穿过高压线塔6上的滑车7。
双目摄像机采集模块a负责对高压线塔6上的滑车7进行图像和视频采集、摄像机和滑车标定模块b可以标定出滑车7的大概轮廓以及滑车7在图像中的位置,图像处理模块c对采集的图像进行图像预处理、立体矫正与立体匹配模块d对滑车7和采集的图像进行对比和匹配、三维信息提取模块e对采集的滑车7图像进行三维处理,最终提取滑车7及滑车穿线孔的三维信息,为瞄准装置f提供精准的三维信息。
作为本发明的一种技术优化方案,图像处理模块c采用神经网络深度学习方法进行滑车7图像处理,来提取滑车7的信息,再根据摄像机和滑车标定模块b的标定结果,获取滑车7和无人机2的相对位置信息。
一种高精度无人机架线***,以无人机2作为载体,携带引导线弹射*** 3和引导线5,飞向高压线塔6,其引导线弹射***3自带的视觉识别***可以自动识别滑车7的位置。并通过引导线弹射***3的瞄准装置f,将引导线5 准确地穿过滑车7,完成引导线5的展放。为了更准确地抛射引导线5,一般会在引导线5前端加配重块4。配重块4约为500克,可以带动引导线5落到地面,然后由无人机2将配重块4带到下一个高压线塔6前,进行下一个高压线塔6的穿线工作。
本实施例中无人机导航的步骤如图4所示,具体为:
Step1导航计算机根据现有地图信息、无人机起始点和无人机目标点,采用粒子群航迹规划算法生成参考航迹;
Step2地面监测站***根据无人机航迹判断无人机是否已到达无人机目标点,如果是,则无人机开始执行穿线操作,如果否,则无人机继续执行步骤 Step3;
Step3按参考航迹飞行并应用双目摄像机采集模块实时探测环境信息;
Step4探测到新威胁;
Step5更新地图信息,将发现的新威胁加入到数字地图,数字地图中将火力威胁等效成为山峰威胁,考虑到威胁对于数字地图的抬高后,由距离抬高地形高程点所构成的曲面,判断为威胁;
Step6根据无人机当前位置确定新的无人机起始点;
Step7根据新的地图信息、无人机起始点和无人机目标点,导航计算机采用与Step1相同的粒子群航迹规划算法生成新的参考航迹,并返回Step2;
Step8结束导航。
无人机精确导航的关键理论为GPS—SINS组合导航,惯性导航***SINS 是一种自主式的导航方法,具备很好的短期精度和稳定性,可以给无人机2提供各种姿态角和加速度信息;全球定位***GPS导航***导航精度高,能够给无人机2提供各种坐标信息,实现无人机2的实时定位。将上述两者提供的信息整合,根据卡尔曼滤波算法进行更新,采用粒子群优化算法计算出最优的行进路径。导航的闭环算法,可以消除因时间积累而导致的路径误差,进一步提高无人机2路径的优化。
GPS—SINS组合导航***,将测量值转换为平台误差角后,再进行姿态组合。平台误差角的定义为:SINS坐标系和地理坐标系之间存在的误差角。姿态误差角定义为:真实的无人机姿态角和实际量测的无人机姿态角之间的差值。其中,无人机姿态角至少包括俯仰、滚转和航向角。姿态误差角和平台误差角本质上还存在着一个转换关系,两者的转换矩阵推导过程如下:
由于其中C为转换矩阵、p表示SINS坐标系、j表示无人机坐标系、d表示地理坐标系,为SINS坐标系到无人机坐标系的转换矩阵,为地理坐标系到无人机坐标系,为SINS坐标系与地理坐标系之间的方向余弦矩阵。即
公式一:
公式二:
式中θ,γ,ψ分别为无人机载体在真实情况下的俯仰角、滚转角和航向角;θ',γ',ψ'分别为载体测量的俯仰角、滚转角和航向角;δθ,δγ,δψ分别为俯仰误差角、滚转误差角和航向姿态误差角,它们之间有如下关系:
公式三:
公式四:
分别为平台误差角,分别以东北天为xyz坐标轴指向,在平台误差角和姿态误差角矢量为小量的前提下,可得SINS坐标系与地理坐标系之间的方向余弦矩阵式然后将公式二至公式四带入公式一,由于δθ、δγ、δψ均为较小量,可以认为cosδθ≈cosδγ≈cosδψ≈1,sinδθ≈δθ,sinδγ≈δγ, sinδψ≈δψ,忽略δθ,δγ,δψ的二阶小量得到公式五:
根据公式五可以实现姿态误差角与平台误差角之间的转换,即通过转换矩阵,姿态误差角即可与平台误差角统一,减小了姿态融合***数学模型的误差,为卡尔曼滤波器提供了更精确的滤波器主要状态。
无人机航迹规划是在三维空间中进行搜索。设(x,y,z)为规划空间某一点的地理坐标,其中x,y分别表示经度和纬度,z为表示海拔高度,则航迹规划空间可以表示为代表了一个空间区域的集合 {(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}。粒子群算法初始化为一群数量为N的随机粒子,作为随机解,在D维空间中通过重复迭代、更新自身的位置以搜索适应度值最优解。
本实施例中具体的粒子群航迹规划算法其内容如下:
S1、对航迹规划空间在x轴上做n等分(对应n个航迹节点坐标参数),设置算法参数,算法参数至少包括粒子群数N、最大速度Vmax、最大最小惯性权重ωmax和ωmin、加速因子c1和c2、最大迭代次数Tmax等;
S2、令迭代次数t=1,从约束条件出发,初始化粒子群位置矩阵,其中约束条件为粒子群位置矩阵行向量前后元素之间的约束,使其满足飞行航迹节点均在威胁区域外、航迹段与威胁区域无交点并且相邻航迹段满足最大转弯角约束;
S3、采用Griewank函数计算每个粒子的适应度值,并将每个粒子与其历史最优适应度比较,若当前粒子的适应度值大于历史最优适应度值,则更新当前粒子的位置和适应度值为历史最优;
S4、判断是否达到结束条件,如果达到结束条件,则转到S12,否则转到S5;其中结束条件一般为迭代次数t达到最大迭代次数Tmax;
S5、令i=1,其中i为第i个粒子;
S6、令m=1,其中m为第m维空间;
S7、更新粒子的速度与位置,若|vim|≥|vmax|,则取|vim|=|vmax|,方向不变,其中Vim为粒子i在第m维的速度,i=1,2,…,N,m=1,2,…,n),位置更新为xim(t+1)=xim(t)+vim(t+1),其中Xim(t)表示粒子i在第m维中第 t次迭代的位置,Xim(t+1)表示粒子i在第m维中第t+1次迭代的位置;
S8、m=m+1。如果m>n,转到S9;否则转到S7;
S9、i=i+1。如果i>N,转到S10;否则转到S6;
S10、检查更新后所有粒子的有效性,将无效的粒子重新进行初始化;
S11、若上次迭代与本次迭代的全局最优适应度值之差小于ε,则保留当前全局最优位置,同时重新初始化粒子群位置,并且t=t+1,返回步骤4;
S12、迭代结束,选取一条最优航迹。
本实施例中无人机采用GPS—SINS组合导航***与粒子群优化算法,使得无人机2可以自主规划航行路线,当到达高压线塔6附近时,我们根据滑车 7的高度来设定无人机2悬停的高度。我们知道高压线塔6一般带有六组高压线上的滑车7,滑车7位于高压线塔6两侧,通过特定的连接器与横担8两端连接,滑车7上部距离横担1.8m,3个横担8距离地面分别为17m、27m、37m,滑车7穿线孔为200mm*300mm,高压线塔6档距为200m-300m,参考图3。无人机2内部设有三轴加速度计C,用户可以从无人机***1的地面监测站***A来实时观测无人机2的高度,并根据滑车7的高度来设定无人机2的悬停高度。
当无人机2到达滑车7附近时,引导线弹射***3携带的视觉识别定位***根据神经网络深度学习方法识别出滑车7位置,并将滑车7的视频图像信息传给地面监测站。当无人机2识别出滑车7后,无人机2可以根据双目视觉定位原理将无人机2导航至滑车7前0.5m区域处,并调整姿态,使配重块4弹射装置对准滑车7。
由于无人机2姿态的不确定性,摄像机提取的滑车7图片背景图不同,则会对滑车7信息提取产生干扰误差。采用神经网络深度学习方法,不仅可以减小这种误差,而且可以提高滑车7识别的准确率。
基于神经网络的视觉识别原理,其内容如下:
根据深度学习网络的层数及各层的神经元数量,对深度网络图像特征识别效果的影响规律。本实施例中采用的神经网络总共包含8层:前5层的卷积层及后3层的全连接层。每个卷积层后紧跟ReLU线性修正单位、池化pooling 及对比度归一化Normalizatio;前两个全连接层是由内积ReLU形成,并且使用了dropout策略来提高神经网络的性能,最后一层全连接层只包含内积inner product,输出神经元个数和识别物体种类个数相同。
学习预训练的滑车7模型参数,使用卷积神经网络Caffe架构实现Imagenet 网络,Caffe框架请参考图6。图6中DB层为图像数据层,LRN层为局部响应归一化层,Softmax-loss层损失计算层,FC输出为全连接输出层。Caffe是一个卷积神经网络CNN算法框架,可以在GPU和CPU模式之间切换,并且非常高效,是目前GPU上实现速度最快的CNN。输入一般需要将数据转换成 level DB或者lmdb格式,以加快图像的读取速度。Caffe采用了模块化的架构,实现了CNN的各种类型层结构,并且提供了丰富的训练和测试接口。
通过对大规模滑车7图片学习训练,深度网络能够从图像中抽象出一系列特征基元,通过在这些基元上的映射重构,可以保留蕴含在图像里的重要特征信息。
采用Caffe大规模训练好滑车7图像后,相机能准确地判断滑车7,再根据视双目摄像机定位技术标定相机外参数,来确定相机、飞机、弹射器的与滑车7的相对位置。主要步骤是首先建立类似人的视觉***的透视投影成像模型,根据目标物在标定板中的位置确定两条分别经过两个摄像头和目标物的空间直线,由于目标物是求中值点得到的,基本两条空间直线不会相交,所以要求得两条空间直线的公垂线,把公垂线的中点作为目标点,最后求得引导线弹射***3到高压电力线上的滑车7的距离。
双目视觉定位主要应用双目视差原理,其内容如下:
人类的两只眼睛由于位置以及角度的不同导致看到同一物体时在我们的两只眼睛中的视网膜上的成像并不完全一致。这样的在左眼和右眼中看到的同一物体却在视网膜上成像出现细微差别的水平位差,就叫做双目视差或者立体视差。通过立体几何学的知识我们知道人的两只眼睛与三维空间中的一个特定物体间可以构成一个三角关系,正是这个关系可以帮助我们人类进行视觉定位,根据三维空间中同一物体在两个不同的坐标系下的位置就可以通过视察测量出目物体的三维空间位置。图7中OL,OR分别被看做左右两个摄像机的原点坐标,而I1,I2则为左右两个摄像机的成像平面。
在这种模型下算出目标点的三维坐标,可以用投影变换矩阵,最小二乘法求解。假设空间点P在左右两个摄像机成像平面上的图像坐标已经通过前面的摄像机标定以及立体匹配确定了分别为点P1(ul,vl),点P2(ur,vr)那么,由摄像机成像模型,可得:
这里Zl,Zr,Ml,Mr分别代表了左相机和右相机的投影矩阵,m代表具体数值,(x,y,z)是我们要求的得点P的三维空间坐标。经计算可推出:
可以将其转成矩阵的形式:AP=b这里:
P=[x y z]T
由最小二乘法,求解出三维空间P点的坐标:
P=(A'A)-1ATb
求出滑车7的坐标后,根据GPS定位的无人机坐标由以下公式可求解出无人机与滑车7的距离D:
其中x1,y1,z1为无人机的坐标。
本实施例具体操作流程如下:
施工人员设定无人机起始点和无人机目标点,以无人机22作为载体,携带引导线弹射***3和引导线5,飞向高压线塔6,一方面导航计算机F与地面监测站***A进行通信,将惯性导航***SINS获取的无人机2的姿态角、速度、高度等信息以及GPS模块E获取的位置信息传输到地面监测站***A中的显示模块A2。另一方面,通过采用神经网络深度学习方法和双目视觉定位原理,引导线弹射***3中的视觉识别***自动精准识别滑车7上滑车穿线孔的位置,将无人机2导航至滑车7前0.5m,通过引导线弹射***3的瞄准装置f,将前端加有配重块4的引导线5准确地穿过滑车穿线孔,完成引导线5的展放。完成引导线展放后,施工人员通过引导线5连接高压电线将高压电线穿过滑车7完成高压电线的展放。
按相同流程完成同一高压线塔6上的另外五组滑车7的穿线工作,然后由无人机2将配重块4带到下一个高压线塔6前,进行下一个高压线塔6的穿线工作。
由对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于组合导航和计算机视觉的无人机电力架线***,包括无人机***、高压线塔和引导线弹射***,其特征在于,
所述无人机***设有无人机、配重块、引导线、地面监测站***和GPS—SINS组合导航***,所述配重块和所述引导线相连,所述GPS—SINS组合导航***设有导航计算机、惯性导航***SINS和GPS模块;所述导航计算机将惯性导航***SINS和GPS模块提供的信息进行整合并设有能获得最优行进路径的最优行进路径单元;
所述高压线塔包括滑车和横担,所述滑车上设有滑车穿线孔,以及
所述引导线弹射***包括视觉识别定位***和瞄准装置,所述视觉识别定位***设有双目摄像机采集模块、滑车标定模块、图像处理模块、立体矫正与立体匹配模块和三维信息提取模块,以实现所述滑车的信息采集和无人机与滑车相对位置调整;所述双目摄像机采集模块对所述滑车进行图像采集,所述滑车标定模块对所述滑车在图像中的轮廓及位置进行标定,所述图像处理模块对采集的图像进行图像预处理,所述立体矫正与立体匹配模块对所述滑车和采集的图像进行对比和匹配,所述三维信息提取模块对采集的图像进行三维处理,并提取所述滑车及滑车穿线孔的三维信息,为所述瞄准装置提供精准的三维信息。
2.根据权利要求1所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述地面监测站***包括航点规划模块和显示模块,所述航点规划模块能实现所述无人机的自动航迹规划和一键寻址功能,所述显示模块能显示所述无人机的飞行姿态和所述滑车的图像信息。
3.根据权利要求2所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述惯性导航***SINS设有三轴加速度计、三轴陀螺仪和高度计,以获得所述无人机的加速度、角速度和高度信息;所述GPS模块能获取无人的位置信息;所述导航计算机将上述两者提供的信息进行整合,根据卡尔曼滤波算法进行更新,采用粒子群优化算法计算出最优的行进路径。
4.根据权利要求3所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述导航计算机将惯性导航***SINS和GPS模块提供的信息进行整合,通过转换矩阵将姿态误差角与平台误差角统一,两者的转换矩阵为:
其中δθ、δγ、δψ分别为俯仰误差角、滚转误差角和航向姿态误差角; 分别为平台误差角;θ、γ、ψ分别为无人机载体在真实情况下的俯仰角、滚转角和航向角。
5.根据权利要求3所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述最优行进路径单元获得最优的行进路径方法具体包括以下方法:
S1、对航迹规划空间在x轴上做n等分,对应n个航迹节点坐标参数,设置算法参数,算法参数至少包括粒子群数N、最大速度Vmax、最大最小惯性权重ωmax和ωmin、加速因子c1和c2、最大迭代次数Tmax
S2、令迭代次数t=1,从约束条件出发,初始化粒子群位置矩阵,其中约束条件为粒子群位置矩阵行向量前后元素之间的约束,使其满足飞行航迹节点均在威胁区域外、航迹段与威胁区域无交点并且相邻航迹段满足最大转弯角约束;
S3、采用Griewank函数计算每个粒子的适应度值,并将每个粒子与其历史最优适应度比较,若当前粒子的适应度值大于历史最优适应度值,则更新当前粒子的位置和适应度值为历史最优;
S4、判断t>Tmax,如果是则转到S12,否则转到S5;
S5、令i=1,其中i为第i个粒子;
S6、令m=1,其中m为第m维空间;
S7、更新粒子的速度与位置,若|vim|≥|vmax|,则取|vim|=|vmax|,方向不变,其中Vim为粒子i在第m维的速度,i=1,2,…,N,m=1,2,…,n,位置更新为xim(t+1)=xim(t)+vim(t+1),其中Xim(t)表示粒子i在第m维中第t次迭代的位置,Xim(t+1)表示粒子i在第m维中第t+1次迭代的位置;
S8、m=m+1,如果m>n,转到S9;否则转到S7;
S9、i=i+1,如果i>N,转到S10;否则转到S6;
S10、检查更新后所有粒子的有效性,将无效的粒子重新进行初始化;
S11、若上次迭代与本次迭代的全局最优适应度值之差小于ε,则保留当前全局最优位置,同时重新初始化粒子群位置,并且t=t+1,返回步骤S4;
St12、迭代结束,选定出最优航迹。
6.根据权利要求5所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述瞄准装置能将所述引导线,弹射穿过所述滑车上的滑车穿线孔。
7.根据权利要求6所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述无人机***作为载体,携带所述引导线弹射***和引导线飞至高压线塔,所述视觉识别定位***能自动识别高压电线上滑车的位置,通过所述瞄准装置,所述引导线能准确地穿过滑车,完成所述引导线的展放。
8.根据权利要求7所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述图像处理模块采用Caffe框架的深度学习方法离线对滑车图像进行大量训练,通过摄像机采集的滑车图像进行识别,进一步提取滑车的信息,再根据摄像机和滑车标定模块的标定结果,获取滑车和无人机的相对位置信息。
9.根据权利要求1所述的基于组合导航和计算机视觉的无人机电力架线***,其特征在于,所述地面监测站***采用粒子群算法完成所述无人机的路径规划。
CN201910021083.5A 2019-01-09 2019-01-09 基于组合导航和计算机视觉的无人机电力架线*** Active CN109683629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910021083.5A CN109683629B (zh) 2019-01-09 2019-01-09 基于组合导航和计算机视觉的无人机电力架线***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910021083.5A CN109683629B (zh) 2019-01-09 2019-01-09 基于组合导航和计算机视觉的无人机电力架线***

Publications (2)

Publication Number Publication Date
CN109683629A true CN109683629A (zh) 2019-04-26
CN109683629B CN109683629B (zh) 2020-08-21

Family

ID=66192903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910021083.5A Active CN109683629B (zh) 2019-01-09 2019-01-09 基于组合导航和计算机视觉的无人机电力架线***

Country Status (1)

Country Link
CN (1) CN109683629B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412551A (zh) * 2019-07-20 2019-11-05 中国船舶重工集团公司第七二四研究所 一种超视距探测目标信息跨平台交接坐标转换方法
CN110879615A (zh) * 2019-12-25 2020-03-13 上海市南电力(集团)有限公司 基于多旋翼无人机自动飞行的牵引放线***及方法
CN110986957A (zh) * 2019-12-24 2020-04-10 中国人民解放军空军工程大学 一种无人飞行器三维航迹规划方法及装置
CN111003577A (zh) * 2019-11-25 2020-04-14 国网上海市电力公司 一种融合轴编码器定位和红外传感器定位的惯性导航***
CN111310923A (zh) * 2020-01-19 2020-06-19 中国民用航空总局第二研究所 一种低空巡检飞行三维路径优化方法
CN112389653A (zh) * 2020-11-24 2021-02-23 国网江苏省电力有限公司扬州供电分公司 一种智能穿绳器
CN112498685A (zh) * 2020-11-24 2021-03-16 国网江苏省电力有限公司扬州供电分公司 一种空中辅助穿绳设备
CN112762934A (zh) * 2020-12-14 2021-05-07 浙江理工大学 下肢运动方向预测装置和方法
WO2021248636A1 (zh) * 2020-06-12 2021-12-16 东莞市普灵思智能电子有限公司 一种自动驾驶对象探测和定位***及方法
CN114727217A (zh) * 2022-03-02 2022-07-08 西北工业大学 一种基于数据链通信的低成本双领队异构无人机编队协同定位方法
WO2023217985A1 (en) * 2022-05-11 2023-11-16 Here Global B.V. System and method for supplying power to consumers in an electrical power line network

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789569A (zh) * 2010-03-19 2010-07-28 江苏省送变电公司 遥控无人直升机展放初级导引绳的施工方法
CN101833761A (zh) * 2010-04-20 2010-09-15 南京航空航天大学 基于合作目标特征线的无人机位姿估计方法
CN102064493A (zh) * 2010-11-02 2011-05-18 北京交通大学 无人驾驶直升机放线架空输电线路方法
CN104485606A (zh) * 2014-12-24 2015-04-01 国家电网公司 一种小型多轴无人机牵引绳展放***
CN105759834A (zh) * 2016-03-09 2016-07-13 中国科学院上海微***与信息技术研究所 一种主动捕获低空小型无人飞行器的***及方法
KR20160097399A (ko) * 2015-02-06 2016-08-18 주식회사 공간정보 시료채취용 무인비행시스템
WO2017024358A1 (en) * 2015-08-13 2017-02-16 Propeller Aerobotics Pty Ltd Integrated visual geo-referencing target unit and method of operation
CN106683118A (zh) * 2016-12-30 2017-05-17 北京航空航天大学 一种基于分层模型的无人机目标跟踪方法
CN107831777A (zh) * 2017-09-26 2018-03-23 中国科学院长春光学精密机械与物理研究所 一种飞行器自主避障***、方法及飞行器
WO2018089859A1 (en) * 2016-11-10 2018-05-17 CyPhy Works, Inc. Cellular communication devices and methods
CN108919838A (zh) * 2018-08-27 2018-11-30 河海大学常州校区 一种基于双目视觉的无人机输电线路自动跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789569A (zh) * 2010-03-19 2010-07-28 江苏省送变电公司 遥控无人直升机展放初级导引绳的施工方法
CN101833761A (zh) * 2010-04-20 2010-09-15 南京航空航天大学 基于合作目标特征线的无人机位姿估计方法
CN102064493A (zh) * 2010-11-02 2011-05-18 北京交通大学 无人驾驶直升机放线架空输电线路方法
CN104485606A (zh) * 2014-12-24 2015-04-01 国家电网公司 一种小型多轴无人机牵引绳展放***
KR20160097399A (ko) * 2015-02-06 2016-08-18 주식회사 공간정보 시료채취용 무인비행시스템
WO2017024358A1 (en) * 2015-08-13 2017-02-16 Propeller Aerobotics Pty Ltd Integrated visual geo-referencing target unit and method of operation
CN105759834A (zh) * 2016-03-09 2016-07-13 中国科学院上海微***与信息技术研究所 一种主动捕获低空小型无人飞行器的***及方法
WO2018089859A1 (en) * 2016-11-10 2018-05-17 CyPhy Works, Inc. Cellular communication devices and methods
CN106683118A (zh) * 2016-12-30 2017-05-17 北京航空航天大学 一种基于分层模型的无人机目标跟踪方法
CN107831777A (zh) * 2017-09-26 2018-03-23 中国科学院长春光学精密机械与物理研究所 一种飞行器自主避障***、方法及飞行器
CN108919838A (zh) * 2018-08-27 2018-11-30 河海大学常州校区 一种基于双目视觉的无人机输电线路自动跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜孝儒: "飞行姿态控制的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412551A (zh) * 2019-07-20 2019-11-05 中国船舶重工集团公司第七二四研究所 一种超视距探测目标信息跨平台交接坐标转换方法
CN110412551B (zh) * 2019-07-20 2021-02-26 中国船舶重工集团公司第七二四研究所 一种超视距探测目标信息跨平台交接坐标转换方法
CN111003577A (zh) * 2019-11-25 2020-04-14 国网上海市电力公司 一种融合轴编码器定位和红外传感器定位的惯性导航***
CN110986957A (zh) * 2019-12-24 2020-04-10 中国人民解放军空军工程大学 一种无人飞行器三维航迹规划方法及装置
CN110986957B (zh) * 2019-12-24 2023-05-12 中国人民解放军空军工程大学 一种无人飞行器三维航迹规划方法及装置
CN110879615A (zh) * 2019-12-25 2020-03-13 上海市南电力(集团)有限公司 基于多旋翼无人机自动飞行的牵引放线***及方法
CN110879615B (zh) * 2019-12-25 2023-05-30 上海市南电力(集团)有限公司 基于多旋翼无人机自动飞行的牵引放线***及方法
CN111310923B (zh) * 2020-01-19 2023-03-24 中国民用航空总局第二研究所 一种低空巡检飞行三维路径优化方法
CN111310923A (zh) * 2020-01-19 2020-06-19 中国民用航空总局第二研究所 一种低空巡检飞行三维路径优化方法
WO2021248636A1 (zh) * 2020-06-12 2021-12-16 东莞市普灵思智能电子有限公司 一种自动驾驶对象探测和定位***及方法
CN112389653B (zh) * 2020-11-24 2022-01-14 国网江苏省电力有限公司扬州供电分公司 一种智能穿绳器
CN112498685A (zh) * 2020-11-24 2021-03-16 国网江苏省电力有限公司扬州供电分公司 一种空中辅助穿绳设备
CN112389653A (zh) * 2020-11-24 2021-02-23 国网江苏省电力有限公司扬州供电分公司 一种智能穿绳器
CN112762934A (zh) * 2020-12-14 2021-05-07 浙江理工大学 下肢运动方向预测装置和方法
CN112762934B (zh) * 2020-12-14 2023-12-22 浙江理工大学 下肢运动方向预测装置和方法
CN114727217A (zh) * 2022-03-02 2022-07-08 西北工业大学 一种基于数据链通信的低成本双领队异构无人机编队协同定位方法
WO2023217985A1 (en) * 2022-05-11 2023-11-16 Here Global B.V. System and method for supplying power to consumers in an electrical power line network

Also Published As

Publication number Publication date
CN109683629B (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN109683629A (zh) 基于组合导航和计算机视觉的无人机电力架线***
CN110222581A (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110062919B (zh) 递送车辆的放下地点规划
CN103365297B (zh) 基于光流的四旋翼无人机飞行控制方法
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
CN109901580A (zh) 一种无人机与无人地面机器人协作循径避障***及其方法
Scherer et al. Flying fast and low among obstacles
CN104637370B (zh) 一种摄影测量与遥感综合教学的方法及***
Thurrowgood et al. A biologically inspired, vision‐based guidance system for automatic landing of a fixed‐wing aircraft
CN111256703A (zh) 一种多旋翼无人机巡检路径规划方法
CN106708073B (zh) 一种自主导航电力巡线故障检测的四旋翼飞行器***
CN106249755B (zh) 一种无人机自主导航***及导航方法
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
CN107608371A (zh) 城市社区环境下四旋翼自主避障无人机
CN105197252A (zh) 一种小型无人机降落方法及***
CN105446351B (zh) 一种能够锁定目标区域瞭望基于自主导航的无人飞艇***
CN110333735B (zh) 一种实现无人机水陆二次定位的***和方法
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
CN107783548B (zh) 基于多传感器信息融合技术的数据处理方法
CN107504969A (zh) 基于视觉和惯性组合的四旋翼室内导航方法
CN109283937A (zh) 一种基于无人机的植保喷施作业的方法及***
CN109164825A (zh) 一种用于多旋翼无人机的自主导航避障方法及装置
CN107390704A (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN107783119A (zh) 应用在避障***中的决策融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201123

Address after: Hebei Street West Harbor area, 066004 Hebei city of Qinhuangdao province No. 438

Patentee after: Yanshan University

Patentee after: North China Electric Power Research Institute Co.,Ltd.

Address before: 066000 No. 438 west section of Hebei Avenue, seaport District, Hebei, Qinhuangdao

Patentee before: Yanshan University

TR01 Transfer of patent right