CN109747824A - 用于烟囱内部无人机避障的装置和避障方法 - Google Patents

用于烟囱内部无人机避障的装置和避障方法 Download PDF

Info

Publication number
CN109747824A
CN109747824A CN201910033179.3A CN201910033179A CN109747824A CN 109747824 A CN109747824 A CN 109747824A CN 201910033179 A CN201910033179 A CN 201910033179A CN 109747824 A CN109747824 A CN 109747824A
Authority
CN
China
Prior art keywords
image
unmanned plane
carried out
chimney
camera model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910033179.3A
Other languages
English (en)
Other versions
CN109747824B (zh
Inventor
郑恩辉
郑书潺
陈嘉平
徐红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201910033179.3A priority Critical patent/CN109747824B/zh
Publication of CN109747824A publication Critical patent/CN109747824A/zh
Application granted granted Critical
Publication of CN109747824B publication Critical patent/CN109747824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种用于烟囱内部无人机避障的装置和避障方法。飞行器机架的四角螺旋桨下方的机臂底面固定安装有避障探测模块,每个避障探测模块包括水平布置的光源模块和相机模块,光源模块置于相机模块上方,光源模块和相机模块探头朝向相同,四个避障探测模块在飞行器机架四周布置,飞行器机架两侧相对的两个飞行器机架对称布置;光源模块提供光照,相机模块对烟囱内壁的四个方向图像进行采集,并进行运动模糊图像处理得到四周的距离,根据四个距离对无人机进行烟囱内部定位和姿态调整。本发明能够解决传统激光避障、超声波避障不稳定的技术问题,提高了准确性也大大缩减了成本,提高了飞行作业的安全性。

Description

用于烟囱内部无人机避障的装置和避障方法
技术领域
本发明属于无人机避障领域的一种无人机避障的装置和方法,特别涉及了一种用于烟囱内部无人机避障的装置和避障方法。
背景技术
近年来,四旋翼无人机凭借成本低廉、远程遥控、可垂直起降等优点,利用传统的航天技术作为支撑,以发达的通信网络作为管控,在智能机器人的技术背景下,已广泛用于航空测绘、影视拍摄、紧急救援、物流运输等民用领域。在实际工业领域中,将旋翼无人机应用于诸如大型烟囱内部进行相关作业也在积极研发中。在烟囱内部,无人机将缺失GPS信息从而难以自我定位,四周是烟囱内壁容易碰撞墙体阻碍飞行,为飞行带来严重的安全隐患。工程人员必须确保无人机在烟囱内部执行任务时能够自我保护,因此对在烟囱内部的自动避障技术的研究显得格外重要。
目前,无人机主流的避障方法有超声波避障、激光避障、雷达避障,主流的避障路线为绕过障碍物。而如何将视觉避障应用于在烟囱内部飞行的无人机,以及如何为飞行于烟囱内部的无人机设定特殊的避障路线还未出现。
发明内容
为了解决背景技术中存在的问题,本发明的目的在于提供了一种用于烟囱内部无人机避障的装置和避障方法,将小型无人机应用于烟囱领域,本发明充分利用数字化图像处理技术、无人机飞行控制技术等完成无人机在烟囱内部对烟囱内壁的避障。
本发明解决其技术问题所采取的技术方案是:
一、一种用于烟囱内部无人机避障的装置:
装置包括飞行器机架、电调、锂电池、嵌入式机载处理器、飞行控制器、PMU电源管理模块、气压计、陀螺仪以及配套的遥控器,飞行器机架上安装有电调、锂电池、飞行控制器、PMU电源管理模块、嵌入式机载处理器、气压计和陀螺仪,飞行器机架的四角延伸出机臂,每个机臂末端顶面安装有螺旋桨和无刷电机;螺旋桨下方的机臂底面固定安装有一个避障探测模块,每个避障探测模块包括水平布置的光源模块和相机模块,光源模块置于相机模块上方,光源模块和相机模块探头朝向相同,四个避障探测模块在飞行器机架四周布置,飞行器机架两侧相对的两个避障探测模块对称布置;四个无刷电机经电调和飞行控制器连接,飞行控制器输出端连接到嵌入式机载处理器,飞行控制器输入端分别与气压计、陀螺仪连接,嵌入式机载处理器和四个避障探测模块的相机模块和光源模块连接,锂电池经PMU电源管理模块与飞行控制器连接供电。
所述的锂电池置于飞行器机架的底部。
所述的飞行器机架上还安装有气压计和陀螺仪,气压计、陀螺仪连接到飞行控制器输入端。
所述的飞行器机架上还安装有嵌入式机载处理器,嵌入式机载处理器连接到飞行控制器输出端。
二、一种烟囱内部无人机自动避障方法:
采用上述装置,方法包括如下步骤:
步骤1:无人机在烟囱内部飞行过程中,由四个光源模块提供光源向烟囱内壁光照,无人机四个相机模块对烟囱内壁的四个方向图像进行采集;
步骤2:将相机模块采集到的图像实时传输到嵌入式机载处理器进行图像处理;
步骤3:嵌入式机载处理器进行运动模糊图像处理分析得到每一相机模块到烟囱内壁之间的距离,通过四个方向的相机模块的距离对无人机进行烟囱内部定位;
步骤4:嵌入式机载处理器向飞行控制器发送控制信号对无人机进行姿态调整,控制无人机飞向烟囱的中心来实现对烟囱内壁的避障效果。
所述烟囱内壁为圆筒形内壁,且所述的烟囱内壁是由砖块砌成。
所述步骤3具体为:
3.1、先对采集到的图像采用差分自相关方式处理获得模糊尺度,然后根据模糊尺度进行运动模糊处理;
当模糊尺度大于40像素时,采用倒谱图像处理方式进行图像运动模糊处理;当模糊尺度小于等于40像素时,采用频域图像处理方式进行图像运动模糊处理;两种图像处理方式均包括图像灰度化、图像二值化、图像滤波去噪、图像增强处理。
3.1a、倒谱图像处理方式具体为:
1)使用Retinex算法进行图像增强处理,能弥补光照的不足;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换生成频谱图;
4)对频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使频谱图中的低频平缓成分居中;
5)用canny算子对压缩居中后的频谱图进行边缘检测,并进行二值化;
6)将二值化后的频谱图进行从1°~180°的radon变换,找出radon变换后的矩阵中的最大值,取最大值对应的列数n,然后采用以下公式计算获得夹角θ,利用夹角θ获得运动模糊方向:
tan(θ)=tan(n-90°)×M/N
其中,θ为运动模糊方向与频谱图的x轴之间的夹角,M与N分别表示图像的横向和纵向尺寸;
运动模糊方向是指运动方向与水平方向的夹角。
3.1b、频域图像处理方式
1)使用Retinex算法进行图像增强处理,能弥补光照的不足;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换,对二维傅里叶变换取对数再平方后再进行一次反傅里叶变换得到倒频谱图;
4)对倒频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使倒频谱图中的低频平缓成分居中;
5)用Sobel算子对压缩居中后的倒频谱图进行边缘检测,并进行二值化;
6)将二值化后的倒频谱图进行从1°~180°的radon变换;
7)找出radon变换后的矩阵中的最大值,以最大值对应的列数±90°作为运动模糊方向;
本发明采用上述运动模糊处理后能够解决因为飞机不稳定拍摄产生的图像模糊而无法图像复原的问题,使得图像相比现有方式更清楚,能够后续利用维纳滤波进行图像复原。
3.2、获得运动模糊方向后,利用运动模糊方向和模糊尺度进行维纳滤波对图像进行复原;
3.3、对图像中的砖块目标物进行目标提取,获得图像中烟囱内壁的砖块的图像像素宽度P,再采用以下方式计算得到内壁到相机模块的距离:
D=(W×F)/P
其中,D为烟囱内壁到相机模块的距离,P为砖块的图像像素宽度,W是烟囱内壁的砖块实际宽度尺寸,F是相机模块的焦距;
3.4、通过四个方向的相机模块的距离判断当前时刻无人机是否处于烟囱中心,然后进行控制无人机位置使得无人机是否处于烟囱中心。
若不处于中心则判断当前时刻无人机到烟囱内壁四个方向的距离是否有任何其中一个方向的距离小于预测的安全距离:在距离小于预测的安全距离情况下,将四个方向的距离信息发送给飞控,飞控发送控制指令对无人机及时进行姿态调整,控制无人机飞向烟囱中心,完成无人机对烟囱内壁的避障;在距离不小于预测的安全距离情况下,会继续飞行。
所述避障过程即从d1≠d3,d2≠d4到d1=d3,d2=d4的转化过程,其中d1为左前方向的烟囱内壁到无人机的距离,d2为右前方向的烟囱内壁到无人机的距离,d3为左后方向的烟囱内壁到无人机的距离,d4为右后方向的烟囱内壁到无人机的距离。所述预设避障路线为无人机飞向烟囱中心。
所述步骤3.1中,采用差分自相关方式处理获得模糊尺度,具体为:采用一阶微分算子将图像进行微分处理,再用Sobel算子对图像进行二次微分,得到梯度图像,然后对梯度图像进行自相关计算并取自相关结果的平均值绘制点扩散函数鉴别曲线,通过计算零频尖峰与负尖峰的距离,得到模糊尺度。
本发明能够在人不进入烟囱内部遥控飞机的情况下,通过无人机四个机翼上的光源模块为相机模块的图像采集提供可靠光源,相机模块采集烟囱内壁图像,并传入嵌入式机载处理器中,嵌入式机载处理器对相机模块采集的图像进行图像处理得出内壁到相机的距离,并将距离传入飞控,飞控对无人机进行姿态调整实现无人机对烟囱内壁的避障控制。
本发明同时能将陀螺仪测量到的数据发送给嵌入式机载处理器,通过解算可以得到当前时刻无人机的姿态角度,将算得的姿态角与无人机与烟囱内壁的距离进行数据融合,可以补偿由于无人机飞行时由于倾斜而导致的距离误差。将距离数据传输到飞控,飞控及时对无人机进行姿态调整按照预设避障路线进行避障控制。
本发明特别地针对不同的模糊尺度采用不同的方式进行运动模糊处理,使得烟囱内壁图像更好的复原,复原后的图像更清晰,能更好地准确识别出图像中烟囱内壁的砖块对象,进而准确处理获得相机模块到烟囱内壁的距离,实现准确定位。
本发明提供了一种应用于烟囱内部的无人机自动避障方法,通过机器视觉进行无人机到障碍物的距离测量,通过设计特定的避障路线可以有效保障无人机在烟囱内部飞行作业的安全,对于无人机在烟囱内部的实际应用具有非常重要的作用,对于改善无人机的应用效果具有很好的促进作用。
与现有技术相比,本发明的有益效果在于:
现有技术的无人机避障领域尚未存在应用于烟囱内部的无人机避障相关技术,本发明是一个全新的方向,无人机能够依据图像处理得到的距离信息迅速、准确地进行烟囱内部自动避障。
本发明能够解决传统激光避障、超声波避障不稳定的技术问题,还减轻了避障所需的硬件负担,为无人机应用于烟囱内部进行相关作业带来安全保障,同时为无人机应用于矿井、隧道等打下基础。
本发明体现了无人机避障智能化的特点,提高了无人机烟囱内部避障的准确性也大大缩减了自动避障成本,此外,通过这种方式进行自动避障大大提高了无人机在烟囱内部飞行作业的安全性。
附图说明
图1为本发明具体实施采用的***结构图。
图2为本发明的模块安装图。
图3为本发明的避障路线示意图。
图4为本发明***控制流程。
图5为本发明方法逻辑框图。
图中:螺旋桨1、电调2、陀螺仪3、飞行控制器4、嵌入式机载处理器5、PMU电源管理模块6、气压计7、光源模块8、相机模块9、锂电池10、飞行器支架11、机臂12、无刷电机13。
具体实施方式
以下将参照附图,对本发明的优选实例进行详细的描述。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
如图1和图2所示,本发明具体实施包括飞行器机架11、电调2、锂电池10、嵌入式机载处理器5、飞行控制器4、PMU电源管理模块6、气压计7、陀螺仪3以及配套的遥控器,构成了四旋翼无人机;飞行器机架11上安装有电调2、锂电池10、飞行控制器4、PMU电源管理模块6、嵌入式机载处理器5、气压计7和陀螺仪3,飞行器机架11的四角延伸出机臂12,每个机臂12末端顶面安装有螺旋桨1和无刷电机13,四个螺旋桨1均连接有无刷电机13的输出轴;螺旋桨1下方的机臂12底面固定安装有一个避障探测模块,每个避障探测模块包括水平布置的光源模块8和相机模块9,即相机模块9和光源模块8安装在飞行器机架11的四个机臂12下,光源模块8置于相机模块9上方,光源模块8和相机模块9探头朝向相同,四个避障探测模块在飞行器机架11四周布置,飞行器机架11两侧相对的两个避障探测模块对称布置;四个避障探测模块分别采集拍摄不同四个方向的图像,光源模块8朝向烟囱内壁光照,相机模块9在光源模块8光照下采集图像。
四个无刷电机13经电调2和飞行控制器4连接,飞行控制器4输出端连接到嵌入式机载处理器5,飞行控制器4输入端分别与气压计7、陀螺仪3,嵌入式机载处理器5和四个避障探测模块的相机模块9和光源模块8连接,锂电池10经PMU电源管理模块6与飞行控制器4连接供电,光源模块8连接飞行控制器4得到电源。锂电池10置于飞行器机架11的底部。
飞行器机架11上还安装有气压计7和陀螺仪3和嵌入式机载处理器5,气压计7、陀螺仪3连接到飞行控制器4输入端,嵌入式机载处理器5连接到飞行控制器4输出端。嵌入式机载处理器5为具有五个串口的ARM单片机。
锂电池10为无人机的飞行以及光源模块8提供电源,气压计7用于测量小型无人机的实时高度数据,陀螺仪3用于测量小型无人机的实时姿态角,PMU电源管理模块6用于测量电源实时数据。
四旋翼无人机配套的遥控器用于操控四旋翼无人机飞行至烟囱顶端,使无人机进入烟囱内部。
相机模块9对烟囱内壁图像进行采集,光源模块8为相机模块的图像采集提供可靠光源。在光源模块8光照下,相机模块9采集烟囱内壁图像,嵌入式机载处理器5对相机模块9采集的烟囱内壁图像进行图像处理,得出四个方向下烟囱内壁到相机模块9的距离,并将四个距离信息发送入飞行控制器4;飞行控制器4对无人机进行姿态调整实现避障控制。
如图4所示,相机模块9对烟囱内壁图像进行四个方向的实时采集,采集图像所需的光线由光源模块8提供,将采集到的图像实时传输到嵌入式机载处理器5及时进行图像处理,然后分析得到四个方向上的烟囱内壁与无人机之间的距离。同时将陀螺仪3测量到的数据发送给嵌入式机载处理器5,通过解算可以得到当前时刻无人机的姿态角度,将算得的姿态角与无人机与烟囱内壁的距离进行数据融合,可以补偿由于无人机飞行时由于倾斜而导致的距离误差。利用距离信息对无人机进行烟囱内部定位,将位置误差数据传输到飞控,飞控及时对无人机进行姿态调整按照预设避障路线飞向烟囱中心进行避障控制,使无人机安全飞行通过烟囱。
如图5所示,本发明的具体实施过程如下:
对实施例的烟囱进行实地考察,其烟囱内部上直径7米,烟囱高度220米,烟囱内壁为圆筒形内壁,且烟囱内壁是由砖块砌成。飞手先用遥控器操控无人机飞行到烟囱顶端高度230米左右处,然后使无人机慢慢下降进入烟囱内部,然后切换到自动飞行模式,随即本发明的避障过程开始。
步骤1:无人机在烟囱内部飞行过程中,由四个避障探测模块的光源模块8提供光源向烟囱内壁光照,无人机四个避障探测模块的相机模块9对烟囱内壁的左前、左后、右前、右后四个方向图像进行采集;
具体实施中,相机模块9对烟囱内壁左前、左后、右前、右后四个方向的图像进行实时采集,自烟囱顶端口下方30处由于烟囱口进光量亮度无法满足相机的图像采集条件,随即光源模块开始工作,光源模块8由飞控供电然后向左前、左后、右前、右后四个方向提供光线。
步骤2:将相机模块采集到的图像实时传输到嵌入式机载处理器5进行图像处理;
步骤3:嵌入式机载处理器5进行图像处理分析得到每一相机模块到烟囱内壁之间的距离,通过四个方向的相机模块的距离对无人机进行烟囱内部定位;
具体实施中,由图像处理获得模糊尺度,根据不同的模糊尺度进行不同的运动模糊处理。
3.1、先对采集到的图像采用差分自相关方式处理获得模糊尺度,然后根据模糊尺度进行运动模糊处理;
当模糊尺度大于40像素时,采用倒谱图像处理方式进行图像运动模糊处理;当模糊尺度小于等于40像素时,采用频域图像处理方式进行图像运动模糊处理;两种图像处理方式均包括图像灰度化、图像二值化、图像滤波去噪、图像增强处理。
3.1a、倒谱图像处理方式具体为:
1)使用Retinex算法进行图像增强处理,能弥补光照的不足;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换生成频谱图;
4)对频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使频谱图中的低频平缓成分居中;
5)用canny算子对压缩居中后的频谱图进行边缘检测,并进行二值化;
6)将二值化后的频谱图进行从1°~180°的radon变换,找出radon变换后的矩阵中的最大值,取最大值对应的列数n,然后采用以下公式计算获得夹角θ,利用夹角θ获得运动模糊方向:
tan(θ)=tan(n-90°)×M/N
其中,θ为运动模糊方向与频谱图的x轴之间的夹角,M与N分别表示图像的横向和纵向尺寸;
3.1b、频域图像处理方式
1)使用Retinex算法进行图像增强处理;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换,对二维傅里叶变换取对数再平方后再进行一次反傅里叶变换得到倒频谱图;
4)对倒频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使倒频谱图中的低频平缓成分居中;
5)用Sobel算子对压缩居中后的倒频谱图进行边缘检测,并进行二值化;
6)将二值化后的倒频谱图进行从1°~180°的radon变换;
7)找出radon变换后的矩阵中的最大值,以最大值对应的列数±90°作为运动模糊方向;
3.2、获得运动模糊方向后,利用运动模糊方向和模糊尺度进行维纳滤波对图像进行复原;
3.3、嵌入式机载处理器对图像中的砖块目标物进行目标提取,获得图像中烟囱内壁的砖块的图像像素宽度P,再采用以下方式计算得到内壁到相机模块的距离:
D=(W×F)/P
其中,D为烟囱内壁到相机模块的距离,P为砖块的图像像素宽度,W是烟囱内壁的砖块实际宽度尺寸,F是相机模块的焦距。
具体实施中,同时可将陀螺仪测量到的数据发送给嵌入式机载处理器,通过解算可以得到当前时刻四旋翼无人机的姿态角度,将算得的姿态角与四旋翼无人机与烟囱内壁的距离进行数据融合,可以补偿由于四旋翼无人机飞行时由于倾斜而导致的距离误差。
步骤4:通过四个方向的相机模块的距离判断当前时刻无人机是否处于烟囱中心,然后进行控制无人机位置使得无人机是否处于烟囱中心。
如图3所示,本发明利用四个角度的距离信息d1、d2、d3、d4、为飞行于烟囱内的无人机进行定位,无人机位置O2可由d1、d2、d3、d4得到,判断当前时刻无人机是否处于烟囱中心O1。若不处于中心则判断当前时刻无人机的四个方向距离d1、d2、d3、d4是否有任何其中一个方向的距离超出预测的安全距离d,如图3(a)所示,即d1<d或者d2<d或者d3<d或者d4<d。若超过预设安全距离d则将四个方向的距离信息发送给飞控,飞控发送控制信号对无人机及时进行姿态调整,控制无人机飞向烟囱中心,如图3(b)所示,使得O1与O2重合,完成无人机对烟囱内壁的避障。其中d1为左前方向的烟囱内壁到无人机的距离,d2为右前方向的烟囱内壁到无人机的距离,d3为左后方向的烟囱内壁到无人机的距离,d4为右后方向的烟囱内壁到无人机的距离。
若不处于中心则判断当前时刻无人机的四个方向距离是否有任何其中一个方向的距离小于预测的安全距离d,d设置为2米。当四旋翼无人机靠近烟囱内壁有任何其中一个方向的距离小于2米时,机载处理器将四个方向的距离信息发送给飞控,飞控及时发送控制信号对无人机进行姿态调整,控制无人机飞向烟囱中心实现四旋翼无人机对烟囱内壁的避障。
步骤5:嵌入式机载处理器5根据定位结果向飞行控制器4发送控制信号对无人机进行姿态调整,控制无人机飞向烟囱的中心来实现对烟囱内壁的避障效果。
顺利完成对烟囱内壁的避障工作后继续飞行直到通过整个烟囱,然后返回飞出烟囱,随即切换到遥控器控制模式,由飞手进行操控。
由此可见,本发明通过相机模块对烟囱四个方向的内壁进行图像采集,在嵌入式机载处理器中应用图像处理技术得到四个方向的距离信息,以及无人机控制技术实现了在烟囱内部的无人机自动避障,不仅保证人和障碍物的安全,也保障无人机在烟囱内部飞行作业的安全。
本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种用于烟囱内部无人机避障的装置,其特征在于:还包括飞行器机架(11)、电调(2)、锂电池(10)、嵌入式机载处理器(5)、飞行控制器(4)、PMU电源管理模块(6)、气压计(7)、陀螺仪(3)以及配套的遥控器,飞行器机架(11)上安装有电调(2)、锂电池(10)、飞行控制器(4)、PMU电源管理模块(6)、嵌入式机载处理器(5)、气压计(7)和陀螺仪(3),飞行器机架(11)的四角延伸出机臂(12),每个机臂(12)末端顶面安装有螺旋桨(1)和无刷电机(13);螺旋桨(1)下方的机臂(12)底面固定安装有一个避障探测模块,每个避障探测模块包括水平布置的光源模块(8)和相机模块(9),光源模块(8)置于相机模块(9)上方,光源模块(8)和相机模块(9)探头朝向相同,四个避障探测模块在飞行器机架(11)四周布置,飞行器机架(11)两侧相对的两个避障探测模块对称布置;四个无刷电机(13)经电调(2)和飞行控制器(4)连接,飞行控制器(4)输出端连接到嵌入式机载处理器(5),飞行控制器(4)输入端分别与气压计(7)、陀螺仪(3)连接,嵌入式机载处理器(5)和四个避障探测模块的相机模块(9)和光源模块(8)连接,锂电池(10)经PMU电源管理模块(6)与飞行控制器(4)连接供电。
2.根据权利要求1所述的一种用于烟囱内部无人机避障的装置,其特征在于:所述的锂电池(10)置于飞行器机架(11)的底部。
3.根据权利要求1所述的一种烟囱内部无人机自动避障方法,其特征在于:采用权利要求1-2任一所述装置,方法包括如下步骤:
步骤1:无人机在烟囱内部飞行过程中,由四个光源模块(8)提供光源向烟囱内壁光照,无人机四个相机模块(9)对烟囱内壁的四个方向图像进行采集;
步骤2:将相机模块采集到的图像实时传输到嵌入式机载处理器(5)进行图像处理;
步骤3:嵌入式机载处理器进行运动模糊图像处理分析得到每一相机模块到烟囱内壁之间的距离,通过四个方向的相机模块的距离对无人机进行烟囱内部定位;
步骤4:嵌入式机载处理器向飞行控制器(4)发送控制信号对无人机进行姿态调整,控制无人机飞向烟囱的中心来实现对烟囱内壁的避障效果。
4.根据权利要求3所述的一种烟囱内部无人机自动避障方法,其特征在于:所述烟囱内壁为圆筒形内壁,且所述的烟囱内壁是由砖块砌成。
5.根据权利要求3所述的一种烟囱内部无人机自动避障方法,其特征在于:所述步骤3具体为:
3.1、先对采集到的图像采用差分自相关方式处理获得模糊尺度,然后根据模糊尺度进行运动模糊处理;当模糊尺度大于40像素时,采用倒谱图像处理方式进行图像运动模糊处理;当模糊尺度小于等于40像素时,采用频域图像处理方式进行图像运动模糊处理;
3.1a、倒谱图像处理方式具体为:
1)使用Retinex算法进行图像增强处理;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换生成频谱图;
4)对频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使频谱图中的低频平缓成分居中;
5)用canny算子对压缩居中后的频谱图进行边缘检测,并进行二值化;
6)将二值化后的频谱图进行从1°~180°的radon变换,找出radon变换后的矩阵中的最大值,取最大值对应的列数n,然后采用以下公式计算获得夹角θ,利用夹角θ获得运动模糊方向:
tan(θ)=tan(n-90°)×M/N
其中,θ为运动模糊方向与频谱图的x轴之间的夹角,M与N分别表示图像的横向和纵向尺寸;
3.1b、频域图像处理方式
1)使用Retinex算法进行图像增强处理;
2)对经过图像增强处理后的图像进行高斯滤波去噪;
3)对图像进行灰度化,再对灰度化后的图像进行二维傅里叶变换,对二维傅里叶变换取对数再平方后再进行一次反傅里叶变换得到倒频谱图;
4)对倒频谱图的动态范围进行压缩,对压缩后的结果进行循环移位使倒频谱图中的低频平缓成分居中;
5)用Sobel算子对压缩居中后的倒频谱图进行边缘检测,并进行二值化;
6)将二值化后的倒频谱图进行从1°~180°的radon变换;
7)找出radon变换后的矩阵中的最大值,以最大值对应的列数±90°作为运动模糊方向;
3.2、获得运动模糊方向后,利用运动模糊方向和模糊尺度进行维纳滤波对图像进行复原;
3.3、对图像中的砖块目标物进行目标提取,获得图像中烟囱内壁的砖块的图像像素宽度P,再采用以下方式计算得到内壁到相机模块的距离:
D=(W×F)/P
其中,D为烟囱内壁到相机模块的距离,P为砖块的图像像素宽度,W是烟囱内壁的砖块实际宽度尺寸,F是相机模块的焦距;
3.4、通过四个方向的相机模块的距离判断当前时刻无人机是否处于烟囱中心,然后进行控制无人机位置使得无人机是否处于烟囱中心。
6.根据权利要求5所述的一种烟囱内部无人机自动避障方法,其特征在于:所述步骤3.1中,采用差分自相关方式处理获得模糊尺度,具体为:采用一阶微分算子将图像进行微分处理,再用Sobel算子对图像进行二次微分,得到梯度图像,然后对梯度图像进行自相关计算并取自相关结果的平均值绘制点扩散函数鉴别曲线,通过计算零频尖峰与负尖峰的距离,得到模糊尺度。
CN201910033179.3A 2019-01-14 2019-01-14 用于烟囱内部无人机避障的装置和避障方法 Active CN109747824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910033179.3A CN109747824B (zh) 2019-01-14 2019-01-14 用于烟囱内部无人机避障的装置和避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910033179.3A CN109747824B (zh) 2019-01-14 2019-01-14 用于烟囱内部无人机避障的装置和避障方法

Publications (2)

Publication Number Publication Date
CN109747824A true CN109747824A (zh) 2019-05-14
CN109747824B CN109747824B (zh) 2023-08-25

Family

ID=66405525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910033179.3A Active CN109747824B (zh) 2019-01-14 2019-01-14 用于烟囱内部无人机避障的装置和避障方法

Country Status (1)

Country Link
CN (1) CN109747824B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208270A (zh) * 2019-05-31 2019-09-06 深圳空灵科技有限公司 一种无人机烟囱自动巡检方法
CN111604893A (zh) * 2020-05-19 2020-09-01 陕西科技大学 一种高层楼垃圾倾倒机器人
CN112633090A (zh) * 2020-12-11 2021-04-09 同济大学 机器人视觉的集中风***内部霉菌与积尘辨识方法及应用
CN113092499A (zh) * 2021-04-13 2021-07-09 中国计量大学 一种基于多传感器的烟囱内壁定位方法
CN113581478A (zh) * 2021-07-12 2021-11-02 贵州电网有限责任公司六盘水供电局 一种基于输变电设备的扫描无人机用避障装置
CN116503491A (zh) * 2023-06-26 2023-07-28 安徽大学 一种基于相机标定和视觉的机器狗障碍物测距和避障方法
CN117157241A (zh) * 2021-04-13 2023-12-01 三菱电机楼宇解决方案株式会社 对电梯的井道的内部进行检查的飞行体、飞行体的控制装置以及飞行体的飞行方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140003734A1 (en) * 2012-03-26 2014-01-02 Viewdle Inc. Image blur detection
JP2015037937A (ja) * 2014-09-16 2015-02-26 株式会社トプコン 飛行体の飛行制御システム
US20160189349A1 (en) * 2014-12-30 2016-06-30 Huazhong University Of Science And Technology De-noising system for romote images of ground buildings using spetrum constraints and de-noising method thereof
WO2017000875A1 (zh) * 2015-06-29 2017-01-05 优利科技有限公司 飞行器及其避障方法和***
US20180053287A1 (en) * 2015-04-20 2018-02-22 China University Of Mining And Technology Video Image Denoising and Enhancing Method and Device Based On Random Spray Retinex
CN108733064A (zh) * 2017-04-18 2018-11-02 中交遥感载荷(北京)科技有限公司 一种无人机的视觉定位避障***及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140003734A1 (en) * 2012-03-26 2014-01-02 Viewdle Inc. Image blur detection
JP2015037937A (ja) * 2014-09-16 2015-02-26 株式会社トプコン 飛行体の飛行制御システム
US20160189349A1 (en) * 2014-12-30 2016-06-30 Huazhong University Of Science And Technology De-noising system for romote images of ground buildings using spetrum constraints and de-noising method thereof
US20180053287A1 (en) * 2015-04-20 2018-02-22 China University Of Mining And Technology Video Image Denoising and Enhancing Method and Device Based On Random Spray Retinex
WO2017000875A1 (zh) * 2015-06-29 2017-01-05 优利科技有限公司 飞行器及其避障方法和***
US20180136650A1 (en) * 2015-06-29 2018-05-17 Yuneec Technology Co., Limited Aircraft and obstacle avoidance method and system thereof
CN108733064A (zh) * 2017-04-18 2018-11-02 中交遥感载荷(北京)科技有限公司 一种无人机的视觉定位避障***及其方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208270A (zh) * 2019-05-31 2019-09-06 深圳空灵科技有限公司 一种无人机烟囱自动巡检方法
CN111604893A (zh) * 2020-05-19 2020-09-01 陕西科技大学 一种高层楼垃圾倾倒机器人
CN112633090A (zh) * 2020-12-11 2021-04-09 同济大学 机器人视觉的集中风***内部霉菌与积尘辨识方法及应用
CN113092499A (zh) * 2021-04-13 2021-07-09 中国计量大学 一种基于多传感器的烟囱内壁定位方法
CN117157241A (zh) * 2021-04-13 2023-12-01 三菱电机楼宇解决方案株式会社 对电梯的井道的内部进行检查的飞行体、飞行体的控制装置以及飞行体的飞行方法
CN113581478A (zh) * 2021-07-12 2021-11-02 贵州电网有限责任公司六盘水供电局 一种基于输变电设备的扫描无人机用避障装置
CN116503491A (zh) * 2023-06-26 2023-07-28 安徽大学 一种基于相机标定和视觉的机器狗障碍物测距和避障方法

Also Published As

Publication number Publication date
CN109747824B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109747824A (zh) 用于烟囱内部无人机避障的装置和避障方法
CN103941750B (zh) 基于小型四旋翼无人机的构图装置及方法
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影***
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及***
CN106124517B (zh) 检测结构件表面裂缝的多旋翼无人机检测平台***及其用于检测结构件表面裂缝的方法
ES2730975T3 (es) Procedimiento y sistema para examinar una superficie en cuanto a defectos de material
CN106708073B (zh) 一种自主导航电力巡线故障检测的四旋翼飞行器***
WO2023279695A1 (zh) 一种基于bim和点云测量的输变电工程验收方法
CN107462217B (zh) 一种面向电力巡检任务的无人机双目视觉障碍物感知方法
CN112789672B (zh) 控制和导航***、姿态优化、映射和定位技术
CN103941746A (zh) 无人机巡检图像处理***及方法
CN114296483B (zh) 一种风力发电机不停机状态下的智能巡检方法及电子设备
CN204481394U (zh) 一种输电线路无人机视频监控***
CN109709986A (zh) 一种无人机控制***及方法
CN107390704A (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN110132226A (zh) 一种无人机巡线的距离及方位角测量***和方法
CN111244822B (zh) 一种复杂地理环境的固定翼无人机巡线方法、***和装置
WO2023272633A1 (zh) 无人机的控制方法、无人机、飞行***及存储介质
CN105551032A (zh) 一种基于视觉伺服的杆塔图像采集***及其方法
CN110988871A (zh) 一种无人机载穿墙雷达高层建筑墙体健康离线检测***及检测方法
CN109829908A (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN107464046A (zh) 一种基于无人机的地质灾害监测评估***
CN110104167A (zh) 一种采用红外热成像传感器的自动化搜救无人机***和控制方法
CN105516661B (zh) 鱼眼相机与ptz相机相结合的主从目标监控方法
CN112233270A (zh) 一种无人机自主智能绕塔巡检***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant