CN113910265B - 巡检机器人智能巡检方法及*** - Google Patents
巡检机器人智能巡检方法及*** Download PDFInfo
- Publication number
- CN113910265B CN113910265B CN202111513814.1A CN202111513814A CN113910265B CN 113910265 B CN113910265 B CN 113910265B CN 202111513814 A CN202111513814 A CN 202111513814A CN 113910265 B CN113910265 B CN 113910265B
- Authority
- CN
- China
- Prior art keywords
- inspection robot
- inspection
- robot
- image
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明涉及太阳能巡检技术领域,具体涉及一种巡检机器人智能巡检方法及***。该巡检机器人智能巡检方法包括以下步骤:步骤一:全局路径规划:确定巡检机器人当前坐标点及要行进的终点坐标,计算巡检机器人从当前坐标点到终点坐标的最优路径,沿最优路径行进;步骤二:沿最优路径行进过程中对路径上的光伏进行图像采集;步骤三:对光伏图像进行空间变换处理,对变换后的图像进行分析处理,得出检测结果,提供一种巡检机器人智能巡检方法及***。
Description
技术领域
本发明涉及太阳能巡检技术领域,具体涉及一种巡检机器人智能巡检方法及***。
背景技术
目前,光伏电板的应用较为广泛,在使用过程中,需要对光伏电板进行定期的巡检,排查问题。目前的巡检方式多为人工定期巡检,其存在效率低下的问题,巡检耗时较长,往往存在人为不易察觉的问题,巡查质量不能保证。
发明内容
本发明要解决的技术问题是:克服现有技术的不足,提供一种巡检机器人智能巡检方法及***。
本发明为解决其技术问题所采用的技术方案为:巡检机器人智能巡检方法,包括以下步骤:
步骤一:全局路径规划:确定巡检机器人当前坐标点及要行进的终点坐标,计算巡检机器人从当前坐标点到终点坐标的最优路径,沿最优路径行进;
步骤二:沿最优路径行进过程中对路径上的光伏板进行图像采集,获取光伏板图像;
步骤三:对光伏板图像进行空间变换处理,对变换后的图像进行分析处理,得出检测结果。
所述步骤一中,包括以下子步骤:
1-1:确定巡检机器人当前坐标点及要行进的终点坐标,采用A*算法计算出最有效的路径,作为巡检机器人的全局路线;
1-3:沿最优路径行进。
所述步骤三包括以下子步骤:
3-1:颜色空间变换,将图像进行颜色空间变换,变换到hsv空间;
3-2:选择V分量,对V分量图像进行去噪处理;防止设备噪声干扰后续特征提取。使用总变分去噪,能够在去噪的同时保留纹理和细节;
3-3:频域中滤除光伏板规则条纹;
3-4:定位滤除纹理后的异常区域,输出检测结果。
光伏板图像有方向显著的纹理特征,其频谱图像在于纹理垂直方向初呈现显著的亮纹带。
频域中滤除光伏板规则条纹的步骤为:
所述步骤3-3包括以下子步骤:
3-3-1:将图像进行快速傅里叶变换,得到频谱和相位谱;
3-3-2:将频谱亮纹处数值用该区域两侧一定范围内的幅度谱中值来代替;
3-3-3:保持处理后的频谱相位不变,进行傅里叶逆变换。
所述步骤3-4包括以下子步骤:图像后处理过程定位除纹理后的异常区域,包括:
3-4-1:使用canny算子进行边缘检测;
3-4-2:填充图像中的空洞;
3-4-3:形态学开运算去除毛刺等干扰;
3-4-4:去除在光伏板边框线位置处的检测结果;
3-4-5:根据掩膜标定异常位置,输出检测结果。
一种应用于上述巡检机器人智能巡检方法的巡检机器人智能巡检***,包括巡检机器人,所述巡检机器人包括驱动机构驱动的两组驱动轮,巡检机器人内设置有控制器,所述巡检机器人上安装有实感追踪摄像头、里程计、CMOS传感器及惯性传感器;
所述实感追踪摄像头、里程计、CMOS传感器及惯性传感器均连接控制器;
所述控制器搭载定位***及导航***。
所述实感追踪摄像头为T265英特尔实感追踪摄像头。
所述里程计为差速轮式里程计。
与现有技术相比,本发明具有以下有益效果:
本发明提供一种巡检机器人智能巡检方法,通过定位***及导航***实现对巡检机器人所处位置的掌握及路径的规划,使得巡检机器人可以按照规划好的路径自行巡检,无需人为干预,在巡检过程中对经过的光伏电板逐一进行图像采集并进行***分析,保证了巡检的质量及全面性,提高巡检效率。
附图说明
图1是本发明巡检机器人在两个相邻时刻的位姿示意图。
图2是本发明掩膜标定示意图。
具体实施方式
下面结合附图对本发明实施例做进一步描述:
实施例1
参照图1至图2,包括以下步骤:
步骤一:全局路径规划:确定巡检机器人当前坐标点及要行进的终点坐标,计算巡检机器人从当前坐标点到终点坐标的最优路径,沿最优路径行进;
所述步骤一中,包括以下子步骤:
1-1:确定巡检机器人当前坐标点及要行进的终点坐标,采用A*(即A-STAR)算法计算出最有效的路径,作为巡检机器人的全局路线;
1-2:本地的实时规划:利用Trajectory Rollout 和Dynamic Window approaches
算法计算每个周期内巡检机器人行驶速度和角速度w,利用一些评价标准(是否撞击障
碍物、所需时间等)选取最优路径;
1-3:沿最优路径行进。
具体计算过程如下:
将两相邻时刻巡检机器人圆弧运动的旋转角度记为,是两相邻时刻巡检机器
人航向角(朝向角head)的变化量记为,巡检机器人左右轮之间的间距记为l,根据巡检
机器人实际走向将右轮比左轮多走的距离(或左轮比右轮多走的距离)记为d,巡检机器人
圆弧运动的半径记为r;
在假设已知巡检机器人行驶速度和角速度w的情况下,对巡检机器人航迹推
演的位姿进行推导。参照图1,是巡检机器人在两个相邻时刻的位姿,其中是两相邻时刻
移动机器人绕圆弧运动的角度,是两相邻时刻移动机器航向角(朝向角head)的变化量。
l是左右轮之间的间距,图1中巡检机器人是左转,d是右轮比左轮多走的距离。r是移动机器
人圆弧运动的半径。
也就是说巡检机器人航向角变化了多少角度,它就绕其运动轨迹的圆心旋转
了多少角度。例如:我们让机器人做圆周运动,从起点出发绕圆心一圈回到起点处,在这过
程中机器人累计的航向角为360度,同时它也确实绕轨迹圆心运动了360度,说明机器人航
向角变化多少度,就绕圆心旋转了多少度。由于相邻时刻时间很短,角度变化量很小,有
下面的近似公式:
机器人绕圆心运动的角速度w,也是机器人航向角变化的速度,计算公式为:
移动机器人圆弧运动的半径r计算公式为:
从公式(3)可以发现当左轮速度等于右轮速度时,半径无穷大,即直线运动。最后将公式(1)、(2)、(3)综合起来,可以得到左右轮速度和角速度之间的关系如下:
步骤二:沿最优路径行进过程中对路径上的光伏板进行图像采集,获取光伏板图像;
步骤三:对采集的光伏板图像进行空间变换处理,对变换后的图像进行分析处理,得出检测结果。所述步骤三包括以下子步骤:
3-1:颜色空间变换,将图像进行颜色空间变换,变换到hsv空间;
3-2:选择V分量,对V分量图像进行去噪处理;防止设备噪声干扰后续特征提取。使用总变分去噪,能够在去噪的同时保留纹理和细节。
3-3:频域中滤除光伏板规则条纹;
3-4:定位滤除纹理后的异常区域,输出检测结果。
光伏板图像有方向显著的纹理特征,其频谱图像在于纹理垂直方向初呈现显著的亮纹带,亮纹带对应原图中的横纵纹理。
频域中滤除光伏板规则条纹的步骤为:
所述步骤3-3包括以下子步骤:
3-3-1:将图像进行快速傅里叶变换,得到频谱和相位谱;
3-3-2:将频谱亮纹处数值用该区域两侧一定范围内的幅度谱中值来代替。
3-3-3:保持处理后的频谱相位不变,进行傅里叶逆变换。
所述步骤3-4包括以下子步骤:图像后处理过程定位除纹理后的异常区域,包括:
3-4-1:使用canny算子进行边缘检测;
3-4-2:填充图像中的空洞;
3-4-3:形态学开运算去除毛刺等干扰;
步骤3-4-3中形态学开运算即先对图片进行腐蚀处理,然后再进行膨胀处理。腐蚀是图像中的高亮部分被腐蚀掉,领域缩减,效果图拥有比原图更小的高亮区域;操作的时候表现为相邻区域用极小值代替,高亮区域减少。膨胀是对图像中的高亮部分进行膨胀,领域扩张,使得效果图拥有比原图更大的高亮区域;操作的时候表现为相邻区域用极大值代替,高亮区域增加,由此去除毛刺等的干扰。
通过开运算先腐蚀再膨胀,具有以下优点:
① 开运算能够除去孤立的小点、毛刺等,而总的位置和形状不便;
② 开运算是一个基于几何运算的滤波器;
③ 结构元素大小的不同将导致滤波效果的不同;
④ 不同的结构元素的选择导致了不同的分割,即提取出不同的特征。
3-4-4:去除在光伏板边框线位置处的检测结果;
3-4-5:根据掩膜标定异常位置,输出检测结果。
掩膜标定:用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。数字图像处理中,掩膜为二维矩阵数组,有时也用多值图像。
参照图2,以3 x 3的掩膜为例,该过程为计算系数和由掩膜覆盖区域所包含的灰度级的乘积之和。换言之,掩膜在该图像中任何一点处的响应N由下式给出:
其中,z是与掩膜系数m相关的像素的亮度,i为与掩膜系数对应的像素矩阵数。
在具体的计算过程中,掩膜会与图形中3*3的像素矩阵进行卷积并将结果赋值给像素矩阵的中间值,详细地说,以图2为例,图2中源像素中框选的3*3矩阵中的每个元素分别与掩膜(图2中卷积内核所在矩阵)中的对应元素相乘,其乘积依次相加即得到新的元素值,即图2新像素值中的-8,其具体计算步骤如图2右上角公式。
实施例2
一种应用于实施例1巡检机器人智能巡检方法的巡检机器人智能巡检***,包括巡检机器人,所述巡检机器人包括驱动机构驱动的两组驱动轮,巡检机器人内设置有控制器,所述巡检机器人上安装有实感追踪摄像头、里程计、CMOS传感器(即ComplementaryMetal-Oxide-Semiconductor)及惯性传感器;
所述实感追踪摄像头、里程计、CMOS传感器、惯性传感器均连接控制器;
所述控制器搭载导航***及定位***。
实施例1中的步骤一全局路径规划,通过定位***及导航***实现,定位***用于确定巡检机器人当前坐标点及要行进的终点坐标, 导航***用于确定巡检机器人从当前坐标点到终点坐标的最优路径,然后发送到控制器,控制器通过驱动机构控制巡检机器人沿最优路径行进。
使用过程中,首先会通过全局路径规划,计算出巡检机器人到目标位置的全局路
径。这一功能采用成熟的ASTAR最短路径算法,计算出最优最少花费的路径,作为巡检机器
人的全局路线。而本地的实时规划,则利用Trajectory Rollout 和Dynamic Window
approaches算法计算每个周期内巡检机器人应行驶速度和角度(dx,dy,dtheta
velocities),利用一些评价标准(是否撞击障碍物、所需时间等)选取最优路径。里程计分
别测量左右驱动轮的行进距离及行进时间,控制器接收采集的行进距离及行进时间,计算
出巡检机器人相应的左右驱动轮速度。巡检机器人行驶速度和角速度w实施例1中的公
式计算,公式的推导计算过程参考实施例1,。基于公知的角速度w与行进时间及角度之间的
关系,得出周期内巡检机器人应行驶的角度,从而最终选取最优路径。
实感追踪摄像头及对CMOS传感器用于对路径上的光伏进行图像采集,采集的图像进行发到到控制器中,进行实施例1中的空间变换等处理,对变换后的图像进行分析处理,得出检测结果,其具体步骤实施例1中的步骤三。
惯性传感器主要用于保证巡检机器人在行进过程中的平衡。
激光雷达(即LiDAR:Laser Radar)在开发全自动巡检机器人中变得非常受欢迎。LiDAR通常由旋转/扫描激光束组成,它们采用短光脉冲或频率调制,以毫米级精度测量到周围对象的距离。但基于光伏板上缺少上边界,无法使用小型的单线激光雷达对环境进行匹配定位,而多线激光雷达体积笨重,对光伏板所能承载的重量显然不太合适。
基于上述原因,本发明将CMOS传感器充当感知周围环境的眼睛;惯性传感器(即IMU:Inertial Measurement Unit)作为内耳来感知平衡和方向;以及一个充当大脑,将信息融合到瞬时位置和映射中的计算组件即控制器,由此实现了视觉惯性里程计(VIO:Visual-Inertial Odometry),与现有的激光雷达解决方案相比,***体积更小,成本和功耗更低,并且它们可以通过根据视觉特征来识别并重新定位其在大范围映射中的位置,从而提供了卓越的重新定位潜力。
所述实感追踪摄像头为T265英特尔实感追踪摄像头。英特尔实感追踪摄像头T265适用于需要精确位置追踪的用例,尤其是缺乏GPS服务的地方,如仓库或远程室外区域。T265的设计同时考虑了灵活的实施应用,可轻松添加至巡检机器人和无人机等小型设备。这款内向外追踪设备采用了专有的V-SLAM视觉技术(视觉惯性测距即时定位与地图构建;visual inertial odometry simultaneous localization and mapping),可在边缘执行计算任务,并为需要高精度低延迟追踪解决方案的用例提供强大的基础,如增强现实和虚拟现实,以及巡检机器人和无人机。英特尔实感追踪摄像头T265采用了Movidius Myriad 2视觉处理单元(VPU:Video Processing Unit),可直接在设备上处理追踪所需的数据。这使得T265成为一种尺寸小、功耗低的解决方案,可帮助开发者轻松利用现有的设计或自行构建需要丰富视觉智能的产品。
所述里程计为差速轮式里程计。
Claims (5)
1.一种巡检机器人智能巡检方法,其特征在于,包括以下步骤:
步骤一:全局路径规划:确定巡检机器人当前坐标点及要行进的终点坐标,计算巡检机器人从当前坐标点到终点坐标的最优路径,沿最优路径行进;所述步骤一中,包括以下子步骤:
1-1:确定巡检机器人当前坐标点及要行进的终点坐标,采用A*算法计算出最有效的路径,作为巡检机器人的全局路线;
1-2:本地的实时规划:利用Trajectory Rollout 和Dynamic Window approaches算法计算每个周期内巡检机器人行驶速度和角速度w,选取最优路径;巡检机器人行驶的速度和角速度w通过以下公式计算:
1-3:沿最优路径行进;
步骤二:沿最优路径行进过程中对路径上的光伏板进行图像采集,获取光伏板图像;
步骤三:对光伏板图像进行空间变换处理,对变换后的图像进行分析处理,得出检测结果, 所述步骤三包括以下子步骤:
3-1:颜色空间变换,将图像进行颜色空间变换,变换到hsv空间;
3-2:选择V分量,对V分量图像进行去噪处理;
3-3:频域中滤除光伏板规则条纹;所述步骤3-3包括以下子步骤:
3-3-1:将图像进行快速傅里叶变换,得到频谱和相位谱;
3-3-2:将频谱亮纹处数值用该区域两侧一定范围内的幅度谱中值来代替;
3-3-3:保持处理后的频谱相位不变,进行傅里叶逆变换;
3-4:定位滤除纹理后的异常区域,输出检测结果。
2.根据权利要求1所述的巡检机器人智能巡检方法,其特征在于,所述步骤3-4包括以下子步骤:
3-4-1:使用canny算子进行边缘检测;
3-4-2:填充图像中的空洞;
3-4-3:形态学开运算去除毛刺干扰;
3-4-4:去除在光伏板边框线位置处的检测结果;
3-4-5:根据掩膜标定异常位置,输出检测结果。
3.一种应用于权利要求1-2任意一项所述巡检机器人智能巡检方法的巡检机器人智能巡检***,包括巡检机器人,所述巡检机器人包括驱动机构驱动的两组驱动轮,巡检机器人内设置有控制器,所述巡检机器人上安装有实感追踪摄像头、里程计、CMOS传感器及惯性传感器;
所述实感追踪摄像头、里程计、CMOS传感器及惯性传感器均连接控制器;
所述控制器搭载定位***及导航***。
4.根据权利要求3所述的巡检机器人智能巡检***,其特征在于,所述实感追踪摄像头为T265英特尔实感追踪摄像头。
5.根据权利要求3所述的巡检机器人智能巡检***,其特征在于,所述里程计为差速轮式里程计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513814.1A CN113910265B (zh) | 2021-12-13 | 2021-12-13 | 巡检机器人智能巡检方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513814.1A CN113910265B (zh) | 2021-12-13 | 2021-12-13 | 巡检机器人智能巡检方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113910265A CN113910265A (zh) | 2022-01-11 |
CN113910265B true CN113910265B (zh) | 2022-03-11 |
Family
ID=79248638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111513814.1A Active CN113910265B (zh) | 2021-12-13 | 2021-12-13 | 巡检机器人智能巡检方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113910265B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402275B (zh) * | 2023-03-03 | 2023-12-15 | 河海大学 | 面向大坝智能协同巡检的无人载具动态选择方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104952066A (zh) * | 2015-05-11 | 2015-09-30 | 国网安徽省电力公司芜湖供电公司 | 基于hsv色彩空间的输电线路相位标志牌识别方法 |
CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
CN112184680A (zh) * | 2020-09-30 | 2021-01-05 | 河南耀蓝智能科技有限公司 | 一种光伏电站无人机航拍位姿调整方法、装置及终端设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101246658B1 (ko) * | 2011-03-15 | 2013-04-02 | 한국과학기술원 | 태양전지판을 이용한 탐사용 로봇 및 그 제어 방법 |
CN206287152U (zh) * | 2016-12-28 | 2017-06-30 | 国网浙江省电力公司湖州供电公司 | 一种变电站巡检机器人 |
CN107219852A (zh) * | 2017-06-27 | 2017-09-29 | 成都阿普奇科技股份有限公司 | 一种大型光伏发电站智能巡线装置及其实现方法 |
DE102017220004A1 (de) * | 2017-11-10 | 2019-05-16 | Zf Friedrichshafen Ag | Verfahren und Fahrerassistenzsystem zum Regeln der Fahrdynamik eines Fahrzeugs |
CN108151742B (zh) * | 2017-11-20 | 2021-03-16 | 北京理工华汇智能科技有限公司 | 机器人的导航控制方法及智能装置 |
CN109839118A (zh) * | 2017-11-24 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 路径规划方法、***、机器人和计算机可读存储介质 |
CN108390645A (zh) * | 2018-02-11 | 2018-08-10 | 同济大学 | 基于无人机和热成像技术的光伏板故障定位方法 |
CN108563224A (zh) * | 2018-04-04 | 2018-09-21 | 河海大学常州校区 | 一种基于ros的餐饮机器人及其使用方法 |
CN214520204U (zh) * | 2020-12-31 | 2021-10-29 | 交通运输部天津水运工程科学研究所 | 一种基于深度相机和激光雷达的港区智能巡检机器人 |
-
2021
- 2021-12-13 CN CN202111513814.1A patent/CN113910265B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104952066A (zh) * | 2015-05-11 | 2015-09-30 | 国网安徽省电力公司芜湖供电公司 | 基于hsv色彩空间的输电线路相位标志牌识别方法 |
CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
CN112184680A (zh) * | 2020-09-30 | 2021-01-05 | 河南耀蓝智能科技有限公司 | 一种光伏电站无人机航拍位姿调整方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113910265A (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220290979A1 (en) | Vehicle localization using the ground surface with an event camera | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
CN103413313B (zh) | 基于电力机器人的双目视觉导航***及方法 | |
CN107808123B (zh) | 图像可行域检测方法、电子设备、存储介质、检测*** | |
CN107421540B (zh) | 一种基于视觉的移动机器人导航方法及*** | |
CN110008893A (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
CN106599760B (zh) | 一种变电站巡检机器人行驶区域计算方法 | |
CN109584238A (zh) | 一种基于立体视觉的弓网运行状况在线检测***及方法 | |
CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
US11295521B2 (en) | Ground map generation | |
CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
CN110246082B (zh) | 一种遥感全景图像拼接方法 | |
EP3796261A1 (en) | Method and apparatus with location estimation | |
CN105606092A (zh) | 一种室内机器人定位方法及*** | |
CN113910265B (zh) | 巡检机器人智能巡检方法及*** | |
Ospina et al. | Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images | |
CN110648362A (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
Kruber et al. | Vehicle position estimation with aerial imagery from unmanned aerial vehicles | |
CN112446915A (zh) | 一种基于图像组的建图方法及装置 | |
CN113221883A (zh) | 无人机飞行导航路线实时修正方法 | |
JP2010225126A (ja) | 移動経路計画装置、移動体制御装置及び移動体 | |
CN113091693B (zh) | 一种基于图像超分辨率技术的单目视觉长程测距方法 | |
Wang et al. | Online drone-based moving target detection system in dense-obstructer environment | |
US20220221585A1 (en) | Systems and methods for monitoring lidar sensor health | |
CN111489398B (zh) | 一种成像设备标定方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |