CN112164015A - 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 - Google Patents
单目视觉自主巡检图像采集方法、装置及电力巡检无人机 Download PDFInfo
- Publication number
- CN112164015A CN112164015A CN202011375823.4A CN202011375823A CN112164015A CN 112164015 A CN112164015 A CN 112164015A CN 202011375823 A CN202011375823 A CN 202011375823A CN 112164015 A CN112164015 A CN 112164015A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial vehicle
- unmanned aerial
- preset
- target device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013136 deep learning model Methods 0.000 claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 239000011295 pitch Substances 0.000 claims abstract description 21
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000001276 controlling effect Effects 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 19
- 230000007547 defect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 239000012212 insulator Substances 0.000 description 5
- 239000000725 suspension Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000012211 strain insulator Substances 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
- H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
- H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了单目视觉自主巡检图像采集方法、装置及电力巡检无人机。该方法包括:根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留,其中,航线内包括M个预定航点,在第i个预定航点视野内包括有Ni个目标设备;电力巡检无人机设置有云台和单目可见光相机,单目可见光相机固定设置在云台的承托面,而云台的承托面在所述云台俯仰时跟随摆动;在各预定航点停留期间,利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集与各预定航点分别对应的Ni个目标设备的高清图像,并在无人机前端进行图像质量检测。该方法提高了无人机巡检作业效率和拍摄的图像质量。
Description
技术领域
本发明属于电力线路巡检技术领域,尤其涉及单目视觉自主巡检图像采集方法、装置及电力巡检无人机。
背景技术
“十三五”期间,国家电网公司的设备规模持续增长,110(66)千伏及以上架空线路长度已超过百万公里。目前已经推广的电力线路无人机巡检,较传统的人工巡检提升了巡检效率。
目前无人机自主巡检时,预先设置基于GPS/北斗等***的导航定位坐标的拍摄航线;无人机起飞后通过比对实时导航定位坐标来判断是否到达航线上的预定位置航点;在到达航线上的预定位置航点后,相机采集杆塔上的设备图像。但是,基于普通GPS/北斗等***的导航定位时,实时导航定位坐标的准确性不足,无人机定位偏差过大导致获取的设备图像的有效性差,无效图像甚至多于有效图像。在无人机回收后,针对图像质量不符合要求的,需要进行复飞巡检,费时费力。
普通导航定位模块精度难以满足电力设备定位精准拍摄需求,RTK设备需要额外的成本,并增加无人机的负载;无人机飞到杆塔附近后由班组人员手动巡检,限制了巡检效率的进一步提升;手动控制无人机调整位置姿态,其过程时间较长,会占用有限的续航时间;存在人员误操作引起的撞线风险。综上,现有巡检方式不能适应电网运维需求。
发明内容
针对现有技术的不足,本发明提供单目视觉自主巡检图像采集方法、装置及电力巡检无人机,以改善现有电力线路巡检无人机难以实现高精度自主巡检及图像质量不高的问题。
第一方面,本发明提供一种单目视觉自主巡检图像采集方法,包括:
根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留,其中,航线内包括M个预定航点,在第i个预定航点视野内包括有Ni个目标设备,Ni为大于或等于1的整数,M为大于或等于1的整数,i为大于或等于1且小于或等于M的整数;其中,电力巡检无人机设置有云台和单目可见光相机,单目可见光相机固定设置在云台的承托面,而云台的承托面在所述云台俯仰时跟随摆动;
在各预定航点停留期间,利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集与各预定航点分别对应的Ni个目标设备的高清图像。
第二方面,本发明提供一种单目视觉自主巡检图像采集装置,包括:
轮廓识别深度学习模型模块,用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像;
对比度校正模块,用于确定全部的预定数量的高清图像梯度值,并确定梯度值最大的那帧图像为对焦正确图像;检测所述对焦正确图像的对比度;若对比度不足,则对所述对焦正确图像对进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;
单目相机视觉导航模块,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于利用单目可见光相机并结合轮廓识别深度学习模型,生成由电力巡检无人机的飞控***执行的飞控指令,以使得目标设备在预定航点视野内居中保持和/或聚焦显示;
自主巡检图像采集模块,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留;及在各预定航点停留期间,采集与各预定航点分别对应的全部目标设备的高清图像。
第三方面,本发明提供一种电力巡检无人机,包括:
云台;
单目可见光相机,其固定设置在云台的承托面,而云台的承托面在所述云台俯仰时跟随摆动;
导航定位模块;
飞控***,所述云台俯仰动作受控于所述飞控***;
执行在第一方面中说明的方法的单目视觉自主巡检图像采集装置。
本发明提供的单目视觉自主巡检图像采集方法、装置及电力巡检无人机,利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,提高了无人机巡检作业效率和拍摄的图像质量,有利于提升后续缺陷识别的效果。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为本发明优选实施方式的单目视觉自主巡检图像采集方法的流程示意图;
图2是本发明优选实施方式的单目视觉自主巡检图像采集装置的组成示意图;
图3为本发明优选实施方式的电力巡检无人机单目相机图像采集方法的流程示意图;
图4为本发明优选实施方式的从图像中定位出目标设备并编号的示意图;
图5为根据位置偏置将图4中的目标设备1调整到居中显示在图像视域内的示意图;
图6为根据标注框的面积,将图5中的目标设备1调整到聚焦显示在图像视域内的示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
以下为术语定义:
全分辨率图像:以可见光相机支持的最大分辨率来拍摄的图像;或者以显示设备支持的最大分辨率来显示的图像。
如图1所示,本发明一个实施例的单目视觉自主巡检图像采集方法,包括:
根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留,其中,航线内包括M个预定航点,在第i个预定航点视野内包括有Ni个目标设备,Ni为大于或等于1的整数,M为大于或等于1的整数,i为大于或等于1且小于或等于M的整数;其中,电力巡检无人机设置有云台和单目可见光相机,单目可见光相机固定设置在云台的承托面,而云台的承托面在云台俯仰时跟随摆动;
在各预定航点停留期间,利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集与各预定航点分别对应的Ni个目标设备的高清图像。
具体实施时,该实施例的图像采集方法,还包括:
根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机在航线内第i个预定航点悬停的步骤,步骤包括:
在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时,确定电力巡检无人机到达第i个预定航点;
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据,控制电力巡检无人机调整姿态及控制云台俯仰,以使得单目可见光相机面对预先设定的第i个预定航点视野;
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后,标识第i个预定航点全景飞控参数,并控制电力巡检无人机在第i个预定航点悬停;
其中,第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
具体实施时,该实施例的图像采集方法,还包括:
利用单目相机进行视觉导航,结合轮廓识别深度学习模型,确定第i个预定航点对应的Ni个目标设备的步骤,步骤包括:
电力巡检无人机在航线内第i个预定航点悬停时,控制电力巡检无人机保持第i个预定航点全景飞控参数;
控制可见光相机以视频模式采集预设时长的视频图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析预设时长的视频图像;
在识别出预设的Ni个目标设备后,从预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
具体实施时,该实施例的图像采集方法,还包括:
利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集第i个预定航点对应的Ni个目标设备的高清图像的步骤,步骤包括:
在基准图像中确定各目标设备对应的识别框,并对Ni个目标设备编号;
从第一个目标设备开始,依次执行单个目标设备图像采集步骤,直至采集到Ni个目标设备的高清图像为止;
单个目标设备图像采集步骤,包括:
若搭载变焦相机,确认单目可见光相机处于最小焦距状态;
控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示;
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示;
控制单目可见光相机连续获取预定数量的图像实时图像,确定全部的预定数量的实时图像的梯度值,并确定梯度值最大的那帧图像为对焦正确图像;
检测对焦正确图像的对比度;若对比度不足,则对对焦正确图像进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;若对比度足够,则确定对焦正确图像为当前目标设备的高清图像;
在当前目标设备不是第Ni个目标设备时,根据第i个预定航点全景飞控参数,控制电力巡检无人机在第i个预定航点悬停;将下一个目标设备作为当前目标设备,执行单个目标设备图像采集步骤;
在当前目标设备是第Ni个目标设备时,退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
具体实施时,该实施例的图像采集方法,控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示,包括:
确定在基准图像中,当前目标设备对应的识别框的设备中心点图像坐标;
步骤S1000:根据当前的设备中心点图像坐标与图像坐标系中心点之间的偏差,控制电力巡检无人机改变位姿或调整云台俯仰,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像,并确定图像实时图像中当前目标设备对应的识别框的设备中心点图像坐标;
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差大于预先设定的偏差阈值时,返回步骤S1000;
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差不大于预先设定的偏差阈值时,确定当前目标设备在第i个预定航点视野内居中显示,标识当前目标设备对应的局部居中飞控参数,局部居中飞控参数包括无人机位姿数据和云台俯仰数据。
该实施例图像采集方法提供的居中保持步骤,可以在阵风造成无人机位置姿态变化时,避免自主巡检拍摄的图像中丢失目标设备。具体实施时,该实施例的图像采集方法,控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示,包括:
在单目可见光相机为定焦相机时,
步骤S2000:控制电力巡检无人机靠近当前目标设备,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像,并确定图像实时图像中当前目标设备对应的识别框所占据的面积;
在识别框所占据的面积在图像实时图像中的占比小于预先设定的面积阈值时,返回步骤S2000;
在识别框所占据的面积在图像实时图像中的占比大于或不小于预先设定的面积阈值时,确定当前目标设备在第i个预定航点视野内聚焦显示,标识当前单个目标设备对应的局部聚焦飞控参数,局部聚焦飞控参数包括无人机位姿数据和云台俯仰数据;
在单目可见光相机为变焦相机时,
步骤S3000:控制单目可见光相机增加焦距,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像,并确定图像实时图像中当前目标设备对应的识别框所占据的面积;
在识别框所占据的面积在图像实时图像中的占比小于预先设定的面积阈值时,返回步骤S3000;
在识别框所占据的面积在图像实时图像中的占比大于或不小于预先设定的面积阈值时,确定当前单个目标设备在第i个预定航点视野内聚焦显示,标识当前单个目标设备对应的局部聚焦相机参数,局部聚焦相机参数包括焦距。
该实施例图像采集方法提供的聚焦步骤,可以在阵风造成无人机位置姿态变化时,避免自主巡检拍摄的图像中丢失目标设备。
具体实施时,该实施例的图像采集方法,针对第i个预定航点视野内包括的Ni个目标设备,预先训练有识别全部的Ni个目标设备的第一轮廓识别深度学习模型和识别单个目标设备的第二轮廓识别深度学习模型;
第一轮廓识别深度学习模型或第二轮廓识别深度学习模型为YOLO模型,其中,YOLO模型的特征提取子模型为MobileNetV2网络。
具体实施时,该实施例的图像采集方法,针对塔杆的分区规划航线数据包括相对于塔杆参考平面对称的M个预定航点;其中,在塔杆参考平面的每一侧,分布有M/2个预定航点。
该实施例的图像采集方法,无人机飞行、居中保持及调整聚焦时,相机工作在视频模式。视频模式时,连续拍摄分辨率较低的图片。例如1080分辨率(如1920*1080)时,视频模式下每秒拍摄30帧图像;
在变焦聚焦并进行了质量检测后,相机工作在拍照模式,拍摄高清图像,也即全分辨率图像。拍照模式时,拍摄频率较低。高清图像的分辨率较高,可以看到设备细节,占用内存较大,通常不连续拍摄;高清图像的分辨率通常为6000*4000或以上。
输电线路运维管理规定中明确定义的输电线路缺陷有近900种,需要在识别设备的基础上进一步判断设备是否存在缺陷。而线路上绝大多数设备处于正常状态,易对缺陷识别的准确性造成干扰。目前的主流深度学习网络缺陷识别模型在GB级,需要在供电充足的地面站运行来识别检测图像中设备缺陷和隐患,无法实现作业现场实时的缺陷识别。
在该实施例的图像采集方法获取到清晰完整的目标设备图像后,在地面站运行的缺陷识别***,可以从设备图像中进一步识别判断出诸如销钉缺失、导线断股散股等缺陷。
具体实施时,该实施例的图像采集方法中,分区规划航线时,将分区内的电路设备集中地规划到航点的视野内,减少了无人机巡检航线内的航点数量,增加了在单个航点内的作业密度,提升了作业效率,并提升了飞行安全性;提高了利用续航时间的效率,提升了无人机巡检速度和巡检效率。
目前无人机执行巡检航线时,需要穿过杆塔对设备进行不同角度的巡检,存在坠机或者撞线的安全风险。本发明实施例的图像采集方法仅在杆塔参考平面的两侧规划航线,降低了坠机或者撞线风险。具体实施是,在分区规划航线时,将待识别的目标设备分组及分区划分。目标设备包括:输电线路杆塔全景、塔顶地线挂点、悬垂绝缘子接地端挂点、悬垂绝缘子串整体、悬垂绝缘子带电端、耐张绝缘子接地端挂点、耐张绝缘子串整体、耐张绝缘子带电端。其中,输电线路杆塔全景展示远距离杆塔全貌。
该实施例的图像采集方法,支持成本低、重量轻的普通导航定位模块,也即不具有RTK功能的导航定位模块,其实现的实现分米级/米级三维地理坐标定位即可满足该实施例的图像采集方法的位置精度要求。
该实施例的图像采集方法利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,并关联到无人机的飞控***。
该实施例的图像采集方法,利用单目可见光相机进行视觉导航并结合轮廓识别深度学习模型,在航点附近精细调整单目可见光相机的视野,摆脱了对昂贵的RTK高精度导航定位设备的依赖,有效降低了无人机巡检***的设备成本。
该实施例的图像采集方法中,无人机的飞控***根据导航定位坐标初步定位航点;通过实时分析可见光相机图像,判断当前无人机位姿及云台俯仰的控制目标参考值,并由无人机的飞控***调整无人机的位姿及云台俯仰;通过实时分析可见光相机图像,判断可见光相机与目标设备之间距离的调整参考量,控制可见光相机变焦或由无人机的飞控***调整无人机与目标设备之间的距离;
该实施例的图像采集方法中,在确定了拍摄点之后,标记对应的无人机位姿及云台俯仰参数,在因阵风、导航信号干扰等因素造成目标丢失时,恢复无人机到预先标记的拍摄点,使得图像采集过程中目标设备始终居中或聚焦地显示在图像中央。
该实施例的图像采集方法中,实时分析可见光相机图像获取的图片质量,避免逆光拍摄造成图像质量下降。
该实施例的图像采集方法中,无人机到达预定位置后,在根据导航定位模块初步定位的基础上,利用单目可见光相机进行视觉导航并结合轮廓识别深度学习模型,在航点附近精细调整单目可见光相机的视野,使得目标设备在图像中居中显示并确保聚焦充分及对焦正确,保证了图像清晰、曝光正常。
由于基于普通导航定位模块的定位坐标对拍摄方向偏移的控制精度有限,在拍摄过程中导航定位信号受到干扰时,为避免自主巡检拍摄的图像中丢失目标设备,可以采取前述的居中保持步骤及聚焦步骤。
在存在对焦错误时,为避免图像模糊,包括:
对无人机云台实时拍摄的视频,每10帧计算一帧Tenengrad梯度值Ti,计算其max(Ti)时的相机参数,此时为正确对焦。
进一步地,在存在机身抖动时,为避免图像模糊,包括:
将相机快门曝光时间设置为1/100秒或以上,尽量从相机设置上避免曝光时间过长造成的抖动。对无人机云台实时拍摄的视频,每10帧计算一帧Tenengrad梯度值Ti,当Ti<0.5average(Ti)时,认为机身存在机械或阵风引起的抖动,暂缓执行拍摄任务,至Ti>0.9average(Ti)时,恢复拍摄任务,计算其max(Ti)时的相机参数,为正确对焦。
进一步地,在存在逆光拍摄时,为避免图像对比度异常而导致设备缺陷难以辨认,包括:
对焦正确的第i帧图像,则对灰度值直方图进行均衡化操作,设原图像逐像素灰度为f(x,y),x、y为每个像素横纵坐标值。设图像中灰度直方图其最小灰度级为A=min[f(x,y)],最大灰度级为B=max[f(x,y)],将A和B分别线性映射到0和255得到调整后的图像g(x,y),公式为:
g(x,y)=[255/(B-A)]×[f(x,y)-A];
从而保障图像对比度适中,设备表面纹理特征清晰可辨。
应该理解为,在巡检过程中,飞控***记录无人机位姿及云台俯仰等飞控参数,并标记典型位置的飞控参数,以便后续调用及保持该飞控参数。
通过控制无人机位姿及云台俯仰,保证图像采集过程中目标设备在图像中居中显示,防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
具体地,实时检测图像质量,当对焦错误时调整对焦参数,在检测到抖动时暂定任务待稳定后继续,逆光拍摄时调整对比度,当目标不在图像中心时通过微调无人机位资或云台,使目标始终居中显示。
在图像对比度合适或/且对焦最清晰时,控制相机在视频模式和拍照模式之间切换;在拍照模式时,拍摄目标设备高清图像。
具体实施时,采用图3所示的流程示意图采集杆塔设备的图像。在图4所示的目标设备1的高清图像拍摄结束后,通过预先标记的飞控参数,无人机恢复到预定航点,开始对图4所示的目标设备2拍摄高清图像。
无人机恢复到预定航点,若搭载的是变焦相机,则变焦相机恢复至最短焦距/最小焦距。在预定航点,从图像中选择下一个目标设备,也即目标设备2,依次执行居中保持步骤、聚焦显示步骤、及定焦拍摄步骤,为目标设备2拍摄高清图像。
在图4所示的目标设备2的高清图像拍摄结束后,通过预先标记的飞控参数,无人机恢复到预定航点,开始对图4所示的目标设备3拍摄高清图像。
无人机恢复到预定航点,若搭载的是变焦相机,则变焦相机恢复至最短焦距/最小焦距。
在预定航点,从图像中选择下一个目标设备,也即目标设备3,依次执行居中保持步骤、聚焦显示步骤、及定焦拍摄步骤,为目标设备3拍摄高清图像。
在获取到预定航点可拍摄的所有目标设备的高清图像后,无人机飞向巡检航线中下一个预定航点,并重复上述步骤,直至获取到巡检航线中所有预定航点位置的高清图像。
该实施例的图像采集方法及***在一个航点完成视野内多个目标设备的拍摄,提升了巡检效率。
具体地,到达预定航点后,控制相机的采集图像,若搭载变焦相机则设置为广角端最小焦距拍摄,定焦相机实时拍摄,发送到轮廓识别深度学习模型模块进行分析,包括:
从可见光相机获取全景视频并发送至轮廓识别深度学习模型模块;
利用轮廓识别深度学习模型,从压缩全景视频的全部图像中定位出至少一个目标设备;并根据各目标设备在图像中的位置,并对视野内的目标设备进行编号。
具体地,为降低图像处理压力,从全景视频中按照预先设置的抽取比例从每一组连续的S帧图像中抽取1帧图像,得到压缩全景视频;并对压缩全景视频进行分析,其中,S为正整数。优选地,每连续10帧抽取1帧。
具体地,该轮廓识别深度学习模型,采用经过轻量化改进的YOLO模型(也即YOLO深度学习网络)从图像中检测出至少一个目标设备;将YOLO深度学习网络的特征提取网络替换为MobileNetV2网络,可以使特征提取算法的计算量减少了两个数量级,因此可以运行在机载轮廓识别深度学习模型模块上。
相机拍摄的输电线路杆塔图像具有复杂多变的背景,现有的深度学习模型难以实现电力目标设备如绝缘子、导线、金具的识别。如包括有MobileNetV2模型且经过简化的YOLO模型深度学习模型,运行效率更高、***开销更低。
电力设备如绝缘子、导线、金具等目标设备具有相对明显的分段组合轮毂特征,轮廓识别深度学习模型模块运行的轻量化深度学习模型根据这些目标设备的轮毂特征训练得到,训练后的轻量化深度学习模型可准确识别出任一图像中的各目标设备的轮廓或任一高清图像中的单一设备的轮廓。
该轮廓识别深度学习模型概括了电力线路中需要拍摄的目标设备的形状特征/轮廓特征,发挥了YOLO深度学习网络的优势,避免了针对不同电压等级线路上不同型号设备分别开发识别算法,在降低开发成本的同时,提升了识别结果的一致性/鲁棒性。
具体实施时,在训练时,训练集由人工标注有各目标设备的标号、且设备轮廓清晰的图像或高清图像。训练完成后,将该轻量化深度学习模型通过FPGA移植到轮廓识别深度学习模型模块。
无人机到达预定航点悬停后,控制可见光相机采集预设时长的视频图像,利用轮廓识别深度学习模型对图像进行实时分析。
具体地,从多张图像中定位出至少一个目标设备;确定各目标设备在图像中的位置;并各目标设备进行编号。
具体地,利用识别模型分析得到的各目标设备的轮廓连线的最小外接包围盒/外接最小矩形为设备的识别框。
具体地,将识别出至少一个目标设备的图像记为Pic0,其拍摄时刻记为T0,记录T0时刻无人机位姿数据和云台俯仰数据,并将其作为航点全景飞控参数。
如图4所示,对图像Pic0内识别出的多个目标设备,根据各识别框的中心点坐标,从上至下及从左至右地在图像中顺序编号。如图4所示的图像中,包括有3个目标设备,分别为目标设备1、目标设备2和目标设备3,其中,目标设备1的中心点(x1,y1)、目标设备2的中心点(x2,y2)、目标设备3的中心点(x3,y3)的坐标值依次由小到大递增。
接下来按照编号大小,依次拍摄各设备的高清图像。
具体地,单目相机视觉导航模块实时计算图像中目标设备的识别框的中心点位置O1与中心点O2的位置偏差OZ;将位置偏差OZ反馈给无人机的飞控***;飞控***根据该位置偏差OZ调节无人机的位姿及云台俯仰,使得后续保持在该飞控参数(包括无人机的位姿及云台俯仰)时,目标设备在图像中居中显示,这时,无人机位姿及云台俯仰数据构成目标设备的局部居中飞控参数。
也即,在设备识别框的中心点位置O1与图像中心O2的位置偏差OZ足够小时,则认为目标设备在图像中居中显示。
如图5所示,该轮廓识别深度学习模型模块从图像中确定目标设备1的识别框,并确定目标设备1的识别框的中心点位置P1(xp1,yp1)与图像的中心点位置P0(x0,y0)的偏差P1-0,并将偏差P1-0反馈给无人机的飞控***,通过调节无人机位姿及云台俯仰,使得目标设备1在图像中居中显示;这时,无人机位姿数据及云台俯仰数据构成目标设备1的局部居中飞控参数。
后续通过控制无人机的飞控***恢复目标设备1的局部居中飞控参数,即可以保证目标设备在可见光相机的图像中居中显示。
具体实施时,如图5所示,以图像的左上角为原点,水平向右的方向为X轴的正向,竖直向下方向为Y轴的正向,建立图像坐标系。则其X轴方向最大值为图像的最大横向分辨率Xm,Y轴方向最大值为图像的最大纵向分辨率Ym),图像的中心点位置坐标为(X0,Y0),其中X0=Xm/2,Y0=Ym/2。
对图像中识别出的目标设备,确定其最小外接矩形包围盒作为目标设备识别框,并记录该识别框的左上顶点坐标为(X1,Y1)、其右下顶点坐标为(X2,Y2)。
则目标设备的识别框的中心点P1在图像坐标系中的坐标XP1=(X2-X1)/2+X1,YP1=(Y2-Y1)/2+Y1。
计算目标设备识别框的中心点P1与图像的中心点P0的欧式距离D;从X轴和Y轴两个方向分别进行计算,得到DX值和DY值,其中DX=XP1-X0,DY=YP1-Y0。
将DX值和DY值反馈到无人机的飞控***,由飞控***根据DX值和DY值调整无人机位姿和/或云台俯仰。例如,目标设备在图像中偏左上,则飞控***控制云台转动,使得相机的镜头向左上移动。
应该理解为,二维的图像坐标系与相机坐标系、飞控***三维坐标系及云台坐标系(以飞控坐标系为基准)之间的坐标转换采用现有技术中公开的方法,这里不再赘述。
具体实施时,单目相机视觉导航模块实时从飞控***获取无人机位姿数据和云台俯仰数据;若在目标设备图像采集过程中,检测到因瞬时风影响而导致的无人机位姿发生变化,则由飞控***控制无人机/云台应朝反方向移动,实现位置补偿,以保持相机镜头朝向不变/相机拍摄朝向方位稳定。例如,检测到无人机的偏转角较上一时刻改变了α度,则控制云台在上一时刻俯仰的基础上,针对偏转角补偿-α度,从而始终保持相机的拍摄朝向方位稳定。
具体实施时,在相机拍摄期间,周期地计算目标设备识别框的中心点P1与图像的中心点P0的欧式距离D,也即计算DX值和DY值,并重复调整无人机位姿位置/云台俯仰的步骤,直至满足|DX|≤Xm/50且|DY|≤Ym/50。
在判断目标设备在图像中居中显示之后,记录时刻T1-0时,无人机位姿数据和云台俯仰数据;将其作为局部居中飞控参数,用于后续聚焦过程中丢失目标设备时,恢复居中保持状态的对应的无人机位姿位置和云台俯仰。
以上居中保持步骤实现了该轮廓识别深度学习模型模块与无人机的飞控***实时通信,通过位置伺服控制无人机位姿及云台俯仰,保证图像采集过程中目标设备始终保持在图像居中显示,防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
以上居中保持步骤是保持设备的识别框中心点位于图像的中心。
进一步地,执行聚焦步骤,通过变焦或改变相机位置,使得目标设备的识别框在图像中占据的面积尽量大。如图6所示,目标设备1在可见光相机的采集图像中聚焦显示。这时,目标设备识别框的中心点与图像中心点之间的偏移低于阈值,且目标设备占据相机视野的百分比超过阈值。
聚焦步骤中,针对变焦相机焦距的调整步骤如下。
因为变焦相机的广角/聚焦镜片组是机械结构,无人机的飞控***控制相机从最短焦距变化到最聚焦距大约需要1至2s的时间,远大于拍照时的曝光时间1/100s。因此需要将变焦过程中轮廓识别与无人机位姿伺服及云台俯仰伺服控制结合,保证变焦过程中镜头始终锁定目标设备,防止因阵风等外界变化造成目标丢失。
具体地,若无人机搭载定焦相机,则根据目标设备识别框的中心点P1与图像的中心点P0的欧式距离控制无人机朝向拍摄目标设备飞行,使目标图像在镜头或相机的视野中逐渐变大。
同时,实时根据以曝光时间为周期获取的图像,并识别出图像中目标设备的最小外接矩形,并采用上述的居中保持步骤,确保采集过程中设备始终保持在图像中居中显示。
若采集过程中出现因大风等原因造成无人机偏离预定航点位置而导致的图像中目标设备丢失,也即,在图像中检测不到目标设备对应的识别框,则生成复位指令至无人机的飞控***,以恢复T1-0时刻局部居中飞控参数,并再次执行居中保持步骤。
当无人机飞抵合适距离/变焦相机镜头变焦至最聚焦距/或者满足X1≤0.2Xm,Y1≤0.2Ym,X2≥0.8Xm,Y2≥0.8Ym时,则确定目标设备的识别框已经占据图像中的大部分面积,则控制相机采集图像,得到针对该目标设备的至少一帧高清图像。
应该理解为,在确定目标设备的识别框已经占据图像中的大部分面积时,记录时刻T1-1时无人机位姿数据和云台俯仰数据,并将其作为局部聚焦飞控参数。后续通过控制无人机的飞控***恢复目标设备的局部聚焦飞控参数,即可以保证目标设备在可见光相机的图像中聚焦显示。
局部聚焦飞控参数也可以用于后续地面站图像处理时与无人机位姿及云台俯仰的多数据融合分析比对。
进一步地,执行图像质量检测,采集目标设备高清图像,包括:
对焦检测:完成上述变焦操作,对准目标设备后,相机对目标设备进行2s的自动对焦操作,包括:
从获取的连续2s时长的视频中每连续10帧图像中选取1帧图像,直到获取到N帧图像。
针对N帧图像,确定各帧图像的Tenengrad梯度值Ti;
记录相机像距即镜头到感光元件cmos的距离vi;
确定全部的图像中Tenengrad梯度值最大的那帧图像为对焦正确图像。
并设置拍摄时刻相机的像距参数为vi。
进一步地,对对焦正确图像进行对比度检测,包括:
对对焦正确的第i帧图像,计算其灰度直方图;若其灰度直方图存在超出预先设定阈值百分比的波峰和/或波谷,则对灰度值直方图进行均衡化操作,并计算其正确曝光时间及曝光补偿参数,以保障图像的对比度适中,从而保证拍摄的目标设备的表面纹理特征清晰可辨。
进一步地,对对焦正确图像进行对比度检测,包括:
对比度检测,对图像进行均衡化操作,保证图像灰度信息均衡分布,防止因逆光拍摄产生的对比度异常或背光设备图像的细节不清楚。
将以上像距参数、正确曝光时间及曝光补偿参数组合记录为针对该目标设备的局部图像采集参数。
进一步地,控制相机退出视频模式,并采用以上局部图像采集参数进入图像拍摄模式,以相机最大分辨率拍摄jpg格式图像或其他压缩格式的图像,并记录图像。
应该理解为,飞控***记录无人机在拍摄T1A时刻的位置姿态和云台俯仰。
在获取到第一个目标设备的高清图像后,相机退出图像拍摄模式,启动视频模式;控制可见光相机恢复至最短焦距,也即广角端,恢复至最大视野;飞控***调整无人机位置姿态及云台俯仰,使无人机恢复到全景飞控参数,拍摄图像。
前端装置调用轻量化深度学习模型,识别Pic0A中的多个目标设备并按照在图像中的位置从上到下、自左向右对目标设备进行编号;
具体地,读取每个目标设备的中心点坐标PAi(XApi,YApi);
通过最小欧式距离完成Pic0与Pic0A中各设备中心点的对应,确认拍摄编号为2的目标设备,避免顺序混乱和重复拍摄。
重复上述的居中保持步骤和变焦步骤,完成编号2设备的高清图像采集与对比度检测。
重复以上步骤,直到完成本航点视野内所有目标设备的图像采集与对比度检测。
在一个航点完成视野内多个目标设备的拍摄,降低航线规划的难度和规划工作量;避免了飞行航线过程中的能量损耗,避免了在导航定位精度有限的条件下对多个航点寻找悬停点消耗的时间,提升巡检效率。
该无人机巡检过程将图像及拍摄时刻的位置信息发送至地面站精确识别,包括:在无人机巡检过程中向地面站发送图像,在地面站端处理,实现了缺陷的现场准实时识别。
地面站可以运行主流操作***,适配大功率GPU硬件,从而节约了设置在无人机上的FPGA开发***的移植成本,避免了无人机前端识别性能及功耗限制,提升了缺陷识别的准确性。
将图像缺陷识别结果与图像拍摄位置信息、线路台账信息相关联,可以直接定位到缺陷在线路上的具***置,例如xx线路左相大号侧耐张绝缘子带电端xx缺陷,并通过程序直接生成巡检报告;若现场具备网络通信条件,可实现巡检结果的直接上报。
该实施例结合视觉导航和目标识别实现的图像采集方法,支持分区规划航点,简化了无人机航线规划过程。如在某线塔的两侧分别设置4个航点。对其左相,小号侧上下为航点1A和航点3A,大号侧上下为航点2A和航点4A。其右相类似,设置有4个航点1B、2B、3B和4B。
如图2所示,本发明一个实施例的单目视觉自主巡检图像采集装置,设置在巡检无人机上,为其前端装置之一,包括:
轮廓识别深度学习模型模块10,用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像;
对比度校正模块20,用于确定全部的预定数量的高清图像梯度值,并确定梯度值最大的那帧图像为对焦正确图像;检测对焦正确图像的对比度;若对比度不足,则对对焦正确图像对进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;
单目相机视觉导航模块30,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于利用单目可见光相机并结合轮廓识别深度学习模型,生成由电力巡检无人机的飞控***执行的飞控指令,以使得目标设备在预定航点视野内居中保持和/或聚焦显示;
自主巡检图像采集模块40,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留;及在各预定航点停留期间,采集与各预定航点分别对应的全部目标设备的高清图像。
具体实施时,所述自主巡检图像采集模块,用于在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时,确定电力巡检无人机到达第i个预定航点;
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据,控制电力巡检无人机调整姿态及控制云台俯仰,以使得单目可见光相机面对预先设定的第i个预定航点视野;
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后,标识第i个预定航点全景飞控参数,并控制电力巡检无人机在第i个预定航点悬停;
其中,第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
具体实施时,所述自主巡检图像采集模块,用于:
在电力巡检无人机在航线内第i个预定航点悬停时,控制电力巡检无人机保持第i个预定航点全景飞控参数;
控制可见光相机以视频模式采集预设时长的视频图像;
所述单目相机视觉导航模块,用于:
利用第i个预定航点对应的轮廓识别深度学习模型分析所述预设时长的视频图像;
在识别出预设的Ni个目标设备后,从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
具体实施时,所述单目相机视觉导航模块,还用于:
在所述基准图像中确定各目标设备对应的识别框,并对Ni个目标设备编号;
所述自主巡检图像采集模块,还用于:
与单目相机视觉导航模块协作,从第一个目标设备开始,依次执行单个目标设备图像采集步骤,直至采集到Ni个目标设备的高清图像为止;
所述单个目标设备图像采集步骤,包括:
若搭载变焦相机,确认单目可见光相机处于最小焦距状态;
控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示;
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示;
控制单目可见光相机连续获取预定数量的图像实时图像,确定全部的预定数量的实时图像的梯度值,并确定梯度值最大的那帧图像为对焦正确图像;
检测所述对焦正确图像的对比度;若对比度不足,则对所述对焦正确图像对进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;若对比度足够,则确定所述对焦正确图像为当前目标设备的高清图像;
在当前目标设备不是第Ni个目标设备时,根据第i个预定航点全景飞控参数,控制电力巡检无人机在第i个预定航点悬停;将下一个目标设备作为当前目标设备,执行单个目标设备图像采集步骤;
在当前目标设备是第Ni个目标设备时,退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
具体实施时,轮廓识别深度学习模型模块通过FPGA实现轮廓识别深度学习模型。该轮廓识别深度学习模型根据预先获取的目标设备图像进行学习网络设计设计及训练后生成的,具有根据输入的图像,识别出单张图像中包括的多个目标设备或识别出单张图像中包括的唯一一个目标设备的功能。
该实施例的单目视觉自主巡检图像采集装置,可以采用 FPGA技术实现轮廓识别深度学习模型模块,其还包括标准电源、通信模块等,巡检时安装于无人机本体。其中,通信模块用于在巡检时,与无人机的飞控***通信。
具体实施时,该实施例图像采集装置采用USB TYPE-C接口与无人机的飞控***进行数据通信。该USB TYPE-C接口的电压范围为4.4V~5.25V,驱动电流不小于800mA,支持OTG或USB3.0及以上版本通信协议。
该实施例的图像采集装置的重量可以控制在100g以内,可搭载于尺寸小于0.3m*0.3m、起飞重量在500g以下的轻小型无人机上,减轻了无人机荷载,降低了硬件成本,并可大幅提升无人机巡检效率。
该实施例的图像采集装置的成本可控制在万元以下,可以在国网公司一线运维班组大规模采购应用;可充分利用现有的无人机平台;远期为每个班组配备1套搭载有前端分析模块的无人机;进一步地,可以推广到石油、铁路等相关行业的管路线路巡检,市场前景广阔。
该实施例的图像采集装置与无人机的飞控***的数据通信内容包括:无人机的位置数据(包括GPS/北斗等导航***生成的三维坐标)、无人机动作、载荷动作、图像采集时刻、无人机位姿数据包括IMU三轴参数(包括偏转角、俯仰角、翻滚角)、三轴云台的俯仰数据(包括偏转角、俯仰角、翻滚角)、毫秒级精确时钟等。
具体实施时,本发明实施例的电力巡检无人机,包括:云台;单目可见光相机,其固定设置在云台的承托面,而云台的承托面在云台俯仰时跟随摆动;导航定位模块;飞控***,云台俯仰动作受控于飞控***;执行前述图像采集方法的单目视觉自主巡检图像采集装置。
该实施例的单目视觉自主巡检图像采集装置运行深度学习模型,从相机图像中定位出目标设备的位置,并对视野内的设备进行编号。
具体实施时,单目相机视觉导航模块计算图像中设备区域中心点位置与中心点位置偏差,反馈给无人机飞控,调节无人机及云台,使图像采集过程中,目标设备在图像中居中显示,飞控全程记录无人机及云台各项参数。
具体实施时,单目相机视觉导航模块与无人机飞控通信,通过调整无人机位姿及云台俯仰,保证采集过程中目标设备始终保持居中显示,防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
具体实施时,对比度校正模块执行图像质量检测,保证采集到的图像质量,控制相机退出视频模式,进入拍照模式,拍摄全分辨率图像并记录到SD卡中。
具体实施时,自主巡检图像采集模块恢复无人机拍摄位置及云台俯仰,若搭载变焦相机则恢复至最短焦距,单目相机视觉导航模块再次识别定位出目标设备位置,与上一次图像中各设备进行比对,识别出下一个编号的目标设备,依次变焦拍摄预定航点位置视野内的所有目标设备高清图像。
综上,本发明实施例的图像采集方法及装置可简化无人机航线规划过程,保障无人机自主巡检图像的质量。在无人机有限的续航时间内,通过线路两侧的少数航点逐关键位置拍摄高清图像,避免了飞行航线过程中的能量损耗,避免了在导航定位精度有限的条件下,无人机在多个航点中寻找悬停点消耗的时间,避免了穿线引起的撞线风险,提升无人机巡检效率。
在地面站识别图像中的设备缺陷,避免了无人机前端的和功耗等问题,解决了现有的巡检工作流中,需要回收无人机导出图像,手动归档照片作业的模式造成的效率低下的问题,进一步提升了巡检工作效率,实现现场准实时识别设备缺陷。同时可以避免巡检无人机对昂贵的RTK高精度导航定位设备的依赖,消费级无人机搭载前端分析模块后即可使用,大幅节约设备成本。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个//该[装置、组件等]”都被开放地解释为装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (13)
1.一种单目视觉自主巡检图像采集方法,包括:
根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留,其中,航线内包括M个预定航点,在第i个预定航点视野内包括有Ni个目标设备,Ni为大于或等于1的整数,M为大于或等于1的整数,i为大于或等于1且小于或等于M的整数;其中,电力巡检无人机设置有云台和单目可见光相机,单目可见光相机固定设置在云台的承托面,而云台的承托面在所述云台俯仰时跟随摆动;
在各预定航点停留期间,利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集与各预定航点分别对应的Ni个目标设备的高清图像。
2.根据权利要求1所述的方法,还包括:
根据预先获取的分区规划航线数据,及从导航定位模块获取的实时位置数据,控制电力巡检无人机在航线内第i个预定航点悬停的步骤,所述步骤包括:
在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时,确定电力巡检无人机到达第i个预定航点;
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据,控制电力巡检无人机调整姿态及控制云台俯仰,以使得单目可见光相机面对预先设定的第i个预定航点视野;
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后,标识第i个预定航点全景飞控参数,并控制电力巡检无人机在第i个预定航点悬停;
其中,第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
3.根据权利要求2所述的方法,还包括:
利用单目相机进行视觉导航,结合轮廓识别深度学习模型,确定第i个预定航点对应的Ni个目标设备的步骤,所述步骤包括:
电力巡检无人机在航线内第i个预定航点悬停时,控制电力巡检无人机保持第i个预定航点全景飞控参数;
控制可见光相机以视频模式采集预设时长的视频图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析所述预设时长的视频图像;
在识别出预设的Ni个目标设备后,从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
4.根据权利要求3所述的方法,还包括:
利用单目可见光相机进行视觉导航,结合轮廓识别深度学习模型,采集第i个预定航点对应的Ni个目标设备的高清图像的步骤,所述步骤包括:
在所述基准图像中确定各目标设备对应的识别框,并对Ni个目标设备编号;
从第一个目标设备开始,依次执行单个目标设备图像采集步骤,直至采集到Ni个目标设备的高清图像为止;
所述单个目标设备图像采集步骤,包括:
若搭载变焦相机,确认单目可见光相机处于最小焦距状态;
控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示;
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示;
控制单目可见光相机连续获取预定数量的图像实时图像,确定全部的预定数量的实时图像的梯度值,并确定梯度值最大的那帧图像为对焦正确图像;
检测所述对焦正确图像的对比度;若对比度不足,则对所述对焦正确图像进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;若对比度足够,则确定所述对焦正确图像为当前目标设备的高清图像;
在当前目标设备不是第Ni个目标设备时,根据第i个预定航点全景飞控参数,控制电力巡检无人机在第i个预定航点悬停;将下一个目标设备作为当前目标设备,执行单个目标设备图像采集步骤;
在当前目标设备是第Ni个目标设备时,退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
5.根据权利要求4所述的方法,
所述控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示,包括:
确定在所述基准图像中,当前目标设备对应的识别框的设备中心点图像坐标;
步骤S1000:根据当前的设备中心点图像坐标与图像坐标系中心点之间的偏差,控制电力巡检无人机改变位姿或调整云台俯仰,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析所述图像实时图像,并确定所述图像实时图像中当前目标设备对应的识别框的设备中心点图像坐标;
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差大于预先设定的偏差阈值时,返回步骤S1000;
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差不大于预先设定的偏差阈值时,确定当前目标设备在第i个预定航点视野内居中显示,标识当前目标设备对应的局部居中飞控参数,所述局部居中飞控参数包括无人机位姿数据和云台俯仰数据。
6.根据权利要求5所述的方法,
所述控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示,包括:
在单目可见光相机为定焦相机时,
步骤S2000:控制电力巡检无人机靠近当前目标设备,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析所述图像实时图像,并确定所述图像实时图像中当前目标设备对应的识别框所占据的面积;
在识别框所占据的面积在所述图像实时图像中的占比小于预先设定的面积阈值时,返回步骤S2000;
在识别框所占据的面积在所述图像实时图像中的占比大于或不小于预先设定的面积阈值时,确定当前目标设备在第i个预定航点视野内聚焦显示,标识当前单个目标设备对应的局部聚焦飞控参数,所述局部聚焦飞控参数包括无人机位姿数据和云台俯仰数据;
在单目可见光相机为变焦相机时,
步骤S3000:控制单目可见光相机增加焦距,并控制单目可见光相机获取图像实时图像;
利用第i个预定航点对应的轮廓识别深度学习模型分析所述图像实时图像,并确定所述图像实时图像中当前目标设备对应的识别框所占据的面积;
在识别框所占据的面积在所述图像实时图像中的占比小于预先设定的面积阈值时,返回步骤S3000;
在识别框所占据的面积在所述图像实时图像中的占比大于或不小于预先设定的面积阈值时,确定当前单个目标设备在第i个预定航点视野内聚焦显示,标识当前单个目标设备对应的局部聚焦相机参数,所述局部聚焦相机参数包括焦距。
7.根据权利要求1所述的方法,
针对第i个预定航点视野内包括的Ni个目标设备,预先训练有识别全部的Ni个目标设备的第一轮廓识别深度学习模型和识别单个目标设备的第二轮廓识别深度学习模型;
所述第一轮廓识别深度学习模型或所述第二轮廓识别深度学习模型为YOLO模型,其中,YOLO模型的特征提取子模型为MobileNetV2网络。
8.根据权利要求1所述的方法,
针对塔杆的分区规划航线数据包括相对于塔杆参考平面对称的M个预定航点;其中,在塔杆参考平面的每一侧,分布有M/2个预定航点。
9.一种单目视觉自主巡检图像采集装置,包括:
轮廓识别深度学习模型模块,用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像;
对比度校正模块,用于确定全部的预定数量实时图像的梯度值,并确定梯度值最大的那帧图像为对焦正确图像;检测所述对焦正确图像的对比度;若对比度不足,则对所述对焦正确图像对进行灰度值直方图均衡化操作,得到当前目标设备高清图像;
单目相机视觉导航模块,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于利用单目可见光相机并结合轮廓识别深度学习模型,生成由电力巡检无人机的飞控***执行的飞控指令,以使得目标设备在预定航点视野内居中保持和/或聚焦显示;
自主巡检图像采集模块,与电力巡检无人机的飞控***及轮廓识别深度学习模型模块连接,用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据,控制电力巡检无人机依次在航线内各预定航点停留;及在各预定航点停留期间,采集与各预定航点分别对应的全部目标设备的高清图像。
10.根据权利要求9所述的装置,
所述自主巡检图像采集模块,用于在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时,确定电力巡检无人机到达第i个预定航点;
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据,控制电力巡检无人机调整姿态及控制云台俯仰,以使得单目可见光相机面对预先设定的第i个预定航点视野;
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后,标识第i个预定航点全景飞控参数,并控制电力巡检无人机在第i个预定航点悬停;
其中,第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
11.根据权利要求10所述的装置,
所述自主巡检图像采集模块,用于:
在电力巡检无人机在航线内第i个预定航点悬停时,控制电力巡检无人机保持第i个预定航点全景飞控参数;
控制可见光相机以视频模式采集预设时长的视频图像;
所述单目相机视觉导航模块,用于:
利用第i个预定航点对应的轮廓识别深度学习模型分析所述预设时长的视频图像;
在识别出预设的Ni个目标设备后,从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
12.根据权利要求11所述的装置,
所述单目相机视觉导航模块,还用于:
在所述基准图像中确定各目标设备对应的识别框,并对Ni个目标设备编号;
所述自主巡检图像采集模块,还用于:
与单目相机视觉导航模块协作,从第一个目标设备开始,依次执行单个目标设备图像采集步骤,直至采集到Ni个目标设备的高清图像为止;
所述单个目标设备图像采集步骤,包括:
若搭载变焦相机,确认单目可见光相机处于最小焦距状态;
控制电力巡检无人机改变位姿和/或调整云台俯仰,直到当前目标设备在第i个预定航点视野内居中显示;
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距,直到当前目标设备在第i个预定航点视野内聚焦显示;
控制单目可见光相机连续获取预定数量的图像实时图像,确定全部的预定数量的实时图像的梯度值,并确定梯度值最大的那帧图像为对焦正确图像;
检测所述对焦正确图像的对比度;若对比度不足,则对所述对焦正确图像对进行灰度值直方图均衡化操作,得到当前目标设备的高清图像;若对比度足够,则确定所述对焦正确图像为当前目标设备的高清图像;
在当前目标设备不是第Ni个目标设备时,根据第i个预定航点全景飞控参数,控制电力巡检无人机在第i个预定航点悬停;将下一个目标设备作为当前目标设备,执行单个目标设备图像采集步骤;
在当前目标设备是第Ni个目标设备时,退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
13.一种电力巡检无人机,包括:
云台;
单目可见光相机,其固定设置在云台的承托面,而云台的承托面在所述云台俯仰时跟随摆动;
导航定位模块;
飞控***,所述云台俯仰动作受控于所述飞控***;
执行如权利要求1至8任一项所述的方法的单目视觉自主巡检图像采集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375823.4A CN112164015B (zh) | 2020-11-30 | 2020-11-30 | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375823.4A CN112164015B (zh) | 2020-11-30 | 2020-11-30 | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112164015A true CN112164015A (zh) | 2021-01-01 |
CN112164015B CN112164015B (zh) | 2021-04-23 |
Family
ID=73865916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011375823.4A Active CN112164015B (zh) | 2020-11-30 | 2020-11-30 | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112164015B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112947519A (zh) * | 2021-02-05 | 2021-06-11 | 北京御航智能科技有限公司 | 一种无人机的巡检方法、装置及边缘计算模块 |
CN113093783A (zh) * | 2021-02-23 | 2021-07-09 | 广东工贸职业技术学院 | 一种无人机的拍摄控制方法及装置 |
CN113428374A (zh) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | 桥梁结构检测数据收集方法和无人机*** |
CN113485417A (zh) * | 2021-06-30 | 2021-10-08 | 杭州天巡者科技有限公司 | Vba无人机的自主电力巡检***、方法、装置及电子设备 |
CN113643295A (zh) * | 2021-10-14 | 2021-11-12 | 武汉精立电子技术有限公司 | Micro-LED屏幕检测方法及相关设备 |
CN113867405A (zh) * | 2021-11-09 | 2021-12-31 | 广东电网有限责任公司江门供电局 | 一种基于5g网络回传的输电线路无人机巡检方法及*** |
CN113870228A (zh) * | 2021-09-29 | 2021-12-31 | 上海建工四建集团有限公司 | 一种塔吊表面氧化损伤识别、定位及损伤面积统计方法 |
CN114430462A (zh) * | 2022-04-07 | 2022-05-03 | 北京御航智能科技有限公司 | 无人机自主拍照参数调整方法、装置、设备及存储介质 |
CN114677777A (zh) * | 2022-03-16 | 2022-06-28 | 中车唐山机车车辆有限公司 | 设备巡检方法、巡检***及终端设备 |
CN115019158A (zh) * | 2022-08-03 | 2022-09-06 | 威海海洋职业学院 | 一种基于图像识别的海洋污染区域识别方法及*** |
CN115202404A (zh) * | 2022-09-15 | 2022-10-18 | 广东容祺智能科技有限公司 | 基于无人机的光伏发电组维护巡检方法 |
CN115578662A (zh) * | 2022-11-23 | 2023-01-06 | 国网智能科技股份有限公司 | 无人机前端图像处理方法、***、存储介质及设备 |
CN115656181A (zh) * | 2022-10-27 | 2023-01-31 | 重庆红岩建设机械制造有限责任公司 | 一种桥梁主塔塔外表观缺陷自动巡检识别方法 |
CN116052004A (zh) * | 2023-02-17 | 2023-05-02 | 深圳金三立视频科技股份有限公司 | 一种异常事件双向监测方法、装置、电子设备及存储介质 |
WO2023087272A1 (zh) * | 2021-11-19 | 2023-05-25 | 深圳市大疆创新科技有限公司 | 构图处理方法、装置、***和存储介质 |
WO2023098164A1 (zh) * | 2021-12-03 | 2023-06-08 | 国网智能科技股份有限公司 | 一种网格化机巢的无人机巡检***及方法 |
CN116912548A (zh) * | 2023-07-19 | 2023-10-20 | 北京图知天下科技有限责任公司 | 一种基于风机动态巡检的叶片图像的处理方法 |
CN117649737A (zh) * | 2024-01-30 | 2024-03-05 | 云南电投绿能科技有限公司 | 一种园区的设备监控方法、装置、设备及存储介质 |
WO2024109161A1 (zh) * | 2022-11-23 | 2024-05-30 | 国网智能科技股份有限公司 | 一种应用于电力巡检的无人机、方法及电力巡检*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105790155A (zh) * | 2016-04-08 | 2016-07-20 | 四川桑莱特智能电气设备股份有限公司 | 一种基于差分gps的输电线路无人机自主巡检***及方法 |
CN106873627A (zh) * | 2017-03-31 | 2017-06-20 | 湘潭大学 | 一种自动巡检输电线路的多旋翼无人机及方法 |
US20180046187A1 (en) * | 2016-08-12 | 2018-02-15 | Skydio, Inc. | Unmanned aerial image capture platform |
CN110009682A (zh) * | 2019-03-29 | 2019-07-12 | 北京理工大学 | 一种基于单目视觉的目标识别定位方法 |
CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
CN110879601A (zh) * | 2019-12-06 | 2020-03-13 | 电子科技大学 | 一种对于未知风机结构的无人机巡检方法 |
CN111292439A (zh) * | 2020-01-22 | 2020-06-16 | 上海杰狮信息技术有限公司 | 一种城市管网无人机巡检方法及巡检*** |
-
2020
- 2020-11-30 CN CN202011375823.4A patent/CN112164015B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105790155A (zh) * | 2016-04-08 | 2016-07-20 | 四川桑莱特智能电气设备股份有限公司 | 一种基于差分gps的输电线路无人机自主巡检***及方法 |
US20180046187A1 (en) * | 2016-08-12 | 2018-02-15 | Skydio, Inc. | Unmanned aerial image capture platform |
CN106873627A (zh) * | 2017-03-31 | 2017-06-20 | 湘潭大学 | 一种自动巡检输电线路的多旋翼无人机及方法 |
CN110009682A (zh) * | 2019-03-29 | 2019-07-12 | 北京理工大学 | 一种基于单目视觉的目标识别定位方法 |
CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
CN110879601A (zh) * | 2019-12-06 | 2020-03-13 | 电子科技大学 | 一种对于未知风机结构的无人机巡检方法 |
CN111292439A (zh) * | 2020-01-22 | 2020-06-16 | 上海杰狮信息技术有限公司 | 一种城市管网无人机巡检方法及巡检*** |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112947519A (zh) * | 2021-02-05 | 2021-06-11 | 北京御航智能科技有限公司 | 一种无人机的巡检方法、装置及边缘计算模块 |
CN113093783A (zh) * | 2021-02-23 | 2021-07-09 | 广东工贸职业技术学院 | 一种无人机的拍摄控制方法及装置 |
CN113093783B (zh) * | 2021-02-23 | 2023-09-12 | 广东工贸职业技术学院 | 一种无人机的拍摄控制方法及装置 |
CN113485417A (zh) * | 2021-06-30 | 2021-10-08 | 杭州天巡者科技有限公司 | Vba无人机的自主电力巡检***、方法、装置及电子设备 |
CN113428374A (zh) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | 桥梁结构检测数据收集方法和无人机*** |
CN113870228A (zh) * | 2021-09-29 | 2021-12-31 | 上海建工四建集团有限公司 | 一种塔吊表面氧化损伤识别、定位及损伤面积统计方法 |
CN113870228B (zh) * | 2021-09-29 | 2024-07-02 | 上海建工四建集团有限公司 | 一种塔吊表面氧化损伤识别、定位及损伤面积统计方法 |
CN113643295B (zh) * | 2021-10-14 | 2022-04-08 | 武汉精立电子技术有限公司 | Micro-LED屏幕检测方法及相关设备 |
CN113643295A (zh) * | 2021-10-14 | 2021-11-12 | 武汉精立电子技术有限公司 | Micro-LED屏幕检测方法及相关设备 |
CN113867405A (zh) * | 2021-11-09 | 2021-12-31 | 广东电网有限责任公司江门供电局 | 一种基于5g网络回传的输电线路无人机巡检方法及*** |
WO2023087272A1 (zh) * | 2021-11-19 | 2023-05-25 | 深圳市大疆创新科技有限公司 | 构图处理方法、装置、***和存储介质 |
WO2023098164A1 (zh) * | 2021-12-03 | 2023-06-08 | 国网智能科技股份有限公司 | 一种网格化机巢的无人机巡检***及方法 |
CN114677777A (zh) * | 2022-03-16 | 2022-06-28 | 中车唐山机车车辆有限公司 | 设备巡检方法、巡检***及终端设备 |
CN114430462A (zh) * | 2022-04-07 | 2022-05-03 | 北京御航智能科技有限公司 | 无人机自主拍照参数调整方法、装置、设备及存储介质 |
CN115019158A (zh) * | 2022-08-03 | 2022-09-06 | 威海海洋职业学院 | 一种基于图像识别的海洋污染区域识别方法及*** |
CN115019158B (zh) * | 2022-08-03 | 2022-10-25 | 威海海洋职业学院 | 一种基于图像识别的海洋污染区域识别方法及*** |
CN115202404A (zh) * | 2022-09-15 | 2022-10-18 | 广东容祺智能科技有限公司 | 基于无人机的光伏发电组维护巡检方法 |
CN115656181A (zh) * | 2022-10-27 | 2023-01-31 | 重庆红岩建设机械制造有限责任公司 | 一种桥梁主塔塔外表观缺陷自动巡检识别方法 |
CN115578662A (zh) * | 2022-11-23 | 2023-01-06 | 国网智能科技股份有限公司 | 无人机前端图像处理方法、***、存储介质及设备 |
WO2024109161A1 (zh) * | 2022-11-23 | 2024-05-30 | 国网智能科技股份有限公司 | 一种应用于电力巡检的无人机、方法及电力巡检*** |
CN116052004A (zh) * | 2023-02-17 | 2023-05-02 | 深圳金三立视频科技股份有限公司 | 一种异常事件双向监测方法、装置、电子设备及存储介质 |
CN116912548A (zh) * | 2023-07-19 | 2023-10-20 | 北京图知天下科技有限责任公司 | 一种基于风机动态巡检的叶片图像的处理方法 |
CN117649737A (zh) * | 2024-01-30 | 2024-03-05 | 云南电投绿能科技有限公司 | 一种园区的设备监控方法、装置、设备及存储介质 |
CN117649737B (zh) * | 2024-01-30 | 2024-04-30 | 云南电投绿能科技有限公司 | 一种园区的设备监控方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112164015B (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112164015B (zh) | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 | |
CN111272148B (zh) | 输电线路无人机自主巡检自适应成像质量优化方法 | |
US11897606B2 (en) | System and methods for improved aerial mapping with aerial vehicles | |
CN108803668B (zh) | 一种静态目标监测的智能巡检无人机吊舱*** | |
WO2018103408A1 (zh) | 一种无人机勘查交通事故现场的航拍图像采集方法及*** | |
WO2018195955A1 (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
CN112585554A (zh) | 无人机巡检方法、装置及无人机 | |
CN110633629A (zh) | 基于人工智能的电网巡检方法、装置、设备及存储介质 | |
CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测***及方法 | |
CN105551032B (zh) | 一种基于视觉伺服的杆塔图像采集***及其方法 | |
CN106155086A (zh) | 一种道路检测无人机及其自动巡航方法 | |
CN105187723A (zh) | 一种无人飞行器的摄像处理方法 | |
CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
WO2019104641A1 (zh) | 无人机、其控制方法以及记录介质 | |
CN113850137A (zh) | 一种输电线路图像在线监测方法、***及设备 | |
CN111953892A (zh) | 无人飞行器、检查方法及检查程序 | |
CN114326771A (zh) | 一种基于图像识别的无人机拍摄航线生成方法及*** | |
CN114281100A (zh) | 一种不悬停无人机巡检***及其方法 | |
CN109062220B (zh) | 控制终端运动的方法和装置 | |
US20240013485A1 (en) | System and methods for improved aerial mapping with aerial vehicles | |
WO2023159611A1 (zh) | 图像拍摄方法、装置与可移动平台 | |
CN112585945A (zh) | 对焦方法、装置及设备 | |
CN114659499B (zh) | 一种基于无人机技术的智慧城市3d地图模型摄影建立方法 | |
CN114500839B (zh) | 一种基于注意力跟踪机制的视觉云台控制方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |