CN112348034A - 基于无人机图像识别的起重机缺陷检测***和工作方法 - Google Patents
基于无人机图像识别的起重机缺陷检测***和工作方法 Download PDFInfo
- Publication number
- CN112348034A CN112348034A CN202011133457.1A CN202011133457A CN112348034A CN 112348034 A CN112348034 A CN 112348034A CN 202011133457 A CN202011133457 A CN 202011133457A CN 112348034 A CN112348034 A CN 112348034A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial vehicle
- unmanned aerial
- crane
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 140
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000010223 real-time analysis Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 239000002184 metal Substances 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000000547 structure data Methods 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于无人机图像识别的起重机缺陷检测***，包括无人机本体、无人机主控制器、机载探测装置、通讯链路***和地面控制台；实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用缺陷识别模型得到起重机表面缺陷评估结果；无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度。本发明能够实时处理采集到的表面结构图像，快速得到较为准确的起重机表面缺陷评估结果，再根据视觉评估结果调整无人机的飞行方向和机载探测装置的拍摄角度，优化无人机的飞行轨迹和拍摄参数，实现图像处理数据的有效反哺，改善拍摄图像质量，提高检测效率。
Description
技术领域
本发明涉及起重机表面缺陷检测技术领域，具体而言涉及一种基于无人机图像识别的起重机缺陷检测***和工作方法。
背景技术
大型起重机是装卸作业必不可少的关键设备，然而由于起重机在长期疲劳交变载荷作用下易产生疲劳裂纹的问题，所以应定期对起重机进行检验，目前检验方法是人工目视法，检验周期为每年一次，这种检验方法具有以下几个缺点：一是起重机零部件数量多，人工检查耗费时间长；二是人工攀爬，增大了安全风险；三是人为误差较大。因此利用无人机进行起重机安全检测具有重要意义。
近几年，无人机行业发展迅猛，特别是轻小型无人机，广泛应用于航拍、测绘、电力巡检等领域。现阶段，图像识别技术高效、可靠，在结构安全检测领域推广利用图像识别技术，将大大节省检验人员开支，保证了检测结果的真实客观性。例如，专利号为CN2068045544U的申请中公开了一种用于起重机表面缺陷检测的无人机装置，专利号为CN211139484U的申请中公开了一种吸附式起重机表面裂纹缺陷检测装置，通过将无人机和图像识别技术应用在起重机缺陷检测上，有效解决了前述人为检测导致的诸多问题。
然而，由于起重机体积大，表面结构复杂，缺陷形貌和位置各不相同，即使提前规划了无人机的巡检路线和拍摄路线，但经常由于拍摄位置或拍摄参数等问题导致图像质量不佳，继而影响最终的缺陷检测识别率和准确率。
发明内容
本发明针对现有技术中的不足，提供一种基于无人机图像识别的起重机缺陷检测***和工作方法，能够实时处理采集到的表面结构图像，快速得到较为准确的起重机表面缺陷评估结果，再结合图像分辨率得到采集图像的视觉评估结果，反馈至无人机主控制器，使其可以根据视觉评估结果调整无人机的飞行方向和机载探测装置的拍摄角度，优化无人机的飞行轨迹和拍摄参数，实现图像处理数据的有效反哺，改善拍摄图像质量，提高检测效率。
为实现上述目的，本发明采用以下技术方案：
一种基于无人机图像识别的起重机缺陷检测***，所述检测***包括无人机本体、无人机主控制器、机载探测装置、通讯链路***和地面控制台；
所述无人机主控制器用于控制无人机本体的飞行轨迹和飞行姿态；
所述机载探测装置安装在无人机本体上，用于对起重机表面图像进行采集，将采集数据发送至无人机主控制器；所述无人机主控制器还通过通讯链路***将采集数据发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值；
所述实时分析***还用于结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器，所述无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述缺陷识别结果包括表面缺陷相对于起重机的位置、缺陷类型、缺陷区域在图像中的范围占比和缺陷区域在图像中的位置。
进一步地，所述机载探测装置包括用于采集起重机表面结构可见光影像的可见光拍摄装置、用于采集起重机表面结构尺寸数据的激光扫描装置和用于采集起重机表面温差数据的红外光拍摄装置中的几种或者全部。
进一步地，所述机载探测装置安装在旋转云台上，通过旋转云台调整拍摄角度，其中，垂直运动方向的俯仰角范围为±90°，水平方向方位运动范围为±150°。
基于前述检测***，本发明还提及一种基于无人机图像识别的起重机缺陷检测***的工作方法，所述工作方法包括以下步骤：
S1，获取待检起重机结构形貌，规划无人机飞行轨迹；根据待检起重机位置，对无人机进行定位，驱使无人机沿规划路径飞行；
S2，在无人机飞行过程中，采用机载探测装置对起重机的表面结构数据进行采集，将采集结构发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果；
S3，结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器；
S4，无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度；
S5，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值。
进一步地，步骤S2中，所述采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果的过程包括以下步骤：
S21，生成起重机金属结构图像库，用于存储一定量的标注有缺陷类型和缺陷位置的起重机表面结构图像样本，对起重机表面结构图像样本进行去噪处理；
S22，构建基于多尺度几何分析和支持向量机的缺陷识别模型，所述缺陷识别模型包括图像处理单元和缺陷识别单元；
S23，基于所述图像处理单元，采用分形阈值法对去噪后的图像样本进行阈值分割，对分割后的图像样本进行分解，提取分解后图像样本的特征向量，对特征向量进行降维处理，生成训练样本；
S24，采用训练样本对缺陷识别单元进行训练；
S24，提取拍摄得到的待检起重机的表面结构图像，导入缺陷识别模型，采用分形阈值法对去噪后的表面结构图像进行阈值分割，对分割后的图像进行分解，提取图像特征向量，对特征向量进行降维处理后，对起重机表面缺陷进行实时识别和实时定位。
进一步地，所述缺陷识别模型包括缺陷准确率评估单元，用于评估预设时间范围内的起重机表面缺陷评估准确率，并将评估得到的起重机表面缺陷评估准确率发送至图像处理单元，以调整图像处理单元的分形阈值。
本发明的有益效果是：
(1)基于分形阈值法对去噪后的图像进行阈值分割，有效提取和识别高精度裂纹特征，确保能够实时处理采集到的表面结构图像，快速得到较为准确的起重机表面缺陷评估结果。
(2)根据缺陷识别准确率动态调整分形阈值，确保图像识别效率。
(3)采用图像局部区域约束与反卷积图像算法提高无人机图像分辨率，便于后续图像识别处理。
(4)结合缺陷识别结果和调整后的图像分辨率得到采集图像的视觉评估结果，反馈至无人机主控制器，使其可以根据视觉评估结果调整无人机的飞行方向和机载探测装置的拍摄角度，优化无人机的飞行轨迹和拍摄参数，实现图像处理数据的有效反哺，改善拍摄图像质量，提高检测效率。
附图说明
图1是本发明的基于无人机图像识别的起重机缺陷检测***的结构示意图。
图2是本发明的基于无人机图像识别的起重机缺陷检测***的工作方法流程图。
图3是本发明的缺陷识别模型的图像分析算法流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
结合图1，本发明提及一种基于无人机图像识别的起重机缺陷检测***，所述检测***包括无人机本体、无人机主控制器、机载探测装置、通讯链路***和地面控制台。
所述无人机主控制器用于控制无人机本体的飞行轨迹和飞行姿态。
所述机载探测装置安装在无人机本体上，用于对起重机表面图像进行采集，将采集数据发送至无人机主控制器；所述无人机主控制器还通过通讯链路***将采集数据发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值。
所述实时分析***还用于结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器，所述无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度。
本发明的基于无人机图像识别的起重机缺陷检测***，包括无人机平台、通讯链路***、地面控制台三个部分。
无人机平台分为机体结构、飞行控制和机载探测装置三个部分。其中，飞行控制包括主控制器、飞行姿态测量***、电机调速***、电源模块、定位模块和避障装置等。机载探测装置分为可见光、红外和激光三类，实现结构表面可见光影像、结构尺寸数据、表面温差数据的获取，本发明搭载高分辨率可见光相机作为探测装置。优选的，为了实现无死角检测范围，本发明设计如下：相机旋转云台带动相机转动，对准起重机待测部位进行多方位拍摄，其垂直运动方向的俯仰角范围达到±90°，水平方向方位运动范围达到±150°，既能向下俯视成像，又能向上仰视成像，能够对大型起重机各种关键部位进行多方位拍摄无视场死角。
通讯链路***包括无人机通讯***和探测装置通讯***两部分，无人机通讯***主要用于保证地面测控站与空中无人机之间的数据通讯，实现地面对无人机的遥控和定位，探测装置通讯***将采集到的图像等数据信息传输到地面控制台，包含对数据压缩、无线传输和数据解码三部分，需要确保所传数据的实时性和真实性；链路由机载模块和地面模块组成，对检测范围较大的起重机还需要在合适的位置设置中继模块，以保证通讯***的正常运行。
地面控制台分为飞行控制和实时数据处理两部分，其中飞行控制部分主要用于无人机飞行状态的监测和控制、无人机的导航、探测装置控制的切换等。
实时数据处理部分通过实时分析***实现，一方面对视觉探测装置采集的图像数据进行实时显示，以供操作人员现场进行检测结果的初步判断；另一方面采用图像处理技术对获得图像数据信息进行缺陷特征提取与识别，以实现被测结构缺陷、隐患的判别和确认，实现结构安全状况的及时诊断和排查。
在本发明中，为了实现实时性和数据有效反哺，实时分析***首先对图像进行预处理后再进行分析：
图像预处理技术：通过图像识别方法自动检测起重机金属结构的疲劳状态，记录金属结构疲劳裂纹的扩展信息，通过对这些图像化的信息进行存储分析，能够获得重要结构部位的疲劳裂纹扩展特性，包括对图像预处理、裂纹特征提取和识别等步骤。
图像实时分析技术：对各种类型的缺陷进行自动分类识别，提出一种融合多尺度几何分析和支持向量机的缺陷智能识别算法。
结合图2，基于前述检测***，本发明还提及一种基于无人机图像识别的起重机缺陷检测***的工作方法，所述工作方法包括以下步骤：
S1，获取待检起重机结构形貌，规划无人机飞行轨迹；根据待检起重机位置，对无人机进行定位，驱使无人机沿规划路径飞行。
S2，在无人机飞行过程中，采用机载探测装置对起重机的表面结构数据进行采集，将采集结构发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果。
S3，结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器。
S4，无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度。
S5，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值。
进一步地，步骤S2中，所述采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果的过程包括以下步骤：
S21，生成起重机金属结构图像库，用于存储一定量的标注有缺陷类型和缺陷位置的起重机表面结构图像样本，对起重机表面结构图像样本进行去噪处理。
S22，构建基于深度学习算法的缺陷识别模型，所述缺陷识别模型包括图像处理单元和缺陷识别单元。
S23，基于所述图像处理单元，采用分形阈值法对去噪后的图像样本进行阈值分割，对分割后的图像样本进行分解，提取分解后图像样本的特征向量，对特征向量进行降维处理，生成训练样本。
S24，采用训练样本对缺陷识别单元进行训练。
S24，提取拍摄得到的待检起重机的表面结构图像，导入缺陷识别模型，采用分形阈值法对去噪后的表面结构图像进行阈值分割，对分割后的图像进行分解，提取图像特征向量，对特征向量进行降维处理后，对起重机表面缺陷进行实时识别和实时定位。
进一步地，所述缺陷识别模型包括缺陷准确率评估单元，用于评估预设时间范围内的起重机表面缺陷评估准确率，并将评估得到的起重机表面缺陷评估准确率发送至图像处理单元，以调整图像处理单元的分形阈值。
应用上述***对起重机结构进行检测，本发明实现流程如图2所示，具体步骤如下：
步骤1：无人机通过GPS装置，飞行到大型起重机作业所要求的高度和位置。
步骤2：通过机载探测装置所传回来的数据信息判断视觉传感器是否存在被光直射的现象，并调整无人机的飞行方向。
步骤3：相机旋转云台带动相机转动，对准起重机待测部位进行多方位拍摄，其垂直运动方向的俯仰角范围达到±90°，水平方向方位运动范围达到±150°，既能向下俯视成像，又能向上仰视成像，能够对大型起重机各种关键部位进行多方位拍摄无视场死角。
步骤4：将无人机实时采集的图像经过信号收发器发送至地面指挥平台进行分析处理。
步骤5：如图3所示，针对无人机姿态变化和振动引起拍摄图像的抖动与模糊问题，通过基于图像局部区域约束与反卷积的图像去模糊抖动算法，利用图像局部区域以及运动模糊核的各种先验约束得到最小化能量函数，利用交替最小化方法求解最小化能量函数，对运动模糊核进行精确估计，并通过反卷积算法恢复出原始清晰图像，提高无人机图像分辨力。
步骤6：根据预处理输出的图像分辨率，对无人机优化飞行方向和拍摄角度进行粗调，提高采集图像质量。
步骤7：采用分形阈值法来对去噪后的图像进行阈值分割，识别出裂纹区域，实现图像的二值化，建立裂纹骨架数据结构模型，采用数学形态学进行膨胀、腐蚀、细化，改善裂纹区域的连通性。
步骤8：将轮廓波变换和剪切波变换分别对图像进行分解，提取分解后图像的统计值作为特征向量，接着用核保局投影算法对提取到的特征向量进行降维，得到降维后的特征向量。
步骤9：首先进行训练过程，通过无人机视觉***采集起重机金属结构图像，建立了正常、裂纹、锈蚀和磨损四种起重机金属结构图像库，利用上述基于多尺度几何分析的特征提取方法得到特征向量，输入到支持向量机中进行训练。
步骤10：利用无人机视觉***采集起重机主梁、臂架等关键结构部位图像，无人机图像预处理技术对图像进行初步处理，提高其对比度和几何精度，利用基于多尺度几何分析的特征提取方法得到特征向量，输入到支持向量机进行缺陷分类，对裂纹、锈蚀、磨损等缺陷进行智能检测。
步骤11：根据检测正确率调整分形阈值，采用分形阈值法来对去噪后的图像重新进行阈值分割，提取和识别高精度裂纹特征，提高检测正确率。
步骤12：结合缺陷检测结果和图像分别率，得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器。
步骤13：无人机主控制器根据地面控制台返回的视觉评估结果对无人机本体的飞行方向和机载探测装置的拍摄角度进行精调。
在本发明中，精调时还需要考虑缺陷识别结果，所述缺陷识别结果包括表面缺陷相对于起重机的位置、缺陷类型、缺陷区域在图像中的范围占比和缺陷区域在图像中的位置。例如，假设某个缺陷位于图像的边缘位置，由于容易发生误识别，需要重新调整无人机的位置，使缺陷尽可能位于图像中心区域范围，确保缺陷完整的显示在图像中，提高缺陷识别准确率。又例如，起重机某部件或某关键区域存在多个缺陷，由于部分缺陷在图像中的占比过大，难以体现缺陷之间的关联性，导致需要联合多张图片才可以对起重机该部件或关键区域进行性能评估，此时可以调整无人机的拍摄位置和拍摄参数，尽可能以缺陷为关键点拍摄部件或关键区域的整体图像。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (7)
1.一种基于无人机图像识别的起重机缺陷检测***，其特征在于，所述检测***包括无人机本体、无人机主控制器、机载探测装置、通讯链路***和地面控制台；
所述无人机主控制器用于控制无人机本体的飞行轨迹和飞行姿态；
所述机载探测装置安装在无人机本体上，用于对起重机表面图像进行采集，将采集数据发送至无人机主控制器；所述无人机主控制器还通过通讯链路***将采集数据发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值；
所述实时分析***还用于结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器，所述无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度。
2.根据权利要求1所述的基于无人机图像识别的起重机缺陷检测***，其特征在于，所述缺陷识别结果包括表面缺陷相对于起重机的位置、缺陷类型、缺陷区域在图像中的范围占比和缺陷区域在图像中的位置。
3.根据权利要求1所述的基于无人机图像识别的起重机缺陷检测***，其特征在于，所述机载探测装置包括用于采集起重机表面结构可见光影像的可见光拍摄装置、用于采集起重机表面结构尺寸数据的激光扫描装置和用于采集起重机表面温差数据的红外光拍摄装置中的几种或者全部。
4.根据权利要求3所述的基于无人机图像识别的起重机缺陷检测***，其特征在于，所述机载探测装置安装在旋转云台上，通过旋转云台调整拍摄角度，其中，垂直运动方向的俯仰角范围为±90°，水平方向方位运动范围为±150°。
5.一种基于权利要求1所述的基于无人机图像识别的起重机缺陷检测***的工作方法，其特征在于，所述工作方法包括以下步骤：
S1，获取待检起重机结构形貌，规划无人机飞行轨迹；根据待检起重机位置，对无人机进行定位，驱使无人机沿规划路径飞行；
S2，在无人机飞行过程中，采用机载探测装置对起重机的表面结构数据进行采集，将采集结构发送至地面控制台，由地面控制台内安装的实时分析***采用图像局部区域约束和反卷积图像算法提高采集图像的分辨率，再采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果；
S3，结合调整后的图像分辨率和起重机表面缺陷评估结果得到采集图像的视觉评估结果，将视觉评估结果经通讯链路***发送至无人机主控制器；
S4，无人机主控制器根据地面控制台返回的视觉评估结果调整无人机本体的飞行方向和机载探测装置的拍摄角度；
S5，实时分析***根据起重机表面缺陷评估准确率调整缺陷识别模型的分形阈值。
6.根据权利要求5所述的基于无人机图像识别的起重机缺陷检测***的工作方法，其特征在于，步骤S2中，所述采用基于分形阈值法的缺陷识别模型对采集数据进行处理，得到起重机表面缺陷评估结果的过程包括以下步骤：
S21，生成起重机金属结构图像库，用于存储一定量的标注有缺陷类型和缺陷位置的起重机表面结构图像样本，对起重机表面结构图像样本进行去噪处理；
S22，构建基于多尺度几何分析和支持向量机的缺陷识别模型，所述缺陷识别模型包括图像处理单元和缺陷识别单元；
S23，基于所述图像处理单元，采用分形阈值法对去噪后的图像样本进行阈值分割，对分割后的图像样本进行分解，提取分解后图像样本的特征向量，对特征向量进行降维处理，生成训练样本；
S24，采用训练样本对缺陷识别单元进行训练；
S24，提取拍摄得到的待检起重机的表面结构图像，导入缺陷识别模型，采用分形阈值法对去噪后的表面结构图像进行阈值分割，对分割后的图像进行分解，提取图像特征向量，对特征向量进行降维处理后，对起重机表面缺陷进行实时识别和实时定位。
7.根据权利要求6所述的基于无人机图像识别的起重机缺陷检测***的工作方法，其特征在于，所述缺陷识别模型包括缺陷准确率评估单元，用于评估预设时间范围内的起重机表面缺陷评估准确率，并将评估得到的起重机表面缺陷评估准确率发送至图像处理单元，以调整图像处理单元的分形阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133457.1A CN112348034A (zh) | 2020-10-21 | 2020-10-21 | 基于无人机图像识别的起重机缺陷检测***和工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133457.1A CN112348034A (zh) | 2020-10-21 | 2020-10-21 | 基于无人机图像识别的起重机缺陷检测***和工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348034A true CN112348034A (zh) | 2021-02-09 |
Family
ID=74359542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011133457.1A Pending CN112348034A (zh) | 2020-10-21 | 2020-10-21 | 基于无人机图像识别的起重机缺陷检测***和工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348034A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112903026A (zh) * | 2021-02-25 | 2021-06-04 | 南京翰氜信息科技有限公司 | 基于机器视觉和人工智能的工程安全远程在线监测*** |
| CN113428374A (zh) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | 桥梁结构检测数据收集方法和无人机*** |
| CN113495580A (zh) * | 2021-08-06 | 2021-10-12 | 澜枢(上海)智能科技有限公司 | 用于港口码头吊车结构检测的无人机***及其使用方法 |
| CN113537159A (zh) * | 2021-09-09 | 2021-10-22 | 丹华海洋工程装备(南通)有限公司 | 基于人工智能的起重机风险数据识别方法 |
| CN113640301A (zh) * | 2021-08-03 | 2021-11-12 | 江苏省特种设备安全监督检验研究院 | 特种设备的螺栓检测方法 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114035608A (zh) * | 2021-11-10 | 2022-02-11 | 广东电网能源发展有限公司 | 基于无人机的巡检培训方法、***、培训终端和存储介质 |
| CN114051095A (zh) * | 2021-11-12 | 2022-02-15 | 苏州臻迪智能科技有限公司 | 视频流数据的远程处理方法以及拍摄*** |
| WO2023102110A1 (en) * | 2021-12-01 | 2023-06-08 | Brown University | Computations trained machine learning models for non-destructive evaluation of material and structural flaws |
| CN116309849A (zh) * | 2023-05-17 | 2023-06-23 | 新乡学院 | 一种基于视觉雷达的起重机定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120262708A1 (en) * | 2009-11-25 | 2012-10-18 | Cyberhawk Innovations Limited | Unmanned aerial vehicle |
| CN107380420A (zh) * | 2017-08-23 | 2017-11-24 | 南京市特种设备安全监督检验研究院 | 一种基于无人机机械臂的起重机金属结构检测装置及方法 |
| WO2019047338A1 (zh) * | 2017-09-08 | 2019-03-14 | 上海振华重工(集团)股份有限公司 | 港口机械的巡检装置及巡检方法 |
-
2020
- 2020-10-21 CN CN202011133457.1A patent/CN112348034A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120262708A1 (en) * | 2009-11-25 | 2012-10-18 | Cyberhawk Innovations Limited | Unmanned aerial vehicle |
| CN107380420A (zh) * | 2017-08-23 | 2017-11-24 | 南京市特种设备安全监督检验研究院 | 一种基于无人机机械臂的起重机金属结构检测装置及方法 |
| WO2019047338A1 (zh) * | 2017-09-08 | 2019-03-14 | 上海振华重工(集团)股份有限公司 | 港口机械的巡检装置及巡检方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周前飞;丁树庆;冯月贵;张慎如;王会方;任诗波;: "大型起重机金属结构无人机智能视觉检测***研究", 内燃机与配件, no. 19, pages 224 - 228 * |
| 周前飞;丁树庆;王会方;庆光蔚;胡静波;吴祥生;: "基于旋翼飞行机械臂的在役大型金属结构智能检测***研究", 机电工程技术, no. 11 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112903026A (zh) * | 2021-02-25 | 2021-06-04 | 南京翰氜信息科技有限公司 | 基于机器视觉和人工智能的工程安全远程在线监测*** |
| CN113428374A (zh) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | 桥梁结构检测数据收集方法和无人机*** |
| CN113640301B (zh) * | 2021-08-03 | 2024-02-09 | 江苏省特种设备安全监督检验研究院 | 特种设备的螺栓检测方法 |
| CN113640301A (zh) * | 2021-08-03 | 2021-11-12 | 江苏省特种设备安全监督检验研究院 | 特种设备的螺栓检测方法 |
| CN113495580A (zh) * | 2021-08-06 | 2021-10-12 | 澜枢(上海)智能科技有限公司 | 用于港口码头吊车结构检测的无人机***及其使用方法 |
| CN113537159B (zh) * | 2021-09-09 | 2021-12-03 | 丹华海洋工程装备(南通)有限公司 | 基于人工智能的起重机风险数据识别方法 |
| CN113537159A (zh) * | 2021-09-09 | 2021-10-22 | 丹华海洋工程装备(南通)有限公司 | 基于人工智能的起重机风险数据识别方法 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114035608A (zh) * | 2021-11-10 | 2022-02-11 | 广东电网能源发展有限公司 | 基于无人机的巡检培训方法、***、培训终端和存储介质 |
| CN114051095A (zh) * | 2021-11-12 | 2022-02-15 | 苏州臻迪智能科技有限公司 | 视频流数据的远程处理方法以及拍摄*** |
| WO2023102110A1 (en) * | 2021-12-01 | 2023-06-08 | Brown University | Computations trained machine learning models for non-destructive evaluation of material and structural flaws |
| CN116309849A (zh) * | 2023-05-17 | 2023-06-23 | 新乡学院 | 一种基于视觉雷达的起重机定位方法 |
| CN116309849B (zh) * | 2023-05-17 | 2023-08-25 | 新乡学院 | 一种基于视觉雷达的起重机定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348034A (zh) | 基于无人机图像识别的起重机缺陷检测***和工作方法 | |
| Jiang et al. | Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system | |
| Li et al. | Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN | |
| CN105302151B (zh) | 一种飞机入坞引导和机型识别的***及方法 | |
| WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| EP3196853A1 (en) | Machine vision-based method and system for aircraft docking guidance and aircraft type identification | |
| AU2019222803A1 (en) | Volume measurement apparatus and method | |
| JP2019009919A (ja) | 巡視点検支援システム及び巡視点検支援制御プログラム | |
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| Máthé et al. | Vision-based control of a quadrotor for an object inspection scenario | |
| CN111598846B (zh) | 一种基于yolo的隧道内铁轨缺陷检测方法 | |
| CN114812398B (zh) | 一种基于无人机的高精度实时裂缝检测平台 | |
| CN108535789A (zh) | 一种基于机场跑道的异物识别*** | |
| Savva et al. | ICARUS: Automatic autonomous power infrastructure inspection with UAVs | |
| CN117492026B (zh) | 结合激光雷达扫描的铁路货车装载状态检测方法及*** | |
| CN108564628A (zh) | 一种面向掘进机自动化的截割头视觉定位定向*** | |
| CN115100379A (zh) | 一种风机叶片运输监管方法、***、设备及介质 | |
| CN113066050A (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
| EP4063279B1 (en) | Automated assessment of aircraft structure damage | |
| Liu et al. | Framework for automated UAV-based inspection of external building façades | |
| CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
| CN112560922A (zh) | 一种基于视觉的雾天飞机自主着陆方法及*** | |
| CN117274845A (zh) | 一种飞行无人机影像抓取方法、***、设备及储存介质 | |
| CN117647526A (zh) | 一种风力发电机叶片表面缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |