CN107607543A - 港口机械的巡检装置及巡检方法 - Google Patents

Abstract

本发明揭示了一种港口机械的巡检装置，包括：无人机组、地面***组、地面监控处理装置和数据管理评估装置。无人机对港口机械进行巡检，获取港口机械的图像。地面***对无人机的三维位置进行定位。地面监控处理装置与无人机以及地面***通信，地面监控处理装置控制无人机飞行，接收无人机获取的图像，并监测无人机的状态。数据管理评估装置与地面监控处理装置通信，数据管理评估装置保存有港口机械的基础数据，数据管理评估装置从地面监控处理装置接收无人机获取的图像，根据图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。本发明还揭示了一种采用上述的港口机械的巡检装置的巡检方法。

Description

港口机械的巡检装置及巡检方法

技术领域

本发明涉及港口机械领域，更具体地说，涉及港口机械的检测和评估技术。

背景技术

港口机械在物流领域应用广泛，港口机械主要包括岸边集装箱起重机、轨道吊、轮胎吊、门座起重机和卸船机等。港口机械由于运输任务繁重，服役时间长，因此港机结构的健康检测对于港口的正常运营来说至关重要。港口机械安全工作的核心是钢机构，其工作位置处于海边，是易腐蚀的环境，因此需要定期对港口机械进行巡检，检查其健康状况。

目前的港口机械巡检主要是以人工巡检为主，由巡检员攀爬港口机械，对港口机械的各处结构进行检测、对出现病害的区域进行人工拍照，最后再根据检测结果和图片记录得出评估报告。随着港口机械的大型化，现有的主流港口机械的尺寸达到150m*30m*100m，对于巡检员来说攀爬困难，且危险系数较高。并且，由于港口机械的结构特殊性，有些区域人员无法到达，或者由于人工视角问题，无法获取图像，形成检测盲区。总体而言，现有的人工检测的方式效率低下、检测周期长、检测效果差、盲区多、且存在较大的安全隐患。

发明内容

本发明提出一种基于无人机的港口机械的巡检技术。

根据本发明的一实施例，提出一种港口机械的巡检装置，包括：无人机组、地面***组、地面监控处理装置和数据管理评估装置。无人机组包括一个或多个无人机，无人机对港口机械进行巡检，获取港口机械的图像。地面***组包括一个或多个地面***，地面***对无人机的三维位置进行定位。地面监控处理装置与无人机通信，地面监控处理装置控制无人机飞行，接收无人机获取的图像，并监测无人机的状态。数据管理评估装置与地面监控处理装置通信，数据管理评估装置保存有港口机械的基础数据，数据管理评估装置从地面监控处理装置接收无人机获取的图像，根据图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

在一个实施例中，地面监控处理装置包括：主控机和手持遥控器。主控机规划无人机的巡检航线，控制无人机沿巡检航线飞行和航拍以获取港口机械的图像，监测无人机的状态。手持遥控器接收操作指令，根据操作指令控制无人机飞行和航拍以获取港口机械的图像。其中，手持遥控器处于未操作状态，无人机由主控机控制自动运行，手持遥控器处于操作状态，无人机退出自动运行，由手持遥控器控制。

在一个实施例中，主控机包括：界面交互模块、前端数据管理模块、航线规划模块、航拍控制模块、监视模块和通信模块。界面交互模块产生交互界面，交互界面接收指令并显示信息。前端数据管理模块从数据管理评估装置或界面交互模块获取港口机械的基础数据。航线规划模块根据前端数据管理模块获取的港口机械的基础数据规划自动巡检航线，或者根据交互界面获取的指令规划指定巡检航线。航拍控制模块根据航线规划模块规划的自动巡检航线或者指定巡检航线控制无人机飞行和航拍，以获取港口机械的图像。监视模块监测无人机的三维位置和状态。通信模块与数据管理评估装置、手持遥控器进行通信。

在一个实施例中，手持遥控器包括：手持操作器、数据传输模块和图像传输模块。手持操作器由操作人员手持，接收操作指令，根据操作指令控制无人机飞行。数据传输模块与无人机和主控机进行数据通信，监测无人机的状态。图像传输模块与无人机和主控机进行图像通信，获取无人机航拍获得的港口机械的图像和视频。

在一个实施例中，数据管理评估装置包括：后端数据管理模块、图像病害识别模块、图像病害分析模块和评估模块。后端数据管理模块对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据进行处理。图像病害识别模块识别港口机械的图像中的病害区域，对病害区域进行标记和分类。图像病害分析模块对图像病害识别模块所标记和分类的病害区域进行量化计算，并将量化计算的结果与病害区域相关联。评估模块基于量化计算的结果以及量化计算的结果与病害区域的关联生成评估结果。

在一个实施例中，病害区域的分类包括：锈蚀、裂纹、螺栓缺损、脱漆和其他病害。对病害区域的量化计算包括：锈蚀区域面积、脱漆区域面积、裂纹长度和宽度、螺栓缺损数量和位置。

在一个实施例中，港口机械的基础数据包括港口机械的尺寸数据和位置数据。航线数据包括规划航线数据和实际航线数据，其中规划航线数据包括自动巡检航线数据和指定巡检航线数据。无人机状态数据包括：时间、检测点编号、水平横坐标、水平纵坐标、高度坐标、俯仰角、倾斜角、偏航角、拍摄云台的俯仰角、倾斜角、偏航角。对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据的处理包括：保存、删除、修改、加密、解密、分类、筛选、统计、导入、导出。

在一个实施例中，无人机包括：机身、飞行模块、飞行控制模块、数据传输模块、图像传输模块、障碍规避模块、定位模块、航拍摄像机和循迹摄像机。

根据本发明的一实施例，提出一种港口机械的巡检方法，使用前述的港口机械的巡检装置，该巡检方法包括：

航线规划步骤，根据港口机械的基础数据规划自动巡检航线；

无人机航拍步骤，控制无人机按照自动巡检航线飞行，无人机对港口机械进行航拍，监测无人机的状态并接收无人机获取的图像；

数据处理步骤，对无人机获取的图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

在一个实施例中，该巡检方法还包括：

航线调整步骤，根据交互界面获取的指令规划指定巡检航线，无人机按照指定巡检航线飞行，对港口机械进行航拍。

在一个实施例中，该巡检方法还包括：

手动控制步骤，通过手持遥控器操作，无人机退出自动运行，由手持遥控器控制飞行，对港口机械进行航拍。

本发明的港口机械的巡检装置及巡检方法能根据港口机械的基础数据自动规划无人机的航线，无人机根据规划的航线自动飞行并航拍以完成巡检工作，采集港口机械的图像数据和视频数据。图像数据和视频数据被传输至数据管理评估装置，对图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。在必要时，可以手动修改无人机的航线或者将无人机切换至手动操作模式。该巡检装置和巡检方法自动化程度高，检测效率高，应用范围广，且安全系数高。

附图说明

本发明上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变的更加明显，在附图中相同的附图标记始终表示相同的特征，其中：

图1揭示了根据本发明的一实施例的港口机械的巡检装置的结构示意图。

图2揭示了根据本发明的一实施例的港口机械的巡检装置的结构框图。

图3揭示了根据本发明的一实施例的港口机械的巡检装置中地面监控处理装置的结构框图。

图4a和图4b揭示了根据本发明的一实施例的港口机械的巡检方法的示例流程。

具体实施方式

首先参考图1所示，图1揭示了根据本发明的一实施例的港口机械的巡检装置的结构示意图。该港口机械的巡检装置包括：无人机组101、地面***组102、地面监控处理装置103和数据管理评估装置104。

无人机组101包括一个或多个无人机，无人机对港口机械进行巡检，获取港口机械的图像。地面***组102包括一个或多个地面***，地面***对无人机的三维位置进行定位。地面监控处理装置103与无人机通信，地面监控处理装置控制无人机飞行，接收无人机获取的图像，并监测无人机的状态。数据管理评估装置104与地面监控处理装置通信，数据管理评估装置保存有港口机械的基础数据，数据管理评估装置从地面监控处理装置接收无人机获取的图像，根据图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

参考图2所示，图2揭示了根据本发明的一实施例的港口机械的巡检装置的结构框图，揭示了该港口机械的巡检装置更加详细的结构。无人机组101包括一个或多个无人机，在图2中无人机组101中的各个无人机被标记为101.1～101.n。此处使用的无人机是具有自动循迹飞行和航拍功能的无人机，在一个实施例中，该无人机包括：机身、飞行模块、飞行控制模块、数据传输模块、图像传输模块、障碍规避模块、定位模块、航拍摄像机和循迹摄像机。具有自动循迹飞行和航拍功能的无人机是从市场上采购获得，其基本结构和功能此处不详细描述。地面***组102包括一个或多个地面***，在图2中地面***102中的各个地面***被标记为102.1～102.m。地面***对无人机的三维位置进行定位。在一个实施例中，地面***根据无线脉冲信号或者卫星信号对无人机的三维位置进行定位。当然，本领域的技术人员需要理解，地面***对无人机的三维位置的定位方法并不限于上述的无线脉冲信号或者卫星信号。

地面监控处理装置103包括：主控机131和手持遥控器132。主控机131规划无人机的巡检航线，控制无人机沿规划的巡检航线飞行和航拍以获取港口机械的图像，监测无人机的状态。手持遥控器132接收操作指令，根据操作指令控制无人机飞行和航拍以获取港口机械的图像。手持遥控器132处于未操作状态时，无人机由主控机131控制自动运行。手持遥控器132处于操作状态时，无人机退出自动运行，由手持遥控器132控制。图3揭示了根据本发明的一实施例的港口机械的巡检装置中地面监控处理装置的结构框图。参考图3所示，主控机131包括：界面交互模块301、前端数据管理模块302、航线规划模块303、航拍控制模块304、监视模块305和通信模块306。界面交互模块301产生交互界面，交互界面接收指令并显示信息。前端数据管理模块302从数据管理评估装置104或界面交互模块301获取港口机械的基础数据。在一个实施例中，港口机械的基础数据包括港口机械的尺寸数据和位置数据。航线规划模块303根据前端数据管理模块302获取的港口机械的基础数据规划自动巡检航线，即根据港口机械的尺寸和位置规划自动巡检航线。或者，航线规划模块303根据交互界面获取的指令规划指定巡检航线。在一些情况下，需要修改自动巡检航线，此时可以通过界面交互模块301产生的交互界面输入指令，手动对巡检航线进行修改，生成指定巡检航线。在生成指定巡检航线后，无人机根据新修改的指定巡检航线飞行并航拍。航拍控制模块304根据航线规划模块规划的自动巡检航线或者指定巡检航线控制无人机飞行和航拍，以获取港口机械的图像。监视模块305监测无人机的三维位置和状态。通信模块306与数据管理评估装置104、手持遥控器132进行通信。在一个实施例中，前端数据管理模块302还对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据进行处理。该处理包括：保存、删除、修改、加密、解密、分类、筛选、统计、导入、导出等。继续参考图3所示，手持遥控器132包括：手持操作器307、数据传输模块308和图像传输模块309。手持操作器307由操作人员手持，接收操作指令，根据操作指令控制无人机飞行。在一个实施例中，手持操作器307包括摇杆、按键和滚轮。数据传输模块308与无人机和主控机进行数据通信，监测无人机的状态。数据传输模块308主要用于港口机械的基础数据、航线数据、无人机状态数据的传输。图像传输模块309与无人机和主控机进行图像通信，获取无人机航拍获得的港口机械的图像和视频。图像传输模块309主要用于港口机械的图像数据或者视频数据的传输。

回到图2，数据管理评估装置104包括：后端数据管理模块141、图像病害识别模块142、图像病害分析模块143和评估模块144。后端数据管理模块141对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据进行处理。在一个实施例中，港口机械的基础数据包括港口机械的尺寸数据和位置数据。航线数据包括规划航线数据和实际航线数据。无人机状态数据包括：时间、检测点编号、水平横坐标(或者经度坐标)、水平纵坐标(或者纬度坐标)、高度坐标、俯仰角、倾斜角、偏航角、拍摄云台的俯仰角、倾斜角、偏航角。对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据的处理包括：保存、删除、修改、加密、解密、分类、筛选、统计、导入、导出等。图像病害识别模块142识别港口机械的图像中的病害区域，对病害区域进行标记和分类。在一个实施例中，病害区域的分类包括：锈蚀、裂纹、螺栓缺损、脱漆和其他病害。图像病害分析模块143对图像病害识别模块所标记和分类的病害区域进行量化计算，并将量化计算的结果与病害区域相关联。在一个实施例中，对病害区域的量化计算包括：锈蚀区域面积、脱漆区域面积、裂纹长度和宽度、螺栓缺损数量和位置。评估模块144基于所述量化计算的结果以及量化计算的结果与病害区域的关联生成评估结果。

本发明还提出一种港口机械的巡检方法，使用前述的港口机械的巡检装置，该巡检方法包括：

航线规划步骤，根据港口机械的基础数据规划自动巡检航线。

无人机航拍步骤，控制无人机按照自动巡检航线飞行，无人机对港口机械进行航拍，监测无人机的状态并接收无人机获取的图像。

数据处理步骤，对无人机获取的图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

在一个实施例中，在需要对自动巡检航线进行调整时，该港口机械的巡检方法还包括：航线调整步骤，根据交互界面获取的指令规划指定巡检航线，无人机按照指定巡检航线飞行，对港口机械进行航拍。

在一个实施例中，在需要对无人机进行手动操作时，该港口机械的巡检方法还包括：手动控制步骤，通过手持遥控器操作，无人机退出自动运行，由手持遥控器控制飞行，对港口机械进行航拍。

图4a和图4b揭示了根据本发明的一实施例的港口机械的巡检方法的示例流程。该示例流程包括如下的步骤：

步骤S1：启动地面监控处理装置103，检查确认主控机131和手持遥控器132均处于正常状态。

步骤S2：通过主控机131的界面交互模块301输入待检港机尺寸数据，或者通过主控机131的通信模块306从后端数据管理模块141下载待检港机尺寸数据。

步骤S3：将无人机101和地面***102分别摆放在初始位置，无人机101的初始位置是预先定义的一个参考待检港机位置的相对位置，地面***102按无人机定位精度要求布置于地面上适当的位置。

步骤S4：启动无人机101和地面***102，检查确认无人机和地面***均处于正常状态。

步骤S5：在主控机131中记录无人机101的初始位置坐标，包括其水平横坐标(或经度坐标)、水平纵坐标(或纬度坐标)、高度坐标。

步骤S6：根据已导入主控机131的港机尺寸数据，由航线规划模块303执行航线规划程序自动生成与待检港机相匹配的自动巡检航线。在需要的时候，检测人员按实际需求，可以通过界面交互模块301手动修改自动巡检航线，修改为指定巡检航线并将指定巡检航线保存为最新规划航线。

步骤S7：按最新规划航线自动控制航拍无人机101执行航拍任务。

步骤S8：地面监控处理***103接收到无人机101执行任务状态，判断是否完成航拍任务。若判断未完成航拍任务，进入步骤S9；若判断完成航拍任务，进入步骤S15。

步骤S9：主控机131实时检测手持遥控器132的操控指令，判断是否接收到指令。若判断是，进入步骤S10，若判断否，返回步骤S7。

步骤S10：地面监控处理***103向无人机101发送指令，控制无人机101暂停航拍并悬停。

步骤S11：主控机131通过交互界面显示出三种选择项：修改航线、手动控制和误操作，等待检测人员做出选择；若选择修改航线，进入步骤S12；若选择手动控制，进入步骤S14)；若选择误操作，返回步骤S7。

步骤S12：检测人员根据实际需要，在主控机131中手动修改航线参数，指定巡检航线并将指定巡检航线保存为最新规划航线。

步骤S13：主控机131通过交互界面询问检测人员是否继续自动控制；若检测人员选择否，进入步骤S14，若检测人员选择是，返回步骤S7。

步骤S14：检测人员手动操作手持遥控器132，控制无人机101根据手动控制指令执行航拍任务。

步骤S15：在自动控制模式下，地面监控处理***103自动控制无人机101结束飞行任务并返回地面，在手动控制模式下，检测人员操作手持遥控器132手动控制无人机101结束飞行任务并返回地面。

步骤S16：检测人员将无人机101采集的图片和视频数据导入主控机131。

步骤S17：检测人员按实际需要，人工检查和筛选已导入主控机131中的图片。

步骤S18：检测人员将主控机131中的航线数据、全部或筛选图片和视频数据传送至数据管理评估装置104中的后端数据管理模块141。

步骤S19：数据管理评估装置104中的图像病害识别模块142自动识别图片中的结构表面病害，将表面病害分类为锈蚀、裂纹、螺栓缺损、脱漆和其他类型，对识别出病害的图片标注其病害区域和类型，将标注处理后图片保存到后端数据管理模块141中。

步骤S20图像病害分析模块143将已识别分类为锈蚀、裂纹、螺栓缺损和脱漆病害的图片进行自动定量计算，计算出锈蚀或脱漆区域面积、裂纹长度宽度、螺栓缺损数量位置，再将计算结果与病害图片关联。

步骤S21：评估模块144将结构病害图片及分析结果作为评估结果自动写入预存的评估报告模板文档中，形成基本评估报告。

步骤S22：专业评估人员在评估模块144中，检查基本评估报告，在基本评估报告中写入维修保养等建议，保存为完整评估报告。

本发明的港口机械的巡检装置及巡检方法能根据港口机械的基础数据自动规划无人机的航线，无人机根据规划的航线自动飞行并航拍以完成巡检工作，采集港口机械的图像数据和视频数据。图像数据和视频数据被传输至数据管理评估装置，对图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。在必要时，可以手动修改无人机的航线或者将无人机切换至手动操作模式。该巡检装置和巡检方法自动化程度高，检测效率高，应用范围广，且安全系数高。

上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (11)

1.一种港口机械的巡检装置，其特征在于，包括：

无人机组，无人机组包括一个或多个无人机，无人机对港口机械进行巡检，获取港口机械的图像；

地面***组，地面***组包括一个或多个地面***，地面***对无人机的三维位置进行定位；

地面监控处理装置，地面监控处理装置与无人机通信，地面监控处理装置控制无人机飞行，接收无人机获取的图像，并监测无人机的状态；

数据管理评估装置，数据管理评估装置与地面监控处理装置通信，数据管理评估装置保存有港口机械的基础数据，数据管理评估装置从地面监控处理装置接收无人机获取的图像，根据图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

2.如权利要求1所述的港口机械的巡检装置，其特征在于，所述地面监控处理装置包括：

主控机，主控机规划无人机的巡检航线，控制无人机沿巡检航线飞行和航拍以获取港口机械的图像，监测无人机的状态；

手持遥控器，手持遥控器接收操作指令，根据操作指令控制无人机飞行和航拍以获取港口机械的图像；

其中，手持遥控器处于未操作状态，无人机由主控机控制自动运行，手持遥控器处于操作状态，无人机退出自动运行，由手持遥控器控制。

3.如权利要求2所述的港口机械的巡检装置，其特征在于，所述主控机包括：

界面交互模块，产生交互界面，交互界面接收指令并显示信息；

前端数据管理模块，前端数据管理模块从数据管理评估装置或界面交互模块获取港口机械的基础数据；

航线规划模块，航线规划模块根据前端数据管理模块获取的港口机械的基础数据规划自动巡检航线，或者根据交互界面获取的指令规划指定巡检航线；

航拍控制模块，根据航线规划模块规划的自动巡检航线或者指定巡检航线控制无人机飞行和航拍，以获取港口机械的图像；

监视模块，监测无人机的三维位置和状态；

通信模块，与数据管理评估装置、手持遥控器进行通信。

4.如权利要求2所述的港口机械的巡检装置，其特征在于，所述手持遥控器包括：

手持操作器，由操作人员手持，接收操作指令，根据操作指令控制无人机飞行；

数据传输模块，与无人机和主控机进行数据通信，监测无人机的状态；

图像传输模块，与无人机和主控机进行图像通信，获取无人机航拍获得的港口机械的图像和视频。

5.如权利要求1所述的港口机械的巡检装置，其特征在于，所述数据管理评估装置包括：

后端数据管理模块，对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据进行处理；

图像病害识别模块，识别港口机械的图像中的病害区域，对病害区域进行标记和分类；

图像病害分析模块，对图像病害识别模块所标记和分类的病害区域进行量化计算，并将量化计算的结果与病害区域相关联；

评估模块，基于所述量化计算的结果以及量化计算的结果与病害区域的关联生成评估结果。

6.如权利要求5所述的港口机械的巡检装置，其特征在于，

病害区域的分类包括：锈蚀、裂纹、螺栓缺损、脱漆和其他病害；

对病害区域的量化计算包括：锈蚀区域面积、脱漆区域面积、裂纹长度和宽度、螺栓缺损数量和位置。

7.如权利要求5所述的港口机械的巡检装置，其特征在于，

所述港口机械的基础数据包括港口机械的尺寸数据和位置数据；

所述航线数据包括规划航线数据和实际航线数据，其中规划航线数据包括自动巡检航线数据和指定巡检航线数据；

无人机状态数据包括：时间、检测点编号、水平横坐标、水平纵坐标、高度坐标、俯仰角、倾斜角、偏航角、拍摄云台的俯仰角、倾斜角、偏航角；

对港口机械的基础数据、航线数据、无人机状态数据、港口机械的图像数据的处理包括：保存、删除、修改、加密、解密、分类、筛选、统计、导入、导出。

8.如权利要求1所述的港口机械的巡检装置，其特征在于，所述无人机包括：机身、飞行模块、飞行控制模块、数据传输模块、图像传输模块、障碍规避模块、定位模块、航拍摄像机和循迹摄像机。

9.一种港口机械的巡检方法，使用如权利要求1-8中任一项所述的港口机械的巡检装置，其特征在于，该巡检方法包括：

航线规划步骤，根据港口机械的基础数据规划自动巡检航线；

无人机航拍步骤，控制无人机按照自动巡检航线飞行，无人机对港口机械进行航拍，监测无人机的状态并接收无人机获取的图像；

数据处理步骤，对无人机获取的图像进行病害识别和病害分析，并基于病害识别和病害分析生成评估结果。

10.如权利要求9所述的港口机械的巡检方法，其特征在于，还包括：

航线调整步骤，根据交互界面获取的指令规划指定巡检航线，无人机按照指定巡检航线飞行，对港口机械进行航拍。

11.如权利要求9所述的港口机械的巡检方法，其特征在于，还包括：

手动控制步骤，通过手持遥控器操作，无人机退出自动运行，由手持遥控器控制飞行，对港口机械进行航拍。