CN114554030A - 设备检测***以及设备检测方法 - Google Patents

Abstract

本发明涉及一种设备检测***以及设备检测方法。该设备检测***包括：搭载平台；定位感测装置，包括定位拍摄装置和定位测量装置；检测拍摄装置；以及处理器，处理器配置成：对定位拍摄装置拍摄的定位图像、定位测量装置的测量值以及检测拍摄装置拍摄的检测图像进行处理，以对待检测对象进行检测。处理器根据定位图像、测量值以及待检测对象的设计参数，实时地确定搭载平台的位姿。根据本发明的设备检测***和设备检测方法优化了定位图像的深度计算，构建周围环境的稠密深度图，并将稠密深度图与待检测对象的设计参数相结合，修正搭载平台的位姿估计，使位姿漂移最小化，提高了检测过程中的定位精度，提高检测图像的质量，并提高检测的准确性。

Description

设备检测***以及设备检测方法

技术领域

本发明涉及一种设备检测***和设备检测方法，并且更具体地，涉及使用移动装置(例如，无人机或者机器人)对设备进行检测的设备检测***和设备检测方法。

背景技术

本部分的内容仅提供了与本发明相关的背景信息，其可能并不构成现有技术。

在很多工业设备的生产制造以及使用过程中，需针对设备进行各种检测、维护。随着技术的发展，基于无人机或机器人的设备检测技术被广泛应用于各个工业领域。例如，在飞行器领域，基于无人机或机器人的设备检测技术被广泛应用于飞行器的数字化制造、飞前检查、维护与维修。基于无人机或机器人的设备检测技术的应用，特别是在检测环境恶劣并且不便于人工检测的设施中的应用，显著降低了人工成本，并且提高了检测效率。

在基于无人机或机器人的设备检测技术中，无人机或机器人的导航定位的精度对于所执行的设备检测的准确性至关重要。导航定位的精度越高，则所执行的设备检测的准确性越高。为了进一步提高设备检测的准确性，有待进一步提高无人机或机器人在执行设备检测过程中的导航定位的精度。

发明内容

本发明的一个目的在于提供一种设备检测***，以提高设备检测***的搭载平台在执行设备检测过程中的定位精度，提高检测图像的拍摄质量，从而提高设备检测的准确性。本发明的另一目的在于提高一种设备检测方法，以提高定位精度和检测准确性。

本发明的一个方面在于提供一种设备检测***，包括：搭载平台，搭载平台适于沿待检测对象的检测运动路径运动；定位感测装置，定位感测装置设置在搭载平台上，定位感测装置包括定位拍摄装置和定位测量装置，定位拍摄装置构造成在搭载平台运动的过程中拍摄定位图像，定位测量装置构造成实时地测量搭载平台的运动；检测拍摄装置，检测拍摄装置设置在搭载平台上，能够相对于搭载平台运动并且构造成拍摄待检测对象的检测图像；以及处理器，处理器配置成：对定位图像、定位测量装置的测量值以及检测图像进行处理，以对待检测对象进行检测。处理器根据定位图像、测量值以及待检测对象的设计参数，实时地确定搭载平台的位姿。

处理器包括位姿模块和检测模块，位姿模块包括当前位姿确定单元，当前位姿确定单元配置成：根据定位图像和测量值构建稠密深度图，根据待检测对象的设计参数修正稠密深度图，并根据修正后的稠密深度图确定搭载平台的位姿。检测模块包括检测图像获取单元，检测图像获取单元配置成获取检测图像。

当前位姿确定单元配置成：基于定位图像和测量值进行定位图像的深度估计；计算连续多帧定位图像的像素的置信度；构建定位图像的空间代价函数；根据空间代价函数修正定位图像的深度信息；以及基于修正的深度信息，构建所述稠密深度图。

在一个实施方式中，位姿模块还包括第一运动控制单元，第一运动控制单元根据搭载平台的位姿实时地控制搭载平台的运动，以使搭载平台进入检测运动路径并沿检测运动路径运动。

位姿模块还包括目标位姿计算单元，目标位姿计算单元配置成：根据搭载平台的位姿，确定检测拍摄装置的目标检测拍摄位姿，并将计算出的目标检测拍摄位姿发送至检测模块。

检测模块还包括第二运动控制单元。处理器还构造成：通过第一运动控制单元控制搭载平台的运动，并且/或者通过第二运动控制单元控制检测拍摄装置相对于搭载平台的运动，以将检测拍摄装置的位姿调整为目标检测拍摄位姿。检测图像获取单元配置成获取检测拍摄装置以目标检测拍摄位姿拍摄的检测图像。

当前位姿确定单元配置成：结合待检测对象的设计参数，对定位图像进行像素级分割识别，以从定位图像中分割出目标图像，目标图像为待检测对象的图像或待检测对象的检测部位的图像。目标位姿计算单元配置成：根据修正后的稠密深度图确定目标图像的深度信息，根据搭载平台的位姿和目标图像的深度信息，确定搭载平台所处的检测位置，并确定当前检测项以及相应的目标检测拍摄位姿。

当前位姿确定单元配置成：将目标图像逐像素变换至三维空间坐标系，形成三维点云；根据待检测对象的设计参数，将三维点云分成多个子点云；将各子点云中的点与待检测对象的对应点的设计参数进行匹配，并根据匹配结果，使用待检测对象的设计参数来修正各子点云中的点；以及使用修正的各子点云修正稠密深度图。

设备检测***还包括存储器，存储器存储待检测对象的设计参数信息、检测项信息、检测运动路径信息以及缺陷判断准则，处理器以有线的方式或以无线的方式与存储器通信。

设备检测***还包括地面控制器，地面控制器配置成设定检测任务、启动检测以及停止检测。

搭载平台为无人机或者检测机器人。

待检测对象位于室内或者室外，并且设备检测***对待检测对象的外部轮廓和/或内部进行检测。

本发明的另一个方面在于提供一种设备检测方法，包括以下步骤：指定待检测对象，设定检测任务；使搭载平台运动至待检测对象的检测运动路径并沿检测运动路径运动，其中，搭载平台设置有定位感测装置，定位感测装置包括定位拍摄装置和定位测量装置，定位拍摄装置构造成在搭载平台运动的过程中拍摄定位图像，定位测量装置构造成实时地测量搭载平台的运动；使用检测拍摄装置拍摄待检测对象的检测图像，检测拍摄装置设置在搭载平台上并且能够相对于搭载平台运动；对定位图像、定位测量装置的测量值以及检测图像进行处理，以对待检测对象进行检测。设备检测方法还包括：在使搭载平台运动至待检测对象的检测运动路径并沿检测运动路径运动的过程中，根据定位图像、测量值以及待检测对象的设计参数，实时地确定搭载平台的位姿。

确定搭载平台的位姿包括：根据定位图像和测量值构建稠密深度图，根据待检测对象的设计参数修正稠密深度图，并根据修正后的稠密深度图确定搭载平台的位姿。

构建稠密深度图包括：基于定位图像和测量值，进行定位图像的深度估计；计算连续多帧定位图像的像素的置信度；构建定位图像的空间代价函数；根据空间代价函数修正定位图像的深度信息；以及基于修正的深度信息，构建稠密深度图。

设备检测方法还包括：在使搭载平台运动至待检测对象的检测运动路径并沿检测运动路径运动的过程中，根据搭载平台的位姿实时地控制搭载平台的运动，以使搭载平台沿检测运动路径运动。

设备检测方法还包括：确定检测拍摄装置的目标检测拍摄位姿，并将检测拍摄装置的位姿调整为目标检测拍摄位姿。

确定检测拍摄装置的目标检测拍摄位姿包括：结合待检测对象的设计参数，对定位图像进行像素级分割识别，以从定位图像中分割出目标图像，目标图像为待检测对象的图像或待检测对象的检测部位的图像；根据修正后的稠密深度图确定目标图像的深度信息，并根据搭载平台的位姿和目标图像的深度信息，确定搭载平台所处的检测位置，并确定当前检测项以及相应的目标检测拍摄位姿。

修正稠密深度图包括：将目标图像逐像素变换至三维空间坐标系，形成三维点云；根据待检测对象的设计参数，将三维点云分成多个子点云；将各子点云中的点与待检测对象的对应点的设计参数进行匹配，并根据匹配结果，使用待检测对象的设计参数来修正各子点云中的点；以及使用修正的各子点云修正稠密深度图。

将检测拍摄装置的位姿调整为目标检测拍摄位姿包括：控制搭载平台的运动；和/或控制检测拍摄装置相对于搭载平台的运动。

对待检测对象进行检测包括：基于检测拍摄装置以目标检测拍摄位姿拍摄的检测图像，分析待检测对象的状态。

搭载平台为无人机或者检测机器人。

本发明提供了一种改进的设备检测***和设备检测方法。根据本发明的设备检测***和设备检测方法通过对连续帧定位图像进行处理，构建周围环境的稠密深度图，优化了定位图像的像素点的深度计算，改善了定位图像的像素点的深度信息的精度，并将周围环境的稠密深度图与检测对象的数字化设计参数相结合，使用检测对象的数字化设计参数优化稠密深度图，修正搭载平台的位姿估计，实现基于视觉的更准确的同步构图与定位，避免帧间像素的不一致性所导致的偏差，使定位感测装置的位姿漂移最小化，使得在执行设备检测的过程中的定位准确性无需完全依赖于所拍摄的环境图像的质量，从而即使在由于环境的影响(例如，光照、阴影或遮挡等)造成所拍摄的图像存在噪声的情况下，也能够修正位姿估计，提高定位精度，为后续的定位控制、拍摄位姿控制提供了更可靠的基础，能够提高检测图像的质量，提高检测分析的准确性。

附图说明

以下将参照附图仅以示例方式描述本发明的实施方式。在附图中，相同的特征或部件采用相同的附图标记来表示，并且附图不一定按比例绘制，并且在附图中：

图1示出了根据本发明的一个实施方式的设备检测***的示意性框图；

图2示出了根据本发明的设备检测***的设备检测方法的流程图；以及

图3示出了根据本发明的设备检测***确定搭载平台的当前位姿的流程图。

具体实施方式

下文的描述本质上仅是示例性的而并非意图限制本发明、应用及用途。应当理解，在所有这些附图中，相似的附图标记指示相同的或相似的零件及特征。各个附图仅示意性地表示了本发明的实施方式的构思和原理，并不一定示出了本发明各个实施方式的具体尺寸及其比例。在特定的附图中的特定部分可能采用夸张的方式来图示本发明的实施方式的相关细节或结构。

图1示出了根据本发明的设备检测***1的示意性框图。如图1所示，设备检测***1包括地面控制装置10、搭载平台20、定位感测装置30、检测拍摄装置40、处理器50以及存储器60。

地面控制装置10是设备检测***1的一个控制装置，可以是由操作员操作的手持控制器。地面控制装置10设置成启动或者停止搭载平台20的运动，以开始或停止对检测对象的检测。检测对象可以是各种工业设备，例如，飞机、车辆、电塔等，也可以是某些特定空间或设施，例如，工作间或厂房。地面控制装置10设置有用户输入界面，该用户输入界面可以包括检测任务设定界面11、启动检测界面13以及停止检测界面15。操作员可以通过地面控制装置10的检测任务设定界面11输入待检测对象的类型、待检测对象所处的位置、待检测对象所需检测的部位，以设定检测任务，然后，通过对启动检测界面13的操作来启动搭载平台20的运动，以开始对该检测对象的检测。在搭载平台20运动以执行检测的过程中，操作者可以随时通过对地面控制装置10的停止检测界面15的操作来终止检测。

搭载平台20是能够环绕检测对象的外轮廓运动或者在检测对象的内部运动以执行检测的移动装置，例如，可以是用于检测的无人机或者机器人。搭载平台20可以搭载设备检测***1的多个装置，例如，定位感测装置30、检测拍摄装置40、处理器50、存储器60均可以设置在搭载平台20上。搭载平台20根据地面控制装置10的命令而运动，以执行检测。

定位感测装置30设置在搭载平台20上，用于在搭载平台20的运动过程中对运动环境进行拍摄，并对搭载平台20的运动进行测量，以基于视觉实现搭载平台20的运动环境的同步建图与定位。定位感测装置30包括定位拍摄装置31和定位测量装置33。定位拍摄装置31安装在搭载平台20上。在本示例中，定位拍摄装置31安装成相对于搭载平台20具有固定的位姿，然而本发明并不限于此。在根据本发明的其他示例中，定位拍摄装置31也可以安装成使得定位拍摄装置31与搭载平台20之间的相对位姿是可调的。例如，在一个示例中，定位拍摄装置31可以经由运动可控的云台安装在搭载平台20上，能够相对于搭载平台20运动，例如相对于搭载平台20水平运动以及垂直俯仰运动，以调节拍摄方位以及俯仰角。定位拍摄装置31构造成在搭载平台20运动期间实时地拍摄运动环境的图像，以便确定和修正搭载平台20的运动路径及其位姿。定位拍摄装置31可以包括一个或多个第一摄像机，以在搭载平台20的运动过程中实时地拍摄环境的图像。该第一摄像机可以是高速摄像机，每秒钟能够拍摄例如60帧至200帧的RGB图像。定位测量装置33设置在搭载平台20上，用于实时地感测搭载平台20的空间六自由度运动，以用于确定搭载平台20及其所搭载的各装置的位姿。在本实施方式中，定位测量装置33包括惯性测量单元(IMU)，该惯性测量单元可以提供六个自由度的测量，可以包括三个单轴的加速度计和三个单轴的陀螺，用于检测搭载平台20在三维空间中的加速度和角速度，以求解搭载平台20的空间六自由度的运动，即，沿空间三轴坐标系的三个直角坐标轴方向的移动以及绕这三个坐标轴的转动，用于确定搭载平台20的姿态，并由此用于修正搭载平台20的运动路径。在其他示例中，定位测量装置33的惯性测量单元可以提供九个自由度的测量，例如，除了包括加速度计和陀螺之外，还可以包括三个单轴的磁力传感器，以提供航向信息。

检测拍摄装置40例如可以经由运动可控的云台安装在搭载平台20上，并且能够相对于搭载平台20运动，例如相对于搭载平台20水平运动以及垂直俯仰运动，以调节拍摄方位以及俯仰角。检测拍摄装置40构造成在搭载平台20沿检测对象的检测运动路径运动时拍摄检测对象的整体图像或者拍摄检测对象的某个部位的图像，以用于对检测对象进行检测和分析。检测对象的检测运动路径可以是环绕该检测对象的外轮廓的位于检测对象外部的路径，也可以是位于检测对象内部的路径。检测拍摄装置40可以包括一个或多个第二摄像机，用于在搭载平台20沿检测对象的检测运动路径运动时对检测对象或其局部部位进行拍摄，以用于检测对象的检测分析。该第二摄像机可以是低速摄像机，每秒钟可以拍摄例如3帧至10帧的RGB图像。在本文中，为了便于描述，将定位拍摄装置31和检测拍摄装置40所拍摄的RGB图像统称为环境图像，其中，将定位拍摄装置31所拍摄的RGB图像定义为定位图像，将检测拍摄装置40所拍摄的RGB图像定义为检测图像，并且将定位拍摄装置31的拍摄位姿定义为定位拍摄位姿，将检测拍摄装置40的拍摄位姿定义为检测拍摄位姿。

处理器50构造成以有线或无线的方式与地面控制装置10、定位感测装置30、检测拍摄装置40以及存储器60通信，并执行各种处理和计算。例如，处理器50可以从地面控制装置10获取检测任务，根据检测任务从存储器60获取对应的检测运动路径，处理以及分析定位拍摄装置31和检测拍摄装置40所拍摄的图像，接收定位测量装置33所感测的运动信息，计算搭载平台20及其所搭载的定位拍摄装置31和检测拍摄装置40的位姿，执行对检测对象的检测与分析。在本实施方式中，处理器50设置在搭载平台20上。可替换地，在根据本发明的其他实施方式中，处理器50也可以设置在地面控制装置10上。

处理器50主要包括位姿模块51和检测模块55。位姿模块51包括当前位姿确定单元511、第一运动控制单元513、目标位姿计算单元515。当前位姿确定单元511构造成接收并处理定位拍摄装置31所拍摄的定位图像、定位测量装置33的感测信号，并对定位图像和感测信号进行处理，以获取搭载平台20的当前位姿，用于计算检测拍摄装置40的目标检测拍摄位姿(最佳拍摄位姿)。搭载平台20的位姿是指搭载平台20在空间三轴坐标系中的位置以及姿态。当前位姿确定单元511包括多个子单元，例如但不限于，图像分割单元5111、深度计算单元5113、当前位姿修正单元5115。

图像分割单元5111构造成对定位拍摄装置31所拍摄的定位图像进行分割识别，以提取定位图像中的目标图像，该目标图像例如可以是检测对象的图像或者是检测对象的检测部位的图像。图像分割单元5111构造成在搭载平台20朝向检测对象运动以及沿检测对象的检测运动路径运动的过程中，对定位拍摄装置31所拍摄的包括有检测对象的定位图像(运动环境的图像)进行像素级分割识别，确定该定位图像中的检测对象的像素位置，从该定位图像中提取检测对象的图像，以用于计算搭载平台20与检测对象之间的相对位置，以便对搭载平台20的运动进行修正，使搭载平台20能够沿检测对象的检测运动路径运动。另外，图像分割单元5111还构造成在搭载平台20沿检测对象的检测运动路径运动的过程中，对定位拍摄装置31所拍摄的定位图像进行像素级分割识别，确定该定位图像中的检测对象的检测部位的像素位置，从定位图像中提取检测对象的检测部位(例如，飞机的机头或机翼)的图像，以供目标位姿计算单元515计算检测拍摄装置40在拍摄该检测部位的检测图像时应采取的目标检测拍摄位姿。

深度计算单元5113构造成对定位拍摄装置31所拍摄的二维定位图像进行分析，获取该定位图像中的各像素点的深度信息。定位图像中的每个像素点的深度信息是该图像的拍摄点(即，定位拍摄装置31)与每个像素点所对应的空间位置之间的距离。深度计算单元5113还构造成通过将连续多帧定位图像与相应的关键帧进行比对来计算定位图像的像素点的置信度，构建定位图像的空间代价函数，并基于空间代价函数修正定位图像的深度信息，构建周围环境的稠密深度图，从而获取该定位图像的三维数据。

当前位姿修正单元5115构造成将基于深度计算单元5113所构建的周围环境的稠密深度图，根据检测对象的设计参数，对稠密深度图进行修正，并根据修正的稠密深度图，对搭载平台20和定位拍摄装置31的位姿粗略估计(例如，根据定位测量装置33的测量结果进行的位姿粗略估计)进行修正，获取搭载平台20和定位拍摄装置31的当前位姿。定位拍摄装置31的位姿基于搭载平台20的位姿及其与搭载平台20的相对位置(包括相对于搭载平台20的安装位置、方位角、俯仰角等)确定。

第一运动控制单元513构造成根据检测对象的位置以及当前位姿修正单元5115所计算的搭载平台20的当前位姿，校准搭载平台20的运动，使搭载平台20进入该检测对象的检测运动路径，并沿该检测运动路径运动。

目标位姿计算单元515构造成根据检测拍摄装置40与搭载平台20的相对位置(包括相对于搭载平台20的安装位置、方位角、俯仰角等)以及当前位姿修正单元5115所计算的搭载平台20和定位拍摄装置31的当前位姿，确定检测拍摄装置40的当前位姿，确定搭载平台20当前所处的检测位置，并计算用于拍摄检测对象的检测图像的检测拍摄装置40应该采取的目标检测拍摄位姿，并将所计算的目标检测拍摄位姿实时地输出至检测模块55。

检测模块55构造成获取检测拍摄装置40拍摄的检测对象的检测图像，并根据所获取的检测图像对检测对象的状态进行分析，以确定是否存在缺陷并确定缺陷所在的位置以及缺陷的类型。检测模块55包括第二运动控制单元551、检测图像获取单元553以及分析单元555。第二运动控制单元551构造成接收来自位姿模块51的当前位姿确定单元511的搭载平台20的当前位姿以及来自目标位姿计算单元515的目标检测拍摄位姿，并且根据搭载平台20的当前位姿、所计算的目标检测拍摄位姿以及检测拍摄装置40与搭载平台20的相对位置，控制搭载平台20的运动，并且/或者控制检测拍摄装置40相对于搭载平台20的运动，使检测拍摄装置40处于目标检测拍摄位姿，以提高检测拍摄装置40所拍摄的检测图像的质量。检测图像获取单元553构造成获取检测拍摄装置40以目标检测拍摄位姿拍摄的检测对象的检测图像。分析单元555构造成对检测图像获取单元553所获取的检测图像进行处理与分析，以判断检测对象是否存在缺陷以及所存在的缺陷的位置与类型。优选地，分析单元555构造成在搭载平台20绕检测对象运动完成对检测对象的拍摄并返回之后对检测图像获取单元553所获取的检测图像进行处理与分析，而不必在搭载平台20的运动过程中实时地进行分析与处理，从而能够减少处理器50的实时计算量，降低处理器50的配置要求。

存储器60构造成存储各种信息以及算法等，包括：检测对象的类型、各类型的检测对象的设计参数、与各类型的检测对象对应的检测运动路径信息、与检测对象的各检测部位对应的检测项信息、各检测项所对应的缺陷判断准则等。各检测对象的设计参数包括该检测对象的各部分的设计参数、各部分之间的组装参数以及该检测对象的整体组装参数等。检测对象的设计参数可以基于该检测对象的数字化样机模型(DMU)数据。检测运动路径信息是与针对各检测对象预先设定的检测运动路径相关的信息，包括检测起始点、所需遵循的检测运动路径以及安全距离，安全距离是搭载平台20在运动过程中应与检测对象保持的最小距离。在搭载平台20沿检测对象的检测运动路径运动以进行检测的过程中，可以根据该安全距离来修正搭载平台20的运动，使其遵循该检测对象的检测运动路径。检测对象的各检测部位的检测项信息是与该检测对象的各检测部位的维修手册对应的检测项信息。例如，当检测部位为飞机的机翼时，该检测部位的检测项包括翼梢检测、机翼边缘检测以及机翼翼面检测。缺陷判断准则是与该检测对象的维修手册中的各检测项对应的缺陷判断准则。在使用设备检测***1对检测对象进行检测的过程中，存储器60中所存储的信息以及算法等以有线或无线的方式被处理器50访问与调用，以执行相应的处理。

以上介绍了设备检测***1的示意性框图。根据本发明的设备检测***1对定位拍摄装置31在搭载平台20运动过程中所拍摄的环境图像和定位测量装置33的测量结果进行处理，以实现搭载平台20的同步建图与定位，并基于检测对象的设计参数(例如，检测对象的数字化样机模型数据)，修正搭载平台的位姿估计，并由此修正搭载平台20的运动，并修正检测拍摄装置40在拍摄检测对象的检测图像时的检测拍摄位姿，减小位姿漂移，使得所拍摄的检测图像具有更精准的位姿信息，实现更精准的检测分析。

下面将结合附图，以飞机作为检测对象来说明使用根据本发明的设备检测***1对飞机进行检测的检测方法。图2示出了该检测方法的流程图，图3示出了图2中的用于确定搭载平台的当前位姿的步骤的详细流程图。

如图2所示，在使用设备检测***1对飞机进行检测时，首先，在步骤S101中，设定检测任务并启动检测。使用者通过地面控制装置10的用户输入界面设定检测任务，在检测任务设定界面11中输入待检测的检测对象为飞机，输入待检测的飞机所在的位置，并指定该飞机所需检测的部位，例如，指定检测该飞机的机头、机身、机翼等。然后，操作启动检测界面13上的启动项。一旦检测任务已设定并且启动项***作，在步骤S102中，设备检测***1根据所设定的检测任务，从存储器60获取该飞机(即，检测对象)的设计数据以及针对该飞机的检测运动路径信息，包括检测起始点、搭载平台20需遵循的检测运动路径以及搭载平台20与该飞机之间所需保持的安全距离，然后启动搭载平台20的驱动器，使搭载平台20朝向该飞机运动，并且启动定位感测装置30的定位拍摄装置31以拍摄定位图像，以及启动定位测量装置33以测量搭载平台20的运动。

在搭载平台20朝向飞机运动的过程中，在步骤S103，处理器50的当前位姿确定单元511实时地确定搭载平台20的当前位姿。搭载平台20的当前位姿用于在后续的步骤中计算搭载平台20所搭载的装置(例如，定位拍摄装置31、检测拍摄装置40)的当前位姿。例如，搭载平台20所搭载的装置的当前位姿可以根据该装置与搭载平台20之间的相对位置(包括该装置在搭载平台20上的安装位置以及相对于搭载平台20的俯仰角、方位角等)以及搭载平台20的当前位姿来确定。

在步骤S104中，根据在步骤S103中确定的搭载平台20的当前位姿，修正搭载平台20的运动，以使搭载平台20进入该飞机的检测运动路径，并沿该检测运动路径运动。飞机的检测运动路径是指为执行该飞机的检测而使搭载平台20运动所沿的路径。沿着该检测运动路径，搭载平台20与该飞机彼此靠近并且保持两者之间的合适距离，例如，使两者之间的距离为安全距离。位姿模块51的第一运动控制单元513根据搭载平台20的当前位姿以及飞机所处的位置，获取搭载平台20与飞机之间的相对位置，并且根据针对该飞机的检测运动路径信息，控制搭载平台20的运动，使搭载平台20与该检测对象之间的距离保持为安全距离，使搭载平台20进入该检测对象的检测运动路径，并运动至检测起始点。

一旦搭载平台20进入飞机的检测运动路径并运动至检测起始点，在步骤S105中，处理器50对在搭载平台20沿检测运动路径运动的过程中定位拍摄装置31所拍摄的定位图像进行处理，对定位图像进行像素级分割识别，确定搭载平台20当前所处的检测位置。首先，图像分割单元5111确定飞机(即，检测对象)在定位图像中的像素位置，对包含该飞机的定位图像进行像素级分割识别，将定位图像中的飞机图像从环境图像分离出来。接下来，根据飞机的设计数据(例如，飞机的数字化样机模型数据)，图像分割单元5111继续对飞机图像进行像素级图像分割，将飞机图像分成多个部分，例如，机头、机翼、机身、机尾等。然后，基于飞机图像的像素级分割识别以及各像素点的深度，目标位姿计算单元515判断搭载平台20当前正处于飞机的哪个检测部位的检测位置，并确定当前检测项。

在步骤S106中，处理器50的目标位姿计算单元515实时地计算并输出目标检测拍摄位姿。目标位姿计算单元515从存储器60获取与当前检测部位对应的检测项以及相应的设计参数信息，并且基于搭载平台20与当前检测部位之间的相对位置，实时地计算与该检测部位的检测项对应的检测拍摄装置40所需采取的目标检测拍摄位姿，并将计算出的目标检测拍摄位姿输出至检测模块55。例如，当搭载平台20当前正处于与机翼对应的检测位置时，目标位姿计算单元515获取机翼的检测项，并基于搭载平台20与机翼之间的相对位置，实时地计算在对机翼的各检测项进行检测时检测拍摄装置40所需采取的目标检测拍摄位姿，并将该目标检测拍摄位姿实时地输出至检测模块55。

在步骤S107中，基于计算出的目标检测拍摄位姿调节检测拍摄装置40的位姿。检测模块55的第二运动控制单元551接收来自位姿模块51的目标位姿计算单元515计算的目标检测拍摄位姿，并且根据该目标检测拍摄位姿、在步骤S103中获得的搭载平台20的当前位姿以及检测拍摄装置40与搭载平台20的相对位置，实时地控制搭载平台20的运动，并控制检测拍摄装置40相对于搭载平台20的运动，例如，控制检测拍摄装置40的云台的运动，以使检测拍摄装置40处于该检测部位的相应检测项的目标检测拍摄位姿。例如，对于机翼的检测，翼梢的检测图像的目标拍摄位姿不同于机翼边缘的检测图像的目标拍摄位姿。在检测拍摄装置40拍摄机翼的翼梢的检测图像之后拍摄机翼边缘的检测图像时，将检测拍摄装置40的检测拍摄位姿从拍摄翼梢时所采取的目标检测拍摄位姿调整为拍摄机翼边缘时的目标检测拍摄位姿。

在步骤S108中，检测模块55的检测图像获取单元553获取检测拍摄装置40以目标检测拍摄位姿拍摄的检测图像。例如，对于机翼的检测，检测图像获取单元553获取检测拍摄单元40分别以对应的目标检测拍摄位姿拍摄的机翼边缘的检测图像和翼梢的检测图像。接下来，在步骤S109中，判断检测任务是否已完成。如果检测任务已完成，无需继续对飞机(即，检测对象)的其他检测部位进行检测，则在步骤S110中，使搭载平台20返回，检测结束。如果检测任务还未完成，还需对下一个检测部位进行检测，则返回至步骤S103，并重复后面的步骤，直至完成所有检测。搭载平台20返回之后，根据检测图像获取单元553所获取的检测图像，检测模块55的分析单元555进行缺陷分析。分析单元555对检测拍摄装置40以目标检测拍摄位姿所拍摄的检测图像进行处理和分析，将检测图像的信息与储存器60中所存储的检测对象的数字化设计数据(例如，该检测对象的数字化样机数据)进行对比，根据该检测对象的维修手册，判断检测对象的该检测部位是否存在缺陷以及缺陷所在的位置以及类型。

图3示出了上述步骤S103的详细流程，示出了根据本发明的实施方式的确定搭载平台的当前位姿的方法。

如图3所示，首先，在步骤S1031中，处理器50获取定位拍摄装置31所拍摄的定位图像以及定位测量装置33(例如，惯性测量单元)所测量的搭载平台20的运动信息。然后，在步骤S1032中，基于所接收到的定位图像和运动信息，进行定位图像的深度估计。深度计算单元5113计算定位拍摄装置31与定位图像的每个像素点所对应的空间位置之间的距离，将所计算的距离作为定位图像的各像素点的粗略深度值。定位图像的像素点的深度可以基于立体视觉原理来计算，例如，基于单目视觉或多目视觉(例如，双目视觉)的立体视觉原理计算。

在步骤S1033中，处理器50计算连续多帧定位图像的各像素的匹配置信度。深度计算单元5113根据定位图像的各像素点的粗略深度值，构建包含该深度值的深度区间范围，将深度方向作为一个坐标轴方向构建三维空间，并沿着深度方向，将该三维空间以深度标签分成N份，并分别提取各邻域空间中所含的信息，例如，拍摄角度、位置、像素移位等。将定位拍摄装置31的拍摄序列中的连续多帧定位图像分别投影到相关的关键帧定位图像上，根据同一像素在连续帧定位图像中的一致性，计算匹配可信度。例如，定位拍摄装置31在拍摄定位图像时，受到环境的影响(例如，光照、阴影或遮挡等)，造成所拍摄的定位图像存在噪声，同一像素点在连续多帧定位图像中出现不一致性而导致偏差。一致性越高，则匹配可信度越高。在定位拍摄装置31的拍摄序列的定位图像中，关键帧定位图像需满足以下条件中的至少一者：1)连续帧定位图像之间的姿态角度变化超过预定角度变化阈值，在一个示例中，该预定角度变化阈值可以为5度；2)连续帧定位图像中的空间位移变化超过预定位移阈值，在一个示例中，该预定位移阈值为0.1m；以及3)连续帧定位图像的图像仿射变换过程中的像素变化比例小于有效像素比例阈值，在一个示例中，该有效像素比例阈值为0.5。

在步骤S1034中，基于步骤S1033中计算的定位图像的各像素的匹配置信度，通过图像插值运算，构建定位图像的空间代价函数。

然后，在步骤S1035中，基于步骤S1034中构建的定位图像的空间代价函数，深度计算单元5113修正定位图像的粗略深度值，计算定位图像的深度修正值，修正定位图像的深度信息。在步骤S1036中，基于修正的深度信息，深度计算单元5113构建周围环境的稠密深度图，实现二维定位图像的三维构建。

接下来，在步骤S1037中，基于周围环境的稠密深度图，并根据从存储器60调用的飞机的设计数据(例如，飞机的数字化设计模型数据)，当前位姿修正单元5115对搭载平台20的位姿估计进行修正，获取搭载平台20的当前位姿，从而实现搭载平台20的基于视觉的同步构图与定位。具体地，将从定位图像进行像素级分割识别出的目标图像(飞机的图像或飞机的某些检测部位的图像)逐像素变换至三维空间坐标系，形成三维点云。然后，根据飞机的设计参数(例如，飞机的DMU模型数据)，将三维点云分成多个组，形成多个子点云。例如，根据飞机的同一部位的各点的外形参数关系，利用聚类算法等方法将三维点云分成多个子点云。接下来，将各子点云中的点与飞机的对应点的设计参数进行匹配，根据匹配结果，使用飞机的设计参数来修正各子点云中的点。然后，使用修正的各子点云优化稠密深度图，得到修正后的稠密深度图。通过上述处理，利用飞机的设计数据对稠密深度图进行了修正，实现了搭载平台20的基于视觉的更精确的同步构图与定位，获取搭载平台20的更准确的当前位姿，从而能够提高搭载平台20及其所搭载的检测拍摄装置的定位精度，并因此能够提高检测图像的质量，提高检测分析的准确性。

根据本发明的设备检测***1通过对连续帧定位图像进行处理，基于定位图像的像素的置信度构建定位图像的空间代价函数，并基于定位图像的空间代价函数修正定位图像的深度信息，构建周围环境的稠密深度图，优化了定位拍摄装置31的拍摄序列的定位图像的深度计算，改善了定位图像的各像素点的深度计算的精度。并且，设备检测***1将周围环境的稠密深度图与检测对象的数字化设计样机数据相结合，根据检测对象的数字化设计样机数据进一步修正所构建的稠密深度图，从而修正搭载平台20的位姿估计，实现基于视觉的更准确的同步构图与定位，避免帧间像素的不一致性所导致的偏差，使得拍摄装置的位姿漂移最小化，使得在执行设备检测的过程中的定位准确性无需完全依赖于所拍摄的环境图像的质量，从而即使在由于环境的影响(例如，光照、阴影或遮挡等)造成拍摄的图像存在噪声的情况下，也能够修正位姿估计，提高定位精度，为后续的定位控制、拍摄位姿控制以及缺陷分析提供了更可靠的基础。因此，无论检测对象是位于室内环境还是室外环境，以及无论是对检测对象的外轮廓进行检测还是对检测对象的内部进行检测，根据本发明的设备检测***1及其设备检测方法均适用。

以上结合附图介绍了根据本发明的设备检测***1，并且以飞机作为检测对象的示例介绍了根据本发明的设备检测***1的设备检测方法。然而，上述示例不应作为对根据本发明的设备检测***的限制。根据本发明的设备检测***还可以应用于其他设备的检测。

在此，已详细描述了本发明的示例性实施方式，但是应该理解的是，本发明并不局限于上文详细描述和示出的具体实施方式。在不偏离本发明的主旨和范围的情况下，本领域的技术人员能够对本发明进行各种变型和变体。所有这些变型和变体都落入本发明的范围内。而且，所有在此描述的构件都可以由其他技术性上等同的构件来代替。

Claims (20)

1.一种设备检测***，包括：

搭载平台，所述搭载平台适于沿待检测对象的检测运动路径运动；

定位感测装置，所述定位感测装置设置在所述搭载平台上，所述定位感测装置包括定位拍摄装置和定位测量装置，所述定位拍摄装置构造成在所述搭载平台运动的过程中拍摄定位图像，所述定位测量装置构造成实时地测量所述搭载平台的运动；

检测拍摄装置，所述检测拍摄装置设置在所述搭载平台上，能够相对于所述搭载平台运动并且构造成拍摄所述待检测对象的检测图像；以及

处理器，所述处理器配置成：对所述定位图像、所述定位测量装置的测量值以及所述检测图像进行处理，以对所述待检测对象进行检测，

其特征在于，所述处理器根据所述定位图像、所述测量值以及所述待检测对象的设计参数，实时地确定所述搭载平台的位姿。

2.根据权利要求1所述的设备检测***，其中，所述处理器包括位姿模块和检测模块，

其中，所述位姿模块包括当前位姿确定单元，所述当前位姿确定单元配置成：根据所述定位图像和所述测量值构建稠密深度图，根据所述待检测对象的设计参数修正所述稠密深度图，并根据修正后的稠密深度图确定所述搭载平台的位姿，

所述检测模块包括检测图像获取单元，所述检测图像获取单元配置成获取所述检测图像。

3.根据权利要求2所述的设备检测***，其中，所述当前位姿确定单元配置成：基于所述定位图像和所述测量值进行定位图像的深度估计；计算连续多帧定位图像的像素的置信度；构建定位图像的空间代价函数；根据所述空间代价函数修正定位图像的深度信息；以及基于修正的深度信息，构建所述稠密深度图。

4.根据权利要求2所述的设备检测***，其中，所述位姿模块还包括第一运动控制单元，所述第一运动控制单元根据所述搭载平台的位姿实时地控制所述搭载平台的运动，以使所述搭载平台进入所述检测运动路径并沿所述检测运动路径运动。

5.根据权利要求2所述的设备检测***，其中，所述位姿模块还包括目标位姿计算单元，所述目标位姿计算单元配置成：根据所述搭载平台的位姿，确定所述检测拍摄装置的目标检测拍摄位姿，并将计算出的所述目标检测拍摄位姿发送至所述检测模块。

6.根据权利要求5所述的设备检测***，其中，所述检测模块还包括第二运动控制单元，

所述处理器还构造成：通过所述第一运动控制单元控制所述搭载平台的运动，并且/或者通过所述第二运动控制单元控制所述检测拍摄装置相对于所述搭载平台的运动，以将所述检测拍摄装置的位姿调整为所述目标检测拍摄位姿，以及

所述检测图像获取单元配置成获取所述检测拍摄装置以所述目标检测拍摄位姿拍摄的检测图像。

7.根据权利要求5所述的设备检测***，其中，所述当前位姿确定单元配置成：结合所述待检测对象的设计参数，对所述定位图像进行像素级分割识别，以从所述定位图像中分割出目标图像，所述目标图像为所述待检测对象的图像或所述待检测对象的检测部位的图像，

所述目标位姿计算单元配置成：根据修正后的稠密深度图确定所述目标图像的深度信息，并根据所述搭载平台的位姿和所述目标图像的深度信息，确定所述搭载平台所处的检测位置，并确定当前检测项以及相应的目标检测拍摄位姿。

8.根据权利要求7所述的设备检测***，其中，所述当前位姿确定单元配置成：

将所述目标图像逐像素变换至三维空间坐标系，形成三维点云；

根据所述待检测对象的设计参数，将所述三维点云分成多个子点云；

将各子点云中的点与所述待检测对象的对应点的设计参数进行匹配，并根据匹配结果，使用所述待检测对象的设计参数来修正各子点云中的点；以及

使用修正的各子点云修正所述稠密深度图。

9.根据权利要求1至8中的任一项所述的设备检测***，其中，所述设备检测***还包括存储器，所述存储器存储所述待检测对象的设计参数信息、检测项信息、检测运动路径信息以及缺陷判断准则，所述处理器以有线的方式或以无线的方式与所述存储器通信。

10.根据权利要求1至8中的任一项所述的设备检测***，所述设备检测***还包括地面控制器，所述地面控制器配置成设定检测任务、启动检测以及停止检测。

11.根据权利要求1至8中的任一项所述的设备检测***，其中，所述搭载平台为无人机或者检测机器人。

12.一种设备检测方法，包括以下步骤：

指定待检测对象，设定检测任务；

使搭载平台运动至所述待检测对象的检测运动路径并沿所述检测运动路径运动，其中，所述搭载平台设置有定位感测装置，所述定位感测装置包括定位拍摄装置和定位测量装置，所述定位拍摄装置构造成在所述搭载平台运动的过程中拍摄定位图像，所述定位测量装置构造成实时地测量所述搭载平台的运动；

使用检测拍摄装置拍摄所述待检测对象的检测图像，所述检测拍摄装置设置在所述搭载平台上并且能够相对于所述搭载平台运动；

对所述定位图像、所述定位测量装置的测量值以及所述检测图像进行处理，以对所述待检测对象进行检测，

其特征在于，所述设备检测方法还包括：在使所述搭载平台运动至所述待检测对象的检测运动路径并沿所述检测运动路径运动的过程中，根据所述定位图像、所述测量值以及所述待检测对象的设计参数，实时地确定所述搭载平台的位姿。

13.根据权利要求12所述的设备检测方法，其中，确定所述搭载平台的位姿包括：根据所述定位图像和所述测量值构建稠密深度图，并根据所述待检测对象的设计参数修正所述稠密深度图，并根据修正后的稠密深度图确定所述搭载平台的位姿。

14.根据权利要求13所述的设备检测方法，其中，构建所述稠密深度图包括：基于所述定位图像和所述测量值，进行定位图像的深度估计；计算连续多帧定位图像的像素的置信度；构建定位图像的空间代价函数；根据所述空间代价函数修正定位图像的深度信息；以及基于修正的深度信息，构建所述稠密深度图。

15.根据权利要求14所述的设备检测方法，其中，所述设备检测方法还包括：在使所述搭载平台运动至所述待检测对象的检测运动路径并沿所述检测运动路径运动的过程中，根据所述搭载平台的位姿实时地控制所述搭载平台的运动，以使所述搭载平台沿所述检测运动路径运动。

16.根据权利要求13所述的设备检测方法，所述设备检测方法还包括：确定所述检测拍摄装置的目标检测拍摄位姿，并将所述检测拍摄装置的位姿调整为所述目标检测拍摄位姿。

17.根据权利要求16所述的设备检测方法，其中，确定所述检测拍摄装置的目标检测拍摄位姿包括：结合所述待检测对象的设计参数，对所述定位图像进行像素级分割识别，以从所述定位图像中分割出目标图像，所述目标图像为所述待检测对象的图像或所述待检测对象的检测部位的图像；根据修正后的稠密深度图确定所述目标图像的深度信息，并根据所述搭载平台的位姿和所述目标图像的深度信息，确定所述搭载平台所处的检测位置，并确定当前检测项以及相应的目标检测拍摄位姿。

18.根据权利要求17所述的设备检测方法，其中，修正所述稠密深度图包括：

将所述目标图像逐像素变换至三维空间坐标系，形成三维点云；

根据所述待检测对象的设计参数，将所述三维点云分成多个子点云；

将各子点云中的点与所述待检测对象的对应点的设计参数进行匹配，并根据匹配结果，使用所述待检测对象的设计参数来修正各子点云中的点；

使用修正的各子点云修正所述稠密深度图。

19.根据权利要求16所述的设备检测方法，其中，将所述检测拍摄装置的位姿调整为所述目标检测拍摄位姿包括：控制所述搭载平台的运动；和/或控制所述检测拍摄装置相对于所述搭载平台的运动。

20.根据权利要求16所述的设备检测方法，其中，对所述待检测对象进行检测包括：基于所述检测拍摄装置以所述目标检测拍摄位姿拍摄的检测图像，分析所述待检测对象的状态。

Images