CN117975283B - 用于无人机与两栖轮足机器人集群的数据处理***及方法 - Google Patents

Abstract

本申请公开一种用于无人机与两栖轮足机器人集群的数据处理***及方法，涉及智能化数据处理技术领域，其通过无人机采集桥梁的俯瞰图像，同时通过两栖轮足机器人集群采集桥梁的多个局部图像，并在后端引入图像处理和分析算法来进行该桥梁的俯瞰图像和多个局部图像的协同分析，以此来进行桥梁表面状态的多粒度全局语义表征，从而进行桥梁状态的全面检查和评估，为桥梁设施维护、安全管理和灾害预防等提供有力支持。

Description

用于无人机与两栖轮足机器人集群的数据处理***及方法

技术领域

本申请涉及智能化数据处理技术领域，并且更具体地，涉及一种用于无人机与两栖轮足机器人集群的数据处理***及方法。

背景技术

桥梁是城市基础设施的重要组成部分，其安全性和稳定性直接关系到人民的生命财产安全。然而，由于桥梁的结构复杂、环境多变、检测难度大等因素，传统的桥梁检测方法往往依赖于人工的经验和判断，这种方式存在效率低、精度差、成本高等问题。

随着科技的不断进步，无人机和机器人技术在各个领域得到了广泛应用。无人机可以通过空中拍摄图像和视频，提供高空俯瞰的视角，而机器人则可以在地面上进行深入探索。这两种技术的结合可以实现更全面、高效的数据采集和处理。数据处理***在无人机和机器人集群中起到关键作用。它可以整合来自不同设备的数据，并对这些数据进行分析和处理，从而生成有用的信息和结果。在无人机和两栖轮足机器人集群中，数据处理***可以整合来自无人机和机器人的数据，对桥梁等基础设施进行检查和评估。

然而，在传统的数据处理***中，无人机和机器人采集的数据往往以不同的格式和结构存在，导致数据集成困难。也就是说，无人机和机器人采集的数据往往需要进行繁琐的数据转换和处理才能将这两种不同来源的数据信息整合在一起进行分析和处理。此外，传统的数据处理***在对无人机和机器人采集的数据进行处理过程中，特征提取的方式往往是基于手工设计的规则或者简单的特征提取方法，这种方法往往无法充分利用数据中的信息，导致提取的特征和数据集成不够准确和丰富，从而使得对桥梁的状态检测和判断的精准度不能满足实际应用需求。

因此，期望一种优化的用于无人机与两栖轮足机器人集群的数据处理***及方法。

发明内容

为了解决上述技术问题，提出了本申请。

第一方面，提供了一种用于无人机与两栖轮足机器人集群的数据处理***，其包括：

桥梁俯瞰图像采集模块，用于获取由无人机采集的待分析桥梁的俯瞰图像；

桥梁局部图像采集模块，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；

桥梁表面局部状态语义特征提取模块，用于通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；

桥梁表面状态全局细粒度语义特征综合分析模块，用于使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；

桥梁表面状态全局粗粒度语义特征捕捉模块，用于通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；

桥梁表面状态全局多粒度语义特征融合模块，用于融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；

桥梁状况检测模块，用于基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签；

其中，所述桥梁表面状态全局细粒度语义特征综合分析模块，包括：

矩阵构造单元，用于构造所述桥梁表面局部状态语义特征向量的序列的邻接矩阵和度矩阵；

拉普拉斯矩阵计算单元，用于基于所述邻接矩阵和所述度矩阵，计算拉普拉斯矩阵；

标准化处理单元，用于对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵；

特征向量计算单元，用于将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列，并提取前K个特征值计算所述前K个特征值的特征向量；

特征向量矩阵组成单元，用于标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述桥梁表面状态全局细粒度语义特征矩阵。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述第一深度神经网络模型为卷积神经网络模型，所述第二深度神经网络模型为卷积神经网络模型。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述矩阵构造单元，用于：以如下权重公式计算所述桥梁表面局部状态语义特征向量的序列中各个桥梁表面局部状态语义特征向量之间的关联权重值以得到所述邻接矩阵；

其中，所述权重公式为：

；

其中，和分别为所述桥梁表面局部状态语义特征向量的序列中第个和第个桥梁表面局部状态语义特征向量，为所述第个桥梁表面局部状态语义特征向量和所述第个桥梁表面局部状态语义特征向量之间的方差，表示二范数的平方，为指数运算，为所述邻接矩阵中第位置的特征值。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述矩阵构造单元，用于：所述度矩阵中的各个位置的特征值为所述桥梁表面局部状态语义特征向量的序列中每个桥梁表面局部状态语义特征向量与其相连接的所有其余所述桥梁表面局部状态语义特征向量的关联权重值之和。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述拉普拉斯矩阵计算单元，用于：基于所述邻接矩阵和所述度矩阵，以如下拉普拉斯公式计算所述拉普拉斯矩阵；

其中，所述拉普拉斯公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为所述拉普拉斯矩阵。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述标准化处理单元，用于：以如下标准化公式对所述拉普拉斯矩阵进行标准化处理以得到所述标准化后拉普拉斯矩阵；

其中，所述标准化公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为单位矩阵，为所述标准化后拉普拉斯矩阵。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，所述桥梁状况检测模块，用于：将所述桥梁表面状态全局多粒度语义特征矩阵通过基于分类器的桥梁状态评估器以得到桥梁状态评估结果，其中，所述桥梁状态评估结果为桥梁状况等级标签。

在上述用于无人机与两栖轮足机器人集群的数据处理***中，还包括用于对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述联合聚类网络、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练的训练模块；

其中，所述训练模块，包括：

训练桥梁俯瞰图像采集单元，用于获取由无人机采集的待分析桥梁的训练俯瞰图像；

训练桥梁局部图像采集单元，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的训练局部图像的集合；

训练桥梁表面局部状态语义特征提取单元，用于通过所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述训练局部图像的集合中的各个训练局部图像进行特征提取以得到训练桥梁表面局部状态语义特征向量的序列；

训练桥梁表面状态全局细粒度语义特征综合分析单元，用于使用所述联合聚类网络对所述训练桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到训练桥梁表面状态全局细粒度语义特征矩阵；

训练桥梁表面状态全局粗粒度语义特征捕捉单元，用于通过所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的训练俯瞰图像进行特征提取以得到训练桥梁表面状态全局粗粒度语义特征矩阵；

训练桥梁表面状态全局多粒度语义特征融合单元，用于融合所述训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵以得到训练桥梁表面状态全局多粒度语义特征矩阵；

聚类优化单元，用于对所述训练桥梁表面状态全局多粒度语义特征矩阵进行聚类优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵；

训练分类单元，用于将所述优化后训练桥梁表面状态全局多粒度语义特征矩阵通过所述基于分类器的桥梁状态评估器以得到分类损失函数值；

训练单元，用于基于所述分类损失函数值对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述联合聚类网络、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练。

第二方面，提供了一种用于无人机与两栖轮足机器人集群的数据处理方法，其包括：

获取由无人机采集的待分析桥梁的俯瞰图像；

获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；

通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；

使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；

通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；

融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；

基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签；

其中，使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵，包括：

构造所述桥梁表面局部状态语义特征向量的序列的邻接矩阵和度矩阵；

基于所述邻接矩阵和所述度矩阵，计算拉普拉斯矩阵；

对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵；

将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列，并提取前K个特征值计算所述前K个特征值的特征向量；

标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述桥梁表面状态全局细粒度语义特征矩阵。

与现有技术相比，本申请提供的用于无人机与两栖轮足机器人集群的数据处理***及方法，其通过无人机采集桥梁的俯瞰图像，同时通过两栖轮足机器人集群采集桥梁的多个局部图像，并在后端引入图像处理和分析算法来进行该桥梁的俯瞰图像和多个局部图像的协同分析，以此来进行桥梁表面状态的多粒度全局语义表征，从而进行桥梁状态的全面检查和评估，为桥梁设施维护、安全管理和灾害预防等提供有力支持。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***的框图。

图2为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理方法的流程图。

图3为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理方法架构的示意图。

图4为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***的应用场景图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅只是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解，“第一、第二、第三”所区分的对象在适当情况下可以互换，以便除了这里图示或描述的顺序之外，实施例可以以其他顺序进行。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

在本申请的一个实施例中，图1为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***的框图。如图1所示，根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***100，包括：桥梁俯瞰图像采集模块110，用于获取由无人机采集的待分析桥梁的俯瞰图像；桥梁局部图像采集模块120，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；桥梁表面局部状态语义特征提取模块130，用于通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；桥梁表面状态全局细粒度语义特征综合分析模块140，用于使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；桥梁表面状态全局粗粒度语义特征捕捉模块150，用于通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；桥梁表面状态全局多粒度语义特征融合模块160，用于融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；桥梁状况检测模块170，用于基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签。

其中，所述第一深度神经网络模型为卷积神经网络模型，所述第二深度神经网络模型为卷积神经网络模型。

针对上述技术问题，在本申请的技术方案中，提出了一种用于无人机与两栖轮足机器人集群的数据处理***，其能够利用无人机与两栖轮足机器人集群的协同优势，对桥梁进行高效、准确和低成本的检测，并生成详细的桥梁状况信息，为桥梁维护、安全管理和灾害预防等提供有力的支持。

其中，利用无人机和两栖轮足机器人集群进行桥梁检测，能够快速覆盖大面积，实现高效的检测，相比传统的人工巡检，大大缩短了检测时间，提高了工作效率。通过集群协同工作，***能够实现多角度、多高度的全方位检测，提高了检测的全面性和准确性。同时，利用传感器和图像识别技术，能够更精准地识别桥梁结构的问题和缺陷，有效降低了误报率。相比传统的人工巡检或单一机器人巡检，利用集群协同工作的方式，可以大幅降低人力成本，并且减少了设备的单点故障风险，从而降低了维护成本。通过数据处理***，可以生成详细的桥梁状况信息，包括结构健康状况、损伤程度、维护建议等，为桥梁维护、安全管理和灾害预防提供了有力支持，这些信息可以帮助相关部门及时制定维护计划，提高桥梁的使用安全性和延长使用寿命。

具体地，本申请的技术构思为通过无人机采集桥梁的俯瞰图像，同时通过两栖轮足机器人集群采集桥梁的多个局部图像，并在后端引入图像处理和分析算法来进行该桥梁的俯瞰图像和多个局部图像的协同分析，以此来进行桥梁表面状态的多粒度全局语义表征，从而进行桥梁状态的全面检查和评估，为桥梁设施维护、安全管理和灾害预防等提供有力支持。

更具体地，在本申请的技术方案中，首先，获取由无人机采集的待分析桥梁的俯瞰图像，并获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合。接着，使用在图像的隐含特征提取方面具有优异表现性能的基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征挖掘，以分别提取出所述各个局部图像中关于桥梁表面的局部区域细粒度状态语义特征信息，从而得到桥梁表面局部状态语义特征向量的序列。

应可以理解，由于桥梁表面的各个局部区域中可能存在着关于桥梁的不同状态和语义特征，并且，所述各个局部图像中关于桥梁表面的局部区域状态特征之间具有着基于桥梁表面整体的语义关联关系，因此，为了能够综合考虑桥梁表面的不同局部区域的状态语义特征信息，从而提高对桥梁表面细粒度状态特征的识别和刻画能力，以便于更为准确地进行桥梁表面状态的评估，在本申请的技术方案中，进一步使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵。通过使用所述联合聚类网络来进行处理，能够综合利用桥梁表面的不同局部区域状态语义特征之间的相似性和关联性关系，并筛选和融合与桥梁表面状态检测相关的重要语义关联特征。这样，能够将所述桥梁表面局部状态语义特征向量的序列进行全局分析，并减少了个别异常数据的影响，以便于综合利用桥梁表面的局部区域细粒度状态语义特征之间的联合语义特征来更为准确地进行桥梁状态的评估。

在本申请的一个具体实施例中，所述桥梁表面状态全局细粒度语义特征综合分析模块，包括：矩阵构造单元，用于构造所述桥梁表面局部状态语义特征向量的序列的邻接矩阵和度矩阵；拉普拉斯矩阵计算单元，用于基于所述邻接矩阵和所述度矩阵，计算拉普拉斯矩阵；标准化处理单元，用于对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵；特征向量计算单元，用于将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列，并提取前K个特征值计算所述前K个特征值的特征向量；特征向量矩阵组成单元，用于标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述桥梁表面状态全局细粒度语义特征矩阵。

其中，在本申请的一个实施例中，所述矩阵构造单元，用于：以如下权重公式计算所述桥梁表面局部状态语义特征向量的序列中各个桥梁表面局部状态语义特征向量之间的关联权重值以得到所述邻接矩阵；其中，所述权重公式为：

；

其中，和分别为所述桥梁表面局部状态语义特征向量的序列中第个和第个桥梁表面局部状态语义特征向量，为所述第个桥梁表面局部状态语义特征向量和所述第个桥梁表面局部状态语义特征向量之间的方差，表示二范数的平方，为指数运算，为所述邻接矩阵中第位置的特征值。

进一步地，所述矩阵构造单元，用于：所述度矩阵中的各个位置的特征值为所述桥梁表面局部状态语义特征向量的序列中每个桥梁表面局部状态语义特征向量与其相连接的所有其余所述桥梁表面局部状态语义特征向量的关联权重值之和。

在本申请的一个具体实施例中，所述拉普拉斯矩阵计算单元，用于：基于所述邻接矩阵和所述度矩阵，以如下拉普拉斯公式计算所述拉普拉斯矩阵；其中，所述拉普拉斯公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为所述拉普拉斯矩阵。

在本申请的一个具体实施例中，所述标准化处理单元，用于：以如下标准化公式对所述拉普拉斯矩阵进行标准化处理以得到所述标准化后拉普拉斯矩阵；其中，所述标准化公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为单位矩阵，为所述标准化后拉普拉斯矩阵。

然后，将所述待分析桥梁的俯瞰图像通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器中进行特征挖掘，以提取出所述待分析桥梁的俯瞰图像中关于桥梁表面的全局粗粒度状态语义特征信息，从而得到桥梁表面状态全局粗粒度语义特征矩阵。

进一步地，由于所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵分别捕捉了桥梁表面的细节和整体特征，其中，细粒度特征可以提供关于桥梁表面状态的更详细的局部语义特征信息，用于帮助识别桥梁表面的局部问题和细微变化，而粗粒度特征可以提供关于桥梁表面的更全局的概览，用于识别桥梁表面的整体缺陷，两者相结合可以得到更全面、准确的特征表示。基于此，在本申请的技术方案中，为了能够提高桥梁表面状态语义特征的表达的能力，从而更好地描述桥梁的表面状态，需要进一步融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵。这样，可以综合考虑到关于桥梁表面的不同粒度的状态语义信息，从而得到更全面、丰富的桥梁表面状态多粒度语义特征表示，以此来更全面地表征桥梁的状况，从而提供更全面、准确的桥梁状态评估和管理。

继而，再将所述桥梁表面状态全局多粒度语义特征矩阵通过基于分类器的桥梁状态评估器以得到桥梁状态评估结果，其中，所述桥梁状态评估结果为桥梁状况等级标签。具体地，在本申请的技术方案中，所述分类器的标签为桥梁状况等级标签，因此，在得到所述分类结果后，可以基于所述分类结果来进行桥梁状态的全面检查和评估，为桥梁设施维护、安全管理和灾害预防等提供有力支持。

在本申请的一个具体实施例中，所述桥梁状况检测模块，用于：将所述桥梁表面状态全局多粒度语义特征矩阵通过基于分类器的桥梁状态评估器以得到桥梁状态评估结果，其中，所述桥梁状态评估结果为桥梁状况等级标签。

在本申请的一个实施例中，所述用于无人机与两栖轮足机器人集群的数据处理***，还包括用于对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述联合聚类网络、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练的训练模块；其中，所述训练模块，包括：训练桥梁俯瞰图像采集单元，用于获取由无人机采集的待分析桥梁的训练俯瞰图像；训练桥梁局部图像采集单元，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的训练局部图像的集合；训练桥梁表面局部状态语义特征提取单元，用于通过所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述训练局部图像的集合中的各个训练局部图像进行特征提取以得到训练桥梁表面局部状态语义特征向量的序列；训练桥梁表面状态全局细粒度语义特征综合分析单元，用于使用所述联合聚类网络对所述训练桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到训练桥梁表面状态全局细粒度语义特征矩阵；训练桥梁表面状态全局粗粒度语义特征捕捉单元，用于通过所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的训练俯瞰图像进行特征提取以得到训练桥梁表面状态全局粗粒度语义特征矩阵；训练桥梁表面状态全局多粒度语义特征融合单元，用于融合所述训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵以得到训练桥梁表面状态全局多粒度语义特征矩阵；聚类优化单元，用于对所述训练桥梁表面状态全局多粒度语义特征矩阵进行聚类优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵；训练分类单元，用于将所述优化后训练桥梁表面状态全局多粒度语义特征矩阵通过所述基于分类器的桥梁状态评估器以得到分类损失函数值；训练单元，用于基于所述分类损失函数值对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述联合聚类网络、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练。

在上述技术方案中，所述训练桥梁表面局部状态语义特征向量的序列中的各个训练桥梁表面局部状态语义特征向量表示待分析桥梁的训练局部图像的集合中的各个训练局部图像的图像语义特征。在使用联合聚类网络对所述训练桥梁表面局部状态语义特征向量的序列进行联合聚类分析时，所述联合聚类网络能够聚合所述待分析桥梁的各个训练局部图像的图像语义特征以得到用于表示所述待分析桥梁的训练表面状态细粒度特征分布的所述训练桥梁表面状态全局细粒度语义特征矩阵。相应地，所述训练桥梁表面状态全局粗粒度语义特征矩阵用于表示待分析桥梁的训练俯瞰图像的图像语义特征，因所述待分析桥梁的训练俯瞰图像的图像感受野大小远超所述待分析桥梁的训练局部图像，因此相较于所述训练桥梁表面状态全局细粒度语义特征矩阵，所得到的所述训练桥梁表面状态全局粗粒度语义特征矩阵表示所述待分析桥梁的训练表面状态粗粒度特征分布。

这样，在融合所述训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵后，得到的所述训练桥梁表面状态全局多粒度语义特征矩阵就具有针对所述待分析桥梁的表面状态的细粒度-粗粒度高维相关度特征表达。但是，在所述训练桥梁表面状态全局多粒度语义特征矩阵融合了训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵的桥梁表面状态不同粒度特征的情况下，所述训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵各自的基于其特定粒度的特征分布的特征分布信息显著性也会受到影响，也就是，训练桥梁表面状态全局多粒度语义特征矩阵作为特征分布整体具有局部特征分布离散性，会导致当所述训练桥梁表面状态全局多粒度语义特征矩阵通过分类器进行分类时，会存在类概率收敛困难，从而影响分类器的训练速度和最终得到的分类结果的准确性。基于此，本申请对所述训练桥梁表面状态全局多粒度语义特征矩阵进行聚类优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵。

在本申请的一个具体实施例中，所述聚类优化单元，包括：首先对所述训练桥梁表面状态全局多粒度语义特征矩阵的各个特征值进行聚类，例如基于特征值间距离的聚类，再基于聚类后的特征类内和类外表征进行优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵。

在本申请的一个具体实施例中，基于聚类后的特征类内和类外表征进行优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵，包括：以如下聚类优化公式基于聚类后的特征类内和类外表征进行优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵；其中，所述聚类优化公式为：

；

其中，是所述训练桥梁表面状态全局多粒度语义特征矩阵的各个特征值，是所述训练桥梁表面状态全局多粒度语义特征矩阵对应的特征集合数目，是聚类特征数目，表示聚类特征集合，是所述优化后训练桥梁表面状态全局多粒度语义特征矩阵的各个特征值。

具体地，通过将所述训练桥梁表面状态全局多粒度语义特征矩阵的类内特征和类外特征作为不同的实例角色来进行基于聚类比例分布的类实例描述，并引入基于类内和类外动态上下文的聚类响应历史，来对所述训练桥梁表面状态全局多粒度语义特征矩阵的整体特征的类内分布和类外分布保持协调的全局视角，使得对于所述训练桥梁表面状态全局多粒度语义特征矩阵的优化的特征聚类操作可以维持类内和类外特征的连贯一致的响应，从而在分类过程中基于特征聚类的类概率收敛路径保持连贯一致，提升所述训练桥梁表面状态全局多粒度语义特征矩阵的类概率收敛效果。这样，能够利用无人机与两栖轮足机器人集群的协同优势，对桥梁状态进行高效、准确和低成本的全面检测和评估，为桥梁维护、安全管理和灾害预防等提供有力的支持。

综上，基于本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***100被阐明，其进行桥梁状态的全面检查和评估，为桥梁设施维护、安全管理和灾害预防等提供有力支持。

如上所述，根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***100可以实现在各种终端设备中，例如用于无人机与两栖轮足机器人集群的数据处理的服务器等。在一个示例中，根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于无人机与两栖轮足机器人集群的数据处理***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于无人机与两栖轮足机器人集群的数据处理***100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该用于无人机与两栖轮足机器人集群的数据处理***100与该终端设备也可以是分立的设备，并且该用于无人机与两栖轮足机器人集群的数据处理***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

在本申请的一个实施例中，图2为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理方法的流程图。图3为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理方法架构的示意图。如图2和图3所示，所述用于无人机与两栖轮足机器人集群的数据处理方法，包括：210，获取由无人机采集的待分析桥梁的俯瞰图像；220，获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；230，通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；240，使用联合聚类网络对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；250，通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；260，融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；270，基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签。

本领域技术人员可以理解，上述用于无人机与两栖轮足机器人集群的数据处理方法中的各个步骤的具体操作已经在上面参考图1的用于无人机与两栖轮足机器人集群的数据处理***的描述中得到了详细介绍，并因此，将省略其重复描述。

图4为根据本申请实施例的用于无人机与两栖轮足机器人集群的数据处理***的应用场景图。如图4所示，在该应用场景中，首先，获取由无人机采集的待分析桥梁的俯瞰图像（例如，图4中所示意的C1）；以及，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合（例如，图4中所示意的C2）；然后，将获取的俯瞰图像和局部图像的集合输入至部署有用于无人机与两栖轮足机器人集群的数据处理算法的服务器（例如，图4中所示意的S）中，其中所述服务器能够基于用于无人机与两栖轮足机器人集群的数据处理算法对所述俯瞰图像和所述局部图像的集合进行处理，以确定桥梁状况等级标签。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，包括：

桥梁俯瞰图像采集模块，用于获取由无人机采集的待分析桥梁的俯瞰图像；

桥梁局部图像采集模块，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；

桥梁表面局部状态语义特征提取模块，用于通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；

桥梁表面状态全局细粒度语义特征综合分析模块，用于对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；

桥梁表面状态全局粗粒度语义特征捕捉模块，用于通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；

桥梁表面状态全局多粒度语义特征融合模块，用于融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；

桥梁状况检测模块，用于基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签；

其中，所述桥梁表面状态全局细粒度语义特征综合分析模块，包括：

矩阵构造单元，用于构造所述桥梁表面局部状态语义特征向量的序列的邻接矩阵和度矩阵；

拉普拉斯矩阵计算单元，用于基于所述邻接矩阵和所述度矩阵，计算拉普拉斯矩阵；

标准化处理单元，用于对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵；

特征向量计算单元，用于将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列，并提取前K个特征值计算所述前K个特征值的特征向量；

特征向量矩阵组成单元，用于标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述桥梁表面状态全局细粒度语义特征矩阵。

2.根据权利要求1所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述第一深度神经网络模型为卷积神经网络模型，所述第二深度神经网络模型为卷积神经网络模型。

3.根据权利要求2所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述矩阵构造单元，用于：以如下权重公式计算所述桥梁表面局部状态语义特征向量的序列中各个桥梁表面局部状态语义特征向量之间的关联权重值以得到所述邻接矩阵；

其中，所述权重公式为：

；

其中，和分别为所述桥梁表面局部状态语义特征向量的序列中第个和第个桥梁表面局部状态语义特征向量，为所述第个桥梁表面局部状态语义特征向量和所述第个桥梁表面局部状态语义特征向量之间的方差，表示二范数的平方，为指数运算，为所述邻接矩阵中第位置的特征值。

4.根据权利要求3所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述矩阵构造单元，用于：所述度矩阵中的各个位置的特征值为所述桥梁表面局部状态语义特征向量的序列中每个桥梁表面局部状态语义特征向量与其相连接的所有其余所述桥梁表面局部状态语义特征向量的关联权重值之和。

5.根据权利要求4所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述拉普拉斯矩阵计算单元，用于：基于所述邻接矩阵和所述度矩阵，以如下拉普拉斯公式计算所述拉普拉斯矩阵；

其中，所述拉普拉斯公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为所述拉普拉斯矩阵。

6.根据权利要求5所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述标准化处理单元，用于：以如下标准化公式对所述拉普拉斯矩阵进行标准化处理以得到所述标准化后拉普拉斯矩阵；

其中，所述标准化公式为：

；

其中，为所述邻接矩阵，为所述度矩阵，为单位矩阵，为所述标准化后拉普拉斯矩阵。

7.根据权利要求6所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，所述桥梁状况检测模块，用于：将所述桥梁表面状态全局多粒度语义特征矩阵通过基于分类器的桥梁状态评估器以得到桥梁状态评估结果，其中，所述桥梁状态评估结果为桥梁状况等级标签。

8.根据权利要求7所述的用于无人机与两栖轮足机器人集群的数据处理***，其特征在于，还包括用于对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练的训练模块；

其中，所述训练模块，包括：

训练桥梁俯瞰图像采集单元，用于获取由无人机采集的待分析桥梁的训练俯瞰图像；

训练桥梁局部图像采集单元，用于获取由两栖轮足机器人集群采集的所述待分析桥梁的训练局部图像的集合；

训练桥梁表面局部状态语义特征提取单元，用于通过所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述训练局部图像的集合中的各个训练局部图像进行特征提取以得到训练桥梁表面局部状态语义特征向量的序列；

训练桥梁表面状态全局细粒度语义特征综合分析单元，用于使用对所述训练桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到训练桥梁表面状态全局细粒度语义特征矩阵；

训练桥梁表面状态全局粗粒度语义特征捕捉单元，用于通过所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的训练俯瞰图像进行特征提取以得到训练桥梁表面状态全局粗粒度语义特征矩阵；

训练桥梁表面状态全局多粒度语义特征融合单元，用于融合所述训练桥梁表面状态全局细粒度语义特征矩阵和所述训练桥梁表面状态全局粗粒度语义特征矩阵以得到训练桥梁表面状态全局多粒度语义特征矩阵；

聚类优化单元，用于对所述训练桥梁表面状态全局多粒度语义特征矩阵进行聚类优化以得到优化后训练桥梁表面状态全局多粒度语义特征矩阵；

训练分类单元，用于将所述优化后训练桥梁表面状态全局多粒度语义特征矩阵通过所述基于分类器的桥梁状态评估器以得到分类损失函数值；

训练单元，用于基于所述分类损失函数值对所述基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器、所述基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器和所述基于分类器的桥梁状态评估器进行训练。

9.一种用于无人机与两栖轮足机器人集群的数据处理方法，其特征在于，包括：

获取由无人机采集的待分析桥梁的俯瞰图像；

获取由两栖轮足机器人集群采集的所述待分析桥梁的局部图像的集合；

通过基于第一深度神经网络模型的桥梁局部区域细粒度状态特征提取器分别对所述局部图像的集合中的各个局部图像进行特征提取以得到桥梁表面局部状态语义特征向量的序列；

对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵；

通过基于第二深度神经网络模型的桥梁表面粗粒度状态特征提取器对所述待分析桥梁的俯瞰图像进行特征提取以得到桥梁表面状态全局粗粒度语义特征矩阵；

融合所述桥梁表面状态全局细粒度语义特征矩阵和所述桥梁表面状态全局粗粒度语义特征矩阵以得到桥梁表面状态全局多粒度语义特征矩阵作为桥梁表面状态全局多粒度语义特征；

基于所述桥梁表面状态全局多粒度语义特征，确定桥梁状况等级标签；

其中，对所述桥梁表面局部状态语义特征向量的序列进行联合聚类分析以得到桥梁表面状态全局细粒度语义特征矩阵，包括：

构造所述桥梁表面局部状态语义特征向量的序列的邻接矩阵和度矩阵；

基于所述邻接矩阵和所述度矩阵，计算拉普拉斯矩阵；

对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵；

将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列，并提取前K个特征值计算所述前K个特征值的特征向量；

标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述桥梁表面状态全局细粒度语义特征矩阵。