CN118135431A - 一种基于多尺度结构方向的无人机多模态匹配方法及*** - Google Patents

Abstract

本发明公开了一种基于多尺度结构方向的无人机多模态匹配方法及***，采用多模态的无人机拍摄的待检测目标的图像提供更多的特征进行检测，使用超体素分割对多模态的图像进行分割，连续不同时间的待检测目标的图像用于动态的变化情况判断，再静态判断待检测目标在姿态变化的无人机中的设备中拍摄的角度，能够更加准确地判断待检测目标的拍摄角度，从而更加准确的在相同位置构建不同特征的三维图，从而进行特征融合。由融合的特征对超体素分离的结构区域进行结构特征的提取，按照不同结构进行加权，按照加权特征进行模板匹配能够更加准确的按照局部结构和融合后的整体结构对待检测目标进行匹配，使得注重结构地对待检测目标进行准确的匹配。

Description

一种基于多尺度结构方向的无人机多模态匹配方法及***

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于多尺度结构方向的无人机多模态匹配方法及***。

背景技术

目前，无人机在飞行过程中对待检测目标进行拍摄，采用一种类型的图像，放弃了待检测目标的其他特征，无法准确地对待检测目标进行匹配。但是采用多源信息的图像对待检测目标进行匹配运算，会使得多源信息中非必要特征过多，导致无法准确依靠待检测目标的特性进行匹配，而纠缠在一些可变的特征，在其影响下，会导致待检测目标匹配不准确。

发明内容

针对现有技术中存在的不足，本发明目的是提供一种基于多尺度结构方向的无人机多模态匹配方法及***，用以解决现有技术中存在的上述问题。

为解决上述技术问题，本发明提供的技术方案是：

本发明提供一种基于多尺度结构方向的无人机多模态匹配方法，包括：

获得实时监测的无人机时空状态；所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态；

获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像；一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点；所述多模态图像包含待检测目标；

将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像；多个可见光图像对应获得多个分割可见光图像；多个红外图像对应获得多个分割红外图像；多个点云图像对应获得多个分割点云图像；

基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征；

基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征；

根据多个结构特征进行结构方向加权，得到加权特征；

基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

可选的，所述基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征，包括：

根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征；

根据分割可见光图像和分割点云图像进行多尺度结构上的融合，得到可见光点云特征；

根据分割红外图像和分割点云图像进行多尺度结构上的融合，得到红外点云特征；

将所述可见光红外特征、可见光点云特征和红外点云特征，进行多尺度结构方向融合，得到融合特征。

可选的，所述根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征，包括：

将多个无人机拍摄时间点的分割可见光图像输入时间卷积网络，提取随时间变化的无人机拍摄角度，得到可见光拍摄角度特征；

根据所述分割可见光图像，进行待检测目标的轮廓提取，得到可见光目标轮廓；所述可见光目标轮廓与可见光拍摄角度特征对应同一时间点；

将多个无人机拍摄时间点的分割红外图像输入时间卷积网络，提取随时间变化的拍摄角度，得到红外拍摄角度特征；

根据所述分割红外图像，进行待检测目标的轮廓提取，得到红外目标轮廓；所述红外目标轮廓与红外拍摄角度特征对应同一时间点；

根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征。

可选的，所述基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征，包括：

将所述分割可见光图像、分割红外图像和分割点云图像输入结构判别网络，得到多个结构区域和对应的结构类别；

将多个结构区域和融合特征输入进行分类头，进行分类，得到细分结构类别；

将融合特征中结构区域对应的特征进行多尺度结构方向提取，得到结构特征；多个结构区域对应获得多个结构特征。

可选的，所述红外拍摄角度特征根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征，包括：

基于无人机姿态，获得可见光拍摄方向和红外检测方向；

根据可见光拍摄方向、红外检测方向、可见光拍摄角度特征和红外拍摄角度特征，调整分割红外图像与分割可见光图像的对应角度；

基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵；

将所述匹配三维矩阵通过曲波变换进行多尺度结构方向提取，得到可见光红外特征。

可选的，所述基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵，包括：

获得基于无人机高度，将调整后的分割红外图像和分割可见光图像中待检测目标调整到同一尺寸；

将不同拍摄角度的分割红外图像和分割可见光图像进行位置匹配，构建可见光三维红外矩阵；

按照调整后的分割红外图像的纵坐标相减，获取大于其他差值的纵坐标之差，得到红外目标距离；

按照调整后的分割可见光图像的纵坐标相减，获取大于其他差值的纵坐标之差，得到可见光目标距离；

根据红外目标距离除以可见光目标距离，得到可见光比例；

将红外设备位置和摄像设备位置的距离除以无人机高度；

将所述分割可见光图像按照可见光比例调整像素，得到第一分割可见光图像；将第一分割可见光图像替换对应角度的分割可见光图像，得到匹配三维矩阵。

可选的，所述红外目标距离和可见光目标距离为同一观测角度。

可选的，所述得到可见光点云特征图和得到红外点云特征图的方法与得到可见光红外特征的方法相同。

可选的，所述将所述可见光红外特征、可见光点云特征和红外点云特征，进行多尺度结构方向融合，得到融合特征，包括：

所述融合特征包括第一融合特征和第二融合特征；所述第一融合特征和第二融合特征的尺度不同；

将所述可见光点云特征、红外点云特征和可见光红外特征融合后，得到第一融合特征；

将所述可见光红外特征进行上采样，得到第二可见光红外特征；

将可见光点云特征进行上采样，得到第二可见光点云特征；

将所述红外点云特征进行上采样，得到第二红外点云特征；

将所述第一融合特征进行上采样，得到第二融合特征；

将第一可见光红外特征、第一可见光点云特征、第一红外点云特征和第二融合特征进行特征融合，得到第二融合特征。

本发明实施例提供了一种基于多尺度结构方向的无人机多模态匹配***，包括：

获取模块：获得实时监测的无人机时空状态；所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态；获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像；一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点；所述多模态图像包含待检测目标；

超体素分割模块：将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像；多个可见光图像对应获得多个分割可见光图像；多个红外图像对应获得多个分割红外图像；多个点云图像对应获得多个分割点云图像；

融合模块：基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征；

特征提取模块：基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特；

加权模块：根据多个结构特征进行结构方向加权，得到加权特征；

匹配模块：基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

本发明的有益效果是：

本发明提供了一种基于多尺度结构方向的无人机多模态匹配方法和***，所述方法包括：获得实时监测的无人机时空状态。所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态。获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像。一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点。所述多模态图像包含待检测目标。将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像。多个可见光图像对应获得多个分割可见光图像。多个红外图像对应获得多个分割红外图像。多个点云图像对应获得多个分割点云图像。基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征。基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征。根据多个结构特征进行结构方向加权，得到加权特征。基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

采用多模态的无人机拍摄的待检测目标的图像提供更多的特征进行检测。使用超体素分割对多模态的图像进行分割，采用连续不同时间的待检测目标的图像用于动态的变化情况判断，采用静态判断待检测目标在姿态变化的无人机中的设备中拍摄的角度，能够更加准确地判断待检测目标的拍摄角度，从而更加准确的在相同位置构建不同特征的三维图，从而进行特征融合。由融合的特征对超体素分离的结构区域进行结构特征的提取，按照不同结构进行加权，按照加权特征进行模板匹配能够更加准确的按照局部结构和融合后的整体结构对待检测目标进行匹配，使得注重结构的对待检测目标进行准确地匹配。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一种基于多尺度结构方向的无人机多模态匹配方法流程图具体实施方式

以下结合附图对本发明的优选实例进行说明，应当理解，此处所描述的优选实例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明实施例提供一种基于多尺度结构方向的无人机多模态匹配方法，所述方法包括：

S101：获得实时监测的无人机时空状态。所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态。

S102：获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像。一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点。所述多模态图像包含待检测目标。

其中，所述多个可见光图像、多个红外图像和多个点云图像包含无人机拍摄的包含待检测目标的图像。

其中，使用可见光图像、红外图像和点云图像多尺度多模态进行特征提取。

其中，所述可见光图像、红外图像和点云图像为二维。

S103：将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像。多个可见光图像对应获得多个分割可见光图像。多个红外图像对应获得多个分割红外图像。多个点云图像对应获得多个分割点云图像。

其中，本实施例中，通过流形SLIC算法进行超体素分割。可见光图像进行超体素分割得到分割可见光图像，红外图像进行超体素分割得到分割红外图像，点云图像进行超体素分割得到分割点云图像。

S104：基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征。

其中，进行无人机多尺度多模态匹配的方向在于无人机的结构而不是无人机的其他属性。

S105：基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征。

其中，用于得到多个结构特征的分割可见光图像、分割红外图像和分割点云图像与融合特征对应的图像再统一时间点。

S106：根据多个结构特征进行结构方向加权，得到加权特征。

其中，按照设定的结构类别对应的权重进行加权。

S107：基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

其中，获得包含不同待检测目标的多个模板，将模板和加权特征通过判别器进行匹配，判断是否为模板对应的待检测目标。

可选的，所述基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征，包括：

根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征。

根据分割可见光图像和分割点云图像进行多尺度结构上的融合，得到可见光点云特征。

根据分割红外图像和分割点云图像进行多尺度结构上的融合，得到红外点云特征。

将所述可见光红外特征图、可见光点云特征图和红外点云特征图，进行多尺度结构方向融合，得到融合特征。

其中，分别先两两使用卷积网络提取特征，再使用金字塔结构对其进行多尺度结构上的融合，最后将这些融合后的特征进行融合，达到了图像和图像的融合，特征和特征的融合，保留了更多的信息。

可选的，所述根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征，包括：

将多个无人机拍摄时间点的分割可见光图像输入时间卷积网络，提取随时间变化的无人机拍摄角度，得到可见光拍摄角度特征。

其中，本实施例中采用时间卷积网络 (Temporal Convolutional Network,TCN)。

其中，所述可见光拍摄角度特征为多个无人机拍摄时间点的最后一个时间点对应的无人机的拍摄的待检测目标的可见光拍摄角度特征。

根据所述分割可见光图像，进行待检测目标的轮廓提取，得到可见光目标轮廓。所述可见光目标轮廓与可见光拍摄角度特征对应同一时间点。

其中，进行轮廓提取时将所述分割可见光图像转化为二值图像后，通过轮廓提取算法，本实施例中采用opencv提供的cv::findContours函数进行轮廓提取。

将多个无人机拍摄时间点的分割红外图像输入时间卷积网络，提取随时间变化的拍摄角度，得到红外拍摄角度特征。

根据所述分割红外图像，进行待检测目标的轮廓提取，得到红外目标轮廓。所述红外目标轮廓与红外拍摄角度特征对应同一时间点。

其中，进行轮廓提取时将所述分割红外图像转化为二值图像后，通过轮廓提取算法，本实施例中采用opencv提供的cv::findContours函数进行轮廓提取。

根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征。

可选的，所述基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征，包括：

将所述分割可见光图像、分割红外图像和分割点云图像输入结构判别网络，得到多个结构区域和对应的结构类别。

其中，粗检测将待检测目标的按照结构进行分割，得到待检测目标的多个局部。

将多个结构区域和融合特征输入进行分类头，进行分类，得到细分结构类别。

其中，将多个结构区域进行分类。细检测对结构的类别进行细分，如主体为哪个类别的主体。

将融合特征中结构区域对应的特征进行多尺度结构方向提取，得到结构特征。多个结构区域对应获得多个结构特征。其中所述结构区域和结构特征为一对一。

其中，结构区域转化为融合特征对应的特征图中的位置，将特征图中包含结构区域按进行分割，得到结构特征。

通过上述方法，采用连续不同时间的待检测目标的图像，用于动态的变化情况判断，静态判断待检测目标的方向，能够更加准确地判断在无人机不同的飞行角度中待检测目标的结构。

可选的，所述红外拍摄角度特征根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征，包括：

基于无人机姿态，获得可见光拍摄方向和红外检测方向。

其中，无人机姿态不同，红外和可见光拍摄到的待检测目标的角度不同。

根据可见光拍摄方向、红外检测方向、可见光拍摄角度特征和红外拍摄角度特征，调整分割红外图像与分割可见光图像的对应角度。

其中，先根据可见光拍摄方向和红外检测方向判别哪个视角的是待检测目标留下的图像，以将分割红外图像和分割可见光图像按照不同视角调整对应角度，再按照可见光拍摄角度特征和红外拍摄角度特征，调整分割红外图像和分割可见光图像使得其能体现待检测目标的不同面。

其中，采用无人机不同方向的红外设备和拍摄设备得到的二维图像一起判断。

基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵。

其中，按照角度调整为三维图像。

将所述匹配三维矩阵通过曲波变换进行多尺度结构方向提取，得到可见光红外特征。

可选的，所述基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵，包括：

获得基于无人机高度，将调整后的分割红外图像和分割可见光图像中待检测目标调整到同一尺寸。

将不同拍摄角度的分割红外图像和分割可见光图像进行位置匹配，构建可见光三维红外矩阵。

其中，按照调整后的分割红外图像的两个最远点的纵坐标相减，得到红外目标距离。按照调整后的分割可见光图像的两个最远点的纵坐标相减，得到可见光目标距离。其中，按照调整后的三维图像的两个最远点，调整尺寸，得到调整可见光图像。根据红外目标距离除以可见光目标距离，得到可见光比例。将红外设备位置和摄像设备位置的距离除以无人机高度。

将所述分割可见光图像按照可见光比例调整像素，得到第一分割可见光图像。其中，因为红外的特征难以复现修改，所以进行调整，调整可见光图像尺寸，得到调整后的可见光图像。 将第一分割可见光图像替换对应角度的分割可见光图像，得到匹配三维矩阵。

可选的，所述红外目标距离和可见光目标距离为同一观测角度。

可选的，所述得到可见光点云特征图和得到红外点云特征图的方法与得到可见光红外特征的方法相同。

可选的，所述将所述可见光红外特征、可见光点云特征和红外点云特征，进行多尺度结构方向融合，得到融合特征，包括：

所述融合特征包括第一融合特征和第二融合特征。所述第一融合特征和第二融合特征的尺度不同。

将所述可见光点云特征、红外点云特征和可见光红外特征融合后，得到第一融合特征。

将所述可见光红外特征进行上采样，得到第二可见光红外特征。

将可见光点云特征进行上采样，得到第二可见光点云特征。

将所述红外点云特征进行上采样，得到第二红外点云特征。

将所述第一融合特征进行上采样，得到第二融合特征。

将第一可见光红外特征、第一可见光点云特征、第一红外点云特征和第二融合特征进行特征融合，得到第二融合特征。

可选的，多模态：可见光、红外、点云、时空状态（无人机所处的时间、地点、高度、姿态）

通过多尺度结构方向的相似性度量实现无人机多模态信息的高精度匹配，针对无人机目标检测与识别任务中无人机多模态信息的高精度匹配需求，研究多尺度结构方向提取、结构方向加权的相似性度量、多源影像模板匹配等技术，提升无人机多模态信息的匹配精度，为多源影像融合目标检测与识别提供基础数据源。

步骤1：多模态信息的三维统一化，将无人机时空状态赋予到无人机的可见光、红外、点云图像中，使之至少包括xyz三种以上信息。

步骤2：对可见光、红外、点云三类图像进行超体素分割。

步骤3：对超体素分割图像进行多尺度结构方向提取，主要包括灰度化、高斯滤波、多尺度滤波、Sobel卷积等。

步骤4：进行结构方向加权的相似性度量，多尺度结构方向归一化加权、基于余弦的相似性度量。

步骤5：立体多源影像模板匹配，多源影像模板的同名点搜索、变换矩阵计算。

实施例2

基于上述的一种基于多尺度结构方向的无人机多模态匹配方法，本发明实施例还提供了一种基于多尺度结构方向的无人机多模态匹配***，所述***包括获取模块、超体素分割模块、融合模块、特征提取模块、加权模块和匹配模块。

获取模块用于获得实时监测的无人机时空状态。所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态。获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像。一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点。所述多模态图像包含待检测目标。

超体素分割模块用于可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像。多个可见光图像对应获得多个分割可见光图像。多个红外图像对应获得多个分割红外图像。多个点云图像对应获得多个分割点云图像。

融合模块用于基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征。

特征提取模块用于基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征。

加权模块用于根据多个结构特征进行结构方向加权，得到加权特征。

匹配模块用于基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

在此处所提供的说明书中，说明了大量具体细节。然而，本发明的实施例可以在没有这些具体细节的情况下实践。为了精简本公开并帮助理解各个发明方面中的一个或多个，在示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。

本领域技术人员可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，包括：

获得实时监测的无人机时空状态；所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态；

获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像；一个可见光图像对应一个红外图像，对应一个点云图像，对应一个无人机拍摄时间点；所述多模态图像包含待检测目标；

将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像；多个可见光图像对应获得多个分割可见光图像；多个红外图像对应获得多个分割红外图像；多个点云图像对应获得多个分割点云图像；

基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征；

基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征；

根据多个结构特征进行结构方向加权，得到加权特征；

基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。

2.根据权利要求1所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征，包括：

根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征；

根据分割可见光图像和分割点云图像进行多尺度结构上的融合，得到可见光点云特征；

根据分割红外图像和分割点云图像进行多尺度结构上的融合，得到红外点云特征；

将所述可见光红外特征、可见光点云特征和红外点云特征，进行多尺度结构方向融合，得到融合特征。

3.根据权利要求2所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述根据分割可见光图像和分割红外图像进行多尺度结构上的融合，得到可见光红外特征，包括：

将多个无人机拍摄时间点的分割可见光图像输入时间卷积网络，提取随时间变化的无人机拍摄角度，得到可见光拍摄角度特征；

根据所述分割可见光图像，进行待检测目标的轮廓提取，得到可见光目标轮廓；所述可见光目标轮廓与可见光拍摄角度特征对应同一时间点；

将多个无人机拍摄时间点的分割红外图像输入时间卷积网络，提取随时间变化的拍摄角度，得到红外拍摄角度特征；

根据所述分割红外图像，进行待检测目标的轮廓提取，得到红外目标轮廓；所述红外目标轮廓与红外拍摄角度特征对应同一时间点；

根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征。

4.根据权利要求1所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特征，包括：

将所述分割可见光图像、分割红外图像和分割点云图像输入结构判别网络，得到多个结构区域和对应的结构类别；

将多个结构区域和融合特征输入进行分类头，进行分类，得到细分结构类别；

将融合特征中结构区域对应的特征进行多尺度结构方向提取，得到结构特征；多个结构区域对应获得多个结构特征。

5.根据权利要求3所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述红外拍摄角度特征根据所述分割可见光图像、分割红外图像、可见光拍摄角度特征、可见光目标轮廓、红外拍摄角度特征和红外目标轮廓，得到可见光红外特征，包括：

基于无人机姿态，获得可见光拍摄方向和红外检测方向；

根据可见光拍摄方向、红外检测方向、可见光拍摄角度特征和红外拍摄角度特征，调整分割红外图像与分割可见光图像的对应角度；

基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵；

将所述匹配三维矩阵通过曲波变换进行多尺度结构方向提取，得到可见光红外特征。

6.根据权利要求5所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述基于无人机高度、调整对应角度的分割红外图像和分割可见光图像，调整可见光三维红外矩阵，得到匹配三维矩阵，包括：

获得基于无人机高度，将调整后的分割红外图像和分割可见光图像中待检测目标调整到同一尺寸；

将不同拍摄角度的分割红外图像和分割可见光图像进行位置匹配，构建可见光三维红外矩阵；

按照调整后的分割红外图像的纵坐标相减，获取大于其他差值的纵坐标之差，得到红外目标距离；

按照调整后的分割可见光图像的纵坐标相减，获取大于其他差值的纵坐标之差，得到可见光目标距离；

根据红外目标距离除以可见光目标距离，得到可见光比例；

将红外设备位置和摄像设备位置的距离除以无人机高度；

将所述分割可见光图像按照可见光比例调整像素，得到第一分割可见光图像；将第一分割可见光图像替换对应角度的分割可见光图像，得到匹配三维矩阵。

7.根据权利要求6所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，所述红外目标距离和可见光目标距离为同一观测角度。

8.根据权利要求5所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，

所述得到可见光点云特征图和得到红外点云特征图的方法与得到可见光红外特征的方法相同。

9.根据权利要求2所述的一种基于多尺度结构方向的无人机多模态匹配方法，其特征在于，所述将所述可见光红外特征、可见光点云特征和红外点云特征，进行多尺度结构方向融合，得到融合特征，包括：

所述融合特征包括第一融合特征和第二融合特征；所述第一融合特征和第二融合特征的尺度不同；

将所述可见光点云特征、红外点云特征和可见光红外特征融合后，得到第一融合特征；

将所述可见光红外特征进行上采样，得到第二可见光红外特征；

将可见光点云特征进行上采样，得到第二可见光点云特征；

将所述红外点云特征进行上采样，得到第二红外点云特征；

将所述第一融合特征进行上采样，得到第二融合特征；

将第一可见光红外特征、第一可见光点云特征、第一红外点云特征和第二融合特征进行特征融合，得到第二融合特征。

10.一种基于多尺度结构方向的无人机多模态匹配***，其特征在于，包括：

获取模块：获得实时监测的无人机时空状态；所述无人机时空状态包括无人机拍摄时间点、无人机高度和无人机姿态；获取无人机拍摄的多模态图像，并进行统一，得到多个可见光图像、多个红外图像和多个点云图像；一个可见光图像对应一个红外图像对应一个点云图像对应一个无人机拍摄时间点；所述多模态图像包含待检测目标；

超体素分割模块：将可见光图像、红外图像和点云图像分别进行超体素分割，得到分割可见光图像、分割红外图像和分割点云图像；多个可见光图像对应获得多个分割可见光图像；多个红外图像对应获得多个分割红外图像；多个点云图像对应获得多个分割点云图像；

融合模块：基于无人机时空状态，将多个分割可见光图像、多个分割红外图像和多个分割点云图像，按照待检测目标的结构方向进行融合，得到融合特征；

特征提取模块：基于所述融合特征、分割可见光图像、分割红外图像和分割点云图像，对待检测目标的局部进行多尺度结构方向提取，得多个结构特；

加权模块：根据多个结构特征进行结构方向加权，得到加权特征；

匹配模块：基于所述加权特征，进行立体多源影像模板匹配，匹配待检测目标。