CN117572457B - 一种基于伪标签学习的跨场景多光谱点云分类方法 - Google Patents

一种基于伪标签学习的跨场景多光谱点云分类方法 Download PDF

Info

Publication number
CN117572457B
CN117572457B CN202410061674.6A CN202410061674A CN117572457B CN 117572457 B CN117572457 B CN 117572457B CN 202410061674 A CN202410061674 A CN 202410061674A CN 117572457 B CN117572457 B CN 117572457B
Authority
CN
China
Prior art keywords
scene
target domain
multispectral
domain
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410061674.6A
Other languages
English (en)
Other versions
CN117572457A (zh
Inventor
王青旺
王铭野
王盼新
蒋涛
张梓峰
沈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202410061674.6A priority Critical patent/CN117572457B/zh
Publication of CN117572457A publication Critical patent/CN117572457A/zh
Application granted granted Critical
Publication of CN117572457B publication Critical patent/CN117572457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于伪标签学习的跨场景多光谱点云分类方法，属于多光谱激光雷达点云技术领域。步骤为：1）分别将源域场景和目标域场景多光谱激光雷达点云特征进行特征预对齐；2）分别提取两个场景的图特征；3）计算损失；4）迭代地进行3）更新源域‑目标域对齐网络参数，直至模型收敛，得到目标域的伪标签及其置信度；5）对伪标签降序排列，设置阈值α，选取前α%的伪标签；6）拼接目标域中的邻接矩阵和特征矩阵得到新的特征矩阵；7）根据5）得到的伪标签和6）得到的特征矩阵计算损失；8）迭代地进行步骤7）更新参数，直至模型收敛，最终得到目标域多光谱点云数据分类结果。本发明能够实现跨场景多光谱点云高精度分类。

Description

一种基于伪标签学习的跨场景多光谱点云分类方法
技术领域
本发明涉及一种基于伪标签学习的跨场景多光谱点云分类方法，属于多光谱激光雷达点云技术领域。
背景技术
多光谱LiDAR***能够同步获取场景中的三维空间分布信息和光谱信息，可以为遥感场景解译任务提供更加丰富的特征信息。在多光谱LiDAR的相关处理任务中，目前大多数分类方法，特别是基于深度学习的分类方法，需要大量的训练数据集才能达到最佳性能。然而，收集和标记大量的点云往往是费力和耗时的。另一方面，它们只适用于固定场景，即训练样本和测试样本是独立且同分布的。当应用于陌生场景时性能会显著下降。因此，这些方法不能直接转移到其他场景，也不能在实时收集的未标记数据上进行测试。这已经成为多光谱LiDAR数据解译的主要制约因素。
多光谱LiDAR对遥感场景进行数据采集时，激光脉冲发射角度、地物空间分布、季节和天气变化等多种因素都会影响接收激光脉冲的强度，即产生光谱漂移现象。此外，无论传统方法还是基于深度学习的方法，它们的场景自适应能力较差，当训练样本与测试样本存在分布差异时性能会显著下降。显然，多光谱点云同时具有地物的空间几何信息和光谱信息，通过从源域场景多光谱点云中学习表征地物本质属性的空间几何-光谱一致性信息，指导目标域场景多光谱点云伪标签高精度生成，采用目标域伪标签训练网络，能够提高多光谱点云地物分类网络在目标域场景中的性能，提高网络的场景自适应能力。因此，如何在不同场景中多光谱点云光谱漂移、地物分布不一致等情况下，生成高精度目标域场景点云伪标签，在没有目标域场景真实标签的情况下实现跨场景多光谱点云高精度分类，是目前亟待解决的技术问题。
发明内容
本发明要解决的技术问题是提供一种基于伪标签学习的跨场景多光谱点云分类方法，以应对多光谱激光雷达点云在不同场景之间的光谱漂移现象，缓解光谱漂移现象带来的跨场景多光谱激光雷达点云分类困难等问题，在没有目标域场景真实标签的情况下实现跨场景多光谱点云高精度分类。
本发明的技术方案是：一种基于伪标签学习的跨场景多光谱点云分类方法，包括如下步骤：
Step1：分别将带标签源域场景和无标签目标域场景多光谱激光雷达点云特征根据L2范数和拉普拉斯矩阵进行特征预对齐；
Step2：根据预对齐后的特征，采用图卷积神经网络(Graph Convolution NeuralNetworks, GCN)分别提取两个场景的图特征；
Step3：根据提取得到的两个场景的图特征和源域标签计算源域分类损失、最大均值差异(Maximum Mean Discrepancy, MMD)损失、目标域香农熵损失；
Step4：迭代地进行Step3，更新源域-目标域对齐网络参数，判断模型是否收敛，是则结束，然后进行Step5，否则重复Step3，得到目标域的伪标签及其置信度；
Step5：根据置信度对伪标签降序排列，设置阈值α，选取前α%的目标域伪标签作为目标域分类网络真值输入；
Step6：拼接目标域中的邻接矩阵和特征矩阵得到新的特征矩阵作为目标域分类网络特征输入；
Step7：根据Step5选取出的伪标签和Step6得到的新的特征矩阵计算目标域分类损失；
Step8：迭代地进行Step7，更新目标域分类网络参数，判断模型是否收敛，是则结束，否则重复Step7，最终得到目标域多光谱点云数据分类结果。
具体地，在Step1中，所述带标签源域场景多光谱激光雷达点云数据记为（Ps，Y）， 无标签目标域场景记为（Pt，），其中表示源域场景包含Ns个有标签多光谱点，表示源域场景中第i个有标签多光谱点，分别表示目标域场景包含Nt个无标 签多光谱点，表示目标域场景中第i个无标签多光谱点，表示所有源域场景 多光谱点对应的真值标签，表示源域场景中第i个多光谱点对应的真值标签。
具体地，在Step1中，所述根据L2范数和拉普拉斯矩阵进行特征预对齐具体步骤为：
（1）通过L2范数对源域和目标域特征进行特征变换，具体特征变换公式为：
其中x为源域、目标域特征，为特征变换后的源域、目标域特征，为2范数。
（2）根据步骤（1）的公式，得到M维度的源域特征和M维度的目标域特征，将和拼接得到M维度的总体特征矩阵，根据K最邻近算法计 算总体特征矩阵的邻接矩阵W，进一步计算对角矩阵D，对角矩阵D中的元素，为邻接矩阵W中的元素，则拉普拉斯矩阵L=D-W，所以最终的总体特征矩阵X根据以下公 式更新：
其中，为更新后的特征矩阵，T为矩阵转置操作，Ns为源域场景有标签多光谱点的 个数，Nt为目标域场景中无标签多光谱点的个数。
具体地，所述Step3具体为：
将Step2中提取得到的源域场景和目标域场景图特征分别记为和，源域分类 损失计算公式为：
其中，是源域场景中第i个点的标签，是源域场景中第i个点的预测标签， 是源域场景标签集合，Ns为源域场景有标签多光谱点的个数；
为了衡量提取得到的特征之间的差异，采用最大均值差异(Maximum MeanDiscrepancy, MMD)损失计算两个场景的特征偏差，用以促进GCN提取域不变特征：
其中，是将原始变量映射到高维空间的映射函数，是第i个源域多光谱点的图 特征，是第j个目标域多光谱点的图特征，Nt为目标域场景中无标签多光谱点的个数；
采用香农熵损失约束网络以得到更高置信度的目标域场景伪标签，具体香农熵损失公式为：
其中，H为香农熵矩阵，为H中的元素，具体计算公式如下：
其中，P为网络对目标域多光谱激光雷达点云的预测概率矩阵，为预测概率，l 为多光谱点云的特征通道数，为目标域节点预对齐后的特征。
具体地，所述Step4中更新源域-目标域对齐网络参数，具体为：
（1）所有参数都使用标准反向传播算法进行优化；
（2）在训练中，整体损失为源域分类损失、最大均值差异(Maximum MeanDiscrepancy, MMD)损失、目标域香农熵损失的组合，训练的整体损失为：
其中，和是平衡损失的平衡系数。
具体地，所述Step6中拼接目标域中的邻接矩阵和特征矩阵，具体为：
将目标域邻接矩阵记为，则将M维度的目标域特征与拼接得到更新后的目标域特征。
具体地，所述Step7中计算目标域分类损失具体公式如下：
其中，是目标域场景中第i个点的伪标签，是目标域场景中第i个点的预测标 签，Nt为目标域场景中无标签多光谱点的个数，为Step2中提取得到的目标域场景图特 征，为目标域伪标签集合。
具体地，所述Step8中更新目标域分类网络参数，具体为：
（1）所有参数都使用标准反向传播算法进行优化。
（2）在训练中，采用Step7中的目标域分类损失作为训练损失。
多光谱激光雷达在不同场景中往往会出现同物异谱或者同谱异物的现象，这会导致在目标域场景没有标签可供训练时，仅采用源域点云标签训练得到的网络对目标域点云分类精度较低。本发明通过设计特征预对齐操作对源域和目标域场景的特征进行对齐，采用最大均值差异(Maximum Mean Discrepancy, MMD)损失和香农熵损失促进GCN提取域不变特征，并得到高质量的目标域点云伪标签。根据目标域邻接矩阵对目标域特征进行特征增强，实现利用有标签的源域场景多光谱点云训练图神经网络，对无标签的目标域多光谱点云进行高精度分类。
本发明的有益效果是：本发明与现有技术相比，缓解了不同场景间多光谱点云光谱漂移带来的负面影响。通过特征域对齐操作帮助GCN提取域不变特征、采用最大均值差异(Maximum Mean Discrepancy, MMD)损失和香农熵损失保证目标域点云伪标签的准确性。进一步根据邻接矩阵对目标域特征进行增强。在不同场景中多光谱点云光谱漂移、地物分布不一致等情况下，实现了有效和可靠的信息转移以实现对无标签目标域场景进行地物分类。在没有目标域场景真实标签的情况下实现跨场景多光谱点云高精度分类。
附图说明
图1是本发明的基于伪标签学习的跨场景多光谱点云分类方法框架；
图2是实施例中数据集真实地物分布图，（a）是源场景可视化图、（b）是目标场景可视化图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步说明。
实施例1：如图1所示，一种基于伪标签学习的跨场景多光谱点云分类方法，包括如下步骤：
Step1：分别将带标签源域场景和无标签目标域场景多光谱激光雷达点云特征根据L2范数和拉普拉斯矩阵进行特征预对齐；
在Step1中，所述带标签源域场景多光谱激光雷达点云数据记为（Ps，Y），无标签目 标域场景记为（Pt，），其中表示源域场景包含Ns个有标签多光谱点，表示 源域场景中第i个有标签多光谱点，分别表示目标域场景包含Nt个无标签多光 谱点，表示目标域场景中第i个无标签多光谱点，表示所有源域场景多光谱 点对应的真值标签，表示源域场景中第i个多光谱点对应的真值标签。
在Step1中，所述根据L2范数和拉普拉斯矩阵进行特征预对齐具体步骤为：
（1）通过L2范数对源域和目标域特征进行特征变换，具体特征变换公式为：
其中x为源域、目标域特征，为特征变换后的源域、目标域特征，为2范数。
（2）根据步骤（1）的公式，得到M维度的源域特征和M维度的目标域特征，将和拼接得到M维度的总体特征矩阵，根据K最邻近算法计 算总体特征矩阵的邻接矩阵W，进一步计算对角矩阵D，对角矩阵D中的元素，为邻接矩阵W中的元素，则拉普拉斯矩阵L=D-W，所以最终的总体特征矩阵X根据以下公 式更新：
其中，为更新后的特征矩阵，T为矩阵转置操作，Ns为源域场景有标签多光谱点的 个数，Nt为目标域场景中无标签多光谱点的个数。
Step2：根据预对齐后的特征，采用图卷积神经网络(Graph Convolution NeuralNetworks, GCN)分别提取两个场景的图特征；
Step3：根据提取得到的两个场景的图特征和源域标签计算源域分类损失、最大均值差异(Maximum Mean Discrepancy, MMD)损失、目标域香农熵损失；
将Step2中提取得到的源域场景和目标域场景图特征分别记为和，源域分类 损失计算公式为：
其中，是源域场景中第i个点的标签，是源域场景中第i个点的预测标签， 是源域场景标签集合，Ns为源域场景有标签多光谱点的个数；
为了衡量提取得到的特征之间的差异，采用最大均值差异(Maximum MeanDiscrepancy, MMD)损失计算两个场景的特征偏差，用以促进GCN提取域不变特征：
其中，是将原始变量映射到高维空间的映射函数，是第i个源域多光谱点的图 特征，是第j个目标域多光谱点的图特征，Nt为目标域场景中无标签多光谱点的个数；
采用香农熵损失约束网络以得到更高置信度的目标域场景伪标签，具体香农熵损失公式为：
其中，H为香农熵矩阵，为H中的元素，具体计算公式如下：
其中，P为网络对目标域多光谱激光雷达点云的预测概率矩阵，为预测概率，l 为多光谱点云的特征通道数，为目标域节点预对齐后的特征。
Step4：迭代地进行Step3，更新源域-目标域对齐网络参数，判断模型是否收敛，是则结束，然后进行Step5，否则重复Step3，得到目标域的伪标签及其置信度；
所述Step4中更新源域-目标域对齐网络参数，具体为：
（1）所有参数都使用标准反向传播算法进行优化；
（2）在训练中，整体损失为源域分类损失、最大均值差异(Maximum MeanDiscrepancy, MMD)损失、目标域香农熵损失的组合，训练的整体损失为：
其中，和是平衡损失的平衡系数，在本发明中，和取值为1。
使用标准反向传播算法更新源域-目标域对齐网络参数，判断模型是否收敛，是则结束，否则重复步骤S3，直至模型收敛。
Step5：根据置信度对伪标签降序排列，设置阈值α，选取前α%的目标域伪标签作为目标域分类网络真值输入，在本发明中α取值为50；
Step6：拼接目标域中的邻接矩阵和特征矩阵得到新的特征矩阵作为目标域分类网络特征输入；
所述Step6中拼接目标域中的邻接矩阵和特征矩阵，具体为：
将目标域邻接矩阵记为，则将M维度的目标域特征与拼接得到更新后的目标域特征。
Step7：根据Step5选取出的伪标签和Step6得到的新的特征矩阵计算目标域分类损失；
所述Step7中计算目标域分类损失具体公式如下：
其中，是目标域场景中第i个点的伪标签，是目标域场景中第i个点的预测标 签，Nt为目标域场景中无标签多光谱点的个数，为Step2中提取得到的目标域场景图特 征，为目标域伪标签集合。
Step8：将步骤S7的目标分类损失作为训练损失，使用标准反向传播算法更新目标域分类网络参数，判断模型是否收敛，是则结束，否则重复步骤S7，直至模型收敛。
下面在具体实施记载的基础上，通过实验的方式来说明本发明是切实可行的：
1、实验数据
Harbor of Tobermory数据集：该数据集场景是位于英国托伯莫里的一个小型海港，由Optech Titan激光雷达采集的三波段点云数据，波长分别为1550nm、1064nm和532nm，数据集可视化效果如图2所示，其中（a）是源场景可视化图、（b）是目标场景可视化图。根据土地覆盖的高度、材料和语义信息将研究区域划分为7类，分别为裸地、草地、道路、建筑物、树木、电力线和汽车。
University of Houston数据集：该数据集场景是休斯顿校园的一部分区域，由Optech Titan激光雷达采集的三波段点云数据，波长分别为1550nm、1064nm和532nm。根据土地覆盖的高度、材料和语义信息将研究区域划分为7类，分别为裸地、汽车、草地、道路、电力线、建筑物和树木。采用F分数作为评价指标。两个数据集的可视化效果如图2所示。
2、实验内容
在实验中，采用本发明方法和传统GCN方法对以上数据集进行分类验证。将Harborof Tobermory数据集作为源域场景，将University of Houston数据集作为目标域场景，为节约计算资源，采用超点分割方法将两个场景分别分割为8000个超点作为输入。采用本发明方法进行点云分类，将分类结果采用如下公式中的评价指标进行评价，表1为本发明方法在不同地物中的均交并比（MIoU）。
其中，TP是被分割到正类点中正类点的数量、FP是被分割到正类点中负类点的数量、FN是被分割到负类点中正类点的数量。
表1
本发明能够有效应对多光谱激光雷达点云在不同场景之间的光谱漂移现象，缓解光谱漂移现象带来的跨场景多光谱激光雷达点云分类困难等问题，在没有目标域场景真实标签的情况下实现跨场景多光谱点云高精度分类。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：包括如下步骤：
Step1：分别将带标签源域场景和无标签目标域场景多光谱激光雷达点云特征根据L2范数和拉普拉斯矩阵进行特征预对齐；
Step2：根据预对齐后的特征，采用图卷积神经网络GCN分别提取两个场景的图特征；
Step3：根据提取得到的两个场景的图特征和源域标签计算源域分类损失、最大均值差异MMD损失、目标域香农熵损失；
Step4：迭代地进行Step3，更新源域-目标域对齐网络参数，判断模型是否收敛，是则结束，然后进行Step5，否则重复Step3，得到目标域的伪标签及其置信度；
Step5：根据置信度对伪标签降序排列，设置阈值α，选取前α%的目标域伪标签作为目标域分类网络真值输入；
Step6：拼接目标域中的邻接矩阵和特征矩阵得到新的特征矩阵作为目标域分类网络特征输入；
Step7：根据Step5选取出的伪标签和Step6得到的新的特征矩阵计算目标域分类损失；
Step8：迭代地进行Step7，更新目标域分类网络参数，判断模型是否收敛，是则结束，否则重复Step7，最终得到目标域多光谱点云数据分类结果。
2.根据权利要求1所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：在Step1中，所述带标签源域场景多光谱激光雷达点云数据记为（Ps，Y），无标签目标域场景记为（Pt，），其中/>表示源域场景包含Ns个有标签多光谱点，/>表示源域场景中第i个有标签多光谱点，/>分别表示目标域场景包含Nt个无标签多光谱点，/>表示目标域场景中第i个无标签多光谱点，/>表示所有源域场景多光谱点对应的真值标签，/>表示源域场景中第i个多光谱点对应的真值标签。
3.根据权利要求1所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：在Step1中，所述根据L2范数和拉普拉斯矩阵进行特征预对齐具体步骤为：
（1）通过L2范数对源域和目标域特征进行特征变换，具体特征变换公式为：
；
其中x为源域、目标域特征，为特征变换后的源域、目标域特征，/>为2范数；
（2）根据步骤（1）的公式，得到M维度的源域特征和M维度的目标域特征，将/>和/>拼接得到M维度的总体特征矩阵/>，根据K最邻近算法计算总体特征矩阵/>的邻接矩阵W，进一步计算对角矩阵D，对角矩阵D中的元素/>，为邻接矩阵W中的元素，则拉普拉斯矩阵L=D-W，所以最终的总体特征矩阵X根据以下公式更新：
；
其中，为更新后的特征矩阵，T为矩阵转置操作，Ns为源域场景有标签多光谱点的个数，Nt为目标域场景中无标签多光谱点的个数。
4.根据权利要求1所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：所述Step3具体为：
将Step2中提取得到的源域场景和目标域场景图特征分别记为和/>，源域分类损失计算公式为：
；
其中，是源域场景中第i个点的标签，/>是源域场景中第i个点的预测标签，/>是源域场景标签集合，Ns为源域场景有标签多光谱点的个数；
为了衡量提取得到的特征之间的差异，采用最大均值差异MMD损失计算两个场景的特征偏差，用以促进GCN提取域不变特征：
；
其中，是将原始变量映射到高维空间的映射函数，/>是第i个源域多光谱点的图特征，是第j个目标域多光谱点的图特征，Nt为目标域场景中无标签多光谱点的个数；
采用香农熵损失约束网络以得到更高置信度的目标域场景伪标签，具体香农熵损失公式为：
；
其中，H为香农熵矩阵，为H中的元素，具体/>计算公式如下：
；
其中，P为网络对目标域多光谱激光雷达点云的预测概率矩阵，为预测概率，l为多光谱点云的特征通道数，/>为目标域节点预对齐后的特征。
5.根据权利要求4所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：所述Step4中更新源域-目标域对齐网络参数，具体为：
（1）所有参数都使用标准反向传播算法进行优化；
（2）在训练中，整体损失为源域分类损失、最大均值差异MMD损失、目标域香农熵损失的组合，训练的整体损失为：
；
其中，和/>是平衡损失的平衡系数。
6.根据权利要求3所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：所述Step6中拼接目标域中的邻接矩阵和特征矩阵，具体为：
将目标域邻接矩阵记为，则将M维度的目标域特征/>与/>拼接得到更新后的目标域特征/>。
7.根据权利要求1所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：所述Step7中计算目标域分类损失具体公式如下：
；
其中，是目标域场景中第i个点的伪标签，/>是目标域场景中第i个点的预测标签，Nt为目标域场景中无标签多光谱点的个数，/>为Step2中提取得到的目标域场景图特征，/>为目标域伪标签集合。
8.根据权利要求1所述的一种基于伪标签学习的跨场景多光谱点云分类方法，其特征在于：所述Step8中更新目标域分类网络参数，具体为：
（1）所有参数都使用标准反向传播算法进行优化；
（2）在训练中，采用Step7中的目标域分类损失作为训练损失。
CN202410061674.6A 2024-01-16 2024-01-16 一种基于伪标签学习的跨场景多光谱点云分类方法 Active CN117572457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410061674.6A CN117572457B (zh) 2024-01-16 2024-01-16 一种基于伪标签学习的跨场景多光谱点云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410061674.6A CN117572457B (zh) 2024-01-16 2024-01-16 一种基于伪标签学习的跨场景多光谱点云分类方法

Publications (2)

Publication Number Publication Date
CN117572457A CN117572457A (zh) 2024-02-20
CN117572457B true CN117572457B (zh) 2024-04-05

Family

ID=89892215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410061674.6A Active CN117572457B (zh) 2024-01-16 2024-01-16 一种基于伪标签学习的跨场景多光谱点云分类方法

Country Status (1)

Country Link
CN (1) CN117572457B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830752B (zh) * 2024-03-06 2024-05-07 昆明理工大学 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法
CN117953384B (zh) * 2024-03-27 2024-06-07 昆明理工大学 一种跨场景多光谱激光雷达点云建筑物提取与矢量化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841574A (zh) * 2022-12-19 2023-03-24 中国科学技术大学 域适应的激光雷达点云语义分割方法、设备及存储介质
CN116403058A (zh) * 2023-06-09 2023-07-07 昆明理工大学 一种遥感跨场景多光谱激光雷达点云分类方法
CN117015813A (zh) * 2021-03-16 2023-11-07 华为技术有限公司 对用于训练的点云数据集进行自适应增强的设备、***、方法和媒体
CN117315612A (zh) * 2023-11-13 2023-12-29 重庆邮电大学 一种基于动态自适应数据增强的3d点云目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117015813A (zh) * 2021-03-16 2023-11-07 华为技术有限公司 对用于训练的点云数据集进行自适应增强的设备、***、方法和媒体
CN115841574A (zh) * 2022-12-19 2023-03-24 中国科学技术大学 域适应的激光雷达点云语义分割方法、设备及存储介质
CN116403058A (zh) * 2023-06-09 2023-07-07 昆明理工大学 一种遥感跨场景多光谱激光雷达点云分类方法
CN117315612A (zh) * 2023-11-13 2023-12-29 重庆邮电大学 一种基于动态自适应数据增强的3d点云目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于置信域伪标签策略的半监督三维目标检测;杨德东;《计算机应用研究》;20230630;第40卷(第6期);1888-1893 *
多/高光谱图像和LiDAR数据联合分类方法研究;王青旺;《中国博士学位论文全文数据库 工程科技II辑》;20210115;第2021卷(第1期);C028-25 *

Also Published As

Publication number Publication date
CN117572457A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN117572457B (zh) 一种基于伪标签学习的跨场景多光谱点云分类方法
Huang et al. Building extraction from multi-source remote sensing images via deep deconvolution neural networks
CN116403058B (zh) 一种遥感跨场景多光谱激光雷达点云分类方法
CN109063754B (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN108764138B (zh) 一种基于多维多粒度级联森林的高原地区云雪分类方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
Xu et al. A supervoxel approach to the segmentation of individual trees from LiDAR point clouds
Sun et al. Roads and Intersections Extraction from High‐Resolution Remote Sensing Imagery Based on Tensor Voting under Big Data Environment
CN111104850A (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和***
CN111461067B (zh) 基于先验知识映射及修正的零样本遥感影像场景识别方法
CN113837134A (zh) 一种基于面向对象的深度学习模型和迁移学习的湿地植被识别方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Cai et al. A comparative study of deep learning approaches to rooftop detection in aerial images
Liu et al. Density saliency for clustered building detection and population capacity estimation
Souffer et al. Automatic extraction of photovoltaic panels from UAV imagery with object-based image analysis and machine learning
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
Matsuoka et al. Automatic detection of stationary fronts around Japan using a deep convolutional neural network
CN112381730B (zh) 一种遥感影像数据扩增方法
Liu et al. Few-Shot Object Detection in Remote Sensing Images via Label-Consistent Classifier and Gradual Regression
CN116129280B (zh) 一种遥感影像雪检测的方法
Andreev et al. Cloud detection from the Himawari-8 satellite data using a convolutional neural network
CN115841557A (zh) 基于数字孪生技术的智能起重机操作环境构建方法
CN113256581B (zh) 基于视觉注意建模融合的缺陷样本自动标注方法及***
CN115346055A (zh) 一种基于多核宽度图神经网络特征提取与分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant