CN117876840A - 基于模板编辑的遥感基础模型快速训练方法及*** - Google Patents

Abstract

本发明提供了一种基于模板编辑的遥感基础模型快速训练方法及***，涉及遥感图像处理技术领域，用以解决现有遥感基础模型训练过程中算法集成困难的技术问题。该方法包括：获取预先标注好的遥感样本数据集；根据用户的任务需求确定与任务需求对应的遥感基础模型架构；基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境；将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练；对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

Description

基于模板编辑的遥感基础模型快速训练方法及***

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于模板编辑的遥感基础模型快速训练方法及***。

背景技术

目前，遥感图像处理在各个领域中得到广泛应用，其中，基于模型的算法已成为遥感图像处理中的关键技术之一，然而，目前的基础模型训练方法存在着模型算法集成困难的问题，限制了其在实际应用中的效率和准确性。

在现有技术中，基于模板编辑的快速训练方法，一方面需要集成多个算法和技术，然而，多个算法和技术之间的集成和协调并不容易，特别是当它们来自不同的研究领域时，这可能导致算法集成的困难和复杂性，限制了方法的实际应用和推广，另一方面，需要经过多个步骤和操作来进行模板选择、编辑、训练等，然而，目前的技术往往缺乏对整个训练流程的可视化支持，使得用户难以理解和掌握方法的具体步骤和操作流程，也难以监控和调整训练过程中的各个环节。因此，集成算法困难、缺乏流程可视化是当前基于模板编辑的遥感基础模型快速训练方法及***需要解决的问题。

发明内容

鉴于上述问题，本发明提供了一种基于模板编辑的遥感基础模型快速训练方法及***。

根据本发明的第一个方面，提供了一种基于模板编辑的遥感基础模型快速训练方法，包括：获取预先标注好的遥感样本数据集；根据用户的任务需求确定与任务需求对应的遥感基础模型架构；基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境；将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练；对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

根据本发明的实施例，将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练之前，还包括：对遥感基础模型架构进行参数初始化设置；根据遥感样本数据集和算法框架与镜像环境创建训练任务。

根据本发明的实施例，将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练包括：根据训练任务，将遥感样本数据集输入遥感基础模型架构进行训练；使用智能调参优化方法迭代更新算法框架的参数。

根据本发明的实施例，使用智能调参优化方法迭代更新算法框架的参数包括：确定算法框架的超参数；根据智能调参优化算法迭代优化超参数；获取遥感基础模型架构在验证集上的评估指标；根据评估指标，将超参数在迭代优化过程中达到指标阈值的部分作为下一次迭代的起点，直至达到迭代终止条件。

根据本发明的实施例，对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控：确定与遥感基础模型架构匹配的可视化动态库；通过动态挂载的方式将遥感基础模型架构在训练过程中的参数及损失函数传递至可视化动态库；根据可视化动态库实时监控训练过程中的进度、参数变化及性能指标。

根据本发明的实施例，基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境包括：创建模板，其中，模板被预先集成有张量流框架、Pytorch、飞浆框架、MXNet、MindSpore、Caffe、Caffe2和即时编译框架中的至少一个；在模板中选择与任务需求对应的算法框架配置至遥感基础模型架构中。

根据本发明的实施例，模板还集成有X86_64镜像架构、MIPS_64镜像架构和ARM_64镜像架构中的至少一个。

根据本发明的实施例，根据遥感样本数据集和算法框架与镜像环境创建训练任务包括：根据遥感样本数据集和算法框架与镜像环境创建单机训练任务或分布式训练任务。

根据本发明的实施例，遥感样本数据集包括：遥感图像数据集、遥感文本数据集、遥感语音数据集、遥感视频数据集、遥感电子数据集、遥感态势数据集中的其中之一。

本发明的第二方面提供了一种基于模板编辑的遥感基础模型快速训练***，包括：样本数据管理模块，用于获取预先标注好的遥感样本数据集；模板管理模块，用于根据用户的任务需求确定与任务需求对应的遥感基础模型架构；以及基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境；训练管理模块，用于将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练；以及对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

根据本发明提供的基于模板编辑的遥感基础模型快速训练方法及***，通过根据任务需求在遥感基础模型架构模板上编辑算法框架与镜像环境，实现了算法与技术之间的集成，解决了不同领域对应的算法和技术之间难以集成和协调的问题。同时对遥感基础模型架构的训练过程进行可视化监控，使用户可以实时理解和掌握训练过程中的进度、参数变化及性能指标，有利于遥感基础模型的快速训练和优化。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本发明实施例的基于模板编辑的遥感基础模型快速训练方法的流程图；

图2示意性示出了根据本发明实施例的基于模板编辑的遥感基础模型快速训练***的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子***或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。

类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等）。

在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

图1示意性示出了根据本发明实施例的基于模板编辑的遥感基础模型快速训练方法的流程图。

如图1所示，本实施例的基于模板编辑的遥感基础模型快速训练方法包括操作S1~操作S5。

在操作S1，获取预先标注好的遥感样本数据集。

在本实施例中，该遥感样本数据集例如可以为遥感图像数据集、遥感文本数据集、遥感语音数据集、遥感视频数据集、遥感电子数据集、遥感态势数据集中的其中之一。

在操作S2，根据用户的任务需求确定与任务需求对应的遥感基础模型架构。

在本实施例中，根据任务需求选择适合的基础模型架构，例如可以为卷积神经网络（CNN）或深度残差网络（ResNet）等基础模型架构。

在操作S3，基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境。

在本实施例中，根据选择的遥感基础模型架，定义并编辑遥感基础模型的模板结构。根据任务需求选择算法框架及版本，添加算法训练所需要的镜像环境，输入训练命令并上传算法代码文件，调整资源信息后即可完成模板集成。

在操作S4，将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练。

根据本公开的实施例，在操作S4前，还包括操作S400~操作S401：

在操作S400，对遥感基础模型架构进行参数初始化设置。

在本实施例中，可以使用模板编辑对初始模型设置默认参数，或者上传预训练模型对模型进行初始化来缩短训练时间。

在操作S401，根据遥感样本数据集和算法框架与镜像环境创建训练任务。

在本实施例中，使用准备好的遥感样本数据集和算法框架与镜像环境，创建单机或者分布式训练任务。

根据本公开的实施例，操作S4进一步可以包括操作S402~操作S403：

在操作S402，根据训练任务，将遥感样本数据集输入遥感基础模型架构进行训练。

在本实施例中，根据创建的单机或者分布式训练任务，将遥感样本数据集输入遥感基础模型架构进行训练，设置合适的训练批量大小和训练轮数。

在操作S403，使用智能调参优化方法迭代更新算法框架的参数。

根据本公开的实施例，操作S403进一步可以包括以下操作：

确定算法框架的超参数，其中，该超参数包括学习率、训练轮数等。

选择适合的智能调参优化算法，如网格搜索、随机搜索（Random Search）、贝叶斯优化搜索（Bayesian Optimization Search）、遗传算法等，不同的算法有不同的搜索策略和优化性能，根据具体情况选择合适的算法根据智能调参优化算法迭代优化超参数。

获取遥感基础模型架构在验证集上的评估指标。

根据评估指标，将超参数在迭代优化过程中达到指标阈值的部分作为下一次迭代的起点，直至达到迭代终止条件，即根据模型在验证集上的表现，调整训练过程的超参数，以进一步提升模型性能。

在操作S5，对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

根据本公开的实施例，操作S5进一步可以包括操作S500~操作S502：

在操作S500，确定与遥感基础模型架构匹配的可视化动态库。

在本实施例中，选择一个适合的可视化动态库，如TensorBoard、Matplotlib等，这些可视化动态提供了可视化工具和函数，可以用于实时监控和展示训练过程中的进度、参数变化和性能指标。

在操作S501，通过动态挂载的方式将遥感基础模型架构在训练过程中的参数及损失函数传递至可视化动态库。

在操作S502，根据可视化动态库实时监控训练过程中的进度、参数变化及性能指标。

在训练过程中，使用可视化动态库提供的函数和工具，实时监控训练的进度、参数变化和性能指标，例如可以绘制损失函数曲线、显示训练准确率和可视化参数的变化等。

在另一实施例中，操作S3进一步可以包括以下操作：

创建模板，其中，该模板被预先集成有张量流框架（TensorFlow）、Pytorch、飞浆框架、MXNet、MindSpore、Caffe、Caffe2和即时编译框架（Jittor）中的至少一个，该模板还集成有X86_64镜像架构、MIPS_64镜像架构和ARM_64镜像架构中的至少一个。

在模板中选择与任务需求对应的算法框架配置至遥感基础模型架构中。

由于预先将张量流框架（TensorFlow）、Pytorch、飞浆框架、MXNet、MindSpore、Caffe、Caffe2和即时编译框架（Jittor）等主流框架，以及X86_64镜像架构、MIPS_64镜像架构和ARM_64镜像架构集成于模板之上，用户不用自己再耗时编辑相应的算法和环境，而是直接可以根据任务需求在模板中选择对应的算法和环境，集成算法的同时给用户带来了极大的便捷。

图2示意性示出了根据本发明实施例的基于模板编辑的遥感基础模型快速训练***的结构框图。

如图2所示，该实施例的基于模板编辑的遥感基础模型快速训练***包括：样本数据管理模块301、模板管理模块302、训练管理模块303。

样本数据管理模块301用于获取预先标注好的遥感样本数据集。该样本数据管理模块301具备样本集成能力和标注能力，其中，该遥感样本数据集包括：遥感图像数据集、遥感文本数据集、遥感语音数据集、遥感视频数据集、遥感电子数据集、遥感态势数据集中的其中之一。

模板管理模块302用于根据用户的任务需求确定与任务需求对应的遥感基础模型架构；以及基于任务需求给遥感基础模型架构编辑对应的算法框架与镜像环境。

训练管理模块303用于将遥感样本数据集输入遥感基础模型架构，利用编辑好的算法框架与镜像环境对遥感基础模型架构进行训练；以及对遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

在另一实施例中，基于模板编辑的遥感基础模型快速训练***包括还包括：任务调度模块304。

任务调度模块304用于提供资源负载均衡、任务追溯能力。

在遥感基础模型的训练中，一方面需要使用大量的计算资源来处理大规模的数据集和复杂的模型结构。资源负载均衡的目标是确保这些资源能够被充分利用，避免资源的过度或不足使用，以提高训练的效率和速度。另一方面，遥感基础模型的训练中涉及多个任务，如样本数据预处理、模型训练、验证和评估等。任务追溯的目的是追踪和记录每个任务的启动时间、完成时间、执行进度、执行结果等信息。通过任务追溯，可以了解任务的执行情况，及时发现和解决任务执行中的问题，如错误、异常或性能下降等。任务追溯还可以用于分析和优化训练过程，帮助改进模型的训练效果和性能。

根据本发明的实施例，样本数据管理模块301、模板管理模块模块302、训练管理模块303中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，样本数据管理模块301、模板管理模块模块302、训练管理模块303中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上***、基板上的***、封装上的***、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，样本数据管理模块301、模板管理模块模块302、训练管理模块303中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本发明的实施例中基于模板编辑的遥感基础模型快速训练***与本发明的实施例中基于模板编辑的遥感基础模型快速训练方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，在此不再赘述。

附图中的流程图和框图，图示了按照本发明各种实施例的***和方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (10)

1.一种基于模板编辑的遥感基础模型快速训练方法，其特征在于，包括：

获取预先标注好的遥感样本数据集；

根据用户的任务需求确定与所述任务需求对应的遥感基础模型架构；

基于所述任务需求给所述遥感基础模型架构编辑对应的算法框架与镜像环境；

将所述遥感样本数据集输入所述遥感基础模型架构，利用编辑好的算法框架与镜像环境对所述遥感基础模型架构进行训练；

对所述遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。

2.根据权利要求1所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述将所述遥感样本数据集输入所述遥感基础模型架构，利用编辑好的算法框架与镜像环境对所述遥感基础模型架构进行训练之前，还包括：

对所述遥感基础模型架构进行参数初始化设置；

根据所述遥感样本数据集和所述算法框架与镜像环境创建训练任务。

3.根据权利要求2所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述将所述遥感样本数据集输入所述遥感基础模型架构，利用编辑好的算法框架与镜像环境对所述遥感基础模型架构进行训练包括：

根据所述训练任务，将所述遥感样本数据集输入所述遥感基础模型架构进行训练；

使用智能调参优化方法迭代更新所述算法框架的参数。

4.根据权利要求3所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述使用智能调参优化方法迭代更新所述算法框架的参数包括：

确定所述算法框架的超参数；

根据智能调参优化算法迭代优化所述超参数；

获取所述遥感基础模型架构在验证集上的评估指标；

根据所述评估指标，将所述超参数在迭代优化过程中达到指标阈值的部分作为下一次迭代的起点，直至达到迭代终止条件。

5.根据权利要求1所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述对所述遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控包括：

确定与所述遥感基础模型架构匹配的可视化动态库；

通过动态挂载的方式将所述遥感基础模型架构在训练过程中的参数及损失函数传递至所述可视化动态库；

根据所述可视化动态库实时监控训练过程中的进度、参数变化及性能指标。

6.根据权利要求1所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述基于所述任务需求给所述遥感基础模型架构编辑对应的算法框架与镜像环境包括：

创建模板，其中，所述模板被预先集成有张量流框架、Pytorch、飞浆框架、MXNet、MindSpore、Caffe、Caffe2和即时编译框架中的至少一个；

在所述模板中选择与所述任务需求对应的算法框架配置至所述遥感基础模型架构中。

7.根据权利要求6所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述模板还集成有X86_64镜像架构、MIPS_64镜像架构和ARM_64镜像架构中的至少一个。

8.根据权利要求2所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述根据所述遥感样本数据集和所述算法框架与镜像环境创建训练任务包括：

根据所述遥感样本数据集和所述算法框架与镜像环境创建单机训练任务或分布式训练任务。

9.根据权利要求1所述的基于模板编辑的遥感基础模型快速训练方法，其特征在于，所述遥感样本数据集包括：遥感图像数据集、遥感文本数据集、遥感语音数据集、遥感视频数据集、遥感电子数据集、遥感态势数据集中的其中之一。

10.一种基于模板编辑的遥感基础模型快速训练***，包括：

样本数据管理模块，用于获取预先标注好的遥感样本数据集；

模板管理模块，用于根据用户的任务需求确定与所述任务需求对应的遥感基础模型架构；以及基于所述任务需求给所述遥感基础模型架构编辑对应的算法框架与镜像环境；

训练管理模块，用于将所述遥感样本数据集输入所述遥感基础模型架构，利用编辑好的算法框架与镜像环境对所述遥感基础模型架构进行训练；以及对所述遥感基础模型架构在训练过程中的进度、参数变化及性能指标进行可视化监控。