CN114140637B - 图像分类方法、存储介质和电子设备 - Google Patents

Abstract

本发明公开了一种图像分类方法、存储介质和电子设备。其中，该方法包括：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。本发明解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

Description

图像分类方法、存储介质和电子设备

技术领域

本发明涉及图像分类技术领域，具体而言，涉及一种图像分类方法、存储介质和电子设备。

背景技术

世界是在严格的物理、生物规则下运行的，那么对这个世界的观测结果(图像)也必然存在一些先验规律。例如，图像上色任务即利用了物体类别和物体颜色分布之间的关联；图像修复image inpainting，则是利用了物体类别和形状纹理之间的关联；旋转预测任务，利用了物体类别和其朝向之间的关联。

在相关技术中，如何实现更精准的构建目标任务的分类模型，以及提升分类模型的准确度，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像分类方法、存储介质和电子设备，以至少解决现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像分类方法，包括：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

根据本发明实施例的另一方面，还提供了一种自然资源地物分类方法，包括：获取待分类的自然资源图像；采用地物分类模型对上述待分类的自然资源图像进行分析，获取上述待分类的自然资源图像对应的自然资源地物类型，其中，上述地物分类模型采用多帧自然资源图像以及对上述多帧自然资源图像中的每帧自然资源图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧自然资源图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述自然资源地物类型。

根据本发明实施例的另一方面，还提供了一种建筑地物变化检测方法，包括：获取待检测的建筑图像；采用变化检测模型对上述待检测的建筑图像进行分析，确定上述待检测的建筑图像是否发生变化的检测结果，其中，上述变化检测模型采用多帧建筑图像以及对上述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧建筑图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述检测结果。

根据本发明实施例的另一方面，还提供了一种图像分类方法，包括：接收来自于客户端的待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；向上述客户端返回分类结果并在上述客户端上显示上述分类结果。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的图像分类方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

在本发明实施例中，通过获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；显示上述分类结果。

容易注意到的是，由于上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到分类模型，并采用分类模型对获取到的分类图像进行分析，得到分类结果，达到了提供更精准的构建目标任务的分类模型对分类图像进行分类处理的目的，通过将一张图像划分为一或多个不同的视图后，进行局部区域的增强，从而实现了提升分类模型的分类准确度的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现图像分类方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本发明实施例的一种图像分类方法的流程图；

图3是根据本发明实施例的一种图像分类方法的应用场景示意图；

图4是根据本发明实施例的一种可选的预训练第一神经网络模型的示意图；

图5是根据本发明实施例的一种可选的预训练第一神经网络模型的过程示意图；

图6a是根据本发明实施例的一种可选的遥感自监督图像的示意图；

图6b是根据本发明实施例的一种可选的自然影像的示意图；

图7是根据本发明实施例的一种图像分类方法的流程图；

图8是根据本发明实施例的一种地物分类方法的流程图；

图9是根据本发明实施例的一种地物变化检测方法的流程图；

图10是根据本发明实施例的一种遥感图像分类方法的流程图；

图11是根据本发明实施例的一种地物识别方法的流程图；

图12是根据本发明实施例的一种在云端服务器进行地物分类的示意图；

图13是根据本发明实施例的一种自然资源地物分类方法的流程图；

图14是根据本发明实施例的一种建筑地物变化检测方法的流程图；

图15根据本发明实施例的一种神经网络模型的获取装置的结构示意图；

图16是根据本发明实施例的另一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

AIEartch：是指通过AI的技术分析地球，解析不同地物类型，进行自然资源，水利行业，自然灾害等问题的应用。

自监督学习：自监督学习是指用于机器学习的标注(ground truth)源于数据本身，而非来自人工标注。如下图，自监督学习首先属于无监督学习，因此其学习的目标无需人工标注。其次，目前的自监督学习领域可大致分为两个分支。第一个是用于解决特定任务的自监督学习，例如，场景去遮挡以及自监督的深度估计、光流估计、图像关联点匹配等。另一个分支则用于表征学习，其中，有监督的表征学习，一个典型的例子是ImageNet分类；而无监督的表征学习中，最主要的方法则是自监督学习。

码本Codebook:是指将特征编码至中间侨联的一种状态。

实施例1

根据本发明实施例，提供了一种图像分类方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像分类方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本发明实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像分类方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述图像分类方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

需要说明的是，世界是在严格的物理、生物规则下运行的，那么对这个世界的观测结果(图像)也必然存在一些先验规律。例如，图像上色任务即利用了物体类别和物体颜色分布之间的关联；图像修复image inpainting，则是利用了物体类别和形状纹理之间的关联；旋转预测任务，利用了物体类别和其朝向之间的关联，通过挖掘更多的先验，可以设计自己的自监督学习任务。

自监督学习的流行是势在必然的，在各种主流的监督学习任务成熟之后，数据成了最重要的瓶颈。通过不断的分析半监督和自监督方法，从无标注数据中学习有效信息一直是一个很重要的研究课题，例如，如何通过降低数据标注量实现并获得较高的自监督学习的性能，自监督学习提供了非常丰富的想象空间。

自监督学习是指用于机器学习的标注(ground truth)源于数据本身，而非来自人工标注。典型的自监督学习方法包括：解决Jigsaw Puzzles、运动传播、旋转预测，以及最近很火的MoCo等等。当然还有其他分类方法，例如，根据数据分类也可以分为音视频video/图像image/语言language的自监督学习。本发明实施例主要讨论有关于图像image的自监督学习。

在上述运行环境下，本发明提供了如图2所示的一种图像分类方法，图2是根据本发明实施例的一种图像分类方法的流程图，如图2所示，该图像分类方法，包括：

步骤S102，获取待分类图像；

步骤S104，采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；

步骤S106，显示上述分类结果。

在本发明实施例中，通过获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；显示上述分类结果。

容易注意到的是，由于上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到分类模型，并采用分类模型对获取到的分类图像进行分析，得到分类结果，达到了提供更精准的构建目标任务的分类模型对分类图像进行分类处理的目的，通过将一张图像划分为一或多个不同的视图后，进行局部区域的增强，从而实现了提升分类模型的分类准确度的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

需要说明的是，本发明实施例可以但不限于适用于地物分类实际应用场景、变化检测实际应用场景、遥感图像分类实际应用场景、地物识别实际应用场景。例如，还可以应用于如下技术领域：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

在本申请实施例中，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到上述分类模型，并采用分类模型对获取到的分类图像进行分析，得到分类结果，达到了提供更精准的构建目标任务的分类模型对分类图像进行分类处理的目的。

作为一种可选的实施例，上述分类模型包括：第一神经网络模型，采用上述分类模型对上述待分类图像进行分析，得到上述分类结果包括：

步骤S1041，采用上述第一神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，上述分类模型包括：第一神经网络模型，即直接采用上述第一神经网络模型对上述待分类图像进行分析，得到上述分类结果，上述多组无标签数据为预先采集的遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述，上述多个视图为多个剪切视图(或者剪裁视图)，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

作为一种可选的实施例，上述分类模型包括：第二神经网络模型，采用上述分类模型对上述待分类图像进行分析，得到上述分类结果包括：

步骤S1043，采用上述第二神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第二神经网络模型采用目标类型训练集对第一神经网络模型进行训练后得到，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，上述分类模型包括：第二神经网络模型，即采用目标类型训练集对第一神经网络模型进行训练后得到第二神经网络模型，再采用上述第二神经网络模型对上述待分类图像进行分析，得到上述分类结果。

可选的，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，上述目标类型训练集为下游任务数据，该下游任务可以但不限于包括：地物分类任务，变化检测任务，遥感图像分类任务，地物识别任务等；上述多组无标签数据为预先采集的遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

作为一种可选的实施例，通过电子装置提供一图形用户界面，上述图形用户界面所显示的内容至少部分地包含一图像分类场景，上述方法还包括：

步骤S110，在上述图形用户界面内展示多个任务类型；

步骤S112，响应作用于上述图形用户界面的触控操作，从上述多个任务类型中确定目标任务类型；

步骤S114，在上述图形用户界面内展示上述目标任务类型对应的上述第一神经网络模型；

步骤S116，获取上述目标类型训练集，并采用上述目标类型训练集对上述第一神经网络模型进行模型训练，得到上述目标任务类型对应的上述第二神经网络模型。

作为一种可选的实施例，在该图形用户界面中所显示的内容至少部分地包含一图像分类场景，并且，在上述图形用户界面内展示多个任务类型；用户可以对图形用户界面进行触控从上述多个任务类型中确定目标任务类型；进而在上述图形用户界面内展示上述目标任务类型对应的上述第一神经网络模型。

以下提供一种可选的实施例，例如，以地物分类任务为例，可以先采用该地物分类任务的任务数据在大量的无标签数据上进行预训练，得到地物分类训练集；再采用该地物分类训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练，得到第二神经网络模型。

容易注意到的是，预先采用通过机器学习训练多组无标签数据得到第一神经网络模型，并采用获取到的目标类型训练集对该第一神经网络模型进行训练，得到第二神经网络模型，达到了采用目标类型训练集对基于无标签数据得到的第一神经网络模型进行训练，得到第二神经网络模型的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

作为一种可选的实施例，上述方法还包括：

步骤S120，对上述预训练图像进行数据增强处理得到的上述第一视图和上述第二视图；

步骤S122，获取上述预训练图像对应的第三视图；

步骤S124，采用上述第一视图、上述第二视图和上述第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型。

在上述可选的实施例中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，第一视图和第二视图中物体类型或者类别不一致，每个预训练图像codebook进行数据增强处理augmentation，得到第一视图和第二视图，其中，预训练图像codebook为一张整图，获取上述预训练图像对应的第三视图，如图4所示，再分别将第一视图、第二视图和第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型，如图5所示，在训练第一神经网络模型的过程中，由于裁剪了的图像并不包含整个物体，而扭曲会带入几何方面的失真，另外，即使是裁剪和扭曲，仍认为是规定了一个输入尺度，在第一神经网络模型中，针对第一视图和第二视图可以采用空间金字塔池化SPP对卷积得到的特征进行整合，然后得到一个固定长度的特征向量再传入全连接层。

作为一种可选的实施例，采用上述第一视图、上述第二视图和上述第三视图对上述初始神经网络模型进行预训练，得到上述第一神经网络模型包括：

步骤S130，利用上述初始神经网络模型获取上述第三视图对应的码本；

步骤S132，基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；

步骤S134，通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

需要说明的是，由于对比类任务通常对图片进行各种变换处理，然后优化目标是同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离，因此对于这类任务，理论上同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离，但是，实际的优化结果更偏向于第二种而非第一种，即虽然在解决实例判别instance discrimination的过程中并没有用的物体的类别标签，但是在优化后的特征空间中，同类的物体还是相对能够靠拢，即证明了数据之间是具有结构性和关联性的，实例判别则是巧妙地利用了这种结构性和关联性。

作为一种可选的实施例，在遥感自监督学习中，更多的业务需求是基于像素级的对比，要预测出每个像素具体属于哪个类别。但是，如图6a所示的遥感自监督图像和图6b所示的自然影像，如果两个图像进行对比，具体哪些像素是来源于同一种地物，哪些是不同地物类型，则需要判断进行匹配，因此本发明实施例提出了一种基于码本codebook的神经网络模型的比对方案。

由于不同的剪切视图crop之间由于地物差别较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像，利用上述初始神经网络模型获取与预训练图像对应的第三视图作为码本codebook，将不同的剪切视图crop产生的色块patch进行编码处理，再采用非平衡最优运输算法sinkhorn对不同的剪切视图进行比对，即基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

作为一种可选的实施例，基于上述码本对上述第一视图和上述第二视图进行对比学习，得到上述对比结果包括：

步骤S140，基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果；

步骤S142，基于上述码本对上述第一编码结果进行特征提取处理，得到第一特征向量，以及基于上述码本对上述第二编码结果进行特征提取处理，得到第二特征向量；

步骤S144，利用上述第一特征向量和上述第二特征向量得到上述对比结果。

在实施例中，在基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果之后；对上述第一编码结果进行特征提取处理，得到第一特征向量f(xi,c)，以及对上述第二编码结果进行特征提取处理，得到第二特征向量f(yj,c)，即提取特征得到一张图上不同的色块patch的上的特征向量，其中，得到的特征图可以为7*7大小；然后经过对codebook经过非平衡最优运输算法sinkhorn进行对比第一特征向量和上述第二特征向量，得到对比结果。

在本发明实施例中，比对第一特征向量和第二特征向量的相似度计算公式，可以采用sinkhorn算法,在得到比对结果之后可以确定第一特征向量和第二特征向量是否源于同一个区域，如果同一个区域则拉进，如果不同区域则拉远。

在上述运行环境下，本发明提供了如图7所示的一种神经网络模型的获取方法，图7是根据本发明实施例的一种神经网络模型的获取方法的流程图，如图7所示，该神经网络模型的获取方法，包括：

步骤S202，获取目标类型训练集；

步骤S204，采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，其中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

需要说明的是，本发明实施例可以但不限于适用于地物分类实际应用场景、变化检测实际应用场景、遥感图像分类实际应用场景、地物识别实际应用场景，本发明实施例所提供的神经网络模型的获取方法，提供一种降低数据标注量的算法，采用大规模的遥感自监督预训练，即将大量的无标签数据进行预训练，从而降低对标注数据量的需求，提升了自监督学习模块中的自监督学习能力，用户可以通过标注少量数据，从而获得较高的神经网络模型的性能。

作为一种可选的实施例，本申请所提供的上述神经网络模型的获取方法获取目标类型训练集；采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，在将该第二神经网络模型应用于遥感图像分类时，可以应用于气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

可选的，上述目标类型训练集为下游任务数据，该下游任务可以但不限于包括：地物分类任务，变化检测任务，遥感图像分类任务，地物识别任务等；上述多组无标签数据为预先采集的遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

以下提供一种可选的实施例，例如，以地物分类任务为例，可以先采用该地物分类任务的任务数据在大量的无标签数据上进行预训练，得到地物分类训练集；再采用该地物分类训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练，得到第二神经网络模型。

在本发明实施例中，通过获取目标类型训练集；采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，其中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。容易注意到的是，预先采用通过机器学习训练多组无标签数据得到第一神经网络模型，并采用获取到的目标类型训练集对该第一神经网络模型进行训练，得到第二神经网络模型，达到了采用目标类型训练集对基于无标签数据得到的第一神经网络模型进行训练，得到第二神经网络模型的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

在一种可选的实施例中，上述方法还包括：

步骤S302，对上述预训练图像进行数据增强处理得到的上述第一视图和上述第二视图；

步骤S304，获取上述预训练图像对应的第三视图；

步骤S306，采用上述第一视图、上述第二视图和上述第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型。

在上述可选的实施例中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，第一视图和第二视图中物体类型或者类别不一致，每个预训练图像codebook进行数据增强处理augmentation，得到第一视图和第二视图，其中，预训练图像codebook为一张整图，获取上述预训练图像对应的第三视图，仍如图4所示，再分别将第一视图、第二视图和第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型，仍如图5所示，在训练第一神经网络模型的过程中，由于裁剪了的图像并不包含整个物体，而扭曲会带入几何方面的失真，另外，即使是裁剪和扭曲，仍认为是规定了一个输入尺度，在第一神经网络模型中，针对第一视图和第二视图可以采用空间金字塔池化SPP对卷积得到的特征进行整合，然后得到一个固定长度的特征向量再传入全连接层。

在一种可选的实施例中，采用上述第一视图、上述第二视图和上述第三视图对上述初始神经网络模型进行预训练，得到上述第一神经网络模型包括：

步骤S402，利用上述初始神经网络模型获取上述第三视图对应的码本；

步骤S404，基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；

步骤S406，通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

需要说明的是，由于对比类任务通常对图片进行各种变换处理，然后优化目标是同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离，因此对于这类任务，理论上同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离，但是，实际的优化结果更偏向于第二种而非第一种，即虽然在解决实例判别instance discrimination的过程中并没有用的物体的类别标签，但是在优化后的特征空间中，同类的物体还是相对能够靠拢，即证明了数据之间是具有结构性和关联性的，实例判别则是巧妙地利用了这种结构性和关联性。

作为一种可选的实施例，在遥感自监督学习中，更多的业务需求是基于像素级的对比，要预测出每个像素具体属于哪个类别。但是，仍如图6a所示的遥感自监督图像和图6b所示的自然影像，如果两个图像进行对比，具体哪些像素是来源于同一种地物，哪些是不同地物类型，则需要判断进行匹配，因此本发明实施例提出了一种基于码本codebook的神经网络模型的比对方案。

由于不同的剪切视图crop之间由于地物差别较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像，利用上述初始神经网络模型获取与预训练图像对应的第三视图作为码本codebook，将不同的剪切视图crop产生的色块patch进行编码处理，再采用非平衡最优运输算法sinkhorn对不同的剪切视图进行比对，即基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

在一种可选的实施例中，基于上述码本对上述第一视图和上述第二视图进行对比学习，得到上述对比结果包括：

步骤S502，基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果；

步骤S504，基于上述码本对上述第一编码结果进行特征提取处理，得到第一特征向量，以及基于上述码本对上述第二编码结果进行特征提取处理，得到第二特征向量；

步骤S506，利用上述第一特征向量和上述第二特征向量得到上述对比结果。

在实施例中，在基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果之后；对上述第一编码结果进行特征提取处理，得到第一特征向量f(xi,c)，以及对上述第二编码结果进行特征提取处理，得到第二特征向量f(yj,c)，即提取特征得到一张图上不同的色块patch的上的特征向量，其中，得到的特征图可以为7*7大小；然后经过对codebook经过非平衡最优运输算法sinkhorn进行对比第一特征向量和上述第二特征向量，得到对比结果。

在本发明实施例中，比对第一特征向量和第二特征向量的相似度计算公式，可以采用sinkhorn算法,在得到比对结果之后可以确定第一特征向量和第二特征向量是否源于同一个区域，如果同一个区域则拉进，如果不同区域则拉远。

在一种可选的实施例中，利用上述第一特征向量和上述第二特征向量得到上述对比结果包括：

步骤S602，对上述第一特征向量与上述第二特征向量进行相似度计算，得到权重；

步骤S604，对上述第一特征向量与上述第二特征向量进行均方误差，得到特征距离；

步骤S606，采用上述权重和上述特征距离，确定上述对比结果。

可选的，在上述实施例中，对上述第一特征向量与上述第二特征向量进行相似度计算得到权重w,w＝OT(M(f(x,c),f(y,c))),对上述第一特征向量与上述第二特征向量进行均方误差，得到特征距离||f(x_i，c)-f(y_j，c)||；采用上述权重和上述特征距离，确定上述对比结果Loss，其中，

作为一种可选的实施例，通过电子装置提供一图形用户界面，上述图形用户界面所显示的内容至少部分地包含一地物分类展示场景，上述地物分类方法还包括：

步骤S610，在上述图形用户界面内动态展示分类结果，其中，上述分类结果用于表示上述待分类图像对应的地物类型；

步骤S612，接收上述地物分类结果的修改指令，对上述待分类图像对应的地物类型进行调整，并在上述图形用户界面内重新动态展示修改后的地物类型；或者，接收上述地物分类结果的确认指令，保存上述待分类图像对应的地物类型以备后续使用。

作为一种可选的实施例，在该图形用户界面中，用户可以对图形用户界面内当前动态展示的地物分类结果进行修改，即用户通过触控该图形用户界面中的修改按钮或变更按钮，或者双击点击该地物分类结果，触发修改指令，以进一步对地物类型进行调整，以及在上述图形用户界面内重新动态展示修改后的地物类型。

作为另一种可选的实施例，在该图形用户界面中，用户可以图形用户界面内当前动态展示的地物分类结果进行确认，即用户可以通过触控该图形用户界面中的确认按钮，或者点击该地物分类结果，触发确认指令，以保存上述待分类图像对应的地物类型以备后续使用。

本发明提供了如图8所示的一种地物分类方法，图8是根据本发明实施例的一种地物分类方法的流程图，如图8所示，该地物分类方法，包括：

步骤S702，获取待分类图像；

步骤S704，采用地物分类模型对上述待分类图像进行分析，获取上述待分类图像对应的地物类型，其中，上述地物分类模型采用地物分类训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

需要说明的是，本发明实施例可以但不限于适用于地物分类实际应用场景，本发明实施例所提供的地物分类方法，提供一种降低数据标注量的算法，采用大规模的遥感自监督预训练，即将大量的无标签数据进行预训练，从而降低对标注数据量的需求，提升了自监督学习模块中的自监督学习能力，用户可以通过标注少量数据，从而获得较高的神经网络模型的性能。

作为一种可选的实施例，本申请所提供的上述采用地物分类模型对对如下任意一种领域中获取到的待分类图像进行分析，获取上述待分类图像对应的地物类型。上述任意一种领域包括但不限于：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

可选的，上述多组无标签数据为预先采集的地物分类遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

如以上述地物分类任务为例，可以先用该地物分类任务的任务数据在大量的无标签数据上进行预训练，得到地物分类训练集；再采用该地物分类训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练，得到地物分类模型。

在本发明实施例中，通过获取待分类图像；采用地物分类模型对上述待分类图像进行分析，获取上述待分类图像对应的地物类型，其中，上述地物分类模型采用地物分类训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。达到了采用地物分类模型确定待分类图像对应的地物类型的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

本发明提供了如图9所示的一种地物变化检测方法，图9是根据本发明实施例的一种地物变化检测方法的流程图，如图9所示，该地物变化检测方法，包括：

步骤S802，获取待检测图像；

步骤S804，采用变化检测模型对上述待检测图像进行分析，确定上述待检测图像是否发生变化，其中，上述变化检测模型采用变化检测训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

需要说明的是，本发明实施例可以但不限于适用于地物变化检测实际应用场景，本发明实施例所提供的地物变化检测方法，提供一种降低数据标注量的算法，采用大规模的遥感自监督预训练，即将大量的无标签数据进行预训练，从而降低对标注数据量的需求，提升了自监督学习模块中的自监督学习能力，用户可以通过标注少量数据，从而获得较高的神经网络模型的性能。

作为一种可选的实施例，本申请所提供的上述地物变化检测方法，采用变化检测模型对如下任意一种领域中获取到的待检测图像进行分析，确定上述待检测图像是否发生变化。上述任意一种领域包括但不限于：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

可选的，上述多组无标签数据为预先采集的地物变化的待检测遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，仍如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

如以上述地物变化检测任务为例，可以先用该地物变化检测任务的任务数据在大量的无标签数据上进行预训练，得到地物变化检测训练集；再采用该地物变化检测训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练得到变化检测模型。

在本发明实施例中，通过获取待检测图像；采用变化检测模型对上述待检测图像进行分析，确定上述待检测图像是否发生变化，其中，上述变化检测模型采用变化检测训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。达到了采用变化检测模型确定待检测图像是否发生变化的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

本发明提供了如图10所示的一种遥感图像分类方法，图10是根据本发明实施例的一种遥感图像分类方法的流程图，如图10所示，该遥感图像分类方法，包括：

步骤S902，获取待分类遥感图像；

步骤S904，采用分类模型对上述待分类遥感图像进行分析，确定上述待分类遥感图像对应的分类，其中，上述分类模型采用遥感图像分类训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

需要说明的是，本发明实施例可以但不限于适用于遥感图像分类实际应用场景，本发明实施例所提供的遥感图像分类方法，提供一种降低数据标注量的算法，采用大规模的遥感自监督预训练，即将大量的无标签数据进行预训练，从而降低对标注数据量的需求，提升了自监督学习模块中的自监督学习能力，用户可以通过标注少量数据，从而获得较高的神经网络模型的性能。

作为一种可选的实施例，本申请所提供的上述遥感图像分类方法，采用分类模型对如下任意一种领域中获取到的待分类遥感图像进行分析，确定上述待分类遥感图像对应的分类，上述任意一种领域包括但不限于：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

可选的，上述多组无标签数据为预先采集的地物变化的待检测遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

如以上述遥感图像分类任务为例，可以先用该遥感图像分类任务的任务数据在大量的无标签数据上进行预训练，得到遥感图像分类训练集；再采用该遥感图像分类训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练得到分类模型。

在本发明实施例中，通过获取待分类遥感图像；采用分类模型对上述待分类遥感图像进行分析，确定上述待分类遥感图像对应的分类，其中，上述分类模型采用遥感图像分类训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。达到了采用分类模型确定待分类遥感图像对应的分类的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

本发明提供了如图11所示的一种地物识别方法，图11是根据本发明实施例的一种地物识别方法的流程图，如图11所示，该地物识别方法，包括：

步骤S1002，获取待识别图像；

步骤S1004，采用地物识别模型对上述待识别图像进行分析，确定上述待识别图像中是否存在目标地物，其中，上述地物识别模型采用地物识别训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

需要说明的是，本发明实施例可以但不限于适用于地物识别实际应用场景，本发明实施例所提供的地物识别方法，提供一种降低数据标注量的算法，采用大规模的遥感自监督预训练，即将大量的无标签数据进行预训练，从而降低对标注数据量的需求，提升了自监督学习模块中的自监督学习能力，用户可以通过标注少量数据，从而获得较高的神经网络模型的性能。

作为一种可选的实施例，本申请所提供的上述地物识别方法，采用地物识别模型对如下任意一种领域中获取到的待识别图像进行分析，确定上述待识别图像中是否存在目标地物，上述任意一种领域包括但不限于：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

可选的，上述多组无标签数据为预先采集的地物识别遥感图像，上述预训练图像为整张图像，数据增强处理即augmentation，其中数据增强处理分为离线处理和在线处理，数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

可选的，上述第一视图和第二视图可以为剪切视图或者剪裁视图，如图3所示，对每个预训练图像进行数据增强处理得到两个剪切视图crop，即第一视图和第二视图，由于不同的剪切视图crop之间由于差别(例如，地物差别)较大，容易匹配错误，因此本发明实施例中，采用整张图像作为预训练图像。

如以上述地物识别任务为例，可以先用该地物识别任务的任务数据在大量的无标签数据上进行预训练，得到地物识别训练集；再采用该地物识别训练集对已经加载了预训练参数的第一神经网络模型，进行下游训练得到地物识别模型。

在本发明实施例中，通过获取待识别图像；采用地物识别模型对上述待识别图像进行分析，确定上述待识别图像中是否存在目标地物，其中，上述地物识别模型采用地物识别训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。达到了采用地物识别模型确定上述待识别图像中是否存在目标地物的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

本申请提供了如图12所示的又一种地物分类方法。图12是根据本发明实施例的一种在云端服务器进行地物分类的示意图，如图12所示，客户端将待分类图像上传至云端服务器，云端服务器采用地物分类模型对上述待分类图像进行分析，获取上述待分类图像对应的地物类型，其中，上述地物分类模型为采用地物分类训练集对预训练神经网络模型进行训练得到，上述预训练神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

然后，云端服务器会向上述客户端反馈分类结果，最终的分类结果会通过客户端的图形用户界面展现给用户。在图形用户界面展示分类结果的可选方式已在上文实施例中进行过相应描述，此处不再赘述。

需要说明的是，本申请实施例所提供的上述地物分类方法，可以但不限于适用于地物分类实际应用场景、变化检测实际应用场景、遥感图像分类实际应用场景、地物识别实际应用场景，通过SaaS服务端和客户端进行交互的方式，采用地物分类模型对上述待分类图像进行分析，获取上述待分类图像对应的地物类型，并将返回的分类结果在客户端上进行展示。

本发明提供了如图13所示的一种自然资源地物分类方法，图13是根据本发明实施例的一种自然资源地物分类方法的流程图，如图13所示，该自然资源地物分类方法，包括：

步骤S1102，获取待分类的自然资源图像；

步骤S1104，采用地物分类模型对上述待分类的自然资源图像进行分析，获取上述待分类的自然资源图像对应的自然资源地物类型，其中，上述地物分类模型采用多帧自然资源图像以及对上述多帧自然资源图像中的每帧自然资源图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧自然资源图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；

步骤S1106，显示上述自然资源地物类型。

在本发明实施例中，通过获取待分类的自然资源图像；采用地物分类模型对上述待分类的自然资源图像进行分析，得到分类结果，其中，上述地物分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；显示上述分类结果。

容易注意到的是，由于上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧自然资源图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到地物分类模型，并采用地物分类模型对获取到的分类图像进行分析，得到分类结果，达到了提供更精准的构建目标任务的地物分类模型对分类图像进行分类处理的目的，通过将一张图像划分为一或多个不同的视图后，进行局部区域的增强，从而实现了提升地物分类模型的分类准确度的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

需要说明的是，本发明实施例可以但不限于适用于地物分类实际应用场景，用于采用地物分类模型对上述待分类的自然资源图像进行分析，获取上述待分类的自然资源图像对应的自然资源地物类型。例如，耕地、城市地域、水域、海域、矿产、森林植被、沙漠、热带雨林等等自然地物类型。

例如，还可以应用于如下技术领域：气象领域(例如，云层提取、气象预报、气象预警等)；自然资源与生态环境领域(例如，气象预报、变化检测、生态红线变化检测、多分类变化检测、地物分类、大棚提取、路网提取、建筑物提取、建筑物变化检测(卫星、无人机)等；水利领域(例如，水域变化检测、大棚提取、水体提取(光学、雷达)、片林提取、网箱养殖提取、采砂场提取、临河房屋提取、拦河坝提取、光伏电厂提取等)；农林业领域(例如，作物提取(小麦、水稻、土豆等)、无人机作物识别(玉米、烤烟、薏仁米等)、地块识别、长势监测(指数计算)、农业估产、病虫害监测、种植建议推送等；次生灾害领域(例如，灾害监测、灾害预警等)；生活服务(出行、外卖、物流)领域(例如，出行路径规划、出行建议推送、人员调动、价格调整等)；城市规划领域(例如，路网提取(卫星、无人机)、建筑物提取、建筑物变化检测(卫星、无人机)、消防等)。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

在本申请实施例中，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到上述地物分类模型，并采用地物分类模型对获取到的待分类的自然资源图像进行分析，得到自然资源地物类型，通过更精准的构建目标任务的地物分类模型对分类图像进行分类处理，实现准确分析得到该待分类的自然资源所属的自然资源地物类型。

作为一种可选的实施例，通过电子装置提供一图形用户界面，上述图形用户界面所显示的内容至少部分地包含一地物分类展示场景，上述地物分类方法还包括：

步骤S1202，在上述图形用户界面内动态展示上述自然资源地物类型；

步骤S1204，接收上述自然资源地物类型的修改指令，对上述待分类的自然资源图像对应的自然资源地物类型进行调整，并在上述图形用户界面内重新动态展示修改后的自然资源地物类型；或者，接收上述自然资源地物类型的确认指令，保存上述待分类的自然资源图像对应的自然资源地物类型以备后续使用。

作为一种可选的实施例，在该图形用户界面中，用户可以对图形用户界面内当前动态展示的自然资源地物类型进行修改，即用户通过触控该图形用户界面中的修改按钮或变更按钮，或者双击点击该自然资源地物类型，触发修改指令，以进一步对自然资源地物类型进行调整，以及在上述图形用户界面内重新动态展示修改后的自然资源地物类型。

作为另一种可选的实施例，在该图形用户界面中，用户可以图形用户界面内当前动态展示的自然资源地物类型进行确认，即用户可以通过触控该图形用户界面中的确认按钮，或者点击该自然资源地物类型，触发确认指令，以保存上述待分类的自然资源图像对应的自然资源地物类型以备后续使用。

本发明提供了如图14所示的一种建筑地物变化检测方法，图14是根据本发明实施例的一种建筑地物变化检测方法的流程图，如图14所示，该建筑地物变化检测方法，包括：

步骤S1302，获取待检测的建筑图像；

步骤S1304，采用变化检测模型对上述待检测的建筑图像进行分析，确定上述待检测的建筑图像是否发生变化的检测结果，其中，上述变化检测模型采用多帧建筑图像以及对上述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧建筑图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；

步骤S1306，显示上述检测结果。

容易注意到的是，由于上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧建筑图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；通过预先采用多帧建筑图像以及对上述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到变化检测模型，并采用变化检测模型对上述待检测的建筑图像进行分析，确定上述待检测的建筑图像是否发生变化的检测结果，达到了提供更精准的构建目标任务的变化检测模型对分类图像进行分类处理的目的，通过将一张图像划分为一或多个不同的视图后，进行局部区域的增强，从而实现了提升变化检测模型的分类准确度的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

需要说明的是，本发明实施例可以但不限于适用于地物分类实际应用场景，例如，建筑地物变化检测场景中，用于采用地物分类模型对上述建筑地物变化是否发生变化进行检测，得到上述待检测的建筑图像是否发生变化的检测结果。例如，从存在该待检测的建筑图像到变为荒地，即表明该建筑图像中的建筑物被拆迁，或者，从荒地变为存在该待检测的建筑图像，即表明该建筑图像中的建筑物为新建的建筑物。

由于图片具有空间连贯性，视频具有时空连贯性，因此可以利用这些特点来设计自监督学习任务。例如，利用图片中物体空间上的语义连贯性，以及利用视频中物体运动的时间连贯性。

在本申请实施例中，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到变化检测模型，并采用变化检测模型对上述建筑地物变化是否发生变化进行检测，得到上述待检测的建筑图像是否发生变化的检测结果，通过更精准的构建目标任务的变化检测模型对分类图像进行分类处理，实现准确确定上述建筑地物变化是否发生变化。

本申请实施例还提供一种图像分类方法的实施例，仍如图12所示，客户端将待分类图像上传至云端服务器，云端服务器采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；向上述客户端返回分类结果并在上述客户端上显示上述分类结果。

然后，云端服务器会向上述客户端反馈分类结果，最终的分类结果会通过客户端的图形用户界面展现给用户。在图形用户界面展示分类结果的可选方式已在上文实施例中进行过相应描述，此处不再赘述。

需要说明的是，本申请实施例所提供的上述地物分类方法，可以但不限于适用于地物分类实际应用场景、变化检测实际应用场景、遥感图像分类实际应用场景、地物识别实际应用场景，通过SaaS服务端和客户端进行交互的方式，采用分类模型对上述待分类图像进行分析，得到分类结果，并将返回的分类结果在客户端上进行展示。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例上述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述神经网络模型的获取方法的装置实施例，图15根据本发明实施例的一种神经网络模型的获取装置的结构示意图，如图15所示，上述装置包括：

获取模块110，用于获取目标类型训练集；训练模块112，用于采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，其中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

此处需要说明的是，上述获取模块110、训练模块112对应于实施例1中的步骤S202至步骤S204，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

在本发明实施例中，通过获取模块，用于获取目标类型训练集；训练模块，用于采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，其中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。容易注意到的是，预先采用通过机器学习训练多组无标签数据得到第一神经网络模型，并采用获取到的目标类型训练集对该第一神经网络模型进行训练，得到第二神经网络模型，达到了采用目标类型训练集对基于无标签数据得到的第一神经网络模型进行训练，得到第二神经网络模型的目的，从而实现了通过降低数据标注量实现较高的自监督学习的性能的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例3

根据本发明实施例，还提供了一种电子设备的实施例，该电子设备可以是计算设备群中的任意一个计算设备。该电子设备包括：处理器和存储器，其中：

处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

在本发明实施例中，通过获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；显示上述分类结果。

容易注意到的是，预先使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到分类模型，并采用分类模型对获取到的分类图像进行分析，得到分类结果，达到了提供更精准的构建目标任务的分类模型对分类图像进行分类处理的目的，通过将一张图像划分为一或多个不同的视图后，进行局部区域的增强，从而实现了提升分类模型的分类准确度的技术效果，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例4

根据本发明实施例，还提供了一种计算机终端的实施例，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行图像分类方法中以下步骤的程序代码：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

可选地，图16是根据本发明实施例的另一种计算机终端的结构框图，如图16所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器122、存储器124、以及外设接口126。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像分类方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像分类方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

可选的，上述处理器还可以执行如下步骤的程序代码：采用上述第一神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，上述处理器还可以执行如下步骤的程序代码：采用上述第二神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第二神经网络模型采用目标类型训练集对第一神经网络模型进行训练后得到，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选的，上述处理器还可以执行如下步骤的程序代码：在上述图形用户界面内展示多个任务类型；响应作用于上述图形用户界面的触控操作，从上述多个任务类型中确定目标任务类型；在上述图形用户界面内展示上述目标任务类型对应的上述第一神经网络模型；获取上述目标类型训练集，并采用上述目标类型训练集对上述第一神经网络模型进行模型训练，得到上述目标任务类型对应的上述第二神经网络模型。

可选的，上述处理器还可以执行如下步骤的程序代码：对上述预训练图像进行数据增强处理得到的上述第一视图和上述第二视图；获取上述预训练图像对应的第三视图；采用上述第一视图、上述第二视图和上述第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型。

可选的，上述处理器还可以执行如下步骤的程序代码：利用上述初始神经网络模型获取上述第三视图对应的码本；基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

可选的，上述处理器还可以执行如下步骤的程序代码：基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果；基于上述码本对上述第一编码结果进行特征提取处理，得到第一特征向量，以及基于上述码本对上述第二编码结果进行特征提取处理，得到第二特征向量；利用上述第一特征向量和上述第二特征向量得到上述对比结果。

可选的，上述处理器还可以执行如下步骤的程序代码：获取待分类的自然资源图像；采用地物分类模型对上述待分类的自然资源图像进行分析，获取上述待分类的自然资源图像对应的自然资源地物类型，其中，上述地物分类模型采用多帧自然资源图像以及对上述多帧自然资源图像中的每帧自然资源图像进行数据增强处理得到的多个视图训练得到；显示上述自然资源地物类型。

可选的，上述处理器还可以执行如下步骤的程序代码：在上述图形用户界面内动态展示上述自然资源地物类型；接收上述自然资源地物类型的修改指令，对上述待分类的自然资源图像对应的自然资源地物类型进行调整，并在上述图形用户界面内重新动态展示修改后的自然资源地物类型；或者，接收上述自然资源地物类型的确认指令，保存上述待分类的自然资源图像对应的自然资源地物类型以备后续使用。

可选的，上述处理器还可以执行如下步骤的程序代码：获取待检测的建筑图像；采用变化检测模型对上述待检测的建筑图像进行分析，确定上述待检测的建筑图像是否发生变化的检测结果，其中，上述变化检测模型采用多帧建筑图像以及对上述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到；显示上述检测结果。

可选的，上述处理器还可以执行如下步骤的程序代码：接收来自于客户端的待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；向上述客户端返回分类结果并在上述客户端上显示上述分类结果。

采用本发明实施例，提供了一种神经网络模型的获取的方案。通过获取目标类型训练集；采用上述目标类型训练集对第一神经网络模型进行训练，得到第二神经网络模型，其中，上述第一神经网络模型使用多组无标签数据通过机器学习训练得到，上述多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图，从而采用目标类型训练集对基于无标签数据得到的第一神经网络模型进行训练，得到第二神经网络模型的目的，进而解决了现有技术中并未实现更精准的构建目标任务的地物分类模型，导致地物分类模型的分类准确度较低的技术问题。

本领域普通技术人员可以理解，图16所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图16中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图16所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，计算机可读存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

实施例5

根据本发明的实施例，还提供了一种计算机可读存储介质的实施例。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例所提供的图像分类方法、神经网络模型的获取方法、地物变化检测方法、地物分类方法、遥感图像分类方法、地物识别方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，上述多个视图为多个剪切视图，上述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，上述多个剪切视图中每个剪切视图分别对应上述整张图像中的不同剪切区域，上述多个剪切视图中每个剪切视图对应的剪切对象类别不同；显示上述分类结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用上述第一神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用上述第二神经网络模型对上述待分类图像进行分析，得到上述分类结果，其中，上述第二神经网络模型采用目标类型训练集对第一神经网络模型进行训练后得到，上述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对上述预训练图像进行数据增强处理得到的第一视图和第二视图。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在上述图形用户界面内展示多个任务类型；响应作用于上述图形用户界面的触控操作，从上述多个任务类型中确定目标任务类型；在上述图形用户界面内展示上述目标任务类型对应的上述第一神经网络模型；获取上述目标类型训练集，并采用上述目标类型训练集对上述第一神经网络模型进行模型训练，得到上述目标任务类型对应的上述第二神经网络模型。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：对上述预训练图像进行数据增强处理得到的上述第一视图和上述第二视图；获取上述预训练图像对应的第三视图；采用上述第一视图、上述第二视图和上述第三视图对初始神经网络模型进行预训练，得到上述第一神经网络模型。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：利用上述初始神经网络模型获取上述第三视图对应的码本；基于上述码本对上述第一视图和上述第二视图进行对比学习，得到对比结果；通过上述对比结果调整上述初始神经网络模型，得到上述第一神经网络模型。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于上述码本对上述第一视图进行编码，得到第一编码结果，以及基于上述码本对上述第二视图进行编码，得到第二编码结果；基于上述码本对上述第一编码结果进行特征提取处理，得到第一特征向量，以及基于上述码本对上述第二编码结果进行特征提取处理，得到第二特征向量；利用上述第一特征向量和上述第二特征向量得到上述对比结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取待分类的自然资源图像；采用地物分类模型对上述待分类的自然资源图像进行分析，获取上述待分类的自然资源图像对应的自然资源地物类型，其中，上述地物分类模型采用多帧自然资源图像以及对上述多帧自然资源图像中的每帧自然资源图像进行数据增强处理得到的多个视图训练得到；显示上述自然资源地物类型。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在上述图形用户界面内动态展示上述自然资源地物类型；接收上述自然资源地物类型的修改指令，对上述待分类的自然资源图像对应的自然资源地物类型进行调整，并在上述图形用户界面内重新动态展示修改后的自然资源地物类型；或者，接收上述自然资源地物类型的确认指令，保存上述待分类的自然资源图像对应的自然资源地物类型以备后续使用。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取待检测的建筑图像；采用变化检测模型对上述待检测的建筑图像进行分析，确定上述待检测的建筑图像是否发生变化的检测结果，其中，上述变化检测模型采用多帧建筑图像以及对上述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到；显示上述检测结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：接收来自于客户端的待分类图像；采用分类模型对上述待分类图像进行分析，得到分类结果，其中，上述分类模型使用多帧图像以及对上述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到；向上述客户端返回分类结果并在上述客户端上显示上述分类结果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上上述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像分类方法，其特征在于，包括：

获取待分类图像；

采用分类模型对所述待分类图像进行分析，得到分类结果，其中，所述分类模型使用多帧图像以及对所述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，所述多个视图为多个剪切视图，所述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，所述多个剪切视图中每个剪切视图分别对应所述整张图像中的不同剪切区域，所述多个剪切视图中每个剪切视图对应的剪切对象类别不同，其中，所述分类模型包括：第一神经网络模型和第二神经网络模型；

显示所述分类结果；

其中，通过电子装置提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一图像分类场景，采用所述分类模型对所述待分类图像进行分析，得到所述分类结果包括：

在所述图形用户界面内展示多个任务类型；响应作用于所述图形用户界面的触控操作，从所述多个任务类型中确定目标任务类型；在所述图形用户界面内展示所述目标任务类型对应的所述第一神经网络模型；获取目标类型训练集，并采用所述目标类型训练集对所述第一神经网络模型进行模型训练，得到所述目标任务类型对应的所述第二神经网络模型；采用所述第二神经网络模型对所述待分类图像进行分析，得到所述分类结果；

其中，所述方法还包括：

利用初始神经网络模型获取第三视图对应的码本，其中，所述第三视图与预训练图像对应；基于所述码本对第一视图和第二视图进行对比学习，得到对比结果，其中，所述第一视图和所述第二视图通过对所述预训练图像进行数据增强处理得到；通过所述对比结果调整所述初始神经网络模型，得到所述第一神经网络模型。

2.根据权利要求1所述的图像分类方法，其特征在于，采用所述分类模型对所述待分类图像进行分析，得到所述分类结果包括：

采用所述第一神经网络模型对所述待分类图像进行分析，得到所述分类结果，其中，所述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对所述预训练图像进行数据增强处理得到的第一视图和第二视图。

3.根据权利要求1所述的图像分类方法，其特征在于，所述第二神经网络模型采用所述目标类型训练集对所述第一神经网络模型进行训练后得到，所述第一神经网络模型使用的多组无标签数据中的每组数据包括：预训练图像以及对所述预训练图像进行数据增强处理得到的第一视图和第二视图。

4.根据权利要求2或3所述的图像分类方法，其特征在于，所述方法还包括：

对所述预训练图像进行数据增强处理得到的所述第一视图和所述第二视图；

获取所述预训练图像对应的第三视图；

采用所述第一视图、所述第二视图和所述第三视图对初始神经网络模型进行预训练，得到所述第一神经网络模型。

5.根据权利要求1所述的图像分类方法，其特征在于，基于所述码本对所述第一视图和所述第二视图进行对比学习，得到所述对比结果包括：

基于所述码本对所述第一视图进行编码，得到第一编码结果，以及基于所述码本对所述第二视图进行编码，得到第二编码结果；

基于所述码本对所述第一编码结果进行特征提取处理，得到第一特征向量，以及基于所述码本对所述第二编码结果进行特征提取处理，得到第二特征向量；

利用所述第一特征向量和所述第二特征向量得到所述对比结果。

6.一种自然资源地物分类方法，其特征在于，包括：

获取待分类的自然资源图像；

采用地物分类模型对所述待分类的自然资源图像进行分析，获取所述待分类的自然资源图像对应的自然资源地物类型，其中，所述地物分类模型采用多帧自然资源图像以及对所述多帧自然资源图像中的每帧自然资源图像进行数据增强处理得到的多个视图训练得到，所述多个视图为多个剪切视图，所述多个剪切视图通过对每帧自然资源图像对应的整张图像进行数据增强处理得到，所述多个剪切视图中每个剪切视图分别对应所述整张图像中的不同剪切区域，所述多个剪切视图中每个剪切视图对应的剪切对象类别不同，其中，所述地物分类模型包括：第一神经网络模型和第二神经网络模型；

显示所述自然资源地物类型；

其中，通过电子装置提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一地物分类展示场景，采用所述地物分类模型对所述待分类的自然资源图像进行分析，获取所述待分类的自然资源图像对应的所述自然资源地物类型包括：

在所述图形用户界面内展示多个任务类型；响应作用于所述图形用户界面的触控操作，从所述多个任务类型中确定地物分类任务类型；在所述图形用户界面内展示所述地物分类任务类型对应的所述第一神经网络模型；获取目标类型训练集，并采用所述目标类型训练集对所述第一神经网络模型进行模型训练，得到所述地物分类任务类型对应的所述第二神经网络模型；采用所述第二神经网络模型对所述待分类的自然资源图像进行分析，得到所述自然资源地物类型；

其中，所述方法还包括：

利用初始神经网络模型获取第三视图对应的码本，其中，所述第三视图与预训练图像对应；基于所述码本对第一视图和第二视图进行对比学习，得到对比结果，其中，所述第一视图和所述第二视图通过对所述预训练图像进行数据增强处理得到；通过所述对比结果调整所述初始神经网络模型，得到所述第一神经网络模型。

7.根据权利要求6所述的地物分类方法，其特征在于，所述地物分类方法还包括：

在所述图形用户界面内动态展示所述自然资源地物类型；

接收所述自然资源地物类型的修改指令，对所述待分类的自然资源图像对应的自然资源地物类型进行调整，并在所述图形用户界面内重新动态展示修改后的自然资源地物类型；或者，接收所述自然资源地物类型的确认指令，保存所述待分类的自然资源图像对应的自然资源地物类型以备后续使用。

8.一种建筑地物变化检测方法，其特征在于，包括：

获取待检测的建筑图像；

采用变化检测模型对所述待检测的建筑图像进行分析，确定所述待检测的建筑图像是否发生变化的检测结果，其中，所述变化检测模型采用多帧建筑图像以及对所述多帧建筑图像中的每帧建筑图像进行数据增强处理得到的多个视图训练得到，所述多个视图为多个剪切视图，所述多个剪切视图通过对每帧建筑图像对应的整张图像进行数据增强处理得到，所述多个剪切视图中每个剪切视图分别对应所述整张图像中的不同剪切区域，所述多个剪切视图中每个剪切视图对应的剪切对象类别不同，其中，所述变化检测模型包括：第一神经网络模型和第二神经网络模型；

显示所述检测结果；

其中，通过电子装置提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一建筑地物变化检测场景，采用所述变化检测模型对所述待检测的建筑图像进行分析，确定所述待检测的建筑图像是否发生变化的所述检测结果包括：

在所述图形用户界面内展示多个任务类型；响应作用于所述图形用户界面的触控操作，从所述多个任务类型中确定地物变化检测任务类型；在所述图形用户界面内展示所述地物变化检测任务类型对应的所述第一神经网络模型；获取目标类型训练集，并采用所述目标类型训练集对所述第一神经网络模型进行模型训练，得到所述地物变化检测任务类型对应的所述第二神经网络模型；采用所述第二神经网络模型对所述待检测的建筑图像进行分析，得到所述检测结果；

其中，所述方法还包括：

利用初始神经网络模型获取第三视图对应的码本，其中，所述第三视图与预训练图像对应；基于所述码本对第一视图和第二视图进行对比学习，得到对比结果，其中，所述第一视图和所述第二视图通过对所述预训练图像进行数据增强处理得到；通过所述对比结果调整所述初始神经网络模型，得到所述第一神经网络模型。

9.一种图像分类方法，其特征在于，包括：

接收来自于客户端的待分类图像；

采用分类模型对所述待分类图像进行分析，得到分类结果，其中，所述分类模型使用多帧图像以及对所述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，所述多个视图为多个剪切视图，所述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，所述多个剪切视图中每个剪切视图分别对应所述整张图像中的不同剪切区域，所述多个剪切视图中每个剪切视图对应的剪切对象类别不同，其中，所述分类模型包括：第一神经网络模型和第二神经网络模型；

向所述客户端返回分类结果并在所述客户端上显示所述分类结果；

其中，通过电子装置提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一图像分类场景，采用所述分类模型对所述待分类图像进行分析，得到所述分类结果包括：

在所述图形用户界面内展示多个任务类型；响应作用于所述图形用户界面的触控操作，从所述多个任务类型中确定目标任务类型；在所述图形用户界面内展示所述目标任务类型对应的所述第一神经网络模型；获取目标类型训练集，并采用所述目标类型训练集对所述第一神经网络模型进行模型训练，得到所述目标任务类型对应的所述第二神经网络模型；采用所述第二神经网络模型对所述待分类图像进行分析，得到所述分类结果；

其中，所述方法还包括：

利用初始神经网络模型获取第三视图对应的码本，其中，所述第三视图与预训练图像对应；基于所述码本对第一视图和第二视图进行对比学习，得到对比结果，其中，所述第一视图和所述第二视图通过对所述预训练图像进行数据增强处理得到；通过所述对比结果调整所述初始神经网络模型，得到所述第一神经网络模型。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至5中任意一项所述的图像分类方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

获取待分类图像；

采用分类模型对所述待分类图像进行分析，得到分类结果，其中，所述分类模型使用多帧图像以及对所述多帧图像中的每帧图像进行数据增强处理得到的多个视图训练得到，所述多个视图为多个剪切视图，所述多个剪切视图通过对每帧图像对应的整张图像进行数据增强处理得到，所述多个剪切视图中每个剪切视图分别对应所述整张图像中的不同剪切区域，所述多个剪切视图中每个剪切视图对应的剪切对象类别不同，其中，所述分类模型包括：第一神经网络模型和第二神经网络模型；

显示所述分类结果；

其中，通过电子装置提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一图像分类场景，采用所述分类模型对所述待分类图像进行分析，得到所述分类结果包括：

在所述图形用户界面内展示多个任务类型；响应作用于所述图形用户界面的触控操作，从所述多个任务类型中确定目标任务类型；在所述图形用户界面内展示所述目标任务类型对应的所述第一神经网络模型；获取目标类型训练集，并采用所述目标类型训练集对所述第一神经网络模型进行模型训练，得到所述目标任务类型对应的所述第二神经网络模型；采用所述第二神经网络模型对所述待分类图像进行分析，得到所述分类结果；

利用初始神经网络模型获取第三视图对应的码本，其中，所述第三视图与预训练图像对应；基于所述码本对第一视图和第二视图进行对比学习，得到对比结果，其中，所述第一视图和所述第二视图通过对所述预训练图像进行数据增强处理得到；通过所述对比结果调整所述初始神经网络模型，得到所述第一神经网络模型。