CN114170242A

CN114170242A - 样本图像的生成方法、图像预测方法、装置、设备及介质

Info

Publication number: CN114170242A
Application number: CN202111401563.8A
Authority: CN
Inventors: 张琼
Original assignee: Beijing Xiaomi Mobile Software Co Ltd; Beijing Xiaomi Pinecone Electronic Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd; Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2022-03-11

Abstract

本公开是关于一种样本图像的生成方法、图像预测方法、装置、设备及介质。该方法包括：确定待处理图像中各个样本对象的属性信息，根据所述属性信息，确定各个所述样本对象对应的分割区域，根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。本公开能够针对具有不同属性的样本对象，确定不同的分割区域，进而得到不同尺寸的样本图像，通过将样本对象的属性信息与样本对象对应的分割区域相关联，这样，分割区域就能够根据样本对象的属性自适应调整，尽可能地保证各个样本图像的完整性。

Description

样本图像的生成方法、图像预测方法、装置、设备及介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种样本图像的生成方法、图像预测方法、装置、设备及介质。

背景技术

在目标检测任务或者大规模建模过程中经常会用到航空影像或卫星影像等大尺度影像，这些影像的特点是包含了大尺度地面信息，但是也面临着图幅较大，加载过程中对电子设备内存的要求较高的问题。常用的处理方法是将大尺度影像进行均匀切片，然后输入至训练模型进行模型学习，但是实际训练过程中会出现样本被截断，从而影响模型学习样本整体表现的能力，以及训练时间过长等问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种样本图像的生成方法、图像预测方法、装置、设备及介质。

根据本公开实施例的第一方面，提供一种样本图像的生成方法，包括：

确定待处理图像中各个样本对象的属性信息；

根据所述属性信息，确定各个所述样本对象对应的分割区域；

根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

在一些实施例中，所述属性信息包括：所述样本对象的标注信息；

所述根据所述属性信息，确定各个所述样本对象对应的分割区域，包括：

根据所述标注信息和预设关系，确定所述样本对象的分割粒度；其中，所述预设关系用于表征所述标注信息与所述分割粒度之间的映射关系；

根据所述分割粒度，确定各个所述样本对象对应的分割区域。

在一些实施例中，所述根据所述分割粒度，确定各个所述样本对象对应的分割区域，包括：

在所述分割粒度大于第一尺寸阈值的情况下，根据所述样本对象的分割粒度，确定所述分割区域。

在所述分割粒度小于或者等于所述第一尺寸阈值的情况下，确定所述样本对象的附属对象；

在所述附属对象的分割粒度大于所述第一尺寸阈值的情况下，根据所述附属对象的分割粒度，确定所述样本对象的分割区域。

在一些实施例中，在所述根据所述属性信息，确定各个所述样本对象对应的分割区域之前，所述方法还包括：

按照缩放阈值，对所述分割区域进行缩放处理，得到缩放后的分割区域；

根据缩放后的分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

根据本公开实施例的第二方面，提供一种图像预测方法，包括：

对待预测图像进行分割处理，得到分割图像；

根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果；

其中，所述目标检测模型是：根据从待处理图像中分割出的样本图像和样本对象的属性信息，对初始检测模型进行训练得到的，所述样本图像是基于所述样本对象的属性信息对待处理图像进行分割得到的。

在一些实施例中，相邻两张所述分割图像之间存在重叠区域；所述根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果，包括：

根据所述目标检测模型对各个所述分割图像进行识别，确定各个所述分割图像对应的第一预测结果；

至少根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果。

在一些实施例中，所述至少根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果，包括：

在所述待预测图像的尺寸大于或者等于第二尺寸阈值的情况下，对各个所述第一预测结果进行拼接处理，得到所述目标预测结果。

在所述待预测图像的尺寸小于第二尺寸阈值的情况下，将所述待预测图像输入所述目标预测模型，根据所述目标检测模型对所述待预测图像进行识别，得到所述待预测图像对应的第二预测结果；

根据各个所述第一预测结果和所述第二预测结果，确定所述目标预测结果。

在一些实施例中，所述待预测图像包括：航空影像和/或卫星影像，所述目标预测结果至少包括：对象类型和对象区域；所述对待预测图像进行分割处理，得到分割图像，包括：

对所述航空影像和/或所述卫星影像进行分割处理，得到所述分割图像；

所述根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果，包括：

根据目标检测模型对各个所述分割图像进行识别，确定所述航空影像和/或所述卫星影像中的各个对象的所述对象类型和所述对象区域。

根据本公开实施例的第三方面，提供一种样本图像的生成装置，包括：

第一确定模块，配置为确定待处理图像中各个样本对象的属性信息；

第二确定模块，配置为根据所述属性信息，确定各个所述样本对象对应的分割区域；

第一分割模块，配置为根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

所述第二确定模块，配置为：

在一些实施例中，所述第二确定模块，配置为：

在一些实施例中，所述装置还包括：

缩放模块，配置为按照缩放阈值，对所述分割区域进行缩放处理，得到缩放后的分割区域；

处理模块，配置为根据缩放后的分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

根据本公开实施例的第四方面，提供一种图像预测装置，包括：

第二分割模块，配置为对待预测图像进行分割处理，得到分割图像；

识别模块，配置为根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果；

在一些实施例中，相邻两张所述分割图像之间存在重叠区域；所述识别模块，配置为：

对所述待预测图像进行分割处理，得到分割图像；其中，相邻两张所述分割图像之间存在重叠区域；

在一些实施例中，所述识别模块，配置为：

在一些实施例中，所述待预测图像包括：航空影像和/或卫星影像，所述目标预测结果至少包括：对象类型和对象区域；所述第二分割模块，配置为：

所述识别模块，配置为：

根据本公开实施例的第五方面，提供一种电子设备，包括：

处理器；

配置为存储处理器可执行指令的存储器；

其中，所述处理器配置为：执行时实现上述第一方面中任一种样本图像的生成方法或者上述第二方面中任一种图像预测方式中的步骤。

根据本公开实施例的第六方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一种样本图像的生成方法或者上述第二方面中任一种图像预测方式中的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，通过确定待处理图像中各个样本对象的属性信息，从而根据属性信息来确定各个所述样本对象对应的分割区域，最终根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。本公开能够针对具有不同属性的样本对象，确定不同的分割区域，进而得到不同尺寸的样本图像，通过将样本对象的属性信息与样本对象对应的分割区域相关联，这样，分割区域就能够根据样本对象的属性自适应调整，尽可能地保证各个样本图像的完整性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种样本图像的生成方法的流程图。

图2是根据本公开一示例性实施例示出的一种图像预测方法的流程图。

图3是根据本公开一示例性实施例示出的一种图像处理方法的流程图。

图4是根据本公开一示例性实施例示出的一种样本图像的生成装置框图。

图5是根据本公开一示例性实施例示出的一种图像预测装置框图。

图6是根据本公开一示例性实施例示出的一种电子设备的硬件结构框图一。

图7是根据本公开一示例性实施例示出的一种电子设备的硬件结构框图二。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的样本图像的生成方法的流程图，如图1所示，该样本图像的生成方法主要包括以下步骤：

在步骤101中，确定待处理图像中各个样本对象的属性信息；

在步骤102中，根据所述属性信息，确定各个所述样本对象对应的分割区域；

在步骤103中，根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

在一些实施例中，本公开的图像处理方法可以应用于电子设备，电子设备可以包括：终端设备，例如，移动终端或固定终端。其中，移动终端可以包括：手机、平板电脑、笔记本电脑或者穿戴式设备等，还可以包括智能家居设备，例如，智能音箱等。固定终端可以包括：台式电脑或智能电视等。

这里，待处理图像可以包括尺寸大于预设标准尺寸的图像，如，可以将实际尺寸大于5000*5000的图像称为待处理图像，样本对象可以包括：位于待处理图像中的具有属性信息的对象。例如，待处理图像可以包括航空影像、卫星影像、遥感影像等图像尺寸较大的图像，样本对象可以包括待处理图像中河流、湖泊、山体、道路、建筑物、飞机场、学校、墙面、窗户等不同尺寸的对象，本公开不作具体限定。属性信息可以包括：用于表征样本对象自身特性的各种信息，在一些实施例中，属性信息可以包括以下至少之一：形状信息，如，圆形、长方形、三角形等；类型信息，如，河流、道路、篮球场等；位置信息，如，河流在待处理图像的下方，学校在待处理图像的中心，飞机场在待处理图像的上方等；尺度等级，如，河流属于第一尺度等级范围，篮球场属于第二尺度等级范围等；尺寸信息，如，飞机场为100*100，篮球场为1*1等；关联信息，如，道路在学校的左侧，篮球场在学校的内部等。

在一些实施例中，尺寸可以是待处理图像、样本图像以及分割区域等图像或区域的尺度的数值化表征。尺寸值与尺度等级相对应，尺寸值越大，尺度越大，等级越高。

在实现的过程中，可以通过人工标注的方式确定待处理图像中各个样本对象以及各个样本对象的属性信息。也可以通过图像处理算法确定待处理图像中各个样本对象以及各个样本对象的属性信息。

在另一些实施例中，可以通过人工标注的方式确定待处理图像中各个样本对象的属性信息，也可以通过预设映射关系确定待处理图像中各个样本对象的属性信息。

以通过人工标注的方式确定待处理图像中各个样本对象以及各个样本对象的属性信息为例，电子设备可以直接从待处理图像中读取人工标注的各个样本对象，以及各个样本对象的属性信息。

在一种可能的实施例中，电子设备还可以预先设置各个类型的样本对象与属性信息之间的对应关系，例如：第一样本对象对应第一属性信息，第二样本对象对应第二属性信息等。然后电子设备可以通过类型识别算法，或者训练好的类型识别模型来识别出待处理图像中各个样本对象的对象类型，然后根据对象类型以及预先设置的样本对象与属性信息之间的对应关系，得到各个样本对象对应的属性信息。本公开实施例中，对于确定待处理图像中各个样本对象的属性信息的方式，不作具体限定，可以根据实际使用场景，自定义设置。

分割区域可以是指用来分割各个样本对象的区域，各个样本对象的分割区域的大小可以是不同的，各个样本对象的分割区域的大小与各个样本对象的实际尺寸区域正相关。在一些实施例中。电子设备可以根据属性信息所包括的样本对象的位置信息，确定该样本对象对应的分割区域的分割位置，例如，可以用坐标点来表示分割位置，分割位置可以是以坐标点(10,10)为中心等。分割区域可以包括分割尺寸等，例如：样本对象为学校时，分割区域的分割尺寸可以为5*5，该分割区域所对应的分割位置可以是坐标点(10,10)等。

电子设备在确定出各个样本对象的属性信息后，可以根据属性信息，确定各个样本对象对应的分割区域。电子设备可以预先设置属性信息与分割区域之间的对应关系，然后根据属性信息以及对应关系，来确定分割区域。例如：电子设备预先设置属性信息a对应分割区域A，属性信息b对应分割区域B等，当电子设备确定样本对象的属性信息为a时，可以确定样本对象的分割区域为A等。电子设备也可以通过分割模型来确定分割区域，分割模型可以包括预先训练好的神经网络模型，电子设备可以通过将样本对象的属性信息输入到分割模型，得到样本对象具体的分割区域。其中，对于不同样本对象，输入到分割模型的属性信息的信息种类和数量等都可以不同，有助于简单快速地确定分割区域中分割尺寸等值。

样本图像可以是指包含样本对象的小尺寸图像，一个样本图像可以包含至少一个样本对象。例如，一个样本图像可以包含一个样本对象，一个样本图像也可以包含两个样本对象等，本公开不作具体限定，可以根据实际使用需求自定义设置。电子设备确定各个样本对象对应的分割区域后，可以根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。例如：电子设备确定待处理图像大小为50*50，确定待处理图像中有两个样本对象，第一样本对象的分割区域可以为以坐标(10,10)为中心，分割尺寸为7*7的区域，第二样本对象的分割区域可以为以坐标(30,30)为中心，分割尺寸为5*5的区域。电子设备根据分割区域，对待处理图像进行分割处理，可以得到大小为7*7的第一样本图像，以及大小为5*5的第二样本图像等，对于待处理图像的其他区域可以舍弃。

在待处理图像的尺寸较大的情况下，若直接进行目标识别、追踪等图像处理，或者用于模型训练、三维重建等图像应用，需要大量的计算资源，且会在处理的过程中会耗费较长的时长。通过本公开的技术方案能够准确地得到各个样本对象对应的样本图像，电子设备可以通过对样本图像直接进行识别、追踪等图像处理，来提高电子设备的运行效率以及准确率等。

本公开实施例中，属性信息可以包括样本对象的标注信息，标注信息可以包括类型信息(如，河流、道路、篮球场等)和位置信息(如，河流在待处理图像的下方，学校在待处理图像的中心，飞机场在待处理图像的上方等)等信息，本公开不作具体限定，可以根据实际使用需求自定义设置。

分割粒度可以是指用于对样本对象进行分割处理的尺寸，第一样本对象可以对应第一分割粒度，第二样本对象可以对应第二分割粒度等。例如，第一样本对象可以是学校，对应的分割粒度可以为10*10大小，第二样本对象可以是宿舍，对应的分割粒度可以为5*5大小等。

在一些实施例中，分割粒度与样本对象的实际尺寸正相关，不同样本对象对应不同的分割粒度。在确定样本对象的过程中，粒度级越小，细化程度就越高，相反，粒度级越大，细化程度就越低，也即若分割粒度较大，那么待处理图像中确定的样本对象的个数就较少，若分割粒度较小，那么待处理图像中确定的样本对象的个数就较多。例如：样本对象为学校时对应的分割粒度大于样本对象为窗户的分割粒度，对于同一张待处理图像，若以分割粒度为10*10来确定样本对象，那么电子设备确定的样本对象可能有700个，若以分割粒度为5*5来确定样本对象，那么电子设备确定的样本对象可能有1200个等。

在一些实施例中，电子设备可以预先设置标注信息与分割粒度之间的对应关系。例如：a标注信息对应A分割粒度，b标注信息对应B分割粒度等。电子设备确定标注信息之后，可以根据所述标注信息和预设关系，确定所述样本对象的分割粒度。

电子设备在确定出样本对象的分割粒度之后，可以根据分割粒度，确定各个样本对象对应的分割区域，例如：电子设备确定第一样本对象对应的第一标注信息中携带的位置信息，所述位置信息可以用位置坐标表示为(125,75)，电子设备可以根据第一标注信息以及所述对应关系确定分割粒度为10*10大小，那么可以确定第一样本对象对应的分割区域的分割尺寸为10*10等。

本公开实施例中，所述属性信息可以包括所述样本对象的标注信息，电子设备通过将标注信息与分割粒度相关联，再根据分割粒度，确定各个所述样本对象对应的分割区域，能够针对不同尺寸的样本对象设置不同尺寸的分割粒度，从而准确快速地确定包含完整样本对象的分割区域。

本公开实施例中，电子设备确定样本对象对应的分割粒度之后，可以判断所述分割粒度是否满足用户实际使用需求。例如：电子设备可以预先设置第一尺寸阈值，然后判断分割粒度与第一尺寸阈值之间的大小。

在一些实施例中，第一尺寸阈值可以包括以下至少之一：第一长度阈值；第一宽度阈值；第一面积阈值。

由于分割粒度可以用长度、宽度以及面积等多个数值的形式来表示，在比较的过程中，可以直接将分割粒度表示的长度与第一尺寸阈值包括的第一长度阈值进行比较，并将分割粒度表示的宽度和第一尺寸阈值包括的第一宽度阈值进行比较，在分割粒度表示的长度大于第一长度阈值，且分割粒度表示的宽度大于第一长度阈值时，则可以确定分割粒度大于第一尺寸阈值。例如：电子设备确定分割粒度为10*10，第一长度阈值为8，第一宽度阈值为11，由于第一长度阈值小于分割粒度表示的长度10，则可以确定分割粒度小于第一尺寸阈值。通过长度和宽度比较，可以使得样本对象完全在分割区域内，降低误切割的概率。

在另一些实施例中，也可以将分割粒度表示的面积与第一面积阈值进行比较，在分割粒度表示的面积大于第一面积阈值时，则可以确定分割粒度大于第一尺寸阈值。例如，第一面积阈值为5*5，所述分割粒度表示的面积为8*8，那么可以确定分割粒度大于第一尺寸阈值。通过面积比较，数据处理效率更高。

在另一些是实施例中，若分割粒度和第一尺寸阈值是通过单个数值来表示的，那么可直接比较两个数值(或者两个数值代表的含义)之间的大小。对于分割粒度和第一尺寸阈值的表现形式，本公开不作具体限定，可以根据实际使用情况自定义设置。例如：电子设备确定分割粒度为1，第一尺寸阈值为2，则可以确定分割粒度小于第一尺寸阈值等。

本公开实施例中，通过在所述分割粒度大于第一尺寸阈值的情况下，根据所述样本对象的分割粒度，确定所述分割区域，能够进一步地确定更准确的分割区域，提高图像处理的准确率。在对待处理图像进行分割之前，将分割粒度和第一尺寸阈值进行比较，来确定样本对象的分割粒度，进而确定出分割区域，能够提高分割区域的准确性。

本公开实施例中，电子设备在所述分割粒度小于或者等于所述第一尺寸阈值的情况下，可以确定所述样本对象的附属对象。附属对象可以是指与样本对象存在附属关系的对象，或样本对象可以附属在上面的对象，或分割粒度大于样本对象的对象等。例如：样本对象为玻璃时，附属对象可以为窗户，样本对象为窗户时，附属对象可以为墙面，样本对象为墙面时，附属对象可以为教室，样本对象为教室时，附属对象可以为学校等。例如：电子设备确定第一样本对象的分割粒度为5*5，第一尺寸阈值为10*10，那么可以确定分割粒度小于第一尺寸阈值，然后电子设备可以确定样本对象(如，窗户)的附属对象(如，墙面)。

在一些实施例中，电子设备可以通过比较第一样本对象预设距离内的其他样本对象，与第一样本对象之间的距离，来确定附属对象。例如：电子设备可以根据各个样本对象对应的属性信息，确定第一样本对象预设距离(如，预设距离可以为500像素点距离等)内有三个样本对象，第二样本对象、第三样本对象和第四样本对象。确定三个样本对象与第一样本对象之间的距离分别为270、150和460等，那么电子设备可以将第三样本对象作为第一样本对象的附属对象。

在一些实施例中，电子设备确定所述样本对象的附属对象后，可以再次比较附属对象对应的分割粒度与第一尺寸阈值之间的大小。若附属对象对应的分割粒度大于第一尺寸阈值，则电子设备可以根据所述附属对象的分割粒度，确定所述样本对象的分割区域。若附属对象对应的分割粒度小于或者等于第一尺寸阈值，则电子设备需要继续附属对象的附属对象，直到确定出的附属对象的分割粒度大于第一尺寸阈值。例如：电子设备确定第一样本对象的分割粒度为5*5，第一尺寸阈值为10*10，样本对象A的附属对象(样本对象B)的分割粒度为7*7，样本对象B的附属对象(样本对象C)的分割粒度为11*11，那么电子设备可以确定样本对象C对应的分割粒度可以用来确定样本对象A的分割区域。

本公开实施例中，通过在所述分割粒度小于或者等于所述第一尺寸阈值的情况下，确定所述样本对象的附属对象，在所述附属对象的分割粒度大于所述第一尺寸阈值的情况下，根据所述附属对象的分割粒度，确定所述样本对象的分割区域，能够自适应地设置样本对象不同尺寸的分割区域，能够保证各个样本对象对应的分割区域的大小，防止因分割区域过小而忽略了样本对象对应的特征信息，从而降低的样本图像的利用意义。

本公开实施例中，电子设备可以按照缩放阈值，对所述分割区域进行缩放处理，得到缩放后的分割区域。例如：电子设备确定分割区域的大小为10*10，若缩放阈值为1.1，那么通过对分割区域进行放大处理，得到放大后的分割区域大小为11*11。若缩放阈值为0.9，那么通过对分割区域进行缩小处理，得到缩小后的分割区域大小为9*9等。然后电子设备可以根据缩放后的分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。缩放阈值的选取可以根据在保证样本对象的完整性的同时，避免包含于样本对象相邻的邻近样本对象，等因素来确定，如，可以根据经验值确定固定的缩放阈值(如，1.1等)。

在一种可能的实施例中，电子设备得到各个所述样本对象对应的样本图像，还可以筛选出样本对象被截断的样本图像，保留剩下的样本图像，有助于保证样本图像中样本对象的完整性。电子设备可以通过对样本图像进行连通域检测，判断样本图像边缘的连通域是否为一致，若一致，则可以确定样本图像中的样本对象是完整的，若不一致，则可以确定样本图像中的样本对象不是完整的。本公开对于筛选样本对象被截断的样本图像的方式，不作具体限定，可以根据实际使用需求自定义设置。

本公开实施例中，电子设备可以根据实际使用需求，通过对分割区域进行放大处理，能够进一步保证在对样本对象进行分割处理后，各个样本图像中存在完整的样本对象，防止出现样本对象被截断的现象。通过对分割区域进行缩小处理，能够准确简单地得到样本对象某一部分的具体细节，得到针对某一部分的分割图像。

通过本公开的技术方案，能够通过确定待处理图像中各个样本对象的属性信息，从而根据属性信息来确定各个所述样本对象对应的分割区域，最终根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。本公开能够针对具有不同属性的样本对象，确定不同的分割区域，进而得到不同尺寸的样本图像，通过将样本对象的属性信息与样本对象对应的分割区域相关联，这样，分割区域就能够根据样本对象的属性自适应调整，尽可能地保证各个样本图像的完整性。

图2是根据一示例性实施例示出的图像预测方法的流程图，如图2所示，该图像预测方法主要包括以下步骤：

在步骤201中，对待预测图像进行分割处理，得到分割图像；

在步骤202中，根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果；

本公开实施例中，电子设备得到样本图像后，可以根据所述样本图像以及所述属性信息，对初始检测模型进行训练，得到目标检测模型。检测模型可以是指神经网络模型，在使用的过程中，在将待预测图像输入检测模型之后，能够识别出待预测图像中各个目标对象，以及各个目标对象对应的属性信息等。待预测图像可以是指需要确定各个目标对象，以及各个目标对象对应的属性信息的航空航天、卫星等大尺寸图像。目标预测结果可以包括目标对象以及各个目标对象对应的属性信息等。初始检测模型可以是指还未训练好的检测模型，目标检测模型可以是指已经训练好的检测模型。

本公开实施例中，由于待处理图像的尺寸可能较大，若将整张待处理图像直接输入到目标检测模型，目标检测模型识别的时间可能较长，以及所需要的计算能力可能较大。电子设备可以通过对待预测图像进行分割处理，得到多张分割图像，然后将各个分割图像分别输入到目标检测模型，分别得到每张分割图像的预测结果，从而得到待处理图像的目标预测结果。例如：电子设备可以将15*5尺寸的待处理图像进行分割，得到三张5*5尺寸的分割图像。

本公开实施例中，在训练过程中，输入到初始检测模型中的各个样本图像的尺寸可以是不同的，例如：第一样本图像的尺寸为5*3，第二样本图像的尺寸为9*9等。输入到初始检测模型中的各个样本图像对应的属性信息的种类和数量也可以是不同的，例如：第一样本图像对应的属性信息包括位置信息，第二样本图像对应的属性信息包括位置信息和类型信息等。

电子设备得到目标检测模型后，可以根据所述目标检测模型对待预测图像进行识别，确定所述待预测图像对应的目标预测结果。例如：电子设备通过目标检测模型，确定待预测图像有两个目标对象，第一目标对象为河流，第二目标对象为学校，实际尺寸为120*120等的目标预测结果。

本公开实施例中，通过根据所述样本图像以及所述属性信息，对初始检测模型进行训练，得到目标检测模型，根据所述目标检测模型对待预测图像进行识别，确定所述待预测图像对应的目标预测结果，通过输入不同尺寸大小的样本图像，且每个样本图像中包含完整的样本对象，能够减少检测模型的训练时长，提高检测模型的识别准确率等。

本公开实施例中，电子设备可以对所述待预测图像进行分割处理，得到分割图像；其中，相邻两张所述分割图像之间存在重叠区域。分割图像可以是指待预测图像中的部分图像，所有的分割图像可以拼接成完整的待预测图像。本公开的分割处理不是非重叠的分割处理，例如：待预测图像的尺寸大小为10*5，那么可以将待预测图像从中部进行非重叠的分割，得到两个5*5大小的分割图像。本公开的分割处理是带有重叠的分割处理，例如：待预测图像的尺寸大小为10*5，那么可以将待预测图像从中部进行分割，得到三个5*5大小的分割图像，分割图像的横轴区间可以分别为0-5、2.5-7.5以及5-10等。在一种可能的实施例中，电子设备可以预先设置重叠率(如，0.5)，根据重叠率对待预测图像进行分割处理，得到带有重叠区域的多张分割图像。

第一预测结果可以是指目标预测结果的一部分，所有分割图像对应的第一预测结果可以组合成目标预测结果。电子设备得到分割图像后，可以根据所述目标检测模型对各个所述分割图像进行识别，确定各个所述分割图像对应的第一预测结果，例如：电子设备确定第一分割图像中的第一预测结果包括第一目标对象为河流，确定第二分割图像中的第一预测结果包括第二目标对象为学校，实际尺寸为120*120等。

电子设备确定各个所述分割图像对应的第一预测结果后，至少可以根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果。例如：电子设备将所有分割图像对应的第一预测结果进行组合(拼接)处理，得到待预测图像对应的目标预测结果。例如：电子设备确定第一分割图像中的第一预测结果包括第一目标对象为河流，确定第二分割图像中的第一预测结果包括第二目标对象为学校，实际尺寸为120*120等。那么电子设备可以确定待预测图像对应的目标预测结果可以包括第一目标对象为河流，第二目标对象为学校，实际尺寸为120*120等。

在一种可能的实施例中，对于第一预测结果的拼接方式可以为，确定相邻的分割图像，若第一分割图像和第二分割图像都存在同一个目标对象，但第一分割图像中的目标对象是完整的，第二分割图像中的目标对象不是完整的，那么电子设备可以将第一分割图像中目标对象对应的属性信息作为目标预测结果中该目标对象对应的属性信息，有助于得到更准确的目标预测结果。电子设备可以通过对分割图像进行连通域检测，判断分割图像边缘的连通域是否为一致，若一致，则可以确定分割图像中的目标对象是完整的，若不一致，则可以确定分割图像中的目标对象不是完整的。

本公开实施例中，通过对所述待预测图像进行分割处理，得到分割图像；其中，相邻两张所述分割图像之间存在重叠区域，根据所述目标检测模型对各个所述分割图像进行识别，确定各个所述分割图像对应的第一预测结果，至少根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果，能够有效度提高目标检测模型的检测效率和检测准确率等。

本公开实施例中，电子设备可以先判断待预测图像的尺寸是否大于或者等于第二尺寸阈值，在所述待预测图像的尺寸大于或者等于第二尺寸阈值的情况下，直接对各个所述第一预测结果进行拼接处理，得到所述目标预测结果。第二尺寸阈值可以包括以下至少之一：第二长度阈值；第二宽度阈值；第二面积阈值。由于待预测图像的尺寸和第二尺寸阈值可以用长度、宽度以及面积等多个数值的形式来表示，在比较的过程中，可以直接将待预测图像的尺寸表示的长度与第二尺寸阈值包括的第二长度阈值进行比较，并将待预测图像的尺寸表示的宽度和第二尺寸阈值包括的第二宽度阈值进行比较，在待预测图像的尺寸表示的长度大于第二长度阈值，且待预测图像的尺寸表示的宽度大于第二长度阈值时，则可以确定待预测图像的尺寸大于第二尺寸阈值。

在另一些实施例中，也可以将待预测图像的尺寸表示的面积与第二面积阈值进行比较，在待预测图像的尺寸表示的面积大于第二面积阈值时，则可以确定待预测图像的尺寸大于第二尺寸阈值。例如：电子设备确定待预测图像的尺寸表示的面积为200*200，第二尺寸阈值为100*100，电子设备可以确定待预测图像(如，卫星影像)的尺寸大于第二尺寸阈值。那么电子设备可以直接对各个所述第一预测结果进行拼接处理，得到所述目标预测结果。电子设备也可以根据电子设备的当前内存或线程数量或运行状态等预设，来确定是否采用直接对各个所述第一预测结果进行拼接处理的方式，来得到所述目标预测结果，或者利用采用其他队的方式来得到所述目标预测结果等。

本公开实施例中，通过在所述待预测图像的尺寸大于或者等于第二尺寸阈值的情况下，直接对各个所述第一预测结果进行拼接处理，得到所述目标预测结果，能够快速准确地得到目标预测结果，提高电子设备的运行效率等。

本公开实施例中，在所述待预测图像的尺寸小于第二尺寸阈值的情况下，可将所述待预测图像输入所述目标预测模型，根据所述目标检测模型对所述待预测图像进行识别，得到所述待预测图像对应的第二预测结果。

由于在待预测图像的尺寸大于或者等于第二尺寸阈值的情况下，无法直接将待预测图像输入目标检测模型，而在待预测图像的尺寸小于第二尺寸阈值的情况下，可以直接将待预测图像输入目标预测模型，得到第二预测结果。例如，电子设备确定待预测图像的尺寸为50*50，第二尺寸阈值为100*100，电子设备可以确定待预测图像(如，航空影像)的尺寸小于第二尺寸阈值。那么电子设备可以直接对整张待预测图像进行识别，得到所述待预测图像对应的第二预测结果。例如：电子设备确定待预测图像对应的目标预测结果可以包括第一目标对象为河流，第二目标对象为学校，实际尺寸为120*120，第三目标对象为飞机场等。

然后电子设备根据各个所述第一预测结果(如，电子设备确定第一分割图像中的第一预测结果包括第一目标对象为河流，确定第二分割图像中的第一预测结果包括第二目标对象为学校，实际尺寸为120*120等)和所述第二预测结果，确定目标预测结果包括第一目标对象为河流，第二目标对象为学校，实际尺寸为120*120，第三目标对象为飞机场等。

在一种可能的实施例中，在所述待预测图像的尺寸小于第二尺寸阈值的情况下，电子设备也可以直接通过目标检测模型对整张待预测图像进行识别，不进行分割处理，直接确定待预测图像对应的目标预测结果。

本公开实施例中，通过在所述待预测图像的尺寸小于第二尺寸阈值的情况下，将所述待预测图像输入所述目标预测模型，根据所述目标检测模型对所述待预测图像进行识别，得到所述待预测图像对应的第二预测结果，根据各个所述第一预测结果和所述第二预测结果，确定所述目标预测结果。采用上述方案，能够同时得到整张检测到的第二预测结果和分割后检测到的第一预测结果，然后综合两种预测结果，来得到更完整、准确的目标预测结果，进一步提高了目标检测模型的检测准确率，由于已经确定了待预测图像的尺寸较小，那么也不会影响目标检测模型的检测效率。

本公开实施例中，待预测图像可以包括：航空影像和/或卫星影像等大尺寸影像，目标预测结果至少包括：对象类型和对象区域等信息。电子设备首先可以通过对航空影像和/或卫星影像等大尺寸影像进行分割处理，得到分割图像，然后根据训练好的目标检测模型对各个分割图像进行识别，确定航空影像和/或卫星影像等大尺寸影像中的各个对象的对象类型和对象区域。例如：电子设备可以确定航空影像中左上角的矩形区域为学校，矩形区域的尺寸可以为100*70，航空影像中右下角的圆形区域为机场，圆形区域的半径可以为500等预测结果。

在一种可能的实施例中，本公开中的图像处理方法可以应用于提升航空、卫星影像等大尺寸目标检测的效率。图3是根据一示例性实施例示出的图像处理方法的流程图，如图3所示，该图像处理方法主要包括以下步骤：

在步骤301中，采集图像。

这里，图像至少可以包括：航空、卫星等影像。

在步骤302中，根据历史采集的图像，确定待处理图像。

在步骤303中，对所述待处理图像进行标注，得到标注信息。

这里，标注过程可以是，对待处理图像中各个样本对象添加标注信息，所述标注信息可以包括标注区域(分割区域)。

在步骤304中，根据所述标注信息，确定标注区域。

在步骤305中，根据所述标注区域，对待所述处理图像进行分割，得到样本图像。

这里，确定标注区域后，还可以对标注区域进行放大处理，如，确定标注区域为10*10，放大倍数为1.1，那么放大后的标注区域为11*11。

在步骤306中，根据所述样本图像和所述标注信息，进行模型训练。

这里，可以将不同尺寸的多个样本图像以及各个样本对应的标注信息输入到初始检测模型中，进行模型训练，得到模型训练好的配置参数。

在步骤307中，确定目标检测模型。

在步骤308中，根据当前采集的图像，确定待预测图像。

这里，也可以将历史采集的图像或者当前采集的图像进行区域分割处理，将一部分区域作为待处理图像(或区域)，将另一部分区域作为待预测图像(或区域)等。

在步骤309中，对所述待预测图像进行分割处理，得到分割图像。

这里，可以对所述待预测图像进行带重叠影像切割处理，得到分割图像，其中，相邻两张分割图像之间存在重叠区域，所述分割图像的尺寸大小可以相同，也可以不同。

在步骤310中，通过所述目标检测模型对所述分割图像进行检测，得到第一预测结果。

这里，每张分割图像对应一个第一预测结果，第一预测结果可以是指一个分割图像对应的预测结果，预测结果可以包括标注信息。

在步骤311中，对各个所述第一预测结果进行拼接处理。

这里，主要是由于相邻分割图像之间存在重叠区域，那么对应的相邻的第一预测结果之间也存在重叠内容，因此需要对多个第一预测结果之间重叠内容进行拼接处理。

在步骤312中，得到目标预测结果。

图4是根据一示例性实施例示出的一种样本图像的生成装置框图。如图4所示，该样本图像的生成装置400主要包括：

第一确定模块401，配置为确定待处理图像中各个样本对象的属性信息；

第二确定模块402，配置为根据所述属性信息，确定各个所述样本对象对应的分割区域；

第一分割模块403，配置为根据各个所述分割区域对所述待处理图像进行分割处理，得到各个所述样本对象对应的样本图像。

所述第二确定模块402，配置为：

在一些实施例中，所述第二确定模块402，配置为：

在一些实施例中，所述装置400还包括：

图5是根据一示例性实施例示出的一种图像预测装置框图。如图5所示，该图像预测装置500主要包括：

第二分割模块501，配置为对待预测图像进行分割处理，得到分割图像；

识别模块502，配置为根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果；

在一些实施例中，相邻两张所述分割图像之间存在重叠区域；所述识别模块502，配置为：

在一些实施例中，所述识别模块502，配置为：

在一些实施例中，所述待预测图像包括：航空影像和/或卫星影像，所述目标预测结果至少包括：对象类型和对象区域；所述第二分割模块501，配置为：

所述识别模块502，配置为：

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种电子设备的硬件结构框图。例如，设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理***，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WI-FI，4G或5G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种样本图像的生成方法，包括：

确定待处理图像中各个样本对象的属性信息；

或者使得电子设备能够执行一种图像预测方法，包括：

对待预测图像进行分割处理，得到分割图像；

图7是根据一示例性实施例示出的一种用于电子设备700的硬件结构框图。例如，设备700可以被提供为一服务器。参照图7，设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行一种样本图像的生成方法，包括：

确定待处理图像中各个样本对象的属性信息；

或者以执行一种图像预测方法，包括：

对待预测图像进行分割处理，得到分割图像；

设备700还可以包括一个电源组件726被配置为执行设备700的电源管理，一个有线或无线网络接口750被配置为将设备700连接到网络，和一个输入/输出(I/O)接口758。设备700可以操作基于存储在存储器732的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种样本图像的生成方法，其特征在于，所述方法包括：

确定待处理图像中各个样本对象的属性信息；

2.根据权利要求1所述的方法，其特征在于，所述属性信息包括：所述样本对象的标注信息；

3.根据权利要求2所述的方法，其特征在于，所述根据所述分割粒度，确定各个所述样本对象对应的分割区域，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述分割粒度，确定各个所述样本对象对应的分割区域，包括：

在所述分割粒度小于或者等于第一尺寸阈值的情况下，确定所述样本对象的附属对象；

5.根据权利要求1所述的方法，其特征在于，在所述根据所述属性信息，确定各个所述样本对象对应的分割区域之前，所述方法还包括：

6.一种图像预测方法，其特征在于，所述方法包括：

对待预测图像进行分割处理，得到分割图像；

7.根据权利要求6所述的方法，其特征在于，相邻两张所述分割图像之间存在重叠区域；所述根据目标检测模型对各个所述分割图像进行识别，确定所述待预测图像对应的目标预测结果，包括：

8.根据权利要求7所述的方法，其特征在于，所述至少根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果，包括：

9.根据权利要求7所述的方法，其特征在于，所述至少根据各个所述第一预测结果，得到所述待预测图像对应的目标预测结果，包括：

10.根据权利要求6所述的方法，其特征在于，所述待预测图像包括：航空影像和/或卫星影像，所述目标预测结果至少包括：对象类型和对象区域；所述对待预测图像进行分割处理，得到分割图像，包括：

11.一种样本图像的生成装置，其特征在于，包括：

12.一种图像预测装置，其特征在于，包括：

13.一种电子设备，其特征在于，包括：

处理器；

配置为存储处理器可执行指令的存储器；

其中，所述处理器配置为：执行时实现上述权利要求1至5中任一种样本图像的生成方法或者上述权利要求6至10中任一种图像预测方法中的步骤。

14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述权利要求1至5中任一种样本图像的生成方法或者上述权利要求6至10中任一种图像预测方法中的步骤。