CN117274588A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、电子设备及存储介质。其中，该方法包括：获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，其中，待识别对象是小目标对象；基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，其中，目标对象分割模型中包括至少一个目标子模型，至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；基于识别结果对待处理图像中的待识别对象标注。本实施例的技术方案，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，利用人工智能(Artificial Intelligence，AI)对图像进行目标识别的相关研究已经逐步展开，通过这种方式，满足了用户对目标对象的识别需求。

现有的目标识别技术存在仅对目标进行分割，仅对目标进行定位，或者，需要检测的单个目标物体所占像素点少，同时目标物体的数量较多，目标物体与目标物体之间会出现聚集现象，导致难以准确分割目标物体等问题，从而导致目标识别准确率低，且识别结果与用户期望的识别结果存在差异，影响用户体验。

发明内容

本发明提供了一种图像处理方法、装置、电子设备及存储介质，以实现小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

根据本发明的一方面，提供了一种图像处理方法，该方法包括：

获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集，其中，所述待识别对象是小目标对象；

基于目标对象分割模型对所述模型输入图像集进行处理，确定与所述待处理图像对应的识别结果，其中，所述目标对象分割模型中包括至少一个目标子模型，所述至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；

基于所述识别结果对所述待处理图像中的所述待识别对象标注。

根据本发明的另一方面，提供了一种图像处理装置，该装置包括：

图像获取模块，用于获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集，其中，所述待识别对象是小目标对象；

识别结果确定模块，用于基于目标对象分割模型对所述模型输入图像集进行处理，确定与所述待识别对象对应的识别结果，其中，所述目标对象分割模型中包括至少一个目标子模型，所述至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；

对象标注模块，用于基于所述识别结果对所述待处理图像中的所述待识别对象标注。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的图像处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的图像处理方法。

本发明实施例的技术方案，通过获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，进一步的，基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，最后，基于识别结果对待处理图像中的待识别对象标注，解决了相关技术中在需要检测的单个目标物体所占像素点少，同时目标物体的数量较多的情况下，导致难以准确分割目标物体等问题，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种图像处理方法的流程图；

图2是根据本发明实施例二提供的一种图像处理方法的流程图；

图3是根据本发明实施例三提供的一种图像处理方法的流程图；

图4是根据本发明实施例四提供的一种图像处理装置的结构示意图；

图5是实现本发明实施例的图像处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于对图像中所包括的小目标对象进行分割且标注的情况，该方法可以由图像处理装置来执行，该图像处理装置可以采用硬件和/或软件的形式实现，该图像处理装置可配置于终端和/或服务器中。如图1所示，该方法包括：

S110、获取包括待识别对象的待处理图像，并基于待处理图像构建模型输入图像集。

其中，待处理图像可以是服务端或客户端接收到的、由用户通过摄像装置实时拍摄得到的图像，也可以是服务端或客户端从相关数据库中调取的已存储的图像。同时，待处理图像中可以包括一个或多个待识别对象，可以理解，图像中的对象即为待识别对象，基于本发明实施例的神经网络模型，可以确定出待识别对象相对应的识别结果。待识别对象可以是小目标对象。小目标对象可以理解为在图像中所占像素点较少的对象；或者，也可以理解为实际体积较小的对象。待识别对象可以是任意对象。可选的，待识别对象可以是玉米籽粒。一般情况下，在待处理图像中所包括的待识别对象的数量较多的情况下，任意多个待识别对象之间的像素点重叠率较高。模型输入图像集可以是包括多张图像的图像集，并且，其中一张图像可以是待处理图像。

需要说明的是，在具体的应用场景中，可以实时或者周期性地获取待处理图像；或者，当检测到用户上传图像时，即可获取该图像，并将该图像作为待处理图像，本实施例对此不作具体限定。

示例性的，当用户对某些物体进行拍摄，并将拍摄得到的图像上传至服务端或客户端，该图像即为待处理图像。同时，服务端或客户端可以基于相关算法对待处理图像进行识别，从而，确定出待处理图像中的物体即为待识别对象。待处理图像中待识别对象的个数可以是一个或多个，本实施例对此不作具体限定。需要说明的是，在待识别对象的数量是多个的情况下，可以将入镜画面中的所有对象均作为待识别对象；在待识别对象的数量是一个的情况下，可以预先对图像中的待识别对象进行标定，并将标定后的图像上传至服务端，以使服务端对待识别对象的特征属性进行存储。在获取多幅待处理图像之后，在检测到这些待处理图像中至少一幅待处理图像中包括待识别对象的特征属性的情况下，可以将当前待处理图像中的对象确定为待识别对象，并对该待处理图像进行处理。

进一步的，在获取待处理图像之后，即可对待处理图像进行处理。进而，可以构建包括待处理图像的模型输入图像集。

可选的，基于待处理图像构建模型输入图像集，包括：基于第一预设比例对待处理图像进行图像放大处理，得到第一参考图像；基于第二预设比例对待处理图像进行图像缩小处理，得到第二参考图像；基于待处理图像、第一参考图像以及第二参考图像，构建模型输入图像集。

其中，第一预设比例可以理解为预先确定的，对图像进行放大处理的比例。第一预设比例可以是任意值。在实际应用中，第一预设比例可以基于图像处理需求进行确定。第一参考图像可以是待处理图像基于第一预设比例放大后的图像。第一参考图像可以是将待处理图像的图像尺寸放大后得到的图像。第二预设比例可以理解为预先确定的，对图像进行缩小处理的比例。第二预设比例可以是任意值。在实际应用中，第二预设比例可以基于图像处理需求进行确定。第二参考图像可以是待处理图像基于第二预设比例缩小后得到的图像。第二参考图像可以是将待处理图像的图像尺寸缩小后得到的图像。

在本实施例中，第一预设比例和第二预设比例的获取方式可以包括多种。下面可以对多种获取方式进行具体说明。

可选的，预设比例的获取方式可以是在获取待处理图像的情况下，从相关数据库中调取预先设置的预设比例。在实际应用中，可以预先确定多个种类的待识别对象以及每个种类的待识别对象的图像处理需求。进而，可以根据每个种类的待识别对象的图像处理需求设置用于进行图像放大的图像放大比例和用于进行图像缩小的图像缩小比例，可以得到多个图像放大比例和多个图像缩小比例。之后，可以将待识别对象的标识分别与对应的图像放大比例和图像缩小比例关联起来并存储至相关数据库中。进一步的，在获取待处理图像之后，可以确定待识别图像中所包括的待识别对象。进而，可以根据已确定的待识别对象的对象标识从相关数据库中调取相关联的图像放大比例和图像缩小比例。可以将调取到的图像放大比例作为第一预设比例，以及将调取到的图像缩小比例作为第二预设比例。

可选的，预设比例的获取方式也可以是响应于针对预设比例编辑项的编辑触发操作，确定第一预设比例和第二预设比例。在实际应用中，可以预先在相关软件的显示界面中设置预设比例编辑项。进而，在检测到用户通过输入设备或触控点输入针对预设比例编辑项的点击操作，或者，检测到用户通过输入设备或触控点在预设比例编辑项上的停顿时长达到预设时长时，即可确定检测到针对预设比例编辑项的编辑开始触发操作。进而，可以对该触发操作进行响应，将预设比例编辑项调整为可编辑状态。之后，在检测到用户通过输入设备针对预设比例编辑项的编辑完成触发操作的情况下，可以对该操作进行响应，并基于预设比例编辑项中显示的数值作为第一预设比例和第二预设比例。

在实际应用中，在得到待处理图像之后，可以获取与待处理图像对应的第一预设比例和第二预设比例。进而，可以根据第一预设比例对待处理图像进行图像放大处理，可以将放大后的待处理图像作为第一参考图像。之后，可以根据第二预设比例对待处理图像进行图像缩小处理，可以将缩小后的待处理图像作为第二参考图像。进一步的，可以将待处理图像、第一参考图像以及第二参考图像组合在一起，即可得到包括三张图像的模型输入图像集。

S120、基于目标对象分割模型对模型输入图像集进行处理，确定与待识别对象对应的识别结果。

在本实施例中，在服务端或客户端确定模型输入图像集之后，即可将模型输入图像集输入至预先训练好的目标对象分割模型中，以基于目标图像分割模型对模型输入图像集中所包括的每一张图像进行处理。其中，目标对象分割模型可以包括多个子模型的深度学习网络模型。目标对象分割模型可以包括至少一个目标子模型。至少一个目标子模型包括区域生成子模型和目标对象筛选子模型。

其中，区域生成子模型可以是包括区域生成网络和分别对区域生成网络相连接的第一卷积网络和第二卷积网络的子模型。区域生成网络(Regions of Interest Net，ROI-Net)可以用于解决感兴趣区域池化(ROI Pooling)操作中两次量化造成的区域不匹配的问题。区域生成网络是通过感兴趣区域对齐(ROI-Align)操作实现特征提取的神经网络模型。区域生成网络还可以用于基于模型输入图像生成大量包括图像特征的候选框。示例性的，区域生成网络可以是小型浅层全卷积网络，例如，包括4个卷积模块的全卷积网络，每一个卷积模块的卷积核大小为3×3。第一卷积网络可以是与区域生成网络相连接的检测头，可以用于对图像中的待识别对象的类别进行分类。第二卷积网络可以是与区域生成网络相连接的另一个检测头，可以用于确定候选边界框的边界框信息。

其中，目标对象筛选子模型可以是包括主干特征提取网络、与主干特征提取网络相连接的第一全连接网络、第二全连接网络和特征融合网络以及与特征融合网络相连接的第三卷积网络的子模型。主干特征提取网络可以是用于对图像进行特征提取的神经网络。示例性的，主干特征提取网络可以是DarkNet-53网络，该网络中可以包括5个卷积模块，用于进行5次下采样。第一全连接网络可以是与主干特征提取网络相连接的检测头，用于执行待识别对象的类别分类任务。第二全连接网络可以是与主干特征网络相连接的检测头，用于执行确定目标边界框的边界框信息的任务。特征融合网络可以是对特征图像进行上采样，并与对应的下采样之后的特征进行特征融合的网络。需要说明的是，特征融合网络可以是与主干特征网络相对应的网络，即，特征融合网络的网络结构与主干特征网络的网络结构相匹配。示例性的，在主干特征网络是包括5个用于下采样的卷积模块的情况下，特征融合网络是包括5个用于上采样的卷积模块。第三卷积网络可以是与特征融合网络相连接的检测头，可以用于执行掩膜预测任务。示例性的，第三卷积网络可以是卷积核为1×1的卷积网络。

在本实施例中，在模型输入图像输入至目标对象分割模型中进行处理后，模型即可输出与待处理图像中所包括的边界框对应的识别结果。其中，识别结果可以是用于表征边界框中所包括的待识别对象的属性，且可以判断待识别对象的对象类别的信息。例如，当输入的待处理图像中的待识别对象为玉米籽粒，模型即可输出该玉米籽粒的当前类别(完整、残缺、未包括或无法识别)。未包括可以理解为该边界框中未包括玉米籽粒。

在实际应用中，由于目标对象分割模型中包括多个目标子模型，因此，基于目标对象分割模型对模型输入图像集进行处理，可以依次通过模型中多个目标子模型对模型输入图像集进行相应的处理。从而，可以输出与待处理图像中所包括的待识别对象对应的识别结果。

可选的，基于目标对象分割模型对模型输入图像集进行处理，确定与待识别对象对应的识别结果，包括：基于目标对象分割模型中的区域生成子模型和目标对象筛选子模型对模型输入图像集进行处理，得到识别结果。

S130、基于识别结果对待处理图像中的待识别对象标注。

在本实施例中，在得到识别结果之后，即可根据识别结果对待处理图像中的待识别对象进行标注。其中，模型所输出的识别结果可以包括待识别对象的掩膜数据、对象类别以及与待识别对象对应的边界框信息。

在实际应用中，在得到目标对象分割模型输出的识别结果之后，可以将所得到的识别结果输入至图像处理软件中。进而，可以根据图像处理软件对识别结果中的待识别对象的掩膜数据进行处理，得到待识别对象掩膜轮廓的坐标信息。进一步的，可以将已得到的掩膜轮廓坐标信息、待识别对象的对象类别以及待识别对象对应的边界框信息共同写入预设格式的文件中，得到对象标注文件。之后，可以利用预设标注软件对已确定的对象标注文件进行读取解析。从而，可以根据已解析的对象标注文件对待处理图像中所包括的待识别对象进行标注。其中，图像处理软件可以是任意软件，可选的，可以是OpenCV。预设格式可以是任意格式，可选的，可以是JSON。预设标注软件可以是任意软件，可选的，可以是Labelme。

本发明实施例的技术方案，通过获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，进一步的，基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，最后，基于识别结果对待处理图像中的待识别对象标注，解决了相关技术中在需要检测的单个目标物体所占像素点少，同时目标物体的数量较多的情况下，导致难以准确分割目标物体等问题，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

实施例二

图2是本发明实施例二提供的一种图像处理方法的流程图，在前述实施例的基础上，对S120作了进一步细化。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法包括：

S210、获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集。

S220、基于区域生成子模型对模型输入图像集进行特征提取，确定至少一个候选识别结果集。

其中，候选识别结果集可以是包括至少一个候选识别结果的集合。每个候选识别结果集中所包括的候选识别结果的数量与每个模型输入图像集中所包括的图像的数量相一致。示例性的，在模型输入图像集中包括的图像的数量为3张的情况下，在基于区域生成子模型对该模型输入图像集进行处理之后所得到的每个候选识别结果集中可以包括3个候选识别结果。候选识别结果可以包括候选区域特征、与候选区域特征对应的识别类别和边界框信息。区域生成子模型包括区域生成网络以及分别与区域生成网络相连接的第一卷积网络和第二卷积网络，区域生成网络包括至少一个第一卷积模块。

在实际应用中，在得到模型输入图像集之后，即可将模型输入图像集输入至目标对象分割模型中，以基于目标对象分割模型中的区域生成子模型对模型输入图像集中的图像进行候选区域特征提取。进而，对于模型输入图像集中的每张图像，可以基于区域生成子模型中所包括的神经网络对图像进行候选区域提取，以确定图像中所包括的待识别对象对应的具体特征信息。从而，可以得到至少一个候选识别结果。在基于区域生成子模型对模型输入图像集中的每张图像均处理完成时，即可得到至少一个候选识别结果集。

可选的，基于区域生成子模型对模型输入图像集进行特征提取，确定至少一个候选识别结果集，包括：针对模型输入图像集中的每张模型输入图像，基于至少一个第一卷积模块按照模型输入对象对应的预设滑窗尺寸对模型输入图像进行处理，得到与模型输入图像对应的至少一个候选区域特征；将第一参考图像对应的至少一个候选区域特征和第二参考图像对应的至少一个候选区域特征映射至待处理图像中，得到与模型输入图像集对应的至少一个候选区域特征；基于第一卷积网络分别对每个候选区域特征进行处理，得到与候选区域特征对应的识别类别；基于第二卷积网络分别对每个候选区域特征进行处理，得到与候选区域特征对应的边界框信息；将至少一个候选区域特征、与每个候选区域特征对应的识别类别以及与每个候选区域特征对应的边界框信息作为模型输入图像集对应的至少一个候选识别结果。

需要说明的是，区域生成子模型中的第一卷积模块可以是一个或多个，且每个第一卷积模块的卷积核可以是任意值，本实施例对此不作具体限定。其中，第一卷积模块可以是基于卷积神经网络构建的模块。其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学***移不变分类，本实施例在此不再具体赘述。

在实际应用中，将模型输入图像输入至区域生成子模型中，经过一系列卷积神经网络对模型输入图像进行降采样处理。进一步的，在最后一层输出的特征图像中各个像素点中随机运行滑动窗口，对于每个滑动窗口，可以将当前滑动窗口的中心作为锚点，并对应一组尺度和长度比的方框。因此，每个滑动窗口即可对应K个锚点，相应的，对于分辨率为H×W的特征图像，即可对应H×W×K个锚点。由于该特征图像是模型输入图像基于不同第一卷积模块的降采样处理得到的。因此，该特征图像与模型输入图像存在一定的映射关系。并且，由于特征图像与模型输入图像的分辨率不同，所以特征图像中的一个锚点对应模型输入图像中的一个候选边界框。将特征图像中确定的所有锚点映射至模型输入图像中之后，会存在一部分候选边界框不符合候选区域条件的情况，例如，方框超出图像边界或方框尺寸较小等。对模型输入图像中的候选边界框做一些后处理，将不符合条件的候选边界框删除，即可得到更可信的候选边界框，可以基于筛选之后的候选边界框所确定的图像作为候选区域特征。

在本实施例中，预设滑窗尺寸可以理解为预先设置的在图像中滑动的滑动窗口的尺寸。预设滑窗尺寸可以与模型输入图像的图像尺寸相关联，也就是说，对于不同图像尺寸的模型输入图像，其对应的预设滑窗尺寸也是不同的。需要说明的是，模型输入图像对应的预设滑窗尺寸与该模型输入图像与待处理图像之间的图像尺寸的比值相对应。具体来说，在待处理图像对应的预设滑窗尺寸为第一滑窗尺寸的情况下，在基于第一预设比例对待处理图像进行放大处理之后得到的第一参考图像对应的预设滑窗尺寸可以为第一滑窗尺寸与第一预设比例之间的乘积。示例性的，在待处理图像的图像尺寸为544×544的情况下，其对应的预设滑窗尺寸可以是16×16。进而，假设第一预设比例为1.2，基于第一预设比例对待处理图像进行放大处理后得到的第一参考图像的图像尺寸即为652.8×652.8，其对应的预设滑窗尺寸即为19.2×19.2。

在实际应用中，针对模型输入图像集中的每幅模型输入图像，可以根据区域生成子模型中的至少一个第一卷积模块按照模型输入图像对应的预设滑窗尺寸对模型输入图像进行处理，即，基于模型输入图像对应的预设滑窗尺寸的滑动窗口在模型输入图像中进行滑动。进而，在模型输入图像集中包括除待处理图像之外的其他模型输入图像的情况下，可以将模型输入图像集中除待处理图像之外的模型输入图像对应的至少一个候选区域特征映射至待处理图像中，即，将模型输入图像集中所有模型输入图像对应的至少一个候选区域特征全部显示在待处理图像中，可以得到显示不同预设滑窗尺寸的滑动窗口的待处理图像。进而，可以将待处理图像中所显示的全部候选区域特征作为模型输入图像集对应的至少一个候选区域特征。

进一步的，为了可以对候选区域特征所对应的待识别对象进行初步分类识别以及初步对候选边界框进行回归定位，在得到至少一个候选区域特征之后，可以分别将候选区域特征输入至与区域生成网络相连接的第一卷积网络和第二卷积网络。进而，可以基于第一卷积网络对候选区域特征进行处理，以确定候选区域特征对应的待识别对象的识别类别；以及，基于第二卷积网络对候选区域特征进行处理，以确定候选区域特征对应的候选边界框的边界框信息。其中，待识别对象的识别类别可以是待识别对象在相应模型输入图像中的显示状态类别。示例性的，当待识别对象为玉米籽粒时，其对应的识别类别可以为完整、残缺、杂质、未包括或无法识别等。边界框信息可以理解为待识别对象在相应模型输入图像中的显示位置进行定位后得到的预测边界框信息，该边界框信息包括边界框的中心点坐标以及边界框的宽高信息。示例性的，当模型输入图像中的待识别对象为玉米籽粒时，其输出的边界框信息即为模型输入图像中用于标注玉米籽粒的边界框所对应的信息。

进一步的，可以将至少一个候选区域特征、与每个候选区域特征对应的识别类别以及与每个候选区域特征对应的边界框信息作为模型输入图像集对应的至少一个候选识别结果。

S230、对至少一个候选区域特征进行区域筛选合并处理，确定至少一个待处理区域特征。

在本实施例中，在得到模型输入图像集对应的至少一个候选区域特征之后，对于显示在待处理图像中的全部候选区域特征，可能会存在一些候选区域特征之间的区域特征重合率较高。因此，可以对候选区域特征进行区域筛选合并处理。从而，可以得到至少一个待处理区域特征。

在实际应用中，可以根据预先部署在目标对象分割模型中的预设区域筛选合并算法对已得到的全部候选区域特征进行区域筛选合并处理。进而，可以将区域重合率达到预设数值的候选区域特征合并在一起。进而，可以将筛选并合并后得到的区域特征作为待处理区域特征。从而，可以得到至少一个待处理区域特征。其中，预设区域筛选合并算法可以为任意可以实现区域筛选并合并的算法。可选的，预设区域筛选合并算法可以为非极大值抑制(Non-Maximum Suppression，NMS)算法。

S240、基于预设尺寸对每个待处理区域特征进行处理，得到至少一个待输入区域特征。

其中，预设尺寸可以理解为预先设置的用于对输入至目标对象筛选子模型中的输入图像尺寸进行限定的尺寸。需要说明的是，预设尺寸可以是大于任何一幅模型输入图像对应的预设滑窗尺寸。示例性的，在待处理图像对应的预设滑窗尺寸为16×16的情况下，预设尺寸可以为32×32。

在实际应用中，已得到的待处理区域特征是基于待处理图像生成的包括图像特征的滑动窗口，并且，在待处理区域特征中包括待识别对象的情况下，其所包括的待识别对象为图像尺寸较小的小目标对象。因此，为了可以对待处理区域特征进行更加精准的对象识别和分类，可以根据预设尺寸对每个待处理区域特征进行尺寸放大处理。进而，可以尺寸放大后的待处理区域特征作为的待输入区域特征。

S250、将至少一个待输入区域特征输入至目标对象筛选子模型中，得到与待处理图像对应的识别结果。

在本实施例中，在得到至少一个待输入区域特征之后，即可将至少一个待输入区域特征输入至目标对象筛选子模型中，以基于目标对象筛选子模型对至少一个待输入区域特征进行处理。从而，可以得到与待处理图像对应的识别结果。

在本实施例中，目标对象筛选子模型中可以包括主干特征提取网络、与主干特征提取网络相连接的第一全连接网络、第二全连接网络和特征融合网络以及与特征融合网络相连接的第三卷积网络的子模型。在实际应用中，在将至少一个待输入区域特征输入至目标对象筛选子模型之后，基于主干特征提取网络对至少一个待输入区域特征进行处理，并将处理后得到的特征图像分别输入至第一全连接网络、第二全连接网络以及特征融合网络中。从而，可以得到与待处理图像对应的识别结果。

可选的，将至少一个待输入区域特征输入至所述目标对象筛选子模型中，得到与所述待处理图像对应的识别结果，包括：基于主干特征提取网络中包括的至少一个第一卷积模块对至少一个待输入区域特征进行特征提取处理，得到至少一个第一特征；基于第一全连接网络对至少一个第一特征进行处理，得到与每个第一特征对应的识别类别；基于第二全连接网络对至少一个第一特征进行处理，得到与每个第一特征对应的边界框信息；基于特征融合网络中包括的至少一个第二卷积模块对至少一个第一特征以及主干特征提取网络中每个第一卷积模块的模型输出进行处理，得到至少一个第二特征；基于第三卷积网络对至少一个第二特征进行处理，得到与每个第二特征对应的掩膜图；基于识别类别、边界框信息以及掩膜图，确定识别结果。

其中，主干特征提取网络可以是用于进行特征信息提取的网络，是对模型输入进行下采样处理的网络。主干特征提取网络中可以包括多个不同卷积核的第一卷积模块。主干特征提取网络可以是任意能够实现特征提取网络。可选的，主干特征提取网络可以是Darknet-53。第一全连接网络可以理解为与主干特征提取网络相连接的检测头，并且，该检测头用于执行识别待分类对象的对象类别的任务。第二全连接网络可以理解为与主干特征提取网络相连接的另一个检测头，并且，该检测头用于执行确定特征图像的边界框信息的任务。特征融合网络可以理解为对模型输入进行上采样处理的网络。特征融合网络中可以包括多个不同卷积核的第二卷积模块。需要说明的是，特征融合网络中所包括的第二卷积模块的数量与主干特征提取网络中所包括的第一卷积模块的数量相一致。还需要说明的是，在特征融合网络中所包括的第二卷积模块的排列方向与该网络中数据输出方向相一致，且主干特征提取网络中所包括的第一卷积模块的排列方向与该网路中数据输出方向相一致的情况下，最后一个第一卷积模块的卷积核与第一个第二卷积模块的卷积核相同，倒数第二个第一卷积模块的卷积核与第二个第二卷积模块的卷积核相同，倒数第三个第一卷积模块的卷积核与第三个第二卷积模块的卷积核相同，以此类推，第一个第一卷积模块的卷积核与最后一个第二卷积模块的卷积核相同。第三卷积网络可以理解为与特征融合网络相连接的检测头，并且，该检测头用于执行生成掩膜图像的任务。

在实际应用中，在得到至少一个待输入区域特征之后，可以将至少一个待输入区域特征输入至目标对象筛选子模型中。进而，可以基于目标对象筛选子模型中的主干特征提取网络中所包括的至少一个第一卷积模块依次对至少一个待输入区域特征进行特征提取，可以将特征信息提取后的待输入区域特征作为第一特征。进而，可以得到至少一个第一特征。之后，可以将至少一个第一特征分别输入至第一全连接网络、第二全连接网络以及特征融合网络中。进而，可以基于第一全连接网络对至少一个第一特征进行处理，以确定每个第一特征中所包括的待识别对象的识别类别，可以得到每个第一特征对应的识别类别。同时，可以基于第二全连接网络对至少一个第一特征进行处理，以确定每个第一特征对应的边界框信息，可以得到每个第一特征对应的边界框信息。之后，可以基于特征融合网络中包括的至少一个第二卷积模块对至少一个第一特征以及主干特征提取网络中每个第一卷积模块的模型输出进行处理。从而，可以得到至少一个第二特征。

可选的，基于特征融合网络中包括的至少一个第二卷积模块对至少一个第一特征以及主干特征提取网络中每个第一卷积模块的模型输出进行处理，得到至少一个第二特征，包括：将至少一个第一特征作为最后一个第一卷积模块的模型输出，并将模型输出作为第一个第二卷积模块的模型输入；针对特征融合网络中除第一个第二卷积模块的其他第二卷积模块，将当前第二卷积模块的上一卷积模块的模型输出和与当前第二卷积模块对应的第一卷积模块的模型输出相加，以作为当前第二卷积模块的模型输入，直至当前第二卷积模块为最后一个第二卷积模块，并将最后一个第二卷积模块的模型输出作为至少一个第二特征。

其中，与当前第二卷积模块对应的第一卷积模块为主干特征提取网络中满足预设标准的第一卷积模块。预设标准可以理解为预先设置的，用于对主干特征提取网络中的第一卷积模块进行筛选的标准。可选的，预设标准可以是主干特征提取网络中与当前第二卷积模块的卷积核相同的第一卷积模块。

在实际应用中，对于特征融合网络，可以将至少一个第一特征输入至第一个第二卷积模块中，以基于第二卷积模块对至少一个第一特征进行上采样处理，可以将上采样处理后的第一特征作为第一个第二卷积模块的模型输出。进而，针对特征融合网络中除第一个第二卷积模块的其他第二卷积模块，可以将第一个第二卷积模块的模型输出和主干特征提取网络中倒数第二个第一卷积模块的模型输出相加，并将相加后得到的结果作为第二个第二卷积模块的模型输入。进一步的，将第二个第二卷积模块的模型输出和主干特征提取网络中倒数第三个第一卷积模块的模型输出相加，并将相加后得到的结果作为第三个第二卷积模块的模型输入，以此类推，将倒数第二个第二卷积模块的模型输出和主干特征提取网络中第一个第一卷积模块的模型输出相加，并将相加后得到的结果作为最后一个第二卷积模块的模型输入。进而，可以将最后一个第二卷积模块的模型输出作为至少一个第二特征。

需要说明的是，主干特征提取网络和特征融合网络可以理解为对特征信息进行下采样处理之后，再对下采样后的特征信息进行上采样处理的网络组合。并且，主干特征提取网络中每一个第一卷积模块对特征信息进行下采样处理的维度与特征融合网络中每一个第二卷积模块对特征信息进行上采样处理的维度相同，因此，第二特征的维度与待输入区域特征的维度相同。

进一步的，可以将至少一个第二特征输入至与特征融合网络相连接的第三卷积网络中，以基于第三卷积网络对每个第二特征进行处理。从而，可以得到与每个第二特征对应的掩膜图。每个掩膜图可以是将与待识别对象于第二特征中的像素点的像素值调整为第一像素值，以及将第二特征中其他像素点的像素值调整为第二像素值的图像。其中，第一像素值可以是任意值，可选的，可以是0或1。第二像素值可以是任意值，可选的，可以是0或1。

最后，可以将已得到的掩膜图、识别类别以及边界框信息作为待处理图像对应的识别结果。

S260、基于识别结果对待处理图像中的待识别对象标注。

本发明实施例的技术方案，通过获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，进一步的，基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，最后，基于识别结果对待处理图像中的待识别对象标注，解决了相关技术中在需要检测的单个目标物体所占像素点少，同时目标物体的数量较多的情况下，导致难以准确分割目标物体等问题，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

实施例三

图3是本发明实施例三提供的一种图像处理方法的流程图，在前述实施例的基础上，还可以预先训练得到目标对象分割模型，以基于目标对象分割模型对模型输入图像集进行识别处理，从而确定与待处理图像对应的识别结果。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图3所示，该方法包括：

S310、获取多个训练样本。

其中，训练样本中包括：训练样本图像，训练样本图像中包括待识别对象，与训练样本图像对应的理论结果，理论结果中包括理论类别、理论边界框信息以及理论掩膜图。

其中，训练样本图像可以为摄像装置拍摄的图像，或图像重构模型重构出的图像，或从存储空间中预先存储的图像。同时，在图像中包括一个或多个对象，可以将图像中的对象作为待识别对象。理论掩膜图可以是预先对训练样本图像进行二进制掩膜处理之后得到的掩膜图。理论类别可以为训练样本图像中的各个对象所属类别。理论边界框信息可以为训练样本图像中待识别对象所应该对应的真实边界框信息。

具体的，在对待训练对象分割模型进行训练之前，需要先获取多个训练样本，以基于训练样本来训练模型。为了提高模型的准确性，可以尽可能多而丰富的获取训练样本，获取多幅包括待识别对象的训练样本图像，进一步的，对这些训练样本图像进行处理，得到与训练样本图像所对应的理论掩膜图、理论类别以及与待识别对象所对应的理论边界框信息，从而基于上述方式构建丰富的训练样本。

S320、将训练样本输入至待训练对象分割模型中，得到实际输出结果。

需要说明的是，针对每一个训练样本，均可以采用S320的方式对其进行训练。从而，可以得到目标对象分割模型。

其中，待训练对象分割模型中的模型参数为默认值。通过训练样本对待训练对象分割模型中的模型参数进行修正，以得到目标对象分割模型。实际输出结果中包括实际掩膜图、实际类别以及实际边界框信息。实际掩膜图是将训练样本图像输入至待训练对象分割模型后输出的掩膜图；实际类别是将训练样本图像输入至待训练对象分割模型后输出的识别类别；实际边界框信息是将训练样本图像输入至待训练对象分割模型后输出的，与待识别对象相对应的边界框信息。

在本实施例中，待训练对象分割模型可以包括待训练区域生成子模型和待训练对象筛选子模型。在实际应用中，将训练样本图像输入至待训练对象分割模型后，通过待训练区域生成子模型对训练样本图像进行处理，得到至少一个实际候选识别结果。进一步的，依据待训练对象筛选子模型对至少一个实际候选识别结果进行处理。从而，可以得到与训练样本图像对应的实际输出结果。

S330、根据与待训练区域生成子模型对应的第一损失函数和与待训练对象筛选子模型对应的第二损失函数，对理论结果和实际输出结果进行损失处理。

其中，待训练区域生成子模型和待训练对象筛选子模型均为模型中的模型参数为初始参数或者默认参数的模型。第一损失函数包括实际类别与理论类别所对应的类别损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数。第二损失函数包括实际掩膜图和理论掩膜图所对应的掩膜损失函数、实际类别与理论类别所对应的理论损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数。类别损失函数可以为任意损失函数，可选的，可以是交叉熵损失函数；边界框损失函数可以为任意损失函数，可选的，可以是欧式损失函数；掩膜损失函数可以为任意损失函数，可选的，可以是交叉熵损失函数。具体的，第一损失函数可以通过将类别损失函数和边界框损失函数相加得到。第二损失函数可以通过将类别损失函数、边界框损失函数以及掩膜损失函数相加得到。

S340、基于损失值对待训练对象分割模型的模型参数进行修正，得到目标对象分割模型。

一般情况下，待训练对象分割模型的模型参数为初始参数或默认参数，在对待训练对象分割模型进行训练时，可以基于待训练对象分割模型的输出结果修正模型中的各项模型参数，即，可以通过对待训练对象分割模型的损失值进行修正，从而得到目标对象分割模型。其中，损失值为实际输出图像与理论输出图像之间的差异值。

具体的，在利用损失值对待训练对象分割模型中的模型参数进行修正时，可以将损失函数收敛作为训练目标，比如训练误差是否小于预设误差，或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明该待训练对象分割模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取其他训练样本以对待训练对象分割模型继续进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，即可将训练完成的待训练对象分割模型作为目标对象分割模型，即，此时将包括待识别对象的图像输入至该目标对象分割模型中后，即可准确得到与待处理图像相对应的识别结果。

S350、获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集。

S360、基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果。

S370、基于识别结果对待处理图像中的待识别对象标注。

本发明实施例的技术方案，通过获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，进一步的，基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，最后，基于识别结果对待处理图像中的待识别对象标注，解决了相关技术中在需要检测的单个目标物体所占像素点少，同时目标物体的数量较多的情况下，导致难以准确分割目标物体等问题，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

实施例四

图4是本发明实施例四提供的一种图像处理装置的结构示意图。如图4所示，该装置包括：图像获取模块410、识别结果确定模块420以及对象标注模块430。

其中，图像获取模块410，用于获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集，其中，所述待识别对象是小目标对象；识别结果确定模块420，用于基于目标对象分割模型对所述模型输入图像集进行处理，确定与所述待识别对象对应的识别结果，其中，所述目标对象分割模型中包括至少一个目标子模型，所述至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；对象标注模块430，用于基于所述识别结果对所述待处理图像中的所述待识别对象标注。

本发明实施例的技术方案，通过获取包括多个待识别对象的待处理图像，并基于待处理图像构建模型输入图像集，进一步的，基于目标对象分割模型对模型输入图像集进行处理，确定与待处理图像对应的识别结果，最后，基于识别结果对待处理图像中的待识别对象标注，解决了相关技术中在需要检测的单个目标物体所占像素点少，同时目标物体的数量较多的情况下，导致难以准确分割目标物体等问题，实现了小目标对象的快速高质量智能标注，极大的加快了标注速度，提高了标注质量。

可选的，图像获取模块410包括：图像放大单元、图像缩小单元以及图像集构建单元。

图像放大单元，用于基于第一预设比例对所述待处理图像进行图像放大处理，得到第一参考图像；

图像缩小单元，用于基于第二预设比例对所述待处理图像进行图像缩小处理，得到第二参考图像；

图像集构建单元，用于将所述待处理图像、所述第一参考图像以及所述第二参考图像作为模型输入图像，并构建所述模型输入图像集。

可选的，识别结果确定模块420包括：候选识别结果确定单元、区域特征筛选合并处理单元、区域特征放大单元以及识别结果确定单元。

候选识别结果确定单元，用于基于所述区域生成子模型对所述模型输入图像集中包括的每幅模型输入图像进行处理，确定至少一个候选识别结果，其中，所述候选识别结果中包括候选区域特征、与所述候选区域特征对应的识别类别和边界框信息；

区域特征筛选合并处理单元，用于对所述至少一个候选区域特征进行区域筛选合并处理，确定至少一个待处理区域特征；

区域特征放大单元，用于基于预设尺寸对每个所述待处理区域特征进行放大处理，得到至少一个待输入区域特征；

识别结果确定单元，用于将所述至少一个待输入区域特征输入至所述目标对象筛选子模型中，得到与所述待处理图像对应的识别结果。

可选的，所述区域生成子模型包括区域生成网络以及分别与所述区域生成网络相连接的第一卷积网络和第二卷积网络，所述区域生成网络包括至少一个第一卷积模块；

相应的，候选识别结果确定单元包括：候选区域特征确定子单元、候选区域特征映射单元、识别类别确定子单元、边界框信息确定子单元以及候选识别结果确定子单元。

候选区域特征确定子单元，用于针对所述模型输入图像集中的每张模型输入图像，基于所述至少一个第一卷积模块按照所述模型输入对象对应的预设滑窗尺寸对所述模型输入图像进行处理，得到与所述模型输入图像对应的至少一个候选区域特征；

候选区域特征映射单元，用于将所述模型输入图像集中除所述待处理图像之外的模型输入图像对应的至少一个候选区域特征映射至所述待处理图像中，得到与所述模型输入图像集对应的至少一个候选区域特征；

识别类别确定子单元，用于基于所述第一卷积网络分别对每个所述候选区域特征进行处理，得到与所述候选区域特征对应的识别类别；

边界框信息确定子单元，用于基于所述第二卷积网络分别对每个所述候选区域特征进行处理，得到与所述候选区域特征对应的边界框信息；

候选识别结果确定子单元，用于将所述至少一个候选区域特征、与每个所述候选区域特征对应的识别类别以及与每个所述候选区域特征对应的边界框信息作为所述模型输入图像集对应的至少一个候选识别结果。

可选的，所述目标对象筛选子模型中包括主干特征提取网络、与所述主干特征提取网络相连接的第一全连接网络、第二全连接网络和特征融合网络以及与所述特征融合网络相连接的第三卷积网络；

相应的，识别结果确定单元包括：特征提取处理子单元、识别类别确定子单元、边界框信息确定子单元、上采样处理子单元、掩膜图确定子单元以及识别结果确定子单元。

特征提取处理子单元，用于基于所述主干特征提取网络中包括的至少一个第一卷积模块对所述至少一个待输入区域特征进行特征提取处理，得到至少一个第一特征；

识别类别确定子单元，用于基于所述第一全连接网络对所述至少一个第一特征进行处理，得到与每个所述第一特征对应的识别类别；

边界框信息确定子单元，用于基于所述第二全连接网络对所述至少一个第一特征进行处理，得到与每个所述第一特征对应的边界框信息；

上采样处理子单元，用于基于所述特征融合网络中包括的至少一个第二卷积模块对所述至少一个第一特征以及所述主干特征提取网络中每个所述第一卷积模块的模型输出进行上采样处理，得到至少一个第二特征；

掩膜图确定子单元，用于基于所述第三卷积网络对所述至少一个第二特征进行处理，得到与每个所述第二特征对应的掩膜图；

识别结果确定子单元，用于基于所述识别类别、所述边界框信息以及所述掩膜图，确定所述识别结果；

其中，所述主干特征提取网络中包括的所述第一卷积模块的数量与所述特征融合网络中包括的所述第二卷积模块的数量相一致。

可选的，上采样处理子单元，具体用于将所述至少一个第一特征作为最后一个所述第一卷积模块的模型输出，并将所述模型输出作为所述第一个所述第二卷积模块的模型输入；针对所述特征融合网络中除所述第一个第二卷积模块的其他所述第二卷积模块，将当前第二卷积模块的上一卷积模块的模型输出和与所述当前第二卷积模块对应的所述第一卷积模块的模型输出相加，以作为所述当前第二卷积模块的模型输入，直至所述当前第二卷积模块为最后一个所述第二卷积模块，并将所述最后一个第二卷积模块的模型输出作为所述至少一个第二特征；其中，与所述当前第二卷积模块对应的所述第一卷积模块为所述主干特征提取网络中满足与所述当前第二卷积模块对应的预设标准的第一卷积模块。

可选的，所述装置还包括：训练样本获取模块、训练样本输入模块、损失处理模块以及模型参数修正模块：

训练样本获取模块，用于获取多个训练样本，其中，所述训练样本中包括：训练样本图像，所述训练样本图像中包括待识别对象，与所述训练样本图像对应的理论结果，所述理论结果中包括理论类别、理论边界框信息以及理论掩膜图；

训练样本输入模块，用于将所述训练样本输入至待训练对象分割模型中，得到实际输出结果，其中，所述实际输出结果中包括实际掩膜图、实际类别以及实际边界框信息；

损失处理模块，用于根据与待训练区域生成子模型对应的第一损失函数和与待训练对象筛选子模型对应的第二损失函数，对所述理论结果和所述实际输出结果进行损失处理；

模型参数修正模块，用于基于损失值对所述待训练对象分割模型的模型参数进行修正，得到所述目标对象分割模型；

其中，第一损失函数包括实际类别与理论类别所对应的类别损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数；第二损失函数包括实际掩膜图和理论掩膜图所对应的掩膜损失函数、实际类别与理论类别所对应的理论损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数。

本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如图像处理方法。

在一些实施例中，图像处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集，其中，所述待识别对象是小目标对象；

基于目标对象分割模型对所述模型输入图像集进行处理，确定与所述待处理图像对应的识别结果，其中，所述目标对象分割模型中包括至少一个目标子模型，所述至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；

基于所述识别结果对所述待处理图像中的所述待识别对象标注。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像构建模型输入图像集，包括：

基于第一预设比例对所述待处理图像进行图像放大处理，得到第一参考图像；

基于第二预设比例对所述待处理图像进行图像缩小处理，得到第二参考图像；

将所述待处理图像、所述第一参考图像以及所述第二参考图像作为模型输入图像，并构建所述模型输入图像集。

3.根据权利要求1所述的方法，其特征在于，所述基于目标对象分割模型对所述模型输入图像集进行识别处理，确定与所述待识别对象对应的识别结果，包括：

基于所述区域生成子模型对所述模型输入图像集中包括的每幅模型输入图像进行处理，确定至少一个候选识别结果，其中，所述候选识别结果中包括候选区域特征、与所述候选区域特征对应的识别类别和边界框信息；

对所述至少一个候选区域特征进行区域筛选合并处理，确定至少一个待处理区域特征；

基于预设尺寸对每个所述待处理区域特征进行处理，得到至少一个待输入区域特征；

将所述至少一个待输入区域特征输入至所述目标对象筛选子模型中，得到与所述待处理图像对应的识别结果。

4.根据权利要求3所述的方法，其特征在于，所述区域生成子模型包括区域生成网络以及分别与所述区域生成网络相连接的第一卷积网络和第二卷积网络，所述区域生成网络包括至少一个第一卷积模块；

相应的，所述基于所述区域生成子模型对所述模型输入图像集中包括的每幅模型输入图像进行处理，确定至少一个候选识别结果，包括：

针对所述模型输入图像集中的每张模型输入图像，基于所述至少一个第一卷积模块按照所述模型输入对象对应的预设滑窗尺寸对所述模型输入图像进行处理，得到与所述模型输入图像对应的至少一个候选区域特征；

将所述模型输入图像集中除所述待处理图像之外的模型输入图像对应的至少一个候选区域特征映射至所述待处理图像中，得到与所述模型输入图像集对应的至少一个候选区域特征；

基于所述第一卷积网络分别对每个所述候选区域特征进行处理，得到与所述候选区域特征对应的识别类别；

基于所述第二卷积网络分别对每个所述候选区域特征进行处理，得到与所述候选区域特征对应的边界框信息；

将所述至少一个候选区域特征、与每个所述候选区域特征对应的识别类别以及与每个所述候选区域特征对应的边界框信息作为所述模型输入图像集对应的至少一个候选识别结果。

5.根据权利要求3所述的方法，其特征在于，所述目标对象筛选子模型中包括主干特征提取网络、与所述主干特征提取网络相连接的第一全连接网络、第二全连接网络和特征融合网络以及与所述特征融合网络相连接的第三卷积网络；

相应的，所述将所述至少一个待输入区域特征输入至所述目标对象筛选子模型中，得到与所述待处理图像对应的识别结果，包括：

基于所述主干特征提取网络中包括的至少一个第一卷积模块对所述至少一个待输入区域特征进行特征提取处理，得到至少一个第一特征；

基于所述第一全连接网络对所述至少一个第一特征进行处理，得到与每个所述第一特征对应的识别类别；

基于所述第二全连接网络对所述至少一个第一特征进行处理，得到与每个所述第一特征对应的边界框信息；

基于所述特征融合网络中包括的至少一个第二卷积模块对所述至少一个第一特征以及所述主干特征提取网络中每个所述第一卷积模块的模型输出进行处理，得到至少一个第二特征；

基于所述第三卷积网络对所述至少一个第二特征进行处理，得到与每个所述第二特征对应的掩膜图；

基于所述识别类别、所述边界框信息以及所述掩膜图，确定所述识别结果；

其中，所述主干特征提取网络中包括的所述第一卷积模块的数量与所述特征融合网络中包括的所述第二卷积模块的数量相一致。

6.根据权利要求5所述的方法，其特征在于，所述基于所述特征融合网络中包括的至少一个第二卷积模块对所述至少一个第一特征以及所述主干特征提取网络中每个所述第一卷积模块的模型输出进行处理，得到至少一个第二特征，包括：

将所述至少一个第一特征作为最后一个所述第一卷积模块的模型输出，并将所述模型输出作为第一个所述第二卷积模块的模型输入；

针对所述特征融合网络中除第一个所述第二卷积模块的其他所述第二卷积模块，将当前第二卷积模块的上一卷积模块的模型输出和与所述当前第二卷积模块对应的所述第一卷积模块的模型输出相加，以作为所述当前第二卷积模块的模型输入，直至所述当前第二卷积模块为最后一个所述第二卷积模块，并将所述最后一个第二卷积模块的模型输出作为所述至少一个第二特征；

其中，与所述当前第二卷积模块对应的所述第一卷积模块为所述主干特征提取网络中满足与所述当前第二卷积模块对应的预设标准的第一卷积模块。

7.根据权利要求1所述的方法，其特征在于，通过如下步骤得到所述目标对象分割模型：

获取多个训练样本，其中，所述训练样本中包括：训练样本图像，所述训练样本图像中包括待识别对象，与所述训练样本图像对应的理论结果，所述理论结果中包括理论类别、理论边界框信息以及理论掩膜图；

将所述训练样本输入至待训练对象分割模型中，得到实际输出结果，其中，所述实际输出结果中包括实际掩膜图、实际类别以及实际边界框信息；

根据与待训练区域生成子模型对应的第一损失函数和与待训练对象筛选子模型对应的第二损失函数，对所述理论结果和所述实际输出结果进行损失处理；

基于损失值对所述待训练对象分割模型的模型参数进行修正，得到所述目标对象分割模型；

其中，第一损失函数包括实际类别与理论类别所对应的类别损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数；第二损失函数包括实际掩膜图和理论掩膜图所对应的掩膜损失函数、实际类别与理论类别所对应的理论损失函数、以及实际边界框信息与理论边界框信息所对应的边界框损失函数。

8.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取包括多个待识别对象的待处理图像，并基于所述待处理图像构建模型输入图像集，其中，所述待识别对象是小目标对象；

识别结果确定模块，用于基于目标对象分割模型对所述模型输入图像集进行处理，确定与所述待识别对象对应的识别结果，其中，所述目标对象分割模型中包括至少一个目标子模型，所述至少一个目标子模型包括区域生成子模型和目标对象筛选子模型；

对象标注模块，用于基于所述识别结果对所述待处理图像中的所述待识别对象标注。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的图像处理方法。