CN109948605A - 一种针对小目标的图片增强方法及装置 - Google Patents

Abstract

本发明公开了一种针对小目标的图片增强的方法及装置，包括：对待处理的图片中各个目标进行标注后，基于所述待处理的图片建立坐标系，使得标注出的各个目标处于坐标系中，从待处理的图片中识别出各个小目标，并基于小目标和坐标系中各个象限的关系，分割出包含小目标的象限，得到增强的小目标图片。这样，增加了训练样本中小目标的比例，可以对小目标进行加强训练，提高了小目标的识别效果。

Description

一种针对小目标的图片增强方法及装置

技术领域

本发明涉及图片处理领域，尤其涉及一种针对小目标的图片增强方法及装置。

背景技术

一幅图片中一般包含近景、中景和远景，通常将远景成为大目标、将中景称为中目标、将远景成为小目标。

现有技术中采用的目标识别方法，对于图片中小目标的识别效果非常差，甚至对于目标识别效果较好的SSD(英文全称：Single Shot Multibox Detection，中文全称：目标检测算法)算法，对于小目标的检测效果也差强人意。因此，提高小目标的识别效果是目前亟待解决的问题。

并且，现有技术中，为了避免由于样本有限、匮乏导致训练过拟合而进行的图片处理技术，可以对数据样本进行适当加工，衍生出更多的补充训练样本。对于样本的衍生，通产采用的手段包括：随机修剪、色彩抖动、翻转变换、尺度平移、尺度变换、对比度变换、噪声扰动和旋转反射变换。但是，这些方法得到的衍生样本，并不能改善对于图片中小目标的识别效果。

发明内容

有鉴于此，本发明实施例公开了一种针对小目标的图片增强方法及装置，解决了现有技术中对图片中小目标识别效果差的问题。

本发明实施例公开了一种针对小目标的图片增强方法，包括：

对待处理的图片中的各个目标进行标注；

基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

从各个目标中识别出小目标；

基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图像中分割出包含小目标的象限，得到增强的小目标图片。

可选的，所述对待处理的图片中各个目标进行标注，包括:

从所述待处理的图片中检测目标；

确定所述目标的轮廓位置，并依据所述目标的轮廓位置对检测出的各个目标进行标注。

可选的，所述基于所述原始图片建立坐标系，以使标注出的各个目标处于坐标系中，包括：

根据所述待处理的图片的尺寸信息，确定坐标系的原点；

基于所述坐标系的原点建立坐标系，以使标注出的各个目标处于坐标系中。

可选的，所述从各个目标中识别出小目标，包括：

计算任意一个目标的第一面积；

计算所述待处理的图片的第二面积；

计算第一面积和第二面积的比值；

根据预设的阈值和所述第二面积，计算面积阈值；

在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

可选的，还包括：

依据黄金分割点，对预设尺寸的图片进行多次分割，得到小目标的参考图片；

计算小目标的参考图片的面积，得到预设的阈值。

可选的，所述基于所述小目标和所述坐标系各个象限的关系，分割出包含小目标的象限，得到增强的小目标图片，包括：

判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。

可选的，所述从各个目标中识别出小目标之后，包括：

获取识别出的小目标在所述待处理的图片中的位置；

根据所述小目标在所述待处理的图片中的位置，确定小目标的标识；

在所述待处理的图片中不存在任何一个小目标处于多个象限的情况下，确定处于同一象限中的小目标的标识；

根据小目标的标识，对所述待处理的图片对应的母图xml标注文档进行处理，得到子图xml标注文档；所述子图xml标注文档中包含处于同一象限的各个目标的xml信息；

根据分割后的小目标图片的属性信息更改所述子图xml标注文档中各个小目标的xml信息。

本发明实施例还公开了一种针对小目标的图片增强装置，包括：

标注单元，用于对待处理的图片中的各个目标进行标注；

坐标系建立单元，用于基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

识别单元，用于从各个目标中识别出小目标；

象限分割单元，用于基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图像中分割出包含小目标的象限，得到增强的小目标图片。

可选的，所述识别单元，包括：

第一计算子单元，用于计算任意一个目标的第一面积；

第二计算子单元，用于计算所述待处理的图片的第二面积；

第三计算子单元，用于计算第一面积和第二面积的比值；

第四计算子单元，用于根据预设的阈值和所述第二面积，计算面积阈值；

小目标确定子单元，用于在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

可选的，还包括：

黄金分割单元，用于依据黄金分割点，对预设尺寸的图片进行多次分割，得到小目标的参考图片；

预设的阈值计算单元，用于计算小目标的参考图片的面积，得到预设的阈值。

可选的，所述象限分割单元，包括：

判断子单元，用于判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

第一分割子单元，用于若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

第二分割子单元，用于若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。

本发明实施例公开了一种针对小目标的图片增强的方法及装置，包括：对待处理的图片中各个目标进行标注后，基于所述待处理的图片建立坐标系，使得标注出的各个目标处于坐标系中，从待处理的图片中识别出各个小目标，并基于小目标和坐标系中各个象限的关系，从待处理的图片中分割出包含小目标的象限，得到增强的小目标图片。这样，增加了训练样本中小目标的比例，可以对小目标进行加强训练，提高了小目标的识别效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例公开的一种针对小目标的图片增强方法的流程示意图；

图2示出了对目标标注的示意图；

图3示出了示出了基于待处理的图片建立的坐标系的示意图；

图4示出了标注后的目标的位置表示示意图；

图5示出了对坐标系的象限进行分割的方法的流程图；

图6示出了在待处理的图像中仅包含一个小目标的情况下，对坐标系进行调整的示意图；

图7示出了在待处理的图像中包含多个小目标的情况下，对坐标系进行调整的示意图；

图8示出了本发明实施例公开的一种针对小目标的图片的增强装置的结构示意图；

图9示出了示出了母图xml标注文档和子图xml标注文档的对照图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例公开的一种针对小目标的图片增强方法的流程示意图，在本实施例中，该方法包括：

S101：对待处理的图片中各个目标进行标注；

本实施例中，待处理的图片可以为获取到的原始图片。但是，为了避免图片中噪声的干扰，待处理的图片也可以是对原始图片进行降噪处理后得到的。

其中，待处理图片中的目标为待识别的物体，对各个目标进行标注是在待处理的图片上标注出需要识别的目标的轮廓。

其中，对待处理的图片中包含的目标进行标注，需要先从待处理的图片中对识别出目标，然后依据目标的轮廓对目标进行标注，具体的S101包括：

从所述待处理的图片中检测出目标；

确定所述目标的轮廓位置，并依据所述目标的轮廓位置对检测出的各个目标进行标注。

其中，对目标的检测可以包括多种方法，本实施例中不进行限定，例如可以通过训练好的机器学习模型对待处理的图片进行处理，从而检测出待识别的目标。其中，机器学习模型是通过标注了目标的图片进行训练后得到的。

举例说明：如图2所示，可以通过矩形框对目标进行标注，尽量使标注的矩形框靠近目标的轮廓。

需要说明的是，从待处理的图片中标注出的目标包括：大目标、中目标和/或小目标。

S102:基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

本实施例中，坐标系的建立，关键是确定出坐标原点，在本实施例中，可以根据待处理图片的尺寸，确定坐标原点，具体的，S102包括：

根据所述待处理图片的尺寸信息，确定坐标系的原点；

基于所述坐标系的原点建立坐标系，以使标注出的各个目标处于坐标系中。

其中，待处理图片的尺寸信息包括：图片的宽度、高度和深度等。

在建立了坐标系后，在坐标系中还原出待处理图片中的各个目标，例如图3所示。

在建立了坐标系后，还可以获取标注出的各个目标的位置，具体的，若目标是通过矩形框标注出的，各个目标的位置表示为矩形框的位置坐标。

举例说明：如图4所示，各个矩形框的位置例如可以通过矩形框左下方的边缘点和右上方的边缘点表示，如图4中的，(x_max，y_max)和(x_min，y_min)。

S103：从各个目标中识别出小目标；

本实施例中，对于小目标的识别，一个非常大的难点是对小目标的定义，本申请的发明人经过多次验证，对目标进行多次黄金分割后，得到小目标的参考图片，将该小目标的参考图片的面积作为划分小目标的阈值。其中，发明人的验证过程包括：

依据黄金分割点对预设尺寸的图片进行分割，得到图片的长边和短边；

计算以长边为边长的正方形的第三面积；

对预设尺寸的待识别图片中小于第三面积的目标进行识别，计算识别精度；

判断识别精度是否小于预设的阈值；

若所述识别精度不小于预设的阈值，对以短边为边长的正方形图片进行黄金分割，得到图片的长边和短边，并返回执行所述计算以长边为边长的正方形的第三面积；

在识别精度小于预设的阈值时，将当前分割后得到的以长边为边长的图片作为小目标图片，并将该小目标图片的面积作为预设阈值。

其中，假设预设的图片的长和宽均为n，在进行第一次黄金分割后，第一边长为0.618n，第二边长为(1-0.618)n；在进行第二次黄金分割时，对(1-0.618) n为边的正方形进行黄金分割。

举例说明：假设对预设的目标进行三次黄金分割，其中预设的目标长与宽均为1，则约定俗成，大目标长/宽为第一次黄金分割点0.618，其面积为 0.618×0.618＝0.38；那么对于中目标，其长/宽为第二黄金分割点，即 (1-0.618)×0.618＝0.38，面积为0.0557；同理，小目标的长/宽为第三次黄金分割(1-0.618)∧2×0.618＝0.0902，面积为0.0081，大约为0.8％。

其中，可以根据上述定义出的小目标的面积作为面积阈值对小目标进行识别，若目标的面积小于预设的面积阈值，则该目标为小目标；若目标的面积大于预设的面积阈值，则该目标不是小目标。具体的，S103:，包括：

计算任意一个目标的第一面积；

计算所述待处理的图片的第二面积；

计算第一面积和第二面积的比值；

根据预设的阈值和所述第二面积，计算面积阈值；

在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

其中，面积阈值的计算，可以根据计算预设阈值采用的预设尺寸的图片的面积与待处理图片的面积的比例关系，确定面积阈值。

举例说明：假设预设的阈值是通过长和宽均为单位1的尺寸的图片计算得到的，则面积阈值为，预设阈值与第二面积的成积，计算图4中objectA的第一面积，S_object＝(x_max-x_min)(y_ma-xy_min)，待处理图片的第二面积为： S_img＝width×height；计算S_object和S_img的比值，若比值小于预设的阈值，则目标为小目标。

S104：基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图片中分割出包含小目标的象限，得到增强的小目标图片；

本实施例中，对待处理的图片进行分割，是通过对坐标系的象限进行分割后得到的，但是，由于小目标与坐标系中的象限会存在交叉的现象，分割出来的图片中小目标是不完整的，为了得到完整的小目标，可以对坐标系进行调整，从而使各个小目标均位于同一个象限中，具体的，参考图5包括：

S501:判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

S502:若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

S503:若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。

举例说明：对于小目标位于多个象限的情况可以包括如下的几种：

一、如图6所示，若所述待处理的图片中仅包含一个小目标，并且该小目标与两个象限交叉，对坐标系调整的规则为：确定小目标的重心所属的象限，对坐标系进行调整，使小目标的边缘完全处于小目标的重心所属的象限。

二、如图7所示，若包含多个小目标，并且该多个小目标与多个象限交叉，调整规则为：对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况。

其中，对坐标系的调整方向不进行限定，例如可以对坐标系不断向左、向下调整；或者对坐标系不断向上、向右调整。

本实施例中，在得到了小目标图片分割的过程中，生成小目标图片的xml 标注文档，具体的，采用母图xml对照法，得到小目标图像的xml标注文档。这样可以将对图像增强得到的小目标图片和对应的xml标注文档，用于模型训练中。

具体的，小目标图片的xml标注文档的获取过程包括：

获取识别出的小目标在所述待处理的图片中的位置；

根据所述小目标在所述待处理的图片中的位置，确定小目标的标识；

在所述待处理的图片中不存在任何一个小目标处于多个象限的情况下，确定处于同一象限中的小目标的标识；

根据小目标的标识，对所述待处理的图片对应的母图xml标注文档进行处理，得到子图xml标注文档；所述子图xml标注文档中包含处于同一象限的各个目标的xml信息；

根据分割后的小目标图片的属性信息更改所述子图xml标注文档中各个小目标的xml信息。

本实施例中，xml标注文档可以为后续的增强学习提供标准、规范格式的数据输入。本实施例中得到的子图xml标注文档的格式与母图xml标注文档的格式一致。但是，由于分割后的小目标图片的属性信息发生了变化，子图xml 标注文档中的一些xml信息也要进行相应的修改。其中，属性信息可以包括：图片的尺寸信息(例如图片的宽度、高度和深度等)、坐标信息等。其中，分割得到的小目标图像中包含至少一个小目标，则对应的子图xml标注文档也包含至少一个目标的xml信息。

其中，生成小目标图像的子图xml标注文档可以包括如下的两种实施方式：

实施方式一：在进行小目标图片的分割过程中，不断的更改母图xml图像中的xml信息，在分割出了小目标图像后，得到小目标图像的子图xml图像。

实施方式二：在分割出小目标图片后，根据母图对照法批量化的生成各个小目标图片的子图xml标注文档。

举例说明：如图9所示，示出了母图xml标注文档和子图xml标注文档的对照图，其中，<name>表示目标的名称，即目标的标识。

经过测试，采用母图对照法生成小目标xml文档，不仅速度快，而且文档质量能够得到有效的保证，结合文档命名规则，可以轻易维护母图与子图xml 的映射关系，实现小目标图片来源的有效追溯。

本发明实施例公开了一种小目标图片增强的方法，包括：对待处理的图片中各个目标进行标注后，基于所述待处理的图片建立坐标系，使得标注出的各个目标处于坐标系中，从待处理的图片中识别出各个小目标，并基于小目标和坐标系中各个象限的关系，分割出包含小目标的象限，得到增强的小目标图片。这样，增加了训练样本中小目标的比例，可以对小目标进行加强训练，提高了小目标的识别效果。

参考图8，示出了本发明实施例公开的一种针对小目标的图片增强装置的结构示意图，在本实施例中，该装置包括：

标注单元801，用于对待处理的图片中的各个目标进行标注；

坐标系建立单元802，用于基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

识别单元803，用于从各个目标中识别出小目标；

象限分割单元804，用于基于所述小目标和所述坐标系各个象限的关系，从待处理的图片中分割出包含小目标的象限，得到增强的小目标图片。

可选的，所述识别单元，包括：

第一计算子单元，用于计算任意一个目标的第一面积；

第二计算子单元，用于计算所述待处理的图片的第二面积；

第三计算子单元，用于计算第一面积和第二面积的比值；

第四计算子单元，用于根据预设的阈值和所述第二面积，计算面积阈值；

小目标确定子单元，用于在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

可选的，还包括：

黄金分割单元，用于依据黄金分割点，对预设尺寸的图片进行多次分割，得到小目标的参考图片；

预设的阈值计算单元，用于计算小目标的参考图片的面积，得到预设的阈值。

可选的，所述象限分割单元，包括：

判断子单元，用于判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

第一分割子单元，用于若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

第二分割子单元，用于若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种针对小目标的图片增强方法，其特征在于，包括：

对待处理的图片中的各个目标进行标注；

基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

从各个目标中识别出小目标；

基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图片中分割出包含小目标的象限，得到增强的小目标图片。

2.根据权利要求1所述的方法，其特征在于，所述对待处理的图片中各个目标进行标注，包括:

从所述待处理的图片中检测目标；

确定所述目标的轮廓位置，并依据所述目标的轮廓位置对检测出的各个目标进行标注。

3.根据权利要求1所述的方法，其特征在于，所述基于所述原始图片建立坐标系，以使标注出的各个目标处于坐标系中，包括：

根据所述待处理的图片的尺寸信息，确定坐标系的原点；

基于所述坐标系的原点建立坐标系，以使标注出的各个目标处于坐标系中。

4.根据权利要求1所述的方法，其特征在于，所述从各个目标中识别出小目标，包括：

计算任意一个目标的第一面积；

计算所述待处理的图片的第二面积；

计算第一面积和第二面积的比值；

根据预设的阈值和所述第二面积，计算面积阈值；

在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

5.根据权利要求4所述的方法，其特征在于，还包括：

依据黄金分割点，对预设尺寸的图片进行多次分割，得到小目标的参考图片；

计算小目标的参考图片的面积，得到预设的阈值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图片中分割出包含小目标的象限，得到增强的小目标图片，包括：

判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。

7.根据权利要求1所述的方法，其特征在于，所述从各个目标中识别出小目标之后，包括：

获取识别出的小目标在所述待处理的图片中的位置；

根据所述小目标在所述待处理的图片中的位置，确定小目标的标识；

在所述待处理的图片中不存在任何一个小目标处于多个象限的情况下，确定处于同一象限中的小目标的标识；

根据小目标的标识，对所述待处理的图片对应的母图xml标注文档进行处理，得到子图xml标注文档；所述子图xml标注文档中包含处于同一象限的各个目标的xml信息；

根据分割后的小目标图片的属性信息更改所述子图xml标注文档中各个小目标的xml信息。

8.一种针对小目标的图片增强装置，其特征在于，包括：

标注单元，用于对待处理的图片中的各个目标进行标注；

坐标系建立单元，用于基于所述待处理的图片建立坐标系，以使标注出的各个目标处于坐标系中；

识别单元，用于从各个目标中识别出小目标；

象限分割单元，用于基于所述小目标和所述坐标系各个象限的关系，从所述待处理的图片中分割出包含小目标的象限，得到增强的小目标图片。

9.根据权利要求8所述的装置，其特征在于，所述识别单元，包括：

第一计算子单元，用于计算任意一个目标的第一面积；

第二计算子单元，用于计算所述待处理的图片的第二面积；

第三计算子单元，用于计算第一面积和第二面积的比值；

第四计算子单元，用于根据预设的阈值和所述第二面积，计算面积阈值；

小目标确定子单元，用于在所述第一面积和第二面积的比值小于所述面积阈值的情况下，所述目标为小目标。

10.根据权利要求1所述的装置，其特征在于，所述象限分割单元，包括：

判断子单元，用于判断所述待处理的图片中是否存在任何一个小目标位于多个象限的情况；

第一分割子单元，用于若所述待处理的图片中不存在任何一个小目标位于多个象限的情况，从所述待处理的图片中分割出包含小目标的象限；

第二分割子单元，用于若所述待处理的图片中存在小目标位于多个象限的情况，对所述坐标系进行调整，使所述待处理图片中不存在任何一个小目标位于多个象限的情况，并从所述待处理的图片中分割出包含小目标的象限。