CN117523345B - 一种目标检测数据平衡方法及装置 - Google Patents
一种目标检测数据平衡方法及装置 Download PDFInfo
- Publication number
- CN117523345B CN117523345B CN202410024623.6A CN202410024623A CN117523345B CN 117523345 B CN117523345 B CN 117523345B CN 202410024623 A CN202410024623 A CN 202410024623A CN 117523345 B CN117523345 B CN 117523345B
- Authority
- CN
- China
- Prior art keywords
- target
- initial image
- amplified
- image
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003321 amplification Effects 0.000 claims abstract description 73
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 73
- 238000002372 labelling Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 48
- 230000003416 augmentation Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 84
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标检测数据平衡方法及装置，包括：对目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和每个初始图像的目标空间分布指数；根据原始标注信息对初始图像进行数据局部扩增，得到局部扩增图像，根据预设个数局部扩增图像对预设背景‑类别关联模型进行训练，得到目标背景‑类别关联模型；根据目标背景‑类别关联模型、类别扩充比率、尺度比例规则和目标空间分布指数对目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。本发明设置了背景‑类别关联模型、类别扩充比率、尺度比例规则和目标空间分布指数，得到处于平衡状态下的平衡目标检测数据集，解决了目标检测数据的数据失衡的技术问题。
Description
技术领域
本发明涉及图像数据检测技术领域，具体涉及一种目标检测数据平衡方法及装置。
背景技术
目标检测是计算机视觉领域的核心任务之一，其旨在图像中定位和分类出感兴趣的物体。目标的定位和分类一部分关注于目标本身的特征信息，一部分取决于环境的上下文信息，恰当的上下文信息能帮助模型快速拟合。同时在众多的目标检测数据集中，数据失衡是一个核心问题，其可按照失衡引起的原因分为类别失衡、尺度失衡和空间失衡。
类别失衡，现有的目标检测数据集由于采集环境及人工标记的差异，普遍存在不同类别的样本数量分布不均衡的问题，这可能导致模型在少数类别上表现不佳，因为它没有足够的样本来学习这些类别的特征。
尺度失衡，指数据集中的目标物体在大小上有很大的差异。这种不均匀的尺度分布可能会导致目标检测模型在处理不同尺寸的目标时出现问题。模型可能更容易检测大目标而忽略小目标，或者在处理小目标时可能出现错检或漏检。
空间失衡，目标检测数据集中，不同区域内目标物体的分布不均匀。具体来说，一些区域可能包含更多目标，而其他区域可能几乎没有或没有目标出现。这种失衡可能会导致目标检测模型在训练中对某些区域过度拟合，而对其他区域拟合不足。
因此，急需提出一种目标检测数据平衡方法及装置，解决现有技术中目标检测数据集中的数据存在类别失衡、尺度失衡和空间失衡的问题，导致对图像进行检测时效果不好的技术问题。
发明内容
有鉴于此，有必要提供一种目标检测数据平衡方法及装置，用以解决现有技术中目标检测数据集中的数据存在类别失衡、尺度失衡和空间失衡的问题，导致对图像进行检测时效果不好的技术问题。
一方面，本发明提供了一种目标检测数据平衡方法，包括：
获取目标检测数据集；所述目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数；所述目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。
在一些可能的实现方式中，所述对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数，包括：
对所述目标检测数据集进行分析，得到所有实例的类别分布情况，并根据所述类别分布情况中各类别的实例数量之间的差距，确定扩充概率，进而根据所述扩充概率，确定类别扩充比率；
对所述目标检测数据集中的所有原始标注信息进行尺度分析，得到尺度分布情况，并根据所述尺度分布情况，确定尺度比例规则；
根据所述每个初始图像对应的所述原始标注信息，确定填充掩膜图，并对所述填充掩膜图进行分析，得到所述每个初始图像对应的目标空间分布指数。
在一些可能的实现方式中，所述对所述填充掩膜图进行分析，得到所述每个初始图像对应的目标空间分布指数，包括：
对所述每个初始图像的所述填充掩膜图进行划分，得到预设个数栅格组成的栅格区域；
对所述栅格区域中的每个栅格进行密集度计算，得到目标密集度；
根据所述目标密集度，确定所述每个栅格对应的区域类型，并根据所述栅格区域中所述预设个数栅格的所有区域类型，确定所述初始图像的目标空间分布指数。
在一些可能的实现方式中，所述根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，包括：
对所述每个初始图像的所述填充掩膜图中的所有实例进行实例筛选，得到非重叠的待增广目标实例，并对所述每个初始图像中包含背景信息的待增广目标实例进行获取，从而得到所述每个初始图像对应的标注信息集合；所述标注信息集合包括所有待增广目标实例以及对应的所述原始标注信息；
对所述标注信息集合中的所述所有待增广目标实例进行空间姿态变换，并对应调整所述标注信息集合中每个待增广目标实例对应的原始标注信息，得到所述每个初始图像对应的变换标注信息集合；
根据所述每个初始图像的所述变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到所述每个初始图像对应的局部扩增图像。
在一些可能的实现方式中，所述根据所述每个初始图像的所述变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到所述每个初始图像对应的局部扩增图像，包括：
根据所述每个初始图像的所述变换标注信息集合，确定所述所有待增广目标实例中的第一待增广目标实例，并根据所述第一待增广目标实例的尺寸，确定对应的初始图像中的预设个数放置位置；放置位置处于空白背景处；
分别对所述第一待增广目标实例与每个放置位置进行计算，得到所述每个放置位置对应的相似度；
根据所有相似度，确定最大相似度，并根据所述第一待增广目标实例和调整后的所述原始标注信息对所述最大相似度对应的放置位置进行填充，得到新目标实例；
根据所述新目标实例对所述变换标注信息集合中的所述原始标注信息进行更新，并对所述填充掩膜图相同的区域进行掩膜填充，得到所述每个初始图像对应的新初始图像；
根据所述新初始图像，得到所述每个初始图像对应的局部扩增图像。
在一些可能的实现方式中，所述根据所述新初始图像，得到所述每个初始图像对应的局部扩增图像，包括：
判断所述变换标注信息集合中是否存在待增广变换目标实例；
若是，则将所述新初始图像替换为初始图像，从所述变换标注信息集合中确定第二待增广目标实例，根据所述第二待增广目标实例，对所述初始图像进行数据局部扩增；
若否，则将所述新初始图像确定为局部扩增图像，当所述每个初始图像进行数据局部扩增完成时，得到所述每个初始图像对应的局部扩增图像。
在一些可能的实现方式中，所述根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型，包括：
根据所述每个初始图像的所述每个待增广目标实例的所述预设个数放置位置的背景图像，得到所述每个初始图像对应的扩充背景图像；
根据所述预设个数初始图像的所有扩充背景图像，得到背景-目标图像数据集，并对所述背景-目标图像数据集进行划分，得到训练集和测试集；
根据所述训练集和所述测试集对所述预设背景-类别关联模型进行训练，得到目标背景-类别关联模型。
在一些可能的实现方式中，所述根据所述每个初始图像的所述每个待增广目标实例的所述预设个数放置位置的背景图像，得到所述每个初始图像对应的扩充背景图像，包括：
对所述每个初始图像的所述每个待增广目标实例的所述预设个数放置位置的背景图像进行分割，得到所述每个待增广目标实例对应的预设个数背景图像；
根据所述每个待增广目标实例的调整后的所述原始标注信息中的类别信息对所述预设个数背景图像进行保存，得到所述每个待增广目标实例对应的类别背景图像；
根据所述所有待增广目标实例的所有类别背景图像中每个类别的图像数量对所述所有类别背景图像进行翻转扩充，得到所述每个初始图像对应的扩充背景图像。
在一些可能的实现方式中，所述根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集，包括：
根据所述目标检测数据集中所述每个初始图像的原始标注信息，得到适合拷贝扩充的预设个数目标实例；
根据所述类别扩充比率和所述尺度比例规则对所述预设个数目标实例的类别和尺度比例进行控制，得到预设个数控制目标实例，并将所述目标空间分布指数小于预设阈值的初始图像确定为待扩充初始图像，从而得到预设个数待扩充初始图像；
根据所述每个待扩充初始图像缺失的尺度比例，得到所述每个待扩充初始图像中不与所述预设个数控制目标实例重叠的背景区域集合；
根据所述目标空间分布指数，确定所述背景区域集合中的预设个数待扩充区域；
根据所述目标背景-类别关联模型对所述预设个数待扩充区域进行数据全局扩增，得到所述每个待扩充初始图像扩增后的扩增图像；
判断所述扩增图像的目标空间分布指数是否大于预期平衡阈值；
若否，则对所述扩增图像对应的待扩充初始图像继续进行数据全局扩增；
若是，则根据所述预设个数待扩充初始图像中大于所述预期平衡阈值的扩增图像，得到处于平衡状态下的平衡目标检测数据集。
另一方面，本发明还提供了一种目标检测数据平衡装置，包括：
数据获取模块，用于获取目标检测数据集；所述目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
数据分析模块，用于对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数；所述目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
图像扩增模块，用于根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
图像平衡模块，用于根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。
采用上述实施例的有益效果是：本发明提供的目标检测数据平衡方法，设置了背景-类别关联模型，通过初始图像的原始标注信息对初始图像进行数据局部扩增，从而得到局部扩增图像，进而可以通过局部扩增图像对背景-类别关联模型进行训练，从而可以使背景-类别关联模型在进行区域嵌入时，不会出现过度拟合或拟合不足的情况。进一步的，通过对目标检测数据集进行分析，设置了类别扩充比率、尺度比例规则和每个初始图像对应的目标空间分布指数，进而可以根据目标空间分布指数对不平衡的初始图像进行处理，还可以对不平衡的初始图像根据类别扩充比率、尺度比例规则进行数据全局扩增，得到处于空间平衡的初始图像，进而得到平衡目标检测数据集，从而根据平衡目标检测数据集对图像进行检测时，提高了检测的效果，解决了目标检测数据的数据失衡的技术问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的目标检测数据平衡方法的一个实施例流程示意图；
图2为本发明提供的数据局部扩增的一个实施例结构示意图；
图3为本发明图1中步骤S104的一个实施例流程示意图；
图4为本发明提供的尺度分布调整对比的一个实施例结构示意图；
图5为本发明提供的目标检测数据平衡装置的一个实施例结构示意图；
图6为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器***和/或微控制器***中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
本发明实施例提供了一种目标检测数据平衡方法及装置，以下分别进行说明。
图1为本发明提供的目标检测数据平衡方法的一个实施例流程示意图，如图1所示，目标检测数据平衡方法包括：
S101、获取目标检测数据集；目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
S102、对目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和每个初始图像对应的目标空间分布指数；目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
S103、根据原始标注信息对预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
S104、根据目标背景-类别关联模型、类别扩充比率、尺度比例规则和目标空间分布指数对目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。
与现有技术相比，本发明实施例提供的目标检测数据平衡方法，设置了背景-类别关联模型，通过初始图像的原始标注信息对初始图像进行数据局部扩增，从而得到局部扩增图像，进而可以通过局部扩增图像对背景-类别关联模型进行训练，从而可以使背景-类别关联模型在进行区域嵌入时，不会出现过度拟合或拟合不足的情况。进一步的，通过对目标检测数据集进行分析，设置了类别扩充比率、尺度比例规则和每个初始图像对应的目标空间分布指数，进而可以根据目标空间分布指数对不平衡的初始图像进行处理，还可以对不平衡的初始图像根据类别扩充比率、尺度比例规则进行数据全局扩增，得到处于空间平衡的初始图像，进而得到平衡目标检测数据集，从而根据平衡目标检测数据集对图像进行检测时，提高了检测的效果，解决了目标检测数据的数据失衡的技术问题。
在本发明的具体实施例中，目标检测数据集可以为Voc2007+12，可以分为训练集和测试集两部分，比如，训练集15412张图像，测试集1713张图像，后续步骤中使用的目标检测数据集均为训练集。目标检测数据集可以包括图像和图像对应的原始标注信息，原始标注信息是对图像进行标注得到的信息。
针对目标检测数据集单一初始图像中同类别目标视觉上下文背景相似的情况，提出细粒度背景嵌合方案，设计数据局部扩增方法（Data Local Augmentation，DLA），使得单张图片中相似的背景属于同一视觉上下文环境。对目标检测数据集，在单个图像中根据原始标注信息，重构拷贝与标注目标背景相似的区域，其中对原始目标的空间重构包括翻转、旋转和缩放等基础图像处理方式。
针对目标检测数据集多张初始图像间同类别目标视觉上下文信息不齐的情况，提出粗粒度对齐目标增强方案，设计背景-类别关联模型（Background-to-CategoryPredictor，BCP），实现从输入的背景图像中推断出与其相关联的目标类别，有效提升视觉场景分析的精度与可理解性。背景-类别关联模型（BCP）以ResNet-18为特征提取网络，使用全连接层（Liner）预测出背景中各类别存在的概率。
为训练BCP模型，构建背景-目标图像数据集（Background-to-Category Dataset，BCD），该BCD数据集利用数据局部扩增方法（DLA）裁剪背景相似区域，并标记为对应目标类别进行构建，同时应用旋转、翻转等多种图像增强方案提高背景-目标图像数据集（BCD）的质量。
设计数据全局扩增方法（Data Global Augmentation，DGA），该方法首先在初始图像中按照设定的尺度大小提取随机的背景图像；其次利用背景-类别关联模型（BCP）获取背景对应的类别关联；最后针对相应的背景和类别，在全体目标实例中选取目标图像拷贝到背景中。
在本发明的一些实施例中，步骤S102包括：
对目标检测数据集进行分析，得到所有实例的类别分布情况，并根据类别分布情况中各类别的实例数量之间的差距，确定扩充概率，进而根据扩充概率，确定类别扩充比率；
对目标检测数据集中的所有原始标注信息进行尺度分析，得到尺度分布情况，并根据尺度分布情况，确定尺度比例规则；
根据每个初始图像对应的原始标注信息，确定填充掩膜图，并对填充掩膜图进行分析，得到每个初始图像对应的目标空间分布指数。
在本发明的具体实施例中，对目标检测数据集进行综合分析之后，可以得到目标检测数据集中的类别分布情况、尺度分布情况和空间分布情况，从而可以通过获取目标检测数据集的类别分布情况，将目标检测数据集中各类别的实例数量之间的差距抽象为扩充概率，从而得到类别扩充比率，进而设计类别扩充比率，类别扩充比率（CER）如公式（1）所示：
（1）
式中，num为目标检测数据集中各类别对应的实例数量，i为第i个类别。
尺度分布情况是按照尺度分类标准对目标检测数据集中所有初始图像的所有原始标注信息进行统计得到的，进而可以根据尺度分布情况制定尺度比例规则，具体尺度分类标准可以根据实际情况进行设置，本发明实施例在此不加以限制，尺度比例（scale）如公式（2）所示：
（2）
式中，w、h分别为原始标注信息中初始图像的宽和高。
尺度比例规则（SRR）如公式（3）所示：
（3）
为评估初始图像中目标空间分布的失衡程度和DGA（Data GlobalAugmentation，全局增强方法）方案中空间平衡的效果，依据目标实例存在性原理和填充掩膜图Maski，设计目标空间分布指数（TSD），该指数在0-1范围，越接近于0证明图像空间分布失衡越严重。其中，可以根据原始标注信息生成目标检测数据集中每个初始图像的填充掩膜图Mask i。
在本发明的一些实施例中，对填充掩膜图进行分析，得到每个初始图像对应的目标空间分布指数，包括：
对每个初始图像的填充掩膜图进行划分，得到预设个数栅格组成的栅格区域；
对栅格区域中的每个栅格进行密集度计算，得到目标密集度；
根据目标密集度，确定每个栅格对应的区域类型，并根据栅格区域中预设个数栅格的所有区域类型，确定初始图像的目标空间分布指数。
在本发明的具体实施例中，首先将填充掩膜图Maski划分出指定数量的栅格（Grid xy），得到预设个数栅格组成的栅格区域，然后，通过遍历填充掩膜图Maski的栅格区域，在每个栅格Grid xy内计算目标密集度。栅格的数量可以按照目标数据集的目标实例长宽平均占比控制，具体的本发明实施例在此不加以限制。每个栅格Grid xy内计算目标密集度的计算如公式（4）所示：
（4）
目标密集度是通过统计在栅格内元素值为1的数量来衡量的，如果这个数量超过了设定的密集度阈值（threshold），则认为该栅格区域是密集区域，具体的密集度阈值（threshold）可以根据实际情况进行设置，本发明实施例在此不加以限制。密集区域存在性如公式（5）所示：
（5）
在遍历完所有栅格Grid xy后，统计全部密集区域的数量，并根据每个栅格Grid xy的大小和数量来计算整体的空间分布情况。这个过程用于评估图像中目标的分布情况，以确定空间失衡的程度。
目标空间分布指数（TSD）计算如公式（6）所示：
（6）
式中，m、n分别为栅格行和列的数量。
在本发明的一些实施例中，步骤S103包括：
对每个初始图像的填充掩膜图中的所有实例进行实例筛选，得到非重叠的待增广目标实例，并对每个初始图像中包含背景信息的待增广目标实例进行获取，从而得到每个初始图像对应的标注信息集合；标注信息集合包括所有待增广目标实例以及对应的原始标注信息；
对标注信息集合中的所有待增广目标实例进行空间姿态变换，并对应调整标注信息集合中每个待增广目标实例对应的原始标注信息，得到每个初始图像对应的变换标注信息集合；
根据每个初始图像的变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到每个初始图像对应的局部扩增图像。
在本发明的具体实施例中，对每个初始图像的填充掩膜图中的所有实例进行实例筛选，得到非重叠的待增广目标实例，并依次获取每个初始图像中的包含背景信息的待增广目标实例及标注信息集合为O i{T,B}。标注信息集合中可以包括所有待增广目标实例T i以及对应的原始标注信息B i，对O i中的所有待增广目标实例进行空间姿态变换（翻转，缩放）并调整标注信息集合中对应的原始标注信息，得到每个初始图像对应的变换标注信息集合为，以达到扩增有效目标的数量和丰富可选背景的目的。
在本发明的一些实施例中，如图2所示，根据每个初始图像的变换标注信息集合中的每个待增广变换目标实例对初始图像进行填充，得到每个初始图像对应的局部扩增图像，包括：
S201、根据每个初始图像的变换标注信息集合，确定所有待增广目标实例中的第一待增广目标实例，并根据第一待增广目标实例的尺寸，确定对应的初始图像中的预设个数放置位置；放置位置处于空白背景处；
S202、分别对第一待增广目标实例与每个放置位置进行计算，得到每个放置位置对应的相似度；
S203、根据所有相似度，确定最大相似度，并根据第一待增广目标实例和调整后的原始标注信息对最大相似度对应的放置位置进行填充，得到新目标实例；
S204、根据新目标实例对变换标注信息集合中的原始标注信息进行更新，并对填充掩膜图相同的区域进行掩膜填充，得到每个初始图像对应的新初始图像；
S205、根据新初始图像，得到每个初始图像对应的局部扩增图像。
在本发明的具体实施例中，得到每个初始图像对应的局部扩增图像的过程是一样的，以得到一张初始图像的局部扩增图像的过程为例，可以遍历初始图像的变换标注信息集合，从变换标注信息集合/>获得对应第一待增广目标实例的T j和B j，在初始图像中按照第一待增广目标实例T j的尺寸寻找合适的放置位置，放置位置可以为多个。按第一待增广目标实例T j的长宽遍历初始图像，跳过填充掩膜图Mask i对应位置中出现已填充目标的区域，只保留空白背景C k，即预设个数放置位置，保证增广目标与原始目标不重叠。
为最大程度地保持第一待增广目标实例T j与放置位置细粒度背景信息的相似性，通过相似度计算算法进行T j和C k的嵌合度评估。先提取T j和C k的***一定比例的背景图像（I T ,I C）和背景直方图信息（H T ,H C），该算法综合考量目标实例周围背景的像素差距、直方图差别和结构性变化。像素差距如公式（7）所示：
（7）
直方图差别公式为：
（8）
结构性变化公式为：
（9）
式中，表示初始图像的亮度均值，/>表示初始图像的亮度标准差，/>表示初始图像之间的亮度协方差。/>是常数，用于避免分母为零的情况，通常设置为非常小的正数。
相似度计算公式如下：
（10）
式中，为得分权重，可以分别设置为0.7，0.2，0.1。
还可以对初始图像中所有背景图像的所有相似度进行排序，确定最大相似度的背景图像，选择最大相似度的背景图像，在初始图像中对背景图像对应的指定放置位置按照信息进行拷贝填充，得到新目标实例，在变换标注信息集合的初始图像中的原始标注信息进行更新，同时将填充掩膜图Mask i相同的区域进行掩膜填充，得到每个初始图像对应的新初始图像。
在本发明的一些实施例中，根据新初始图像，得到每个初始图像对应的局部扩增图像，包括：
判断变换标注信息集合中是否存在待增广变换目标实例；
若是，则将新初始图像替换为初始图像，从变换标注信息集合中确定第二待增广目标实例，根据第二待增广目标实例，对初始图像进行数据局部扩增；
若否，则将新初始图像确定为局部扩增图像，当每个初始图像进行数据局部扩增完成时，得到每个初始图像对应的局部扩增图像。
在本发明的具体实施例中，可以判断变换标注信息集合中是否存在待增广变换目标实例，如果存在，则可以将新初始图像替换为初始图像，然后从变换标注信息集合中确定第二待增广目标实例，根据第二待增广目标实例，对初始图像进行数据局部扩增，过程与第一待增广目标实例的步骤一致，从而实现步骤S201-S205的循环，当变换标注信息集合中不存在待增广变换目标实例时，表示循环结束，将新初始图像确定为局部扩增图像，当变换标注信息集合中的所有初始图像进行数据局部扩增完成时，则可以得到每个初始图像对应的局部扩增图像。
在本发明的一些实施例中，步骤S103包括：
根据每个初始图像的每个待增广目标实例的预设个数放置位置的背景图像，得到每个初始图像对应的扩充背景图像；
根据预设个数初始图像的所有扩充背景图像，得到背景-目标图像数据集，并对背景-目标图像数据集进行划分，得到训练集和测试集；
根据训练集和测试集对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型。
在本发明的具体实施例中，根据数据局部扩增方法（DLA）中获得的空白背景C，建立背景-目标图像数据集（BCD）并设计背景-类别关联模型（BCP）来建立背景和类别的关联性。
在本发明的一些实施例中，根据每个初始图像的每个待增广目标实例的预设个数放置位置的背景图像，得到每个初始图像对应的扩充背景图像，包括：
对每个初始图像的每个待增广目标实例的预设个数放置位置的背景图像进行分割，得到每个待增广目标实例对应的预设个数背景图像；
根据每个待增广目标实例的调整后的原始标注信息中的类别信息对预设个数背景图像进行保存，得到每个待增广目标实例对应的类别背景图像；
根据所有待增广目标实例的所有类别背景图像中每个类别的图像数量对所有类别背景图像进行翻转扩充，得到每个初始图像对应的扩充背景图像。
在本发明的具体实施例中，对每个初始图像的每个待增广目标实例的预设个数放置位置的背景图像（空白背景）进行分割，得到每个待增广目标实例对应的预设个数背景图像，并根据第一待增广目标实例的B j中的类别信息将预设个数背景图像按“{class}-{index}.jpg”进行保存，得到每个第一待增广目标实例对应的类别背景图像；因为所有待增广目标实例的所有类别背景图像中每个类别的数量不均等，可以采用翻转和旋转等扩充操作进行平衡，对不同数量的图像类别采用等级不同的数据增强手段，具体操作内容包括翻转[水平，垂直，水平垂直]（flip[1,0,-1]），旋转[右转90°，左转90°，180°]（angle[90，-90，180]），从而得到每个初始图像扩充之后对应的扩充背景图像。
进一步的，可以将预设个数初始图像的所有扩充背景图像保存至数据集中，得到背景-目标图像数据集（BCD），比如，背景-目标图像数据集（BCD）为扩增的数据集，可以包含14903张图像，20个类别，可以将背景-目标图像数据集（BCD）按8:2的比例划分训练集和测试集，具体的划分比例可以根据实际情况进行设置，本发明实施例在此不加以限制。
进一步的，可以以ResNet-18作为背景-类别关联模型（BCP）的特征提取网络，使用全连接层来对提取的特征进行类别预测，并使用Softmax将预测结果回归到0-1的概率上。模型训练使用交叉熵损失（Cross-Entropy Loss）计算模型输出与真实标签的差距，可以通过训练集和测试集对模型进行训练，并使用随机梯度下降（SGD）对模型进行调整，得到目标背景-类别关联模型。
在本发明的一些实施例中，如图3所示，步骤S104包括：
S301、根据目标检测数据集中每个初始图像的原始标注信息，得到适合拷贝扩充的预设个数目标实例；
S302、根据类别扩充比率和尺度比例规则对预设个数目标实例的类别和尺度比例进行控制，得到预设个数控制目标实例，并将目标空间分布指数小于预设阈值的初始图像确定为待扩充初始图像，从而得到预设个数待扩充初始图像；
S303、根据每个待扩充初始图像缺失的尺度比例，得到每个待扩充初始图像中不与预设个数控制目标实例重叠的背景区域集合；
S304、根据目标空间分布指数，确定背景区域集合中的预设个数待扩充区域；
S305、根据目标背景-类别关联模型对预设个数待扩充区域进行数据全局扩增，得到每个待扩充初始图像扩增后的扩增图像；
S306、判断扩增图像的目标空间分布指数是否大于预期平衡阈值；
S307、若否，则对扩增图像对应的待扩充初始图像继续进行数据全局扩增；
S308、若是，则根据预设个数待扩充初始图像中大于预期平衡阈值的扩增图像，得到处于平衡状态下的平衡目标检测数据集。
在本发明的具体实施例中，可以根据目标检测数据集中每个初始图像的原始标注信息，应用非重叠原则和尺度比例划分，提取出大量适合拷贝扩充的目标实例，可以构成实例池，这些实例都包含各自外面20%的原始背景信息，用于拷贝时保持细粒度背景信息的不变性。同时生成填充掩膜Mask i用于目标空间分布指数计算。其中，生成填充掩膜Mask i和目标空间分布指数的计算过程与上述步骤S102中的过程一致，本发明实施例在此不进行重复说明。
还可以根据类别扩充比率和尺度比例规则，控制拷贝实例类别和尺度的比例，得到预设个数控制目标实例，可以通过计算Mask i的目标空间分布指数TSD来确定预设个数初始图像中需要进行扩充的预设个数待扩充初始图像，可以将目标空间分布指数TSD小于预设阈值的初始图像确定为待扩充初始图像，具体的预设阈值可以根据实际情况进行设置，本发明实施例在此不加以限制。如果没有需要扩充的初始图像，则流程结束，如果有需要扩充的初始图像，则根据初始图像的原始标注信息，确定每个待扩充初始图像缺失的尺度比例，进而可以生成不与现有目标实例重叠的背景区域集合Region，从而可以根据目标空间分布指数过程获取哪些区域是需要被扩充的，比如，目标空间分布指数小于1的区域是需要被扩充的。进而可以确定背景区域集合中的预设个数待扩充区域，根据目标背景-类别关联模型（BCP）对预设个数待扩充区域进行数据全局扩增，具体为，可以将使用背景-类别关联模型（BCP）获取类别预测信息，并选择超过阈值的高得分类别作为该背景的关联类，保证粗粒度视觉上下文的正确性。
预测过程公式为：
（11）
式中，argmax()为求最大值下标的函数。
根据关联类在实例池中选择对应类别的多尺度目标实例进行拷贝。随机从预设个数控制目标实例中选取一个实例缩放到背景图像的大小，保持实例原始的长宽比不变。将调整后的实例拷贝到背景图像中，得到新目标实例，添加标注信息到目标检测数据集的初始图像对应标注文件中，同时对填充掩膜图相同的区域进行掩膜填充，得到扩增后的扩增图像。拷贝的类别比例也被考虑进实例的选择中。其中，数据局部扩增和数据全局扩增的大致步骤相同，数据局部扩增是根据每个初始图像中每个待增广目标实例的类别和背景图片，对初始图像进行扩增，数据全局扩增是根据所有初始图像中所有的目标实例的类别和背景图片进行处理，进行扩增。
进一步的，还可以计算扩增图像的目标空间分布指数，计算过程与上述一致，本发明实施例在此不进行重复，判断扩增图像的目标空间分布指数是否大于预期平衡阈值，如果不是，则需要对扩增图像对应的初始图像再次进行数据全局扩增，重新进行步骤S302以及后续步骤，直到扩增图像的目标空间分布指数大于预期平衡阈值，则可以确定扩增图像是处于空间平衡的，其他的待扩充初始图像的处理过程一致，则可以得到每个待扩充初始图像的扩增图像，进而可以得到处于平衡状态下的平衡目标检测数据集，如图4所示，图4为尺度分布调整对比，为左图为尺度平衡之前的数据，右图为尺度平衡之后的数据，根据左图和右图可以看出经过目标背景-类别关联模型进行全局扩充的目标检测数据集中的尺度比例的分布情况更加合理，可以对空间分布调整进行对比，根据对比情况可以看出经过目标背景-类别关联模型进行全局扩充的目标检测数据集中的目标实例的空间位置分布更加均匀。
本发明实施例通过目标检测数据集中每个初始图像的原始标注信息，得到单元目标实例，还通过目标背景-类别关联模型（BCP）在目标检测数据集中添加符合视觉上下文环境的有效目标实例，实现目标检测数据集的全局扩增，解决了随机复制粘贴具有语义分割标注的目标实例存在破坏数据集上下文信息的风险的技术问题。进一步的通过类别扩充比率和尺度比例规则，生成不与现有目标实例重叠的背景区域集合Region，根据背景区域集合Region进行目标检测数据集的全局扩增，解决了现有技术中关注的仅为原始目标附近的背景，且对非目标存在背景的定义过于绝对，忽略了大量符合条件的合理背景，同时也未解决失衡问题。
为了更好实施本发明实施例中的目标检测数据平衡方法，在目标检测数据平衡方法基础之上，对应地，本发明实施例还提供了一种目标检测数据平衡装置，如图5所示，目标检测数据平衡装置包括：
数据获取模块501，用于获取目标检测数据集；目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
数据分析模块502，用于对目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和每个初始图像对应的目标空间分布指数；目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
图像扩增模块503，用于根据原始标注信息对预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
图像平衡模块504，用于根据目标背景-类别关联模型、类别扩充比率、尺度比例规则和目标空间分布指数对目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。
上述实施例提供的目标检测数据平衡装置可实现上述目标检测数据平衡方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述目标检测数据平衡方法实施例中的相应内容，此处不再赘述。
如图6所示，本发明还相应提供了一种电子设备600。该电子设备600包括处理器601、存储器602及显示器603。图6仅示出了电子设备600的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器602在一些实施例中可以是电子设备600的内部存储单元，例如电子设备600的硬盘或内存。存储器602在另一些实施例中也可以是电子设备600的外部存储设备，例如电子设备600上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器602还可既包括电子设备600的内部储存单元也包括外部存储设备。存储器602用于存储安装电子设备600的应用软件及各类数据。
处理器601在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器602中存储的程序代码或处理数据，例如本发明中的目标检测数据平衡方法。
显示器603在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器603用于显示在电子设备600的信息以及用于显示可视化的用户界面。电子设备600的部件601-603通过***总线相互通信。
在本发明的一些实施例中，当处理器601执行存储器602中的目标检测数据平衡程序时，可实现以下步骤：
获取目标检测数据集；目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
对目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和每个初始图像对应的目标空间分布指数；目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
根据原始标注信息对预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
根据目标背景-类别关联模型、类别扩充比率、尺度比例规则和目标空间分布指数对目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集。
应当理解的是：处理器601在执行存储器602中的目标检测数据平衡程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备600的类型不做具体限定，电子设备600可以为手机、平板电脑、个人数字助理（personal digitalassistant，PDA）、可穿戴设备、膝上型计算机（laptop）等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作***的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面（例如触控面板）的膝上型计算机（laptop）等。还应当理解的是，在本发明其他一些实施例中，电子设备600也可以不是便携式电子设备，而是具有触敏表面（例如触控面板）的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的目标检测数据平衡方法步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件（如处理器，控制器等）来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的目标检测数据平衡方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种目标检测数据平衡方法，其特征在于，包括：
获取目标检测数据集；所述目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数；所述目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集；
所述对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数，包括：
对所述目标检测数据集进行分析，得到所有实例的类别分布情况，并根据所述类别分布情况中各类别的实例数量之间的差距，确定扩充概率，进而根据所述扩充概率，确定类别扩充比率；
对所述目标检测数据集中的所有原始标注信息进行尺度分析，得到尺度分布情况，并根据所述尺度分布情况，确定尺度比例规则；
根据所述每个初始图像对应的所述原始标注信息，确定填充掩膜图，并对所述填充掩膜图进行分析，得到所述每个初始图像对应的目标空间分布指数；
所述根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，包括：
对所述每个初始图像的所述填充掩膜图中的所有实例进行实例筛选，得到非重叠的待增广目标实例，并对所述每个初始图像中包含背景信息的待增广目标实例进行获取，从而得到所述每个初始图像对应的标注信息集合；所述标注信息集合包括所有待增广目标实例以及对应的所述原始标注信息；
对所述标注信息集合中的所述所有待增广目标实例进行空间姿态变换，并对应调整所述标注信息集合中每个待增广目标实例对应的原始标注信息，得到所述每个初始图像对应的变换标注信息集合；
根据所述每个初始图像的所述变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到所述每个初始图像对应的局部扩增图像；
所述根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集，包括：
根据所述目标检测数据集中所述每个初始图像的原始标注信息，得到适合拷贝扩充的预设个数目标实例；
根据所述类别扩充比率和所述尺度比例规则对所述预设个数目标实例的类别和尺度比例进行控制，得到预设个数控制目标实例，并将所述目标空间分布指数小于预设阈值的初始图像确定为待扩充初始图像，从而得到预设个数待扩充初始图像；
根据每个待扩充初始图像缺失的尺度比例，得到所述每个待扩充初始图像中不与所述预设个数控制目标实例重叠的背景区域集合；
根据所述目标空间分布指数，确定所述背景区域集合中的预设个数待扩充区域；
根据所述目标背景-类别关联模型对所述预设个数待扩充区域进行数据全局扩增，得到所述每个待扩充初始图像扩增后的扩增图像；
判断所述扩增图像的目标空间分布指数是否大于预期平衡阈值；
若否，则对所述扩增图像对应的待扩充初始图像继续进行数据全局扩增；
若是，则根据所述预设个数待扩充初始图像中大于所述预期平衡阈值的扩增图像，得到处于平衡状态下的平衡目标检测数据集。
2.根据权利要求1所述的目标检测数据平衡方法，其特征在于，所述对所述填充掩膜图进行分析，得到所述每个初始图像对应的目标空间分布指数，包括：
对所述每个初始图像的所述填充掩膜图进行划分，得到预设个数栅格组成的栅格区域；
对所述栅格区域中的每个栅格进行密集度计算，得到目标密集度；
根据所述目标密集度，确定所述每个栅格对应的区域类型，并根据所述栅格区域中所述预设个数栅格的所有区域类型，确定所述初始图像的目标空间分布指数。
3.根据权利要求1所述的目标检测数据平衡方法，其特征在于，所述根据所述每个初始图像的所述变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到所述每个初始图像对应的局部扩增图像，包括：
根据所述每个初始图像的所述变换标注信息集合，确定所述所有待增广目标实例中的第一待增广目标实例，并根据所述第一待增广目标实例的尺寸，确定对应的初始图像中的预设个数放置位置；放置位置处于空白背景处；
分别对所述第一待增广目标实例与每个放置位置进行计算，得到所述每个放置位置对应的相似度；
根据所有相似度，确定最大相似度，并根据所述第一待增广目标实例和调整后的所述原始标注信息对所述最大相似度对应的放置位置进行填充，得到新目标实例；
根据所述新目标实例对所述变换标注信息集合中的所述原始标注信息进行更新，并对所述填充掩膜图相同的区域进行掩膜填充，得到所述每个初始图像对应的新初始图像；
根据所述新初始图像，得到所述每个初始图像对应的局部扩增图像。
4.根据权利要求3所述的目标检测数据平衡方法，其特征在于，所述根据所述新初始图像，得到所述每个初始图像对应的局部扩增图像，包括：
判断所述变换标注信息集合中是否存在待增广变换目标实例；
若是，则将所述新初始图像替换为初始图像，从所述变换标注信息集合中确定第二待增广目标实例，根据所述第二待增广目标实例，对所述初始图像进行数据局部扩增；
若否，则将所述新初始图像确定为局部扩增图像，当所述每个初始图像进行数据局部扩增完成时，得到所述每个初始图像对应的局部扩增图像。
5.根据权利要求1所述的目标检测数据平衡方法，其特征在于，所述根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型，包括：
根据所述每个初始图像的所述每个待增广目标实例的预设个数放置位置的背景图像，得到所述每个初始图像对应的扩充背景图像；
根据所述预设个数初始图像的所有扩充背景图像，得到背景-目标图像数据集，并对所述背景-目标图像数据集进行划分，得到训练集和测试集；
根据所述训练集和所述测试集对所述预设背景-类别关联模型进行训练，得到目标背景-类别关联模型。
6.根据权利要求5所述的目标检测数据平衡方法，其特征在于，所述根据所述每个初始图像的所述每个待增广目标实例的预设个数放置位置的背景图像，得到所述每个初始图像对应的扩充背景图像，包括：
对所述每个初始图像的所述每个待增广目标实例的所述预设个数放置位置的背景图像进行分割，得到所述每个待增广目标实例对应的预设个数背景图像；
根据所述每个待增广目标实例的调整后的所述原始标注信息中的类别信息对所述预设个数背景图像进行保存，得到所述每个待增广目标实例对应的类别背景图像；
根据所述所有待增广目标实例的所有类别背景图像中每个类别的图像数量对所述所有类别背景图像进行翻转扩充，得到所述每个初始图像对应的扩充背景图像。
7.一种目标检测数据平衡装置，其特征在于，包括：
数据获取模块，用于获取目标检测数据集；所述目标检测数据集包括预设个数初始图像和每个初始图像对应的原始标注信息；
数据分析模块，用于对所述目标检测数据集进行分析，设置类别扩充比率、尺度比例规则和所述每个初始图像对应的目标空间分布指数；所述目标空间分布指数用于对处于空间失衡情况下的初始图像进行空间平衡；
图像扩增模块，用于根据所述原始标注信息对所述预设个数初始图像进行数据局部扩增，得到预设个数局部扩增图像，并根据所述预设个数局部扩增图像对预设背景-类别关联模型进行训练，得到目标背景-类别关联模型；
图像平衡模块，用于根据所述目标背景-类别关联模型、所述类别扩充比率、所述尺度比例规则和所述目标空间分布指数对所述目标检测数据集进行数据全局扩增，得到处于平衡状态下的平衡目标检测数据集；
所述数据分析模块，还用于对所述目标检测数据集进行分析，得到所有实例的类别分布情况，并根据所述类别分布情况中各类别的实例数量之间的差距，确定扩充概率，进而根据所述扩充概率，确定类别扩充比率；对所述目标检测数据集中的所有原始标注信息进行尺度分析，得到尺度分布情况，并根据所述尺度分布情况，确定尺度比例规则；根据所述每个初始图像对应的所述原始标注信息，确定填充掩膜图，并对所述填充掩膜图进行分析，得到所述每个初始图像对应的目标空间分布指数；
所述图像扩增模块，还用于对所述每个初始图像的所述填充掩膜图中的所有实例进行实例筛选，得到非重叠的待增广目标实例，并对所述每个初始图像中包含背景信息的待增广目标实例进行获取，从而得到所述每个初始图像对应的标注信息集合；所述标注信息集合包括所有待增广目标实例以及对应的所述原始标注信息；对所述标注信息集合中的所述所有待增广目标实例进行空间姿态变换，并对应调整所述标注信息集合中每个待增广目标实例对应的原始标注信息，得到所述每个初始图像对应的变换标注信息集合；根据所述每个初始图像的所述变换标注信息集合中的每个待增广变换目标实例对对应的初始图像进行填充，得到所述每个初始图像对应的局部扩增图像；
所述图像平衡模块，还用于根据所述目标检测数据集中所述每个初始图像的原始标注信息，得到适合拷贝扩充的预设个数目标实例；根据所述类别扩充比率和所述尺度比例规则对所述预设个数目标实例的类别和尺度比例进行控制，得到预设个数控制目标实例，并将所述目标空间分布指数小于预设阈值的初始图像确定为待扩充初始图像，从而得到预设个数待扩充初始图像；根据每个待扩充初始图像缺失的尺度比例，得到所述每个待扩充初始图像中不与所述预设个数控制目标实例重叠的背景区域集合；根据所述目标空间分布指数，确定所述背景区域集合中的预设个数待扩充区域；根据所述目标背景-类别关联模型对所述预设个数待扩充区域进行数据全局扩增，得到所述每个待扩充初始图像扩增后的扩增图像；判断所述扩增图像的目标空间分布指数是否大于预期平衡阈值；若否，则对所述扩增图像对应的待扩充初始图像继续进行数据全局扩增；若是，则根据所述预设个数待扩充初始图像中大于所述预期平衡阈值的扩增图像，得到处于平衡状态下的平衡目标检测数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410024623.6A CN117523345B (zh) | 2024-01-08 | 2024-01-08 | 一种目标检测数据平衡方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410024623.6A CN117523345B (zh) | 2024-01-08 | 2024-01-08 | 一种目标检测数据平衡方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523345A CN117523345A (zh) | 2024-02-06 |
| CN117523345B true CN117523345B (zh) | 2024-04-23 |
Family
ID=89742474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410024623.6A Active CN117523345B (zh) | 2024-01-08 | 2024-01-08 | 一种目标检测数据平衡方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523345B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470187A (zh) * | 2018-02-26 | 2018-08-31 | 华南理工大学 | 一种基于扩充训练数据集的类别不平衡问题分类方法 |
| CN110222712A (zh) * | 2019-04-30 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于深度学习的多专项目标检测算法 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN112560960A (zh) * | 2020-12-16 | 2021-03-26 | 北京影谱科技股份有限公司 | 一种高光谱图像分类方法、装置以及计算设备 |
| CN113158891A (zh) * | 2021-04-20 | 2021-07-23 | 杭州像素元科技有限公司 | 一种基于全局特征匹配的跨摄像头行人重识别方法 |
| CN114943300A (zh) * | 2022-06-02 | 2022-08-26 | 西安电子科技大学 | 基于循环一致生成对抗网络的不平衡数据分类方法 |
| CN114972982A (zh) * | 2022-04-22 | 2022-08-30 | 中国电子科技集团公司第五十四研究所 | 基于改进过采样的遥感图像目标检测样本不均衡处理方法 |
| WO2022247005A1 (zh) * | 2021-05-27 | 2022-12-01 | 平安科技（深圳）有限公司 | 图像中目标物识别方法、装置、电子设备及存储介质 |
| CN116188900A (zh) * | 2023-01-10 | 2023-05-30 | 南京大学 | 一种基于全局和局部特征增广的小样本图像分类方法 |
| CN116229205A (zh) * | 2023-01-13 | 2023-06-06 | 上海可明科技有限公司 | 基于小样本特征迁移的口红产品表面缺陷数据增广方法 |
| CN116416136A (zh) * | 2023-04-17 | 2023-07-11 | 北京卫星信息工程研究所 | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 |
| WO2023130648A1 (zh) * | 2022-01-10 | 2023-07-13 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
| CN116580188A (zh) * | 2023-03-22 | 2023-08-11 | 北京科技大学 | 一种基于多模态图像联邦分割的数据增广方法及*** |
-
2024
- 2024-01-08 CN CN202410024623.6A patent/CN117523345B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470187A (zh) * | 2018-02-26 | 2018-08-31 | 华南理工大学 | 一种基于扩充训练数据集的类别不平衡问题分类方法 |
| CN110222712A (zh) * | 2019-04-30 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于深度学习的多专项目标检测算法 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN112560960A (zh) * | 2020-12-16 | 2021-03-26 | 北京影谱科技股份有限公司 | 一种高光谱图像分类方法、装置以及计算设备 |
| CN113158891A (zh) * | 2021-04-20 | 2021-07-23 | 杭州像素元科技有限公司 | 一种基于全局特征匹配的跨摄像头行人重识别方法 |
| WO2022247005A1 (zh) * | 2021-05-27 | 2022-12-01 | 平安科技（深圳）有限公司 | 图像中目标物识别方法、装置、电子设备及存储介质 |
| WO2023130648A1 (zh) * | 2022-01-10 | 2023-07-13 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
| CN114972982A (zh) * | 2022-04-22 | 2022-08-30 | 中国电子科技集团公司第五十四研究所 | 基于改进过采样的遥感图像目标检测样本不均衡处理方法 |
| CN114943300A (zh) * | 2022-06-02 | 2022-08-26 | 西安电子科技大学 | 基于循环一致生成对抗网络的不平衡数据分类方法 |
| CN116188900A (zh) * | 2023-01-10 | 2023-05-30 | 南京大学 | 一种基于全局和局部特征增广的小样本图像分类方法 |
| CN116229205A (zh) * | 2023-01-13 | 2023-06-06 | 上海可明科技有限公司 | 基于小样本特征迁移的口红产品表面缺陷数据增广方法 |
| CN116580188A (zh) * | 2023-03-22 | 2023-08-11 | 北京科技大学 | 一种基于多模态图像联邦分割的数据增广方法及*** |
| CN116416136A (zh) * | 2023-04-17 | 2023-07-11 | 北京卫星信息工程研究所 | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| A Triplet Nonlocal Neural Network With Dual-Anchor Triplet Loss for High-Resolution Remote Sensing Image Retrieval;Maoding Zhang等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20211231;第2711-2723页 * |
| An imbalanced binary classification method based on contrastive learning using multi-label confidence comparisons within sampleneighbors pair;Xin Gao等;《Neurocomputing》;20221031;第148-164页 * |
| 基于ＩＷＡＥ 的不平衡数据集下轴承故障诊断研究;李梦男等;《机械强度》;20231231;第45卷(第3期);第569-575页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523345A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885365B2 (en) | Method and apparatus for detecting object keypoint, and electronic device | |
| US20180260648A1 (en) | Area of interest boundary extracting method and apparatus, device and computer storage medium | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN110033018B (zh) | 图形相似度判断方法、装置及计算机可读存储介质 | |
| CN107330027B (zh) | 一种弱监督的深度台标检测方法 | |
| CN111462109A (zh) | 一种耐张线夹的缺陷检测方法、装置、设备及存储介质 | |
| CN113537070B (zh) | 一种检测方法、装置、电子设备及存储介质 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN111444807B (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及***及设备 | |
| CN115205855B (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| CN114565803A (zh) | 用于提取难样本的方法、装置及机械设备 | |
| CN113762303B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112857746A (zh) | 一种灯光检测仪的追踪方法、装置、电子设备及存储介质 | |
| CN111819567A (zh) | 使用语义特征来匹配图像的方法和装置 | |
| CN117523345B (zh) | 一种目标检测数据平衡方法及装置 | |
| CN115345895B (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
| CN109799905B (zh) | 一种手部跟踪方法和广告机 | |
| CN112446231A (zh) | 一种人行横道检测方法、装置、计算机设备及存储介质 | |
| CN111382643A (zh) | 一种手势检测方法、装置、设备及存储介质 | |
| CN113902890A (zh) | 用于视觉概念检测的自监督数据增强方法、***、设备 | |
| CN112131418A (zh) | 目标标注方法、目标标注装置和计算机可读存储介质 | |
| CN112232431A (zh) | 水印检测模型训练方法、水印检测方法、***、设备及介质 | |
| CN112464939A (zh) | 目标检测中的数据增广方法、装置及存储介质 | |
| CN111124862A (zh) | 智能设备性能测试方法、装置及智能设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |