CN114066788A - 一种平衡的实例分割数据合成方法 - Google Patents
一种平衡的实例分割数据合成方法 Download PDFInfo
- Publication number
- CN114066788A CN114066788A CN202111245120.4A CN202111245120A CN114066788A CN 114066788 A CN114066788 A CN 114066788A CN 202111245120 A CN202111245120 A CN 202111245120A CN 114066788 A CN114066788 A CN 114066788A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- label
- area
- paste
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 13
- 238000001308 synthesis method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000005192 partition Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种平衡的实例分割数据合成方法，包括：1)使用原始数据集的图像和标签构建对象实例库；2)读取原始数据集中的一个图像和标签，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点；3)设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，将10×10个候选点为中心的区域与前景背景掩模图进行计算，选取不和前景重叠的区域加入粘贴区域；4)通过类别平衡从对象实例库中选取对象，进行缩放后粘贴对象到粘贴区域，并更新标签。本发明使用图像合成的方法实现数据增强，具有更好的适用性和多样性，可以应用于难度更大的实例分割任务，计算量非常少，运算速度快，基本上不会增加训练网络的时间。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是指一种平衡的实例分割数据合成方法。
背景技术
目标检测和实例分割是深度学习中的重要研究方向，对图像中的对象进行检测和识别。具体来说，目标检测是将图像中的对象用矩形框将其框起来，实例分割则更进一步，实现像素级别的对象分离。不管是目标检测还是实例分割，数据集都是训练网络所需的必要部分，但在实际应用中，数据集总是非常有限，不仅在数量上有限，在质量上也会存在不均衡的问题：尺度不均衡、类别不均衡、分布不均衡。
主流的解决数据集不足的方法是数据增强，目前对于数据增强的研究与实现，主要有颜色变换、几何变换，发展到现在，已经没有更多显著的创新，陷入了一定停滞，而数据合成是数据增强中的一种新兴方法，提出了更多可行的解决方案。
综合以上论述，发明一种平衡的实例分割数据合成方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点，提出了一种平衡的实例分割数据合成方法，主要利用原始数据集的图像和标注，构建对象实例库，通过图像处理技术将原始数据集和对象实例库进行合成，合成新的图像和生成新的标注，从而到达数据增强的效果，缓解数据集的不足。
为实现上述目的，本发明所提供的技术方案为：一种平衡的实例分割数据合成方法，包括以下步骤：
1)使用原始数据集的图像和标签构建对象实例库；
2)读取原始数据集中的一个图像和标签，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点；
3)设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，将步骤2)的10×10个候选点为中心的区域与前景背景掩模图进行计算，选取不和前景重叠的区域加入粘贴区域；
4)通过类别平衡从步骤1)中的对象实例库中选取对象，进行缩放后粘贴对象到步骤3)的粘贴区域，并更新标签。
进一步，在步骤1)中，使用原始数据集的图像和标签构建对象实例库，通过解析标签，得到图像中每一个对象对应的掩模，通过这个掩模将对象从原图中分离出来，并将对象按所属类别进行分类。
进一步，在步骤2)中，读取原始数据集中的一个图像和标签，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点，包括以下步骤：
2.1)生成前景背景掩模图
获取原图像和对应标签，生成一个原图像长宽尺寸的单通道图像，令每个像素值置为0，即为前景背景掩模图，获取标签中对象的掩模，将前景背景掩模图对应位置的像素值置为1，最终像素值为1的区域为前景，像素值为0的区域为背景；
2.2)生成10×10个候选点
获取原图像的长宽值，将长宽分别均匀地分成11段，也就取到10个等分点，把长宽分别10个等分点进行组合，最终得到10×10个候选点。
进一步，在步骤3)中，设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，从步骤2)的10×10个候选点为中心的区域选取满足要求的区域加入粘贴区域，包括以下步骤：
3.1)设定一个粘贴尺寸列表
为了粘贴尺寸的相对均衡，设置粘贴尺寸列表为150、120、90、60、30；
3.2)生成粘贴区域
从粘贴尺寸列表中依次选取尺寸，以选取的尺寸为正方形边长，以候选点为中心，判断该候选点是否满足没有前景，若没有前景，加入粘贴区域并选取下一个尺寸，若有前景，选取下一个候选点，直到遍历完粘贴尺寸列表和所有候选点。
进一步，在步骤4)中，将步骤3)中的粘贴区域依次处理，从步骤1)的对象实例库中随机选择类别，再从该类别中随机选取对象，若对象尺寸与粘贴区域尺寸相比小于阈值，则重新随机选择一个对象，满足尺寸要求后将对象尺寸缩放到和粘贴区域尺寸相适应的大小后粘贴到粘贴区域，并在原标签上增加新标签。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明使用数据合成方法实现数据增强，其与传统数据增强方法相比具有更好的适用性和多样性。
2、本发明合成的数据不仅能应用于目标检测任务中，也可以应用于难度更大的实例分割任务。
3、本发明的数据合成方法可以在传统数据增强方法的基础上继续使用，达到更好的数据增强效果。
4、本发明使用图像处理的方法，计算量非常少，运算速度快，基本上不会增加训练网络的时间。
附图说明
图1为本发明方法的流程图。
图2为原图像示意图。
图3为原图像和标签示意图。
图4为合成图像示意图。
图5为合成图像和标签示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例提供了一种平衡的实例分割数据合成方法，包括以下步骤：
1)数据集使用Microsoft COCO数据集(简称COCO)，使用COCO数据集的图像和标签构建对象实例库。
2)读取COCO数据集中的一个图像和标签，如图2、图3所示，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点，包括以下步骤：
2.1)生成前景背景掩模图
获取原图像和对应标签，生成一个原图像长宽尺寸的单通道图像，令每个像素值置为0，即为前景背景掩模图，获取标签中对象的掩模，将前景背景掩模图对应位置的像素值置为1，最终像素值为1的区域为前景，像素值为0的区域为背景。
2.2)生成10×10个候选点
获取原图像的长宽值，将长宽分别均匀地分成11段，也就取到10个等分点，把长宽分别10个等分点进行组合，最终得到10×10个候选点。
3)设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，从步骤2)的10×10个候选点为中心的区域与前景背景掩模图进行计算，选取不和前景重叠的区域加入粘贴区域，包括以下步骤：
3.1)设定一个粘贴尺寸列表
为了粘贴尺寸的相对均衡，设置粘贴尺寸列表为150、120、90、60、30。
3.2)生成粘贴区域
从粘贴尺寸列表中依次选取尺寸，以选取的尺寸为正方形边长，以候选点为中心，以判断该候选点是否满足没有前景，若没有前景，加入粘贴区域并选取下一个尺寸，若有前景，选取下一个候选点。直到遍历完粘贴尺寸列表和所有候选点。
4)将步骤3)中的粘贴区域依次处理，从步骤1)的对象实例库中随机选择类别，再从该类别中随机选取对象，若对象尺寸与粘贴区域尺寸相比小于阈值，则重新随机选择一个对象，满足尺寸要求后将对象尺寸缩放到和粘贴区域尺寸相适应的大小后粘贴到粘贴区域，并在原标签上增加新标签，如图4、图5所示。
综上所述，在采用以上方案后，本发明为数据增强提供了新的方法，将数据合成作为数据增强的有效方法，能够有效解决难以数据量不足、数据不均衡的问题，有效推动深度学习技术的发展，具有实际推广价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种平衡的实例分割数据合成方法，其特征在于，包括以下步骤：
1)使用原始数据集的图像和标签构建对象实例库；
2)读取原始数据集中的一个图像和标签，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点；
3)设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，将步骤2)的10×10个候选点为中心的区域与前景背景掩模图进行计算，选取不和前景重叠的区域加入粘贴区域；
4)通过类别平衡从步骤1)中的对象实例库中选取对象，进行缩放后粘贴对象到步骤3)的粘贴区域，并更新标签。
2.根据权利要求1所述的一种平衡的实例分割数据合成方法，其特征在于，在步骤1)中，使用原始数据集的图像和标签构建对象实例库，通过解析标签，得到图像中每一个对象对应的掩模，通过这个掩模将对象从原图中分离出来，并将对象按所属类别进行分类。
3.根据权利要求1所述的一种平衡的实例分割数据合成方法，其特征在于，在步骤2)中，读取原始数据集中的一个图像和标签，根据标签对这个图像生成前景背景掩模图，根据这个图像的尺寸均匀生成10×10个候选点，包括以下步骤：
2.1)生成前景背景掩模图
获取原图像和对应标签，生成一个原图像长宽尺寸的单通道图像，令每个像素值置为0，即为前景背景掩模图，获取标签中对象的掩模，将前景背景掩模图对应位置的像素值置为1，最终像素值为1的区域为前景，像素值为0的区域为背景；
2.2)生成10×10个候选点
获取原图像的长宽值，将长宽分别均匀地分成11段，也就取到10个等分点，把长宽分别10个等分点进行组合，最终得到10×10个候选点。
4.根据权利要求1所述的一种平衡的实例分割数据合成方法，其特征在于，在步骤3)中，设定一个粘贴尺寸列表，根据设定的粘贴尺寸列表，从步骤2)的10×10个候选点为中心的区域选取满足要求的区域加入粘贴区域，包括以下步骤：
3.1)设定一个粘贴尺寸列表
为了粘贴尺寸的相对均衡，设置粘贴尺寸列表为150、120、90、60、30；
3.2)生成粘贴区域
从粘贴尺寸列表中依次选取尺寸，以选取的尺寸为正方形边长，以候选点为中心，判断该候选点是否满足没有前景，若没有前景，加入粘贴区域并选取下一个尺寸，若有前景，选取下一个候选点，直到遍历完粘贴尺寸列表和所有候选点。
5.根据权利要求1所述的一种平衡的实例分割数据合成方法，其特征在于，在步骤4)中，将步骤3)中的粘贴区域依次处理，从步骤1)的对象实例库中随机选择类别，再从该类别中随机选取对象，若对象尺寸与粘贴区域尺寸相比小于阈值，则重新随机选择一个对象，满足尺寸要求后将对象尺寸缩放到和粘贴区域尺寸相适应的大小后粘贴到粘贴区域，并在原标签上增加新标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111245120.4A CN114066788B (zh) | 2021-10-26 | 2021-10-26 | 一种平衡的实例分割数据合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111245120.4A CN114066788B (zh) | 2021-10-26 | 2021-10-26 | 一种平衡的实例分割数据合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114066788A true CN114066788A (zh) | 2022-02-18 |
| CN114066788B CN114066788B (zh) | 2024-03-29 |
Family
ID=80235484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111245120.4A Active CN114066788B (zh) | 2021-10-26 | 2021-10-26 | 一种平衡的实例分割数据合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066788B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418898A (zh) * | 2022-03-21 | 2022-04-29 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120063681A1 (en) * | 2001-05-04 | 2012-03-15 | Barry Sandrew | Minimal artifact image sequence depth enhancement system and method |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
| CN111832745A (zh) * | 2020-06-12 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据增广的方法、装置及电子设备 |
| CN112132832A (zh) * | 2020-08-21 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、***、设备及介质 |
-
2021
- 2021-10-26 CN CN202111245120.4A patent/CN114066788B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120063681A1 (en) * | 2001-05-04 | 2012-03-15 | Barry Sandrew | Minimal artifact image sequence depth enhancement system and method |
| CN111832745A (zh) * | 2020-06-12 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据增广的方法、装置及电子设备 |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
| CN112132832A (zh) * | 2020-08-21 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、***、设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418898A (zh) * | 2022-03-21 | 2022-04-29 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
| CN114418898B (zh) * | 2022-03-21 | 2022-07-26 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114066788B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801164B (zh) | 目标检测模型的训练方法、装置、设备及存储介质 | |
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN110378222B (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN113033537A (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN112084923A (zh) | 一种遥感图像语义分割方法、存储介质及计算设备 | |
| CN114998337B (zh) | 一种划痕检测方法、装置、设备及存储介质 | |
| WO2020125062A1 (zh) | 一种图像融合方法及相关装置 | |
| CN110598698A (zh) | 基于自适应区域建议网络的自然场景文本检测方法和*** | |
| CN109523558A (zh) | 一种人像分割方法及*** | |
| CN111462164A (zh) | 一种前景分割方法以及基于图像合成的数据增强方法 | |
| CN114332590B (zh) | 联合感知模型训练、联合感知方法、装置、设备和介质 | |
| CN115115793A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Sun et al. | Cfr-icl: Cascade-forward refinement with iterative click loss for interactive image segmentation | |
| CN114066788B (zh) | 一种平衡的实例分割数据合成方法 | |
| CN114359269A (zh) | 基于神经网络的虚拟食品盒缺陷生成方法及*** | |
| CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
| CN113361535A (zh) | 图像分割模型训练、图像分割方法及相关装置 | |
| CN117132886A (zh) | 道路平面交叉口提取方法、装置、设备以及存储介质 | |
| CN113139463B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN114419070A (zh) | 一种图像场景分割方法、装置、设备及存储介质 | |
| CN114612971A (zh) | 人脸检测方法、模型训练方法、电子设备及程序产品 | |
| CN113343979B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |