CN114444653A - 一种数据增广对深度学习模型性能影响评估方法及*** - Google Patents
一种数据增广对深度学习模型性能影响评估方法及*** Download PDFInfo
- Publication number
- CN114444653A CN114444653A CN202111576340.5A CN202111576340A CN114444653A CN 114444653 A CN114444653 A CN 114444653A CN 202111576340 A CN202111576340 A CN 202111576340A CN 114444653 A CN114444653 A CN 114444653A
- Authority
- CN
- China
- Prior art keywords
- data set
- augmentation
- images
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013434 data augmentation Methods 0.000 title claims abstract description 26
- 230000003416 augmentation Effects 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000003321 amplification Effects 0.000 claims abstract description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 230000003190 augmentative effect Effects 0.000 claims description 47
- 238000013508 migration Methods 0.000 claims description 31
- 230000005012 migration Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种数据增广对深度学习模型性能影响评估方法及***，其特方法包括：获取深度学习模型的原始数据集；基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。本发明通过初始数据集对深度学习网络进行训练和测试得到基准的测评指标，便于后续的基于对抗网络数据增广的模型训练测试指标做比对分析。
Description
技术领域
本发明属于深度学习与视觉识别技术领域，具体涉及一种数据增广对深度学习模型性能影响评估方法及***。
背景技术
数据增广是深度学***/垂直翻转、旋转、缩放、裁剪、剪切，平移、对比度、色彩抖动和噪声等，这些变化的前提是不改变图像的标签，并且只能局限在图像领域，这些传统的数据增广算法对于深度学习模型性能影响较小，并没有从根本上解决数据不足的难题。
最近兴起的一些生成式对抗网络模型，由于其出色的性能引起了人们的广泛关注，这种基于网络合成的方法相比于传统的数据增强技术，虽然过程更加复杂，但是生成的样本更加多样性。
发明内容
为解决增广数据对模型的影响，验证和确定最佳的数据增广方式的问题，在本发明的第一方面提供了一种数据增广对深度学习模型性能影响评估方法，包括：获取深度学习模型的原始数据集；基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
在本发明的一些实施例中，所述基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集包括：基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
进一步的，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集包括：将原始数据集中的一张或多张图像作为目标图像；利用生成式对抗网络将非原始数据集中的图像的风格迁移到目标图像中，得到一张或多张增广图像。
进一步的，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集包括：将原始数据集中的一张或多张图像作为目标图像；利用生成式对抗网络将非原始数据集中的图像中一个或多个目标替换掉目标图像中的对应目标，得到一张或多张增广图像。
进一步的，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集包括：将第一增广数据集和第二增广数据集中的图像进行融合，得到第三增广数据集。
在上述的实施例中，所述生成式对抗网络为MSGAN。
本发明的第二方面，提供了一种数据增广对深度学习模型性能影响评估***，包括：获取模块，用于获取深度学习模型的原始数据集；增广模块，用于基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；评估模块，用于分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
进一步的，所述增广模块包括：第一增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；第二增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；第三增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的数据增广对深度学习模型性能影响评估的方法。
本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的数据增广对深度学习模型性能影响评估方法。
本发明的有益效果是：
1.本发明通过初始数据集对深度学习网络进行训练和测试得到基准的测评指标，便于后续的基于对抗网络数据增广的模型训练测试指标做比对分析，使用图片风格迁移、目标替换和目标替换+图片风格迁移这三种数据增广方式训练出来的模型，它是为了对比哪一种数据增广方式是最有效的；
2.本发明通过不同模型之间的对比分析发现风格迁移是基于整体图片修改图片颜色的，而目标替换是基于局部目标修改的，因此两种增广算法的综合对于提高模型的指标是最有效的。
附图说明
图1为本发明的一些实施例中的数据增广对深度学习模型性能影响评估方法的基本流程示意图；
图2为本发明的一些实施例中的数据增广对深度学习模型性能影响评估方法的具体流程示意图；
图3为本发明的一些实施例中的基于生成式对抗网络的训练数据集增广方式示意图；
图4为本发明的一些实施例中的源数据集中的图像经目标替换的前后对比示意图；
图5为本发明的一些实施例中的源数据集中的图像经风格迁移的前后对比示意图；
图6为本发明的一些实施例中的各种箭头在不同算法下的recall测试结果示意图；
图7为本发明的一些实施例中的风格迁移的不同增广方法的箭头模型指标
图8为本发明的一些实施例中的数据增广对深度学习模型性能影响评估***的结构示意图；
图9为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图2，在本发明的第一方面，提供了一种数据增广对深度学习模型性能影响评估方法，包括：S100.获取深度学习模型的原始数据集；S200.基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；S300.分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
为了加快深度学习模型的收敛速度，在本发明的一些实施例中，还包括：在获取深度学习模型的原始数据集之前对深度学习模型进行初始化，其具体步骤包括：
步骤A：为了验证使用对抗网络对训练数据集进行增广后能够提高深度学习算法的有效性，本发明以城市道路当中的直行箭头、掉头箭头、左转或转弯箭头和直行或掉头箭头这四种箭头为例，在自然场景状态下，这四种箭头的数量比例为14：6：3：2，从这个比例可以看出，不同箭头的分布比例相差较大，使用此类数据进行训练模型时，模型的泛化能力不高。
步骤B：使用S11的原始数据集训练一个初始化的模型可以作为基准模型，为后续的使用增广后数据集进行训练作为对比实验。深度学习模型为yolov5s，训练的方法是将标注好的训练数据集作为输入加载到yolov5s的网络模型中，经过多次迭代后得到一个最优的算法模型1，选择最优模型的策略是基于目标检测指标测评的map指标进行计算的。
步骤C：模型的测试指标是基于测试数据集(不同于训练数据集)进行测评的，根据目标检测的指标测评算法，可以分别得到四种箭头的precision、recall和map指标，同时也需要给出所有测试目标的precision、recall和map值。具体模型训练测试的示意图如图2所示。可选的，本发明中所选用的深度学习模型还包括：目标检测模型、语义分割模型或实例分割模型等。
参考图3，在本发明的一些实施例中，所述基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集包括：S201.基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；S202.基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；S203.基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
进一步的，在步骤S201中，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集包括：将原始数据集中的一张或多张图像作为目标图像；利用生成式对抗网络将非原始数据集中的图像的风格迁移到目标图像中，得到一张或多张增广图像。
具体地，利用风格迁移网络对自然场景下的道路图片进行不同场景下的转换，本发明的场景道路有阴天道路、雨天道路、强太阳光下道路和晚上道路等，具体的风格迁移效果图如图4所示。将训练数据集当中的一张图片作为内容图片，然后在不同道路场景图像中随机选择一张图片作为风格图片，最后将内容图片和风格图片送入图像风格迁移网络MSGAN当中，得到一张其他风格的内容图片作为输出图片，其他训练数据集按照同样的方式进行转换，这样就能对训练数据集增加一倍数量，将增广的数据集按照步骤B－C的模型训练和测试方法得到一个新的模型2的测评指标。图4示出了阴天时的光线不足的道路图像迁移成光线充足的道路图像。
进一步的，在步骤S202中，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集包括：将原始数据集中的一张或多张图像作为目标图像；利用生成式对抗网络将非原始数据集中的图像中一个或多个目标替换掉目标图像中的对应目标，得到一张或多张增广图像。示意性地，图5示出了替换前后的图像，其中左半部分的图像源自原始数据集，左半部分的图像为替换后，通过矩形框选区内的图像可以看出，道路中的直行箭头变成了带有分叉箭头或转弯箭头。
进一步的，在步骤S203中，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集包括：将第一增广数据集和第二增广数据集中的图像进行融合，得到第三增广数据集。
在上述的实施例中的优选，所述生成式对抗网络为MSGAN(Mode SeekingGenerative Adversarial Networks)。
在上述的实施例中，分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。具体地，包括：
S301.通过对箭头训练数据集按照上述实施例中三种不同的方式增广方式，从测试指标上面来看，不同算法增广指标的precision值变化不大，因此本实验从不同增广算法的recall指标进行分析，得到如图6所示结果。
S302：由于图片迁移(图像迁移)是基于所有图片(图像)进行风格变换的，因此各个种类的箭头recall指标都会比基准模型指标有一定的提升；由于目标替换是将部分直行箭头替换为直行或掉头箭头与左转或掉头箭头，从上图5中可以看到直行箭头的recall值有所下降，直行或掉头箭头与左转或掉头箭头的recall值较基准模型大概提高了15％左右，因此可以说明用数量较多的目标替换数量较少的目标的方案是可行的。
S303：由图7可以看出三种不同增广算法的模型性能是：替换+迁移＞目标替换＞风格迁移＞原始数据，这三种增广方式对于precision指标提高较为缓慢，而对recall和map指标提高的较多，其中在替换+迁移的增广方式中，recall指标较于基准模型提高的有12％，这个模型训练过程中时非常有效的。每个增广算法都是有效的，但是不同的增广算法的有效性是不同的，由于风格迁移是基于整体图片修改图片颜色的，而目标替换是基于局部目标修改的，因此两种增广算法的综合对于提高模型的指标是最有效的。
实施例2
参考图8，本发明的第二方面，提供了一种数据增广对深度学习模型性能影响评估***1，包括：获取模块11，用于获取深度学习模型的原始数据集；增广模块12，用于基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；评估模块13，用于分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
进一步的，所述增广模块12包括：第一增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；第二增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；第三增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
实施例3
参考图9，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图9中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD－ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据增广对深度学习模型性能影响评估方法，其特征在于，包括：
获取深度学习模型的原始数据集；
基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；
分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
2.根据权利要求1所述的数据增广对深度学习模型性能影响评估方法，其特征在于，所述基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集包括：
基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；
基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；
基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
3.根据权利要求2所述的数据增广对深度学习模型性能影响评估方法，其特征在于，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集包括：
将原始数据集中的一张或多张图像作为目标图像；
利用生成式对抗网络将非原始数据集中的图像的风格迁移到目标图像中，得到一张或多张增广图像。
4.根据权利要求2所述的数据增广对深度学习模型性能影响评估方法，其特征在于，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集包括：
将原始数据集中的一张或多张图像作为目标图像；
利用生成式对抗网络将非原始数据集中的图像中一个或多个目标替换掉目标图像中的对应目标，得到一张或多张增广图像。
5.根据权利要求2所述的数据增广对深度学习模型性能影响评估方法，其特征在于，所述基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集包括：
将第一增广数据集和第二增广数据集中的图像进行融合，得到第三增广数据集。
6.根据权利要求1至5任一项所述的数据增广对深度学习模型性能影响评估方法，其特征在于，所述生成式对抗网络为MSGAN。
7.一种数据增广对深度学习模型性能影响评估***，其特征在于，包括：
获取模块，用于获取深度学习模型的原始数据集；
增广模块，用于基于生成式对抗网络通过不同的增广方式，对所述原始数据集进行增广，得到多个增广数据集；
评估模块，用于分别利用每个增广数据集训练所述深度学习模型，对每个训练后的深度学习模型进行测试和评估。
8.根据权利要求7所述的数据增广对深度学习模型性能影响评估***，其特征在于，所述增广模块包括：
第一增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移，得到第一增广数据集；
第二增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行目标替换，得到第二增广数据集；
第三增广单元，用于基于生成式对抗网络，对原始数据集中的一张或多张图像进行风格迁移或目标替换，得到第三增广数据集。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的数据增广对深度学习模型性能影响评估方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据增广对深度学习模型性能影响评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576340.5A CN114444653A (zh) | 2021-12-21 | 2021-12-21 | 一种数据增广对深度学习模型性能影响评估方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111576340.5A CN114444653A (zh) | 2021-12-21 | 2021-12-21 | 一种数据增广对深度学习模型性能影响评估方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114444653A true CN114444653A (zh) | 2022-05-06 |
Family
ID=81363898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111576340.5A Pending CN114444653A (zh) | 2021-12-21 | 2021-12-21 | 一种数据增广对深度学习模型性能影响评估方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114444653A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273072A (zh) * | 2022-06-13 | 2022-11-01 | 南京林业大学 | 基于改进Yolov5s模型的苹果叶片病害检测方法 |
| CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-21 CN CN202111576340.5A patent/CN114444653A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273072A (zh) * | 2022-06-13 | 2022-11-01 | 南京林业大学 | 基于改进Yolov5s模型的苹果叶片病害检测方法 |
| CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650236B2 (en) | Road detecting method and apparatus | |
| CN108427939B (zh) | 模型生成方法和装置 | |
| CN107909638B (zh) | 虚拟物体的渲染方法、介质、***和电子设备 | |
| CN110021052B (zh) | 用于生成眼底图像生成模型的方法和装置 | |
| CN114444653A (zh) | 一种数据增广对深度学习模型性能影响评估方法及*** | |
| EP3598386A1 (en) | Method and apparatus for processing image | |
| CN111460876B (zh) | 用于识别视频的方法和装置 | |
| US10572976B2 (en) | Enhancing observation resolution using continuous learning | |
| CN112419179B (zh) | 修复图像的方法、装置、设备和计算机可读介质 | |
| CN112381717A (zh) | 图像处理方法、模型训练方法、装置、介质及设备 | |
| CN111325704A (zh) | 图像修复方法、装置、电子设备及计算机可读存储介质 | |
| CN117437516A (zh) | 语义分割模型训练方法、装置、电子设备及存储介质 | |
| CN113411550B (zh) | 视频上色方法、装置、设备及存储介质 | |
| CN114898177B (zh) | 缺陷图像生成方法、模型训练方法、设备、介质及产品 | |
| CN115905622A (zh) | 视频标注方法、装置、设备、介质及产品 | |
| CN111382647A (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN116363462A (zh) | 一种路桥过车检测模型的训练方法、***、设备及介质 | |
| US11501530B1 (en) | Spatio-temporal relation based MR content positioning | |
| Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
| CN112036517B (zh) | 图像缺陷分类方法、装置及电子设备 | |
| CN111369475B (zh) | 用于处理视频的方法和装置 | |
| CN117171573A (zh) | 多模态模型的训练方法、装置、设备和存储介质 | |
| US20240177409A1 (en) | Image processing method and apparatus, electronic device, and readable storage medium | |
| CN113706663B (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN112070888B (zh) | 图像生成方法、装置、设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |