CN114359269A - 基于神经网络的虚拟食品盒缺陷生成方法及*** - Google Patents
基于神经网络的虚拟食品盒缺陷生成方法及*** Download PDFInfo
- Publication number
- CN114359269A CN114359269A CN202210221276.7A CN202210221276A CN114359269A CN 114359269 A CN114359269 A CN 114359269A CN 202210221276 A CN202210221276 A CN 202210221276A CN 114359269 A CN114359269 A CN 114359269A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- food box
- sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 269
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000003709 image segmentation Methods 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 43
- 238000012216 screening Methods 0.000 claims abstract description 17
- 101150060512 SPATA6 gene Proteins 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及缺陷图像样本生成技术领域，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及***。该方法包括：通过预先训练得到的生成对抗网络，获取图像数据；筛选图像数据，获取第一样本、第二样本；获取原始贴图；其中，原始贴图，由图像分割网络模型接收生成对抗网络输出的模拟缺陷图像，并提取特征获得；基于原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题。
Description
技术领域
本申请涉及缺陷图像样本生成技术领域，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及***。
背景技术
缺陷图像常用于工业仿真中进行模拟。工业仿真就是对实体工业的一种虚拟，将实体工业中的各个模块转化成数据整合到一个虚拟的体系中去，在这个体系中模拟实现工业作业中的每一项工作和流程，并与之实现各种交互。
近些年来，随着工业物联网的快速发展，对工业仿真技术中模型的逼真度要求越来越高。但是利用传统方法获取的高精度带有缺陷的模型样本仍然存在诸多问题。例如：
目前，手工建模工作量巨大，且绘制出的缺陷类型单一，无法满足模型样本中缺陷的多样性和随机性，同时手工建模效率低下，尤其针对无规则缺陷的绘制耗时耗力，往往效果并不佳，无法满足缺陷模型样本大量需求的情况。
发明内容
为了解决或至少部分地解决上述技术问题，本申请提供了一种基于神经网络的虚拟食品盒缺陷生成方法，其中，该方法包括以下步骤：
通过预先训练得到的生成对抗网络，获取图像数据；
筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络；
获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题；
而原始贴图将转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，避免因图像背景差异较大造成模型仿真度下降，影响使用。
可选的，所述生成对抗网络的预先训练过程包括：
将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；
将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器。
通过真实缺陷样本训练的生成对抗网络可以根据指定缺陷类型和输入随机噪声得到大量可用的不同类型的模拟缺陷图像，提高了可用缺陷样本的获取效率，同时生成的缺陷纹理与真实缺陷相似度高，同时又具备随机性，符合现实中缺陷样本的生成规律。
可选的，所述生成对抗网络的预先训练过程还包括：
训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。
可选的，所述第一样本包括所筛选出符合预设要求的模拟缺陷图像数据集、真实缺陷图像；
所述第二样本包括不符合预设要求的模拟缺陷图像。
可选的，所述筛选所述图像数据包括以下步骤：
基于真实缺陷图像、模拟缺陷图像，获取RGB彩色特征图；
将RGB彩色特征图转化为灰度图；
根据灰度图相邻像素的差异值，获取哈希序列；
基于哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；
当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
可选的，所述获取哈希序列具体包括：
首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；
当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
基于卷积特征图的哈希序列快速准确的识别生成图像的质量，保证分割网络的训练有效，提高模拟缺陷区域的分割精度，避免因图像背景差异较大造成模型仿真度下降，影响使用。
可选的，所述获取RGB彩色特征图包括：
将真实缺陷图像与模拟缺陷图像投喂给已有的卷积神经网络中，通过卷积神经网络处理生成RGB彩色特征图。
可选的，所述获取原始贴图包括：
首先所述生成对抗网络模型输出模拟缺陷图像，所述图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后所述图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
利用法线贴图转换技术使得三维虚拟食品盒的缺陷模型更加逼真，精度更高，满足渲染需求。
本申请还提供一种基于神经网络的虚拟食品盒缺陷生成***，包括：
第一获取模块，用于通过预先训练得到的生成对抗网络，获取图像数据；
筛选模块，用于筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络；
第二获取模块，用于获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
贴图模块，用于基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
本申请还提供一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现任一项所述的基于神经网络的虚拟食品盒缺陷生成方法。
有益效果：
1、本申请提供的基于神经网络的虚拟食品盒缺陷生成方法，生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题；
而原始贴图将转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，避免因图像背景差异较大造成模型仿真度下降，影响使用。
2、本申请提供的一种基于神经网络的虚拟食品盒缺陷生成方法，可以高效的生成多样性、无规则的缺陷模拟图像，同时利用法线贴图转换技术使得三维虚拟食品盒的缺陷模型更加逼真，精度更高，满足渲染需求。同时利用基于卷积特征图的哈希序列快速准确的识别生成图像的质量，保证分割网络的训练有效，提高模拟缺陷区域的分割精度，避免因图像背景差异较大造成模型仿真度下降，影响使用。
3、通过真实缺陷样本训练的生成对抗网络可以根据指定缺陷类型和输入随机噪声得到大量可用的不同类型的模拟缺陷图像，提高了可用缺陷样本的获取效率，同时生成的缺陷纹理与真实缺陷相似度高，同时又具备随机性，符合现实中缺陷样本的生成规律。
4、通过卷积神经网络与哈希序列的结合，实现生成的模拟缺陷样本与正式缺陷样本的相似度检测，尤其该方法中采用了与传统差异值哈希算法中直接对图像进行缩放的方法不同，利用单层卷积神经网络既可以达到图像降维，避免大规模计算量的目的，又可以保留图像的位置特征信息，充分考虑生成图像中微小特征的多样性和差异性。
5、通过将筛选后可用于训练的模拟缺陷图像与真实缺陷样本混合后用于图像分割网络的训练，既让网络拥有充足的训练样本，又让缺陷图像分割网络对生成器生成的模拟缺陷图像的分割具有一定的泛化能力和鲁棒性。一般生成对抗网络对真实训练样本的数量要求不高，所以本发明中的方法在不具备大量训练样本的情况下也能得到高效的图像分割网络。
6、对抗网络生成的模拟缺陷样本经过图像分割网络提取得到缺陷原始贴图后，经过法线贴图转换后再贴至虚拟食品盒上。使模拟缺陷更加逼真，满足模型在虚拟环境中的渲染需求。相比于传统手动绘制带有缺陷的食品盒三维模型避免了巨大工作量，提高了效率。
附图说明
为了更清楚地说明本申请的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本申请的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
图1为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成方法的流程示意图。
图2为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成***的结构示意图。
图3为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成方法具体流程示意图。
图4为本申请实施方式提供的一种电子设备的结构框图。
图5为适于用来实现根据本公开实施方式一的方法的计算机***的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
根据本申请实施方式提供的技术方案，通过预先训练得到的生成对抗网络，获取图像数据；筛选所述图像数据，获取第一样本、第二样本；其中，所述第一样本用于训练图像分割网络以获取图像分割网络模型；第二样本用于迭代训练所述生成对抗网络；获取由所述生成对抗网络输出的模拟缺陷图像，以及接收所述模拟缺陷图像的所述图像分割网络模型输出的提取缺陷区域；基于所述缺陷区域，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题。
下面结合具体实施方式，进行更加详细的说明。
实施方式一
参见图1、图3所示，图1为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成方法的流程示意图，图3为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成方法具体流程示意图。该生成方法，应用于服务器，包括以下步骤：
S1、通过预先训练得到的生成对抗网络模型，获取图像数据；
在步骤S1中，生成对抗网络模型，是通过对现有的对抗网络模型进行改进得到的。其改进之处主要为：可以通过投喂真实食品盒的表面缺陷图像数据集，训练对抗网络中的生成器和鉴别器，得到生成对抗网络模型。
而缺陷图像数据集的获取方法为：将真实食品盒缺陷图像尺寸大小固定为416*416的RGB彩色图像，张数可以根据实际情况进行选择，本申请实施方式优选为180张，且共包括6类已知缺陷类型，6类已知缺陷类型分别为：盒身变形、盒身裂纹、盒身划痕、盒身赃污、盒身孔洞、盒身破损.
此外，本申请人发现，近些年，随着人工智能领域的发展，神经网络在计算机图像相关领域有着极其出色的性能表现。人们开始利用生成对抗网络直接生成模型或缺陷图像，但是传统方法存在的问题有：生成对抗网络经过训练生成的缺陷图像没有明确的判断标准，生成的图像质量参差不齐。为此，本申请人首先训练生成网络模型，具体训练过程可以包括以下步骤：
S11、训练鉴别器：将食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新鉴别器。
为了尽可能的使生成的缺陷样本分布接近真实的缺陷样本分，损失函数如公式（1）所示；
其中，x代表真实数据，y为数据标签，z代表随机噪声，G代表生成器的输出，V代表目标函数，D代表鉴别器的输出，
为分布函数的期望，
为噪声分布，
为真实样本分布，
表示损失函数。
S12、再次训练鉴别器，将随机噪声z与随机缺陷类型标签输入生成器，由生成器生成随机模拟缺陷图像，同时生成器指定与输入数据（即随机噪声z）相同的模拟缺陷类型标签，将模拟缺陷图像与模拟缺陷类型标签输入到鉴别器中进行训练，并通过损失函数更新鉴别器，然后返回步骤S1继续训练鉴别器，直至鉴别器便具备了分辨真假（分辨真实图像与生成图像）的能力。
此外，训练过程还包括；
S13、训练生成器，将随机噪声z与随机缺陷类型标签输入生成器后，由生成器生成随机的缺陷图像并指定与输入数据相同的缺陷类型标签，将缺陷图像与缺陷类型标签输入到生成器中进行训练，最后通过损失反向传播更新生成器权重。
需要强调的是，本申请实施方式的步骤S11，是在对抗网络的基础上进行改进得到的。而对抗网络的具体模块，此处不再进行详细说明。
S2、筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络。
本申请人发现，目前缺陷贴图背景与真实样本背景差异较大，使得缺陷逼真度不高，融合难度较高。
为了解决该问题，本申请的方法中，第一样本可以包括筛选出符合预设要求的模拟缺陷图像数据集，以及真实缺陷图像，使用混合模拟缺陷图像、真实缺陷图像的第一样本训练图像分割网络，可以使图像分割网络具有较强的稳定性，保证分割网络的训练有效，提高模拟缺陷区域的分割精度，避免因图像背景差异较大造成模型仿真度下降，影响使用。
第二样本可以为不符合预设要求的模拟缺陷图像用于对抗网络的迭代训练。
将不符合预设要求的图像加入到生成对抗网络的训练样本序列中，可以实现缺陷样本的循环利用。
此外，具体的筛选步骤如下：
S21、获取RGB彩色特征图。
将真实的缺陷图像与步骤S1中生成的模拟缺陷图像投喂给已有的卷积神经网络中，通过卷积神经网络处理生成维度为32*32的RGB彩色特征图，卷积神经网络中的卷积核设置为13*13,步长设置为13；
S22、将RGB彩色特征图转化为256阶的灰度图；
S23、根据灰度图相邻像素的差异值，获取哈希序列。
其中，获取哈希序列具体包括：
首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；
当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
通过前述方案，可以将32*32的RGB彩色特征图产生一个由0和1构成的大小为1024的哈希序列。
S24、基于得到的哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；
当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
该步骤S24中，需要遍历模拟缺陷图像与每张真实缺陷图像的哈希序列的差异值数目，然后根据相似图片汉明距离的预设范围，作为相似度阈值。
汉明距离越小代表两张图片越相似。汉明距离小于相似度阈值时，则将该模拟缺陷图像首先通过滤波处理，再加入用于图像分割网络模型的训练样本数据集中，否则将该模拟缺陷图像输出到生成对抗网络的训练样本序列中继续迭代训练。
其中，本申请实施方式中，相似度阈值为5。而预设范围，通常为相似图片汉明距离的一般范围，可以根据实际情况进行确定。
可以理解的是，汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个（相同长度）字对应位不同的数量，以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
S3、获取原始贴图，
其中所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得。
具体的，步骤S3中图像分割网络模型采用编码-解码的结构，编码过程通过卷积神经网络从图像中提取特征，编码过程采用转置卷积神经网络将特征重新映射到上采样后图像中的每一个像素点，同时采用通道维度的拼接融合方法横向连接编码与解码相同尺度的特征层，最后通过softmax分类器对每个像素点进行分类。
其中图像分割网络模型中所使用的损失函数采用Dice相似系数计算方法公式如下
其中，A为预测值集合，B为真实值的集合，Dice为相似系数，DiceLoss为计算相似系数的损失函数。
步骤S3中，首先生成对抗网络输出模拟缺陷图像，图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
前述方案中，可以得到大量的模拟缺陷的原始贴图。
而为了使模拟缺陷图像更加逼真，满足模型在虚拟环境中的渲染需求，本申请的方法还包括：
S4、基于原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，至此便完成了虚拟食品盒的缺陷生成。
将预先建立完成的虚拟食品盒的三维模型加载到三维渲染软件中并划分不同类型缺陷存在的合理区域，将模拟缺陷的法线贴图贴到虚拟食品盒三维模型上对应缺陷类型的区域内的随机位置。
具体的，可以将原始贴图通过事先准备好的生成工具Shadermap，即可轻松将普通2D图像转换带有Z轴信息的逼真且富有立体感的模拟缺陷的法线贴图。将虚拟食品盒三维模型与模拟缺陷的法线贴图同时导入三维渲染软件3DMax中,为缺陷的法线贴图指定与食品盒相同的材质，并根据模拟缺陷类型标签，将法相贴图贴到和三维虚拟食品盒的该缺陷合理区域范围内的随机位置。至此便完成了虚拟食品盒的缺陷生成。
实施方式二
参阅图2所示，图2为本申请实施方式提供的一种基于神经网络的虚拟食品盒缺陷生成***的结构示意图，该***，包括：
第一获取模块10，用于通过预先训练得到的生成对抗网络，获取图像数据；
生成对抗网络模型，是通过对现有的对抗网络模型进行改进得到的。其改进之处主要为：可以通过投喂真实食品盒的表面缺陷图像数据集，训练对抗网络中的生成器和鉴别器，得到生成对抗网络模型。
而缺陷图像数据集的获取方法为：将真实食品盒缺陷图像尺寸大小固定为416*416的RGB彩色图像，张数可以根据实际情况进行选择，本申请实施方式优选为180张，且共包括6类已知缺陷类型。
具体训练过程可以包括以下步骤：
训练鉴别器：将食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新鉴别器。
为了尽可能的使生成的缺陷样本分布接近真实的缺陷样本分，损失函数如公式（1）所示；
其中，x代表真实数据，y为数据标签，z代表随机噪声，G代表生成器的输出，V代表目标函数，D代表鉴别器的输出，
为分布函数的期望，
为噪声分布，
为真实样本分布，
表示损失函数。
再次训练鉴别器，将随机噪声z与随机缺陷类型标签输入生成器，由生成器生成随机模拟缺陷图像，同时生成器指定与输入数据（即随机噪声z）相同的模拟缺陷类型标签，将模拟缺陷图像与模拟缺陷类型标签输入到鉴别器中进行训练，并通过损失函数更新鉴别器，然后返回上一步骤继续训练鉴别器，直至鉴别器便具备了分辨真假（分辨真实图像与生成图像）的能力。
此外，训练过程还包括；
训练生成器，将随机噪声z与随机缺陷类型标签输入生成器后，由生成器生成随机的缺陷图像并指定与输入数据相同的缺陷类型标签，将缺陷图像与缺陷类型标签输入到生成器中进行训练，最后通过损失反向传播更新生成器权重。
筛选模块20，用于筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络；
具体的筛选步骤如下：
获取RGB彩色特征图。
将真实的缺陷图像与步骤S1中生成的模拟缺陷图像投喂给已有的卷积神经网络中，通过卷积神经网络处理生成维度为32*32的RGB彩色特征图，卷积神经网络中的卷积核设置为13*13,步长设置为13；
将RGB彩色特征图转化为256阶的灰度图；
根据灰度图相邻像素的差异值，获取哈希序列。
其中，获取哈希序列具体包括：
首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；
当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
通过前述方案，可以将32*32的图像将产生一个由0和1构成的大小为1024的哈希序列。
基于哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；
当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
需要遍历模拟缺陷图像与每张真实缺陷图像的哈希序列的差异值数目，然后根据相似图片汉明距离的预设范围，作为相似度阈值。
其中，相似度阈值为5。而预设范围，通常为相似图片汉明距离的一般范围，可以根据实际情况进行确定。
可以理解的是，汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个（相同长度）字对应位不同的数量，以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
第二获取模块30，用于获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
首先生成对抗网络输出模拟缺陷图像，图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
贴图模块40，用于基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
将原始贴图通过事先准备好的生成工具Shadermap，即可轻松将普通2D图像转换带有Z轴信息的逼真且富有立体感的模拟缺陷的法线贴图。将虚拟食品盒三维模型与模拟缺陷的法线贴图同时导入三维渲染软件3DMax中,为缺陷的法线贴图指定与食品盒相同的材质，并根据模拟缺陷类型标签，将法相贴图贴到和三维虚拟食品盒的该缺陷合理区域范围内的随机位置。至此便完成了虚拟食品盒的缺陷生成。
实施方式三
图4示出根据本申请一实施方式的电子设备的结构框图。
前述实施方式描述了基于神经网络的虚拟食品盒缺陷生成方法及***，在一个可能的设计中，前述基于神经网络的虚拟食品盒缺陷生成方法及***可集成于电子设备中。如图4中所示，该电子设备500可以包括处理器501和存储器502。
所述存储器502用于存储支持处理器执行上述任一实施例中数据处理方法或者资源分配方法的程序，所述处理器501被配置为用于执行所述存储器502中存储的程序。
所述存储器502用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器501执行以实现如下步骤：
通过预先训练得到的生成对抗网络，获取图像数据；
所述生成对抗网络的预先训练过程包括：
将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；
将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器；
所述生成对抗网络的预先训练过程还包括：
训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。
筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络；
第一样本包括筛选出符合预设要求的模拟缺陷图像数据集、真实缺陷图像；
所述第二样本包括不符合预设要求的模拟缺陷图像。
所述筛选所述图像数据包括以下步骤：
基于真实缺陷图像、模拟缺陷图像，获取RGB彩色特征图；
将RGB彩色特征图转化为灰度图；
根据灰度图相邻像素的差异值，获取哈希序列；
基于哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；
当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
所述获取哈希序列具体包括：
首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；
当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
所述相似度阈值为5。
获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现生成食品盒缺陷数据集。
所述获取原始贴图包括：
首先所述生成对抗网络模型输出模拟缺陷图像，所述图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后所述图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
图5是适于用来实现根据本申请一实施方式的基于神经网络的虚拟食品盒缺陷生成方法的计算机***的结构示意图。
如图5所示，计算机***600包括处理器（CPU、GPU、FPGA等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行上述附图所示的实施方式中的部分或全部处理。在RAM603中，还存储有***600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施方式的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述节点中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，该方法包括以下步骤：
通过预先训练得到的生成对抗网络，获取图像数据；
筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
所述第二样本用于迭代训练所述生成对抗网络；
获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
2.根据权利要求1所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述生成对抗网络的预先训练过程包括：
将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；
将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器。
3.根据权利要求2所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述生成对抗网络的预先训练过程还包括：
训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。
4.根据权利要求1所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述第一样本包括所筛选出符合预设要求的模拟缺陷图像数据集、真实缺陷图像；
所述第二样本包括不符合预设要求的模拟缺陷图像。
5.根据权利要求3或4任一项所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述筛选所述图像数据包括以下步骤：
基于真实缺陷图像、模拟缺陷图像，获取RGB彩色特征图；
将RGB彩色特征图转化为灰度图；
根据灰度图相邻像素的差异值，获取哈希序列；
基于哈希序列，获取食品盒模拟缺陷图像与真实缺陷图像的相似度数值；
当所述相似度数值小于预设的相似度阈值，则符合预设要求；否则，不符合预设要求。
6.根据权利要求5所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述获取哈希序列具体包括：
首先按照像素位置先后顺序依次遍历灰度图像素，判断每行后面像素大于与前面一行像素的大小；
当每行后面像素大于与前面一行像素时，输出数字1；反之，输出数字0，形成哈希序列。
7.根据权利要求5所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述获取RGB彩色特征图包括：
将真实缺陷图像与模拟缺陷图像投喂给已有的卷积神经网络中，通过卷积神经网络处理生成RGB彩色特征图。
8.根据权利要求1所述的基于神经网络的虚拟食品盒缺陷生成方法，其特征在于，所述获取原始贴图包括：
首先所述生成对抗网络模型输出模拟缺陷图像，所述图像分割网络模型接收模拟缺陷图像，并生成模拟缺陷图像的彩色掩码，然后所述图像分割网络模型将彩色掩码进行二值化，并利用彩色掩码与原图像的叠加，提取缺陷掩码区域的实例图片，最后图像分割网络模型将分割后缺陷示例图片保存作为原始贴图。
9.一种基于神经网络的虚拟食品盒缺陷生成***，其特征在于，包括：
第一获取模块，用于通过预先训练得到的生成对抗网络，获取图像数据；
筛选模块，用于筛选所述图像数据，获取第一样本、第二样本；
其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；
第二样本用于迭代训练所述生成对抗网络；
第二获取模块，用于获取原始贴图；
其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；
贴图模块，用于基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。
10.一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1~8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221276.7A CN114359269A (zh) | 2022-03-09 | 2022-03-09 | 基于神经网络的虚拟食品盒缺陷生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221276.7A CN114359269A (zh) | 2022-03-09 | 2022-03-09 | 基于神经网络的虚拟食品盒缺陷生成方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359269A true CN114359269A (zh) | 2022-04-15 |
Family
ID=81095049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210221276.7A Pending CN114359269A (zh) | 2022-03-09 | 2022-03-09 | 基于神经网络的虚拟食品盒缺陷生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359269A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及*** |
| CN115661156A (zh) * | 2022-12-28 | 2023-01-31 | 成都数联云算科技有限公司 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463954A (zh) * | 2014-11-14 | 2015-03-25 | 无锡梵天信息技术股份有限公司 | 一种三维图像表面细节的模拟方法及*** |
| CN110796174A (zh) * | 2019-09-29 | 2020-02-14 | 郑州金惠计算机***工程有限公司 | 多类型虚拟样本的生成方法、装置、电子设备及存储介质 |
| CN111832570A (zh) * | 2020-07-02 | 2020-10-27 | 北京工业大学 | 一种图像语义分割模型训练方法及*** |
| CN112505065A (zh) * | 2020-12-28 | 2021-03-16 | 上海工程技术大学 | 一种实现室内无人机对大部件表面缺陷进行检测的方法 |
| CN112717391A (zh) * | 2021-01-21 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 虚拟角色的角色名称显示方法、装置、设备及介质 |
| CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、*** |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及*** |
| CN113920096A (zh) * | 2021-10-14 | 2022-01-11 | 广东工业大学 | 一种集成电路金属封装缺陷检测方法 |
| CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及*** |
-
2022
- 2022-03-09 CN CN202210221276.7A patent/CN114359269A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463954A (zh) * | 2014-11-14 | 2015-03-25 | 无锡梵天信息技术股份有限公司 | 一种三维图像表面细节的模拟方法及*** |
| CN110796174A (zh) * | 2019-09-29 | 2020-02-14 | 郑州金惠计算机***工程有限公司 | 多类型虚拟样本的生成方法、装置、电子设备及存储介质 |
| CN111832570A (zh) * | 2020-07-02 | 2020-10-27 | 北京工业大学 | 一种图像语义分割模型训练方法及*** |
| CN112505065A (zh) * | 2020-12-28 | 2021-03-16 | 上海工程技术大学 | 一种实现室内无人机对大部件表面缺陷进行检测的方法 |
| CN112717391A (zh) * | 2021-01-21 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 虚拟角色的角色名称显示方法、装置、设备及介质 |
| CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、*** |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及*** |
| CN113920096A (zh) * | 2021-10-14 | 2022-01-11 | 广东工业大学 | 一种集成电路金属封装缺陷检测方法 |
| CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 李明: "面向虚拟试戴***的人脸位姿估计方法", 《计算机辅助设计与图形学学报》 * |
| 雷钧 等: "基于CT图像序列的膝关节三维重建", 《科学技术与工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及*** |
| CN115661156A (zh) * | 2022-12-28 | 2023-01-31 | 成都数联云算科技有限公司 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229479B (zh) | 语义分割模型的训练方法和装置、电子设备、存储介质 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN107368845B (zh) | 一种基于优化候选区域的Faster R-CNN目标检测方法 | |
| CN112183501B (zh) | 深度伪造图像检测方法及装置 | |
| CN109936745B (zh) | 用于改善原始视频数据的解压的方法和*** | |
| CN114359269A (zh) | 基于神经网络的虚拟食品盒缺陷生成方法及*** | |
| CA3137297C (en) | Adaptive convolutions in neural networks | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| US10922852B2 (en) | Oil painting stroke simulation using neural network | |
| CN114596290A (zh) | 缺陷检测方法及其装置、存储介质、程序产品 | |
| CN109003287A (zh) | 基于改进遗传算法的图像分割方法 | |
| KR20230073751A (ko) | 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법 | |
| CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
| Liu | Literature review on image restoration | |
| CN113240790A (zh) | 一种基于3d模型和点云处理的钢轨缺陷图像生成方法 | |
| CN115294392B (zh) | 基于生成网络模型的可见光遥感图像云去除方法及*** | |
| CN111402422A (zh) | 三维表面重建方法、装置和电子设备 | |
| CN116485892A (zh) | 一种弱纹理物体的六自由度位姿估计方法 | |
| CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN114092494A (zh) | 一种基于超像素和全卷积神经网络的脑部mr图像分割方法 | |
| CN114066788A (zh) | 一种平衡的实例分割数据合成方法 | |
| Liu et al. | 3D Animation Graphic Enhancing Process Effect Simulation Analysis | |
| CN115953515B (zh) | 基于真人数据的动漫形象生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220415 |
|
| RJ01 | Rejection of invention patent application after publication |