CN117495712A - 车身部件质量模型的生成式数据增强方法、***及设备 - Google Patents

车身部件质量模型的生成式数据增强方法、***及设备 Download PDF

Info

Publication number
CN117495712A
CN117495712A CN202410000457.6A CN202410000457A CN117495712A CN 117495712 A CN117495712 A CN 117495712A CN 202410000457 A CN202410000457 A CN 202410000457A CN 117495712 A CN117495712 A CN 117495712A
Authority
CN
China
Prior art keywords
data
point cloud
sample
body part
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410000457.6A
Other languages
English (en)
Inventor
陈小庆
季钟亮
赵跃伟
邱铁
周晓波
徐天一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tianqi Mozhitong Vehicle Body Technology Co ltd
Original Assignee
Tianjin Tianqi Mozhitong Vehicle Body Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tianqi Mozhitong Vehicle Body Technology Co ltd filed Critical Tianjin Tianqi Mozhitong Vehicle Body Technology Co ltd
Priority to CN202410000457.6A priority Critical patent/CN117495712A/zh
Publication of CN117495712A publication Critical patent/CN117495712A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了车身部件质量模型的生成式数据增强方法、***及设备，涉及汽车工程领域，该方法包括：获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据；对所述二维图像数据进行数据增强处理，生成增强后的图像样本；对所述三维点云数据进行数据增强处理，生成稠密点云样本；根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据；根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。本发明能够有效降低不同车身部件生产时所带来的数据不平衡，提高车身部件质量模型对不同类型的车身部件的评估能力。

Description

车身部件质量模型的生成式数据增强方法、***及设备
技术领域
本发明涉及汽车工程领域，特别是涉及一种车身部件质量模型的生成式数据增强方法、***及设备。
背景技术
在汽车生产制造的过程中，车身部件质量模型的准确性和可靠性对于确保汽车车身部件的质量至关重要，它能够有效评估和预测各车身部件的性能、可靠性和寿命，对于汽车车身部件设计和生产过程中的质量控制起到了重要作用。然而，受限于采集成本，目前各汽车生产车间大多采用抽样检测的方式，面对种类繁杂、数量大且质量参差不齐的汽车车身部件，现有的检测方式难以为车身部件质量模型提供足够的数据样本，进而限制质量模型的学***衡性，某些车身部件的样本数量可能远远超过其他车身部件，导致车身部件质量模型对少数类别的车身部件评估能力较差。
发明内容
本发明的目的是提供一种车身部件质量模型的生成式数据增强方法、***及设备，以解决由于不同车身部件生产时样本数量不平衡导致车身部件质量模型对不同类型的车身部件评估能力差的问题。
为实现上述目的，本发明提供了如下方案：
一种车身部件质量模型的生成式数据增强方法，包括：
获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据；
对所述二维图像数据进行数据增强处理，生成增强后的图像样本；
对所述三维点云数据进行数据增强处理，生成稠密点云样本；
根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据；
根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
可选的，对所述二维图像数据进行数据增强处理，生成增强后的图像样本，具体包括：
对所述二维图像数据进行平滑与小波去噪处理；
对去噪处理后的二维图像数据进行几何变换、色彩变换以及仿射变换，生成图像样本；
采用SeLU激活函数改进生成对抗网络的激活函数，并引入残差块改进所述生成对抗网络；
利用所述图像样本交替训练改进后的生成对抗网络的生成器和相对判别器，确定增强后的图像样本。
可选的，对所述二维图像数据进行平滑与小波去噪处理，具体包括：
利用公式对所述二维图像数据进行平滑与小波去噪处理；其中，为去噪处理后的二维图像；/>为高斯分布的标准差；/>为所述二维图像数据的像素点水平坐标；/>为所述二维图像数据的像素点垂直坐标。
可选的，所述SeLU激活函数为：
；
其中，为SeLU激活函数输出的缩放系数；/>为激活函数层的输入值；/>为负半轴的负斜率参数。
可选的，所述改进后的生成对抗网络的目标为：
；
；
其中，为所述相对判别器的Loss损失函数；/>用来鼓励判别器在增加真实样本数据/>的评分的同时减少生成样本数据/>的评分；P为真实样本数据/>所服从的真实样本数据分布；Q为生成样本数据/>所服从的生成样本数据分布；/>为区分真实样本数据以及生成样本数据的评分差异的第一差异函数；/>为判别器给出的关于真实样本数据/>的评分；/>为判别器给出的关于生成样本数据/>的评分；/>为平衡项；/>为区分真实样本数据以及生成样本数据的评分差异的第二差异函数；/>为所述生成器的Loss损失函数；为衡量判别器/>对真实样本数据/>相对于生成样本数据输出差异的期望值；/>为区分真实样本数据以及生成样本数据的评分差异的第三差异函数；/>为衡量判别器/>对生成样本数据相对于真实样本数据/>输出差异的期望值；/>为区分真实样本数据以及生成样本数据的评分差异的第三差异函数。
可选的，对所述三维点云数据进行数据增强处理，生成稠密点云样本，具体包括：
对所述三维点云数据进行重采样和平移变换操作；
将重采样和平移变换后的点云数据进行旋转和缩放操作，生成不同视角和尺度下的点云样本；
通过PU-Net算法对所述点云样本进行上采样操作，获取具有3D细节表示的点云特征；
基于子像素卷积层的有效特征扩展操作扩展所述点云特征的特征空间，生成扩展后的点云特征；
对所述扩展后的点云特征进行降维操作，生成稠密点云样本。
可选的，基于子像素卷积层的有效特征扩展操作扩展所述点云特征的特征空间，生成扩展后的点云特征，具体包括：
利用公式扩展所述点云特征的特征空间，生成扩展后的点云特征；其中，/>为扩展后的点云特征；/>为点云特征的重采样策略；为第一层卷积的输出表征；/>为对第一层卷积/>的输出表征再次应用第二层卷积；r为点云数据的上采样率，r=1,2,3。
一种车身部件质量模型的生成式数据增强***，包括：
数据采集模块，用于获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据；
图像数据增强模块，用于对所述二维图像数据进行数据增强处理，生成增强后的图像样本；
点云数据增强模块，用于对所述三维点云数据进行数据增强处理，生成稠密点云样本；
生成样本数据确定模块，用于根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据；
训练及检测模块，用于根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述车身部件质量模型的生成式数据增强方法。
可选的，所述存储器为非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车身部件质量模型的生成式数据增强方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明实施例分别针对性的对汽车不同的车身部件的二维图像数据以及三维点云数据进行数据增强处理，生成增强后的图像样本以及稠密点云样本，确定车身部件的生成样本数据，并利用生成样本数据扩展真实样本数据，利用生成样本数据以及真实样本数据共同训练车身部件质量模型，有效降低了不同车身部件生产时所带来的数据不平衡，提高了车身部件质量模型对不同类型的车身部件的评估能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的车身部件质量模型的生成式数据增强方法流程图；
图2为本发明所提供的车身部件质量模型的生成式数据增强***架构图；
图3为本发明所提供的改进的生成对抗网络实现二维图像数据增强的模型图；
图4为本发明所提供的基于数据驱动的点云上采样网络的模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种车身部件质量模型的生成式数据增强方法、***及设备，能够有效降低不同车身部件生产时所带来的数据不平衡，提高车身部件质量模型对不同类型的车身部件的评估能力。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
为克服传统汽车车身部件检测的弊端，满足实际生产中汽车的车身部件质量模型数据数量和质量的不足或缺陷，将基于生成式的数据增强技术引入到面向汽车的车身部件质量模型的研究中是极为必要的。具体来说，生成式数据增强技术利用生成式模型（如变分自编码器、生成对抗网络等）生成新的数据样本，以增加数据集的多样性和丰富性。将其应用到汽车车身部件检测应用中时，生成的车身部件样本可以具有不同规格、材料和工艺，能够覆盖更广泛的车身部件特征空间。通过引入生成式数据增强技术，可以扩展原始数据集，并提供更全面、多样化的训练数据，从而改善车身部件质量模型的性能。
如图1所示，本发明一种车身部件质量模型的生成式数据增强方法，包括：
步骤101：获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据。
步骤102：对所述二维图像数据进行数据增强处理，生成增强后的图像样本。
步骤103：对所述三维点云数据进行数据增强处理，生成稠密点云样本。
步骤104：根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据。
步骤105：根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
在实际应用中，步骤101，具体包括：为对汽车车身部件数据进行处理，搭建汽车外观的数据采集模块，利用计算机设备、图像采集卡、光学镜头、CCD摄像机和LED灯的相互协作，实现对汽车车身部件的实时感知与采集反馈。
其中，数据采集模块主要包括2D视觉检测装置和3D逆向扫描装置。
2D视觉检测装置配置为成像正被检查的车身部件并生成车身部件的数字图像，车身部件检查模块负责接收车身部件的数字图像，并与模板图像进行比较，以识别车身部件表面缺陷，如车身部件划痕、凹陷、氧化等；此外，通过对车身部件二维图像进行几何测量和分析，提取关键的尺寸参数和几何特征，如直径、长度、角度、曲率等，实现对汽车车身部件尺寸规格的精准控制。
3D逆向扫描装置通过三维结构光扫描获取高精度的车身部件三维点云数据，通过在不同视角下多次扫描，进而捕获车身部件全面的几何信息，然后利用点云配准算法，将采集到的点云数据与已知的CAD模型进行拟合和配准，以评估汽车车身部件的几何精度和形状一致性。
进一步的，将采集的二维图像数据输入到2D视觉检测装置中，考虑到采集图像在传输中易受噪声、信道、A/D转换误差、磁场等多种因素干扰，需要对二维图像数据中的二维图像进行预处理操作，利用Canny边缘检测和Hough变换，对二维图像进行平滑与小波去噪处理，其公式如式（1）所示：
(1)
其中，为去噪处理后的二维图像；/>为高斯分布的标准差；/>为所述二维图像数据的像素点水平坐标；/>为所述二维图像数据的像素点垂直坐标。
本发明能够有效提取图像中汽车车身部件的边缘区域和关键结构，并根据标尺映射计算车身部件的规格数据（即图2中的部件规格数据）；在此基础上，进一步对二维图像进行分割处理，通过将完整的二维图像切分为多个图像区，以达到从二维图像中高效抽取重要特征的目的。然后，通过对提炼出的图像样本特征和标准样本特征进行特征对比，从而明确车身部件的具体缺陷情况（即图2中的表面几何数据）。
此外，3D逆向扫描设备扫描汽车车身部件并生成对应的三维点云数据，通过点云数据，获取车身部件的内部几何数据和各空洞的纹理信息（即图2中的孔洞纹理数据），作为汽车车身部件的真实样本数据保存并参与后续的图像/点云数据增强过程。
在实际应用中，步骤102具体包括：对所述二维图像数据进行平滑与小波去噪处理；对去噪处理后的二维图像数据进行几何变换、色彩变换以及仿射变换，生成图像样本；采用SeLU激活函数改进生成对抗网络的激活函数，并引入残差块改进所述生成对抗网络；利用所述图像样本交替训练改进后的生成对抗网络的生成器和相对判别器，确定增强后的图像样本。
为提高车身部件质量模型对各类车身部件的检测评估能力，本发明通过旋转、平移和缩放等几何变换，产生不同视角和尺度下的车身部件图像。其次，应用亮度、对比度和色彩调整等色彩变换，生成不同照明和环境条件下的图像样本。此外，考虑到汽车车身部件可能产生的形变和姿态变化，进一步引入仿射变换、透视变换和形状变换模拟不同的车身部件形变、姿态变化。同时，通过添加高斯噪声、模糊和失真等图像处理技术，增加数据的鲁棒性和真实性。
此外，针对汽车车身部件样本类型繁多，不同类别样本数据不平衡的问题，提出一种改进的生成对抗网络二维图像数据增强算法（DCGAN），旨在解决模型训练过程中模型不稳定、生成图像质量差等问题。主要包括以下几处改进，1）针对生成的车身部件图像缺乏细节信息的问题，在传统生成对抗网络（Generative Adversarial Network，GAN）的基础上，采用SeLU激活函数代替原来的ReLU激活函数，生成更丰富的图像细节；2）采用相对判别损失函数的方法，通过提升伪造数据判为真实样本数据的概率，产生稳定且高质量的数据样本；3）在生成对抗网络中引入残差块，进一步提升图像的分辨率，提高模型生成的不同类型车身部件的二维图像样本质量。
进一步的，为了进一步提高车身部件质量模型的准确性和可靠性，需利用去噪处理后的二维图像数据进行数据增强处理，主要包含以下几个步骤。
步骤2.1：对去噪处理后的车身部件二维图像数据进行几何变换和色彩变换，生成多样性和逼真度高的图像样本，然后通过仿射变幻模拟不同的车身部件形变和姿态变化。
步骤2.2：利用步骤2.1生成的图像样本交替训练生成对抗网络的判别器和生成器，如图3所示，通过二者相互竞争，交替训练，使生成的图像样本更逼近真实样本数据，生成更多多样化、高质量的图像样本数据。
步骤2.3：为缓解生成对抗网络训练中存在的梯度弥散问题，本发明在步骤2.2的基础上，对生成对抗网络的激活函数进行进一步改进，采用自归一化神经网络（Self-normalizing Neural Network，SeLU）激活函数替代常用的线性整流单元（RectifierLinear Unit，ReLU）激活函数。
相较于过滤小于0的输入的ReLU激活函数，SeLU激活函数保留了小于0输入的计算，为GAN中生成模型提供更丰富的特征表示SeLU激活函数的计算公式如式（2）所示：
(2)
其中，表示激活函数层的输入值，即车身样本所提取的图像特征；/>表示激活函数输出的缩放系数，有助于保持生成对抗网络各层输出的方差，避免梯度消失。表示负半轴的负斜率参数，当/>时，提供一条斜率为/>的指数曲线，有助于保留和传播生成对抗网络中的负信号，进一步缓解梯度消失问题；其中，负半轴指的是数学上对实数线或者在这种情况下是激活函数输入值/>取值范围的描述。在激活后函数SeLU中定义了/>>0和/><=0两个分段，/>指的是/>这个分段的斜率。
然而，由于SeLU激活函数保留了小于0输入的计算，导致GAN中生成模型正向传播和反向传播过程中计算时间会有所延长。因此，为在获取更多丰富特征的同时，不过多增加车身部件质量模型的计算量，仅在生成器中采用SeLU激活函数，判别器仍然使用ReLU激活函数。
步骤2.4：由于判别器中真实样本数据的得分并不会随生成样本得分提升而下降，传统的生成对抗网络存在模型崩溃的隐患。假设生成器G和判别器D在每个交替训练步骤中都训练到了最佳，训练结束时，判别器，/>；而生成器则是/>，。其中，/>表示真实样本数据，/>表示生成器生成的生成样本数据，/>是判别器给出的关于真实样本数据/>的评分，/>为判别器给出的关于生成样本数据/>的评分。
在交替训练的过程中，恒等于1，对应梯度恒为0，最终导致判别器暂停更新进而使得模型崩溃。因此，在传统生成对抗网络中，当判别器训练较优时，计算梯度时不会考虑真实样本数据，而是仅关注如何使得生成样本数据变得更真实，这样会使训练不稳定。若/>逐渐减少，/>逐渐增加，真实样本数据就可以被用于生成对抗网络中进行梯度的计算，从而避免训练时产生梯度消失现象。
为此，本发明在步骤2.3改进激活函数的同时，采用相对判别器的生成对抗网络，在训练过程中使得向/>移动的同时，/>也向/>移动，最终/>与一致，使得判别器能更好地收敛，其公式如式（3）和式（4）所示：
(3)
(4)
其中，为判别器的Loss损失函数，用于评估判别器对真实样本数据或生成样本的判断能力，/>表示判别器对真实样本数据的得分期望，/>表示真实样本数据/>所服从的真实样本数据分布，/>表示判别器对真实样本数据/>是否是真实样本数据的判断得分，/>表示判别器对生成样本的得分期望，/>表示判别器对生成样本/>是否是生成样本的判断得分，/>表示生成样本/>所服从的生成样本分布，/>为差异函数，用来对差异进行平滑处理，以更有效地进行梯度下降。通过最大化/>来确保判别器正确识别真实样本数据/生成样本。
作为生成器的Loss损失函数，用于评估审生成器生成样本与真实样本数据的近似程度；/>表示生成器对真实样本数据的得分期望，/>表示生成器对真实样本数据/>是否是真实样本数据的判断得分，/>表示判别器对生成样本的得分期望，/>表示生成器对生成样本/>是否是生成样本的判断得分，与/>类似，对差异进行平滑处理。通过最小化/>来确保生成器生成与真实样本数据相近的样本。
在传统的生成对抗网络中，，因为传统的生成对抗网络中生成器只需考虑的值尽可能高，而无需考虑/>的值。但是在改进后的生成对抗网络中，对/>的值加以考虑，即/>。为确/>逐渐减少，/>逐渐增加，引入相对判别器的理念，把真实样本数据的判别值减去生成样本的判别值作为衡量标准，将目标公式变为：
(5)
(6)
其中，用来鼓励判别器在增加真实样本数据/>的评分的同时减少生成样本数据/>的评分；P为真实样本数据/>所服从的真实样本数据分布；Q为生成样本数据/>所服从的生成样本数据分布；/>是一个有助于区分真实样本数据以及生成样本数据的评分差异的第一差异函数；/>是判别器给出的关于真实样本数据/>的评分；/>为判别器给出的关于生成样本数据/>的评分；是为了平衡训练，确保判别器不会过度倾向于真实样本数据以及生成样本数据而设置的平衡项；/>与/>类似，表示判别器对于真实样本数据以及生成样本数据的评分差异的第二差异函数；/>通过设置两个不同的差异函数/>来提高GAN模型训练的稳定性。
为所述生成器的Loss损失函数；/>用来衡量判别器/>对真实样本数据/>相对于生成样本数据/>输出差异的期望值；/>为第三差异函数，用来对差异进行平滑处理，以更有效地进行梯度下降；为衡量判别器/>对生成样本数据/>相对于真实样本数据输出差异的期望值，是损失函数的第二部分，用来衡量判别器/>对生成样本数据/>相对于真实样本数据/>输出差异的期望值；/>为区分真实样本数据以及生成样本数据的评分差异的第三差异函数，也是对判别器输出差异的处理，但这次是反向的，即，鼓励生成器生成的生成样本数据/>能够更多地“欺骗”判别器，使判别器更可能将其错误地识别为真实样本数据/>。
在生成器中确保越小越好，对应产生一个引导/>向更小方向移动的梯度。如此一来，在训练过程中/>逐渐降低至与/>一致。
步骤2.5：为进一步提高图像分辨力，本发明在步骤2.3基础上引入残差块来改进现有生成对抗网络的网络结构，以生成48pixel×48pixel大小的图片为例，确定生成对抗网络的四维张量，批处理样本个数假设为64，输入噪声维度z为100，初始噪声样本像素1×1，初始样本维度为［64，100，1，1］。通过在生成对抗网络中加入两个残差结构组成的残差网络后保持输出维度不改变，最终输出一张48pixel×48pixel的三通道的图片。然后，通过把多次转置卷积操作后得到的特征图引入残差网络进一步提取其细节，并保证在进入下一转置卷积层之前上层网络的图像特征尽可能细节化和丰富化，从而避免了图像特征信息的丢失。
通过上述步骤，可训练准确可靠的车身部件检测模型，进而生成多样性和逼真度高的车身部件模型样本，以扩展原始车身部件样本集，改善车身部件质量模型对各类汽车车身部件的检测评估能力。
本发明通过二维图像数据增强方式能有效提高生成图像样本的细节质量，稳定模型训练，提高汽车车身部件质量模型对各类车身部件的评估泛化能力。
在实际应用中，步骤103具体包括：对所述三维点云数据进行重采样和平移变换操作；将重采样和平移变换后的点云数据进行旋转和缩放操作，生成不同视角和尺度下的点云样本；通过PU-Net算法对所述点云样本进行上采样操作，获取具有3D细节表示的点云特征；基于子像素卷积层的有效特征扩展操作扩展所述点云特征的特征空间，生成扩展后的点云特征；对所述扩展后的点云特征进行降维操作，生成稠密点云样本。
在实际应用中，在三维点云数据增强方面，采用随机采样和点云平移操作，对采集的三维点云数据进行重采样和平移变换，以增加数据的密度和空间变化。其次，通过旋转和缩放操作，生成不同视角和尺度下的点云样本，以增加数据的多样性和覆盖范围。
此外，由于三维点云数据自身所存在的稀疏性和不规则性等特性，本发明采用基于数据驱动的点云上采样网络（PU-Net），学***移等一系列操作后新点云样本的密度和质量，有助于车身部件质量模型的训练。
进一步的，对于采集的三维点云数据，由于该三维点云数据包含车身部件的内部几何数据以及空洞纹理数据，本发明设计基于点云的点云数据增强模块，主要包括随机采样和平移变换以及基于Pu-Net的点云上采样等以下步骤。
步骤3.1：对于采集的三维点云数据，首先采用随机采样和点云平移操作，对三维点云数据进行重采样和平移变换，以增加数据的密度和空间变化。
步骤3.2：在步骤3.1的基础上，对重采样和平移变换后的点云数据进行旋转和缩放操作，生成不同视角和尺度下的点云样本。
步骤3.3：利用步骤3.2生成的点云样本，通过PU-Net算法实现点云上采样，获取更丰富的3D细节表示。
首先，在目标物体表面随机选择M个中心点，对于每个中心点都生成一个patch，patch内任何点与中心点的测地线距离被限制在设定距离d以内，然后通过泊松圆盘采样在每个patch中采样N个点，作为小块上的真实点分布。
在上采样任务中，局部和全局信息被一起用来平滑和统一的输出。因此，用不同的尺寸设置设定距离d，这样就可以在先前的物体上提取不同比例和密度的点。之后，将采集的三维点云数据通过一个特征提取器，提取三维点云数据的point-wise特征，为后面的上采样过程做好准备。
为了更好地提取点云在不同层次的point-wise特征，本发明参考PointNet++的插值方法，从下采样的点特征中上采样恢复所有原始点的特征，从而连接不同层级的点特征，具体计算公式如式（7）所示。
(7)
其中，表示三维点云数据中的点坐标，/>表示第/>层点/>的插值特征，表示在第/>层点/>的第/>个邻居点的特征，/>表示第/>个邻居点对点/>的权重，L为总层数。
步骤3.4：为了进一步提升点云密度，需要进一步扩展步骤3.3所提取point-wise特征所在的特征空间的特征数量。
在传统的2D图像领域，通常采用反卷积和插值来实现类似上采样的效果，然而，由于点的非规则性和无序特性，将这些操作应用于点云并不容易。
为此，本发明提出一种基于子像素卷积层的有效特征扩展操作，假设输入为，维度为/>，其中，/>表示输入点的数量，/>表示拼接后point-wise特征的维度，则扩展后输出为/>，维度为/>，/>为上采样率，/>是输出的point-wise特征。
特征空间的扩展公式如式（8）所示。
(8)
其中，是点云特征的重采样策略，用于增加点云密度，/>表示第一层卷积的输出表征，/>表示对第一层卷积/>的输出再次应用第二层卷积，进而提取更高级别的点云特征，r=1,2,3表示点云数据的上采样率。
上采样过程如图4所示，包括块特征提取、点特征嵌入、特征扩展以及点云重构。
通过将复制/>份，然后分别送入到/>个不同的卷积操作/>中，再分别送入到第二层卷积/>中。
从第一层卷积生成的特征与输入特征有很高的关联性，也就是生成的结果很相似，这样的话会导致最终生成的在位置上非常接近。因此再加一层卷积/>，这样生成的特征就能够表示更多样化的点云数据。最终，通过一系列/>卷积将point-wise特征维度降至3，得到重构的点云数据。
式（7）是对点云point-wise特征进行插值采样，而式（8）则是对插值后的特征扩展到一个层级结构的网络中。
在PointNet++的架构中，网络不仅仅在一个单一的尺度上处理点云数据，而是在多个尺度上进行，进而允许网络捕获从局部到全局的不同级别的结构信息。步骤3.4的重点是如何将步骤3.3中计算得到的特征整合到更高层级的网络结构中去。特征向量/>是通过重采样和变换得到的，以适应网络的下一层。式（8）展示了这个过程，其中/>是一个新的特征向量，它从/>导出，通过卷积、复制拼接等reshape操作。
步骤3.5：将步骤102所获取的增强后的图像样本与步骤3.4所获得的重构点云样本（即稠密点云样本）相结合，得到汽车车身部件的生成样本数据，将生成样本数据同步骤101采集的真实样本数据一同作为训练集训练车身部件质量模型，从而有效处理不同汽车车身部件所带来的数据不平衡问题，提高车身部件质量模型的检测精度和泛化能力。
本发明通过三维点云数据增强方式，利用多分支卷积将点集扩展为多个隐式特征并重构为细节更丰富、类型更多的上采样点集，帮助获取汽车车身部件更准确、完整的三维点云数据。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种车身部件质量模型的生成式数据增强***。
一种车身部件质量模型的生成式数据增强***，包括：
数据采集模块，用于获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据。
图像数据增强模块，用于对所述二维图像数据进行数据增强处理，生成增强后的图像样本。
点云数据增强模块，用于对所述三维点云数据进行数据增强处理，生成稠密点云样本。
生成样本数据确定模块，用于根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据。
训练及检测模块，用于根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
实施例三
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的车身部件质量模型的生成式数据增强方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的车身部件质量模型的生成式数据增强方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车身部件质量模型的生成式数据增强方法，其特征在于，包括：
获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据；
对所述二维图像数据进行数据增强处理，生成增强后的图像样本；
对所述三维点云数据进行数据增强处理，生成稠密点云样本；
根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据；
根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
2.根据权利要求1所述的车身部件质量模型的生成式数据增强方法，其特征在于，对所述二维图像数据进行数据增强处理，生成增强后的图像样本，具体包括：
对所述二维图像数据进行平滑与小波去噪处理；
对去噪处理后的二维图像数据进行几何变换、色彩变换以及仿射变换，生成图像样本；
采用SeLU激活函数改进生成对抗网络的激活函数，并引入残差块改进所述生成对抗网络；
利用所述图像样本交替训练改进后的生成对抗网络的生成器和相对判别器，确定增强后的图像样本。
3.根据权利要求2所述的车身部件质量模型的生成式数据增强方法，其特征在于，对所述二维图像数据进行平滑与小波去噪处理，具体包括：
利用公式对所述二维图像数据进行平滑与小波去噪处理；其中，/>为去噪处理后的二维图像；/>为高斯分布的标准差；/>为所述二维图像数据的像素点水平坐标；/>为所述二维图像数据的像素点垂直坐标。
4.根据权利要求2所述的车身部件质量模型的生成式数据增强方法，其特征在于，所述SeLU激活函数为：
；
其中，为SeLU激活函数输出的缩放系数；/>为激活函数层的输入值；/>为负半轴的负斜率参数。
5.根据权利要求2所述的车身部件质量模型的生成式数据增强方法，其特征在于，所述改进后的生成对抗网络的目标为：
；
；
其中，为所述相对判别器的Loss损失函数；/>用来鼓励判别器在增加真实样本数据/>的评分的同时减少生成样本数据/>的评分；P为真实样本数据/>所服从的真实样本数据分布；Q为生成样本数据/>所服从的生成样本数据分布；为区分真实样本数据以及生成样本数据的评分差异的第一差异函数；为判别器给出的关于真实样本数据/>的评分；/>为判别器给出的关于生成样本数据/>的评分；/>为平衡项；/>为区分真实样本数据以及生成样本数据的评分差异的第二差异函数；/>为所述生成器的Loss损失函数；/>为衡量判别器/>对真实样本数据/>相对于生成样本数据/>输出差异的期望值；/>为区分真实样本数据以及生成样本数据的评分差异的第三差异函数；/>为衡量判别器/>对生成样本数据/>相对于真实样本数据/>输出差异的期望值；/>为区分真实样本数据以及生成样本数据的评分差异的第三差异函数。
6.根据权利要求1所述的车身部件质量模型的生成式数据增强方法，其特征在于，对所述三维点云数据进行数据增强处理，生成稠密点云样本，具体包括：
对所述三维点云数据进行重采样和平移变换操作；
将重采样和平移变换后的点云数据进行旋转和缩放操作，生成不同视角和尺度下的点云样本；
通过PU-Net算法对所述点云样本进行上采样操作，获取具有3D细节表示的点云特征；
基于子像素卷积层的有效特征扩展操作扩展所述点云特征的特征空间，生成扩展后的点云特征；
对所述扩展后的点云特征进行降维操作，生成稠密点云样本。
7.根据权利要求6所述的车身部件质量模型的生成式数据增强方法，其特征在于，基于子像素卷积层的有效特征扩展操作扩展所述点云特征的特征空间，生成扩展后的点云特征，具体包括：
利用公式扩展所述点云特征的特征空间，生成扩展后的点云特征；其中，/>为扩展后的点云特征；/>为点云特征的重采样策略；/>为第一层卷积的输出表征；/>为对第一层卷积/>的输出表征再次应用第二层卷积；r为点云数据的上采样率，r=1,2,3。
8.一种车身部件质量模型的生成式数据增强***，其特征在于，包括：
数据采集模块，用于获取汽车不同的车身部件的二维图像数据以及三维点云数据，生成真实样本数据；
图像数据增强模块，用于对所述二维图像数据进行数据增强处理，生成增强后的图像样本；
点云数据增强模块，用于对所述三维点云数据进行数据增强处理，生成稠密点云样本；
生成样本数据确定模块，用于根据所述增强后的图像样本以及所述稠密点云样确定车身部件的生成样本数据；
训练及检测模块，用于根据所述真实样本数据以及所述生成样本数据训练车身部件质量模型，并根据训练好的车身部件质量模型检测不同的车身部件质量。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-7中任一项所述的车身部件质量模型的生成式数据增强方法。
10.根据权利要求9所述的电子设备，其特征在于，所述存储器为非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的车身部件质量模型的生成式数据增强方法。
CN202410000457.6A 2024-01-02 2024-01-02 车身部件质量模型的生成式数据增强方法、***及设备 Pending CN117495712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410000457.6A CN117495712A (zh) 2024-01-02 2024-01-02 车身部件质量模型的生成式数据增强方法、***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410000457.6A CN117495712A (zh) 2024-01-02 2024-01-02 车身部件质量模型的生成式数据增强方法、***及设备

Publications (1)

Publication Number Publication Date
CN117495712A true CN117495712A (zh) 2024-02-02

Family

ID=89674921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410000457.6A Pending CN117495712A (zh) 2024-01-02 2024-01-02 车身部件质量模型的生成式数据增强方法、***及设备

Country Status (1)

Country Link
CN (1) CN117495712A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN116935174A (zh) * 2023-06-07 2023-10-24 上海应用技术大学 一种多模态融合的金属工件表面缺陷检测方法和***
CN117252815A (zh) * 2023-08-29 2023-12-19 上海大学 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN116935174A (zh) * 2023-06-07 2023-10-24 上海应用技术大学 一种多模态融合的金属工件表面缺陷检测方法和***
CN117252815A (zh) * 2023-08-29 2023-12-19 上海大学 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEQUAN YU ET AL.: "PU-Net: Point Cloud Upsampling Network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 16 December 2018 (2018-12-16), pages 2791 - 2793 *
杨诗婧 等: "基于视觉测量技术的汽车外观缺陷视觉检测方法研究", 基于视觉测量技术的汽车外观缺陷视觉检测方法研究, 25 June 2023 (2023-06-25), pages 69 - 71 *
郭伟 等: "改进生成式对抗网络的图像数据集增强算法", 电讯技术, 17 September 2021 (2021-09-17), pages 2 - 5 *

Similar Documents

Publication Publication Date Title
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN111553858B (zh) 基于生成对抗网络的图像修复方法、***及其应用
CN114550021B (zh) 基于特征融合的表面缺陷检测方法及设备
CN115797354B (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN109470149A (zh) 一种管路位姿的测量方法及装置
CN112183325B (zh) 基于图像对比的公路车辆检测方法
CN111951292B (zh) 物体表面反射属性提取方法、装置、设备及存储介质
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN114399505B (zh) 工业检测中的检测方法、检测装置
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
CN117495712A (zh) 车身部件质量模型的生成式数据增强方法、***及设备
CN114219841B (zh) 基于图像处理的润滑油罐体参数自动识别方法
CN116228708A (zh) 一种基于视觉认知计算的工业缺陷检测方法及***
Schnabel et al. Shape detection in point clouds
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN115034577A (zh) 一种基于虚实边缘匹配的机电产品漏装检测方法
CN116523909B (zh) 一种用于汽车车身外观的视觉检测方法及***
CN117197215B (zh) 基于五目相机***的多目视觉圆孔特征的鲁棒提取方法
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination