CN111428373A - 产品装配质量检测方法、装置、设备及存储介质 - Google Patents

产品装配质量检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111428373A
CN111428373A CN202010234959.7A CN202010234959A CN111428373A CN 111428373 A CN111428373 A CN 111428373A CN 202010234959 A CN202010234959 A CN 202010234959A CN 111428373 A CN111428373 A CN 111428373A
Authority
CN
China
Prior art keywords
model
product
simulation
quality detection
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010234959.7A
Other languages
English (en)
Inventor
王森
李志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Weixin Yiliang Intelligent Technology Co ltd
Original Assignee
Suzhou Weixin Yiliang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Weixin Yiliang Intelligent Technology Co ltd filed Critical Suzhou Weixin Yiliang Intelligent Technology Co ltd
Priority to CN202010234959.7A priority Critical patent/CN111428373A/zh
Publication of CN111428373A publication Critical patent/CN111428373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种产品装配质量检测方法、装置、设备及存储介质。该方法包括：对仿真零件模型进行装配得到仿真产品模型；基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。本申请实施例，能够解决在进行产品装配质量的检测时，难以获取足够、优质的训练数据，导致训练得到的产品装配质量检测模型性能差的问题，从而实现获取高精确度的训练数据以在进行产品装配实施之前，及时得到高性能的产品装配质量检测模型，以提高产品装配质量检测准确性。

Description

产品装配质量检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种产品装配质量检测方法、装置、设备及存储介质。
背景技术
基于深度学习的计算机视觉技术在智能制造中得到了广泛应用，目前，深度学习的训练过程仍然需要大量的训练数据，训练样本的数量与质量决定了训练模型的优劣。
在某些应用场景中，训练数据的不足的问题尤为突出，即“小样本”问题。例如，某些现场处于有限的空间，例如在进行产品装配的质量检测时，拍摄大量的训练数据存在实施层面的障碍，导致获取的训练数据量小。目前，为了解决上述问题，存在自动生成训练样本的技术，但是自动生成的训练图片与实际应用场景的环境往往不一致，造成利用这些样本得到的训练模型在实际应用中进行检测时，会出现检测结果上的偏差。
另外，采用深度学习等算法训练模型所需的训练时间相对较长，且训练数据需要现场采集再进行预处理步骤，整个过程的周期较长。对于小批量生产的场景，在深度学习训练过程完全结束后，整个生产过程可能已经完成和终止了，导致模型的形成无法赶上实际产品装配质量检测的速度要求。
发明内容
本发明实施例提供一种产品装配质量检测方法、装置、设备及存储介质，以解决在进行产品装配质量的检测时，难以获取足够、优质的训练数据，导致训练得到的产品装配质量检测模型性能差的问题。
第一方面，本发明实施例提供了一种产品装配质量检测方法，该方法包括：
对仿真零件模型进行装配得到仿真产品模型；
基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
第二方面，本发明实施例提供了一种产品装配质量检测装置，该装置包括：
装配仿真模块，用于对仿真零件模型进行装配得到仿真产品模型；
质量检测仿真训练样本集确定模块，用于基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
产品装配质量检测模型确定模块，用于根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的产品装配质量检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一项所述的产品装配质量检测方法。
本发明实施例中，通过对仿真零件模型进行装配得到仿真产品模型；基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，从获取高质量、全面且足量的训练数据，根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测，从而实现获取高精确度的训练数据以在进行产品装配实施之前，及时得到高性能的产品装配质量检测模型，以提高产品装配质量检测准确性的效果。
附图说明
图1为本发明实施例提供的一种产品装配质量检测方法的流程图；
图2为本发明又一实施例提供的一种产品装配质量检测方法的流程图；
图3为本发明实施例提供的一种产品装配质量检测装置结构示意图；
图4为本发明实施例提供的一种产品装配质量检测设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种产品装配质量检测方法的流程图。本实施例提供的产品装配质量检测方法可适用于对产品装配质量进行检测的情况，典型的，本发明实施例可以适用于在产品装配设计过程中或者在产品装配设计之后，在实施产品实物装配之前，通过仿真环境获取训练样本集得到产品装配质量检测模型，用于对产品实物的装配质量进行检测的情况。该方法具体可以由产品装配质量检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在产品装配质量检测设备中。参见图1，本发明实施例的方法具体包括：
S110、对仿真零件模型进行装配得到仿真产品模型。
本发明实施例中的仿真零件模型和仿真光源模型可以在三维仿真平台构建，例如可以为基于GPL许可证的渲染平台或CAD平台。其中，仿真零件模型为根据真实装配环境中的零件实物的参数构建的仿真零件模型，其结构、尺寸等均与零件实物一致。另外，在三维仿真平台还需要构建仿真光源模型，所述仿真光源模型的参数与真实装配环境中真实光源的参数相同，其中的参数包括仿真光源模型的光源规格参数以及光源角度参数，保证仿真装配环境中的光照环境与真实装配环境中的光照环境一致，还原真实装配环境，以使在仿真装配环境中采集的图像能够与真实装配环境中采集的图像一致，提高训练图像的还原度和准确性。
在本申请实施例中，可以根据零件实物的参数以及真实装配环境中光源的参数，构建仿真零件模型和仿真光源模型，也可以获取产品装配产线设计过程中构建的设计零件模型和设计环境模型，作为仿真零件模型和仿真环境模型。
由于真实装配环境中的产品装配实际为将零件实物进行组装以得到产品实物的过程，因此，在仿真装配环境中，模拟真实装配环境中的装配过程，将仿真零件模型装配成仿真产品模型。
在本申请实施例中，仿真产品模型可以为装配正确的仿真产品正样本模型，也可以为装配错误的仿真产品负样本模型，也可以既包括仿真产品正样本模型也包括仿真产品负样本模型。
S120、基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集。
示例性的，对仿真零件模型进行装配得到仿真产品模型，包括：基于预知的错误的产品装配方式，对仿真零件模型进行装配，得到仿真产品负样本模型。相应地，基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，包括：根据预知的错误的产品装配方式，确定仿真产品负样本模型对应的错误装配标签信息，作为所述质量检测仿真训练样本集中负训练样本图像的标签信息；其中，所述标签信息包括错误装配的类型和/或错误装配的位置。
具体的，根据日常经验确定在产品装配过程中可能出现的装配错误的产品装配方式，例如零件多装(例如铆钉多装)、漏装(例如螺钉类小零件缺失)和错装(汽车后视镜装反)等，其中，错装具体指零件的装配位置出现错误，确定可能出现的错误装配的位置。根据已知的错误装配方式，将仿真零件模型装配成仿真产品负样本模型，在仿真光源模型的光源环境下，对仿真产品负样本模型进行渲染，得到质量检测负训练样本图像集。对于各仿真产品负样本模型，其对应的错误装配方式是已知的，也就是其对应的错误装配的类型和/或错误装配的位置是已知的，因此可以准确、快速地确定仿真产品负样本模型对应的标签信息，作为通过该仿真产品负样本模型得到的负训练样本图像的标签信息。其中，标签信息的表现形式可以为，用不同颜色的矩形框标记出负训练样本图像中的错误区域，并在矩形框的左上角显示错误装配的类型。
示例性的，对仿真零件模型进行装配得到仿真产品模型，还包括：基于预知的正确的产品装配方式，对仿真零件模型进行装配，得到仿真产品正样本模型。相应地，基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，还包括：根据正确的产品装配方式，确定仿真产品正样本模型对应的正确装配标签信息，作为所述质量检测仿真训练样本集中正训练样本图像的标签信息。
具体的，质量检测仿真训练样本集中还可以包括正训练样本集。正训练样本集即对仿真产品正样本模型进行渲染得到的正训练样本图像集以及对应的标签信息。同样的，根据已知的正确的产品装配方式，对仿真零件模型进行装配，得到仿真产品正样本模型，在仿真光源模型的光源环境下，对仿真产品正样本模型进行渲染，得到质量检测正训练样本图像。由于已知该仿真产品正样本模型为装配正确的模型，因此也就已知该仿真产品正样本模型对应的标签信息，将其作为通过该仿真产品正样本模型得到的正训练样本图像的标签信息。
本申请实施例中，通过在仿真环境中根据已知的装配方式，对仿真零件模型进行装配得到仿真产品模型，因此能够根据已知的装配方式及时、准确、自动地生成通过仿真产品模型得到的质量检测训练样本图像的标签信息，标签信息与训练图像可以同时生成，与现有的人工确定标签信息的方案相比，本申请实施例中的方案不仅能够实现标签确定的自动化，并且能够避免人工确定训练图像标签信息方案中由于人为主观判断导致标签信息存在误差准确率低的问题，从而提高了标签信息的准确性。
S130、根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
示例性的，基于深度学习算法，根据质量检测仿真模型训练样本集进行模型训练，从而得到产品质量检测模型，用于对产品实物的装配质量进行检测，得到检测结果以供技术人员查看。其中，深度学习算法可以为SSD、YOLO或Faster R-CNN算法模型。
本发明实施例中，通过对仿真零件模型进行装配得到仿真产品模型；基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，从获取高质量、全面且足量的训练数据，根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测，另外，由于产品装配质量检测模型的训练是在产线设计过程中完成的，因此，解决了模型训练周期长，模型的形成无法赶上实际产品装配质量检测的速度要求的问题，从而实现获取高精确度的训练数据以在进行产品装配实施之前，及时得到高性能的产品装配质量检测模型，以提高产品装配质量检测准确性的效果。
图2为本发明又一实施例提供的一种产品装配质量检测方法的流程图。本发明实施例为对上述实施例的进一步优化，未在本实施例中详细描述的细节详见上述实施例。参见图2，本实施例提供的产品装配质量检测方法可以包括：
S201、对仿真零件模型进行装配得到仿真产品模型。
S202、基于仿真光源模型，通过至少一个角度对仿真产品模型进行处理，得到质量检测训练样本图像集；其中，所述至少一个角度与产品实物装配环境中的质量检测图像的采集角度一致。
示例性的，在仿真装配环境中，通过至少一个角度对仿真产品模型进行渲染，得到质量检测训练样本图像集。其中，质量检测训练样本图像集中训练样本图像的数量可以根据实际情况进行确定，例如可以为1000张。质量检测训练样本图像集可以为通过多个角度对一个仿真产品模型进行渲染得到的，也可以为通过一个角度对多个仿真产品模型进行渲染得到的，也可以为通过多个角度对多个仿真产品模型进行渲染得到的，在此不作具体限定，可以根据实际情况进行渲染。
在本申请实施例中，由于渲染的至少一个角度与产品实物装配环境中的质量检测图像的采集角度一致，因此，渲染得到的质量检测训练样本图像集能够真实反映产品实物装配环境中产品装配的情况，与在产品实物装配环境中采集的质量检测训练样本图像是一致的，具有更高的可靠性和场景还原性。
S203、根据所述质量检测训练样本图像集，以及质量检测训练样本图像对应的标签信息，确定质量检测仿真训练样本集。
S204、根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
S205、确定仿真缺陷零件模型。
在本申请实施例中，还可以对零件的缺陷进行检测。同样的，在产品装配设计过程中或者在产品装配设计之后，在实施产品实物装配之前，通过三维仿真平台构建仿真缺陷零件模型。示例性的，可以在构建模型之前测量得到零件实物的缺陷数据，通过缺陷数据和仿真零件模型确定仿真缺陷零件模型。根据所述缺陷数据，确定仿真缺陷零件模型对应的标签信息，作为所述缺陷检测训练样本中训练图像的标签信息；其中，所述标签信息包括缺陷的类型和/或缺陷的位置。缺陷的类型可以包括：划痕、裂纹和飞溅等。
具体的，可以为，直接根据缺陷数据，对仿真零件模型进行操作，例如，缺陷数据为直径为1mm的半球形凸起，则直接在仿真零件模型上设置直径为1mm的半球形凸起，得到仿真缺陷零件模型。也可以为，根据缺陷数据，生成仿真缺陷模型，例如，对于结构复杂的划痕，生成划痕模型，再将仿真缺陷模型嵌入至仿真零件模型中，得到仿真缺陷零件模型。
在本申请实施例中，针对不同类型的缺陷，确定所述缺陷在零件实物上的位置分布规律；其中，所述位置分布规律包括随机分布规律或统计学规律；根据各类型缺陷对应的位置分布规律，确定所述仿真缺陷模型在仿真零件模型上的嵌入位置。示例性的，仿真缺陷模型在仿真零件模型上的嵌入位置可以有多种具体实现方式。比如采用随机位置嵌入，这种方式适用于对于实际零件的表面缺陷发生位置无规律的情况。对于表面缺陷发生位置符合统计学规律的情况，可以对表面缺陷实际发生的位置进行统计，得到合适的嵌入位置。例如，对于飞溅类的缺陷，其发生是无规律随机的，可能出现在零件实物表面的任何位置，因此，在将仿真缺陷模型嵌入仿真零件模型时，可以随机选取位置进行嵌入。对于裂纹类缺陷，其发生是存在一定规律的，例如尤其容易在零件的某些部位产生裂纹，因此，根据经验和统计数据，确定裂纹容易发生的零件表面的位置，根据统计的位置，将仿真缺陷模型嵌入仿真零件模型中。
S206、基于仿真光源模型，对所述仿真缺陷零件模型进行处理，确定缺陷检测仿真训练样本集。
与上述实施例同理，在仿真光源模型的光源环境下，通过至少一个角度对仿真缺陷零件模型进行渲染，得到缺陷检测训练图像集，根据缺陷检测训练图像集，以及缺陷检测训练图像对应的标签信息，确定缺陷检测仿真训练样本集。
在本申请实施例中，缺陷检测仿真训练样本集还可以包括通过仿真无缺陷零件模型得到的缺陷检测正训练样本图像集，从而由缺陷检测正训练样本图像集以及对应的标签信息和缺陷检测负训练样本图像集以及对应的标签信息构成缺陷检测仿真训练样本集。
本申请实施例中，通过在仿真环境中根据已知的缺陷数据，嵌入仿真零件模型得到仿真缺陷零件模型，因此能够根据已知的缺陷数据及时、准确、自动地生成通过仿真缺陷零件模型得到的缺陷检测训练图像的标签信息，标签信息与训练图像可以同时生成，与现有的人工确定标签信息的方案相比，本申请实施例中的方案不仅能够实现标签确定的自动化，并且能够避免人工确定训练图像标签信息方案中由于人为主观判断导致标签信息存在误差准确率低的问题，从而提高了标签信息的准确性。
S207、根据所述缺陷检测仿真训练样本集进行模型训练，确定零件缺陷检测模型，用于对零件的缺陷进行检测。
示例性的，基于深度学习算法，根据缺陷检测仿真模型训练样本集进行模型训练，从而得到零件缺陷检测模型，用于零件的缺陷进行检测，得到检测结果以供技术人员查看。其中，深度学习算法可以为Mask R-CNN、Unet或PSPnet算法模型。
S208、获取产品实物的质量检测图像；其中，所述产品实物由零件实物装配得到。
在产品实物装配环境中，通过至少一个角度采集产品实物的质量检测图像。在产品装配质量检测过程中，获取质量检测图像，用于对产品的装配质量进行检测。质量检测图像的采集角度，与质量检测训练样本图像集的采集角度一致。
S209、基于产品装配质量检测模型，根据所述质量检测图像，确定产品装配质量的检测结果。
示例性的，将质量检测图像输入至产品装配质量检测模型，得到产品装配质量的检测结果。当质量检测训练样本集为正训练样本集，则检测结果可以包括产品装配是否正确；当质量检测训练样本集为负训练样本集，则检测结果可以包括产品装配是否错误以及错误的类型和/或位置；当质量检测训练样本集既包括正训练样本集也包括负训练样本集，则检测结果可以包括产品装配真确或错误，以及错误的类型和/或位置。
S210、获取零件实物的缺陷检测图像。
其中，缺陷检测图像可以为通过对产品实物的质量检测图像进行图像识别获取的零件实物的缺陷检测图像，也可以为直接对零件实物进行图像采集获取的零件实物的缺陷检测图像。
S211、基于零件缺陷检测模型，根据所述缺陷检测图像，确定零件缺陷的检测结果。
示例性的，将零件实物的缺陷检测图像输入至零件缺陷检测模型，得到零件缺陷的检测结果。当缺陷检测训练样本集为正训练样本集，则检测结果可以包括零件是否有缺陷；当缺陷检测训练样本集为负训练样本集，则检测结果可以包括零件是否有缺陷，以及缺陷的类型和/或位置。具体表现形式可以为，生成一个等大小的灰度图像，灰度值代表缺陷类别(例如灰度值为0代表正常区域，灰度值为1代表划痕，2代表裂纹等)，不同灰度值的区域代表不同的缺陷区域。
需要说明的是，本申请实施例中对确定产品装配质量检测模型，与确定零件缺陷检测模型的执行顺序不做具体限定，可以先确定质量检测模型，也可以向确定零件缺陷检测模型，同样的，对于产品装配质量检测与零件缺陷检测的执行过程也不做具体限定，零件缺陷检测可以在产品装配质量检测之后执行，也可以在产品装配质量检测之前执行。一般情况下，考虑到产品装配过程中可能会对零件表面造成破坏导致零件存在缺陷，因此，将零件缺陷检测安排于产品装配质量检测之后执行。
本发明实施例的技术方案，由于渲染的至少一个角度与产品实物装配环境中的质量检测图像的采集角度一致，因此，渲染得到的质量检测训练样本图像集能够真实反映产品实物装配环境中产品装配的情况，与在产品实物装配环境中采集的质量检测训练样本图像是一致的，具有更高的可靠性和场景还原性。并且能够实现对零件缺陷的检测，进一步保证了产品质量。
图3为本发明实施例提供的一种产品装配质量检测装置结构示意图。该装置可适用于对产品装配质量进行检测的情况，典型的，本发明实施例可以适用于在产品装配设计过程中或者在产品装配设计之后，在实施产品实物装配之前，通过仿真环境获取训练样本集得到产品装配质量检测模型，用于对产品实物的装配质量进行检测的情况。该装置可以由软件和/或硬件的方式实现，该装置可以集成在设备中。参见图3，该装置具体包括：
装配仿真模块310，用于对仿真零件模型进行装配得到仿真产品模型；
质量检测仿真训练样本集确定模块320，用于基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
产品装配质量检测模型确定模块330，用于根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
在本申请实施例中，所述仿真光源模型的参数与产品实物装配环境中真实光源的参数相同。
在本申请实施例中，所述装配仿真模块310，包括：
第一仿真产品模型确定单元，用于基于预知的错误的产品装配方式，对仿真零件模型进行装配，得到仿真产品模型。
在本申请实施例中，所述质量检测仿真训练样本集确定模块320，包括：
第一标签信息确定单元，用于根据预知的错误的产品装配方式，确定仿真产品模型对应的错误装配标签信息，作为所述质量检测仿真训练样本集中负训练样本图像的标签信息；其中，所述标签信息包括错误装配的类型和/或错误装配的位置。
在本申请实施例中，所述装配仿真模块310，包括：
第二仿真产品模型确定单元，用于基于预知的正确的产品装配方式，对仿真零件模型进行装配，得到仿真产品模型。
在本申请实施例中，所述质量检测仿真训练样本集确定模块320，包括：
第二标签信息确定单元，用于根据正确的产品装配方式，确定仿真产品模型对应的正确装配标签信息，作为所述质量检测仿真训练样本集中正训练样本图像的标签信息。
在本申请实施例中，所述质量检测仿真训练样本集确定模块320，包括：
渲染单元，用于基于仿真光源模型，通过至少一个角度对仿真产品模型进行处理，得到质量检测训练样本图像集；其中，所述至少一个角度与产品实物装配环境中的质量检测图像的采集角度一致；
样本集确定单元，用于根据所述质量检测训练样本图像集，以及质量检测训练样本图像对应的标签信息，确定质量检测仿真训练样本集。
在本申请实施例中，所述装置还包括：
质量检测图像获取模块，用于获取产品实物的质量检测图像；其中，所述产品实物由零件实物装配得到；
检测模块，用于基于产品装配质量检测模型，根据所述质量检测图像，确定产品装配质量的检测结果。
在本申请实施例中，所述装置还包括：
仿真缺陷零件模型确定模块，用于确定仿真缺陷零件模型；
缺陷检测仿真训练样本集确定模块，用于基于仿真光源模型，对所述仿真缺陷零件模型进行处理，确定缺陷检测仿真训练样本集；
缺陷检测模块，用于根据所述缺陷检测仿真训练样本集进行模型训练，确定零件缺陷检测模型，用于对零件的缺陷进行检测。
本申请实施例所提供的产品装配质量检测装置可执行本申请任意实施例所提供的产品装配质量检测方法，具备执行方法相应的功能模块和有益效果。
图4为本发明一种实施例提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施例的示例性设备412的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备412可以为固定式或头戴式，包括：一个或多个处理器416；存储器428，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器416执行，使得所述一个或多个处理器416实现本发明实施例所提供的产品装配质量检测方法，包括：
对仿真零件模型进行装配得到仿真产品模型；
基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器或者处理器416，设备存储器428，连接不同设备组件(包括设备存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
设备412典型地包括多种计算机设备可读存储介质。这些存储介质可以是任何能够被设备412访问的可用存储介质，包括易失性和非易失性存储介质，可移动的和不可移动的存储介质。
设备存储器428可以包括易失性存储器形式的计算机设备可读存储介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机设备存储介质。仅作为举例，存储设备434可以用于读写不可移动的、非易失性磁存储介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据存储介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块462包括但不限于操作设备、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块462通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器426等)通信，还可与一个或者多个使得用户能与该设备412交互的设备通信，和/或与使得该设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图4中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID设备、磁带驱动器以及数据备份存储设备等。
处理器416通过运行存储在设备存储器428中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种产品装配质量检测方法。
本发明一种实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种产品装配质量检测方法：
对仿真零件模型进行装配得到仿真产品模型；
基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的设备、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形存储介质，该程序可以被指令执行设备、装置或者器件使用或者与其结合使用。
计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行设备、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种产品装配质量检测方法，其特征在于，所述方法包括：
对仿真零件模型进行装配得到仿真产品模型；
基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
2.根据权利要求1所述的方法，其特征在于，所述仿真光源模型的参数与产品实物装配环境中真实光源的参数相同。
3.根据权利要求1所述的方法，其特征在于，对仿真零件模型进行装配得到仿真产品模型，包括：
基于预知的错误的产品装配方式，对仿真零件模型进行装配，得到仿真产品负样本模型。
4.根据权利要求3所述的方法，其特征在于，基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，包括：
根据预知的错误的产品装配方式，确定仿真产品负样本模型对应的错误装配标签信息，作为所述质量检测仿真训练样本集中负训练样本图像的标签信息；其中，所述标签信息包括错误装配的类型和/或错误装配的位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，对仿真零件模型进行装配得到仿真产品模型，还包括：
基于预知的正确的产品装配方式，对仿真零件模型进行装配，得到仿真产品正样本模型。
6.根据权利要求5所述的方法，其特征在于，基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，还包括：
根据正确的产品装配方式，确定仿真产品正样本模型对应的正确装配标签信息，作为所述质量检测仿真训练样本集中正训练样本图像的标签信息。
7.根据权利要求1所述的方法，其特征在于，基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集，包括：
基于仿真光源模型，通过至少一个角度对仿真产品模型进行处理，得到质量检测训练样本图像集；其中，所述至少一个角度与产品实物装配环境中的质量检测图像的采集角度一致；
根据所述质量检测训练样本图像集，以及质量检测训练样本图像对应的标签信息，确定质量检测仿真训练样本集。
8.根据权利要求1所述的方法，其特征在于，确定产品装配质量检测模型之后，所述方法还包括：
获取产品实物的质量检测图像；其中，所述产品实物由零件实物装配得到；
基于产品装配质量检测模型，根据所述质量检测图像，确定产品装配质量的检测结果。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定仿真缺陷零件模型；
基于仿真光源模型，对所述仿真缺陷零件模型进行处理，确定缺陷检测仿真训练样本集；
根据所述缺陷检测仿真训练样本集进行模型训练，确定零件缺陷检测模型，用于对零件的缺陷进行检测。
10.一种产品装配质量检测装置，其特征在于，所述装置包括：
装配仿真模块，用于对仿真零件模型进行装配得到仿真产品模型；
质量检测仿真训练样本集确定模块，用于基于仿真光源模型，对所述仿真产品模型进行处理，确定质量检测仿真训练样本集；
产品装配质量检测模型确定模块，用于根据所述质量检测仿真训练样本集进行模型训练，确定产品装配质量检测模型，用于对产品实物的装配质量进行检测。
11.一种产品装配质量检测设备，其特征在于，所述设备包括：一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的一种产品装配质量检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的一种产品装配质量检测方法。
CN202010234959.7A 2020-03-30 2020-03-30 产品装配质量检测方法、装置、设备及存储介质 Pending CN111428373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010234959.7A CN111428373A (zh) 2020-03-30 2020-03-30 产品装配质量检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010234959.7A CN111428373A (zh) 2020-03-30 2020-03-30 产品装配质量检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111428373A true CN111428373A (zh) 2020-07-17

Family

ID=71549910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010234959.7A Pending CN111428373A (zh) 2020-03-30 2020-03-30 产品装配质量检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111428373A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529855A (zh) * 2020-11-30 2021-03-19 珠海格力智能装备有限公司 遥控器的检测方法、检测装置和计算机可读存储介质
CN113052561A (zh) * 2021-04-01 2021-06-29 苏州惟信易量智能科技有限公司 一种基于可穿戴设备的流程控制***及方法
CN113655768A (zh) * 2021-10-21 2021-11-16 深圳市信润富联数字科技有限公司 装配良率控制方法、设备及计算机可读存储介质
CN113706506A (zh) * 2021-08-27 2021-11-26 创新奇智(重庆)科技有限公司 一种装配状态检测的方法、装置、电子设备及存储介质
CN113743342A (zh) * 2021-09-10 2021-12-03 齐鲁工业大学 一种装配流程检测的方法、***、终端及存储介质
CN113781407A (zh) * 2021-08-24 2021-12-10 五邑大学 螺钉检测方法、装置和计算机可读存储介质
CN113781623A (zh) * 2021-11-15 2021-12-10 常州微亿智造科技有限公司 工业质检中的缺陷样本生成方法及装置
GB2613879A (en) * 2021-12-17 2023-06-21 Zeta Motion Ltd Automated inspection system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109596638A (zh) * 2018-10-26 2019-04-09 中国科学院光电研究院 有图形晶圆及掩模版的缺陷检测方法及装置
CN109816634A (zh) * 2018-12-29 2019-05-28 歌尔股份有限公司 检测方法、模型训练方法、装置及设备
CN109934907A (zh) * 2019-02-14 2019-06-25 深兰科技（上海）有限公司 一种样本生成方法、装置、介质和设备
CN109978835A (zh) * 2019-03-04 2019-07-05 广东石油化工学院 一种在线装配缺陷识别***及其方法
CN110427837A (zh) * 2019-07-12 2019-11-08 深兰科技（上海）有限公司 一种神经网络模型训练样本采集方法、装置、终端及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109596638A (zh) * 2018-10-26 2019-04-09 中国科学院光电研究院 有图形晶圆及掩模版的缺陷检测方法及装置
CN109816634A (zh) * 2018-12-29 2019-05-28 歌尔股份有限公司 检测方法、模型训练方法、装置及设备
CN109934907A (zh) * 2019-02-14 2019-06-25 深兰科技（上海）有限公司 一种样本生成方法、装置、介质和设备
CN109978835A (zh) * 2019-03-04 2019-07-05 广东石油化工学院 一种在线装配缺陷识别***及其方法
CN110427837A (zh) * 2019-07-12 2019-11-08 深兰科技（上海）有限公司 一种神经网络模型训练样本采集方法、装置、终端及介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529855A (zh) * 2020-11-30 2021-03-19 珠海格力智能装备有限公司 遥控器的检测方法、检测装置和计算机可读存储介质
CN113052561A (zh) * 2021-04-01 2021-06-29 苏州惟信易量智能科技有限公司 一种基于可穿戴设备的流程控制***及方法
CN113781407A (zh) * 2021-08-24 2021-12-10 五邑大学 螺钉检测方法、装置和计算机可读存储介质
CN113706506A (zh) * 2021-08-27 2021-11-26 创新奇智(重庆)科技有限公司 一种装配状态检测的方法、装置、电子设备及存储介质
CN113743342A (zh) * 2021-09-10 2021-12-03 齐鲁工业大学 一种装配流程检测的方法、***、终端及存储介质
CN113743342B (zh) * 2021-09-10 2023-08-15 齐鲁工业大学 一种装配流程检测的方法、***、终端及存储介质
CN113655768A (zh) * 2021-10-21 2021-11-16 深圳市信润富联数字科技有限公司 装配良率控制方法、设备及计算机可读存储介质
CN113781623A (zh) * 2021-11-15 2021-12-10 常州微亿智造科技有限公司 工业质检中的缺陷样本生成方法及装置
CN113781623B (zh) * 2021-11-15 2022-02-18 常州微亿智造科技有限公司 工业质检中的缺陷样本生成方法及装置
GB2613879A (en) * 2021-12-17 2023-06-21 Zeta Motion Ltd Automated inspection system

Similar Documents

Publication Publication Date Title
CN111428373A (zh) 产品装配质量检测方法、装置、设备及存储介质
CN111428374A (zh) 零件缺陷检测方法、装置、设备及存储介质
JP6868119B2 (ja) ホログラフィック偽造防止コードの検査方法及び装置
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN108010118B (zh) 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备
CN111986159B (zh) 太阳能电池片的电极缺陷检测方法、设备及存储介质
CN115937147B (zh) 缺陷检测参数的确定方法、装置、设备及存储介质
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN113989616A (zh) 一种目标检测方法、装置、设备和存储介质
CN109840212B (zh) 应用程序的功能测试方法、装置、设备及可读存储介质
CN114565780A (zh) 一种目标识别方法、装置、电子设备及存储介质
CN113936232A (zh) 一种碎屏识别方法、装置、设备和存储介质
CN113744252A (zh) 用于标记和检测缺陷的方法、设备、存储介质和程序产品
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
CN113971650A (zh) 产品瑕疵检测方法、计算机装置及存储介质
CN116721104A (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN115452101A (zh) 一种仪表检定方法、装置、设备及介质
CN114708239A (zh) 胶宽检测方法、装置、电子设备及存储介质
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN113627611A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN112966671A (zh) 一种合同检测方法、装置、电子设备及存储介质
CN112559340A (zh) 一种画面测试方法、装置、设备及存储介质
CN111124862A (zh) 智能设备性能测试方法、装置及智能设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination