CN115078372A - 产品工艺检测方法、装置、计算机设备及介质 - Google Patents

产品工艺检测方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN115078372A
CN115078372A CN202210446153.3A CN202210446153A CN115078372A CN 115078372 A CN115078372 A CN 115078372A CN 202210446153 A CN202210446153 A CN 202210446153A CN 115078372 A CN115078372 A CN 115078372A
Authority
CN
China
Prior art keywords
process detection
image
frame
target product
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210446153.3A
Other languages
English (en)
Inventor
姚绪松
陈方
席豪圣
卢绍粦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qb Precision Industrial Co ltd
Original Assignee
Shenzhen Qb Precision Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qb Precision Industrial Co ltd filed Critical Shenzhen Qb Precision Industrial Co ltd
Priority to CN202210446153.3A priority Critical patent/CN115078372A/zh
Publication of CN115078372A publication Critical patent/CN115078372A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开了一种产品工艺检测方法、装置、计算机设备及介质，其中方法包括：根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；根据所述特征点数据集进行工艺检测特征数据计算；根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。从而提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性。

Description

产品工艺检测方法、装置、计算机设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种产品工艺检测方法、装置、计算机设备及介质。
背景技术
随着人工智能的发展，将人工智能应用于工艺检测的研究越来越多。目前基于人工智能的工艺检测是对规则类的平面产品进行检测，比如，手机的零部件产品，基于人工智能的工艺检测通过对产品进行三维成像、图像处理和特征数据计算，以实现检测工艺是否合格。而不规则类的三维空间曲面产品的成像易产生图像盲区，导致图像处理和特征数据计算的准确性较低。
发明内容
基于此，有必要针对上述问题，提出了一种产品工艺检测方法、装置、计算机设备及介质。
一种产品工艺检测方法，所述方法包括：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
进一步的，所述扫描指标集包括：第一扫描指标、第二扫描指标和第三扫描指标；
所述第一扫描指标，用于使所述目标产品的工艺面位于所述线扫激光数据对应的激光线列的中心位置，其中，所述中心位置是所述线扫激光数据对应的三维线扫相机的X轴的中心点位置；
所述第二扫描指标，用于使所述工艺面与所述激光线列的发射方向垂直；
所述第三扫描指标，用于使所述激光线列的排列方向与所述工艺面的工艺检测对象的移动方向垂直，并且所述激光线列的排列方向与所述工艺检测对象的切线方向平行。
进一步的，所述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤，包括：
从所述标准特征数据集中获取与所述工艺检测特征数据对应的各个标准特征数据，作为目标特征数据集；
判断所述工艺检测特征数据是否位于所述目标特征数据集对应的特征范围内；
若是，则将所述单帧工艺检测结果确定为合格；
若否，则将所述单帧工艺检测结果确定为不合格。
进一步的，所述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤之后，还包括：
根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像；
根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像。
进一步的，所述根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像的步骤，包括：
将所述工艺检测路径作为拼接路径；
将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像；
根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算；
根据所述扫描指标集、所述拼接位置和所述工艺检测路径，对所述待拼接图像进行拼接角度计算；
根据所述拼接角度和所述拼接位置，将所述待拼接图像***所述拼接路径；
重复执行所述将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像的步骤，直至所有所述单帧图像均***所述拼接路径；
根据所述拼接路径上的各个所述单帧图像确定所述初始三维点云图像。
进一步的，所述根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像的步骤，包括：
根据所述目标产品对应的目标扫描模式、所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到所述单帧图像；
所述根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算的步骤，包括：
若所述目标扫描模式为按预设的时间间隔扫描，则根据所述时间间隔和各个所述单帧图像确定所述待拼接图像的拍摄时间，根据所述拍摄时间、所述工艺检测路径和所述目标产品对应的移动速度进行所述拼接位置计算；
若所述目标扫描模式为触发式扫描，则根据预设的拍摄位置数据和所述工艺检测路径，对所述待拼接图像进行所述拼接位置计算。
进一步的，所述根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像的步骤，包括：
将所述单帧工艺检测结果为不合格的每个所述单帧图像作为待标记图像；
采用预设的标记格式，对所述初始三维点云图像中的各个所述待标记图像进行标记；
将完成标记的所述初始三维点云图像作为所述目标三维点云图像。
一种产品工艺检测装置，所述装置包括：
工艺检测路径确定模块，用于获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
单帧图像确定模块，用于根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
特征点数据集确定模块，用于根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
工艺检测特征数据确定模块，用于根据所述特征点数据集进行工艺检测特征数据计算；
单帧工艺检测结果确定模块，用于根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
本申请的产品工艺检测方法，通过根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，从而使工艺检测路径符合扫描指标集的要求，有利于提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性；通过根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，实现了采用激光线扫的方式进行图像采集，相对非激光线扫的方式，激光线扫的方式有利于提高对不规则类的产品的成像准确性，进一步提高了单帧工艺检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中产品工艺检测方法的流程图；
图2为本申请的应用场景的示意图；
图3为一个实施例中产品工艺检测装置的结构框图；
图4为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种产品工艺检测方法。该方法既可以应用于终端，也可以应用于服务器，本实施例以应用于终端举例说明。该产品工艺检测方法具体包括如下步骤：
S102：获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
其中，根据工艺处理轨迹控制执行设备，以实现按工艺处理轨迹进行产品的生成。
目标产品，是需要进行工艺检测的产品。目标产品可以是规则类的平面产品，也可以是不规则类的三维空间曲面产品。产品包括但不限于：3D(三维)眼镜。
在产品的生产制造中，需要先制定产品的工艺处理轨迹，并操作相应的执行设备抓住产品后顺着工艺处理轨迹执行，以用于对产品进行工艺加工，以形成工艺对象；为了确定工艺对象是否合格，需要对工艺对象进行检测，因此将工艺对象作为工艺检测对象。执行设备包括但不限于：六轴机器人。工艺的取值范围包括但不限于：点胶、装配和焊接。工艺检测对象的取值范围包括但不限于：胶路、装配缝隙和焊疤。
其中，操作执行设备抓住产品后顺着工艺检测路径执行，用于对产品的工艺检测对象进行工艺检测。
其中，若目标产品是3D眼镜，通过计算执行设备与相机的空间位置关系；扫描3D眼镜并生成相应的标准模型；分所述标准模型成多个区域，并在每个区域内抓取特征点，其中，每个区域的范围为1mm至5mm；接每个区域内的特征点以形成3D眼镜的工艺处理轨迹。从而通过在生成的标准模型上划分多个区域，并将区域控制在一定范围内，以使产品在划分的区域内形成接近于平面结构，以在该区域能进行正常的示教操作，并减少产品由于不适应示教而导致产品的不良。
线扫激光数据，是三维线扫相机的激光线列的特征数据。线扫激光数据包括但不限于：发射位置、发射方向和排列方向。可以理解的是，三维线扫相机将发射多条激光线，所有激光线排成一列，以形成激光线列。发射位置，是三维线扫相机的激光线列的开始位置。发射方向，是三维线扫相机发射的激光的传输方向。排列方向，是与激光线列的中心线的垂直的方向，并且与激光线列平行。
具体而言，可以获取用户输入的目标产品的工艺处理轨迹和线扫激光数据，也可以从数据库中获取目标产品的工艺处理轨迹和线扫激光数据，还可以从第三方应用中获取目标产品的工艺处理轨迹和线扫激光数据。
其中，扫描指标集中包括一个或多个扫描指标。扫描指标，是激光线列与目标产品的位置关系。
具体而言，根据所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，其中，所述线扫激光数据对应的激光线列与预设的目标产品的位置关系符合扫描指标集的要求。
S104：根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
具体而言，执行设备采用预设的抓取方式抓取目标产品，然后按照所述工艺检测路径进行执行，以实现将目标产品移动到所述线扫激光数据对应的三维线扫相机下方；三维线扫相机采用所述线扫激光数据对应的激光线列，对所述目标产品进行图像采集，将采集到的二维图像作为单帧图像。也就是说，三维线扫相机是固定不动的，执行设备抓取目标产品以按照所述工艺检测路径移动目标产品。
采用激光线列对所述目标产品进行图像采集，也就是采用轮廓模式进行扫描。
可以理解的是，单帧图像是XZ二维图像，也就是说，单帧图像的坐标系包括X轴和Z轴，X轴是排列方向，Z轴是发射方向的坐标。单帧图像的坐标系，也就是所述线扫激光数据对应的三维线扫相机的坐标系。
单帧图像是由点组成的二维图像。单帧图像中的每个点对应所述线扫激光数据对应的激光线列中的一条激光线。
可以理解的是，可以每采集所述目标产品的一个单帧图像就执行步骤S106至步骤S110以确定单帧工艺检测结果，也可以采集完所述目标产品的所有单帧图像之后，再对每个单帧图像执行步骤S106至步骤S110以确定单帧工艺检测结果。
S106：根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
其中，特征点配置中包括一个或多个特征点计算公式。特征点计算公式用于计算工艺检测对象中的特征点的参数。
比如，本申请应用于3D眼镜的工艺检测时，特征点的取值范围包括：断胶、胶路的位置、胶路的形状、装配缝隙的尺寸、焊疤的尺寸。
具体而言，可以获取用户输入的所述目标产品对应的特征点配置，也可以从数据库中获取所述目标产品对应的特征点配置，还可以从第三方应用中获取所述目标产品对应的特征点配置；针对所述目标产品对应的特征点配置中的每个特征点计算公式，对所述单帧图像进行特征点的参数数据计算；将计算得到的各个参数数据作为所述特征点数据集。
其中，通过对所述单帧图像中的点形成的轮廓的分析，即可计算出特征点数据集。
S108：根据所述特征点数据集进行工艺检测特征数据计算；
具体而言，根据所述特征点数据集进行特征点的特征数据计算，将计算得到的各个特征数据作为所述工艺检测特征数据。
比如，本申请应用于3D眼镜的工艺检测时，工艺检测特征数据中包括但不限于：胶路宽度、胶路高度、胶路外边距、胶路内边距、断胶尺寸、胶路体积、装配缝隙尺寸、焊疤尺寸、毛刺尺寸和披锋尺寸。
S110：根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
具体而言，根据所述目标产品对应的产品标识，从预设的标准特征库中获取特征数据集，将获取的特征数据集作为所述目标产品对应的标准特征数据集；判断所述工艺检测特征数据中的每个特征数据是否位于标准特征数据集要求的数据范围内，若是，则将单帧工艺检测结果确定为合格；若在所述工艺检测特征数据中存在任一个特征数据位于标准特征数据集要求的数据范围外，则将单帧工艺检测结果确定为不合格。
比如，胶路的宽度要求的范围是1mm到3mm，若所述工艺检测特征数据中的胶路宽度(也就是特征数据)为3.5mm，3.5mm位于1mm到3mm对应的数据范围外，则将单帧工艺检测结果确定为不合格。
标准特征库包括：产品标识和特征数据集。产品标识可以是产品名称、产品ID等唯一标识一个产品的数据。特征数据集中包括一个或多个标准特征数据。
本实施例通过根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，从而使工艺检测路径符合扫描指标集的要求，有利于提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性；通过根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，实现了采用激光线扫的方式进行图像采集，相对非激光线扫的方式，激光线扫的方式有利于提高对不规则类的产品的成像准确性，进一步提高了单帧工艺检测结果的准确性。
在一个实施例中，上述扫描指标集包括：第一扫描指标、第二扫描指标和第三扫描指标；
所述第一扫描指标，用于使所述目标产品的工艺面位于所述线扫激光数据对应的激光线列的中心位置，其中，所述中心位置是所述线扫激光数据对应的三维线扫相机的X轴的中心点位置；
所述第二扫描指标，用于使所述工艺面与所述激光线列的发射方向垂直；
所述第三扫描指标，用于使所述激光线列的排列方向与所述工艺面的工艺检测对象的移动方向垂直，并且所述激光线列的排列方向与所述工艺检测对象的切线方向平行。
工艺面，是工艺作业的面，该面可以是规则类的平面，也可以是不规则类的三维空间曲面。
如图2所示，ABCD对应的面为所述工艺面，XL为所述激光线列，DX为所述工艺检测对象(也就是胶路)，OF为所述激光线列的发射方向，OY所述工艺面的工艺检测对象的移动方向，OP是所述激光线列的排列方向。
本实施例通过第一扫描指标、第二扫描指标和第三扫描指标，明确的确定了激光线列与工艺面及工艺检测对象的关系，从而使根据预设的扫描指标集确定的工艺检测路径具有唯一性；通过使所述目标产品的工艺面位于所述线扫激光数据对应的激光线列的中心位置，从而使工艺检测对象位于三维线扫相机的视野中心，最大程度的减少了图像盲区，提高了单帧图像的准确性；通过所述工艺面与所述激光线列的发射方向垂直、所述激光线列的排列方向与所述工艺面的工艺检测对象的移动方向垂直、所述激光线列的排列方向与所述工艺检测对象的切线方向平行，从三维线扫相机的成像原理以及几何特征上获得准确的工艺检测对象切面，确保了工艺检测特征数据的准确性，有利于提高单帧工艺检测结果的准确性。
在一个实施例中，上述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤，包括：
S302：从所述标准特征数据集中获取与所述工艺检测特征数据对应的各个标准特征数据，作为目标特征数据集；
具体而言，从所述标准特征数据集中获取与所述工艺检测特征数据对应的各个标准特征数据，将提取的各个特征数据作为目标特征数据集，从而确定了所述工艺检测特征数据需要满足的所有标准特征数据。
S304：判断所述工艺检测特征数据是否位于所述目标特征数据集对应的特征范围内；
具体而言，将所述工艺检测特征数据中的任一个特征数据作为待分析数据；判断所述待分析数据的是否位于所述目标特征数据集中的与待分析数据对应的标准特征数据对应的特征范围内，若是，则确定所述待分析数据位于特征范围内，否则，则确定待分析数据位于特征范围外。
当所述工艺检测特征数据中的所有特征数据均为合格时，则将所述单帧工艺检测结果确定为合格，否则，将所述单帧工艺检测结果确定为不合格。
S306：若是，则将所述单帧工艺检测结果确定为合格；
具体而言，若是，也就是所述工艺检测特征数据中的所有特征数据均位于特征范围内，因此，将所述单帧工艺检测结果确定为合格。
S308：若否，则将所述单帧工艺检测结果确定为不合格。
具体而言，若否，也就是所述工艺检测特征数据中的部分数据或所有数据位于特征范围外，因此，将所述单帧工艺检测结果确定为不合格。
在一个实施例中，上述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤之后，还包括：
S402：根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像；
具体而言，根据所述扫描指标集，将各个所述单帧图像***所述工艺检测路径，将所述工艺检测路径上的各个所述单帧图像对应的各个点作为三维点云图像，将三维点云图像作为初始三维点云图像。
也就是说，初始三维点云图像是由点云组成的三维图像。
S404：根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像。
具体而言，采用预设的标记规范，根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，将完成标记的所述初始三维点云图像作为所述目标产品对应的目标三维点云图像。
可选的，标记规范为将所述单帧工艺检测结果为不合格的所述单帧图像作为需要标记的图像，将需要标记的图像在初始三维点云图像标记为第一预设颜色。
可选的，标记规范为将所述单帧工艺检测结果为合格的所述单帧图像作为需要标记的图像，将需要标记的图像在初始三维点云图像标记为第二预设颜色。
本实施例通过构建三维点云图像，可以直观的表述产品形状，而且根据各个所述单帧工艺检测结果对所述初始三维点云图像进行标记，从而将单帧工艺检测结果融入三维点云图像，有利于直观的展示工艺检测的结果。
在一个实施例中，上述根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像的步骤，包括：
S502：将所述工艺检测路径作为拼接路径；
具体而言，将所述工艺检测路径作为拼接路径，从而确定了单帧图像***的路径基础。
S504：将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像；
具体而言，将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像，也就是说，每次将一张所述单帧图像***拼接路径。
S506：根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算；
具体而言，根据所述待拼接图像的拍摄时间，确定所述待拼接图像在所述工艺检测路径对应的拍摄位置，将该拍摄位置作为拼接位置。
拍摄位置，也就是线扫激光数据对应的激光线列与所述工艺检测路径的相交位置。
S508：根据所述扫描指标集、所述拼接位置和所述工艺检测路径，对所述待拼接图像进行拼接角度计算；
具体而言，首先确定所述工艺检测路径在所述拼接位置的形状数据，然后基于所述扫描指标集的约束，根据形状数据对所述待拼接图像进行拼接角度计算。
也就是说，所述待拼接图像的拼接角度需要满足所述扫描指标集中的各个扫描指标的要求。
S510：根据所述拼接角度和所述拼接位置，将所述待拼接图像***所述拼接路径；
具体而言，将所述待拼接图像，以所述拼接角度，***所述拼接路径的所述拼接位置。
S512：重复执行所述将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像的步骤，直至所有所述单帧图像均***所述拼接路径；
具体而言，重复执行所述将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像的步骤，也就是重复执行步骤S504至步骤S512，直至所有所述单帧图像均***所述拼接路径；当所有所述单帧图像均***所述拼接路径时，停止执行步骤S504至步骤S512，开始执行步骤S514。
S514：根据所述拼接路径上的各个所述单帧图像确定所述初始三维点云图像。
具体而言，将所述拼接路径上的各个所述单帧图像对应的各个点组成的点云图像作为所述初始三维点云图像。
本实施例根据所述拼接角度和所述拼接位置，将所述待拼接图像***所述拼接路径，从而提高了三维点云图像构建的准确性；而且根据所述扫描指标集和所述工艺检测路径计算拼接角度，从而使待拼接图像的拼接角度符合图像采集的角度，提高了***的准确性；通过基于工艺检测路径应进行拼接角度计算、拼接位置计算、待拼接图像***的路径，从而准确的还原了所述目标产品的三维点云图像，提高了目标三维点云图像的准确性。
在一个实施例中，上述根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像的步骤，包括：
S602：根据所述目标产品对应的目标扫描模式、所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到所述单帧图像；
目标扫描模式包括：按预设的时间间隔扫描或触发式扫描。按预设的时间间隔扫描，是按预设的时间间隔发射激光线列进行扫描，每次扫描一张图像作为所述单帧图像。触发式扫描，是在收到扫描信号时，发射激光线列进行扫描。
具体而言，执行设备采用预设的抓取方式抓取目标产品，然后按照所述工艺检测路径进行执行，以实现将目标产品移动到所述线扫激光数据对应的三维线扫相机下方；三维线扫相机根据所述目标产品对应的目标扫描模式和所述线扫激光数据发射激光线列，以实现对所述目标产品进行图像采集，将采集到的二维图像作为单帧图像。
所述根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算的步骤，包括：
S604：若所述目标扫描模式为按预设的时间间隔扫描，则根据所述时间间隔和各个所述单帧图像确定所述待拼接图像的拍摄时间，根据所述拍摄时间、所述工艺检测路径和所述目标产品对应的移动速度进行所述拼接位置计算；
具体而言，若所述目标扫描模式为按预设的时间间隔扫描，意味着相邻两个所述单帧图像之间的拍摄时间的间隔相同，因此，可以计算所述待拼接图像在各个所述单帧图像中的排序序号，根据排序序号和所述时间间隔计算出所述待拼接图像的拍摄时间；然后根据所述拍摄时间和所述目标产品对应的移动速度确定所述目标产品的移动距离，在所述工艺检测路径上确定与移动距离对应的结束位置，将结束位置作为所述拼接位置。
S606：若所述目标扫描模式为触发式扫描，则根据预设的拍摄位置数据和所述工艺检测路径，对所述待拼接图像进行所述拼接位置计算。
具体而言，若所述目标扫描模式为触发式扫描，意味着每个所述单帧图像是收到扫描信号才进行图像采集的，因此，从预设的拍摄位置数据中，确定所述待拼接图像对应的位置数据，将所述待拼接图像对应的位置数据在所述工艺检测路径上的位置作为所述拼接位置。
本实施例采用与所述目标产品对应的目标扫描模式进行图像采集，并基于与所述目标产品对应的目标扫描模式对应的拼接位置计算方法对所述待拼接图像进行所述拼接位置计算，从而实现了自动化根据不同的目标扫描模式进行图像采集和三维点云图像构建，提高了本申请的自动化程度。
在一个实施例中，上述根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像的步骤，包括：
S702：将所述单帧工艺检测结果为不合格的每个所述单帧图像作为待标记图像；
具体而言，将所述单帧工艺检测结果为不合格的每个所述单帧图像作为待标记图像，从而为对工艺检测不合格的位置进行标记提供了基础。
S704：采用预设的标记格式，对所述初始三维点云图像中的各个所述待标记图像进行标记；
具体而言，将所述初始三维点云图像中的与各个所述待标记图像对应的各个点的颜色标记为预设的标记格式对应的颜色。
可选的，预设的标记格式为采用预设颜色。
可选的，所述单帧工艺检测结果包括：检测结论和不合格特征点集；将任一个待标记图像作为待处理图像；采用所述待处理图像对应的不合格特征点集对应的标记格式，对所述初始三维点云图像中的与所述待处理图像对应的各个点进行标记。从而实现了针对不同的不合格特征点集采用不同的标记格式，实现通过不同的标记格式标注出不同的不合格特征点，进一步提高了定位问题和解决问题的速度。
不合格特征点集，是不合格的特征点的集合。
S706：将完成标记的所述初始三维点云图像作为所述目标三维点云图像。
具体而言，将完成标记的所述初始三维点云图像作为所述目标三维点云图像，从而得到了标记了不合格的点云的目标三维点云图像。
本实施例采用预设的标记格式对所述初始三维点云图像中的所述单帧工艺检测结果为不合格的所述单帧图像进行标记，从而在目标三维点云图像上直观的展示了不合格的单帧图像，提高了定位问题和解决问题的速度。
如图3所示，一种产品工艺检测装置，所述装置包括：
工艺检测路径确定模块802，用于获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
单帧图像确定模块804，用于根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
特征点数据集确定模块806，用于根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
工艺检测特征数据确定模块808，用于根据所述特征点数据集进行工艺检测特征数据计算；
单帧工艺检测结果确定模块810，用于根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
本实施例通过根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，从而使工艺检测路径符合扫描指标集的要求，有利于提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性；通过根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，实现了采用激光线扫的方式进行图像采集，相对非激光线扫的方式，激光线扫的方式有利于提高对不规则类的产品的成像准确性，进一步提高了单帧工艺检测结果的准确性。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现产品工艺检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行产品工艺检测方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
本实施例通过根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，从而使工艺检测路径符合扫描指标集的要求，有利于提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性；通过根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，实现了采用激光线扫的方式进行图像采集，相对非激光线扫的方式，激光线扫的方式有利于提高对不规则类的产品的成像准确性，进一步提高了单帧工艺检测结果的准确性。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
本实施例通过根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算，从而使工艺检测路径符合扫描指标集的要求，有利于提高图像采集得到的单帧图像的准确性，提高了单帧工艺检测结果的准确性；通过根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，实现了采用激光线扫的方式进行图像采集，相对非激光线扫的方式，激光线扫的方式有利于提高对不规则类的产品的成像准确性，进一步提高了单帧工艺检测结果的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。

Claims (10)

1.一种产品工艺检测方法，所述方法包括：
获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
根据所述特征点数据集进行工艺检测特征数据计算；
根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
2.根据权利要求1所述的产品工艺检测方法，其特征在于，所述扫描指标集包括：第一扫描指标、第二扫描指标和第三扫描指标；
所述第一扫描指标，用于使所述目标产品的工艺面位于所述线扫激光数据对应的激光线列的中心位置，其中，所述中心位置是所述线扫激光数据对应的三维线扫相机的X轴的中心点位置；
所述第二扫描指标，用于使所述工艺面与所述激光线列的发射方向垂直；
所述第三扫描指标，用于使所述激光线列的排列方向与所述工艺面的工艺检测对象的移动方向垂直，并且所述激光线列的排列方向与所述工艺检测对象的切线方向平行。
3.根据权利要求1所述的产品工艺检测方法，其特征在于，所述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤，包括：
从所述标准特征数据集中获取与所述工艺检测特征数据对应的各个标准特征数据，作为目标特征数据集；
判断所述工艺检测特征数据是否位于所述目标特征数据集对应的特征范围内；
若是，则将所述单帧工艺检测结果确定为合格；
若否，则将所述单帧工艺检测结果确定为不合格。
4.根据权利要求1所述的产品工艺检测方法，其特征在于，所述根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果的步骤之后，还包括：
根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像；
根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像。
5.根据权利要求4所述的产品工艺检测方法，其特征在于，所述根据所述扫描指标集、所述工艺检测路径和各个所述单帧图像进行三维点云图像构建，以形成初始三维点云图像的步骤，包括：
将所述工艺检测路径作为拼接路径；
将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像；
根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算；
根据所述扫描指标集、所述拼接位置和所述工艺检测路径，对所述待拼接图像进行拼接角度计算；
根据所述拼接角度和所述拼接位置，将所述待拼接图像***所述拼接路径；
重复执行所述将各个所述单帧图像中的任一个所述单帧图像作为待拼接图像的步骤，直至所有所述单帧图像均***所述拼接路径；
根据所述拼接路径上的各个所述单帧图像确定所述初始三维点云图像。
6.根据权利要求5所述的产品工艺检测方法，其特征在于，所述根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像的步骤，包括：
根据所述目标产品对应的目标扫描模式、所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到所述单帧图像；
所述根据所述工艺检测路径，对所述待拼接图像进行拼接位置计算的步骤，包括：
若所述目标扫描模式为按预设的时间间隔扫描，则根据所述时间间隔和各个所述单帧图像确定所述待拼接图像的拍摄时间，根据所述拍摄时间、所述工艺检测路径和所述目标产品对应的移动速度进行所述拼接位置计算；
若所述目标扫描模式为触发式扫描，则根据预设的拍摄位置数据和所述工艺检测路径，对所述待拼接图像进行所述拼接位置计算。
7.根据权利要求4所述的产品工艺检测方法，其特征在于，所述根据各个所述单帧工艺检测结果，对所述初始三维点云图像进行标记，得到所述目标产品对应的目标三维点云图像的步骤，包括：
将所述单帧工艺检测结果为不合格的每个所述单帧图像作为待标记图像；
采用预设的标记格式，对所述初始三维点云图像中的各个所述待标记图像进行标记；
将完成标记的所述初始三维点云图像作为所述目标三维点云图像。
8.一种产品工艺检测装置，其特征在于，所述装置包括：
工艺检测路径确定模块，用于获取目标产品的工艺处理轨迹和线扫激光数据，并根据预设的扫描指标集、所述线扫激光数据和所述工艺处理轨迹进行工艺检测路径计算；
单帧图像确定模块，用于根据所述工艺检测路径和所述线扫激光数据，对所述目标产品进行图像采集，得到单帧图像；
特征点数据集确定模块，用于根据所述目标产品对应的特征点配置，对所述单帧图像进行特征点数据集计算；
工艺检测特征数据确定模块，用于根据所述特征点数据集进行工艺检测特征数据计算；
单帧工艺检测结果确定模块，用于根据所述目标产品对应的标准特征数据集，对所述工艺检测特征数据进行工艺是否合格判断，得到单帧工艺检测结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202210446153.3A 2022-04-26 2022-04-26 产品工艺检测方法、装置、计算机设备及介质 Pending CN115078372A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446153.3A CN115078372A (zh) 2022-04-26 2022-04-26 产品工艺检测方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446153.3A CN115078372A (zh) 2022-04-26 2022-04-26 产品工艺检测方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN115078372A true CN115078372A (zh) 2022-09-20

Family

ID=83246991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446153.3A Pending CN115078372A (zh) 2022-04-26 2022-04-26 产品工艺检测方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN115078372A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091643A (zh) * 2022-12-28 2023-05-09 群滨智造科技(苏州)有限公司 鞋面底部工艺轨迹的生成方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091643A (zh) * 2022-12-28 2023-05-09 群滨智造科技(苏州)有限公司 鞋面底部工艺轨迹的生成方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108921925B (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
CN110458112B (zh) 车辆检测方法、装置、计算机设备和可读存储介质
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
US20220011240A1 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
US9360307B2 (en) Structured-light based measuring method and system
CN107742304B (zh) 移动轨迹的确定方法及装置、移动机器人及存储介质
TW201629909A (zh) 三維物件識別技術
US8648895B2 (en) Method and apparatus for performing three-dimensional measurement
EP1286309A2 (en) An automated CAD guided sensor planning process
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN107504917B (zh) 一种三维尺寸测量方法及装置
EP3430595B1 (en) Determining the relative position between a point cloud generating camera and another camera
US11120545B2 (en) Method for measuring hole provided in workpiece
CN113888458A (zh) 用于对象检测的方法和***
CN115078372A (zh) 产品工艺检测方法、装置、计算机设备及介质
JP2021056017A (ja) 合成処理装置、合成処理システム及び合成処理方法
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
CN113850280A (zh) 一种智能飞机零件喷码标识方法、装置、存储介质及设备
CN113240745A (zh) 点云数据标定方法、装置、计算机设备和存储介质
CN112102473A (zh) 配网带电作业机器人的作业场景建模方法及***
CN113942013B (zh) 基于数据可视化的快速手眼标定方法及***
CN115100257A (zh) 套管对准方法、装置、计算机设备、存储介质
WO2017002831A1 (ja) 計測システム及び計測方法
CN112698421A (zh) 障碍物检测的测评方法、装置、设备以及存储介质
CN117437602B (zh) 一种双图层数据标定方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination