CN113129357B - 一种复杂背景下三维扫描测量光条中心提取方法 - Google Patents

一种复杂背景下三维扫描测量光条中心提取方法 Download PDF

Info

Publication number
CN113129357B
CN113129357B CN202110503891.2A CN202110503891A CN113129357B CN 113129357 B CN113129357 B CN 113129357B CN 202110503891 A CN202110503891 A CN 202110503891A CN 113129357 B CN113129357 B CN 113129357B
Authority
CN
China
Prior art keywords
layer
light
light strip
light bar
kernels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110503891.2A
Other languages
English (en)
Other versions
CN113129357A (zh
Inventor
于连栋
万茂森
王帅东
张翔
贾华坤
郑仁昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110503891.2A priority Critical patent/CN113129357B/zh
Publication of CN113129357A publication Critical patent/CN113129357A/zh
Application granted granted Critical
Publication of CN113129357B publication Critical patent/CN113129357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂背景下三维扫描测量光条中心提取方法，包括以下步骤：获取含有光条的图像；制作光条区域分离数据集，按一定比例将扩充后的数据集划分为训练集、验证集和测试集；利用深度神经网络建立语义分割深度学习模型，利用训练集对语义分割深度学习模型进行离线训练，得到至少两个训练好的深度学习模型；利用训练好的深度学习模型分别对目标图像进行分割，并对分割出的光条区域进行优选；将优选出的光条区域作为掩膜，利用改进的灰度重心法进行光条中心亚像素精度提取。本发明可以实现光条区域像素级别的准确定位和分离，结合本申请对灰度重心法的改进，能够保证复杂背景下光条中心的提取精度。

Description

一种复杂背景下三维扫描测量光条中心提取方法
技术领域
本发明涉及工业视觉测量技术领域，尤其涉及一种复杂背景下三维扫描测量光条中心提取方法。
背景技术
基于光学三角法的线激光三维扫描测量***因为其结构简单、成本较低、可靠性好和精度高等优点在表面形貌测量中有着广泛的应用，特别是在大型机械设备装备、汽车生产线、航空航天设备生产等工业现场应用中有较大的优势。激光光条中心的精确提取是线激光三维扫描测量***的重要保证。但是在复杂的工业现场环境中，存在强反射、强环境光、二次反射等诸多干扰因素，精确的提取光条中心是一件具有挑战性的工作。
光条中心提取一般包括图像滤波、光条区域分离(光条粗提取)、光条中心亚像素精度提取。光条区域分离是指在采集到的图片中将光条区域从反射光、环境光等干扰区域中区分开来，光条区域分离是保证激光三维扫描测量***测量精度的前提，而复杂背景下未能准确分离出光条区域是造成最终较大测量误差的主要因素。目前常用全局阈值法、双峰法、自适应阈值法等方法进行光条区域的分离，但是它们在工业现场复杂背景下难以取得较好的分离效果。灰度重心法和Steger法是光条中心亚像素精度提取两种常用的方法。但是灰度重心法对光条的法线方向比较敏感，如不能很好的确定光条的走向，直接应用将会产生较大的误差；而Steger法计算光条中心过程中需估算出光条的宽度，在复杂背景下光条的粗细常发生剧烈的变化，这将严重影响光条中心的提取精度，同时大量的卷积运算造成的处理速度慢也是Steger法的一个不足。
发明内容
本发明的目的是提供一种复杂背景下光条中心提取方法，提高复杂背景下线激光三维扫描测量***的测量精度。
为实现上述目的，本发明的技术方案是：
一种复杂背景下三维扫描测量光条中心提取方法，包括以下步骤：
步骤1、在不同测量环境中拍摄不同材质、表面反射特性和光泽纹理的工件，获取含有光条的图像；
步骤2、将步骤1中获取的图像制作成光条区域分离数据集，利用缩放、旋转和对比度变换对数据集进行扩充，并按一定比例将扩充后的数据集划分为训练集、验证集和测试集；
步骤3、利用深度神经网络建立语义分割深度学习模型，利用步骤2中的训练集对语义分割深度学习模型进行离线训练，得到至少两个训练好的深度学习模型；
步骤4、利用训练好的深度学习模型分别对目标图像进行分割，并对分割出的光条区域进行优选；
步骤5、将步骤4中优选出的光条区域作为掩膜，利用改进的灰度重心法进行光条中心亚像素精度提取。
进一步地，所述步骤1中具体为：
步骤1.1搭建基于光学三角法的多线结构光三维扫描测量***，包括多线激光器、工业相机、***支架和电动平移台；
步骤1.2模拟高亮日光灯车间、室外强太阳光或工业车间现场测量环境；
步骤1.3在不同测量环境下使工件在电动平移台上做线性平移运动，当多线激光器照射到工件表面时，工业相机按照一定帧率拍摄集被工件调制过的光条图像；
步骤1.4更换不同工件，重复步骤1.3。
进一步地，所述步骤2光条区域分离数据集制作方法包括：
步骤2.1从步骤1获取的图像中筛选出若干含光条的图像；
步骤2.2利用开源软件labelme对各个图像中的不同区域进行标定，标定的区域包括线激光照射在工件部分的光条区域、线激光照射在背景部分的光条区域、环境光造成的噪声区域、工件表面二次反射造成的伪光条区域和激光器光源本身造成的图像噪声，将标定后的图像作为光条区域分离数据集。
进一步地，在对各个图像中的不同区域进行标定前，还需要对图像进行滤波处理。
进一步地，所述步骤3语义分割深度学习模型包括收缩部分和扩充部分；
收缩部分第一层为两个核为[3,3]的64通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[256,256,64]的特征层；
收缩部分第二层为两个核为[3,3]的128通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[128,128,128]的特征层；
收缩部分第三层为两个核为[3,3]的256通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[64,64,256]的特征层；
收缩部分第四层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
收缩部分第五层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
扩充部分第五层将收缩部分第五层末端[32,32,512]的特征层进行上采样得到[64,64,512]的特征层；
扩充部分第四层将扩充部分第五层上采样得到特征层与复制的收缩部分第四层末端特征层进行融合操作，而后为两个核为[3,3]的512通道的卷积，激活函数为RuLu，再进行上采样得到[128,128,512]的特征层；
扩充部分第三层将扩充部分第四层上采样得到特征层与复制的收缩部分第三层末端特征层进行融合操作，而后为两个核为[3,3]的256通道的卷积，激活函数为RuLu，再进行上采样得到[256,256,256]的特征层；
扩充部分第二层将扩充部分第三层上采样得到特征层与复制的收缩部分第二层末端的特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，128通道的卷积，再进行上采样得到[512,512,128]的特征层；
扩充部分第一层将扩充部分第二层上采样得到特征层与复制的收缩部分第一层末端特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，64通道的卷积得到[512,512,64]的特征层，最后通过[1,1]的6通道的卷积得到光条区域分割图。
进一步地，所述步骤5改进的灰度重心法具体为：
步骤5.1在图像上设置横、纵坐标；
步骤5.2将光条区域的中心脊线分别投影到横、纵坐标上；
步骤5.3若横坐标投影大于等于两倍的纵坐标投影，则判定光条区域为横条纹，进入步骤5.4；若纵坐标投影大于等于两倍的横坐标投影，则判断光条区域为竖条纹，进入步骤5.5；否则进入步骤5.6；
步骤5.4利用式(1)计算光条中心亚像素坐标(ui，vk),i∈[1,M]：
Figure BDA0003057538610000051
式(1)中，u、v分别表示光条区域的横、纵坐标，f(ui,vj)表示坐标中(ui,vj)处像素点的灰度值，M表示光条区域图像的长，N表示光条区域图像的宽；
步骤5.5利用式(2)计算光条中心亚像素坐标(uk，vj),j∈[1,N]：
Figure BDA0003057538610000052
步骤5.6将光条区域均分为两个光条，进入步骤5.7；
步骤5.7使两个光条分别重复步骤5.2，若无法确定光条方向，继续均分光条，重复步骤5.6；
步骤5.8若步骤5.6重复次数达到设定值，仍未确定光条方向，则停止循环，进入步骤5.9；
步骤5.9若横坐标投影大于等于纵坐标投影，则判定光条区域为横条纹，进入步骤5.4；若纵坐标投影大于等于横坐标投影，则判断光条区域为竖条纹，进入步骤5.5。
本发明的有益效果是：
本发明运用深度学习的方法，构建语义分割模型，可以实现光条区域像素级别的准确定位和分离。在此基础上，本发明借助基于语义分割的光条区域分离方法，结合本申请对灰度重心法的改进，引入了光条区域辨向的内容，从而保证了复杂背景下光条中心提取的精度。
附图说明
图1为线激光三维扫描测量***；
图2为图像区域标定标签设置示意图；
图3为语义分割模型示意图；
图4为某工件图像的实时分割效果图；
图5为图像坐标示意图；
图6为改进灰度重心法示意图。
具体实施方式
现在普遍使用的阈值分割等基于传统数字图像处理方法进行光条区域分割的方法，易受噪声影响，特别在复杂背景环境下难以进行光条区域的精确分离，从而造成三维扫描测量***的精度不高。
本发明运用深度学习的方法，构建语义分割模型，可以实现光条区域像素级别的准确定位和分离。在此基础上，本发明还借助基于语义分割的光条区域分离方法，结合本申请对灰度重心法的改进，引入了光条区域辨向的内容，从而保证了复杂背景下光条中心提取的精度。
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
一种复杂背景下三维扫描测量光条中心提取方法，包括以下步骤：
步骤1、光条图像采集，搭建如图1所示的基于光学三角法的多线结构光的三维扫描测量***，包括多线激光器、工业相机、***支架和电动平移台；模拟高亮日光灯车间、室外强太阳光或工业车间现场测量环境；在不同测量环境下使工件在电动平移台上做线性平移运动，当多线激光器照射到工件时，工业相机按照一定帧率拍摄集被工件调制过的光条图像，按此方法获取不同材质、表面反射特性和光泽纹理的工件的光条图像。
步骤2、制作光条区域分离数据集，从步骤1获取的图像中筛选出若干含光条的图像，对图像进行滤波处理，利用开源软件labelme对各个图像中的不同区域进行标定，标定的区域包括Laser foreground(线激光照射在工件部分的光条区域)、Laser background(线激光照射在背景部分的光条区域)、Ambient light(环境光造成的噪声区域)、Reflection(工件表面二次反射等造成的伪光条区域)和Noise of Laser(激光器光源本身造成的图像噪声)，将标定后的图像作为光条区域分离数据集；利用缩放、旋转和对比度变换对数据集进行扩充，并按一定比例将扩充后的数据集划分为训练集、验证集和测试集。
所述缩放可以是放大1倍、缩小1倍等，所述旋转可以是水平翻转、垂直翻转、旋转90度、旋转270度等，所述对比度变换对比度增强50％、对比度减小50％等。
步骤3、利用深度神经网络建立如图3所示的语义分割深度学习模型，包括收缩部分和扩充部分：
收缩部分第一层为两个核为[3,3]的64通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[256,256,64]的特征层；
收缩部分第二层为两个核为[3,3]的128通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[128,128,128]的特征层；
收缩部分第三层为两个核为[3,3]的256通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[64,64,256]的特征层；
收缩部分第四层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
收缩部分第五层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
扩充部分第五层将收缩部分第五层末端[32,32,512]的特征层进行上采样得到[64,64,512]的特征层；
扩充部分第四层将扩充部分第五层上采样得到特征层与复制的收缩部分第四层末端特征层进行融合操作，而后为两个核为[3,3]的512通道的卷积，激活函数为RuLu，再进行上采样得到[128,128,512]的特征层；
扩充部分第三层将扩充部分第四层上采样得到特征层与复制的收缩部分第三层末端特征层进行融合操作，而后为两个核为[3,3]的256通道的卷积，激活函数为RuLu，再进行上采样得到[256,256,256]的特征层；
扩充部分第二层将扩充部分第三层上采样得到特征层与复制的收缩部分第二层末端的特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，128通道的卷积，再进行上采样得到[512,512,128]的特征层；
扩充部分第一层将扩充部分第二层上采样得到特征层与复制的收缩部分第一层末端特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，64通道的卷积得到[512,512,64]的特征层，最后通过[1,1]的6通道的卷积得到光条区域分割图。
利用步骤2中的训练集对语义分割深度学习模型进行离线训练，得到至少两个训练好的深度学习模型。
步骤4、利用训练好的深度学习模型分别对目标图像进行分割，并对分割出的光条区域进行优选，如图4所示为一工件图片实时分割效果。
步骤5、将步骤4中优选出的光条区域作为掩膜，利用改进的灰度重心法进行光条中心亚像素精度提取。
由于噪声的干扰和光条方向的变化是影响灰度重心法提取精度的两个主要因素。因此，利用语义分割的方法去除噪声干扰后，再有效辨别光条方向就能保证灰度重心法的提取精度。以下对本发明利用改进的灰度重心法进行光条中心亚像素精度提取的过程进行说明。
建立如图5所示的图像坐标系，图像尺寸为[M,N]，横向、纵向坐标分别为u、v，图像中(ui,vj)处像素点的灰度值表示为f(ui,vj)，若光条为横向光条，使用下式(1)对ui列使用灰度重心法计算行坐标，即光条中心亚像素坐标为(ui，vk),i∈[1,M]：
Figure BDA0003057538610000091
若光条为竖向光条，使用下式(2)对vj行使用灰度重心法计算列坐标，即光条中心亚像素坐标为(uk，vj),j∈[1,N]：
Figure BDA0003057538610000092
但是如果未按照光条方向正确使用公式，光条亚像素中心提取将产生较大的误差，如图6所示实施例中采用了如下的步骤辨别光条的方向：
(1)利用形态学的方法提取图(a)中光条区域的中心脊线，如图(b)所示：
(2)如图(c)所示将上述步骤中的中心脊线分别投影到u和v轴上，投影大小分别为CU1和CV1；
(3)若CU1≥2CV1，光条区域判定为横条纹；若CV1≥2CU1，光条区域判定为竖条纹；
(4)若不满足步骤(3)中条件，如图(d)所示将光条区域均分为两个光条；
(5)分别对两个光条重复步骤(2)，如满足步骤(3)中条件，终止操作；如不满足，重复步骤(4)中操作，继续均分光条，比较投影大小；
(6)考虑到循环的收敛性，步骤(4)重复操作20次后，仍未终止，停止循环操作，若CU1≥CV1，光条区域判定为横条纹；若CV1≥CU1，光条区域判定为竖条纹。
所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (4)

1.一种复杂背景下三维扫描测量光条中心提取方法，其特征在于，包括以下步骤：
步骤1、在不同测量环境中拍摄不同工件，获取各工件含有光条的图像；
步骤2、将步骤1中获取的图像制作成光条区域分离数据集，利用缩放、旋转和对比度变换对数据集进行扩充，并按一定比例将扩充后的数据集划分为训练集、验证集和测试集；
步骤3、利用深度神经网络建立语义分割深度学习模型，利用步骤2中的训练集对语义分割深度学习模型进行离线训练，得到至少两个训练好的深度学习模型；
其中，
所述步骤3语义分割深度学习模型包括收缩部分和扩充部分；
收缩部分第一层为两个核为[3,3]的64通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[256,256,64]的特征层；
收缩部分第二层为两个核为[3,3]的128通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[128,128,128]的特征层；
收缩部分第三层为两个核为[3,3]的256通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[64,64,256]的特征层；
收缩部分第四层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
收缩部分第五层为两个核为[3,3]的512通道的卷积，激活函数为RuLu，然后为核大小为[2,2]的最大池化，通过上述操作可获得[32,32,512]的特征层；
扩充部分第五层将收缩部分第五层末端[32,32,512]的特征层进行上采样得到[64,64,512]的特征层；
扩充部分第四层将扩充部分第五层上采样得到特征层与复制的收缩部分第四层末端特征层进行融合操作，而后为两个核为[3,3]的512通道的卷积，激活函数为RuLu，再进行上采样得到[128,128,512]的特征层；
扩充部分第三层将扩充部分第四层上采样得到特征层与复制的收缩部分第三层末端特征层进行融合操作，而后为两个核为[3,3]的256通道的卷积，激活函数为RuLu，再进行上采样得到[256,256,256]的特征层；
扩充部分第二层将扩充部分第三层上采样得到特征层与复制的收缩部分第二层末端的特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，128通道的卷积，再进行上采样得到[512,512,128]的特征层；
扩充部分第一层将扩充部分第二层上采样得到特征层与复制的收缩部分第一层末端特征层进行融合操作，而后为两个核为[3,3]，激活函数为RuLu，64通道的卷积得到[512,512,64]的特征层，最后通过[1,1]的6通道的卷积得到光条区域分割图；
步骤4、利用训练好的深度学习模型分别对目标图像进行分割，并对分割出的光条区域进行优选；
步骤5、将步骤4中优选出的光条区域作为掩膜，利用改进的灰度重心法进行光条中心亚像素精度提取；
其中，所述步骤5改进的灰度重心法具体为：
步骤5.1在图像上设置横、纵坐标；
步骤5.2将光条区域的中心脊线分别投影到横、纵坐标上；
步骤5.3若横坐标投影大于等于两倍的纵坐标投影，则判定光条区域为横条纹，进入步骤5.4；若纵坐标投影大于等于两倍的横坐标投影，则判断光条区域为竖条纹，进入步骤5.5；否则进入步骤5.6；
步骤5.4利用式(1)计算光条中心亚像素坐标(ui，vk),i∈[1,M]：
Figure FDA0003776530160000031
式(1)中，u、v分别表示光条区域的横、纵坐标，f(ui,vj)表示坐标中(ui,vj)处像素点的灰度值，M表示光条区域图像的长，N表示光条区域图像的宽；
步骤5.5利用式(2)计算光条中心亚像素坐标(uk，vj),j∈[1,N]：
Figure FDA0003776530160000032
步骤5.6将光条区域均分为两个光条，进入步骤5.7；
步骤5.7使两个光条分别重复步骤5.2，若无法确定光条方向，继续均分光条，重复步骤5.6；
步骤5.8若步骤5.6重复次数达到设定值，仍未确定光条方向，则停止循环，进入步骤5.9；
步骤5.9若横坐标投影大于等于纵坐标投影，则判定光条区域为横条纹，进入步骤5.4；若纵坐标投影大于等于横坐标投影，则判断光条区域为竖条纹，进入步骤5.5。
2.如权利要求1所述的一种复杂背景下三维扫描测量光条中心提取方法，其特征在于，所述步骤1中具体为：
步骤1.1搭建基于光学三角法的多线结构光三维扫描测量***，包括多线激光器、工业相机、***支架和电动平移台；
步骤1.2模拟高亮日光灯车间、室外强太阳光或工业车间现场测量环境；
步骤1.3在不同测量环境下使工件在电动平移台上做线性平移运动，当多线激光器照射到工件表面时，工业相机按照一定帧率拍摄集被工件调制过的光条图像；
步骤1.4更换不同工件，重复步骤1.3。
3.如权利要求1所述的一种复杂背景下三维扫描测量光条中心提取方法，其特征在于，所述步骤2光条区域分离数据集制作方法包括：
步骤2.1从步骤1获取的图像中筛选出若干含光条的图像；
步骤2.2利用开源软件labelme对各个图像中的不同区域进行标定，标定的区域包括线激光照射在工件部分的光条区域、线激光照射在背景部分的光条区域、环境光造成的噪声区域、工件表面二次反射造成的伪光条区域和激光器光源本身造成的图像噪声，将标定后的图像作为光条区域分离数据集。
4.如权利要求3所述的一种复杂背景下三维扫描测量光条中心提取方法，其特征在于，在对各个图像中的不同区域进行标定前，还需要对图像进行滤波处理。
CN202110503891.2A 2021-05-10 2021-05-10 一种复杂背景下三维扫描测量光条中心提取方法 Active CN113129357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110503891.2A CN113129357B (zh) 2021-05-10 2021-05-10 一种复杂背景下三维扫描测量光条中心提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110503891.2A CN113129357B (zh) 2021-05-10 2021-05-10 一种复杂背景下三维扫描测量光条中心提取方法

Publications (2)

Publication Number Publication Date
CN113129357A CN113129357A (zh) 2021-07-16
CN113129357B true CN113129357B (zh) 2022-09-30

Family

ID=76781215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110503891.2A Active CN113129357B (zh) 2021-05-10 2021-05-10 一种复杂背景下三维扫描测量光条中心提取方法

Country Status (1)

Country Link
CN (1) CN113129357B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107687819A (zh) * 2017-08-01 2018-02-13 大连理工大学 一种快速高精度的光条中心亚像素提取方法
CN109115127A (zh) * 2018-08-24 2019-01-01 合肥工业大学 一种基于贝塞尔曲线的亚像素峰值点提取算法
CN110533033A (zh) * 2019-08-22 2019-12-03 大连理工大学 一种基于卷积神经网络的光条定位方法
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN112184725A (zh) * 2020-09-21 2021-01-05 东南大学 一种沥青路面图像的结构光光条中心提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描***的三维重构方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN107687819A (zh) * 2017-08-01 2018-02-13 大连理工大学 一种快速高精度的光条中心亚像素提取方法
CN109115127A (zh) * 2018-08-24 2019-01-01 合肥工业大学 一种基于贝塞尔曲线的亚像素峰值点提取算法
CN110533033A (zh) * 2019-08-22 2019-12-03 大连理工大学 一种基于卷积神经网络的光条定位方法
CN112184725A (zh) * 2020-09-21 2021-01-05 东南大学 一种沥青路面图像的结构光光条中心提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Research on the algorithm of noisy laser stripe center extraction;Jianhui Xi et.al;《2018 Chinese Control And Decision Conference (CCDC)》;20180709;第6297-6300页 *
三线结构光光条中心的提取方法;吴芳等;《上海工程技术大学学报》;20180330(第01期);第34-37页 *
基于条纹投影的复杂曲面测量技术;于连栋 等;《计测技术》;20180628;第38卷(第3期);第82-90页 *
复杂环境中的线结构光中心提取方法;郭雁蓉 等;《计算机工程与设计》;20190416;第40卷(第4期);第1133-1138页 *

Also Published As

Publication number Publication date
CN113129357A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN109900706B (zh) 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN107543828B (zh) 一种工件表面缺陷检测方法及***
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN106952250B (zh) 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
CN109829903B (zh) 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及***
CN114140679A (zh) 一种缺陷融合方法、装置、识别***及存储介质
CN104809738B (zh) 一种基于双目视觉的安全气囊轮廓尺寸检测方法
CN110503638B (zh) 螺旋胶质量在线检测方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN112053317A (zh) 一种基于级联神经网络的工件表面缺陷检测方法
CN113920096B (zh) 一种集成电路金属封装缺陷检测方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及***
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及***
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN112200776A (zh) 芯片封装缺陷检测方法和检测装置
CN115223054A (zh) 一种基于分区聚类与卷积的遥感影像变化检测方法
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN113237889A (zh) 一种多尺度的陶瓷检测方法及***
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant