CN115953550A - 针对线结构光扫描的点云离群点剔除***及方法 - Google Patents

Abstract

本发明公开了一种针对线结构光扫描的点云离群点剔除***，它的灰度图像获取模块采集被测物体逐帧的多张图像，对被测物体逐帧的每张图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；离群点剔除模块将每张二维灰度图像通过阈值滤波的方法转换成二值图像，并对像素小于像素阈值的光斑区域进行剔除；离群点剔除模块，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除；离群点剔除模块计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除。本发明能解决现有技术中针对反光区域三维重建中因强反光、结构性反光以及图像处理时错误识别了激光条纹造成的点云离群点技术问题。

Description

针对线结构光扫描的点云离群点剔除***及方法

技术领域

本发明涉及三维视觉技术领域，具体地指一种针对线结构光扫描的点云离群点剔除***及方法。

背景技术

目前工业生产应用中，点云是通过测量仪器得到的产品外观表面的点数据集合。针对物体的三维重构，大多采用结构光三角测量法实现在较短时间内快速采集物体表面高精度的海量点云数据。但在采集模型表面数据过程中，受采集设备的震动、固有的误差、扫描环境、采集物体表面的明亮度或反射属性等因素的影响，使得结构光三维扫描***传感器采集的点云不可避免地包含噪声和异常，产生相应的损失正确位置信息离群点，这些问题极大损害了成像设备采集到的图像质量，影响生成的三维模型精度及完整度，还对后续的曲面重建和点云分类等产生较大影响。

发明内容

本发明的目的就是要提供一种针对线结构光扫描的点云离群点剔除***及方法，本发明能解决现有技术中针对反光区域三维重建中因强反光、结构性反光造成的点云离群点技术问题。

为实现此目的，本发明所设计的针对线结构光扫描的点云离群点剔除***，其特征在于，它包括灰度图像获取模块和离群点剔除模块；

灰度图像获取模块用于通过直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；

离群点剔除模块用于将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域中异常光斑区域的初步剔除；

离群点剔除模块利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域的进一步剔除；

离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域的再次剔除。

本发明中三维点云模型是由一系列的二维图像通过灰度重心法计算出其空间三维坐标所建立的，而如果二维图像中存在异常光斑区域(这些区域由强反光、结构性反光造成)在点云中反应的则为离群点。所以如果将二维图像中的异常光斑区域去除，则可以在三维点云中去除离群点。

本发明的有益效果：

相较于其他的点云离群点剔除方法，该点云离群点剔除方法，能够有效的剔除点云离群点，有效解决线结构光扫描时由于产生的混合反射造成的点云离群点；同时相较于其他点云离群点剔除方法大多是通过建立一种点云离群点的识别算法并通过阈值滤波的方式对点云离群点进行滤除时，但当研究对象发生变化时，由于算法的适用性过低，不适用多种物体三维点云的剔除，随着研究对象发生变化，点云的剔除效果越差的问题，该方法通过相对简易通用的方式能够对不同扫描零件的点云模型的离群点进行剔除。解决了线结构光扫描***对于结构复杂，表面光滑的物体会导致离群点产生问题；通过对线结构光扫描获取的逐帧灰度图像进行处理使得不相关的点云离群点得到剔除，极大地保留了物体的真实形状，能够为后续配准提供低噪声、物体几何特征不缺失的点云数据，并有更好的精度性和鲁棒性。

附图说明

图1为本发明的结构示意图；

图2为本发明的流程图；

图3为直射式激光三角测量原理；

图4为灰度重心法示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细说明：

如图1和2所示针对线结构光扫描的点云离群点剔除***，它包括灰度图像获取模块和离群点剔除模块；

灰度图像获取模块用于通过直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；相机采集的初始RGB图像可能因为环境光、平台运动等影响造成图像存在噪点，通过滤波去噪，可以对图像预处理，去掉图像噪点；而获取的初始图像分辨率较大，占用内存空间大，不利于后续算法处理效率；本发明通过归一化降低图像大小，并通过图像灰度化，简化了图像信息，便于后续处理。

离群点剔除模块用于将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域(观察二值图像，可以观察出采集到的激光线条纹光斑(正常光斑区域)跟反射产生的待去除光斑(异常光斑区域)，两者均称为光斑区域)，并对像素小于像素阈值(100)的光斑区域进行剔除，实现光斑区域中异常光斑区域的初步剔除；有些图像当中的反光区域比较明显，在二值图像当中可以观察出，通过设定阈值的方式可以对这部分图像进行初步处理，有些图像当中的光斑无法判断是否为待处理光斑则进行下一步操作；由混合反射产生的二维图像区域中混合反射以及激光的特性，存在1、大多数区域面积较小；2、整体区域平均灰度方差较大，平均灰度值较低；3、区域边缘变化剧烈的特点。这一步针对区域面积较小的特点去除掉一部分异常区域。

离群点剔除模块利用轮廓跟踪算法(opologicalStructural Analysis ofDigitized Binary Images by Border Following)对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值(200)的光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域(即离群点所对应的图像区域)的进一步剔除，上述光斑区域为图像中激光条纹所指的正常光斑区域与混合反射所指的异常光斑区域的集合；该方案针对整体区域平均灰度方差较大，平均灰度值较低，这个特点进行设计。去除掉这一部分异常光斑区域。

离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数(以图像当中每个光斑最边缘的像素点连接成的边界为光斑的轮廓，边界轮廓的转折处的像素点为轮廓的凸点，有多少个转折就有多少凸点)，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除。这一步针对整体区域平均灰度方差较大，平均灰度值较低，这个特点进行设计。去除掉这一部分异常光斑区域。

上述技术方案中，它还包括深度学***均值，灰度平均值低于灰度阈值(200)的异常光斑区域；3、光斑区域轮廓面积与该光斑区域轮廓凸点数比值，比值最大的两个光斑区域；4、人工标记的异常光斑区域)，得到难以剔除异常光斑区域的特征参数模型，所述特征参数模型具体为通过深度学***均值、光斑区域轮廓面积与该光斑区域轮廓凸点数比值。

所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域中异常光斑区域生成新的图像序列。图像识别网络提取异常光斑区域的特征，在针对其它图像序列时同样适用，去除异常光斑区域，用于提高方法的通用性。

上述技术方案中，它还包括三维点云获取模块，所述三维点云获取模块用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。

上述技术方案中，所述直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像的具体过程为：将激光器固定在垂直于视觉移动平台的位置，激光束照射在置于特定的速率(当前设置为2.5cm/s)的单向运动平台上的被测物体上，与激光器成一定角度的CCD相机通过三角激光测量法获取被测物体的表面信息，最终生成被测物体表面的三维点云信息。

直射式激光三角测量图像采集***采用单目线结构光三维测量原理，常用的单目线结构光扫描方式为直射式和斜射式两种测量方案。两种测量方案均是针对结构光束，通过对结构光光条中心进行提取后，得到相应的像素坐标，结合相机的对应参数利用三角测量法计算可求对应点所在三维坐标信息，对被测工件上所有的表面特征通过该方法求得所有坐标，获取被测物体的表面点云信息。本实验环境为直射式激光三角测量图像采集***，下文针对直射式激光三角测量原理详细介绍。

图3是直射式测量方法示意图。图中激光器投射的激光束垂直照射在物体外表面，入射光在表面点处发生漫反射，使得在CCD感光面上成像。图中入射光l₁l₀和反射光l₀m₀的夹角是α。反射光线l₀m₀和感光面m₁m₀的夹角是β。设l₀所在的平面代表基准平面，其中l1是物体表面上的点，通过透镜在感光面上的成像点是m₁。从图中可以看出物体表面上不同位置的点，其在成像平面上的位置也不同。对于曲面上点的三维空间坐标的计算，主要利用光平面和相机的相关参数，把光束所在位置的特征点像素坐标转换成三维空间坐标，具体公式如下所示：

分别过l₁和m₁作l₀m₀的垂线l₁c和m₁d，其中根据三角形Δl₁cq和Δm₁dq相似，可得到下公式：

代入相关参数可得：

进一步化简可得：

其中，h表示被测物体激光处去基准平面的高度，x表示感光平面的像素距离，cq表示三角形Δl₁cq中的线段，dq表示三角形Δm₁dq中的线段。

采用直射式激光和CCD相机对被测物体进行三维重构时，本文需使用基于线结构光的三维扫描仪器***装置，此***的主要功能是扫描被测物体的三维表面特征模型。其工作流程为：将激光器固定在垂直于视觉移动平台的上方，CCD相机与激光器位于同一水平位置，与激光器成一定的角度，被测物体置于特定速率的单向运动平台上，激光束照射被测物体上，通过三角激光测量法获取被测物体的表面信息，得到被测物体的三维点云。

上述技术方案中，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理的具体方法为：

对被测物体逐帧的每张RGB图像通过自适应中值滤波、高斯滤波、双边滤波、导向滤波算法，在保留图像细节特征的条件下对每张RGB图像的噪声进行抑制。

所述图像归一化，将滤波后的图像转换成相应的唯一标准形式，其工作原理是利用图像中对仿射变换具有不变性来确定变换函数的参数，然后利用此参数确定的变换函数把滤波后的图像变换为一个标准形式的图像；

所述图像灰度化，具体为将归一化后的图像转化成为灰度图像的过程，归一化后的图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万(255*255*255)的颜色的变化范围，而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为255种，所以在数字图像处理中一般先将各种格式的图像转变成灰度图像以使后续的图像的计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。

上述技术方案中，所述轮廓检测识别的具体为：从二值图像左上角开始逐行扫描，当发现以下两种情况时，认为找到边界的起始点；

第i行：

G_ij-1＝0；G_ij＝1，表示遇到了外边界；

G_ij≥1；G_ij+1＝0，表示遇到孔，其中，G_ij-1表示二值图像第i行，第j-1列的值，G_ij表示二值图像第i行，第j列的值，G_ij+1表示二值图像第i行，第j+1列的值；

以此判断是否为光斑区域轮廓边缘。

上述技术方案中，对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型的具体方法为：

所述灰度重心法根据目标区域中以每列横截面上的光强权重质心坐标作为中心点，如图4所示，先在每列横截面上利用极值法求取最大亮度Gmax，并设定一个阈值K＝Gmax-Δg，Δg为根据实际情况设定一个阈值，一般为10-20，在阈值K两边判断大于阈值K的像素，求出其重心位置作为激光条纹的中心(激光条纹在图像中为一条带有宽度的条形区域，通过灰度重心法将这个区域视为一条线)；

灰度重心法计算灰度重心的公式为：

其中，其中u_center，v_center分别代表u方向(图像的横轴)和v方向(图像的纵轴)的质量重心，P(u，v)为像素点(u，v)的灰度值，

是每行或每列中用于求取重心位置的像素点集。结合之前的直射式激光三角测量原理，将这条线赋予高度信息，就可以转化为点云模型。

上述技术方案中，所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列，的具体方法为：

数据集的制作：将所有图片中的每一个轮廓都单独提取出来并保存，并按照预设顺序，每一个轮廓图像生成一行文本写入一个文本文件中，每一行文本由两部分组成，第一部分为轮廓图像的路径，第二部分为标签，设定0代表此轮廓为反光光斑，需要被去除，1反之代表正常激光线，需要被保留。

模型的训练：从生成的文本文件中按行依次读取每一个轮廓图像与其对应的标签，装载到网络模型(未经过预训练的resnet18)进行深度学习中的前向传播运算，得到训练生成的参数模型，参数模型运算得到判断值，对比判断值与标签值，根据这个差值计算梯度，更新参数模型模型中特征参数的权重(梯度下降快权重就会大)。如此计算n轮(本方法中n设置为50)，将过程中差值最小也就是误差最小的模型保存下来，即是最优参数模型。

异常光斑区域识别：以其中一张图片为例，将图片中每个区域标记好序号再单独截取出来，将截取出的轮廓图像变化为网络模型能识别的规格，然后送入训练好的参数模型中，由参数模型判断各个轮廓图像是否需要被剔除，输出判断值(参数模型实际就是不同特征的权重，图片传递过来后，根据权重计算出图片与哪个特征相似的概率最大，每次训练的特征参数都不一样，判断的概率每次也都不一样，网络通过参数模型计算是离群点轮廓的概率)，最后根据对应的序列号与判断值通过遮罩操作获得被剔除光斑的图像。将所有图像依次进行上述操作，得到剔除光斑区域生成新的图像序列。

一种针对线结构光扫描的点云离群点剔除方法，它包括如下步骤：

步骤1：通过直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；

步骤2：将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域的初步剔除；

利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的坐标点(为了便于确定各个轮廓的序号，以免在排序后混淆)跟灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域的进一步剔除；

遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除；

步骤3：通过人工手动标记的方式，标记出光斑区域再次剔除后的每张二值图像中的光斑区域轮廓，并采用深度学习模型，对标记出的光斑区域轮廓进行学习训练，得到难以剔除光斑区域的特征参数模型，所述特征参数模型具体为通过深度学习网络模型获取到的上述训练集中样本的特征权重模型，用于后续的图像识别。模型的训练过程为：从生成的文本文件中按行依次读取每一个轮廓图像与其对应的标签，装载到网络模型进行运算，模型运算得到判断值，对比判断值与标签值，根据这个差值计算梯度，更新模型中各层的特征参数。如此计算n轮(本方法中n设置为50)，将过程中差值最小也就是误差最小的模型保存下来，即是最优参数模型；

步骤4：利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓制作训练集，通过搭建resnet图像识别框架训练，生成权重参数模型，根据特征参数模型对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列；

数据集的制作：将所有图片中的每一个轮廓都单独提取出来并保存，并按照预设顺序，每一个轮廓图像生成一行文本写入一个文本文件中，每一行文本由两部分组成，第一部分为轮廓图像的路径，第二部分为标签，设定0代表此轮廓为反光光斑，需要被去除，1反之代表正常激光线，需要被保留。

模型的训练：从生成的文本文件中按行依次读取每一个轮廓图像与其对应的标签，装载到网络模型(未经过预训练的resnet18)进行深度学习中的前向传播运算，得到训练生成的参数模型，参数模型运算得到判断值，对比判断值与标签值，根据这个差值计算梯度，更新参数模型模型中特征参数的权重(梯度下降快权重就会大)。如此计算n轮(本方法中n设置为50)，将过程中差值最小也就是误差最小的模型保存下来，即是最优参数模型。

异常光斑区域识别：以其中一张图片为例，将图片中每个区域标记好序号再单独截取出来，将截取出的轮廓图像变化为网络模型能识别的规格，然后送入训练好的参数模型中，由参数模型判断各个轮廓图像是否需要被剔除，输出判断值(参数模型实际就是不同特征的权重，图片传递过来后，根据权重计算出图片与哪个特征相似的概率最大，每次训练的特征参数都不一样，判断的概率每次也都不一样，网络通过参数模型计算是离群点轮廓的概率)，最后根据对应的序列号与判断值通过遮罩操作获得被剔除光斑的图像。将所有图像依次进行上述操作，得到剔除光斑区域生成新的图像序列；

步骤5：用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。

上述技术方案的步骤1中，通过直射式激光三角测量图像采集***，其中CCD相机型号为C5-2040-GigE高速3D相机帧率为5，开启高斯滤波，开启灰度化处理采集扫描物体的逐帧图像。根据相机自带的高斯滤波算法(滤波方法可根据研究对象的具体因素而定)对采集的图像进行滤波去噪处理，，

其中高斯函数公式如下：

G(x，y)＝1/(2πσ^2)exp{-(x^2+y^2)/(2σ^2)}

其中，x，y为横纵坐标，G(x，y)表示在x，y处的权值，σ^2为设定参数，视不同的情况设定，这里设置为1.0，x^2表示x的平方，y^2表示y的平方。

对已经滤波去噪的图像进行归一化处理，具体为：通过线性函数转换将图像转换成相同形式的标准图像，表达式如下：

其中，x_i表示图像像素点值，max(x)，min(x)分别表示图像像素的最大与最小值，x′表示的就是归一化后的像素值。

通过相机内部自带的算法对图像进行灰度化处理，具体为：采用加权平均法，根据图像当中RGB三个分量的重要性及其指标，对其以不同的权值进行加权平均，表达式如下。

Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i，j)：

其中，Gray(i，j)表示图像中第i，j处的灰度值，R(i，j)表示图像中第i，j处的红色分量值，G(i，j)表示图像中第i，j处的绿色分量值，B(i，j)表示图像中第i，j处的蓝色分量值。

上述技术方案的步骤2中，将灰度图像通过阈值滤波的方法转换成二值图像，具体为：设定图像灰度值的阈值为160，将灰度值低于160的像素点灰度值置为零，灰度值高于160的像素点灰度值置为255。

上述技术方案的步骤2中，通过轮廓跟踪算法对图像光斑区域的轮廓进行检测，并对像素小于100的光斑区域轮廓进行剔除，具体为：

S₁＝S-S_n

其中，S_n为像素小于100的轮廓、S为整张图像的轮廓、S₁为剔除无关轮廓后剩余轮廓。

上述技术方案的步骤2中，获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前10％的像素点，并计算灰度值前10％的像素点的灰度平均值，对灰度平均值低于200的光斑区域轮廓进行剔除，具体表达式如下

其中，P为像素点的灰度值，P_i(grey)表示当前第i处像素点的灰度值，

为灰度值前10％的点的灰度值的平均值。

注：

为灰度值前10％的像素点的灰度平均值低于200的光斑区域轮廓，S₂为保留下来的光斑区域，S₁为上一步保留下的光斑区域。

遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，具体表达式如下所示：

B＝L/T

注：L为轮廓面积，T为轮廓的凸点个数，B为轮廓面积与轮廓凸点数的比值。

S₃＝S₂-S_B

其中，S_B为通过每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值确定的区域。S₃为保留下来的光斑区域，S₂为上一步保留下的光斑区域。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种针对线结构光扫描的点云离群点剔除***，其特征在于，它包括灰度图像获取模块和离群点剔除模块；

灰度图像获取模块用于通过直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；

离群点剔除模块用于将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域的初步剔除；

离群点剔除模块利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域的进一步剔除；

离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除。

2.根据权利要求1所述的针对线结构光扫描的点云离群点剔除***，其特征在于：它还包括深度学习模块，所述深度学习模块通过人工手动标记的方式，标记出光斑区域再次剔除后的每张二值图像中的光斑区域轮廓，并采用深度学习模型，对标记出的光斑区域轮廓进行学习训练，得到难以剔除光斑区域的特征参数。

3.根据权利要求2所述的针对线结构光扫描的点云离群点剔除***，其特征在于：所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列。

4.根据权利要求3所述的针对线结构光扫描的点云离群点剔除***，其特征在于：它还包括三维点云获取模块，所述三维点云获取模块用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。

5.根据权利要求1所述的针对线结构光扫描的点云离群点剔除***，其特征在于：所述直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像的具体过程为：将激光器固定在垂直于视觉移动平台的位置，激光束照射在置于特定的速率的单向运动平台上的被测物体上，与激光器成一定角度的CCD相机通过三角激光测量法获取被测物体的表面信息，最终生成被测物体表面的三维点云信息。

6.根据权利要求1所述的针对线结构光扫描的点云离群点剔除***，其特征在于：对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理的具体方法为：

对被测物体逐帧的每张RGB图像通过自适应中值滤波、高斯滤波、双边滤波、导向滤波算法，在保留图像细节特征的条件下对每张RGB图像的噪声进行抑制

所述图像归一化，将滤波后的图像转换成相应的唯一标准形式，其工作原理是利用图像中对仿射变换具有不变性来确定变换函数的参数，然后利用此参数确定的变换函数把滤波后的图像变换为一个标准形式的图像；

所述图像灰度化，具体为将归一化后的图像转化成为灰度图像的过程，归一化后的图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。

7.根据权利要求1所述的针对线结构光扫描的点云离群点剔除***，其特征在于：所述轮廓检测识别的具体为：从二值图像左上角开始逐行扫描，当发现以下两种情况时，认为找到边界的起始点；

第i行：

G_ij-1＝0；G_ij＝1，表示遇到了外边界；

G_ij≥1；G_ij+1＝0，表示遇到孔，其中，G_ij-1表示二值图像第i行，第j-1列的值，G_ij表示二值图像第i行，第j列的值，G_ij+1表示二值图像第i行，第j+1列的值；

以此判断是否为光斑区域轮廓边缘。

8.根据权利要求4所述的针对线结构光扫描的点云离群点剔除***，其特征在于：对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型的具体方法为：

所述灰度重心法根据目标区域中以每列横截面上的光强权重质心坐标作为中心点，先在每列横截面上利用极值法求取最大亮度Gmax，并设定一个阈值K＝Gmax-Δg，Δg为根据实际情况设定一个阈值，在阈值K两边判断大于阈值K的像素，求出其重心位置作为激光条纹的中心；

灰度重心法计算灰度重心的公式为：

其中，其中u_center，v_center分别代表u方向(图像的横轴)和v方向(图像的纵轴)的质量重心，P(u，v)为像素点(u，v)的灰度值，

是每行或每列中用于求取重心位置的像素点集，结合之前的直射式激光三角测量原理，将这条线赋予高度信息，就可以转化为点云模型。

9.根据权利要求3所述的针对线结构光扫描的点云离群点剔除***，其特征在于：所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列，的具体方法为：

数据集的制作：将所有图片中的每一个轮廓都单独提取出来并保存，并按照预设顺序，每一个轮廓图像生成一行文本写入一个文本文件中，每一行文本由两部分组成，第一部分为轮廓图像的路径，第二部分为标签，设定0代表此轮廓为反光光斑，需要被去除，1反之代表正常激光线，需要被保留；

模型的训练：从生成的文本文件中按行依次读取每一个轮廓图像与其对应的标签，装载到网络模型进行深度学习中的前向传播运算，得到训练生成的参数模型，参数模型运算得到判断值，对比判断值与标签值，根据这个差值计算梯度，更新参数模型模型中特征参数的权重；

异常光斑区域识别：将图片中每个区域标记好序号再单独截取出来，将截取出的轮廓图像变化为网络模型能识别的规格，然后送入训练好的参数模型中，由参数模型判断各个轮廓图像是否需要被剔除，输出判断值，最后根据对应的序列号与判断值通过遮罩操作获得被剔除光斑的图像，将所有图像依次进行上述操作，得到剔除光斑区域生成新的图像序列。

10.一种针对线结构光扫描的点云离群点剔除方法，其特征在于，它包括如下步骤：

步骤1：通过直射式激光三角测量图像采集***采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；

步骤2：将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域的初步剔除；

利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域的进一步剔除；

遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除；

步骤3：通过人工手动标记的方式，标记出光斑区域再次剔除后的每张二值图像中的光斑区域轮廓，并采用深度学***均值、手动标记出的光斑区域轮廓面积与该光斑区域轮廓凸点数比值；

步骤4：利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列；

步骤5：用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。

Images