CN113362276B - 板材视觉检测方法及*** - Google Patents

Abstract

本发明公开了一种板材视觉检测方法，包括：获取3D轮廓仪所采集的目标板材的三维点云信息，根据所述三维点云信息构建三维模型，根据所述三维模型及预设基准尺寸识别所述目标板材的尺寸缺陷；获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的缺陷识别模型以识别所述目标板材的自然缺陷，并将所述二维彩色图像信息输入事先训练的颜色分类模型以识别所述目标板材的颜色类别。本发明还公开了一种板材视觉检测***。采用本发明，可对板材的缺陷进行全面的精准检测。

Description

板材视觉检测方法及***

技术领域

本发明涉及实木检测技术领域，尤其涉及一种板材视觉检测方法及一种板材视觉检测***。

背景技术

当前实木业内挑板工序，仍采用人工检测的方式，整个生产产线上需要人工进行板材的搬运与肉眼检测，工人作业强度普遍较高，挑板工序需要耗费大量的人力资源；众所周知，工人对于质量标准的判断较为主观，存在随意性、误差大等缺点，因此，无法保证实木挑板的质量标准；而且，在整个实木生产过程中，需设置多道工序进行人工检测，生产整个体质量检测效率较低，且成本较高；另外，板材检测对于工人的经验要求较高，有相关熟练经验的人才可以快速检测出板材的缺陷点，进行调优和处理，熟练工人的培养周期过长。因此，人工检测已经是濒临淘汰的最原始检测方式。

相应地，当前各厂商都开始在自动化测量设备、图像预处理、算法上努力，试图能解决地板测量和质量检测的问题。目前，部分企业开始采用图像测量模式识别缺陷检测，但是普遍存在时延高，性能较差等问题。

发明内容

本发明所要解决的技术问题在于，提供一种板材视觉检测方法及***，可对板材的缺陷进行全面的精准检测。

为了解决上述技术问题，本发明提供了一种板材视觉检测方法，包括：获取3D轮廓仪所采集的目标板材的三维点云信息，根据所述三维点云信息构建三维模型，根据所述三维模型及预设基准尺寸识别所述目标板材的尺寸缺陷；获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的缺陷识别模型以识别所述目标板材的自然缺陷，并将所述二维彩色图像信息输入事先训练的颜色分类模型以识别所述目标板材的颜色类别。

作为上述方案的改进，所述板材视觉检测方法还包括缺陷识别模型训练，具体包括：获取原始彩色图像；对所述原始彩色图像进行截取合并处理，以形成基础彩色图像；在所述基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像，所述缺陷类别包括死活节、树脂囊、夹皮及腐朽；对所述标注彩色图像进行泛化扩增处理，以形成样本彩色图像；将所有样本彩色图像整合成样本彩色图像集；根据所述样本彩色图像集训练所述缺陷识别模型。

作为上述方案的改进，所述缺陷识别模型采用DNN模型对输入的样本彩色图像进行多尺度特征提取，并结合语义信息和位置信息对所述多尺度特征进行融合，再结合注意力机制和空间金字塔结构提取特征以识别并输出缺陷类别、缺陷位置及置信度信息。

作为上述方案的改进，所述板材视觉检测方法还包括颜色分类模型训练，具体包括：获取原始彩色图像；通过视觉算法提取所述原始彩色图像的目标前景区域，以形成RO I彩色图像；对所述RO I彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；在所述局部图像中标注色彩类别，以形成标注分类图像，所述色彩类别包括蓝变、深色、中色及浅色；对所述标注分类图像进行泛化扩增处理，以形成样本分类图像；将所有样本分类图像整合成样本分类图像集；根据所述样本分类图像集训练所述颜色分类模型。

作为上述方案的改进，所述颜色分类模型采用DNN模型对输入的样本分类图像进行多尺度特征提取，并对高维特征向量进行分类，再识别图像语义分类信息以输出色彩类别及置信度信息。

作为上述方案的改进，将所述二维彩色图像信息输入事先训练的缺陷识别模型及颜色分类模型之前，对所述二维彩色图像信息进行预处理，所述预处理的步骤包括：对所述二维彩色图像信息进行SVD分解；对经SVD分解后的二维彩色图像信息进行Gabor滤波；采用迭代差影法对经Gabor滤波后的二维彩色图像信息进行差影运算。

作为上述方案的改进，所述尺寸缺陷包括长宽高缺陷、弯曲度缺陷、扭曲度缺陷、两端直角度缺陷、崩面啃头缺陷、瓦形缺陷及生虫缺陷中的任意一种或几种；识别所述长宽高缺陷时，所述目标板材的长度为所述三维模型的长度，所述目标板材的宽度为所述三维模型的宽度，所述目标板材的厚度为所述三维模型的厚度；识别所述弯曲度缺陷时，沿所述三维模型的长度方向提取高度分布，选取最大高度值作为弦高，将所述弦高除以长度即为长度方向的弯曲度；识别所述扭曲度缺陷时，计算所述三维模型中一个面上任意一角到另外三个角平面的距离，取最大距离值作为扭曲度；识别所述两端直角度缺陷时，计算所述三维模型中平面与平面之间的夹角，并将所述夹角作为两端直角度；识别所述崩面啃头缺陷时，采用表面平滑算法对所述三维模型进行处理，将所述平滑后数据与原始数据进行相减即可得到崩面啃头区域，或者通过上表面三维点云信息拟合上表面方程，通过下表面三维点云信息拟合下表面方程，计算每个点到上表面方程及下表面方程的距离，绘制灰度图即可得到崩面啃头区域；识别所述瓦形缺陷时，从所述三维模型的内外侧拟合圆形方程，并计算圆形的半径，根据所述半径确定瓦形缺陷；识别所述生虫缺陷时，采用表面平滑算法对所述三维模型进行处理，将所述平滑后数据与原始数据进行相减即可得到生虫区域。

相应地，本发明还提供了一种板材视觉检测***，包括：尺寸缺陷识别模块，用于获取3D轮廓仪所采集的目标板材的三维点云信息，根据所述三维点云信息构建三维模型，根据所述三维模型及预设基准尺寸识别所述目标板材的尺寸缺陷；自然缺陷识别模块，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的缺陷识别模型以识别所述目标板材的自然缺陷；颜色分类识别模块，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的颜色分类模型以识别所述目标板材的颜色类别。

作为上述方案的改进，所述板材视觉检测***还包括缺陷识别训练模块，所述缺陷识别训练模块包括：第一获取单元，用于获取原始彩色图像；合并单元，用于对所述原始彩色图像进行截取合并处理，以形成基础彩色图像；第一标注单元，用于在所述基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像，所述缺陷类别包括死活节、树脂囊、夹皮及腐朽；第一扩增单元，用于对所述标注彩色图像进行泛化扩增处理，以形成样本彩色图像；第一整合单元，用于将所有样本彩色图像整合成样本彩色图像集；第一训练单元，用于根据所述样本彩色图像集训练所述缺陷识别模型。

作为上述方案的改进，所述板材视觉检测***还包括颜色分类训练模块，所述颜色分类训练模块包括：第二获取单元，用于获取原始彩色图像；提取单元，用于通过视觉算法提取所述原始彩色图像的目标前景区域，以形成ROI彩色图像；切割单元，用于对所述ROI彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；第二标注单元，用于在所述局部图像中标注色彩类别，以形成标注分类图像，所述色彩类别包括蓝变、深色、中色及浅色；第二扩增单元，用于对所述标注分类图像进行泛化扩增处理，以形成样本分类图像；第二整合单元，用于将所有样本分类图像整合成样本分类图像集；第二训练单元，用于根据所述样本分类图像集训练所述颜色分类模型。

实施本发明，具有如下有益效果：

本发明采用三维激光采集技术，使用3D轮廓仪获取板材的三维点云信息，精确度高；同时，本发明还采用三维成像技术，将采集到的三维点云信息进行整合展现以构成三维模型，并通过分析三维模型以识别所述目标板材的尺寸缺陷；本发明还采用基于深度学习的缺陷检测技术，通过研究缺陷检测的粒度，缺陷定义，并应用于识别模型的训练，不断优化模型以提高识别准确率；

进一步，本发明还采用可视化图像采集预处理技术，对图像进行预处理，尽可能清晰的获取所有的板材表面图像。

附图说明

图1是本发明板材视觉检测方法的实施例流程图；

图2是本发明中板材的弯曲度示意图；

图3是本发明中板材的扭曲度示意图；

图4是本发明中板材的两端直角度示意图；

图5是本发明中板材的瓦形示意图；

图6是本发明中缺陷识别模型的训练方法的实施例流程图；

图7是本发明中缺陷识别模型的训练方法的示意图；

图8是本发明中缺陷识别模型的结构示意图；

图9是本发明中颜色分类模型的训练方法的实施例流程图；

图10是本发明中颜色分类模型的训练方法的示意图；

图11是本发明中颜色分类模型的结构示意图；

图12是本发明板材视觉检测***的结构示意图；

图13是本发明中缺陷识别训练模块的结构示意图；

图14是本发明中颜色分类训练模块的结构示意图；

图15是本发明中预处理模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参见图1，图1显示了本发明板材视觉检测方法的实施例流程图，其包括：

S101，获取3D轮廓仪所采集的目标板材的三维点云信息。

本发明中采用四个3D轮廓仪对板材的上、下、左、右四个方向进行高度测量，因此，当所需检测的板材从运动装置进入由四个3D轮廓仪组成的检测区时，四个3D轮廓仪的四条激光线分别对板材的四个平面进行扫描，获得板材的三维点云信息。

S102，根据三维点云信息构建三维模型。

通过三维成像技术，可将采集到的三维点云信息进行整合展现，形成三维模型。

S103，根据三维模型及预设基准尺寸识别目标板材的尺寸缺陷。

需要说明的是，通过三维模型可得到板材的实际尺寸，进而将实际尺寸与基准尺寸进行比对，即可识别板材的尺寸缺陷。

综合步骤S101-S103可知3D轮廓仪的工作过程如下：

(1)开始采集：当板材进入3D轮廓仪的视野中时，打开3D轮廓仪；

(2)扫取板材：3D轮廓仪对快速移动的板材进行扫取，同时将扫取的三维点云信息发送至电脑中；

(3)停止采集：当板材穿过3D轮廓仪的视野时，停止3D轮廓仪，将所采集的整条板材的三维点云信息拼接重建；

(4)是否合格：依据每项参数的检测规程，将计算结构与判断标准进行比对，识别出相关参数的具体缺陷。

具体地，尺寸缺陷包括长宽高缺陷、弯曲度缺陷、扭曲度缺陷、两端直角度缺陷、崩面啃头缺陷、瓦形缺陷、生虫缺陷及测弯缺陷中的任意一种或几种，但不以此为限制。

下面结合具体的识别方法对各种尺寸缺陷进行详细说明：

(1)识别长宽高缺陷时，目标板材的长度为三维模型的长度，目标板材的宽度为三维模型的宽度，目标板材的厚度为三维模型的厚度。

板材的长度可通过三维模型的长度得到。例如，测试板材长为910mm，其传输速度为1m/s时，采用2kHz的3D轮廓仪可使精度在0.5mm以内。

板材的宽度由上下设置的3D轮廓仪的X轴方向激光线宽来测得，其宽度精度在0.051～0.097mm以内。

板材的厚度由左右设置的3D轮廓仪的X轴方向激光线宽来测得，其精度同宽度精度。

(2)识别弯曲度缺陷时，沿三维模型的长度方向提取高度分布，选取最大高度值作为弦高，将弦高除以长度即为长度方向的弯曲度。

如图2所示，板材的形状为一瘦长的长方体，根据弯曲度的定义：每米长度上弯曲的弦高为每米弯曲度，总长度弯曲的总弦高与总长度的比为总弯曲度。因此，可转化为三维模型中长度方向的高度分布，选取最大值弦高，将此值除以总长度即为长度方向的弯曲度；由于有上下两面，即取其中的最大值为弯曲度。

(3)识别扭曲度缺陷时，计算三维模型中一个面上任意一角到另外三个角平面的距离，取最大距离值作为扭曲度。

如图3所示，板材的形状为一瘦长的长方体，根据扭曲度的定义：把某平面拱起的一角(角A)朝上，另三个角(角B、C、D)放在一个平面，其中这个悬空的角距离另三点平面的距离就是扭曲度。因此，可转化为一个面任意一角到另三角平面的距离计算，取其中最大的距离为弯曲度；由于有上下两面，即取其中的最大值。

(4)识别两端直角度缺陷时，计算三维模型中平面与平面之间的夹角，并将夹角作为两端直角度。

如图4所示，两端直角度可认为是两端与侧边的角度测量，根据三维模型可转化为平面与平面的夹角(角E)求解。

(5)识别崩面啃头缺陷时，采用表面平滑算法对三维模型进行处理，将平滑后数据与原始数据进行相减即可得到崩面啃头区域，或者通过上表面三维点云信息拟合上表面方程，通过下表面三维点云信息拟合下表面方程，计算每个点到上表面方程及下表面方程的距离，绘制灰度图即可得到崩面啃头区域。

崩面主要由刀具未落入或板面高度略低所致，其特征是板材表面有明显的毛刺，从而在板材腰部形成明显的暗区；因此，可通过表面平滑算法处理，再将平滑后与原始数据进行相减即可以得到崩面的区域，下表面亦是如此处理。对于少数表面毛刺不明显的区域，通过上下表面的三维点云信息计算，即先通过上下表面的三维点云信息拟合得到两个平方方程，计算表面每个点到平面方程的距离，绘制成高度灰度图，亦可得到相关区域面积，同理下表面亦可如是处理。

(6)识别瓦形缺陷时，从三维模型的内外侧拟合圆形方程，并计算圆形的半径，根据半径确定瓦形缺陷。

如图5所示，瓦弯度是板材的缺陷之一，要求瓦形高度≦0.5㎜，且除去瓦形后厚度≧成型素板厚度+1㎜。板材瓦形根据所提供的规格来看，可分为纵向瓦形和横向瓦形。瓦形类似于一段圆弧，以纵向横截面瓦形为例，其内外侧可拟合一个圆方程，并得到圆的半径R和圆心。瓦形越严重，其所得圆半径小；瓦形越轻微，其所得圆半径越大或无穷大。因此，可通过设定拟合的圆半径阈值，即可判断是否为瓦形。通过计算上下表面三维点云信息的极值，即可得出瓦形高度；或者通过平面几何计算圆弧高度。

(7)识别生虫缺陷时，采用表面平滑算法对三维模型进行处理，将平滑后数据与原始数据进行相减即可得到生虫区域。

(8)识别测弯缺陷时，除去侧弯的部分，宽度够宽；够宽的情况下，一边直且板面完好，另一侧不直不计。

板材受到荷载或作用发生了变形，沿构件长向每点大小不同，变形后呈现曲线形状；规则的曲线中部挠曲程度最大，称这个值侧弯。

相应地，尺寸缺陷的报错方法是通过开放缺陷阈值的设置功能，当某种尺寸缺陷超出的阈值时，提示不合格或发送不合格信息。

S104，获取线阵相机所采集的目标板材的二维彩色图像信息。

本发明采用四个线阵相机同时对板材的上、下、左、右四个表面进行扫取，然后对其表面进行彩色成图，得到其各自面的二维彩色图像信息。

S105，将二维彩色图像信息输入事先训练的缺陷识别模型以识别目标板材的自然缺陷。

相应地，所述自然缺陷包括死活节、树脂囊、夹皮及腐朽，但不以此为限制。

另外，识别裂纹缺陷(表面裂纹、端裂及断裂纹)缺陷时，需结合三维模型及缺陷识别模型进行处理。具体地，可通过线阵相机彩色成像，配合单角度打光，并结合缺陷识别模型可以对表面裂纹进行识别，结合三维模型可以对裂纹的深度进行分析，进一步确定裂纹。

S106，将二维彩色图像信息输入事先训练的颜色分类模型以识别目标板材的颜色类别。

相应地，所述颜色类别包括蓝变、深色、中色、浅色及杂色，但不以此为限制。需要说明的是，板材被变色菌侵入时会产生蓝变，蓝变缺陷区域分布范围较大，呈现蓝色、浅蓝色等特征，因此，可采用颜色分类模型进行识别。

另外，识别虫孔缺陷时，需结合三维模型及颜色分类模型进行处理。其中，虫孔的判断依据主要有两点：1.虫孔的颜色比周围板材颜色更深，且近似圆形；2.虫孔会在板材中产生深陷，经3D轮廓仪扫取后会形成高度差。因此，通过颜色分类模型可以对虫孔进行识别，结合3D轮廓仪可以对蛀孔的高度进行分析。

因此，通过本发明可对板材的缺陷进行全面的精准检测，其中：长宽高缺陷、弯曲度缺陷、扭曲度缺陷、两端直角度缺陷、崩面啃头缺陷、瓦形缺陷、生虫缺陷及测弯缺陷可通过三维点云信息所构建的三维模型进行识别，死活节、树脂囊、夹皮及腐朽缺陷可通过缺陷识别模型进行识别，蓝变缺陷及颜色分类可通过颜色分类模型进行识别，裂纹缺陷需结合三维模型及缺陷识别模型进行识别，而虫孔缺陷需结合三维模型及颜色分类模型进行识别。

进一步，将二维彩色图像信息输入事先训练的缺陷识别模型及颜色分类模型之前，还需对二维彩色图像信息进行预处理。具体的预处理的步骤包括：

(1)对二维彩色图像信息进行SVD分解；

(2)对经SVD分解后的二维彩色图像信息进行Gabor滤波；

(3)采用迭代差影法对经Gabor滤波后的二维彩色图像信息进行差影运算。

需要说明的是，迭代差影法进行中值滤波和图像增强处理后，对图像进行多次像素模板提取和差影运算，可获取到对比度较高的缺陷图，从而有效抑制背景对缺陷的识别干扰，凸显缺陷特点，从而为下一步机器学习和识别提供有效条件。

因此，本发明采用SVD分解、Gabor滤波、迭代差影法相结合的处理方法，既避免了SVD的非水平垂直方向处理能力的缺漏，又降低了Gabor滤波中的计算量，兼顾处理效果和处理效率。

参见图6及图7，本发明中缺陷识别模型的训练方法的实施例流程图，具包括：

S201，获取原始彩色图像；

S202，对原始彩色图像进行截取合并处理，以形成基础彩色图像；

由于通过线阵相机采图后，原始图像尺寸长宽比太大，不适合模型学习，因此，需先按先验知识截取合并以形成图像重建。

S203，在基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像；

框取标注时，可通过人工经验标注缺陷位置及缺陷类别。具体地，缺陷类别包括死活节、树脂囊、夹皮及腐朽，但不以此为限制。

S204，对标注彩色图像进行泛化扩增处理，以形成样本彩色图像；

实际采集的缺陷板材数量往往有限，因此，可通过专用算法进行泛化扩增。

S205，将所有样本彩色图像整合成样本彩色图像集；

S206，根据样本彩色图像集训练缺陷识别模型。

如图8所示，缺陷识别模型采用DNN模型对输入的样本彩色图像进行多尺度特征提取，并结合语义信息和位置信息对多尺度特征进行融合，再结合注意力机制和空间金字塔结构提取特征以识别并输出缺陷类别、缺陷位置及置信度信息。相应地，所述样本彩色图像为640×640的重建图像。

参见图9及图10，本发明中颜色分类模型的训练方法的实施例流程图，具包括：

S301，获取原始彩色图像；

S302，通过视觉算法提取原始彩色图像的目标前景区域，以形成ROI彩色图像；

S303，对ROI彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；

S304，在局部图像中标注色彩类别，以形成标注分类图像；

框取标注时，可通过人工经验标注色彩类别；具体地，色彩类别包括蓝变、深色、中色、浅色及杂色，但不以此为限制。

S305，对标注分类图像进行泛化扩增处理，以形成样本分类图像；

实际采集的缺陷板材数量往往有限，因此，可通过专用算法进行泛化扩增。

S306，将所有样本分类图像整合成样本分类图像集；

S307，根据样本分类图像集训练颜色分类模型。

如图11所示，颜色分类模型采用DNN模型对输入的样本分类图像进行多尺度特征提取，并对高维特征向量进行分类，再识别图像语义分类信息以输出色彩类别及置信度信息。相应地，样本分类图像为320×320切块图像。

因此，通过线阵相机获取原始彩色图像，再使用图像预处理技术凸显缺陷特征，通过训练好的模型算法进行识别，从而达到代替人工检测的目的，具备效率高，成本低，灵活性强的优点。

参见图12，图12显示了本发明板材视觉检测***100的具体结构，其包括尺寸缺陷识别模块1、自然缺陷识别模块2及颜色分类识别模块3。

下面分别对上述三个模块进行具体说明：

一、尺寸缺陷识别模块1

尺寸缺陷识别模块1用于获取3D轮廓仪所采集的目标板材的三维点云信息，根据三维点云信息构建三维模型，根据三维模型及预设基准尺寸识别目标板材的尺寸缺陷。

本发明中采用四个3D轮廓仪对板材的上、下、左、右四个方向进行高度测量。当所需检测的板材从运动装置进入由四个3D轮廓仪组成的检测区时，打开四个3D轮廓仪；然后，四个3D轮廓仪的四条激光线分别对快速移动的板材的四个平面进行扫描，获得板材的三维点云信息，同时将扫取的三维点云信息发送至尺寸缺陷识别模块1中；当板材穿过3D轮廓仪的视野时，停止3D轮廓仪，将所采集的整条板材的三维点云信息拼接重建；最后，依据每项参数的检测规程，将计算结构与判断标准进行比对，识别出相关参数的具体尺寸缺陷。

相应地，尺寸缺陷包括长宽高缺陷、弯曲度缺陷、扭曲度缺陷、两端直角度缺陷、崩面啃头缺陷、瓦形缺陷、生虫缺陷及测弯缺陷中的任意一种或几种，但不以此为限制。具体地：

识别长宽高缺陷时，目标板材的长度为三维模型的长度，目标板材的宽度为三维模型的宽度，目标板材的厚度为三维模型的厚度。也就是说，板材的长度可通过三维模型的长度得到；板材的宽度由上下设置的3D轮廓仪的X轴方向激光线宽来测得；板材的厚度由左右设置的3D轮廓仪的X轴方向激光线宽来测得。

识别弯曲度缺陷时，沿三维模型的长度方向提取高度分布，选取最大高度值作为弦高，将弦高除以长度即为长度方向的弯曲度。如图2所示，板材的形状为一瘦长的长方体，根据弯曲度的定义：每米长度上弯曲的弦高为每米弯曲度，总长度弯曲的总弦高与总长度的比为总弯曲度。因此，可转化为三维模型中长度方向的高度分布，选取最大值弦高，将此值除以总长度即为长度方向的弯曲度；由于有上下两面，即取其中的最大值为弯曲度。

识别扭曲度缺陷时，计算三维模型中一个面上任意一角到另外三个角平面的距离，取最大距离值作为扭曲度。如图3所示，板材的形状为一瘦长的长方体，根据扭曲度的定义：把某平面拱起的一角朝上，另三个角放在一个平面，其中这个悬空的角距离另三点平面的距离就是扭曲度。因此，可转化为一个面任意一角到另三角平面的距离计算，取其中最大的距离为弯曲度；由于有上下两面，即取其中的最大值。

识别两端直角度缺陷时，计算三维模型中平面与平面之间的夹角，并将夹角作为两端直角度。如图4所示，两端直角度可认为是两端与侧边的角度测量，根据三维模型可转化为平面与平面的夹角求解。

识别崩面啃头缺陷时，采用表面平滑算法对三维模型进行处理，将平滑后数据与原始数据进行相减即可得到崩面啃头区域，或者通过上表面三维点云信息拟合上表面方程，通过下表面三维点云信息拟合下表面方程，计算每个点到上表面方程及下表面方程的距离，绘制灰度图即可得到崩面啃头区域。需要说明的是，崩面主要由刀具未落入或板面高度略低所致，其特征是板材表面有明显的毛刺，从而在板材腰部形成明显的暗区；因此，可通过表面平滑算法处理，再将平滑后与原始数据进行相减即可以得到崩面的区域，下表面亦是如此处理。对于少数表面毛刺不明显的区域，通过上下表面的三维点云信息计算，即先通过上下表面的三维点云信息拟合得到两个平方方程，计算表面每个点到平面方程的距离，绘制成高度灰度图，亦可得到相关区域面积，同理下表面亦可如是处理。

识别瓦形缺陷时，从三维模型的内外侧拟合圆形方程，并计算圆形的半径，根据半径确定瓦形缺陷。如图5所示，瓦弯度是板材的缺陷之一，要求瓦形的高度≦0.5㎜，且除去瓦形后厚度≧成型素板厚度+1㎜。板材瓦形根据所提供的规格来看，可分为纵向瓦形和横向瓦形。瓦形类似于一段圆弧，以纵向横截面瓦形为例，其内外侧可拟合一个圆方程，并得到圆的半径和圆心。瓦形越严重，其所得圆半径小；瓦形越轻微，其所得圆半径越大或无穷大。因此，可通过设定拟合的圆半径阈值，即可判断是否为瓦形。通过计算上下表面三维点云信息的极值，即可得出瓦形高度；或者通过平面几何计算圆弧高度。

识别生虫缺陷时，采用表面平滑算法对三维模型进行处理，将平滑后数据与原始数据进行相减即可得到生虫区域。

识别测弯缺陷时，除去侧弯的部分，宽度够宽；够宽的情况下，一边直且板面完好，另一侧不直不计。需要说明的是，板材受到荷载或作用发生了变形，沿构件长向每点大小不同，变形后呈现曲线形状；规则的曲线中部挠曲程度最大，称这个值侧弯。

相应地，尺寸缺陷的报错方法是通过开放缺陷阈值的设置功能，当某种尺寸缺陷超出的阈值时，提示不合格或发送不合格信息。

二、自然缺陷识别模块2

自然缺陷识别模块2，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将二维彩色图像信息输入事先训练的缺陷识别模型以识别目标板材的自然缺陷。相应地，所述自然缺陷包括死活节、树脂囊、夹皮及腐朽，但不以此为限制。

需要说明的是，本发明采用四个线阵相机同时对板材的上、下、左、右四个表面进行扫取，然后对其表面进行彩色成图，得到其各自面的二维彩色图像信息。

进一步，识别裂纹缺陷(表面裂纹、端裂及断裂纹)缺陷时，需结合三维模型及缺陷识别模型进行处理。具体地，可通过线阵相机彩色成像，配合单角度打光，并结合缺陷识别模型可以对表面裂纹进行识别，结合三维模型可以对裂纹的深度进行分析，进一步确定裂纹。

三、颜色分类识别模块3

颜色分类识别模块3，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将二维彩色图像信息输入事先训练的颜色分类模型以识别目标板材的颜色类别。

相应地，所述颜色类别包括蓝变、深色、中色、浅色及杂色，但不以此为限制。需要说明的是，板材被变色菌侵入时会产生蓝变，蓝变缺陷区域分布范围较大，呈现蓝色、浅蓝色等特征，因此，可采用颜色分类模型进行识别。

进一步，识别虫孔缺陷时，需结合三维模型及颜色分类模型进行处理。其中，虫孔的判断依据主要有两点：1.虫孔的颜色比周围板材颜色更深，且近似圆形；2.虫孔会在板材中产生深陷，经3D轮廓仪扫取后会形成高度差。因此，通过颜色分类模型可以对虫孔进行识别，结合3D轮廓仪可以对蛀孔的高度进行分析。

因此，通过本发明可对板材的缺陷进行全面的精准检测，能解决当下人工检测疲劳误差、检出率不达标等问题，具备灵活性好，性能强、检出率高的优点。

如图13所示，板材视觉检测***100还包括缺陷识别训练模块4；具体地，缺陷识别训练模块4包括：

第一获取单元41，用于获取原始彩色图像；

合并单元42，用于对原始彩色图像进行截取合并处理，以形成基础彩色图像；由于通过线阵相机采图后，原始图像尺寸长宽比太大，不适合模型学习，因此，需先按先验知识截取合并以形成图像重建。

第一标注单元43，用于在基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像，缺陷类别包括死活节、树脂囊、夹皮及腐朽；框取标注时，可通过人工经验标注缺陷位置及缺陷类别。具体地，缺陷类别包括死活节、树脂囊、夹皮及腐朽，但不以此为限制。

第一扩增单元44，用于对标注彩色图像进行泛化扩增处理，以形成样本彩色图像；实际采集的缺陷板材数量往往有限，因此，可通过专用算法进行泛化扩增。

第一整合单元45，用于将所有样本彩色图像整合成样本彩色图像集；

第一训练单元46，用于根据样本彩色图像集训练缺陷识别模型。

如图8所示，缺陷识别模型采用DNN模型对输入的样本彩色图像进行多尺度特征提取，并结合语义信息和位置信息对多尺度特征进行融合，再结合注意力机制和空间金字塔结构提取特征以识别并输出缺陷类别、缺陷位置及置信度信息。相应地，所述样本彩色图像为640×640的重建图像。

如图14所示，板材视觉检测***100还包括颜色分类训练模块5；具体地，颜色分类训练模块5包括：

第二获取单元51，用于获取原始彩色图像；

提取单元52，用于通过视觉算法提取原始彩色图像的目标前景区域，以形成ROI彩色图像；

切割单元53，用于对ROI彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；

第二标注单元54，用于在局部图像中标注色彩类别，以形成标注分类图像，色彩类别包括蓝变、深色、中色及浅色；框取标注时，可通过人工经验标注色彩类别；具体地，色彩类别包括蓝变、深色、中色、浅色及杂色，但不以此为限制。

第二扩增单元55，用于对标注分类图像进行泛化扩增处理，以形成样本分类图像；实际采集的缺陷板材数量往往有限，因此，可通过专用算法进行泛化扩增。

第二整合单元56，用于将所有样本分类图像整合成样本分类图像集；

第二训练单元57，用于根据样本分类图像集训练颜色分类模型。

如图11所示，颜色分类模型采用DNN模型对输入的样本分类图像进行多尺度特征提取，并对高维特征向量进行分类，再识别图像语义分类信息以输出色彩类别及置信度信息。相应地，样本分类图像为320×320切块图像。

因此，本发明可通过线阵相机获取原始彩色图像，再使用图像预处理技术凸显缺陷特征，通过训练好的模型算法进行识别，从而达到代替人工检测的目的，具备效率高，成本低，灵活性强的优点。

如图15所示，板材视觉检测***100还包括预处理模块6，将二维彩色图像信息输入事先训练的缺陷识别模型及颜色分类模型之前，还需通过预处理模块6对二维彩色图像信息进行预处理。具体地，所述预处理模块6包括：

SVD单元61，用于对二维彩色图像信息进行SVD分解；

Gabor单元62，用于对经SVD分解后的二维彩色图像信息进行Gabor滤波；

差影单元63，用于采用迭代差影法对经Gabor滤波后的二维彩色图像信息进行差影运算。需要说明的是，迭代差影法进行中值滤波和图像增强处理后，对图像进行多次像素模板提取和差影运算，可获取到对比度较高的缺陷图，从而有效抑制背景对缺陷的识别干扰，凸显缺陷特点，从而为下一步机器学习和识别提供有效条件。

因此，预处理模块6采用SVD分解、Gabor滤波、迭代差影法相结合的处理方法，既避免了SVD的非水平垂直方向处理能力的缺漏，又降低了Gabor滤波中的计算量，兼顾处理效果和处理效率。

另外，本发明采用边缘计算技术对尺寸缺陷识别模块1、自然缺陷识别模块2、颜色分类识别模块3、缺陷识别训练模块4、颜色分类训练模块5及预处理模块6中的数据进行处理。

需要说明的是，传统机器视觉检测图像采集端获取到图片数据，需要上传到云端，或者通过局域网传到图像预处理中心和判别服务器进行处理和识别，识别结果再返回到客户端。由于照片数据量大，如果产线数量多，集中式的图像预处理和判别服务中心将受到严峻的性能挑战，延时大，降低了检测效率。本发明采用边缘计算技术，使用边云协同的理念，由公有云或者私有云机器学习平台负责图像存储、模型训练、调优、发布、管理、评价和标注***等功能，训练好的模型可下发至边缘设备，这样线阵相机采集的二维彩色图像信息可直接就近进行识别和返回识别结果，大大降低了时延，分布式计算的特点，也解决集中式判别中心和图像处理中心负载大性能低的问题，能有效适应产线多的应用场景，大大提高了检测效率。

相应地，本发明还引入中台理念，将机器学习框架、深度学习框架、模型训练、模型调优、模型评价，模型发布、模型生命周期管理，人工标准、半自动标注、缺陷统计等共性通用能力抽象集成，形成模型中心、标准中心、智能学习中心、统计中心等领域能力，上层应用只需调用接口即可实现相应功能，避免重复开发，重复建设，其他凡是机器视觉检测领域，都可以基于本项目AI中台，快速孵化相应视觉检测产品。

由上可知，本发明将图像预处理技术、边缘计算技术、深度学习技术相结合，打造软硬结合、边云协同的缺陷检测设备，具备灵活性好、检出率高、时延低的优点，有效把控了出货质量，降低了售后成本，对推动产线自动化和工业4.0具有深远意义。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种板材视觉检测方法，其特征在于，包括：

获取3D轮廓仪所采集的目标板材的三维点云信息，根据所述三维点云信息构建三维模型，根据所述三维模型及预设基准尺寸识别所述目标板材的尺寸缺陷；

获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的缺陷识别模型以识别所述目标板材的自然缺陷，并将所述二维彩色图像信息输入事先训练的颜色分类模型以识别所述目标板材的颜色类别；

其中，将所述二维彩色图像信息输入事先训练的缺陷识别模型及颜色分类模型之前，对所述二维彩色图像信息进行预处理，所述预处理的步骤包括：对所述二维彩色图像信息进行SVD分解；对经SVD分解后的二维彩色图像信息进行Gabor滤波；采用迭代差影法对经Gabor滤波后的二维彩色图像信息进行差影运算。

2.如权利要求1所述的板材视觉检测方法，其特征在于，还包括缺陷识别模型训练，具体包括：

获取原始彩色图像；

对所述原始彩色图像进行截取合并处理，以形成基础彩色图像；

在所述基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像，所述缺陷类别包括死活节、树脂囊、夹皮及腐朽；

对所述标注彩色图像进行泛化扩增处理，以形成样本彩色图像；

将所有样本彩色图像整合成样本彩色图像集；

根据所述样本彩色图像集训练所述缺陷识别模型。

3.如权利要求2所述的板材视觉检测方法，其特征在于，所述缺陷识别模型采用DNN模型对输入的样本彩色图像进行多尺度特征提取，并结合语义信息和位置信息对所述多尺度特征进行融合，再结合注意力机制和空间金字塔结构提取特征以识别并输出缺陷类别、缺陷位置及置信度信息。

4.如权利要求1所述的板材视觉检测方法，其特征在于，还包括颜色分类模型训练，具体包括：

获取原始彩色图像；

通过视觉算法提取所述原始彩色图像的目标前景区域，以形成ROI彩色图像；

对所述RO I彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；

在所述局部图像中标注色彩类别，以形成标注分类图像，所述色彩类别包括蓝变、深色、中色及浅色；

对所述标注分类图像进行泛化扩增处理，以形成样本分类图像；

将所有样本分类图像整合成样本分类图像集；

根据所述样本分类图像集训练所述颜色分类模型。

5.如权利要求4所述的板材视觉检测方法，其特征在于，所述颜色分类模型采用DNN模型对输入的样本分类图像进行多尺度特征提取，并对高维特征向量进行分类，再识别图像语义分类信息以输出色彩类别及置信度信息。

6.如权利要求1所述的板材视觉检测方法，其特征在于，所述尺寸缺陷包括长宽高缺陷、弯曲度缺陷、扭曲度缺陷、两端直角度缺陷、崩面啃头缺陷、瓦形缺陷及生虫缺陷中的任意一种或几种；

识别所述长宽高缺陷时，所述目标板材的长度为所述三维模型的长度，所述目标板材的宽度为所述三维模型的宽度，所述目标板材的厚度为所述三维模型的厚度；

识别所述弯曲度缺陷时，沿所述三维模型的长度方向提取高度分布，选取最大高度值作为弦高，将所述弦高除以长度即为长度方向的弯曲度；

识别所述扭曲度缺陷时，计算所述三维模型中一个面上任意一角到另外三个角平面的距离，取最大距离值作为扭曲度；

识别所述两端直角度缺陷时，计算所述三维模型中平面与平面之间的夹角，并将所述夹角作为两端直角度；

识别所述崩面啃头缺陷时，采用表面平滑算法对所述三维模型进行处理，将所述平滑后数据与原始数据进行相减即可得到崩面啃头区域，或者通过上表面三维点云信息拟合上表面方程，通过下表面三维点云信息拟合下表面方程，计算每个点到上表面方程及下表面方程的距离，绘制灰度图即可得到崩面啃头区域；

识别所述瓦形缺陷时，从所述三维模型的内外侧拟合圆形方程，并计算圆形的半径，根据所述半径确定瓦形缺陷；

识别所述生虫缺陷时，采用表面平滑算法对所述三维模型进行处理，将所述平滑后数据与原始数据进行相减即可得到生虫区域。

7.一种板材视觉检测***，其特征在于，包括：

尺寸缺陷识别模块，用于获取3D轮廓仪所采集的目标板材的三维点云信息，根据所述三维点云信息构建三维模型，根据所述三维模型及预设基准尺寸识别所述目标板材的尺寸缺陷；

自然缺陷识别模块，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的缺陷识别模型以识别所述目标板材的自然缺陷；

颜色分类识别模块，用于获取线阵相机所采集的目标板材的二维彩色图像信息，将所述二维彩色图像信息输入事先训练的颜色分类模型以识别所述目标板材的颜色类别；

预处理模块，用于将二维彩色图像信息输入事先训练的缺陷识别模型及颜色分类模型之前，对二维彩色图像信息进行预处理；其中，所述预处理模块包括：SVD单元，用于对二维彩色图像信息进行SVD分解；Gabor单元，用于对经SVD分解后的二维彩色图像信息进行Gabor滤波；差影单元，用于采用迭代差影法对经Gabor滤波后的二维彩色图像信息进行差影运算。

8.如权利要求7所述的板材视觉检测***，其特征在于，还包括缺陷识别训练模块，所述缺陷识别训练模块包括：

第一获取单元，用于获取原始彩色图像；

合并单元，用于对所述原始彩色图像进行截取合并处理，以形成基础彩色图像；

第一标注单元，用于在所述基础彩色图像中标注缺陷位置及缺陷类别，以形成标注彩色图像，所述缺陷类别包括死活节、树脂囊、夹皮及腐朽；

第一扩增单元，用于对所述标注彩色图像进行泛化扩增处理，以形成样本彩色图像；

第一整合单元，用于将所有样本彩色图像整合成样本彩色图像集；

第一训练单元，用于根据所述样本彩色图像集训练所述缺陷识别模型。

9.如权利要求7所述的板材视觉检测***，其特征在于，还包括颜色分类训练模块，所述颜色分类训练模块包括：

第二获取单元，用于获取原始彩色图像；

提取单元，用于通过视觉算法提取所述原始彩色图像的目标前景区域，以形成RO I彩色图像；

切割单元，用于对所述RO I彩色图像的目标前景区域进行缩放处理，并切割成多个局部图像；

第二标注单元，用于在所述局部图像中标注色彩类别，以形成标注分类图像，所述色彩类别包括蓝变、深色、中色及浅色；

第二扩增单元，用于对所述标注分类图像进行泛化扩增处理，以形成样本分类图像；

第二整合单元，用于将所有样本分类图像整合成样本分类图像集；

第二训练单元，用于根据所述样本分类图像集训练所述颜色分类模型。