CN115791801A - 基于机器视觉的3d玻璃在线监测平台 - Google Patents

Abstract

本发明公开了一种基于机器视觉的3D玻璃在线监测平台，属于玻璃生产检测平台技术领域，包括图像采集模块、运动控制单元以及辅助单元，图像采集模块连接有数据分析模块，数据分析模块连接有缺陷分类模块，图像采集模块包括3D相机以及用于采集3D相机摄取图像的图像采集卡。本发明能够将原本依赖于二维数据的划痕、污渍、气泡以及麻点的判断结合3D相机获取的深度信息对划痕、污渍、气泡以及麻点的判断进一步优化，实现玻璃上缺陷的立体识别与分类，提高计算和识别的效率，解决了现在的玻璃生产中机器视觉的检测依靠二维的信息判断准确度不高的不足。

Description

基于机器视觉的3D玻璃在线监测平台

技术领域

本发明涉及一种在线监测平台，特别是涉及一种基于机器视觉的3D玻璃在线监测平台，属于玻璃生产检测平台技术领域。

背景技术

在生产玻璃的过程中需要对玻璃中的缺陷、结石和绳印等瑕疵进行检测，现在的机器视觉还能够检测玻璃表面的各种缺陷和颜色特征，玻璃生产过程的机器视觉也能够检测涂层薄片玻璃、陶瓷玻璃以及TFT-LCD玻璃，众多学者也在研究机器视觉玻璃检测算法的优化和改进，以便于改善检测效果，提高检测的准确率和效率，机器视觉因为其独特的检测优势在玻璃检方面得到了生产厂商的重视和推广，但是机器视觉的玻璃检测也存在很多的技术难题，如何提高缺陷采集的效果和清晰度、如何提高机器视觉的测量精度和效率以实现比例检测的实时性以及如何利用缺陷的特征进行学***台，能够将原本依赖于二维数据的划痕、污渍、气泡以及麻点的判断结合3D相机获取的深度信息对划痕、污渍、气泡以及麻点的判断进一步优化，实现玻璃上缺陷的立体识别与分类，同时优化计算过程，提高计算和识别的效率，提高缺陷识别和***的准确度。

发明内容

本发明的主要目的是为了解决现在的玻璃生产中机器视觉的检测手段只能依赖于缺陷区域面积、周长、圆形度、长宽比、伸长度、欧拉数、倾角以及填充度这些二维数据将玻璃表面的缺陷分为划痕、污渍、气泡以及麻点，计算量大且过程复杂，计算参量大，输出结果多，多进程的计算以及结果输出影响判断效率，且二维的信息判断准确度不高的不足，而提供的一种基于机器视觉的3D玻璃在线监测平台。

本发明的目的可以通过采用如下技术方案达到：

一种基于机器视觉的3D玻璃在线监测平台，包括图像采集模块、运动控制单元以及辅助单元，所述图像采集模块连接有数据分析模块，所述数据分析模块连接有缺陷分类模块，所述图像采集模块包括3D相机以及用于采集所述3D相机摄取图像的图像采集卡，所述数据分析模块包括过滤块，所述过滤块连接有3D信息计算块，所述3D信息分析块包括缺陷体积计算块、围面计算块、体内倾斜深度计算块、立体延伸度计算块以及立体倾角计算块，其中各个模块的作用如下：

所述过滤块利用填充度和深度指标分别滤除微小干扰点以及表面污渍，表示缺陷能够擦拭去除；

所述缺陷体积计算块利用缺陷内单元像素体积与像素块的个数的乘积表示缺陷的体积，利用缺陷体积与整体玻璃的体积之比记为滤泡比，滤除微小气泡，缺陷体积计算块的分析公式为：

(1)缺陷体积公式：

式中：V_qx记为缺陷体积，i、j以及z记为玻璃表面缺陷面积的横向、纵向分割段序号以及玻璃竖向深度分割段序号，n、m以及l分别记为玻璃表面缺陷面积的横向、纵向分割段数目以及玻璃竖向深度分割段数目，V₀记为单位体积像素的体积；

(2)滤泡比公式：

式中：α记为滤泡比，L记为待检测区域玻璃的长度，D记为待检测区域玻璃的宽度，H记为待检测区域玻璃的厚度；

所述围面积计算块利用缺陷轮廓水平切面上最大的周长与最大深度的乘积记为围面积，利用围面积的大小来反映缺陷的最大外接异形柱面的面积，作为缺陷的一种三维基础属性，围面积的公式为：

S_yx＝C_max*H_max；

式中：S_yx记为围面积，C_max记为缺陷轮廓水平切面上的最大周长，H_max记为缺陷轮廓的最大深度；

所述体内倾深度利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴和短轴的比值再乘以缺陷的平均深度，所得的数值记作体内倾斜深度，用于判断缺陷的体扁平程度，体内倾斜深度的评估公式为：

式中：I_bp记为体内倾斜神度，L_cz以及L_dz分别记为与缺陷具有相同二阶中心距的外接最小椭圆的长轴和短轴长度，

记为缺陷的平均深度；

所述立体延伸度计算块利用缺陷外接最小长方体的体积与缺陷体积的比值记作立体延伸度，用于判断缺陷的立体延展程度，立体延伸度的评估公式为：

式中：I_ys记为立体延伸度，V_wj,min记为缺陷最小外接长方体的体积；

所述立体倾角计算块利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴与水平方向上的夹角，和最大深度与长半轴长度比值对应的反正切值相乘，得到的数值记作立体倾角，用来表示缺陷的立体走向，立体倾角的评估公式为：

式中：θ_lt记为立体倾角，

记为大深度与长半轴长度比值对应的反正切值。

作为本发明进一步的方案，所述运动控制单元包括下位机、PLC运动控制器、光电编码器以及执行机构，所述执行机构包括打标机和分拣机，所述辅助单元包括防尘遮光罩、报警器和服务器。

作为本发明进一步的方案，所述缺陷分类模块将过滤块滤除的缺陷分类为滤除缺陷，将滤泡比大于标准微泡滤泡比且小于等于标准气泡滤泡比的缺陷记为气泡，将围面积大于标准围面积、滤泡比大于标准气泡滤泡比且具有体内倾斜深度的缺陷记为大面积扁平凹陷缺陷或者大面积扁平内空缺陷，将围面积小于等于标准围面积、体内倾斜深度小于等于标准体内倾斜深度、立体延伸度大于标准立体延伸度且立体倾角大于标准立体倾角的缺陷记为划痕，标准微泡滤泡比、标准气泡滤泡比、标准围面积、标准体内倾斜深度以及标准立体倾角由玻璃检验历史数据分析得出。

作为本发明进一步的方案，所述缺陷分类模块设置玻璃质量评分，玻璃质量评分与缺陷体积、围面积、体内倾斜深度、立体延伸度以及立体倾角均负相关，玻璃质量评分的评估公式为：

P_zl＝λ₁*V_qx+λ₂*S_yx+λ₃*I_bp+λ₄*I_ys+λ₅*θ_lt+ξ；

式中：P_zl记为玻璃质量评分，λ₁、λ₂、λ₃、λ₄以及λ₅分别记为V_qx、S_yx、I_bp、I_ys以及θ_lt的线性变换系数，ξ记为玻璃质量评分的变换常数附加值，λ₁、λ₂、λ₃、λ₄、λ₅以及ξ均通过历史数据使用数值分析软件分析得到。

将玻璃质量评分作为自变量输入函数

其中f记为函数表达式，x记为函数f的自变量，利用f(P_zl)的值与0.5进行对比实现玻璃质量评分的分类，当0≤f(P_zl)<0.5时，将玻璃质量分为一类，当0.5≤f(P_zl)≤1时，将玻璃质量分为二类。

本发明的有益技术效果：按照本发明的基于机器视觉的3D玻璃在线监测平台，通过3D相机的设置，能够利用3D相机结合深度学习技术识别玻璃上缺陷的立体信息，结合缺陷的立体信息计算缺陷的体积、围面积、体内倾斜深度、立体延伸度以及立体倾角，能够帮助缺陷分析模块建立数据分析的基础，为结合立体数据信息对缺陷进行立体分类提出识别的依据，方便识别处缺陷的立体特征，能够将原本依赖于二维数据的划痕、污渍、气泡以及麻点的判断结合3D相机获取的深度信息对划痕、污渍、气泡以及麻点的判断进一步优化，实现玻璃上缺陷的立体识别与分类，同时优化计算过程，提高计算和识别的效率，提高缺陷识别和***的准确度。

附图说明

图1为按照本发明的基于机器视觉的3D玻璃在线监测平台的结构框图。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供的基于机器视觉的3D玻璃在线监测平台，包括图像采集模块、运动控制单元以及辅助单元，所述图像采集模块连接有数据分析模块，所述数据分析模块连接有缺陷分类模块，所述图像采集模块包括3D相机以及用于采集所述3D相机摄取图像的图像采集卡，所述数据分析模块包括过滤块，所述过滤块连接有3D信息计算块，所述3D信息分析块包括缺陷体积计算块、围面计算块、体内倾斜深度计算块、立体延伸度计算块以及立体倾角计算块，其中各个模块的作用如下：

所述过滤块利用填充度和深度指标分别滤除微小干扰点以及表面污渍，表示缺陷能够擦拭去除；

所述缺陷体积计算块利用缺陷内单元像素体积与像素块的个数的乘积表示缺陷的体积，利用缺陷体积与整体玻璃的体积之比记为滤泡比，滤除微小气泡，缺陷体积计算块的分析公式为：

(1)缺陷体积公式：

式中：V_qx记为缺陷体积，i、j以及z记为玻璃表面缺陷面积的横向、纵向分割段序号以及玻璃竖向深度分割段序号，n、m以及l分别记为玻璃表面缺陷面积的横向、纵向分割段数目以及玻璃竖向深度分割段数目，V₀记为单位体积像素的体积；

通过缺陷体积的计算，能够结合缺陷的体积对缺陷进行首次过滤，过滤掉非常小的气泡，为滤泡比公式奠定数据基础。

(2)滤泡比公式：

式中：α记为滤泡比，L记为待检测区域玻璃的长度，D记为待检测区域玻璃的宽度，H记为待检测区域玻璃的厚度；

通过滤泡比公式的设置，能够结合玻璃的体积以及气泡的体积之间的相对大小，滤除对玻璃整体性能影响较小的小气泡，避免带有小气泡的玻璃杯误认为缺陷玻璃过滤掉。

所述围面积计算块利用缺陷轮廓水平切面上最大的周长与最大深度的乘积记为围面积，利用围面积的大小来反映缺陷的最大外接异形柱面的面积，作为缺陷的一种三维基础属性，围面积的公式为：

S_yx＝C_max*H_max；

式中：S_yx记为围面积，C_max记为缺陷轮廓水平切面上的最大周长，H_max记为缺陷轮廓的最大深度；

通过围面积公式的设置，能够结合缺陷的最大深度以及缺陷轮廓水平切面上的最大周长对玻璃的缺陷进行展示，展现玻璃缺陷的一种基本三维属性，作为判断的依据为后续分类识别奠定数据基础。

所述体内倾深度利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴和短轴的比值再乘以缺陷的平均深度，所得的数值记作体内倾斜深度，用于判断缺陷的体扁平程度，体内倾斜深度的评估公式为：

式中：I_bp记为体内倾斜神度，L_cz以及L_dz分别记为与缺陷具有相同二阶中心距的外接最小椭圆的长轴和短轴长度，

记为缺陷的平均深度；

通过体内倾斜深度的设置，能够结合缺陷轮廓内的平均深度与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴和短轴的比值综合展现缺陷的三维扁平程度，数值较大能够展现缺陷较为扁平，可能是裂痕或者狭长扁平的划痕。

所述立体延伸度计算块利用缺陷外接最小长方体的体积与缺陷体积的比值记作立体延伸度，用于判断缺陷的立体延展程度，立体延伸度的评估公式为：

式中：I_ys记为立体延伸度，V_wj,min记为缺陷最小外接长方体的体积；

通过立体延伸度的计算能够判断缺陷在深度方向上的延展程度，表明缺陷的影响范围，侧面反映缺陷对玻璃质量的影响程度。

所述立体倾角计算块利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴与水平方向上的夹角，和最大深度与长半轴长度比值对应的反正切值相乘，得到的数值记作立体倾角，用来表示缺陷的立体走向，立体倾角的评估公式为：

式中：θ_lt记为立体倾角，

记为大深度与长半轴长度比值对应的反正切值。

通过立体倾角的设置能够方便展现缺陷的平面铺开程度与深度上的展开程度，这样能够展现缺陷的立体扩张程度。

本发明提出的基于机器视觉的3D玻璃在线监测平台，通过3D相机的设置，能够利用3D相机结合深度学习技术识别玻璃上缺陷的立体信息，结合缺陷的立体信息计算缺陷的体积、围面积、体内倾斜深度、立体延伸度以及立体倾角，能够帮助缺陷分析模块建立数据分析的基础，为结合立体数据信息对缺陷进行立体分类提出识别的依据，方便识别处缺陷的立体特征，能够将原本依赖于二维数据的划痕、污渍、气泡以及麻点的判断结合3D相机获取的深度信息对划痕、污渍、气泡以及麻点的判断进一步优化，实现玻璃上缺陷的立体识别与分类，同时优化计算过程，提高计算和识别的效率，提高缺陷识别和***的准确度。

所述运动控制单元包括下位机、PLC运动控制器、光电编码器以及执行机构，所述执行机构包括打标机和分拣机，所述辅助单元包括防尘遮光罩、报警器和服务器。

通过控制单元的设置能够帮助检测平台实现设备检测与运行的自动化处理，提高检测的效率和自动化程度，通过打标机和分拣机的设置能够方便对玻璃进行分拣和分类，同时打上标签方便辨识，通过防尘遮光罩的设置防止外界多余光源对3D相机摄取图像的影响，也能够防止粉尘落在玻璃上，增加识别的计算负担，通过报警器的设置，能够在识别到缺陷较为明显且玻璃质量较差的玻璃时发出警报，将残次的玻璃进行处理，通过服务器的设置能够使得多设备的服务信息进行共享、传输和运算。

所述缺陷分类模块将过滤块滤除的缺陷分类为滤除缺陷，将滤泡比大于标准微泡滤泡比且小于等于标准气泡滤泡比的缺陷记为气泡，将围面积大于标准围面积、滤泡比大于标准气泡滤泡比且具有体内倾斜深度的缺陷记为大面积扁平凹陷缺陷或者大面积扁平内空缺陷，将围面积小于等于标准围面积、体内倾斜深度小于等于标准体内倾斜深度、立体延伸度大于标准立体延伸度且立体倾角大于标准立体倾角的缺陷记为划痕，标准微泡滤泡比、标准气泡滤泡比、标准围面积、标准体内倾斜深度以及标准立体倾角由玻璃检验历史数据分析得出。

所述缺陷分类模块设置玻璃质量评分，玻璃质量评分与缺陷体积、围面积、体内倾斜深度、立体延伸度以及立体倾角均负相关，玻璃质量评分的评估公式为：

P_zl＝λ₁*V_qx+λ₂*S_yx+λ₃*I_bp+λ₄*I_ys+λ₅*θ_lt+ξ；

式中：P_zl记为玻璃质量评分，λ₁、λ₂、λ₃、λ₄以及λ₅分别记为V_qx、S_yx、I_bp、I_ys以及θ_lt的线性变换系数，ξ记为玻璃质量评分的变换常数附加值，λ₁、λ₂、λ₃、λ₄、λ₅以及ξ均通过历史数据使用数值分析软件分析得到。

将玻璃质量评分作为自变量输入函数

其中f记为函数表达式，x记为函数f的自变量，利用f(P_zl)的值与0.5进行对比实现玻璃质量评分的分类，当0≤f(P_zl)<0.5时，将玻璃质量分为一类，当0.5≤f(P_zl)≤1时，将玻璃质量分为二类。

通过对玻璃质量评分的分类，能够根据玻璃质量评分的分类对玻璃的质量评估提供参考指标，方便优化玻璃缺陷检测的算法，实现玻璃质量的分类。

综上所述，在本实施例中，按照本实施例的基于机器视觉的3D玻璃在线监测平台，通过缺陷体积的计算，能够结合缺陷的体积对缺陷进行首次过滤，过滤掉非常小的气泡，为滤泡比公式奠定数据基础。通过滤泡比公式的设置，能够结合玻璃的体积以及气泡的体积之间的相对大小，滤除对玻璃整体性能影响较小的小气泡，避免带有小气泡的玻璃杯误认为缺陷玻璃过滤掉。通过围面积公式的设置，能够结合缺陷的最大深度以及缺陷轮廓水平切面上的最大周长对玻璃的缺陷进行展示，展现玻璃缺陷的一种基本三维属性，作为判断的依据为后续分类识别奠定数据基础。通过体内倾斜深度的设置，能够结合缺陷轮廓内的平均深度与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴和短轴的比值综合展现缺陷的三维扁平程度，数值较大能够展现缺陷较为扁平，可能是裂痕或者狭长扁平的划痕。通过立体延伸度的计算能够判断缺陷在深度方向上的延展程度，表明缺陷的影响范围，侧面反映缺陷对玻璃质量的影响程度。通过立体倾角的设置能够方便展现缺陷的平面铺开程度与深度上的展开程度，这样能够展现缺陷的立体扩张程度。通过控制单元的设置能够帮助检测平台实现设备检测与运行的自动化处理，提高检测的效率和自动化程度，通过打标机和分拣机的设置能够方便对玻璃进行分拣和分类，同时打上标签方便辨识，通过防尘遮光罩的设置防止外界多余光源对3D相机摄取图像的影响，也能够防止粉尘落在玻璃上，增加识别的计算负担，通过报警器的设置，能够在识别到缺陷较为明显且玻璃质量较差的玻璃时发出警报，将残次的玻璃进行处理，通过服务器的设置能够使得多设备的服务信息进行共享、传输和运算。通过对玻璃质量评分的分类，能够根据玻璃质量评分的分类对玻璃的质量评估提供参考指标，方便优化玻璃缺陷检测的算法，实现玻璃质量的分类。

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (4)

1.一种基于机器视觉的3D玻璃在线监测平台，其特征在于，包括图像采集模块、运动控制单元以及辅助单元，所述图像采集模块连接有数据分析模块，所述数据分析模块连接有缺陷分类模块，所述图像采集模块包括3D相机以及用于采集所述3D相机摄取图像的图像采集卡，所述数据分析模块包括过滤块，所述过滤块连接有3D信息计算块，所述3D信息分析块包括缺陷体积计算块、围面计算块、体内倾斜深度计算块、立体延伸度计算块以及立体倾角计算块，其中各个模块的作用如下：

所述过滤块利用填充度和深度指标分别滤除微小干扰点以及表面污渍，表示缺陷能够擦拭去除；

所述缺陷体积计算块利用缺陷内单元像素体积与像素块的个数的乘积表示缺陷的体积，利用缺陷体积与整体玻璃的体积之比记为滤泡比，滤除微小气泡，缺陷体积计算块的分析公式为：

(1)缺陷体积公式：

式中：V_qx记为缺陷体积，i、j以及z记为玻璃表面缺陷面积的横向、纵向分割段序号以及玻璃竖向深度分割段序号，n、m以及l分别记为玻璃表面缺陷面积的横向、纵向分割段数目以及玻璃竖向深度分割段数目，V₀记为单位体积像素的体积；

(2)滤泡比公式：

式中：α记为滤泡比，L记为待检测区域玻璃的长度，D记为待检测区域玻璃的宽度，H记为待检测区域玻璃的厚度；

所述围面积计算块利用缺陷轮廓水平切面上最大的周长与最大深度的乘积记为围面积，利用围面积的大小来反映缺陷的最大外接异形柱面的面积，作为缺陷的一种三维基础属性，围面积的公式为：

S_yx＝C_max*H_max；

式中：S_yx记为围面积，C_max记为缺陷轮廓水平切面上的最大周长，H_max记为缺陷轮廓的最大深度；

所述体内倾深度利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴和短轴的比值再乘以缺陷的平均深度，所得的数值记作体内倾斜深度，用于判断缺陷的体扁平程度，体内倾斜深度的评估公式为：

式中：I_bp记为体内倾斜神度，L_cz以及L_dz分别记为与缺陷具有相同二阶中心距的外接最小椭圆的长轴和短轴长度，

记为缺陷的平均深度；

所述立体延伸度计算块利用缺陷外接最小长方体的体积与缺陷体积的比值记作立体延伸度，用于判断缺陷的立体延展程度，立体延伸度的评估公式为：

式中：I_ys记为立体延伸度，V_wj,min记为缺陷最小外接长方体的体积；

所述立体倾角计算块利用与缺陷水平切面上最大截面具有相同二阶中心距的外接最小椭圆长轴与水平方向上的夹角，和最大深度与长半轴长度比值对应的反正切值相乘，得到的数值记作立体倾角，用来表示缺陷的立体走向，立体倾角的评估公式为：

式中：θ_lt记为立体倾角，

记为大深度与长半轴长度比值对应的反正切值。

2.如权利要求1所述的一种基于机器视觉的3D玻璃在线监测平台，其特征在于，所述运动控制单元包括下位机、PLC运动控制器、光电编码器以及执行机构，所述执行机构包括打标机和分拣机，所述辅助单元包括防尘遮光罩、报警器和服务器。

3.如权利要求1所述的一种基于机器视觉的3D玻璃在线监测平台，其特征在于，所述缺陷分类模块将过滤块滤除的缺陷分类为滤除缺陷，将滤泡比大于标准微泡滤泡比且小于等于标准气泡滤泡比的缺陷记为气泡，将围面积大于标准围面积、滤泡比大于标准气泡滤泡比且具有体内倾斜深度的缺陷记为大面积扁平凹陷缺陷或者大面积扁平内空缺陷，将围面积小于等于标准围面积、体内倾斜深度小于等于标准体内倾斜深度、立体延伸度大于标准立体延伸度且立体倾角大于标准立体倾角的缺陷记为划痕，标准微泡滤泡比、标准气泡滤泡比、标准围面积、标准体内倾斜深度以及标准立体倾角由玻璃检验历史数据分析得出。

4.如权利要求1所述的一种基于机器视觉的3D玻璃在线监测平台，其特征在于，所述缺陷分类模块设置玻璃质量评分，玻璃质量评分与缺陷体积、围面积、体内倾斜深度、立体延伸度以及立体倾角均负相关，玻璃质量评分的评估公式为：

P_zl＝λ₁*V_qx+λ₂*S_yx+λ₃*I_bp+λ₄*I_ys+λ₅*θ_lt+ξ；

式中：P_zl记为玻璃质量评分，λ₁、λ₂、λ₃、λ₄以及λ₅分别记为V_qx、S_yx、I_bp、I_ys以及θ_lt的线性变换系数，ξ记为玻璃质量评分的变换常数附加值，λ₁、λ₂、λ₃、λ₄、λ₅以及ξ均通过历史数据使用数值分析软件分析得到。

将玻璃质量评分作为自变量输入函数

其中f记为函数表达式，x记为函数f的自变量，利用f(P_zl)的值与0.5进行对比实现玻璃质量评分的分类，当0≤f(P_zl)<0.5时，将玻璃质量分为一类，当0.5≤f(P_zl)≤1时，将玻璃质量分为二类。

Images