CN118212170A - 一种面向导轨钢板防护罩边缘检测方法及装置 - Google Patents

Abstract

本发明涉及一种面向导轨钢板防护罩的边缘检测方法及装置，装置包括多维图像采集模块、边缘检测分析模块和控制模块。方法包括控制模块控制设置在工作区域的单目摄像头进行原始图像采集，边缘检测分析模块通过图像处理单元、边缘图像处理单元和边缘图像分析单元进行边缘检测，并将处理结果传递至控制模块构成反馈回路，控制模块根据检测结果信息判断是否生成警告信号停止导轨钢板防护罩的运行，从而保证数控机床的安全。本发明建立了针对数控机床中导轨钢板防护罩的边缘检测，通过在嵌入式开发板上，分析边缘检测结果判断防护罩是否处于正常运行状态，具有实用性强、成本低的优点。

Description

一种面向导轨钢板防护罩边缘检测方法及装置

技术领域

本发明属于工业自动化领域，具体的说是一种基于单目视觉的导轨钢板防护罩的边缘检测方法及装置，应用于工业传送带上导轨钢板防护罩的自动化检测，便于对车间工业实行自动化安全化管理。

背景技术

目前在工业自动化领域，计算机视觉检测是数控机床上的一个重要方向。相比人工巡检监测数控机床是否存在运行异常情况，通过计算机视觉完成对其判断检测，能够更加准确及时的发现异常情况，并且能24小时连续作业，无需休息。由于在数控机床上需要高效高速的完成对复杂且精密的零件加工，导轨钢板防护罩在其中起到了重要作用。一方面其防止切屑或其他尖锐东西进入机床损坏数控机床零件，另一方面其起到了运送零件进入数控机床进行后续加工的作用。因此对导轨钢板防护罩进行视觉监测，判断是否处于正常运行状态，是非常重要的问题。

针对现有对导轨钢板防护罩监测的方法主要是依靠人工巡检的方式。巡检人员每隔一段时间到现场进行巡查，该方法通过巡检人员人眼判断导轨钢板防护罩的运行状态，这种粗放式巡逻模式难以监督和评价，同时巡检信息反馈存在滞后，严重影响了生产效率和质量。如果出现问题没有及时发现，可能导致导轨停滞，机床生产暂停的情况发生。

发明内容

根据上述提出的技术问题，提出一种面向导轨钢板防护罩的边缘检测方法及装置，用于解决现有的依靠人工巡检方法效率较低，难以及时响应故障的问题，同时解决了车间管理安全，提高了自动化程度。

本发明采用的技术手段如下：一种面向导轨钢板防护罩的边缘检测方法，包括以下步骤：

S1数据集采集：使用摄像机对导轨钢板防护罩采集彩色图像；

S2数据集预处理：对彩色图像进行灰度化处理，并对灰度图像进行标注以表示防护罩边缘；根据标注后的灰度图像构建数据集，用于神经网络的训练；

S3网络模型搭建：将数据集中的灰度图像采用改进的LBP算法获取梯度信息，并将表示梯度信息的像素差值输入至ResNet50网络进行训练，以获取包含防护罩边缘信息的边缘图像；

S4边缘检测：实时采集防护罩图像，并对防护罩图像采用改进LBP算法处理，将得到的表示梯度信息的像素差值输入至训练后的ResNet50网络中，得到包含防护罩边缘信息的边缘图像，再对边缘信息进行非极大值抑制处理，得到单像素边缘图像。

所述将数据集中的灰度图像采用改进的LBP算法获取梯度信息，包括以下步骤：

对于每一个像素，将其作为中心像素，分别计算四周8邻域像素与中心的像素差值、四周像8邻域像素中每两个相邻像素之间的像素差值、径向方向的像素差值，采用三种差值中的至少一种用于表征图像的梯度信息。

所述改进的LBP算法与ResNet50网络构成骨干网络。

对ResNet50网络进行训练，损失函数采用Annotator-robust损失函数：

其中，λ为超参数用来平衡正负样本比例，P(x)为sigmoid函数，W表示要学习的所有参数；X_i表示当前像素的特征向量；

对S2数据集预处理中的5次标注求取均值，并用y_i表示，生成新的边缘概率映射图，其范围为[0,1，0表示这5次中均未进行标注，1表示这5次标注中均将其标注为边缘像素；

同时将边缘概率值超过阈值η的作为正样本Y⁺，将边缘概率值小于η的作为负样本Y^-。

一种面向导轨钢板防护罩的边缘检测方法，还包括S5边缘判断：根据单像素边缘图像得到的防护罩边缘坐标方程，判断防护罩各防护片之间边缘的间距与角度，以确定导轨钢板防护罩是否处于正常运行状态。

所述S5边缘判断，包括以下步骤：

对于单像素边缘图像，边缘L为固定的导轨钢板防护罩的一端，以导轨钢板防护罩固定端边缘L作为y轴建立坐标系，得到导轨钢板防护罩各片之间边缘L₁、L₂、L₃、…、L_n的坐标方程，其中n为导轨钢板防护罩的防护片数量；

A)获取边缘L₁、L₂、L₃、…、L_n分别与固定的边缘L之间所成角度α；若α＞δ，则判定导轨钢板防护罩出现异常，并报警；其中δ为允许误差角度；否则，正常运行；

B)分别计算边缘L、L₁、L₂、L₃、…、L_n相邻两个边缘之间的距离d₁、d₂、d₃、…、d_n，并判断是否满足下式：

如果满足，则判定此时导轨钢板防护罩出现异常，并报警；否则，正常运行；其中，ε为允许误差距离。

一种面向导轨钢板防护罩的边缘检测装置，包括：

多维图像采集模块，用于根据接收的图像采集控制信号，通过摄像头采集导轨钢板防护罩在工作区域的彩色图像，输出至边缘检测分析模块；

边缘检测分析模块，包括：

图像处理单元，用于通过骨干网络对导轨钢板防护罩的彩色图像获取边缘信息；

边缘图像处理单元，将得到的边缘信息进行非极大值抑制处理，得到单像素边缘图像；

边缘图像分析单元，用于根据单像素边缘图像中的边缘信息进行判断，得到防护罩是否正常的检测。

本发明的有益效果是：

1.本发明建立了针对数控机床中导轨钢板防护罩的边缘检测，通过在嵌入式开发板上分析边缘检测结果，判断防护罩是否处于正常运行状态，具有实用性强、成本低的优点。

2.本发明的一种面向导轨钢板防护罩的边缘检测方法及装置，通过多维图像采集模块、边缘检测分析模块和控制模块，构建起了一套基于计算机视觉的边缘检测方法及装置，能够实时监测钢板防护罩的运行状态。同时，当检测到钢板防护罩出现异常时，控制模块将会发出警告信号，从而采取及时的保护措施，保障了数控机床***的安全性。

附图说明

图1为本发明导轨钢板防护罩的边缘检测装置的工作流程图；

图2为本发明正上方单目摄像头采集图像示意图；

图3为本发明导轨钢板防护罩的边缘图示意图；

图4a为本发明导轨钢板防护罩边缘检测结果故障示意图一；

图4b为本发明导轨钢板防护罩边缘检测结果故障示意图二；

图5为LBP算法三种形式原理图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种导轨钢板防护罩的边缘检测装置，包括：

多维图像采集模块、边缘检测分析模块和控制模块；所述多维图像采集模块接收控制模块的图像采集控制信号，采集导轨钢板防护罩设备在工作区域的原始图像，输出至边缘检测分析模块进行图像数据处理与分析，得到边缘检测结果反馈给控制模块用于导轨钢板防护罩设备的警告控制。

所述多维图像采集模块包括设置在工作区域的采集支架和安装在其上的单目摄像头，用于获取导轨钢板防护罩的原始图像信息。

所述边缘检测分析模块和控制模块是在嵌入式开发板上实现的。

所述边缘检测预测模块包括图像处理单元、边缘图像处理单元和边缘图像分析单元；

图像处理单元是在嵌入式开发板上通过骨干网络对导轨钢板防护罩的原始图像获取其边缘图像信息；

边缘图像处理单元将得到的边缘图像信息进行细化，获取单像素的导轨钢板防护罩边缘图像；

边缘图像分析单元将获取的导轨钢板防护罩单像素边缘信息进行判断，分析装置是否处于正常运行状态，并将分析结果反馈至控制模块。

所述骨干网络包括顺序连接的三种改进LBP算法以及ResNet50骨干网络。

所述边缘图像处理单元采用非极大值抑制算法来细化边缘图像，获得导轨钢板防护罩的单像素边缘图。

所述边缘图像分析单元采用计算导轨钢板防护罩每片边缘之间的间距与角度，来确定导轨钢板防护罩是否处于正常运行状态。

所述控制模块包括采集控制电路和警告控制电路，采集控制电路发出图像采集信号控制工作区域内的单目摄像头采集原始图像信息，警告控制电路结合边缘检测结果输出警告命令给导轨钢板防护罩设备。

一种面向导轨钢板防护罩的边缘检测方法，包括以下步骤：

控制模块通过采集控制电路发出采集控制信号，控制工作区域的单目摄像头进行导轨钢板防护罩原始图像的采集；

边缘检测分析模块根据接收的图像数据，在图像处理单元内获取钢板防护罩的边缘信息，并输出至边缘图像处理单元；边缘图像处理单元通过非极大值抑制算法获得单像素边缘图像，并输出至边缘图像分析单元；边缘图像分析单元根据获取的边缘信息进行判断，计算导轨钢板防护罩每片护罩边缘之间的间距与所成角度，并与标准预设阈值进行比较，输出反馈结果至控制模块；

控制模块根据获取到的边缘检测结果信号，通过警告控制电路输出警告信号给导轨钢板防护罩设备用于出现故障时发出警告。

所述图像处理单元，采用定义三种改进LBP差分处理算法，用于捕获图像梯度信息。对处理后的图像像素差值，通过ResNet50骨干网络获取有意义的语义特征，最终生成鲁棒精准的边缘。

所检测的钢板防护罩为现有技术，物理形状如图2所示，主要包含图中左侧灰色部分，为被固定在指定位置的钢板的一侧，以及由若干长条形防护片组成。同时防护片中间略微***，并随着导轨伸缩变换。钢板防护罩的主要作用可以有效防止铁屑和对机械导轨的保护。

一种面向导轨钢板防护罩的边缘检测装置，如图1所示，包括：多维图像采集模块、边缘检测分析模块和控制模块。多维图像采集模块通过接收控制模块的图像采集控制信号，负责从导轨钢板防护罩设备正上方的单目摄像头采集原始图像，将采集到的图像数据输出至边缘检测分析模块进行图像数据处理与分析，根据边缘检测结果，反馈给控制模块用于导轨钢板防护罩设备的警告控制。

单目摄像头的安装角度如图2所示，摄像头的安装角度应调整至使得所采集的图像中，能完全覆盖完整打开的导轨钢板防护罩范围。安装完成后，需要对摄像头标定矫正，计算得出摄像头的参数，便于在边缘检测过程中，计算得出各个边缘的坐标方程。

边缘检测模块中由边缘图像处理单元最终得到的边缘图效果图如图3所示。其中边缘L为固定的导轨钢板防护罩的一端，以边缘L作为y轴建立坐标系，分别计算出边缘L₁L₂L₃…L_n的坐标方程。

边缘检测模块中边缘图像分析单元将两种情况定义为故障情况，如图4a～图4b所示。其中图4a，分别计算边缘L₁L₂L₃…L_n与固定的边缘L之间所成角度α，若有α＞δ，则判定此时导轨钢板防护罩出现异常，并将检测结果信号传递给控制模块发出警告信号，暂停数控机床运行。其中δ为预先设定好的可允许的误差角度。

图4b，分别计算边缘LL₁L₂L₃…L_n之间的距离d₁d₂d₃…d_n，若有下式：

则判定此时导轨钢板防护罩出现异常，其中ε为预先设定好的可允许的误差距离。

导轨钢板防护罩边缘检测的具体步骤如下：

S1数据集采集：使用摄像机对导轨钢板防护罩不同角度的大量图像，在拍摄的时候，应选择合适的光源，尽可能地保证图像的清晰准确。采集图像的分辨率为2560*1920；

S2数据集预处理：使用Geolabel工具对图像进行5次标注，首先对彩色图像进行灰度化处理以减少所需处理的数据量。采用的是加权平均法对彩色图像进行灰度化得到较为合理的灰度图像，其公式如下：

L＝R*299/1000+G*587/1000+B*114/1000

S3数据集划分：按照7:2:1的比例对数据集划分为训练集、测试集和验证集；

S4网络模型搭建：基线模型采用了改进LBP算法和ResNet50骨干，随后采用非极大值抑制算法获取单像素的边缘图像。不同于现有的边缘检测算法，这里不是将图像信息直接传入到神经网络中进行训练，而是先对图像使用改进LBP算法，以捕获图像的梯度信息。然后让ResNet网络专注于提取有意义的语义特征。分别计算四周与中心的像素差值，四周循环的像素差值与径向方向的像素差值，从而得到图像梯度信息。具体来看改进LBP算法三种形式如图5所示。

将处理后的图像数据传入ResNet50网络进行训练，损失函数采用Annotator-robust损失函数，具体表达式如下：

对S2中的5次标注求取均值，并用y_i表示，生成新的边缘概率映射图，其范围为[0,1，0表示这5次中均未进行标注，1表示这5次标注中均将其标注为边缘像素。同时将边缘概率值超过η的作为正样本Y⁺，将边缘概率值小于η的作为负样本Y^-。X_i表示当前像素的特征向量。本专利中，η取0.5。

上式中λ为超参数用来平衡正负样本比例。P(x)为标准sigmoid函数，W表示要学习的所有参数。

S5网络模型训练：使用S2得到的训练集S4中网络模型，进行训练，得到一个包含边缘信息的边缘图像。由此在训练集上训练出一个适合导轨钢板防护罩边缘检测的模型；

S6图像输入：从单目摄像头中获取实际机床中，导轨钢板防护罩的实际图像，采集规则依照S1；

S7边缘检测：将S6采集的图像输入至所述S4网络模型中，对图像中边缘信息进行检测，再对其进行非极大值抑制处理，得到单像素边缘图像。最终得到图3所示，L₁L₂L₃…L_n的坐标方程；

S8边缘判断：根据S7生成的边缘坐标方程，计算边缘距离的比例与角度：

α_i＞δ

若上面两式任一成立，则发出警告信号，暂停数控机床的运行，等待人工进行处理。其中δ与ε为预先给定的误差值。

本发明的一种面向导轨钢板防护罩的边缘检测方法及装置，通过多维图像采集模块、边缘检测分析模块和控制模块，构建起了一套基于计算机视觉的边缘检测方法及装置，能够实时监测钢板防护罩的运行状态。本发明针对导轨钢板防护罩检测的方法，解决了采用人工巡检系效率较低的问题，也克服了人工巡检安全不足，不能及时响应故障的问题。本发明具有实用性强，成本低的优点。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (7)

1.一种面向导轨钢板防护罩的边缘检测方法，其特征在于，包括以下步骤：

S1数据集采集：使用摄像机对导轨钢板防护罩采集彩色图像；

S2数据集预处理：对彩色图像进行灰度化处理，并对灰度图像进行标注以表示防护罩边缘；根据标注后的灰度图像构建数据集，用于神经网络的训练；

S3网络模型搭建：将数据集中的灰度图像采用改进的LBP算法获取梯度信息，并将表示梯度信息的像素差值输入至ResNet50网络进行训练，以获取包含防护罩边缘信息的边缘图像；

S4边缘检测：实时采集防护罩图像，并对防护罩图像采用改进LBP算法处理，将得到的表示梯度信息的像素差值输入至训练后的ResNet50网络中，得到包含防护罩边缘信息的边缘图像，再对边缘信息进行非极大值抑制处理，得到单像素边缘图像。

2.根据权利要求1所述的一种面向导轨钢板防护罩的边缘检测方法，其特征在于，所述将数据集中的灰度图像采用改进的LBP算法获取梯度信息，包括以下步骤：

对于每一个像素，将其作为中心像素，分别计算四周8邻域像素与中心的像素差值、四周像8邻域像素中每两个相邻像素之间的像素差值、径向方向的像素差值，采用三种差值中的至少一种用于表征图像的梯度信息。

3.根据权利要求1所述的一种面向导轨钢板防护罩的边缘检测方法，其特征在于，所述改进的LBP算法与ResNet50网络构成骨干网络。

4.根据权利要求1所述的一种面向导轨钢板防护罩的边缘检测方法，其特征在于，对ResNet50网络进行训练，损失函数采用Annotator-robust损失函数：

其中，λ为超参数用来平衡正负样本比例，P(x)为sigmoid函数，W表示要学习的所有参数；X_i表示当前像素的特征向量；

对S2数据集预处理中的5次标注求取均值，并用y_i表示，生成新的边缘概率映射图，其范围为[0,1，0表示这5次中均未进行标注，1表示这5次标注中均将其标注为边缘像素；

同时将边缘概率值超过阈值η的作为正样本Y⁺，将边缘概率值小于η的作为负样本Y^-。

5.根据权利要求1所述的一种面向导轨钢板防护罩的边缘检测方法，其特征在于，还包括S5边缘判断：根据单像素边缘图像得到的防护罩边缘坐标方程，判断防护罩各防护片之间边缘的间距与角度，以确定导轨钢板防护罩是否处于正常运行状态。

6.根据权利要求5所述的一种面向导轨钢板防护罩的边缘检测方法，其特征在于，所述S5边缘判断，包括以下步骤：

对于单像素边缘图像，边缘L为固定的导轨钢板防护罩的一端，以导轨钢板防护罩固定端边缘L作为y轴建立坐标系，得到导轨钢板防护罩各片之间边缘L₁、L₂、L₃、…、L_n的坐标方程，其中n为导轨钢板防护罩的防护片数量；

A)获取边缘L₁、L₂、L₃、…、L_n分别与固定的边缘L之间所成角度α；若α＞δ，则判定导轨钢板防护罩出现异常，并报警；其中δ为允许误差角度；否则，正常运行；

B)分别计算边缘L、L₁、L₂、L₃、…、L_n相邻两个边缘之间的距离d₁、d₂、d₃、…、d_n，并判断是否满足下式：

如果满足，则判定此时导轨钢板防护罩出现异常，并报警；否则，正常运行；其中，ε为允许误差距离。

7.一种面向导轨钢板防护罩的边缘检测装置，其特征在于，包括：

多维图像采集模块，用于根据接收的图像采集控制信号，通过摄像头采集导轨钢板防护罩在工作区域的彩色图像，输出至边缘检测分析模块；

边缘检测分析模块，包括：

图像处理单元，用于通过骨干网络对导轨钢板防护罩的彩色图像获取边缘信息；

边缘图像处理单元，将得到的边缘信息进行非极大值抑制处理，得到单像素边缘图像；

边缘图像分析单元，用于根据单像素边缘图像中的边缘信息进行判断，得到防护罩是否正常的检测。