CN111721216A - 基于三维图像的钢丝绳检测装置、表面损伤检测及绳径计算方法 - Google Patents

Abstract

本发明涉及基于三维图像的钢丝绳检测装置、表面损伤检测及绳径计算方法，属于钢丝绳检测技术领域，所述钢丝绳检测装置套设在钢丝绳上，包括相机、两面镜子、白色底板、两个光源和通信单元；所述白色底板设置在钢丝绳的上方，所述相机设置在钢丝绳的下方；两面镜子分设在钢丝绳的左右两侧，每面镜子从上到下逐渐向靠近白色底板中心点的方向倾斜，两面镜子的延伸夹角为120︒；两个光源分设在钢丝绳的左右两侧，且均设置在钢丝绳的下方和相机的上方；所述白色底板、镜子和相机均与所述钢丝绳相对平行；所述白色底板、镜子和相机的中心点均位于同一平面上。所述检测装置是自动检测表面损伤并报警的装置，该装置可实时连续自动计算钢丝绳直径。

Description

基于三维图像的钢丝绳检测装置、表面损伤检测及绳径计算 方法

技术领域

本发明属于钢丝绳检测技术领域，具体地，涉及一种基于三维图像的钢丝绳检测装置、表面损伤检测及绳径计算方法。

背景技术

钢丝绳是由很多细小的碳素钢丝捻制成小股，再把若干这些股围绕绳芯交合成直径不同的绳。钢丝绳作为一种牵引装置，被广泛应用于电梯、高空索道、起重吊运、交通运输、船舶牵引、矿井提升、桥梁等国民经济各个领域。钢丝绳作为一个重要部件，在使用过程中，往往会出现断丝、锈蚀、磨损等表面损伤现象，易造成安全生产事故，导致财产损失、人员伤亡出现，造成不良的社会影响。

钢丝绳承载不同负荷时，绳径会有变化，一旦钢丝绳承载超重物品，极易出现疲劳损伤，绳径不能复原，当绳径减少到一定值后不能再承载物品，需及时更换。在线实时监测钢丝绳表面损伤情况和绳径大小非常重要。

目前钢丝绳表面损伤检测方法有人工查验、机器视觉。人工检测方法主要是通过肉眼观察钢丝绳表面是否有损伤，人工检测过程中，运行的钢丝绳需要停止工作。受人员素质、工作环境、恶劣工况等因素的影响，人工检测无法保障钢丝绳表面损伤检测率。机器视觉检测方法主要是使用相机拍照，把照片传输到远程服务器上，由机器视觉算法分析照片上钢丝绳表面损伤，并给出损伤信息，这种方法只能看到钢丝绳一面不能同时看到钢丝绳背面，若要看到钢丝绳背面需要最少两个相机。

钢丝绳直径测量通过人工使用卡尺进行，测量时钢丝绳需停止工作，一般进行局部测量，若整体测量耗时太长，而且测量的数值需人工记录。另外使用由电荷耦合器件(CCD)构成的电路***测量钢丝绳直径，成本较高、不易实现。总之，现有的人工检查效率低，浪费大量的生产时间，表面损伤检测准确率不能保证。其他检测方法不能直观的反映钢丝绳表面损伤情况。

发明内容

为了解决现有技术中的不足，本发明的目的一在于提供一种基于三维图像的钢丝绳检测装置，目的二在于提供利用所述检测装置进行钢丝绳表面损伤检测的方法，目的三在于提供利用所述检测装置进行的绳径计算方法。

为了实现上述目的，本发明采用的具体方案为：

基于三维图像的钢丝绳检测装置，所述钢丝绳检测装置套设在钢丝绳上，包括相机、两面镜子、白色底板、两个光源和通信单元；所述白色底板设置在钢丝绳的上方，所述相机设置在钢丝绳的下方，所述相机通过数据连接线与通信单元连接；两面所述镜子分设在所述钢丝绳的左右两侧，每面镜子从上到下逐渐向靠近所述白色底板中心点的方向倾斜，两面所述镜子的延伸夹角为120°；两个所述光源分设在所述钢丝绳的左右两侧，且均设置在所述钢丝绳的下方和所述相机的上方；所述白色底板、镜子和相机均与所述钢丝绳相对平行；所述白色底板、镜子、相机和光源的中心点位于同一平面上。

作为对上述方案的进一步优化，所述相机到白色底板的垂直距离为300毫米；所述白色底板为边长为100毫米的正方形；所述镜子长200毫米、宽100毫米，所述镜子的长边与钢丝绳垂直、宽边与钢丝绳水平；所述钢丝绳的中心点到相机镜头、白色底板和两面镜子的垂直距离均为150毫米；所述光源距离相机50毫米；所述钢丝绳的中心点到光源的距离为150毫米。

作为对上述方案的进一步优化，所述相机采用黑白CCD相机；所述光源采用白色LED灯。

本发明还提供利用所述检测装置进行表面损伤的检测方法，包括以下步骤：

步骤一、钢丝绳三维成像：通过相机得到钢丝绳正面、左后侧和右后侧的图片，然后进行图像分割、图像变换、图像增强、图像拼接后，得到钢丝绳表面展开的显微图像；通过对所述显微图像上各点的明暗变化即反射光强度来计算钢丝绳表面法向量，从而计算出各点高度值，恢复表面三维形貌，获得三维图像；

物体表面点反射的光强度与该点入射角的余弦比例关系为：

E(x，y)＝I(x，y)ρcosθ

式中，E(x,y)为漫反射光强度，I(x,y)是入射光强度，ρ为物体表面反射系数，θ为入射光线与表面法向量之间的夹角；

钢丝绳表面的漫反射光强度E(x,y)反映到图像上即为该点的明暗程度，即该点的亮度；通过对每个点的辐射照度求解，得到物体的表面梯度向量，根据表面梯度向量与表面高度的关系可进一步求出钢丝绳的表面高度，恢复钢丝绳表面三维形貌；

步骤二、构建钢丝绳表面损伤数据集：所述数据集初始包含锈蚀图片100张、断丝图片150张、磨损图片100张和疲劳图片150张，对所述数据集中的图片进行人工标记瑕疵类别；采用随机剪裁方式对所述数据集进行扩充；

步骤三、钢丝绳表面损伤检测：

采用深度卷积神经网络，所述深度卷积神经网络由5个卷积层、3个池化层、3个全连接层、1个损失函数和Softmax分类器组成；对步骤一获得的三维图像的每一帧图像进行均等分块识别表面损伤类别，存储每个块的识别结果；等整条钢丝绳检测结束后，合并每帧图像对应的识别结果矩阵，然后统计整个识别结果矩阵，实现表面损伤检测。

本发明另外提供利用所述检测装置进行的钢丝绳绳径计算方法，包括以下步骤：

步骤一、使用相机拍摄钢丝绳在白色底板上留下的阴影区域，得到钢丝绳的正面图像；对所述正面图像进行灰度图转换，然后对转换后的图像进行高斯滤波；高斯滤波后的图像进行Canny边缘检测，使用edge(I,method,threshold)函数，其中I为输入图像，method为指定算法，算法使用"canny"进行边缘检测，而threshold为阈值，通常设为0.1；

步骤二、使用形态学算法去除较小物体，得到图像边缘特征图像，进一步得到白色底板上钢丝绳成像的宽度；根据相机到钢丝绳的距离以及相机到白色底板的距离，由所述钢丝绳成像的宽度计算出钢丝绳绳径。

工作原理：本发明所述检测装置在钢丝绳运行时持续工作，相机连续拍摄钢丝绳照片，得到的照片中有三部分信息，分别是钢丝绳的正面图片以及两面镜子中呈现的钢丝绳左后侧、右后侧图片。检测装置采集的数据通过通信单元传输到远程服务器上，利用图像处理技术，对镜子中钢丝绳图片进行处理，得到钢丝绳左后侧、右后侧图片。通过三维图像建模技术，可得到一段钢丝绳三维图像，使用拼接技术可得到整段钢丝绳三维图像。再利用机器学习技术，对钢丝绳三维图像进行自动检测，当发现表面损伤时，自动标记损伤部位并给出报警信息。

有益效果：

本发明所述的钢丝绳检测装置结构简单，利用单个相机即可构造钢丝绳的三维图像，是一种自动检测表面损伤并报警的装置，该装置可实时连续自动计算钢丝绳直径。

附图说明

图1是本发明所述钢丝绳检测装置的俯视相对结构示意图；图中，1、相机；2、左侧镜子；3、右侧镜子；4、白色底板；5、钢丝绳；6、右侧光源；7、左侧光源；8、通信单元；9、数据连接线；

图2是本发明所述钢丝绳表面损伤检测算法和绳径计算流程示意图；

图3是本发明所述深度卷积神经网路的工作示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

如图1所示，所述钢丝绳实时在线检测装置套设在钢丝绳上，包括相机、两面镜子、白色底板、两个光源和通信单元；所述钢丝绳位于中心位置，所述白色底板设置在所述钢丝绳的正上方；两面所述镜子对称分设在所述钢丝绳的左右两侧，每面镜子从上到下逐渐向靠近所述白色底板中心点的位置倾斜，两面所述镜子的延伸夹角为120°；两个所述光源分设在所述钢丝绳的左右两侧，且均设置在所述钢丝绳的下方和所述相机的上方；所述白色底板、镜子和相机均与所述钢丝绳相对平行；所述白色底板、镜子、相机和光源的中心点均位于同一水平面上。

所述相机采用黑白CCD相机；所述相机到白色底板的垂直距离是300毫米；白色底板长宽是100毫米的正方形，镜子长200毫米、宽100毫米，镜子的长边与钢丝绳垂直、宽边与钢丝绳水平；钢丝绳中心点到相机镜头、白色底板以及两面镜面的垂直距离分别是150毫米；光源采用白色LED灯，LED灯距离相机50毫米，钢丝绳中心到LED灯距离150毫米。

实施例2

利用上述检测装置可进行钢丝绳表面损伤检测，检测流程如图2所示，具体步骤包括：

1、钢丝绳三维成像算法：

通过相机中得到的钢丝绳正面、左后侧、右后侧图片，进行图像分割、图像变换、图像增强、图像拼接后，可得到钢丝绳表面展开的图像。通过被钢丝绳的显微图像上各点的明暗变化即反射光强度来计算钢丝绳表面法向量，从而计算出各点高度值，恢复表面三维形貌。物体表面点反射的光强与该点入射角的余弦比例关系，即

E(x，y)＝I(x，y)ρcosθ

其中，E(x,y)为漫反射光强度，I(x,y)是入射光强度，ρ为物体表面反射系数，θ为入射光线与表面法向量之间的夹角。钢丝绳表面的漫反射光强度E(x,y)反映到图像上就该点的明暗程度，即该点的亮度。通过对每个点的辐射照度求解，得到物体的表面梯度向量，根据表面梯度向量与表面高度的关系可进一步求出钢丝绳的表面高度，最终恢复钢丝绳表面形貌。

钢丝绳表面损伤检测机器学习算法：构建钢丝绳表面损伤数据集，数据集初始包含锈蚀图片100张、断丝图片150张、磨损图片100张、疲劳图片150张，人工对这些图片进行人工标记瑕疵类别。为了降低瑕疵图像的人工成本，采用随机剪裁方式对原有的数据集进行扩充，在瑕疵图像附近进行随机剪裁。使得每个随机剪裁的样本中都含有瑕疵的一部分，这样每个表面损伤类别得到5000张图像。

如图3所示，深度卷积神经网络由5个卷积层、3个池化层、3个全连接层、1个损失函数和Softmax分类器组成。对每一帧图像进行均等分块识别表面损伤类别,存储每个小块的识别结果，等整条钢丝绳检测结束后，合并每帧图像对应的识别结果矩阵，然后统计整个识别结果矩阵，以此实现表面损伤检测的目的。

卷积层：运用卷积操作提取特征。卷积层提取体征公式如下：

其中，kli,j和blj分别表示卷积核和偏移量；

运算符号表示卷积操作；G^l表示卷积层特征图与前一层特征图之间的连接矩阵，如果G^l _i,j为1，那么特征图

与特征图x^l _j相关联，如果G^l _i,j为0，那么特征图

与特征图x^l _j无关联；

函数f(x)表示非线性激活函数，函数公式如下：

池化层：通过对特征图的局部区域进行池化操作，使

特征具有一定的空间不变性。采用均值池化，公式如下：

表示特征图

的池化，P(x)表示池化区域的均值。

全连接层：针对高层特征进行映射。计算方式为：

其中，w^l _j和b^l _j表示全连接层第j个神经元的权重向量和偏移量；函数f(x)表示非线性激活函数，与卷积层采用相同的激活函数。

SoftMax分类器：根据不同损伤输出，输出结果是在钢丝绳图片上画出损伤位置，并给出损伤类型。

其中，w^L _j为Softmax回归的权重向量，j＝1,...,M。

损失函数：使用下面的损失函数进行模型参数训练。公式如下：

式中:F(x_i)为第i个样本的特征；w_k和b_k为第k个类别的权重和偏移量；N和K分别为批训练样本的数目和类别的数目。

实施例3

钢丝绳的绳径计算方法，相机拍摄钢丝绳在白色底板上留下的阴影区域，获得正面图像，通过正面图像进行处理得到钢丝绳成像的宽度，然后根据相机、钢丝绳与白色底板的距离，可计算出钢丝绳实时绳径。具体为：

对钢丝绳正面图像，进行灰度图转换，对转换后的图像进行高斯滤波。高斯滤波后的图像进行Canny边缘检测，使用edge(I,method,threshold)函数，其中I为输入图像，method为指定算法，算法使用"canny"进行边缘检测，而threshold为阈值，通常设为0.1。再使用形态学算法去除较小物体，得到图像边缘特征图像，可得到白色底板上钢丝绳成像的宽度。由于相机到钢丝绳距离、相机到白色底板距离是固定的，由钢丝绳成像的宽度可计算出钢丝绳绳径。

本发明所述检测装置，适用绳径：8mm～20mm；检测绳速范围：<5m/s；***最高检测分辨力：0.1mm；工作温度：-40℃～+70℃；时间响应：0.1ms；***额定工作电压：AC220V±20％；***额定功率：＜2W。

需要说明的是，以上所述的实施方案应理解为说明性的，而非限制本发明的保护范围，本发明的保护范围以权利要求书为准。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对本发明作出的一些非本质的改进和调整仍属于本发明的保护范围。

Claims (5)

1.一种基于三维图像的钢丝绳检测装置，其特征在于：所述钢丝绳检测装置套设在钢丝绳上，包括相机、两面镜子、白色底板、两个光源和通信单元；所述白色底板设置在钢丝绳的上方，所述相机设置在钢丝绳的下方，所述相机通过数据连接线与通信单元连接；两面所述镜子分设在所述钢丝绳的左右两侧，每面镜子从上到下逐渐向靠近所述白色底板中心点的方向倾斜，两面所述镜子的延伸夹角为120︒；两个所述光源分设在所述钢丝绳的左右两侧，且均设置在所述钢丝绳的下方和所述相机的上方；所述白色底板、镜子和相机均与所述钢丝绳相对平行；所述白色底板、镜子、相机和光源的中心点位于同一平面上。

2.根据权利要求1所述的一种基于三维图像的钢丝绳检测装置，其特征在于：所述相机到白色底板的垂直距离为300毫米；所述白色底板为边长为100毫米的正方形；所述镜子长200毫米、宽100毫米，所述镜子的长边与钢丝绳垂直、宽边与钢丝绳水平；所述钢丝绳的中心点到相机镜头、白色底板以及两面镜子的垂直距离均为150毫米；所述光源距离相机50毫米；所述钢丝绳的中心点到光源的距离为150毫米。

3.根据权利要求1所述的一种基于三维图像的钢丝绳检测装置，其特征在于：所述相机采用黑白CCD相机；所述光源采用白色LED灯。

4.利用权利要求3所述的钢丝绳检测装置进行表面损伤的检测方法，其特征在于：包括以下步骤：

步骤一、钢丝绳三维成像：通过相机得到钢丝绳正面、左后侧和右后侧的图片，然后进行图像分割、图像变换、图像增强、图像拼接后，得到钢丝绳表面展开的显微图像；通过对所述显微图像上各点的明暗变化即反射光强度来计算钢丝绳表面法向量，从而计算出各点高度值，恢复表面三维形貌，获得三维图像；

物体表面点反射的光强度与该点入射角的余弦比例关系为：

式中，E(x,y)为漫反射光强度，I(x,y)是入射光强度，ρ为物体表面反射系数，θ为入射光线与表面法向量之间的夹角；

钢丝绳表面的漫反射光强度 E（x,y）反映到图像上即为该点的明暗程度，即该点的亮度；通过对每个点的辐射照度求解，得到物体的表面梯度向量，根据表面梯度向量与表面高度的关系可进一步求出钢丝绳的表面高度，恢复钢丝绳表面三维形貌；

步骤二、构建钢丝绳表面损伤数据集：所述数据集初始包含锈蚀图片100张、断丝图片150张、磨损图片100张和疲劳图片150张，对所述数据集中的图片进行人工标记瑕疵类别；采用随机剪裁方式对所述数据集进行扩充；

步骤三、钢丝绳表面损伤检测：

采用深度卷积神经网络，所述深度卷积神经网络由5个卷积层、3个池化层、3个全连接层、1 个损失函数和Softmax分类器组成；对步骤一获得的三维图像的每一帧图像进行均等分块识别表面损伤类别，存储每个块的识别结果；等整条钢丝绳检测结束后，合并每帧图像对应的识别结果矩阵，然后统计整个识别结果矩阵，实现表面损伤检测。

5.利用权利要求3所述的钢丝绳检测装置进行钢丝绳绳经计算的方法，其特征在于：包括以下步骤：

步骤一、使用相机拍摄钢丝绳在白色底板上留下的阴影区域，得到钢丝绳的正面图像；对所述正面图像进行灰度图转换，然后对转换后的图像进行高斯滤波；高斯滤波后的图像进行Canny边缘检测，使用edge(I,method,threshold)函数，其中I为输入图像，method为指定算法，算法使用"canny"进行边缘检测，而threshold为阈值，通常设为0.1；

步骤二、使用形态学算法去除较小物体，得到图像边缘特征图像，进一步得到白色底板上钢丝绳成像的宽度；根据相机到钢丝绳的距离以及相机到白色底板的距离，由所述钢丝绳成像的宽度计算出钢丝绳绳经。

Images