CN115908275A - 基于深度学习的热态环件轧制变形几何状态在线测量方法 - Google Patents

Abstract

本发明提供了基于深度学习的热态环件轧制变形几何状态在线测量方法，通过采集热态环件图像，用采集图像样本进行训练得到模板图像，利用模板匹配算法匹配测试图像与输入图像，增强实时图像，捕捉较高精度的环件边缘，检测出环件的实际边缘点，通过拟合实现了在线测量处于非均匀温度色差、飞屑及轧辊遮挡等干扰下的热态环件轧制变形几何状态的功能。本发明解决了热态环件轧制过程中因轧辊对目标环件的遮挡以及飞溅氧化皮、气雾等情况导致的环件几何状态特征无法快速精确提取的问题，在保证匹配精度的同时，加快了目标匹配运算效率，提高了算法整体鲁棒性。

Description

基于深度学习的热态环件轧制变形几何状态在线测量方法

技术领域

本发明属于机器视觉技术领域，具体涉及基于深度学习的热态环件轧制变形几何状态在线测量方法。

背景技术

环件作为汽车、船舶、冶金、化工、航空航天等领域中的核心基础零部件，其质量性能受到重点关注。环件轧制是高性能无缝环件先进成型制造技术。大型环件通常采用热态轧制，由于环件再热态轧制初期处于高温状态，现有接触式测量技术很难应用于这种高温场合。

由于大型环件在热态轧制初期处于1250°的高温状态，热态环件本体辐射的可见光会干扰光学测量，增大了测量误差。在不同的轧制阶段，轧辊对热态环件也有一定遮挡，同时伴有环件外层表皮脱落飞溅、气雾等，以视觉测量为代表的非接触式测量在实时监测过程中难以保证测量精度和效率。

机器视觉因具有非接触、效率高、获取信息全面等特点，在测量热态环件几何状态时具有显著优势。但是热态环件本体辐射的可见光会干扰光学测量，增大了测量误差。此外，轧制过程中环件变形状态剧烈时变，对测量***响应要求较高。现有视觉测量方法普遍存在效率低、鲁棒性较差、精度不高等问题，无法较为精准的实现待测物体的视觉测量。

因此，现在亟需一种视觉测量方法及设备来解决上述问题。

发明内容

本发明要解决的技术问题是：提供基于深度学习的热态环件轧制变形几何状态在线测量方法，用于在线测量处于干扰下的热态轧制过程中环件的变形几何状态参数。

本发明为解决上述技术问题所采取的技术方案为：基于深度学习的热态环件轧制变形几何状态在线测量方法，包括以下步骤：

S1：通过图像采集装置获取热轧实验中热态环件的轧制图像，通过深度学习算法对热态环件的轧制图像进行目标检测，确定对应的模板图像和特征图像；

S2：采用图像边缘匹配算法对模板图像和轧制图像进行匹配；

S3：引用权重函数拟合热态环件的边界轮廓，并计算热态环件的外径尺寸。

按上述方案，所述的步骤S1中，具体步骤为：

S11：通过图像采集装置获取热轧实验中热态环件的实时的轧制图像；

S12：将轧制图像作为图像样本，按照预设比例随机划分到训练集、测试集和验证集中，通过深度学习算法采用训练集训练并更新迭代卷积神经网络的权重参数，对图像采集装置采集的轧制图像进行目标粗识别，得到轧制图像对应的模板图像；模板图像上框选有目标区域用于捕捉目标热态环件；

S13：对原尺寸的图像样本进行切片操作，得到第一次特征图；对第一次特征图进行卷积核卷积得到特征图像。

进一步的，所述的步骤S1中，还包括以下步骤：

采用张正友标定法、采用标定板对热态环件的实际尺寸进行标定，矫正镜头畸变。

进一步的，所述的步骤S2中，具体步骤为：

S21：输入模板图像，对模板图像进行包括平移、旋转、缩放的不同角度或不同尺度的仿射变换，计算模板图像的特征点与特征向量；

S22：输入轧制图像，计算像素点位置，构造梯度相应图；

S23：采用图像边缘匹配，对轧制图像与模板图像计算相似度完成模板匹配。

进一步的，所述的步骤S3中，具体步骤为：

S31：对步骤S2得到的图像进行增强、对像素进行线性变换，突出亮色区域、抑制暗色区域、提高边缘对比度，捕捉高精度的热态环件边缘；

S32：采用卡尺工具在算法拟合的圆轮廓上等距生成卡尺矩形框，进行边缘点检测，筛选出卡尺内梯度幅值较大的实际边缘点；

S33：引入权重函数对实际边缘点进行迭代重加权拟合，利用加权最小二乘法拟合抑制离群点，计算热态环件的几何参数。

进一步的，所述的步骤S22中，构造梯度相应图的具体步骤为：

将梯度离散成等角度间距的几个方向，用二进制位表示量化的梯度方向，简化梯度表示的信息量；

通过量化梯度建立预响应表，将模板图像与所有位置的搜索图像进行比较的计算过程转化成查找表的过程；

根据模板图像的特征点查找线性存储表内对应数据，将特征点对应数据相加得到模板匹配相似度量。

进一步的，所述的步骤S31中，增强图像的具体步骤为：

设GMin为灰度值，g为当前灰度值，Mult为所乘系数，Add为附加偏移值，根据式(1)(2)进行图像增强：

Add＝-Mult*GMin  (1)，

g'＝g*Mult+Add  (2)。

一种基于深度学习的热态环件轧制变形几何状态在线测量***，包括图像采集装置、工控机和光源；图像采集装置采用工业相机，用于采集环件图像；工控机用于处理采集图像、计算热态环件的几何状态参数；光源用于提供照明或补光。

一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行基于深度学习的热态环件轧制变形几何状态在线测量方法。

本发明的有益效果为：

1.本发明的基于深度学习的热态环件轧制变形几何状态在线测量方法，通过采集热态环件图像，用采集图像样本进行训练得到模板图像，利用模板匹配算法匹配测试图像与输入图像，增强实时图像，捕捉较高精度的环件边缘，检测出环件的实际边缘点，通过拟合实现了在线测量处于非均匀温度色差、飞屑及轧辊遮挡等干扰下的热态环件轧制变形几何状态的功能。

2.本发明本方法采用目标粗识别和精匹配相结合的方式，利用深度学习算法与图像边缘模板匹配得到目标高精度拟合轮廓，并利用引入加权函数对拟合效果进行修正，获得了热态环件轧制过程中的实时几何状态；利用深度学习算法，通过数据集训练对相机采集的轧制图像智能捕捉目标环件进行环件几何状态测量，解决了无法准确获取目标图像的问题。

3.本发明解决了热态环件轧制过程中因轧辊对目标环件的遮挡以及飞溅氧化皮、气雾等情况导致的环件几何状态特征无法快速精确提取的问题，在保证匹配精度的同时，加快了目标匹配运算效率，提高了算法整体鲁棒性。

4.本发明解决了人工接触式测量耗时且存在安全隐患的问题，解决了轧制过程中环件外层表皮脱落飞溅导致目标提取准确率低的问题，基于边缘匹配优化提高了图像匹配过程的速度，基于迭代重加权拟合提高拟合精度，保证了热态环件轧制过程中的在线测量效果和精度要求。

5.该方法通过深度学习算法对热态环件图像进行目标检测，采用图像边缘匹配算法对环件模板图像和轧制环件图像进行模板匹配，引用权重函数对环件边界轮廓进行拟合并计算出环件的外径尺寸。将模板模型与所有位置的搜索图像进行比较的计算过程转化为查找表的过程，提高了匹配过程的查找速度与对微小位置和旋转的鲁棒性。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的***布置图。

图3是本发明实施例的测量结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的实施例包括图像采集装置和工控机；图像采集装置采用工业相机，用于采集环件图像；工控机用于处理采集图像、计算热态环件的几何状态参数；光源用于提供照明或补光。

本发明的基于深度学习的热态环件轧制变形几何状态在线测量方法，包括以下步骤：

(1)获取待测热态环件的实时图像，并确定所述图像对应的模板图像，所述模板图像上已框选感兴趣区域。

(2)利用标定板对热态环件实际尺寸进行标定，矫正镜头畸变，以保证获得准确的轧环尺寸。其中标定方法采用张正友标定法。

(3)从环件热轧实验采集热态环件图像样本，按一定比例将热态环件图像划分到训练集、测试集和验证集中进行训练，得到模板图像。所述模板图像经过卷积神经网络训练，具有易于辨识的特征点与特征向量。

(4)进一步地，将模板信息与测试图像输入进***，进行特征点计算相似度完成模板匹配。其中模板信息输入前进行了不同角度、尺度的缩放训练。

(5)进一步地，通过对图像进行增强，对像素进行线性变换，提高边缘对比度，捕捉较高精度的环件边缘。通过卡尺工具检测出卡尺内梯度幅值较大的实际边缘点，引入权重函数对数据进行加权并进行圆拟合。

(6)将工业相机实时采集的热态环件轧制图像传输到工控机，工控机同步处理图像，对上述拟合圆进行计算获取热态环件尺寸。

工控机控制工业相机采集热态环件图像，将采集图像样本进行训练得到模板图像，利用模板匹配算法匹配测试图像与输入图像，对工业相机获得的实时图像进行增强，捕捉较高精度的环件边缘，检测出环件的实际边缘点，通过拟合实现热态环件的尺寸在线测量，具体操作如下：

将从环件热轧实验中获得的部分热态环件图像作为样本，按照比例将上述热态环件图像随即划分到训练集、测试集和验证集中。对上述热态环件图像进行训练。训练内容包括对所述输入图像进行切片操作得到特征图，对上述得到的特征图进行卷积核卷积得到特征图。在初试锚框的基础上输出预测框，计算差距后进行更新迭代网络参数。

将工业相机采集的测试图像与上述模板特征信息导入图像边缘匹配算法，进行特征点计算相似度。模板匹配前，对模板信息进行不同角度、不同尺度的缩放训练，得到模板图像的特征点和特征向量。对所述输入测试图像进行像素点位置计算，构造梯度相应图。

上述构造梯度相应图是将梯度离散成等角度间距的几个方向，用二进制位表示量化的梯度方向，简化梯度表示的信息量。将模板模型与所有位置的搜索图像进行比较的计算过程，转化成查找表的过程。根据模板特征点查找线性存储表内对应数据，将特征点对应数据相加得到模板匹配相似度量。

根据式(1)(2)进行图像增强：

Add＝-Mult*GMin  (1)

g'＝g*Mult+Add  (2)

对像素进行线性变换，提高边缘对比度，捕捉较高精度的环件边缘。

通过拟合算法对热态环件轮廓进行圆拟合，通过卡尺工具检测出卡尺内梯度幅值较大的实际边缘点。利用加权最小二乘法拟合抑制离群点，得到效果较好的热态环件尺寸测量结果。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：包括以下步骤：

S1：通过图像采集装置获取热轧实验中热态环件的轧制图像，通过深度学习算法对热态环件的轧制图像进行目标检测，确定对应的模板图像和特征图像；

S2：采用图像边缘匹配算法对模板图像和轧制图像进行匹配；

S3：引用权重函数拟合热态环件的边界轮廓，并计算热态环件的外径尺寸。

2.根据权利要求1所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S1中，具体步骤为：

S11：通过图像采集装置获取热轧实验中热态环件的实时的轧制图像；

S12：将轧制图像作为图像样本，按照预设比例随机划分到训练集、测试集和验证集中，通过深度学习算法采用训练集训练并更新迭代卷积神经网络的权重参数，对图像采集装置采集的轧制图像进行目标粗识别，得到轧制图像对应的模板图像；模板图像上框选有目标区域用于捕捉目标热态环件；

S13：对原尺寸的图像样本进行切片操作，得到第一次特征图；对第一次特征图进行卷积核卷积得到特征图像。

3.根据权利要求2所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S1中，还包括以下步骤：

采用张正友标定法、采用标定板对热态环件的实际尺寸进行标定，矫正镜头畸变。

4.根据权利要求2所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S2中，具体步骤为：

S21：输入模板图像，对模板图像进行包括平移、旋转、缩放的不同角度或不同尺度的仿射变换，计算模板图像的特征点与特征向量；

S22：输入轧制图像，计算像素点位置，构造梯度相应图；

S23：采用图像边缘匹配，对轧制图像与模板图像计算相似度完成模板匹配。

5.根据权利要求4所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S3中，具体步骤为：

S31：对步骤S2得到的图像进行增强、对像素进行线性变换，突出亮色区域、抑制暗色区域、提高边缘对比度，捕捉高精度的热态环件边缘；

S32：采用卡尺工具在算法拟合的圆轮廓上等距生成卡尺矩形框，进行边缘点检测，筛选出卡尺内梯度幅值较大的实际边缘点；

S33：引入权重函数对实际边缘点进行迭代重加权拟合，利用加权最小二乘法拟合抑制离群点，计算热态环件的几何参数。

6.根据权利要求4所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S22中，构造梯度相应图的具体步骤为：

将梯度离散成等角度间距的几个方向，用二进制位表示量化的梯度方向，简化梯度表示的信息量；

通过量化梯度建立预响应表，将模板图像与所有位置的搜索图像进行比较的计算过程转化成查找表的过程；

根据模板图像的特征点查找线性存储表内对应数据，将特征点对应数据相加得到模板匹配相似度量。

7.根据权利要求5所述的基于深度学习的热态环件轧制变形几何状态在线测量方法，其特征在于：所述的步骤S31中，增强图像的具体步骤为：

设GMin为灰度值，g为当前灰度值，Mult为所乘系数，Add为附加偏移值，根据式(1)(2)进行图像增强：

Add＝-Mult*GMin             (1)，

g'＝g*Mult+Add               (2)。

8.一种用于权利要求1至7中任意一项所述的基于深度学习的热态环件轧制变形几何状态在线测量方法的测量***，其特征在于：包括图像采集装置、工控机和光源；

图像采集装置采用工业相机，用于采集环件图像；

工控机用于处理采集图像、计算热态环件的几何状态参数；

光源用于提供照明或补光。

9.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1至权利要求7中任意一项所述的基于深度学习的热态环件轧制变形几何状态在线测量方法。

Images