CN116883439A - 一种表面带水渍的板坯轮廓检测方法及装置 - Google Patents

一种表面带水渍的板坯轮廓检测方法及装置 Download PDF

Info

Publication number
CN116883439A
CN116883439A CN202310750776.4A CN202310750776A CN116883439A CN 116883439 A CN116883439 A CN 116883439A CN 202310750776 A CN202310750776 A CN 202310750776A CN 116883439 A CN116883439 A CN 116883439A
Authority
CN
China
Prior art keywords
image
slab
detected
contour
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310750776.4A
Other languages
English (en)
Inventor
徐冬
闫汇卿
何婉章
何海楠
赵剑威
王晓晨
杨荃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310750776.4A priority Critical patent/CN116883439A/zh
Publication of CN116883439A publication Critical patent/CN116883439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种表面带水渍的板坯轮廓检测方法和装置，方法包括：步骤S1：获取中间坯图像，构建样本数据集并标记；步骤S2：构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；步骤S3：采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；步骤S4：对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。本发明可实现对中间坯轮廓的实时检测，尤其是可以针对带水渍的板坯图像，提高轮廓检测的精度，并且该方法具有较强的鲁棒性。

Description

一种表面带水渍的板坯轮廓检测方法及装置
技术领域
本发明涉及检测技术领域，特别是指一种表面带水渍的板坯轮廓检测方法及装置。
背景技术
在粗轧阶段产生的板坯侧弯，对生产影响极大，轻则造成边部切损过大、长度短尺，降低成材率和定尺率，造成一些可视缺陷，例如边部折皱、边裂、孔洞及划伤等，影响成品的板形和质量，影响后续精轧过程的轧制稳定性；重则出现快停、刮框，造成精轧机组处的堆钢事故，产生废钢，损害推床等设备，耽误大量的生产时间。目前工业现场普遍采用基于传统的图像处理方法来检测粗轧板坯轮廓，该方法鲁棒性较低，在复杂多变的工况下可能会出现检测错误的情况。
发明内容
本发明实施例提供了一种表面带水渍的板坯轮廓检测方法及装置。所述技术方案如下：
一方面，提供了一种表面带水渍的板坯轮廓检测方法，该方法由电子设备实现，该方法包括：
步骤S1：获取中间坯图像，构建样本数据集并标记；
步骤S2：构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
步骤S3：采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
步骤S4：对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
可选地，所述S1，具体包括：
S1-1，采用工业CCD相机拍摄获取表面带水渍的中间坯的RGB图像；
S1-2，对获取的板坯图像的有效区域进行截取，得到有效区域图像；
S1-3，将所述有效区域图像贴上标签，选择轮廓标注贴切的标签值组成样本数据集；
S1-4，将所述样本数据集按比例划分为训练集和测试集。
可选地，所述S2中的最佳特征提取模型由七个边缘检测模块结合七个上采样模块构成，随着网络层数的加深，会提取到图像中更深层的特征信息，将被水渍覆盖部分的微弱的板坯轮廓边缘特征提取出来，最终通过融合卷积神经网络的七个侧边输出图像，在获得明显的板坯边缘特征的同时，将被水渍影响的微弱边缘同样提取到；
所述边缘检测模块之间通过1×1的卷积核进行全连接，所述边缘检测模块的侧边输出结果作为所述上采样模块的输入，最终将七个上采样模块的输出特征图进行融合，得到所述最佳特征提取模型的输出结果；
第一个边缘检测模块由1个卷积层构成，第二个边缘检测模块由1个卷积层和1个池化层构成，第三个边缘检测模块由2个卷积层和1个池化层构成，第四个边缘检测模块由3个卷积层和1个池化层构成，第五个边缘检测模块由3个卷积层构成，第六个边缘检测模块由3个卷积层构成，第七个边缘检测模块由2个卷积层构成，所有边缘检测模块的卷积核大小均为3×3；
卷积层计算公式如下：
其中，N表示卷积后输出的图像尺寸，W表示输入图片的尺寸，F表示卷积核的大小，P表示填充的像素数，S表示步长；
池化层计算公式如下：
其中，N表示池化后输出的图像尺寸，W表示输入图片的尺寸大小，F表示池化核的大小，P表示填充的像素数，S表示步长，G表示控制窗口中元素步幅；
七个边缘检测模块输出的结果均各自输入到上采样模块中，上采样模块均采用双线性插值的方法对边缘检测模块输出的特征图进行上采样；
已知Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)，Q22＝(x2，y2)四点的像素值，则双线性插值的计算公式为：
其中f(x，y)代表所求点P(x，y)的像素值；
将七个上采样模块的输出特征图进行图像融合，通过融合七个不同深度的侧边输出图像，得到被噪声影响的微弱的板坯轮廓特征，同时，将板坯没有被噪声影响的明显轮廓特征更为突出的表示。
可选地，使用加权交叉熵作为所述最佳特征提取模型的损失函数；
加权交叉熵损失函数的计算公式为：
β＝Y-/Y++Y-
1-β＝Y+/Y++Y-
其中，Y-和Y+分别表示图像数据集中标注的边缘和非边缘像素点；n表示边缘检测模块的编号；W表示模型中所有学习参数；w是与n个边缘检测模块对应的参数；σ()是sigmoid函数，计算像素点的激活值；yj表示像素j是否被标记为边缘；X表示输入的图像；δ表示每个尺度级别的权重；sigmoid函数可以将一个实数映射到(0,1)的区间内，它的计算公式如下：
可选地，所述S3，具体包括：
S3-1，使用小波变换对待检测板坯图像进行滤波操作，过滤掉部分背景噪声信息，从而提高后续的检测精度；
所述待检测板坯图像是一个沿着空间分布的信号，是随着空间轴x、y变化的二维信号，可以看作是一组数字阵列；
使用小波变换将所述信号分解为一系列离散的近似分量和细节分量，而所述信号的噪声主要集中表现在信号的细节分量上，将大于预设阈值的噪声细节分量去掉后，将其余的细节分量和近似分量再经过小波重构就可以得到平滑的图像；
S3-2，将小波变换滤波后的待检测板坯图像输入所述最佳特征提取模型，得到待检测板坯图像的特征提取图。
可选地，由于所述最佳特征提取模型融合七个不同深度的侧边输出图像，在得到深层次的板坯轮廓有效的微弱边缘特征的同时，也会产生噪声边缘，所述噪声边缘包括：背景噪声、水渍噪声和侧导辊噪声，所以需对待检测板坯图像的特征图进行后处理，达到准确提取板坯轮廓特征的效果，所述后处理，具体包括：
S4-1，对所述待检测板坯图像的特征图进行二值化处理，得到二值图像；其中二值化阈值的计算公式为：
g＝ω0ω1(u0-u1)2
其中g为二值化阈值，ω0为目标点数占总图像的比例，u0为目标点数的平均灰度值，ω1为背景点数占图像的比例，u1为背景点数的平均灰度值；
S4-2，对得到的二值图像进行形态学开运算，确保板坯***轮廓与轧线两侧的侧导辊噪声分离开来，开运算的步骤是先腐蚀后膨胀；
腐蚀的操作步骤是利用结构元素大小为3×3、形状为正方形的核元素对二值图像进行遍历运算，二值图像中被核元素遍历到的部分与核元素做与运算；膨胀的操作步骤是利用核元素与二值图像做并运算；
腐蚀的计算公式为：
(f-b)(s，t)＝min{f(s，x，t+y)-b(x，y)|(s+x)，(t+y)∈Df；(x，y)∈Db}
式中，Df和Db分别是f和b的定义域，f-b代表用b对f进行灰度腐蚀；
膨胀的计算公式为：
式中，f(s,t)为输入图像，b(x,y)为结构元素，Df和Db分别是f和b的定义域，代表用b对f进行灰度膨胀；
S4-3，计算经过形态学运算后图像的每个连通区域的面积；
连通区域的面积计算公式为：
其中，封闭区域D由分段光滑的曲线L围成，函数P(x,y)及Q(x,y)在D上具有一阶连续偏导数；
S4-4，将面积低于最大连通区域面积一半的连通区域用黑色像素进行全填充，用来去除图像中的部分噪声区域，获得初步去噪图像；
S4-5，对初步去噪后的图像采用形态学运算，用来平滑板坯边缘，填充板坯内部孔洞噪声，使得板坯整体独立完整，获得最终处理图像；
S4-6，利用像素点的梯度幅值和方向将图像中所有的边缘提取出来；其中梯度幅值的计算公式为：
梯度方向的计算公式为：
其中：
Gx＝(f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1))-(f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1))
Gy＝(f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1))-(f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)
S4-7，计算所有边缘组成的轮廓周长，找到最大的轮廓，其中轮廓周长的计算公式为：
其中a，b为曲线的范围，x(t)，y(t)为曲线的参数方程；
S4-8，最终将最大的轮廓显示到原始图像中，完成检测。
可选地，所述全填充的具体方法为：
寻找较小区域的最小外接矩形，并将所述最小外接矩形内的所有像素值赋值为0。
另一方面，提供了一种表面带水渍的板坯轮廓检测装置，所述装置包括：
获取模块，用于获取中间坯图像，构建样本数据集并标记；
构造模块，用于构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
特征提取模块，用于采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
后处理模块，用于对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述表面带水渍的板坯轮廓检测方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述表面带水渍的板坯轮廓检测方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明基于卷积神经网络构建的最佳特征提取模型提取板坯图像的轮廓特征，并进行后处理后，将表面带水渍的板坯轮廓高效精确的检测出来。首先利用标注好的工业现场的图像对构造好的卷积神经网路进行训练，使得该网络更利于针对表面带水渍的板坯的边缘信息，然后在神经网络输入前使用小波变换先去除一部分背景噪声，使得最佳特征提取模型提取到的特征更专注于板坯的边缘特征，然后输入到训练好的网络中得到待检测板坯的特征图，再进行后处理提取到板坯的轮廓，完成对待检测板坯图像的轮廓检测。传统图像处理方法由于其方法的单一性只能完成少部分板坯图像轮廓的检测，针对带水渍的板坯图像常常会出现检测错误的情况，本发明解决了板坯的轮廓检测问题，并且亦适用于正常情况下的图像，应对复杂环境的鲁棒性更高，检测的精度也进一步提高，实现了板坯轮廓的实时在线高精度检测，对粗轧中间坯质量检测具有重要意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种表面带水渍的板坯轮廓检测方法流程图；
图2是本发明实施例提供的带水渍的中间坯图像示意图；
图3是本发明实施例提供的最佳特征提取模型结构示意图；
图4是本发明实施例提供的板坯图像特征提取图示意图；
图5是本发明实施例提供的待检测的板坯图像轮廓检测结果示意图；
图6是本发明实施例提供的一种表面带水渍的板坯轮廓检测装置框图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种表面带水渍的板坯轮廓检测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种表面带水渍的板坯轮廓检测方法流程图，该方法的处理流程可以包括如下的步骤：
步骤S1：获取中间坯图像，构建样本数据集并标记；
步骤S2：构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
步骤S3：采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
步骤S4：对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
本发明实施例主要针对的是板坯表面带水渍的问题，板坯在粗轧过程中，温度过高时会通过侧喷水进行降温处理，经过轧机后中间坯的表面会带有大量的水渍，其中部分会蔓延到板坯边缘。另外当轧制的板坯较宽时，板坯会与两侧的侧导辊较近，由于板坯表面温度较高，热辐射较强会照亮侧导辊，导致形成侧导辊噪声。即在本发明实施例中的噪声主要分为背景噪声、水渍噪声和侧导辊噪声。
其中水渍噪声与背景噪声虽然存在灰度值差，但区别较小，而整体的板坯与背景、水渍的灰度值相差较大。在没有水渍的情况下，板坯与背景的灰度值相差较大，灰度变化较为明显，容易将板坯边缘提取出来；但在有水渍的情况下，被水渍覆盖部分的板坯与背景相差较小，灰度变化不明显，此时按传统方法检测会造成检测错误。例如背景区域噪声的灰度值为20，板坯的灰度值为150，而被水渍覆盖的板坯区域的灰度值为50，在传统方法中以单一的灰度变化(梯度)150-20＝130的阈值检测边缘时，就会导致被水覆盖部分的灰度变化(梯度)50-20＝30过小而被漏检，有时甚至会将150-50＝100的被水覆盖部分和板坯间的灰度变化(梯度)当成边缘而发生检测错误。因此在传统检测方法中利用单一的灰度变化阈值提取边缘会造成板坯边缘被水渍覆盖部分的轮廓缺失。
而本发明实施例的基于卷积神经网络构建的最佳特征提取模型可以根据不同的梯度幅值和方向，通过网络层数的加深，利用3*3的卷积核进行特征提取，并结合1*1的卷积核进行边缘检测模块间的连接，可以提取到微弱的灰度变化(梯度)，将所有边缘特征全部提取出来，其中包括背景与被水渍覆盖部分的边缘、背景与板坯的边缘、被水渍覆盖部分与板坯的边缘、侧导辊与背景的边缘；然后对最佳特征提取模型输出后的待检测板坯图像的特征图进行后处理，可以将背景与被水渍覆盖部分板坯的边缘和背景与板坯的边缘检测出来，过滤掉被水渍覆盖部分与板坯的噪声边缘、侧导辊与背景的噪声边缘，准确地检测出板坯的轮廓。
下面结合图2-图5，详细说明本发明实施例提供的一种表面带水渍的板坯轮廓检测方法，包括：
步骤S1：获取中间坯图像，构建样本数据集并标记；
可选地，所述S1，具体包括：
S1-1，采用工业CCD相机拍摄获取表面带水渍的中间坯的RGB图像；
实验所用的数据集图像来自于某工业现场1580产线的粗轧中间坯图像，采用工业CCD相机进行拍摄，得到分辨率为4096*2160的RGB图像。
当然除了表面带水渍，也可以为表面带油渍或者其他噪声。
在本发明实施例中带水渍的中间坯图像如图2所示。
S1-2，对获取的板坯图像的有效区域进行截取，得到有效区域图像；
在本方面实施例中，截取后的图像大小为1024*1024；
S1-3，将所述有效区域图像贴上标签，选择轮廓标注贴切的标签值组成样本数据集；
有效区域的标签为板坯真实的轮廓信息。
S1-4，将所述样本数据集按比例划分为训练集和测试集。
本发明实施例将所述样本数据集按照8:2的比例划分为训练集和测试集。
步骤S2：构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
可选地，如图3所示，所述S2中的最佳特征提取模型由七个边缘检测模块结合七个上采样模块构成，随着网络层数的加深，会提取到图像中更深层的特征信息，将被水渍覆盖部分的微弱的板坯轮廓边缘特征提取出来，最终通过融合卷积神经网络的七个侧边输出图像，在获得明显的板坯边缘特征的同时，将被水渍影响的微弱边缘同样提取到；
所述边缘检测模块之间通过1×1的卷积核进行全连接，所述边缘检测模块的侧边输出结果作为所述上采样模块的输入，最终将七个上采样模块的输出特征图进行融合，得到所述最佳特征提取模型的输出结果；
第一个边缘检测模块由1个卷积层构成，第二个边缘检测模块由1个卷积层和1个池化层构成，第三个边缘检测模块由2个卷积层和1个池化层构成，第四个边缘检测模块由3个卷积层和1个池化层构成，第五个边缘检测模块由3个卷积层构成，第六个边缘检测模块由3个卷积层构成，第七个边缘检测模块由2个卷积层构成，所有边缘检测模块的卷积核大小均为3×3；
卷积层计算公式如下：
其中，N表示卷积后输出的图像尺寸，W表示输入图片的尺寸，F表示卷积核的大小，P表示填充的像素数，S表示步长；
其中，在本发明实施例中，W＝1024，F＝3，P＝1，S＝2，由此可计算出经卷积层后输出的图像尺寸为512；
池化层计算公式如下：
其中，N表示池化后输出的图像尺寸，W表示输入图片的尺寸大小，F表示池化核的大小，P表示填充的像素数，S表示步长，G表示控制窗口中元素步幅；
其中，在本发明实施例中，W＝1024，F＝3，P＝1，S＝2，G＝1，由此可计算出经过池化层输出后的图像尺寸为512。
七个边缘检测模块输出的结果均各自输入到上采样模块中，上采样模块均采用双线性插值的方法对边缘检测模块输出的特征图进行上采样；
已知Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)，Q22＝(x2，y2)四点的像素值，则双线性插值的计算公式为：
其中f(x，y)代表所求点P(x，y)的像素值；
在本发明实施例中，已知Q11＝(1，1)，Q12＝(1，3)，Q21＝(3，1)，Q22＝(3，3)四点的像素值分别为50,100,150,200，则待求点P(2，2)的像素双线性插值的计算公式为：
＝125
将七个上采样模块的输出特征图进行图像融合，通过融合七个不同深度的侧边输出图像，得到被噪声影响的微弱的板坯轮廓特征，同时，将板坯没有被噪声影响的明显轮廓特征更为突出的表示。
可选地，使用加权交叉熵作为所述最佳特征提取模型的损失函数；
加权交叉熵损失函数的计算公式为：
β＝|Y-|/|Y++Y-|
1-β＝|Y+|/|Y++Y-|
其中，Y-和Y+分别表示图像数据集中标注的边缘和非边缘像素点；n表示边缘检测模块的编号；W表示模型中所有学习参数；w是与n个边缘检测模块对应的参数(各个模块不共享权重)；σ()是sigmoid函数，计算像素点的激活值；yj表示像素j是否被标记为边缘；X表示输入的图像；δ表示每个尺度级别的权重；sigmoid函数可以将一个实数映射到(0,1)的区间内，它的计算公式如下：
可选地，本发明实施例使用网格搜索法结合交叉验证的方法对模型优化；在本实施例中，设置的网络模型训练超参数如下所示：learningrate为0.001，batchsize为8，iterations为150k，优化器使用Adam进行处理。
可选地，本发明实施例设置合适的模型评价指标，在本发明实施例中采用决定系数和均方误差来进行计算：
其中，R2表示决定系数，f(xi)表示预测数据，yi表示真实数据，y表示真实数据均值；
其中，MSE表示均方误差，f(xi)表示预测数据，yi表示真实数据，n表示数据个数。
本发明实施例将模型评价指标中综合最优的模型保存，获得最佳特征提取模型。
步骤S3：采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
可选地，所述S3，具体包括：
S3-1，使用小波变换对待检测板坯图像进行滤波操作，过滤掉部分背景噪声信息，从而提高后续的检测精度；
所述待检测板坯图像是一个沿着空间分布的信号，是随着空间轴x、y变化的二维信号，可以看作是一组数字阵列；
使用小波变换将所述信号分解为一系列离散的近似分量和细节分量，而所述信号的噪声主要集中表现在信号的细节分量上，将大于预设阈值的噪声细节分量去掉后，将其余的细节分量和近似分量再经过小波重构就可以得到平滑的图像；
S3-2，将小波变换滤波后的待检测板坯图像输入所述最佳特征提取模型，得到待检测板坯图像的特征提取图。
在本发明实例中得到的板坯图像特征提取图如图4所示。
步骤S4：对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
可选地，由于所述最佳特征提取模型融合七个不同深度的侧边输出图像，在得到深层次的板坯轮廓有效的微弱边缘特征的同时，也会产生噪声边缘，所述噪声边缘包括：背景噪声、水渍噪声和侧导辊噪声，所以需对待检测板坯图像的特征图进行后处理，达到准确提取板坯轮廓特征的效果，所述后处理，具体包括：
S4-1，对所述待检测板坯图像的特征图进行二值化处理，得到二值图像；其中二值化阈值的计算公式为：
g＝ω0ω1(u0-u1)2
其中g为二值化阈值，ω0为目标点数占总图像的比例，u0为目标点数的平均灰度值，ω1为背景点数占图像的比例，u1为背景点数的平均灰度值；
在本发明实施例中，目标点数占比为0.38，目标点数的平均灰度值为95，背景点数占比为0.62，背景点数的平均灰度值为76，由此可以得出本发明实施例的二值化阈值为85，则大于二值化阈值的像素的灰度值赋值为255，表示全白；小于等于二值化阈值的像素的灰度值赋值为0，表示全黑。
S4-2，对得到的二值图像进行形态学开运算，确保板坯***轮廓与轧线两侧的侧导辊噪声分离开来，开运算的步骤是先腐蚀后膨胀；
腐蚀的操作步骤是利用结构元素大小为3×3、形状为正方形的核元素对二值图像进行遍历运算，二值图像中被核元素遍历到的部分与核元素做与运算(例如二值图像中某点的灰度值为255，而遍历到此点的核元素灰度值为0，则经腐蚀运算后，该点的灰度值为0)；膨胀的操作步骤是利用核元素与二值图像做并运算(例如二值图像中某点的灰度值为255，而遍历到此点的核元素灰度值为0，则经腐蚀运算后，该点的灰度值为255)；
腐蚀的计算公式为：
(f-b)(s，t)＝min{f(s，x，t+y)-b(x，y)|(s+x)，(t+y)∈Df；(x，y)∈Db}
式中，Df和Db分别是f和b的定义域，f-b代表用b对f进行灰度腐蚀；
膨胀的计算公式为：
式中，f(s,t)为输入图像，b(x,y)为结构元素，Df和Db分别是f和b的定义域，代表用b对f进行灰度膨胀；
S4-3，计算经过形态学运算后图像的每个连通区域的面积；
连通区域的面积计算公式为：
其中，封闭区域D由分段光滑的曲线L围成，函数P(x,y)及Q(x,y)在D上具有一阶连续偏导数；
S4-4，将面积低于最大连通区域面积一半的连通区域用黑色像素进行全填充，用来去除图像中的部分噪声区域，获得初步去噪图像；
可选地，所述全填充的具体方法为：
寻找较小区域的最小外接矩形，并将所述最小外接矩形内的所有像素值赋值为0。
S4-5，对初步去噪后的图像采用形态学运算，用来平滑板坯边缘，填充板坯内部孔洞噪声，使得板坯整体独立完整，获得最终处理图像；
S4-6，利用像素点的梯度幅值和方向将图像中所有的边缘提取出来；其中梯度幅值的计算公式为：
梯度方向的计算公式为：
其中：
Gx＝(f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1))-(f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1))
Gy＝(f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1))-
(f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)
在本发明实施例中，将梯度幅值大于20且梯度方向在(0,1]的边缘提取出来。
S4-7，计算所有边缘组成的轮廓周长，找到最大的轮廓，其中轮廓周长的计算公式为：
其中a，b为曲线的范围，x(t)，y(t)为曲线的参数方程；
S4-8，最终将最大的轮廓显示到原始图像中，完成检测。
在本发明实施例中，针对带水渍的板坯轮廓检测效果如图5所示，其中检测得到的轮廓线用白色线条标注表示，在本发明实施例中整个方法所用时间为421ms，满足工业现场实时检测的要求，并且从图中可以较为直观的看出，该方法有效的避免了板坯表面带水渍和两侧侧导板对轮廓检测带来的影响，准确高效地解决了板坯轮廓检测的问题。
如图6所示，本发明实施例还提供了一种表面带水渍的板坯轮廓检测装置，所述装置包括：
获取模块610，用于获取中间坯图像，构建样本数据集并标记；
构造模块620，用于构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
特征提取模块630，用于采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
后处理模块640，用于对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
本发明实施例提供的一种表面带水渍的板坯轮廓检测装置，其功能结构与本发明实施例提供的一种表面带水渍的板坯轮廓检测方法相对应，在此不再赘述。
图7是本发明实施例提供的一种电子设备700的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述表面带水渍的板坯轮廓检测方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述表面带水渍的板坯轮廓检测方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种表面带水渍的板坯轮廓检测方法，其特征在于，包括以下步骤：
步骤S1：获取中间坯图像，构建样本数据集并标记；
步骤S2：构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
步骤S3：采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
步骤S4：对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
2.根据权利要求1所述的方法，其特征在于，所述S1，具体包括：
S1-1，采用工业CCD相机拍摄获取表面带水渍的中间坯的RGB图像；
S1-2，对获取的板坯图像的有效区域进行截取，得到有效区域图像；
S1-3，将所述有效区域图像贴上标签，选择轮廓标注贴切的标签值组成样本数据集；
S1-4，将所述样本数据集按比例划分为训练集和测试集。
3.根据权利要求1所述的方法，其特征在于，所述S2中的最佳特征提取模型由七个边缘检测模块结合七个上采样模块构成，随着网络层数的加深，会提取到图像中更深层的特征信息，将被水渍覆盖部分的微弱的板坯轮廓边缘特征提取出来，最终通过融合卷积神经网络的七个侧边输出图像，在获得明显的板坯边缘特征的同时，将被水渍影响的微弱边缘同样提取到；
所述边缘检测模块之间通过1×1的卷积核进行全连接，所述边缘检测模块的侧边输出结果作为所述上采样模块的输入，最终将七个上采样模块的输出特征图进行融合，得到所述最佳特征提取模型的输出结果；
第一个边缘检测模块由1个卷积层构成，第二个边缘检测模块由1个卷积层和1个池化层构成，第三个边缘检测模块由2个卷积层和1个池化层构成，第四个边缘检测模块由3个卷积层和1个池化层构成，第五个边缘检测模块由3个卷积层构成，第六个边缘检测模块由3个卷积层构成，第七个边缘检测模块由2个卷积层构成，所有边缘检测模块的卷积核大小均为3×3；
卷积层计算公式如下：
其中，N表示卷积后输出的图像尺寸，W表示输入图片的尺寸，F表示卷积核的大小，P表示填充的像素数，S表示步长；
池化层计算公式如下：
其中，N表示池化后输出的图像尺寸，W表示输入图片的尺寸大小，F表示池化核的大小，P表示填充的像素数，S表示步长，G表示控制窗口中元素步幅；
七个边缘检测模块输出的结果均各自输入到上采样模块中，上采样模块均采用双线性插值的方法对边缘检测模块输出的特征图进行上采样；
已知Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)，Q22＝(x2，y2)四点的像素值，则双线性插值的计算公式为：
其中f(x，y)代表所求点P(x，y)的像素值；
将七个上采样模块的输出特征图进行图像融合，通过融合七个不同深度的侧边输出图像，得到被噪声影响的微弱的板坯轮廓特征，同时，将板坯没有被噪声影响的明显轮廓特征更为突出的表示。
4.根据权利要求3所述的方法，其特征在于，使用加权交叉熵作为所述最佳特征提取模型的损失函数；
加权交叉熵损失函数的计算公式为：
β＝|Y-|/|Y++Y-|
1-β＝|Y+|/|Y++Y-|
其中，Y-和Y+分别表示图像数据集中标注的边缘和非边缘像素点；n表示边缘检测模块的编号；W表示模型中所有学习参数；w是与n个边缘检测模块对应的参数；σ()是sigmoid函数，计算像素点的激活值；yj表示像素j是否被标记为边缘；X表示输入的图像；δ表示每个尺度级别的权重；sigmoid函数可以将一个实数映射到(0,1)的区间内，它的计算公式如下：
5.根据权利要求1所述的方法，其特征在于，所述S3，具体包括：
S3-1，使用小波变换对待检测板坯图像进行滤波操作，过滤掉部分背景噪声信息，从而提高后续的检测精度；
所述待检测板坯图像是一个沿着空间分布的信号，是随着空间轴x、y变化的二维信号，可以看作是一组数字阵列；
使用小波变换将所述信号分解为一系列离散的近似分量和细节分量，而所述信号的噪声主要集中表现在信号的细节分量上，将大于预设阈值的噪声细节分量去掉后，将其余的细节分量和近似分量再经过小波重构就可以得到平滑的图像；
S3-2，将小波变换滤波后的待检测板坯图像输入所述最佳特征提取模型，得到待检测板坯图像的特征提取图。
6.根据权利要求1所述的方法，其特征在于，由于所述最佳特征提取模型融合七个不同深度的侧边输出图像，在得到深层次的板坯轮廓有效的微弱边缘特征的同时，也会产生噪声边缘，所述噪声边缘包括：背景噪声、水渍噪声和侧导辊噪声，所以需对待检测板坯图像的特征图进行后处理，达到准确提取板坯轮廓特征的效果，所述后处理，具体包括：
S4-1，对所述待检测板坯图像的特征图进行二值化处理，得到二值图像；其中二值化阈值的计算公式为：
g＝ω0ω1(u0-u1)2
其中g为二值化阈值，ω0为目标点数占总图像的比例，u0为目标点数的平均灰度值，ω1为背景点数占图像的比例，u1为背景点数的平均灰度值；
S4-2，对得到的二值图像进行形态学开运算，确保板坯***轮廓与轧线两侧的侧导辊噪声分离开来，开运算的步骤是先腐蚀后膨胀；
腐蚀的操作步骤是利用结构元素大小为3×3、形状为正方形的核元素对二值图像进行遍历运算，二值图像中被核元素遍历到的部分与核元素做与运算；膨胀的操作步骤是利用核元素与二值图像做并运算；
腐蚀的计算公式为：
(f-b)(s，t)＝min{f(s，x，t+y)-b(x，y)|(s+x)，(t+y)∈Df；(x，y)∈Db}
式中，Df和Db分别是f和b的定义域，f-b代表用b对f进行灰度腐蚀；
膨胀的计算公式为：
式中，f(s,t)为输入图像，b(x,y)为结构元素，Df和Db分别是f和b的定义域，代表用b对f进行灰度膨胀；
S4-3，计算经过形态学运算后图像的每个连通区域的面积；
连通区域的面积计算公式为：
其中，封闭区域D由分段光滑的曲线L围成，函数P(x,y)及Q(x,y)在D上具有一阶连续偏导数；
S4-4，将面积低于最大连通区域面积一半的连通区域用黑色像素进行全填充，用来去除图像中的部分噪声区域，获得初步去噪图像；
S4-5，对初步去噪后的图像采用形态学运算，用来平滑板坯边缘，填充板坯内部孔洞噪声，使得板坯整体独立完整，获得最终处理图像；
S4-6，利用像素点的梯度幅值和方向将图像中所有的边缘提取出来；其中梯度幅值的计算公式为：
梯度方向的计算公式为：
其中：
Gx＝(f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1))-
(f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1))
Gy＝(f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1))-
(f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)
S4-7，计算所有边缘组成的轮廓周长，找到最大的轮廓，其中轮廓周长的计算公式为：
其中a，b为曲线的范围，x(t)，y(t)为曲线的参数方程；
S4-8，最终将最大的轮廓显示到原始图像中，完成检测。
7.根据权利要求6所述的方法，其特征在于，所述全填充的具体方法为：
寻找较小区域的最小外接矩形，并将所述最小外接矩形内的所有像素值赋值为0。
8.一种表面带水渍的板坯轮廓检测装置，其特征在于，所述装置包括：
获取模块，用于获取中间坯图像，构建样本数据集并标记；
构造模块，用于构造一个卷积神经网络模型，并用标记好的数据集进行训练，获得最佳特征提取模型；
特征提取模块，用于采用小波变换对待检测板坯图像预处理，并利用训练好的所述最佳特征提取模型对预处理后的待检测板坯图像进行特征提取，获得待检测板坯图像的特征图；
后处理模块，用于对所述待检测板坯图像的特征图进行后处理，完成去除噪声、平滑边缘的功能，通过提取边缘和寻找最大轮廓的方法完成待检测板坯图像的轮廓检测。
9.一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，其特征在于，所述至少一条指令由所述处理器加载并执行以实现如权利要求1-7任一项所述表面带水渍的板坯轮廓检测方法。
10.一种计算机可读存储介质，所述存储介质中存储有至少一条指令，其特征在于，所述至少一条指令由处理器加载并执行以实现如权利要求1-7任一项所述表面带水渍的板坯轮廓检测方法。
CN202310750776.4A 2023-06-25 2023-06-25 一种表面带水渍的板坯轮廓检测方法及装置 Pending CN116883439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750776.4A CN116883439A (zh) 2023-06-25 2023-06-25 一种表面带水渍的板坯轮廓检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750776.4A CN116883439A (zh) 2023-06-25 2023-06-25 一种表面带水渍的板坯轮廓检测方法及装置

Publications (1)

Publication Number Publication Date
CN116883439A true CN116883439A (zh) 2023-10-13

Family

ID=88267073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750776.4A Pending CN116883439A (zh) 2023-06-25 2023-06-25 一种表面带水渍的板坯轮廓检测方法及装置

Country Status (1)

Country Link
CN (1) CN116883439A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576416A (zh) * 2024-01-15 2024-02-20 北京阿丘机器人科技有限公司 工件边缘区域的检测方法、设备及存储介质
CN117828900A (zh) * 2024-03-04 2024-04-05 宝鸡核力材料科技有限公司 一种应用于板坯轧制下的杂质去除提醒方法、***及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576416A (zh) * 2024-01-15 2024-02-20 北京阿丘机器人科技有限公司 工件边缘区域的检测方法、设备及存储介质
CN117576416B (zh) * 2024-01-15 2024-05-14 北京阿丘机器人科技有限公司 工件边缘区域的检测方法、设备及存储介质
CN117828900A (zh) * 2024-03-04 2024-04-05 宝鸡核力材料科技有限公司 一种应用于板坯轧制下的杂质去除提醒方法、***及介质
CN117828900B (zh) * 2024-03-04 2024-05-07 宝鸡核力材料科技有限公司 一种应用于板坯轧制下的杂质去除提醒方法、***及介质

Similar Documents

Publication Publication Date Title
CN116883439A (zh) 一种表面带水渍的板坯轮廓检测方法及装置
CN111310558A (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及***
CN103871039B (zh) 一种sar图像变化检测差异图生成方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及***
CN111539938B (zh) 一种轧带钢带头曲度检测方法、***、介质及电子终端
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN116152261B (zh) 一种印刷制品质量的视觉检测***
CN112198170A (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN115082377A (zh) 一种基于无人机的建筑物表面裂缝几何参数测量方法及***
CN111429437B (zh) 面向目标检测的图像无参考清晰度质量检测方法
CN115511775A (zh) 一种基于语义分割的轻量型瓷砖表面缺陷检测方法
CN113095164A (zh) 基于强化学习和标志点表征的车道线检测定位方法
CN112950594A (zh) 产品表面缺陷的检测方法、设备及存储介质
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN113658180B (zh) 一种基于空间上下文引导的表面缺陷区域分割方法和装置
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN112837329B (zh) 一种藏文古籍文档图像二值化方法及***
CN111553874B (zh) 一种反光核燃料棒表面线结构光中心提取方法
CN114529715A (zh) 一种基于边缘提取的图像识别方法及***
CN114419317A (zh) 一种用于复杂环境线结构光的光条中心提取方法
CN117649439B (zh) 一种海草床面积的获取方法、***、设备和存储介质
CN117788409B (zh) 一种基于数据增强与多尺度特征学习路面裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination