CN118195367A - 基于数字孪生的板坯生产过程监测*** - Google Patents

基于数字孪生的板坯生产过程监测*** Download PDF

Info

Publication number
CN118195367A
CN118195367A CN202311775234.9A CN202311775234A CN118195367A CN 118195367 A CN118195367 A CN 118195367A CN 202311775234 A CN202311775234 A CN 202311775234A CN 118195367 A CN118195367 A CN 118195367A
Authority
CN
China
Prior art keywords
module
slab
output
feature
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311775234.9A
Other languages
English (en)
Inventor
李培玉
付天杰
沈国振
王国春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Putedy Industrial Co ltd
Original Assignee
Hangzhou Putedy Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Putedy Industrial Co ltd filed Critical Hangzhou Putedy Industrial Co ltd
Priority to CN202311775234.9A priority Critical patent/CN118195367A/zh
Publication of CN118195367A publication Critical patent/CN118195367A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于数字孪生的板坯生产过程监测***。该***包括数据获取模块、缺陷识别模块和生产管理模块;数据获取模块用于获取生产过程中待检测板坯的板坯图像以及板坯生产环境参数,板坯生产环境参数包括温度、湿度和光照;缺陷识别模块中内置预先经过训练的缺陷识别神经网络,用于以数据获取模块获取到的板坯图像作为输入,得到待检测板坯上的缺陷检测结果;缺陷检测结果包括缺陷类别及缺陷位置;生产管理模块中内置缺陷概率预测模型;缺陷概率预测模型用于以数据获取模块获取到的板坯生产环境参数作为输入,预测得到板坯在当前生产环境中出现缺陷的概率。本发明可实现对板坯生产流程的监控、缺陷识别、产量管理、缺陷预测等功能。

Description

基于数字孪生的板坯生产过程监测***
技术领域
本发明属于冶金炼钢技术领域,特别涉及一种基于数字孪生的板坯生产过程的检测***。
背景技术
各行各业的发展使得高质量钢铁的需求量越来越高,钢铁制造业随需求增加而需要产出更多更优质的钢铁。近年来,各行各业对高质量钢铁的需求持续增加,这在一系列最新研究中都有所体现。热轧是板坯生产中的一个关键环节,由于板坯具有良好的尺寸和性能适用性,因而得到了快速发展。在板坯生产中,无论是采用传统热轧工艺,还是采用薄钢板连铸连轧工艺,都有可能出现由原料、轧制工艺、生产环境等原因造成的裂纹、夹杂物、斑点、轧制氧化皮、划痕等各种缺陷。板坯表面有无缺陷是衡量产品质量的一个重要指标,各类热轧钢带的表面缺陷对产品的品质有很大的影响。因此在现代工业生产中,对热轧钢带进行表面缺陷的检测是必不可少的。
当前,随着智能化工业应用的不断增加,炼钢工业流程的智能化水平相对不足。尽管在许多行业中,智能化技术的应用已经取得了显著的进展,包括自动化控制***、机器学习和人工智能等领域,但在炼钢工业中的应用仍然面临一些挑战。这一领域的智能化进程受限于复杂的工艺流程、大规模的设备和***、以及对稳定性和可靠性的高要求。因此,针对炼钢工业智能化的研究和实践仍然是当前科学家和工程师共同关注的焦点。在未来,通过不断的技术创新和跨学科合作,炼钢工业有望迎来更为智能化、高效化的发展。
针对钢铁生产中的质量控制问题,板坯缺陷成为影响最终产品质量的重要因素之一。板坯作为由液体钢转为固态钢的第一步产品,承担着保障钢铁质量的重要责任。然而,目前的板坯质量检测方法存在着高温危险性以及不够精确的问题。在高温工作环境下进行质量检测,不仅对操作人员构成潜在危险,还限制了检测精确度。此外,现有的质量检测方法无法有效地定位缺陷,使得问题追踪和处理变得复杂。最重要的是,现有的质量检测方法无法实现板坯产量及质量的精确量化。这限制了生产过程的透明度和可控性,阻碍了生产效率的最大化。因此,迫切需要采用创新技术和方法,以提高板坯质量检测的安全性、精确性和可量化性,以满足现代钢铁工业对高品质产品的需求。
准确检测识别板坯表面缺陷是改善板坯质量的重要前提,但要检测板坯的表面缺陷并不容易。首先,生产板坯过程温度极高,工作人员无法近距离接触板坯进行表面合格确认。所以工作人员只能借助监控设备进行人工缺陷分类。长期以来,板坯表面缺陷检测一直是制造行业的一个研究热点,近年来,随着自动化检测技术不断完善、机器视觉检测和深度学习的蓬勃发展,图像领域的研究和应用已经成为一个重要分支,其中将数字图像与深度学习算法结合为板坯表面缺陷检测提供了新的手段。深度学习相较于其他缺陷检测拥有直观且快速的优点,但常规的检测算法不够稳定,不足以满足不同冶炼厂的检测的高精度要求。同时炼钢流程智能化领域的最新进展,强调了自动化、数据驱动、视觉分析、可持续性和效率的重要性。通过综合应用这些前沿技术,炼钢工业有望提高生产效率、产品质量,并实现更环保的生产。
综上所述,在炼钢行业中可以引入智能化应用以提高生产效率和生产安全性,降低原料浪费及生产成本。目前缺乏一种针对板坯生产流程监测的***
发明内容
本发明要解决的技术问题是解决现有技术中炼钢行业中生产效率、质量控制和生产安全性较低的缺陷,并提供一种基于数字孪生的板坯生产流程监测***。
本发明所采用的具体技术方案如下:
一种基于数字孪生的板坯生产过程监测***,其包括数据获取模块、缺陷识别模块和生产管理模块;
所述数据获取模块用于获取生产过程中待检测板坯的板坯图像以及板坯生产环境参数,所述板坯生产环境参数包括温度、湿度和光照;
所述缺陷识别模块中内置预先经过训练的缺陷识别神经网络,用于以所述数据获取模块获取到的板坯图像作为输入,得到待检测板坯上的缺陷检测结果;所述的缺陷检测结果包括缺陷类别及缺陷位置;
所述生产管理模块中内置缺陷概率预测模型;所述缺陷概率预测模型用于以所述数据获取模块获取到的板坯生产环境参数作为输入,预测得到板坯在当前生产环境中出现缺陷的概率。
作为优选,所述数据获取模块与外部的实时监测模块连接构成数据通信,所述实时监测模块包含扫描拍摄设备和传感检测装置,所述扫描拍摄设备用于拍摄生产过程中的板坯图像,所述传感检测装置包括用于检测生产环境温度的温度传感器、用于检测生产环境湿度的湿度传感器以及用于检测生产环境光照强度的光照传感器。
作为优选,所述数据获取模块中还包括用于检测板坯重量的重量传感器,所述生产管理模块中还内置有产量管理子模块,所述产量管理子模块用于根据生产过程中重量传感器检测到的板坯重量,实现板坯产量的数据管理。
作为优选,所述重量传感器实时采集板坯的重量数据,通过以太网传输到数据采集***,用于实时监测和分析板坯的质量和重量分布。
作为优选,所述缺陷识别神经网络由三个CBS模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块顺次级联形成主干网络;
其中主干网络的后三个ELAN模块依次输出第一特征、第二特征、第三特征至头部模块;
所述头部模块中,第三特征经过SPPCSPC模块后输出第四特征,第四特征通过CBS模块输出第五特征,第二特征通过CBS模块输出第六特征,将第五特征上采样后再与第六特征相加并通过ELAN-C模块输出第七特征,第七特征通过两个不同的CBS模块分别输出第八特征和第九特征,第一特征通过CBS模块输出第十特征,将第八特征上采样后再与第十特征相加并依次通过ELAN-C模块和AU模块输出第十一特征,第十一特征通过MP2模块输出第十二特征,第九特征和第十二特征相加后依次通过ELAN-C模块和AU模块输出第十三特征,第十三特征通过MP2模块输出第十四特征,第四特征和第十四特征相加后依次通过ELAN-C模块和AU模块输出第十五特征,第十一特征、第十三特征、第十五特征通过三个不同的REPVgg模块分别输出板坯上的缺陷分类信息、板坯上缺陷之外的背景信息、缺陷边界信息。
作为优选,所述CBS模块由卷积、批归一化和激活函数组合而成;
所述ELAN模块中,ELAN模块输入分两路处理,一路经过单个CBS模块,另一路依次经过五个CBS模块,两路的最终输出相加后再通过CBS模块得到ELAN模块输出;
所述MP1和MP2模块中,MP1或MP2模块输入分两路处理,一路依次经过最大池化层和CBS模块,另一路依次经过两个CBS模块,两路的最终输出相加后得到MP1或MP2模块输出;
所述ELAN-C模块中,ELAN-C模块输入分两路处理,一路经过单个CBS模块得到第一输出,另一路依次经过五个CBS模块并分别由五个CBS模块得到第二输出,第一输出和五个第二输出相加后再通过CBS模块得到ELAN-C模块的最终输出;
所述SPPCSPC模块中,SPPCSPC模块输入分两路处理,一路依次经过三个CBS模块得到第一输出,第一输出分别经过第一最大池化层、平均池化层、第二最大池化层得到第二输出、第三输出和第四输出,另一路经过单个CBS模块得到第五输出,第二输出、第三输出、第四输出和第五输出相加后再依次经过两个CBS模块得到第六输出,第五输出和第六输出相加后再通过CBS模块得到SPPCSPC模块输出;
所述AU模块中,AU模块输入分两路处理,一路分别经过沿图像高度方向的最大池化操作和沿图像高度方向的平均池化操作后拼接并经过1×1卷积得到第一输出,另一路分别经过沿图像宽度方向的最大池化操作和沿图像宽度方向的平均池化操作后拼接并经过1×1卷积得到第二输出,第一输出和第二输出拼接后依次经过1×1卷积、Relu激活函数、1×1卷积得到第三输出,AU模块输入和第三输出相加后作为AU模块输出;
所述REPVgg模块在训练阶段和推理阶段采用不同结构;训练阶段的REPVgg模块中,REPVgg模块输入分别经过1×1卷积和3×3卷积后将两个卷积结果相加,再通过Relu激活函数得到第一输出,第一输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第一输出本身相加,再通过Relu激活函数得到第二输出,第二输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第二输出本身相加,再通过Relu激活函数得到REPVgg模块输出;推理阶段的REPVgg模块中,REPVgg模块输入分别经过3组带有Relu激活函数的3×3卷积后得到REPVgg模块输出。
作为优选,所述缺陷概率预测模型采用预先拟合的回归模型,模型形式为:
式中:P(D=1)是板坯存在缺陷的概率,β0123是回归模型的系数,T、H、L分别代表板坯生产环境参数中的温度、湿度、光照。
作为优选,所述缺陷识别神经网络通过带有标注的样本图像数据集进行训练,且样本图像数据集需通过几何变换进行数据增强。
作为优选,所述数据获取模块、缺陷识别模块和生产管理模块中产生的参数和信息,均通过显示界面进行显示,所述显示界面为本地***的GUI界面或者为与本地***构成数据通信的外部显示终端。
作为优选,所述显示界面上显示的信息包括板坯模型、分级标记的缺陷严重程度、板坯重量、温度、湿度、光照、板坯生成工作时长、板坯日产量、当前生产环境中出现缺陷的概率及调整建议。
本发明相对于现有技术而言,具有以下有益效果:
1、本发明是一套全面的板坯生产流程监测***,可实现对板坯生产流程的监控,缺陷识别,产量管理,缺陷预测等功能;
2、本发明具有更快速与精确的缺陷识别网络,且相较于其他目标识别模型,本发明缺陷识别网络的精度更高,速度更快;
3、本发明具有缺陷预测模型,可融合环境信息实现对板坯缺陷生成概率的预测。用户根据概率与提示调整相关设置以降低产生缺陷的概率,从而实现更高的优质钢产量与降低原料浪费;
4、本发明的模型可以无成本嵌入视频跟踪识别算法中,板坯缺陷识别可复制、可追溯,安全性高;
5、本发明的提供能够精简板坯缺陷人工辨认的操作人员,降低工人劳动强度与操作危险性。
附图说明
图1为本发明中板坯过程监测***的示意图。
图中的附图标记为:1板坯监测探头;2图像处理单元;3通信控制模块;4主机;5板坯传送带。
图2为本发明中监测***数字孪生结构的示意图。
图3为本发明中缺陷识别模块示意图;图中:输入原始样本图像和认为标注信息;CBS由3*3卷积(Conv)模块,批次归一化(BN)模块和SiLU激活函数组成;Maxpool为最大池化;Avgpool为平均池化;模型由上述模块与AU模块,REPVgg模块共同组成。
图4为本发明中AU模块示意图;图中:Relu为激活函数;Concatenate为串联函数;Feature Map为训练时产生的特征图;Maxpooling Map为最大池化;Average pooling Map为平均池化;CONV为卷积。
图5为本发明中REPVgg模块示意图;图中:Concat为串联函数;Conv为卷积;Feature Map为训练时产生的特征图;Relu为激活函数。
图6为本发明中***界面。
图7为本发明中***的缺陷数据库界面。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下,均可进行相应组合。
在本发明的描述中,需要理解的是,当一个元件被认为是“连接”另一个元件,可以是直接连接到另一个元件或者是间接连接即存在中间元件。相反,当元件为称作“直接”与另一元件连接时,不存在中间元件。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于区分描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本发明的一个较佳实施例中,提供了一种基于数字孪生的板坯生产过程监测***,该***按照功能模块划分可以分为数据获取模块、缺陷识别模块和生产管理模块。
上述数据获取模块用于获取生产过程中待检测板坯的板坯图像以及板坯生产环境参数。其中,板坯生产环境参数包括温度、湿度和光照。
上述缺陷识别模块中内置预先经过训练的缺陷识别神经网络,用于以上述数据获取模块获取到的板坯图像作为输入,得到待检测板坯上的缺陷检测结果。其中,缺陷检测结果包括缺陷类别及缺陷位置。
上述生产管理模块中内置缺陷概率预测模型;上述缺陷概率预测模型用于以上述数据获取模块获取到的板坯生产环境参数作为输入,预测得到板坯在当前生产环境中出现缺陷的概率。
在本发明的实施例中,数据获取模块与外部的实时监测模块连接构成数据通信,实时监测模块包含扫描拍摄设备和传感检测装置。扫描拍摄设备用于拍摄生产过程中的板坯图像,传感检测装置包括用于检测生产环境温度的温度传感器、用于检测生产环境湿度的湿度传感器以及用于检测生产环境光照强度的光照传感器。
在本发明的实施例中,还可以进一步在***中增加产量管理的功能,当***中需要加入产量管理功能时,上述数据获取模块中还需要包括用于检测板坯重量的重量传感器,生产管理模块中还内置有产量管理子模块,产量管理子模块用于根据生产过程中重量传感器检测到的板坯重量,实现板坯产量的数据管理。
在本发明的实施例中,图1展示了扫描拍摄设备在板坯生成设备中的布置形式,扫描拍摄设备的图像获取设备为板坯监测探头1,可安装在板坯传送带5的上方,使其能够拍摄到板坯传送带5上的板坯图像,板坯图像可发送至图像处理单元2,进而通过通信控制模块3发送至用于数据处理的主机4中。另外,相关的温度、湿度、光照、重量传感器可分别布置在板坯传送带5以及周围的生成环境中,传感器通过以高速传输到数据采集***,再发送至主机4进行数据处理。前述的数据获取模块、缺陷识别模块和生产管理模块均可以软件模块的形式布置在主机4上,实现相应功能。
下面通过一个较佳实施例,来展示上述基于数字孪生的板坯生产过程监测***的具体实现形式。
1、***的构成
数字孪生体是物理对象的虚拟复制品,它在物理实体与其数字模型之间建立双向映射关系。参照ISO 23247的闭环结构,通过dt驱动实现对板坯生产流程的监测。***包含两个空间:物理空间与虚拟空间。本***中物理层是指板坯生产过程中生产现场存在的实体模型集合,主要包括板坯实体、扫描拍摄设备、传感检测装置等。扫描拍摄设备用于拍摄板坯的图像方便后续进行板坯缺陷识别与分类。传感器和检测装置主要收集生产过程中的环境动态数据。板坯缺陷识别及分类和生产数据管理是建立基于数字孪生技术的板坯生产过程监测***的关键技术。
前述的图1所示硬件环境,构成了板坯生产过程监测***获取数据的物理空间基础。在本发明的较佳实施例中,所用硬件设备均为现有设备或现有技术。板坯监测探头1可采用监测探头组合的方式,例如采用海康威视公司的DS-NXCN3A204型号的高温摄像机,实现对板坯在可见光区域监测,为板坯生产过程监测***收集分析板坯缺陷信息及分类等信息提供现场数据。主机4是集成多路GPU的学习型电脑主机,可选择DELL公司的T7920型号双路GPU服务器;通过内置软件形式的缺陷检测模型,对板坯监测模块获取的图像数据进行分析处理。通信控制模块3通过以太网通分别连接其它组件,实现数据信息和控制信号的双向互通;在将识别结果传送给主机4后,由其根据缺陷情况按***预设处置方案执行相应提示操作。
图2为监测***结构。作为物理层完全镜像的***方便用户监测及观察,虚拟空间必须与物理空间保持实时同步并反映其相关特性。虚拟空间中包含数据层、模型层、应用层和服务层。各部分内容如下。
数据层:数据层主要用于管理相应传感器采集得到的板坯生产环境的温度,湿度,光照,板坯传送带5上板坯的重量及板坯表面图像数据,形成历史记录的形式便于用户随时观测数据。
各数据传送至主机4的方式可根据实际需要进行调整。以重量传感器为例,可利用重量传感器实时得到每块板坯的重量,再集合在dt监测***中。重量传感器实时采集板坯的重量数据,通常以每秒多次采样。数据的规模取决于生产过程的速度和需求,通常每小时可以生成大量的数据点。重量传感器生成的数据通常以高速传输到数据采集***。传输速率可根据生产线的需求进行调整,通常以每秒几千个数据点的速率传输。重量传感器数据被连接到生产过程监测***,该***可以实时监测和分析板坯的质量和重量分布。数据传输通过以太网实现,确保数据的及时性和可靠性。
主机4中可内置数据获取模块,用于读入上述传感器获取到的板坯图像、板坯重量以及温度、湿度和光照等板坯生产环境参数。由此,后续可将数据层得到的数据进行处理,温度和湿度及重量数据用于计算产量及预测缺陷出现的概率。图像数据用于识别是否存在缺陷及缺陷的分类信息。
模型层:使用UNITY对上述数据进行封装。构建板坯模型,同时展示板坯是否存在缺陷。
应用层是上述数据层和模型层两层之间的板坯虚拟可视化监测和生产状态监测。
服务层是应用层的上游,是应用功能的体现方法。以PC、Phone、Pad、Web和VR客户端直接参与到板坯生产过程的直接监测及管理。
2、***的构建
2.1、缺陷识别模块的构建
如前所述,缺陷识别模块中内置预先经过训练的缺陷识别神经网络,用于以数据获取模块获取到的板坯图像作为输入,得到待检测板坯上的缺陷检测结果。
在本发明的较佳实施例中,图3展示了缺陷识别模型的具体结构,分为主干和头部两部分,主干用于提取特征,头部用于预测。先对输入的图片预处理,对齐成640*640大小的RGB图片,输入到backbone网络中,根据主干网络中的三层输出,在头部层通过主干网络继续输出三层不同大小的特征图像,经过RepVGG模块,对图像检测的三类任务(分类、前后背景分类、边框)预测,输出最后的结果。将模型重参数化引入到网络架构中,采用多分支的网络获得更优异的特征提取。模型中加入AU注意力单元,有效的提取不易识别的细微特征。引入REPVGG模块加强网络提取关键特征的能力。AU作用于网络中的头部部分,利用注意力机制来加权不同边界框的预测结果,提取到图像中难以被检测和观察到的细小特征,以提高对小目标的关注度,降低网络模型检测小目标时产生的漏检情况,提升整体的检测准确度。REPVGG模块引入和残差分支和1x1卷积分支,为了后续重参数化成单路结构,模块中的残差分支和1*1大小的卷积核均能增加网络性能。
缺陷识别模型的具体网络结构如图3、图4、图5所示。该缺陷识别神经网络由三个CBS模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块顺次级联形成主干网络;其中主干网络的后三个ELAN模块依次输出第一特征、第二特征、第三特征至头部模块。
在头部模块中,第三特征经过SPPCSPC模块后输出第四特征,第四特征通过CBS模块输出第五特征,第二特征通过CBS模块输出第六特征,将第五特征上采样后再与第六特征相加并通过ELAN-C模块输出第七特征,第七特征通过两个不同的CBS模块分别输出第八特征和第九特征,第一特征通过CBS模块输出第十特征,将第八特征上采样后再与第十特征相加并依次通过ELAN-C模块和AU模块输出第十一特征,第十一特征通过MP2模块输出第十二特征,第九特征和第十二特征相加后依次通过ELAN-C模块和AU模块输出第十三特征,第十三特征通过MP2模块输出第十四特征,第四特征和第十四特征相加后依次通过ELAN-C模块和AU模块输出第十五特征,第十一特征、第十三特征、第十五特征通过三个不同的REPVgg模块分别输出板坯上的缺陷分类信息、板坯上缺陷之外的背景信息、缺陷边界信息。
上述缺陷识别神经网络中,CBS模块、ELAN模块、MP1和MP2模块、ELAN-C模块、SPPCSPC模块、AU模块、REPVgg模块的具体模块结构分别如下:
参见图3所示,CBS模块由卷积、批归一化和激活函数组合而成。
参见图3所示,ELAN模块中,ELAN模块输入分两路处理,一路经过单个CBS模块,另一路依次经过五个CBS模块,两路的最终输出相加后再通过CBS模块得到ELAN模块输出。
参见图3所示,MP1和MP2模块的模块结构相同,MP1和MP2模块中,MP1或MP2模块输入分两路处理,一路依次经过最大池化层和CBS模块,另一路依次经过两个CBS模块,两路的最终输出相加后得到MP1或MP2模块输出。
参见图3所示,ELAN-C模块中,ELAN-C模块输入分两路处理,一路经过单个CBS模块得到第一输出,另一路依次经过五个CBS模块并分别由五个CBS模块得到第二输出,第一输出和五个第二输出相加后再通过CBS模块得到ELAN-C模块的最终输出。
参见图3所示,SPPCSPC模块中,SPPCSPC模块输入分两路处理,一路依次经过三个CBS模块得到第一输出,第一输出分别经过第一最大池化层、平均池化层、第二最大池化层得到第二输出、第三输出和第四输出,另一路经过单个CBS模块得到第五输出,第二输出、第三输出、第四输出和第五输出相加后再依次经过两个CBS模块得到第六输出,第五输出和第六输出相加后再通过CBS模块得到SPPCSPC模块输出。
参见图4所示,AU模块中,AU模块输入分两路处理,一路分别经过沿图像高度方向的最大池化操作(H MaxPooling)和沿图像高度方向的平均池化操作(H AvgPooling)后拼接并经过1×1卷积得到第一输出,另一路分别经过沿图像宽度方向的最大池化操作(WMaxPooling)和沿图像宽度方向的平均池化操作(W AvgPooling)后拼接并经过1×1卷积得到第二输出,第一输出和第二输出拼接后依次经过1×1卷积、Relu激活函数、1×1卷积得到第三输出,AU模块输入和第三输出相加后作为AU模块输出。
参见图5所示,REPVgg模块在训练阶段和推理阶段采用不同结构。训练阶段的REPVgg模块中,REPVgg模块输入分别经过1×1卷积和3×3卷积后将两个卷积结果相加,再通过Relu激活函数得到第一输出,第一输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第一输出本身相加,再通过Relu激活函数得到第二输出,第二输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第二输出本身相加,再通过Relu激活函数得到REPVgg模块输出;推理阶段的REPVgg模块中,REPVgg模块输入分别经过3组带有Relu激活函数的3×3卷积后得到REPVgg模块输出。
该网络模型可以快速且精确的识别板坯缺陷。往往板坯缺陷出现比较随机,因此可能存在低质量的缺陷样本,集合因素也会导致模型泛化能力不足。缺陷识别模型训练过程中,引入动态非单调的聚焦机制WioU作为损失函数的一部分,定义如公式所示。
LWIoUv1=RWIoULIoU
其中,表示LWIoU的单调聚焦系数。LIoU表示动量为m的滑动平均值。r为β组成的非单调聚焦系数。α,δ为超参数。Wi,Hi表示预测框的尺寸大小。RWIoU表示放大普通质量锚框的LIoU。LIoU表示为降低高质量锚框的RWIoU,在锚框与目标框重合较好的情况下显著降低对中心点距离的关注。β越小锚框的质量越高,WIoU为其分配一个小的梯度增益,使边界框回归到普通质量的锚框上。β越大锚框的质量越低,WIoU为其赋予较小的梯度增益,以减少有害梯度,同时专注于普通质量的锚框,以提高模型的泛化能力。
示例性的缺陷识别模型训练过程如下:
首先按上述设计构建缺陷识别模型;利用样本图像进行预训练,调整目标函数及损失函数,对不同部分的权重进行区分;再利用Adam优化器进行卷积层优化得出最优卷积层参数,优化各神经网络使其最终达到满足预设条件。
在进行训练之前,事先需要构建带有标注的样本图像数据集,同时需要对带有标注的样本图像数据集进行预处理和数据增强。在本发明的较佳实施例中,需要对样本图像进行初步处理,去除水蒸气及灰尘造成的杂质特征。由于图像的几何变换易于实现,并且可以有效地克服训练数据中存在的位置偏差。因此进一步采用去噪、旋转、翻转和平移三种方法对图像进行处理,扩充得到更多样本。然后,本发明的实施例中,还需要基于随机擦除算法对样本图像进行处理,得到随机擦除部分图像区域,实现数据增强。经上述数据增强处理后,将样本图像与标注信息输入到模型中进行训练。
上述的随机擦除算法的伪代码可参见表3所示,其主要作用是在训练模型之前减少数据集中的噪声和异常值。
表3随机擦除算法
在训练过程中,按前述缺陷识别模型的描述内容进行图像数据的传递和处理。
2.2、生产管理模块的构建
在钢铁生产中,板坯的质量控制至关重要。不同的环境因素,如温度、湿度和光照,可以对板坯的质量产生影响。
如前所述,生产管理模块中内置缺陷概率预测模型和产量管理子模块。其中缺陷概率预测模型用于以数据获取模块获取到的板坯生产环境参数作为输入,预测得到板坯在当前生产环境中出现缺陷的概率。产量管理子模块用于根据生产过程中重量传感器检测到的板坯重量,实现板坯产量的数据管理。
为了预测板坯出现缺陷的概率,缺陷概率预测模型可以使用统计模型,其中一种常用的方法是logistic回归模型。
在logistic回归中,本发明利用环境因素(例如温度、湿度、光照)的测量值来建立一个预测模型,以确定板坯存在缺陷的概率。模型的公式如下:
其中,P(D=1)是板坯存在缺陷的概率。β0,β1,β2,β3是回归模型的系数。T代表板坯生产环境参数中的温度。H代表板坯生产环境参数中的湿度,L代表板坯生产环境参数中的光照强度。
在这个模型中,当温度、湿度和光照的值给定时,模型估计板坯存在缺陷的概率。模型系数β0,β1,β2,β3可以通过统计方法估计得出。当系数估计完毕后,我们可以使用环境因素的实际测量值来计算板坯出现缺陷的概率。
logistic回归模型的优点是可以考虑多个环境因素对板坯质量的综合影响,同时提供了一个数学框架来量化不同因素对缺陷概率的贡献。这有助于制定生产过程中的调整策略,以降低缺陷率。这种方法为钢铁生产中质量控制提供了一种科学的方式,以最小化生产中的缺陷和浪费。当参数都给定完成后,***可以根据实时生产的实时参数估算出板坯生产过程中缺陷存在的可能性,工作人员根据缺陷存在的可能性调节相关板坯生产环境。
3、监测***的实际运用
基于前述缺陷识别模块和生产管理模块的构建与训练,可以在实际生产中的实时监测与管理,具体包括以下步骤:
(1)实时监测模块
实时获取生产的钢材板坯的视频,由图像处理单元对其中每一帧图像都进行预处理以调整图像像素大小,便于用于后续的识别。
预处理的具体内容包括:调整图像的宽度和高度像素值,通过行或列堆叠成多个长向量;分别计算图像中沿水平X轴和垂直Y轴的差异以计算图像梯度,将其合成为二维矢量后,再用矢量掩模或滤波器去除非必要参数;
在实际运用缺陷识别模型时,只需要对视频图像进行像素增强处理就能满足识别的需求,不需要再按模型预训练过程执行去除图片杂质和随机擦除局部区域的操作。
将增强处理后的图像输入经过预训练的缺陷识别模型中,由头部部分进行识别与概率分类;通过与存储于数据库中的既有数据进行比对,若经计算图像中存在缺陷概率大于设定阈值,则在数据库中记录该图像的时间戳、缺陷位置与缺陷类别;若概率小于设定阈值,则视为无缺陷且不记录相关信息。并根据每块板坯上缺陷的数量及类别设定缺陷严重程度。
另外为了便于实现可视化,数据获取模块、缺陷识别模块和生产管理模块中产生的参数和信息,均可通过显示界面进行显示,当然显示界面可以为本地***的GUI界面或者为与本地***构成数据通信的外部显示终端。
在本发明的较佳实施例中,如图6所示,界面中显示实时板坯生产相关信息,包括板坯模型、分级标记的缺陷严重程度、板坯重量、温度、湿度、光照、板坯生成工作时长、板坯日产量、当前生产环境中出现缺陷的概率及调整建议。实际应用时,可用红色,橙色,蓝色表示缺陷的严重程度和缺陷存在的概率高低。红色表示程度较高,橙色表示程度中等,蓝色表示正常。基于数字孪生的板坯生产过程监测***实现了与真实生产过程的实时同步与模拟。在生产过程监测***中用户可以通过拖拽旋转实现对板坯的全角度观察,以便用户对缺陷信息的全面掌控。当板坯存在缺陷时,界面中会根据程度用红色橙色标注缺陷。当缺陷较为严重时为红色,缺陷一般时为橙色。用户可以根据颜色进行相关后续操作。右上角为缺陷存在概率预测,***根据环境信息预测缺陷存在的概率,当概率大于70时用红色标注,大于50时用橙色标注。***根据生产的实施环境提示用户相关措施以降低缺陷产生概率。点击缺陷库按钮,界面跳转到历史缺陷的详细信息界面中,用户通过上下翻页按钮调整页面查询历史缺陷信息。***数据库基于MySQL相关软件开发,板坯生成过程中产生的所有缺陷数据都被存储在MySQL数据库表中个。根据时间,缺陷类别,重量,温度,湿度建立相应的字段。本***还预留了二次开发接口,以便未来与大数据与人工智能模型进行交互,实现更加快速,全面与便捷的***。
(2)缺陷库模块
在本发明的较佳实施例中,如图7所示,模块中包含历史中所有的板坯缺陷数据。工作人员可以通过该模块查询缺陷出现的日期,缺陷类型,温度,湿度及重量等。
5、实际应用的具体示例
(1)启动基于数字孪生的板坯生产流程监测***,启动温度传感器、湿度传感器、重量传感器并接入以太网,生成的板坯进入传送带后,缺陷检测控制板坯监测探头开始工作;
(2)温度、湿度、光照及图像信息传入***中,***根据温度、湿度、光照信息判断当前缺陷生成概率及相关建议,并显示在界面中。
(3)图像处理单元获取板坯样本图像后,进行图像信息的预处理,然后发送给主机4。主机4使用完成预训练的缺陷检测模型,模型的头部部分与视频跟踪算法结合对视频图像中的板坯进行跟踪与识别,分析板坯是否存在缺陷,判断缺陷的分类;
(4)主机4判断当前次板坯存在缺陷图像属于异常目标(板坯存在缺陷)时,***将板坯与缺陷进行建模,显示在***界面中,等待下一次板坯生成时加以利用。
基于本发明中前述介绍的监测***,主机4主要用于***界面显示部分,通过将由传感器及探头得到的环境信息及包含不同类别特定状态特征视频的数据进行分析处理,使缺陷识别模型能够自主识别并标记出指定目标或状态。缺陷识别模型在缺陷识别准确率高达99%以上。且***提示的缺陷生成概率有效提高了板坯产量及降低原料损耗。
以判断恶劣环境中板坯是否存在缺陷为例,在板坯传送过程中将来自板坯监测模块实时传回的板坯生产视频SPV作为输入信息,嵌入缺陷识别模型中的头部部分的视频跟踪识别子***MIS通过生成不同大小的识别框对像素值函数快速变化的区域计算出缺陷置信度,就可以自动标记板坯缺陷位置等。
现实情况中,缺少一种全面的板坯生产流程监测***,既可以检测缺陷,又可以对产量等进行管理又可以结合客观因素对缺陷进行预测。不同冶炼厂的冶炼环境、灯光、空气质量都不相同,所以常规检测算法不够稳定,不足以满足不同冶炼厂的检测的高精度要求。此外还缺乏对板坯的生产管理与数据分析,无法对生产进行全面掌控。由于本发明提出的***能够很好地适用于板坯生成的恶劣环境,对于板坯缺陷识别、质量评估、缺陷预测和改善板坯质量具有重要意义;不但可以改善由人工识别缺陷带来的失误,还可以解决人工难以对生产环境全面掌握的问题。此外,此项技术不但可以根据缺陷分类出相关类型再对板坯生产流程进行优化,还可以通过缺陷类型对工厂内相关设备及环境进行诊断。因此,该技术对于实现智慧工厂也有重大意义,
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (10)

1.一种基于数字孪生的板坯生产过程监测***,其特征在于,包括数据获取模块、缺陷识别模块和生产管理模块;
所述数据获取模块用于获取生产过程中待检测板坯的板坯图像以及板坯生产环境参数,所述板坯生产环境参数包括温度、湿度和光照;
所述缺陷识别模块中内置预先经过训练的缺陷识别神经网络,用于以所述数据获取模块获取到的板坯图像作为输入,得到待检测板坯上的缺陷检测结果;所述的缺陷检测结果包括缺陷类别及缺陷位置;
所述生产管理模块中内置缺陷概率预测模型;所述缺陷概率预测模型用于以所述数据获取模块获取到的板坯生产环境参数作为输入,预测得到板坯在当前生产环境中出现缺陷的概率。
2.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述数据获取模块与外部的实时监测模块连接构成数据通信,所述实时监测模块包含扫描拍摄设备和传感检测装置,所述扫描拍摄设备用于拍摄生产过程中的板坯图像,所述传感检测装置包括用于检测生产环境温度的温度传感器、用于检测生产环境湿度的湿度传感器以及用于检测生产环境光照强度的光照传感器。
3.如权利要求2所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述数据获取模块中还包括用于检测板坯重量的重量传感器,所述生产管理模块中还内置有产量管理子模块,所述产量管理子模块用于根据生产过程中重量传感器检测到的板坯重量,实现板坯产量的数据管理。
4.如权利要求3所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述重量传感器实时采集板坯的重量数据,通过以太网传输到数据采集***,用于实时监测和分析板坯的质量和重量分布。
5.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述缺陷识别神经网络由三个CBS模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块、一个MP1模块、一个ELAN模块顺次级联形成主干网络;其中主干网络的后三个ELAN模块依次输出第一特征、第二特征、第三特征至头部模块;
所述头部模块中,第三特征经过SPPCSPC模块后输出第四特征,第四特征通过CBS模块输出第五特征,第二特征通过CBS模块输出第六特征,将第五特征上采样后再与第六特征相加并通过ELAN-C模块输出第七特征,第七特征通过两个不同的CBS模块分别输出第八特征和第九特征,第一特征通过CBS模块输出第十特征,将第八特征上采样后再与第十特征相加并依次通过ELAN-C模块和AU模块输出第十一特征,第十一特征通过MP2模块输出第十二特征,第九特征和第十二特征相加后依次通过ELAN-C模块和AU模块输出第十三特征,第十三特征通过MP2模块输出第十四特征,第四特征和第十四特征相加后依次通过ELAN-C模块和AU模块输出第十五特征,第十一特征、第十三特征、第十五特征通过三个不同的REPVgg模块分别输出板坯上的缺陷分类信息、板坯上缺陷之外的背景信息、缺陷边界信息。
6.如权利要求5所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述CBS模块由卷积、批归一化和激活函数组合而成;
所述ELAN模块中,ELAN模块输入分两路处理,一路经过单个CBS模块,另一路依次经过五个CBS模块,两路的最终输出相加后再通过CBS模块得到ELAN模块输出;
所述MP1和MP2模块中,MP1或MP2模块输入分两路处理,一路依次经过最大池化层和CBS模块,另一路依次经过两个CBS模块,两路的最终输出相加后得到MP1或MP2模块输出;
所述ELAN-C模块中,ELAN-C模块输入分两路处理,一路经过单个CBS模块得到第一输出,另一路依次经过五个CBS模块并分别由五个CBS模块得到第二输出,第一输出和五个第二输出相加后再通过CBS模块得到ELAN-C模块的最终输出;
所述SPPCSPC模块中,SPPCSPC模块输入分两路处理,一路依次经过三个CBS模块得到第一输出,第一输出分别经过第一最大池化层、平均池化层、第二最大池化层得到第二输出、第三输出和第四输出,另一路经过单个CBS模块得到第五输出,第二输出、第三输出、第四输出和第五输出相加后再依次经过两个CBS模块得到第六输出,第五输出和第六输出相加后再通过CBS模块得到SPPCSPC模块输出;
所述AU模块中,AU模块输入分两路处理,一路分别经过沿图像高度方向的最大池化操作和沿图像高度方向的平均池化操作后拼接并经过1×1卷积得到第一输出,另一路分别经过沿图像宽度方向的最大池化操作和沿图像宽度方向的平均池化操作后拼接并经过1×1卷积得到第二输出,第一输出和第二输出拼接后依次经过1×1卷积、Relu激活函数、1×1卷积得到第三输出,AU模块输入和第三输出相加后作为AU模块输出;
所述REPVgg模块在训练阶段和推理阶段采用不同结构;训练阶段的REPVgg模块中,REPVgg模块输入分别经过1×1卷积和3×3卷积后将两个卷积结果相加,再通过Relu激活函数得到第一输出,第一输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第一输出本身相加,再通过Relu激活函数得到第二输出,第二输出分别经过1×1卷积和3×3卷积后将两个卷积结果以及第二输出本身相加,再通过Relu激活函数得到REPVgg模块输出;推理阶段的REPVgg模块中,REPVgg模块输入分别经过3组带有Relu激活函数的3×3卷积后得到REPVgg模块输出。
7.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述缺陷概率预测模型采用预先拟合的回归模型,模型形式为:
式中:P(D=1)是板坯存在缺陷的概率,β0123是回归模型的系数,T、H、L分别代表板坯生产环境参数中的温度、湿度、光照。
8.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述缺陷识别神经网络通过带有标注的样本图像数据集进行训练,且样本图像数据集需通过几何变换进行数据增强。
9.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述数据获取模块、缺陷识别模块和生产管理模块中产生的参数和信息,均通过显示界面进行显示,所述显示界面为本地***的GUI界面或者为与本地***构成数据通信的外部显示终端。
10.如权利要求1所述的基于数字孪生的板坯生产过程监测***,其特征在于,所述显示界面上显示的信息包括板坯模型、分级标记的缺陷严重程度、板坯重量、温度、湿度、光照、板坯生成工作时长、板坯日产量、当前生产环境中出现缺陷的概率及调整建议。
CN202311775234.9A 2023-12-21 2023-12-21 基于数字孪生的板坯生产过程监测*** Pending CN118195367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311775234.9A CN118195367A (zh) 2023-12-21 2023-12-21 基于数字孪生的板坯生产过程监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311775234.9A CN118195367A (zh) 2023-12-21 2023-12-21 基于数字孪生的板坯生产过程监测***

Publications (1)

Publication Number Publication Date
CN118195367A true CN118195367A (zh) 2024-06-14

Family

ID=91391884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311775234.9A Pending CN118195367A (zh) 2023-12-21 2023-12-21 基于数字孪生的板坯生产过程监测***

Country Status (1)

Country Link
CN (1) CN118195367A (zh)

Similar Documents

Publication Publication Date Title
KR102021944B1 (ko) 제철소 철강제품 품질관리를 위한 지능형 결함 제어 방법 및 시스템
CN110598736A (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
Miao et al. Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN107610119B (zh) 基于直方图分解的带钢表面缺陷精准检测方法
CN116465315B (zh) 一种网版质量自动化检测方法及***
CN111896549A (zh) 一种基于机器学习的建筑物裂缝监测***和方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115171022A (zh) 一种施工场景下的安全帽佩戴检测方法及***
CN117054446A (zh) 光伏电池片网版综合检测装置
CN116739991A (zh) 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN109934096B (zh) 基于特征时序相关性的自动驾驶视觉感知优化方法
CN117237369B (zh) 一种基于计算机视觉的高炉铁口开口深度测量方法
CN117269193B (zh) 合成革表观质量智能化检测方法
CN117152102B (zh) 一种焦炉废气砣杆工作状态的检测方法和***
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN118195367A (zh) 基于数字孪生的板坯生产过程监测***
CN116106319A (zh) 一种合成革瑕疵自动化检测方法及***
CN115494074A (zh) 用于连铸板坯表面缺陷的在线检测方法
CN113269749B (zh) 带材位置图像数据集采集方法及其视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination