CN111784670A - 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 - Google Patents

基于计算机视觉的热轧钢板表面缺陷识别方法及装置 Download PDF

Info

Publication number
CN111784670A
CN111784670A CN202010620520.8A CN202010620520A CN111784670A CN 111784670 A CN111784670 A CN 111784670A CN 202010620520 A CN202010620520 A CN 202010620520A CN 111784670 A CN111784670 A CN 111784670A
Authority
CN
China
Prior art keywords
classification result
image
fine screening
picture
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010620520.8A
Other languages
English (en)
Other versions
CN111784670B (zh
Inventor
张玉琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010620520.8A priority Critical patent/CN111784670B/zh
Publication of CN111784670A publication Critical patent/CN111784670A/zh
Application granted granted Critical
Publication of CN111784670B publication Critical patent/CN111784670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于计算机视觉的热轧钢板表面缺陷识别方法、装置、计算机设备及存储介质，涉及人工智能的图像检测和工业互联网，先对热轧钢板表面的当前帧图片进行采集和合成批后得到合成批图像集，合成批图像集先输入至卷积神经网络判断其是否有合成批图像存在缺陷，若有有合成批图像存在缺陷将合成批图像集输入至多尺度目标检测模型判断其是否存在精筛分类结果为有缺陷分类结果。该方法实现了对热轧钢板表面图片表面缺陷的自动化识别，同时结合卷积神经网络和多尺度目标检测模型，既能确保识别过程的快速性，而且了确保识别结果的准确性。

Description

基于计算机视觉的热轧钢板表面缺陷识别方法及装置
技术领域
本发明涉及人工智能的图像检测技术领域，尤其涉及一种基于计算机视觉的热轧钢板表面缺陷识别方法、装置、计算机设备及存储介质。
背景技术
热轧钢板以连铸板坯或初轧板坯为原料，经步进式加热炉加热，除鳞，经过粗轧机、精轧机、层流冷却、卷取机卷取，最后切头切尾、矫直、平整、切板或重卷后的产品。热轧钢板由于成型温度较高，成型所需力比冷轧成型要小，但成型后板材缺陷较多。板材缺陷的多少直接影响到产品的质量，故在实际生产线上对钢板质量做实时监测至关重要。
目前大部分钢厂仍然采用人工肉眼识别热轧钢板表面缺陷的方法，这就对质检人员的专业技术要求较高，这就导致了识别热轧钢板表面缺陷的人工成本高，而且识别效率低下。
发明内容
本发明实施例提供了一种基于计算机视觉的热轧钢板表面缺陷识别方法、装置、计算机设备及存储介质，旨在解决现有技术中钢厂的生产线上采用人工肉眼识别热轧钢板表面缺陷，导致了识别热轧钢板表面缺陷的人工成本高，而且识别效率低下的问题。
第一方面，本发明实施例提供了一种基于计算机视觉的热轧钢板表面缺陷识别方法，其包括：
接收图像采集终端所上传热轧钢板表面的当前帧图片；
将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集；
调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等；
判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果；
若所述图像分类结果集中存在图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果；
若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集；
获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型；以及
将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
第二方面，本发明实施例提供了一种基于计算机视觉的热轧钢板表面缺陷识别装置，其包括：
当前帧图片接收单元，用于接收图像采集终端所上传热轧钢板表面的当前帧图片；
图片裁剪合成单元，用于将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集；
快速识别单元，用于调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等；
分类结果判断单元，用于判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果；
精筛单元，用于若所述图像分类结果集中存在图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果；
精筛目标图像集获取单元，用于若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集；
缺陷类型获取单元，用于获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型；以及
精筛结果发送单元，用于将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于计算机视觉的热轧钢板表面缺陷识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于计算机视觉的热轧钢板表面缺陷识别方法。
本发明实施例提供了一种基于计算机视觉的热轧钢板表面缺陷识别方法、装置、计算机设备及存储介质，考虑到了实际生产过程中缺陷种类多，缺陷尺寸跨度大，生产线高速移动的特点，提出了结合计算机视觉的热轧钢板实时表面缺陷检测和识别方案，能完成快速移动的生产线上的钢板缺陷自动检测识别告警，同时结合卷积神经网络和多尺度目标检测模型，既能确保识别过程的快速性，而且了确保识别结果的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别方法的应用场景示意图；
图2为本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别方法的流程示意图；
图3为本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别方法的应用场景示意图；图2为本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别方法的流程示意图，该基于计算机视觉的热轧钢板表面缺陷识别方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S180。
S110、接收图像采集终端所上传热轧钢板表面的当前帧图片。
在本实施例中，涉及到工业互联网领域，其具体应用场景是对钢厂的工业生产线上的热轧钢板进行表面缺陷检测。本申请中所涉及到的终端有服务器和图像采集终端(具体实施时，图像采集终端采用若干个分辨率为4K的4K相机，或是若干个分辨率为4K的4K摄像头)，其中图像采集终端用于采集生产线上的热轧钢板的表面图片，服务器调用预先训练的卷积神经网络和多尺度目标检测模型，以识别表面图片中各子区域是否存在缺陷，从而实现对热轧钢板实时表面缺陷检测和识别。
其中，以热轧钢板的宽度为参考，若热轧钢板的宽度为0.6m，在工业生产线的正上方水平放置一个4K相机即可，4K相机的靶面与热轧钢板的钢板平面平行，依据相机焦距调整相机高度，使4K相机的画面上成像长度与热轧钢板的宽度相等；若热轧钢板的宽度为3.6m，则需在生产线的正上方宽度方向上等距并列6个4K摄像头。考虑到热轧钢板的移动速度为5m/s，若4K相机的帧率固定设置为20帧，则钢板每平均移动0.25m即可拍到一张快照。对于4K相机而言，画面图片大小为4096x2160，每个像素的大小对应到现实世界的钢板大小0.6m/4096≈0.15mm，即10mmx10mm的缺陷对应的像素数为4660个像素，即使1mmx1mm的缺陷也可以有46个像素，可以满足识别的最低需求。
在一实施例中，步骤S110之前还包括：
接收图像采集终端上传的当前设备唯一编码；
调用预先存储的设备白名单；
若所述设备白名单中存在当前设备唯一编码，与图像采集终端建立通讯连接。
在本实施例中，由于工业生产线上可以部署有大量的图像采集终端，可以获取各生产线上的当前帧图片，此时服务器为了清楚的获知是哪一台图像采集终端上传的当前帧图片，此时需要对其设备信息进行验证，具体过程如下：先接收图像采集终端上传的当前设备唯一编码；然后调用预先存储的设备白名单；最后若所述设备白名单中存在当前设备唯一编码，与图像采集终端建立通讯连接以接收图像采集终端上传的当前帧图片。
通过上述设备身份验证过程，确保了是已在服务器注册的合法图像采集终端所上传的数据，此时可以放行其上传的数据。
S120、将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集。
在本实施例中，为了提高图像识别速度和准确度，可以将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集。通过这一处理方式，将一帧当前帧图片划分成多张图片后进行合成批，以进行分区域快速识别图片中是否存在缺陷区域。
在一实施例中，步骤S120包括：
调用预设的图片裁剪像素尺寸，根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片；
将所述多张裁剪图片分别增加时间戳，对应得到多张加时间戳图片；
将所述多张加时间戳图片进行合成批处理，得到对应的合成批图像集。
在本实施例中，当通过图像采集装置采集获取了生产线上某一待检测热轧钢板的当前帧图片并上传至服务器后，服务器先是根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片。
在一实施例中，所述调用预设的图片裁剪像素尺寸，根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片的步骤，包括：
获取所述当前帧图片的实际像素尺寸；
将所述实际像素尺寸除以所述图片裁剪像素尺寸，以获取目标裁剪图片张数；
根据所述目标裁剪图片张数及所述图片裁剪像素尺寸，将所述当前帧图片裁剪为对应张数的裁剪图片。
在本实施例中，例如在4K相机采集到1帧图片后，将4096x2160的图片裁剪为128张300x300的图片，并打上时间戳。图片长度方向每隔256个像素截取一张图，图片高度方向每隔270个像素截取一张图，图片大小为300x300，故得到4096/256×2160/270＝16×8＝128张300x300的图片。
由于在当前帧图片的图片长度方向每隔256个像素、图片高度方向每隔270个像素截取一张图，将所截取这张图中256x270的像素点组成的子区域记为初始子区域，而最终这张图是300x300的大小，将这300x300的像素点组成的子区域记为最终子区域，若将最终子区域视为全集区域且将初始子区域视为子集区域，则在子集区域的补集区域中填充多个0(其中，子集区域与补集区域合并得到全集区域)，从而达到300x300的大小。
对以GPU为计算设备的深度学习网络，将多张图像合成批(batch)(图像合成批处理通俗理解就是一次性将多张图片批量处理，批处理文件具有.bat的后缀名，并不是将多张图片合成一张图片，而是同一时刻批量处理图片)一起处理比单张图像依次处理速度会快很多，所以这里选择将128张裁剪图片合成批(batch)，而且每一张裁剪图片均对应增加了时间戳。
在一实施例中，所述将所述多张裁剪图片分别增加时间戳，对应得到多张加时间戳图片的步骤，包括：
获取所述当前帧图片对应的时间戳，将所述时间戳增加至所述多张裁剪图片，对应得到多张加时间戳图片。
其中，在每一张裁剪图片中对应增加时间戳时，由于这些裁剪图片均是从同一当前帧图片裁剪而得到，故可以在这些裁剪图片的左下角均自动增加与所述当前帧图片相同的时间戳(时间戳可以理解为增加在图片右下角的采集日期和采集时间)。
S130、调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等。
在本实施例中，服务器可以从区块链网络上获取卷积神经网络的相关模型参数，从而得到服务器本地的预先训练的卷积神经网络，该卷积神经网络用于识别热轧钢板的表面是否存在缺陷的卷积神经网络，该卷积神经网络实现了对热轧钢板表面是否存在缺陷的快速初筛。
由于合成批图像集中每一裁剪图片均对应一个像素矩阵(例如，一个合成批图像集中包括128张裁剪图片，由于每一张裁剪图片对应一个[300x300]的大小，也即每一个裁剪图片对应一个300x300的像素矩阵)，这些像素矩阵串接形成的集合(按照纵向串接形成一个38400x300的像素矩阵)，即可作为所述卷积神经网络的输入进行计算，得到与所述合成批图像集对应的图像分类结果集。该图像分类结果集中的结果为“有缺陷”或者“无缺陷”。
在一实施例中，步骤S130之前还包括：
接收从区块链网络获取的卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络；其中，所述卷积神经网络是EfficientNet-b0网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将卷积神经网络对应的第一模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络。具体实施时，所述卷积神经网络是EfficientNet-b0网络。
其中，基于所述第一模型参数集得到对应的摘要信息，具体来说，摘要信息由第一模型参数集进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述第一模型参数集是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
其中，本申请中所述卷积神经网络具体来说采取目前效果比较好的EfficientNet网络(更具体是EfficientNet-b0网络，EfficientNet网络是谷歌公司推出的一个卷积神经网络模型)。经测试，EfficientNet-b0网络在GeForceRTX2080Ti的GPU上的推断时间为小于10ms。故对所述合成批图像集进行有无缺陷的判断能保证实时性。当128张截取的小图中的任意一张分类结果为“有缺陷”时，将目前的4096x2160的图片和时间戳一起保存下来，并且发出“有缺陷”的初步预警。
S140、判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果。
在本实施例中，当将所述合成批图像集对应的像素矩阵输入至EfficientNet-b0网络时，快速得到了图像分类结果集，此时需判断图像分类结果集中是否存在图像分类结果为缺陷分类结果，以确定后续步骤中是进一步通过精细识别模型来进一步确认所述图像分类结果集中是否存在图像分类结果为缺陷分类结果。
S150、若所述图像分类结果集中存在图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果。
在本实施例中，针对步骤S130中预警的“有缺陷”的图片，将合成批图像集通过有多尺度检测功能的图像检测网络，具体可采用SNIPER网络的训练方式，采用AUTOFOCUS(也即自动聚焦)的方式来进行推断。这里采用的具有多尺度检测功能的检测网络推断时间较长，但由于只需检测步骤S130初筛后的怀疑有缺陷的图片，故推断时间仍然可以满足实际需求。这里采用的多尺度检测模型精确度高，故能完成准确精筛的目的。其中，SNIPER网络是一种多尺度(multi-scale)训练算法，其综合了RCNN(全称是Region-CNN，是一个将深度学习应用到目标检测上的算法)在规模处理上的优点和FasterRCNN在速度上的优点。
在一实施例中，步骤S150之前还包括：
接收从区块链网络获取的多尺度目标检测模型对应的第二模型参数集，以在本地生成多尺度目标检测模；其中，所述多尺度目标检测模型是SNIPER网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将多尺度目标检测模型对应的第二模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该多尺度目标检测模型对应的第二模型参数集，以在本地生成多尺度目标检测模。具体实施时，所述多尺度目标检测模是SNIPER网络。
S160、若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集。
在本实施例中，当所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，表示该热轧钢板的某一区域存在缺陷，此时获取存在缺陷对应的精筛目标图像，以组成精筛目标图像集。由于每一精筛目标图像对应包括了时间戳等信息，此时可以结合时间戳和筛目标图像组成精筛目标图片集。
S170、获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型。
在本实施例中，热轧钢板表面的不规则表面夹杂的缺陷尺度是100mm；带状表面夹杂缺陷尺度100mm；气泡的缺陷尺度是50mm；结疤(重皮)的缺陷尺度是50mm；分层的缺陷尺度是10mm；翘皮的缺陷尺度是50mm；飞翅的缺陷尺度是10mm；边裂的缺陷尺度是10mm；边部过烧的缺陷尺度是5mm；边部裂纹的缺陷尺度是5mm；气孔的缺陷尺度是<1mm；氧化铁皮压入的缺陷尺度是5mm；粉状氧化铁皮压入的缺陷尺度是20mm；红锈的缺陷尺度是100mm；麻点的缺陷尺度是100mm；辊印的缺陷尺度是10mm；压痕的缺陷尺度是20mm；纵裂的缺陷尺度是20mm；横裂的缺陷尺度是40mm；龟裂的缺陷尺度是50mm；M形缺陷的缺陷尺度是50mm；穿裂的缺陷尺度是10mm；折叠的缺陷尺度是50mm；划痕、擦刮伤的缺陷尺度是>100mm。
其中，精筛目标图像集中每一张精筛图片的缺陷区域是可以精准定位的，此时获取每一张精筛图片的缺陷区域对应的像素点区域即可推算出缺陷区域尺寸。例如，上述举例图片中10mmx10mm的缺陷对应的像素数为4660个像素，即使1mmx1mm的缺陷也可以有46个像素。
在已知了各种缺陷类型对应的尺寸，而且已知所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸时，可以得到各精筛目标图像对应的缺陷类型。由于不同类型的缺陷尺度可能对应同一缺陷尺寸，例如气泡和结疤(重皮)的缺陷尺度都是50mm，此时当某一精筛目标图像中的缺陷区域尺寸为50mm时，此时该精筛目标图像对应的缺陷类型是气泡或者结疤(重皮)。
S180、将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
在本实施例中，当获取了该当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型后，即可将检测到的缺陷种类和缺陷位置与时间戳一起展现到监控终端的准确精筛页面，并保存到监控终端本地，以便之后溯源。
在一实施例中，步骤S140之后还包括：
若所述图像分类结果集中不存在图像分类结果为有缺陷分类结果，将获取热轧钢板表面下一帧图片的通知信息发送至图像采集终端。
在本实施例中，若所述图像分类结果集中不存在图像分类结果为有缺陷分类结果，表示服务器接收图像采集终端所上传热轧钢板表面的当前帧图片是无缺陷存在的，可以继续接收热轧钢板表面下一帧图片继续进行识别。此时，将获取热轧钢板表面下一帧图片的通知信息发送至图像采集终端即可。
该方法实现了对当前帧图片表面缺陷的自动化识别，同时结合卷积神经网络和多尺度目标检测模型，既能确保识别过程的快速性，而且了确保识别结果的准确性。
本发明实施例还提供一种基于计算机视觉的热轧钢板表面缺陷识别装置，该基于计算机视觉的热轧钢板表面缺陷识别装置用于执行前述基于计算机视觉的热轧钢板表面缺陷识别方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于计算机视觉的热轧钢板表面缺陷识别装置的示意性框图。该基于计算机视觉的热轧钢板表面缺陷识别装置100可以配置于服务器中。
如图3所示，基于计算机视觉的热轧钢板表面缺陷识别装置100包括：当前帧图片接收单元110、图片裁剪合成单元120、快速识别单元130、分类结果判断单元140、精筛单元150、精筛目标图像集获取单元160、缺陷类型获取单元170、精筛结果发送单元180。
当前帧图片接收单元110，用于接收图像采集终端所上传热轧钢板表面的当前帧图片。
在本实施例中，涉及到工业互联网领域，其具体应用场景是对钢厂的工业生产线上的热轧钢板进行表面缺陷检测。本申请中所涉及到的终端有服务器和图像采集终端(具体实施时，图像采集终端采用若干个分辨率为4K的4K相机，或是若干个分辨率为4K的4K摄像头)，其中图像采集终端用于采集生产线上的热轧钢板的表面图片，服务器调用预先训练的卷积神经网络和多尺度目标检测模型，以识别表面图片中各子区域是否存在缺陷，从而实现对热轧钢板实时表面缺陷检测和识别。
其中，以热轧钢板的宽度为参考，若热轧钢板的宽度为0.6m，在工业生产线的正上方水平放置一个4K相机即可，4K相机的靶面与热轧钢板的钢板平面平行，依据相机焦距调整相机高度，使4K相机的画面上成像长度与热轧钢板的宽度相等；若热轧钢板的宽度为3.6m，则需在生产线的正上方宽度方向上等距并列6个4K摄像头。考虑到热轧钢板的移动速度为5m/s，若4K相机的帧率固定设置为20帧，则钢板每平均移动0.25m即可拍到一张快照。对于4K相机而言，画面图片大小为4096x2160，每个像素的大小对应到现实世界的钢板大小0.6m/4096≈0.15mm，即10mmx10mm的缺陷对应的像素数为4660个像素，即使1mmx1mm的缺陷也可以有46个像素，可以满足识别的最低需求。
在一实施例中，基于计算机视觉的热轧钢板表面缺陷识别装置100还包括：
设备唯一编码接收单元，用于接收图像采集终端上传的当前设备唯一编码；
设备白名单获取单元，用于调用预先存储的设备白名单；
连接建立单元，用于若所述设备白名单中存在当前设备唯一编码，与图像采集终端建立通讯连接。
在本实施例中，由于工业生产线上可以部署有大量的图像采集终端，可以获取各生产线上的当前帧图片，此时服务器为了清楚的获知是哪一台图像采集终端上传的当前帧图片，此时需要对其设备信息进行验证，具体过程如下：先接收图像采集终端上传的当前设备唯一编码；然后调用预先存储的设备白名单；最后若所述设备白名单中存在当前设备唯一编码，与图像采集终端建立通讯连接以接收图像采集终端上传的当前帧图片。
通过上述设备身份验证过程，确保了是已在服务器注册的合法图像采集终端所上传的数据，此时可以放行其上传的数据。
图片裁剪合成单元120，用于将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集。
在本实施例中，为了提高图像识别速度和准确度，可以将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集。通过这一处理方式，将一帧当前帧图片划分成多张图片后进行合成批，以进行分区域快速识别图片中是否存在缺陷区域。
在一实施例中，图片裁剪合成单元120包括：
图片裁剪单元，用于调用预设的图片裁剪像素尺寸，根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片；
时间戳增加单元，用于将所述多张裁剪图片分别增加时间戳，对应得到多张加时间戳图片；
图片合成单元，用于将所述多张加时间戳图片进行合成批处理，得到对应的合成批图像集。
在本实施例中，当通过图像采集装置采集获取了生产线上某一待检测热轧钢板的当前帧图片并上传至服务器后，服务器先是根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片。
在一实施例中，所述图片裁剪单元，包括：
实际尺寸获取单元，用于获取所述当前帧图片的实际像素尺寸；
张数运算单元，用于将所述实际像素尺寸除以所述图片裁剪像素尺寸，以获取目标裁剪图片张数；
裁剪单元，用于根据所述目标裁剪图片张数及所述图片裁剪像素尺寸，将所述当前帧图片裁剪为对应张数的裁剪图片。
在本实施例中，例如在4K相机采集到1帧图片后，将4096x2160的图片裁剪为128张300x300的图片，并打上时间戳。图片长度方向每隔256个像素截取一张图，图片高度方向每隔270个像素截取一张图，图片大小为300x300，故得到4096/256×2160/270＝16×8＝128张300x300的图片。
由于在当前帧图片的图片长度方向每隔256个像素、图片高度方向每隔270个像素截取一张图，将所截取这张图中256x270的像素点组成的子区域记为初始子区域，而最终这张图是300x300的大小，将这300x300的像素点组成的子区域记为最终子区域，若将最终子区域视为全集区域且将初始子区域视为子集区域，则在子集区域的补集区域中填充多个0(其中，子集区域与补集区域合并得到全集区域)，从而达到300x300的大小。
对以GPU为计算设备的深度学习网络，将多张图像合成批(batch)(图像合成批处理通俗理解就是一次性将多张图片批量处理，批处理文件具有.bat的后缀名，并不是将多张图片合成一张图片，而是同一时刻批量处理图片)一起处理比单张图像依次处理速度会快很多，所以这里选择将128张裁剪图片合成批(batch)，而且每一张裁剪图片均对应增加了时间戳。
在一实施例中，所述时间戳增加单元还用于：
获取所述当前帧图片对应的时间戳，将所述时间戳增加至所述多张裁剪图片，对应得到多张加时间戳图片。
其中，在每一张裁剪图片中对应增加时间戳时，由于这些裁剪图片均是从同一当前帧图片裁剪而得到，故可以在这些裁剪图片的左下角均自动增加与所述当前帧图片相同的时间戳(时间戳可以理解为增加在图片右下角的采集日期和采集时间)。
快速识别单元130，用于调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等。
在本实施例中，服务器可以从区块链网络上获取卷积神经网络的相关模型参数，从而得到服务器本地的预先训练的卷积神经网络，该卷积神经网络用于识别热轧钢板的表面是否存在缺陷的卷积神经网络，该卷积神经网络实现了对热轧钢板表面是否存在缺陷的快速初筛。
由于合成批图像集中每一裁剪图片均对应一个像素矩阵(例如，一个合成批图像集中包括128张裁剪图片，由于每一张裁剪图片对应一个[300x300]的大小，也即每一个裁剪图片对应一个300x300的像素矩阵)，这些像素矩阵串接形成的集合(按照纵向串接形成一个38400x300的像素矩阵)，即可作为所述卷积神经网络的输入进行计算，得到与所述合成批图像集对应的图像分类结果集。该图像分类结果集中的结果为“有缺陷”或者“无缺陷”。
在一实施例中，基于计算机视觉的热轧钢板表面缺陷识别装置100还包括：
第一调用单元，用于接收从区块链网络获取的卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络；其中，所述卷积神经网络是EfficientNet-b0网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将卷积神经网络对应的第一模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络。具体实施时，所述卷积神经网络是EfficientNet-b0网络。
其中，基于所述第一模型参数集得到对应的摘要信息，具体来说，摘要信息由第一模型参数集进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述第一模型参数集是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
其中，本申请中所述卷积神经网络具体来说采取目前效果比较好的EfficientNet网络(更具体是EfficientNet-b0网络，EfficientNet网络是谷歌公司推出的一个卷积神经网络模型)。经测试，EfficientNet-b0网络在GeForceRTX2080Ti的GPU上的推断时间为小于10ms。故对所述合成批图像集进行有无缺陷的判断能保证实时性。当128张截取的小图中的任意一张分类结果为“有缺陷”时，将目前的4096x2160的图片和时间戳一起保存下来，并且发出“有缺陷”的初步预警。
分类结果判断单元140，用于判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果。
在本实施例中，当将所述合成批图像集对应的像素矩阵输入至EfficientNet-b0网络时，快速得到了图像分类结果集，此时需判断图像分类结果集中是否存在图像分类结果为缺陷分类结果，以确定后续过程中是进一步通过精细识别模型来进一步确认所述图像分类结果集中是否存在图像分类结果为缺陷分类结果。
精筛单元150，用于若所述图像分类结果集中存在所述图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果。
在本实施例中，针对精筛单元150中预警的“有缺陷”的图片，将合成批图像集通过有多尺度检测功能的图像检测网络，具体可采用SNIPER网络的训练方式，采用AUTOFOCUS(也即自动聚焦)的方式来进行推断。这里采用的具有多尺度检测功能的检测网络推断时间较长，但由于只需检测经快速识别单元130初筛后的怀疑有缺陷的图片，故推断时间仍然可以满足实际需求。这里采用的多尺度检测模型精确度高，故能完成准确精筛的目的。其中，SNIPER网络是一种多尺度(multi-scale)训练算法，其综合了RCNN(全称是Region-CNN，是一个将深度学习应用到目标检测上的算法)在规模处理上的优点和FasterRCNN在速度上的优点。
在一实施例中，基于计算机视觉的热轧钢板表面缺陷识别装置100之前还包括：
第二调用单元，用于接收从区块链网络获取的多尺度目标检测模型对应的第二模型参数集，以在本地生成多尺度目标检测模；其中，所述多尺度目标检测模型是SNIPER网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将多尺度目标检测模型对应的第二模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该多尺度目标检测模型对应的第二模型参数集，以在本地生成多尺度目标检测模。具体实施时，所述多尺度目标检测模是SNIPER网络。
精筛目标图像集获取单元160，用于若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集。
在本实施例中，当所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，表示该热轧钢板的某一区域存在缺陷，此时获取存在缺陷对应的精筛目标图像，以组成精筛目标图像集。由于每一精筛目标图像对应包括了时间戳等信息，此时可以结合时间戳和筛目标图像组成精筛目标图片集。
缺陷类型获取单元170，用于获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型。
在本实施例中，热轧钢板表面的不规则表面夹杂的缺陷尺度是100mm；带状表面夹杂缺陷尺度100mm；气泡的缺陷尺度是50mm；结疤(重皮)的缺陷尺度是50mm；分层的缺陷尺度是10mm；翘皮的缺陷尺度是50mm；飞翅的缺陷尺度是10mm；边裂的缺陷尺度是10mm；边部过烧的缺陷尺度是5mm；边部裂纹的缺陷尺度是5mm；气孔的缺陷尺度是<1mm；氧化铁皮压入的缺陷尺度是5mm；粉状氧化铁皮压入的缺陷尺度是20mm；红锈的缺陷尺度是100mm；麻点的缺陷尺度是100mm；辊印的缺陷尺度是10mm；压痕的缺陷尺度是20mm；纵裂的缺陷尺度是20mm；横裂的缺陷尺度是40mm；龟裂的缺陷尺度是50mm；M形缺陷的缺陷尺度是50mm；穿裂的缺陷尺度是10mm；折叠的缺陷尺度是50mm；划痕、擦刮伤的缺陷尺度是>100mm。
其中，精筛目标图像集中每一张精筛图片的缺陷区域是可以精准定位的，此时获取每一张精筛图片的缺陷区域对应的像素点区域即可推算出缺陷区域尺寸。例如，上述举例图片中10mmx10mm的缺陷对应的像素数为4660个像素，即使1mmx1mm的缺陷也可以有46个像素。
在已知了各种缺陷类型对应的尺寸，而且已知所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸时，可以得到各精筛目标图像对应的缺陷类型。由于不同类型的缺陷尺度可能对应同一缺陷尺寸，例如气泡和结疤(重皮)的缺陷尺度都是50mm，此时当某一精筛目标图像中的缺陷区域尺寸为50mm时，此时该精筛目标图像对应的缺陷类型是气泡或者结疤(重皮)。
精筛结果发送单元180，用于将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
在本实施例中，当获取了该当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型后，即可将检测到的缺陷种类和缺陷位置与时间戳一起展现到监控终端的准确精筛页面，并保存到监控终端本地，以便之后溯源。
在一实施例中，基于计算机视觉的热轧钢板表面缺陷识别装置100还包括：
提示单元，用于若所述图像分类结果集中不存在图像分类结果为有缺陷分类结果，将获取热轧钢板表面下一帧图片的通知信息发送至图像采集终端。
在本实施例中，若所述图像分类结果集中不存在图像分类结果为有缺陷分类结果，表示服务器接收图像采集终端所上传热轧钢板表面的当前帧图片是无缺陷存在的，可以继续接收热轧钢板表面下一帧图片继续进行识别。此时，将获取热轧钢板表面下一帧图片的通知信息发送至图像采集终端即可。
该装置实现了对当前帧图片表面缺陷的自动化识别，同时结合卷积神经网络和多尺度目标检测模型，既能确保识别过程的快速性，而且了确保识别结果的准确性。
上述基于计算机视觉的热轧钢板表面缺陷识别装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于计算机视觉的热轧钢板表面缺陷识别方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于计算机视觉的热轧钢板表面缺陷识别方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于计算机视觉的热轧钢板表面缺陷识别方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于计算机视觉的热轧钢板表面缺陷识别方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，包括：
接收图像采集终端所上传热轧钢板表面的当前帧图片；
将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集；
调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等；
判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果；
若所述图像分类结果集中存在图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果；
若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集；
获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型；以及
将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
2.根据权利要求1所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，所述将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集，包括：
调用预设的图片裁剪像素尺寸，根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片；
将所述多张裁剪图片分别增加时间戳，对应得到多张加时间戳图片；
将所述多张加时间戳图片进行合成批处理，得到对应的合成批图像集。
3.根据权利要求2所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，所述调用预设的图片裁剪像素尺寸，根据所述图片裁剪像素尺寸将所述当前帧图片裁剪为多张裁剪图片，包括：
获取所述当前帧图片的实际像素尺寸；
将所述实际像素尺寸除以所述图片裁剪像素尺寸，以获取目标裁剪图片张数；
根据所述目标裁剪图片张数及所述图片裁剪像素尺寸，将所述当前帧图片裁剪为对应张数的裁剪图片。
4.根据权利要求2所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，所述将所述多张裁剪图片分别增加时间戳，对应得到多张加时间戳图片，包括：
获取所述当前帧图片对应的时间戳，将所述时间戳增加至所述多张裁剪图片，对应得到多张加时间戳图片。
5.根据权利要求1所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，还包括：
接收图像采集终端上传的当前设备唯一编码；
调用预先存储的设备白名单；
若所述设备白名单中存在当前设备唯一编码，与图像采集终端建立通讯连接。
6.根据权利要求1所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，所述调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集之前，还包括：
接收从区块链网络获取的卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络；其中，所述卷积神经网络是EfficientNet-b0网络；
接收从区块链网络获取的多尺度目标检测模型对应的第二模型参数集，以在本地生成多尺度目标检测模；其中，所述多尺度目标检测模型是SNIPER网络。
7.根据权利要求1所述的基于计算机视觉的热轧钢板表面缺陷识别方法，其特征在于，所述判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果之后，还包括：
若所述图像分类结果集中不存在图像分类结果为有缺陷分类结果，将获取热轧钢板表面下一帧图片的通知信息发送至图像采集终端。
8.一种基于计算机视觉的热轧钢板表面缺陷识别装置，其特征在于，包括：
当前帧图片接收单元，用于接收图像采集终端所上传热轧钢板表面的当前帧图片；
图片裁剪合成单元，用于将所述当前帧图片根据预设的图片裁剪像素尺寸进行裁剪和合成批，得到对应的合成批图像集；
快速识别单元，用于调用预先训练的卷积神经网络，将所述合成批图像集对应的像素矩阵输入至所述卷积神经网络，得到对应的图像分类结果集；其中，所述图像分类结果集中所包括图像分类结果的总个数与所述合成批图像集所包括的裁剪图片的总张数相等；
分类结果判断单元，用于判断所述图像分类结果集中是否存在所述图像分类结果为缺陷分类结果；
精筛单元，用于若所述图像分类结果集中存在图像分类结果为有缺陷分类结果，调用预先训练的多尺度目标检测模型，将所述合成批图像集中各裁剪图片对应的像素矩阵输入至所述多尺度目标检测模型，得到与合成批图像集各裁剪图片对应的精筛分类结果，以组成精筛分类结果集；其中，所述精筛分类结果包括有缺陷分类结果和无缺陷分类结果；
精筛目标图像集获取单元，用于若所述精筛分类结果中存在精筛分类结果为有缺陷分类结果，获取精筛分类结果为有缺陷分类结果对应的精筛目标图像，以组成精筛目标图像集；
缺陷类型获取单元，用于获取所述精筛目标图像集中各精筛目标图像中的缺陷区域尺寸，以得到各精筛目标图像对应的缺陷类型；以及
精筛结果发送单元，用于将所述当前帧图片对应的精筛目标图像集和各精筛目标图像对应的缺陷类型发送至与所述图像采集终端对应的监控终端。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于计算机视觉的热轧钢板表面缺陷识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于计算机视觉的热轧钢板表面缺陷识别方法。
CN202010620520.8A 2020-06-30 2020-06-30 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 Active CN111784670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620520.8A CN111784670B (zh) 2020-06-30 2020-06-30 基于计算机视觉的热轧钢板表面缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010620520.8A CN111784670B (zh) 2020-06-30 2020-06-30 基于计算机视觉的热轧钢板表面缺陷识别方法及装置

Publications (2)

Publication Number Publication Date
CN111784670A true CN111784670A (zh) 2020-10-16
CN111784670B CN111784670B (zh) 2022-05-20

Family

ID=72760172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620520.8A Active CN111784670B (zh) 2020-06-30 2020-06-30 基于计算机视觉的热轧钢板表面缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN111784670B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669267A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 一种电路板缺陷检测方法、装置、电子设备和存储介质
CN113077414A (zh) * 2021-03-01 2021-07-06 湖北工程学院 一种钢板表面缺陷检测方法及***
CN114529507A (zh) * 2021-12-30 2022-05-24 广西慧云信息技术有限公司 一种基于视觉Transformer的刨花板表面缺陷检测方法
CN115151942A (zh) * 2021-01-28 2022-10-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN110349126A (zh) * 2019-06-20 2019-10-18 武汉科技大学 一种基于卷积神经网络带标记的钢板表面缺陷检测方法
CN110619343A (zh) * 2018-06-20 2019-12-27 亚摩信息技术股份有限公司 基于机器学习的自动缺陷分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN110619343A (zh) * 2018-06-20 2019-12-27 亚摩信息技术股份有限公司 基于机器学习的自动缺陷分类方法
CN110349126A (zh) * 2019-06-20 2019-10-18 武汉科技大学 一种基于卷积神经网络带标记的钢板表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIN SU KIM ET AL.: "Classification of Steel Surface Defect Using Convolutional Neural Network with Few Images", 《2019 12TH ASIAN CONTROL CONFERENCE (ASCC)》 *
徐科 等: "基于Tetrolet变换的热轧钢板表面缺陷识别方法", 《机械工程学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669267A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 一种电路板缺陷检测方法、装置、电子设备和存储介质
CN112669267B (zh) * 2020-12-18 2024-07-09 平安科技（深圳）有限公司 一种电路板缺陷检测方法、装置、电子设备和存储介质
CN115151942A (zh) * 2021-01-28 2022-10-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
CN115151942B (zh) * 2021-01-28 2024-02-13 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
CN113077414A (zh) * 2021-03-01 2021-07-06 湖北工程学院 一种钢板表面缺陷检测方法及***
CN114529507A (zh) * 2021-12-30 2022-05-24 广西慧云信息技术有限公司 一种基于视觉Transformer的刨花板表面缺陷检测方法
CN114529507B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种基于视觉Transformer的刨花板表面缺陷检测方法

Also Published As

Publication number Publication date
CN111784670B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111784670B (zh) 基于计算机视觉的热轧钢板表面缺陷识别方法及装置
JP6666046B2 (ja) 画像処理装置および画像処理方法
CN110618134A (zh) 钢板表面质量缺陷检测评级***及方法
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
JP7355943B2 (ja) マシンビジョンによる低倍酸エッチング欠陥自動識別及び格付けの方法並びにシステム
CN110490862B (zh) 一种提高连铸探伤合格率的方法及装置
CN109300127B (zh) 缺陷检测方法、装置、计算机设备及存储介质
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
JP2019045922A (ja) 変状箇所検出装置、変状箇所検出プログラムおよび変状箇所検出方法
CN111768387A (zh) 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN117475205A (zh) 缺陷类型识别方法、识别装置、控制设备及存储介质
CN111178445A (zh) 图像处理方法及装置
JP5849397B2 (ja) 表面欠陥検出装置および表面欠陥検出方法
CN110909731A (zh) 车辆救援场景质检方法、装置、设备及存储介质
CN112073713B (zh) 视频漏录测试方法、装置、设备及存储介质
CN105976001A (zh) 防伪车牌制作用二维码及序列号标识符识别方法
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN116754567A (zh) 铜箔材料的周期性缺陷检测方法、装置及设备
CN114841971A (zh) 金属块凹坑缺陷检测方法、***及装置
JP2022181167A (ja) 鋼板の形状判別方法、形状測定方法、形状制御方法、製造方法、形状判別モデルの生成方法、及び形状判別装置
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
CN115205193A (zh) 一种基于微小缺陷yolo网络的钢板表面缺陷检测方法
CN114723728A (zh) 一种手机摄像头玻璃盖板丝印cd纹缺陷检测方法及***
CN111935480A (zh) 一种用于图像获取装置的检测方法及相关装置
JP7524884B2 (ja) 高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20210202

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen saiante Technology Service Co.,Ltd.

Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000

Applicant before: Ping An International Smart City Technology Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant