CN109255787A - 基于深度学习和图像处理技术的丝锭划痕检测***及方法 - Google Patents

基于深度学习和图像处理技术的丝锭划痕检测***及方法 Download PDF

Info

Publication number
CN109255787A
CN109255787A CN201811197535.7A CN201811197535A CN109255787A CN 109255787 A CN109255787 A CN 109255787A CN 201811197535 A CN201811197535 A CN 201811197535A CN 109255787 A CN109255787 A CN 109255787A
Authority
CN
China
Prior art keywords
detection
scratch
image
silk ingot
ingot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811197535.7A
Other languages
English (en)
Other versions
CN109255787B (zh
Inventor
周奕弘
李树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huizhilian Technology Co ltd
Original Assignee
Hangzhou Huizhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huizhilian Technology Co ltd filed Critical Hangzhou Huizhilian Technology Co ltd
Priority to CN201811197535.7A priority Critical patent/CN109255787B/zh
Publication of CN109255787A publication Critical patent/CN109255787A/zh
Application granted granted Critical
Publication of CN109255787B publication Critical patent/CN109255787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习和图像处理技术的丝锭划痕检测***及方法。解决现有技术中采用人工方式对丝锭缺陷检测存在准确率低、效率低、检测具有滞后性的问题，以及一般自动检测***存在的误检严重、分级精度低的问题。***包括装载丝锭的托盘，传送带，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有图像采集单元，图像采集单元将采集信息发送给处理单元进行划痕目标检测，采用深度学习CNN网络检测提取划痕目标并对划痕目标评估分进行计算，根据多等级划分区间来判定丝锭等级。根据划痕等级分拣单元对丝锭进行分拣。检测准确度更高，采用多级进行等级划分，分级精度高。

Description

基于深度学习和图像处理技术的丝锭划痕检测***及方法
技术领域
本发明涉及一种丝锭缺陷检测技术领域，尤其是涉及一种基于深度学习和图像处理技术的丝锭划痕检测***及方法。
背景技术
成型不良是化纤丝锭缺陷的一种，其产生主要由生产过程中的机械成因或人为成因造成，其中划痕属于成型不良的一种常见形式。其机械成因主要有以下几种：
1.由于卷绕过程机械异常会出现凹槽，顶面底面部分会呈现类同心圆状，而侧面会呈现出勒痕状；
2.由于器械间转移过程中会出现位移偏差，进而造成碰撞，包括丝面间相互碰撞，丝面于器械相互碰撞，其中丝面与器械的碰撞较为严重会产生严重凹槽，甚至长条状深划痕，尤其推筒器与丝面接触较为频繁，推筒器边缘极易与丝面造成挤压，形成压痕。
人为成因在自动化生产线上出现几率较少，部分情形需要人工转移丝饼时，会产生磕碰，此外误操会产生部分人为划痕，包括工具使用不当造成擦碰，手指与丝面接触造成划伤。而无论是机械成因还是人为成因造成的划痕成型，如果出现毛丝断丝的情况，将会严重影响退绕，即使没有出现断丝，严重的划痕在外观显示上也会严重影响美观。这会对下游的生产产生不良的影响，且外观不整也会让下游产商对丝锭质量产生怀疑。进而影响口碑以及销量。而目前大部分化纤丝锭生产厂的生产线均采用人工外观检测方式，其有以下几个缺点：
1.只能在丝筒下机后进行，并且劳动强度大，生产效率低，长时间劳作尤其夜班工作不仅会造成检测质量会下降，更重要的是身体机能也会随之下降，影响身体健康；
2.人工外检的质量统计更是效率低下，而且容易产生统计失误；
3.传统的人工检测方式具有滞后性，无法准确及时地找到缺陷出现的真正原因来排除生产和管理故障。
总之，化纤丝锭生产是一个速度很高、高度自动化的生产过程，传统的人工缺陷检测已经远远不能满足精细生产的需要，而基于深度学习和图像处理技术的化纤丝划痕目标检测***及方法，能够有效保证缺陷的检测精度，并实时生成产品质量统计评估报告，辅助规范生产和管理流程。
目前，尚未有专门针对划痕这种成型缺陷的自动化检测方法，其他相关的缺陷检测相比较容易受到干扰，检测精度不高。虽然当前工业控制***逐步完善，机器人能够替代生产工人完成繁重、复杂的重复性工作，但是对于外观检测却始终无法真正突破。
如申请号为201210049619.2，名称为“丝束外观质量检测***”的专利，其公开了一种丝束外观检测***，该发明检测***关于高精度的检测算法中实用的方法过于传统，没有使用当前检测质量较好的深度学习算法，并且分类不够智能，后续还需要加入人工方式进行分类，其算法以及相关自动化程度都有提升空间。
申请号为CN201510883141.7,名称为“表面检测装置及方法”的专利，公开了一种基于图像处理的外观检测方法，通过吹气单元减少废丝干扰，但是依旧存在一些无法被吹气单元去除的废丝干扰情况，并且该发明只是确保检出，并没有解决后期的分级问题。
发明内容
本发明主要是解决现有技术中采用人工方式对丝锭缺陷检测存在准确率低、效率低、检测具有滞后性的问题，以及一般自动检测***存在的误检严重、分级精度低的问题，提供了一种基于深度学习和图像处理技术的丝锭划痕检测***及方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于深度学习和图像处理技术的丝锭划痕检测***，包括装载丝锭的托盘，丝锭上设置有标签，对托盘进行传输的传送带，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元，图像采集单元将采集信息发送给处理单元进行划痕目标检测；
处理单元，从标签图形中识别标签信息并读取，从丝锭图像中提取目标检测区域，将目标检测区域图像输入训练好的深度学习CNN网络，提取划痕目标检测框图像，赋予划痕目标检测框图像划痕得分，将划痕目标检测框图像输入训练好的深度学习CNN网络，获得最终得分的划痕目标检测框图像，根据最终得分对丝锭划痕目标进行等级划分；
分拣单元，根据丝锭划痕目标等级对丝锭良次品进行分拣。
作为一种优选方案，在所述传动带上设置有固定并旋转丝锭的托盘紧固机构，托盘紧固机构受控连接于处理单元。
本发明通过采集丝锭各个面的图像对丝锭划痕进行检测，根据检测结果对丝锭进行自动分类，相比采用人工的方式节省了大量的人力、物力和财力。采用深度学习技术对丝锭划痕进行检查，检测准确度更高，并采用多级进行等级划分，分级精度高。
图像采集单元包括对丝锭标签图像进行采集的第一摄像单元和对丝锭各面图像进行采集的第二摄像单元，第一摄像单元可以为一个相机，第二摄像单元包括相机组合光源组，相机组包括一个顶部相机、两个侧面相机以及两个底部相机，每个相机内置光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的高精度图像。光源组主要用来对丝锭进行稳定打光，包含一个顶部中心垂直光源，底部左右两个环形光源，三个光源各自由四角型的角度锁紧装置进行固定以防止光源抖动，造成图像成像不稳定。
作为一种优选方案，所述传送带后端分岔形成优良产品输送通道和缺陷产品输送通道，所述分拣单元设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于优良产品输送通道前的第一挡杆和位于缺陷产品输送通道前的第二挡杆，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元。分拣单元能由处理单元控制运行，当丝锭检测后为良品，则控制第一档杆降下，丝锭输送到优良产品输送通道，当丝锭检测后为裂品，则控制第二挡杆降下，丝锭输送到缺陷产品输送通道。
一种基于深度学习和图像处理技术的丝锭划痕检测方法，包括以下步骤，
S1.对待检丝锭进行丝锭标签定位，采集标签图像，对标签图像中标签进行识别并读取信息；
S2.分别对待检丝锭顶部、侧面和底部进行丝锭图像采集；
S3.对丝锭图像进行边缘检测，获取目标检测区域，将目标检测区域作为样本，通过深度学习CNN网络训练对划痕区域进行定位，提取划痕目标检测框；
S4.赋予划痕目标检测框评估分，将具有评估分的划痕目标检测框作为样本，通过深度学习CNN网络训练返回最终检测分；
S5.根据检测分对划痕目标进行等级判定；
S6.分拣单元根据丝锭的等级对丝锭进行分拣。
本发明采用深度学习CNN网络检测提取划痕目标并对划痕目标评估分进行计算，根据多等级划分区间来判定丝锭等级，实现了丝锭的分拣。
作为一种优选方案，步骤S1的具体过程包括：
S11.通过计算设定丝锭每次旋转角度，丝锭旋转一个角度后，由图像采集单元采集标签图像；
S12.对标签图像进行二值化、腐蚀膨胀处理，获取图像连通区域，判断是否存在标签，若不存在继续旋转丝锭，直到判断存在标签；
S13.对标签图像进行边缘提取和直线检测，将标签检测区域进行分割；
S14.通过直线检测结果构造透视变换矩阵对标签区域进行校正；
S15.使用OCR技术对标签区域进行字符识别，读取标签信息。
作为一种优选方案，步骤S3中获取目标检测区域的具体过程包括：
S301.根据丝锭图像的像素均值判断是否存在丝面，设定均值阈值，若像素均值小于均值阈值，判断为没有丝锭，不进行检测，若像素均值大于均值阈值，判断为存在丝锭，进行下一步检测；
S302.将丝锭图像转为灰度图，实用Canny算子对丝锭进行边缘检测；
S303.将处理后图像进行腐蚀膨胀操作，将边缘线相互连通；
S304.获取边缘线内的连通区域，计算连通区域面积，设定面积阈值，将面积小于面积阈值的连通区域边缘线赋值为0，将该连通区域去除；
S305.求取剩下的连通区域的最小包含矩形，将矩形区域作为目标检测区域；
S306.对图像进行预处理，在丝锭图像中截取目标检测区域，对目标检测区域图像做高斯滤波，将滤波后图像做归一化操作，将像素值比例压缩在0-1之间，改变图像通道跑步，将BGR通道排布转化为RGB通道排布。
作为一种优选方案，步骤S3中提取划痕目标检测框的过程包括：
S307.将目标检测区域的图像作为原始训练样本，根据截取目标检测区域左上角坐标，对检测目标位置的坐标进行校正；
S308.结合ResNet-50网络结构，并将其中的传统卷积替换为depthwiseconvolution，采用如下公式构造损失函数：
其中，
其中N表示目标框总个数，l表示检测框，g表示先验框，相应的下标x,y,w,h表示该框的起始点坐标(x,y)以及框的宽度w，高度h，x即为xij，xij表示若第i个检测框和第j个先验框匹配值，若第i个检测框和第j个先验框匹配则为1，否则为0，c即为 为检测框置信度，k＝1表示该框有目标，k＝0表示该框没有目标，Lconf(x,c)构成了置信度损失，用以判定预测框中是否存在目标，Lloc(x,l,g)构成了预测框回归置损失，用以判定预测框所在具***置信息，λ1,λ2为置信度权重以及目标位置权重；
S309.使用上步骤的方式训练深度学习CNN网络，在检测过程中将损失函数去掉，提取网络结构最后一层信息，将输出的层每个网络分别提取(x,y,w,h,c)五维信息，分别表示划痕目标检测框的起始点坐标(x,y)，框的高度w，高度h以及划痕目标检测框的置信度c；
S310.对提取的所有划痕目标检测框按照置信度c进行排序，预设划痕检测阈值，去除置信度c低于划痕检测阈值的划痕目标检测框，使用NMS算法对划痕目标检测框进行检查，设定IOU重叠阈值，将大于IOU重叠阈值的划痕目标检测框去除，将保留的划痕目标检测框作为最终的划痕目标检测框。
作为一种优选方案，步骤S4的具体过程为：
S41.将所得的划痕目标检测框按照检测结果的w、h各拓宽5％，并对新构造的框做越界处理，然后在丝锭图像中进行截取；
S42.将截取的图像进行归一化处理，同时对像素通道进行重排，将BGR通道排布转化为RGB通道排布；
S43.将处理后的划痕目标检测框赋予赋予评估分，分值范围为[0,1]，将划痕目标检测框与评估分共同作为训练样本；
S44.根据ResNet-18网络，缩减其各层channel个数构造用于训练的网络结构，并使用如下损失函数：
其中，p为预测得分，t为标定得分，上标1表示目标为划痕，得分区间在(0.3,1.0]之间，上标0表示目标不是划痕，得分区间在[0,0.3]之间，α0,α1分别为相应目标的权重，这里值分别取为1，2；
S45.检测过程中，去除上述损失函数层，并提取网络最后层的输出结果，后接一个sigmod函数将评估分归一化到0～1之间，作为最终检测分。
作为一种优选方案，步骤S5的具体过程包括：
S51.预先设定丝锭等级区间，
[0，0.6)优等品
[0.6，0.8)良品
[0.8，1]劣等品，
S52.将各划痕目标检测框根据最终检测分所在的区间，判定划痕目标检测框等级；
S53.同一丝锭图像中取最终检测分最高的划痕目标检测框，将该划痕目标检测框作为丝锭的等级；
S54.将获得的划痕目标检测分和丝锭的等级录入到电子标签中。
因此，本发明的优点是：通过采集丝锭各个面的图像对丝锭划痕进行检测，根据检测结果对丝锭进行自动分类，相比采用人工的方式节省了大量的人力、物力和财力。采用深度学习CNN网络检测提取划痕目标并对划痕目标评估分进行计算，根据多等级划分区间来判定丝锭等级，实现了丝锭的分拣。检测准确度更高，采用多级进行等级划分，分级精度高。同时给出详细的检测结果报表，利用统计到的缺陷信息追本溯源，规范生产管理和操作流程。
附图说明
附图1是本发明***的一种结构示意图；
附图2是本发明方法的一种整体流程示意图；
附图3是本发明方法中标签定位和信息读取的一种流程示意图；
附图4是本发明方法中划痕目标检测框获取的一种流程示意图；
附图5是本发明方法中丝锭等级判定的一种流程示意图。
1-传送带 2-托盘 3-暗箱 4-图像采集单元 5-分拣单元 6-第一挡杆 7-第二挡杆 8-优良产品输送通道 9-缺陷产品输送通道。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例一种基于深度学习和图像处理技术的丝锭划痕检测***，如图1所示，包括装载丝锭的托盘2，丝锭上设置有标签，对托盘进行传输的传送带1，在传动带上设置有暗箱3，在暗箱后的传动带上设置有分拣单元5，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元4，图像采集单元将采集信息发送给处理单元进行划痕目标检测。处理单元，从标签图形中识别标签信息并读取，从丝锭图像中提取目标检测区域，将目标检测区域图像输入训练好的深度学习CNN网络，提取划痕目标检测框图像，赋予划痕目标检测框图像划痕得分，将划痕目标检测框图像输入训练好的深度学习CNN网络，获得最终得分的划痕目标检测框图像，根据最终得分对丝锭划痕目标进行等级划分；分拣单元，根据丝锭划痕目标等级对丝锭良次品进行分拣。
其中托盘用于装载丝锭，托盘包括底盘和设置在底盘中心的支撑杆，在支撑杆上设有弹性抓手，丝锭套入在支撑杆上后，弹性抓手将丝锭稳定在支撑杆上，避免丝锭运送过程中的晃动影响丝锭传送和成像质量。
传动带上设置有固定并旋转丝锭的托盘紧固机构，托盘紧固机构受控连接于处理单元。紧固机构包括转动盘，转动盘转动收处理单元控制，转动盘上设有装卸阀门，可以通过装卸阀门将托盘紧固在转动盘上。
暗箱中为图像采集区，图像采集单元4设置在暗箱中，图像采集单元4主要包括对丝锭标签图像进行采集的第一摄像单元和对丝锭各面图像进行采集的第二摄像单元，第一摄像单元可以为一个相机，第二摄像单元包括相机组合光源组，相机组包括一个顶部相机、两个侧面相机以及两个底部相机，每个相机内置光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的高精度图像。光源组主要用来对丝锭进行稳定打光，包含一个顶部中心垂直光源，底部左右两个环形光源，三个光源各自由四角型的角度锁紧装置进行固定以防止光源抖动，造成图像成像不稳定。相机芯片内置能够获取高精度图像的光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的图像。将光源组采用角度锁紧机构安装，防止震动对光源角度产生影响，来对丝锭进行稳定打光，在暗箱的上端和底端的合适位置和方向安装相机。当丝锭到达相机曝光范围内时，丝锭反射的光线通过相机镜头投射到传感器上，当传感器曝光后，光电二极管收到光线的激发释放出电荷，产生电信号，电信号通过相机芯片利用感光元件中的控制信号线路对光电二极管产生的电流进行控制，由电流传输电路输出，相机芯片将一次成像产生的电信号收集起来，统一输出到放大器，经过放大和滤波后的电信号被送到A/D,由A/D将电信号转化为数字信号，并输出到数字信号处理器(DSP)中，DSP将这些图像进行色彩校正，白平衡处理等后期图像处理，编码为DC所支持的特定分辨率和图像格式的图像文件，最后保存图像文件到存储器。
传送带后端分岔形成优良产品输送通道8和缺陷产品输送通道9，分拣单元5设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于优良产品输送通道前的第一挡杆6和位于缺陷产品输送通道前的第二挡杆7，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元。分拣单元能由处理单元控制运行，当丝锭检测后为良品，则控制第一档杆降下，丝锭输送到优良产品输送通道，当丝锭检测后为裂品，则控制第二挡杆降下，丝锭输送到缺陷产品输送通道。
一种基于深度学习和图像处理技术的丝锭划痕检测方法，如图2所示，包括以下步骤：
S1.对待检丝锭进行丝锭标签定位，采集标签图像，对标签图像中标签进行识别并读取信息；
S2.分别对待检丝锭顶部、侧面和底部进行丝锭图像采集；
S3.对丝锭图像进行边缘检测，获取目标检测区域，将目标检测区域作为样本，通过深度学习CNN网络训练对划痕区域进行定位，提取划痕目标检测框；
S4.赋予划痕目标检测框评估分，将具有评估分的划痕目标检测框作为样本，通过深度学习CNN网络训练返回最终检测分；
S5.根据检测分对划痕目标进行等级判定；
S6.分拣单元根据丝锭的等级对丝锭进行分拣。
步骤S1的具体过程如图3所示，包括：
S11.通过计算设定丝锭每次旋转角度，丝锭进入图像采集区域时，丝锭进行旋转，丝锭旋转一个角度后，由图像采集单元采集标签图像；
S12.对标签图像进行二值化、腐蚀膨胀处理，获取图像连通区域，并计算连通区域面积大小，根据预先设定的先验阈值[AreaMin,AreaMax]，根据连通区域面积是否落在先验阈值[AreaMin,AreaMax]范围内来判断是否存在标签，当不落在先验范围内是，判断不存在标签，则继续旋转丝锭，直到判断存在标签；若存在标签，则计算连通区域中心位置偏移角度，将标签旋转至相机图像中心区域。将标签置于相机中心位置防止角度偏差造成的精度损失。
S13.对标签图像进行边缘提取和直线检测，将标签检测区域进行分割；过程包括：
S131对步骤S12得到的图像标签区域计算其最小外接矩形，并对矩形区域进行切割；
S132.将最大连通区域以外区域赋值为0，并使用霍夫变换的直线检测计算标签连通区域的上边界线、下边界线，并计算相应边界线的倾斜角度，相应的直线用极坐标表示如下：
r＝x*cos(θ)+y*sin(θ)
其中(x,y)为原图中点的坐标，r为该点到原点的距离，θ为旋转角度。
S133.将得到的上边界线并结合连通区域边缘点确定标签左上角点的坐标(x0,y0)，右上角点的坐标(x1,y1)，同理得到的下边界线并结合连通区域边缘点确定标签左下角点的坐标(x2,y2)，右下角点的坐标(x3,y3)。
S14.通过直线检测结果构造透视变换矩阵对标签区域进行校正；过程包括：
S141.根据得到的四个标签顶点坐标，同时提取连通区域的四个顶点位置坐标(x'0,y'0)，(x'1,y'1)，(x'2,y'2)，(x'3,y'3)。根据如下透视变换公式计算透视变换矩阵：
其中，坐标(x,y)为标签顶点，(x',y')为连通区域外接矩形顶点，u’、v’、w’为中间参数，同时满足x'＝u'/w',y'＝v'/w'。通过矩阵乘法可得：
将(x0,y0)，(x1,y1)，(x2,y2)，(x3,y3)，(x'0,y'0)，(x'1,y'1)，(x'2,y'2)，(x'3,y'3)代入上式，即可得求得透视变换矩阵。
S142.通过得到的透视变换矩阵，将标签的每个像素点进行透视变换，最终得到的图像即为校正后的图。
S15.使用OCR技术对标签区域进行字符识别，读取标签信息并录入。
如图4所示，步骤S3中获取划痕目标检测框的具体过程包括：
S301.根据丝锭图像的像素均值判断是否存在丝锭，设定均值阈值，若像素均值小于均值阈值，判断为没有丝锭，不进行检测，若像素均值大于均值阈值，判断为存在丝锭，进行下一步检测；
S302.将丝锭图像转为灰度图，实用Canny算子对丝锭进行边缘检测；
S303.将处理后图像进行腐蚀膨胀操作，将边缘线相互连通；
S304.获取边缘线内的连通区域，计算连通区域面积，设定面积阈值，将面积小于面积阈值的连通区域边缘线赋值为0，将该连通区域去除；
S305.求取剩下的连通区域的最小外接矩形，将矩形区域作为目标检测区域；
S306.对图像进行预处理，在丝锭图像中截取目标检测区域，对目标检测区域图像做高斯滤波，将滤波后图像做归一化操作，将像素值比例压缩在0-1之间，改变图像通道跑步，将BGR通道排布转化为RGB通道排布。
S307.将目标检测区域的图像作为原始训练样本，根据截取目标检测区域左上角坐标，对检测目标位置的坐标进行校正；
S308.结合ResNet-50网络结构，并将其中的传统卷积替换为depthwiseconvolution，采用如下公式构造损失函数：
其中，
其中N表示目标框总个数，l表示检测框，g表示先验框，相应的下标x,y,w,h表示该框的起始点坐标(x,y)以及框的宽度w，高度h，x即为xij，xij表示若第i个检测框和第j个先验框匹配值，若第i个检测框和第j个先验框匹配则为1，否则为0，c即为 为检测框置信度，k＝1表示该框有目标，k＝0表示该框没有目标，Lconf(x,c)构成了置信度损失，用以判定预测框中是否存在目标，Lloc(x,l,g)构成了预测框回归置损失，用以判定预测框所在具***置信息，λ1,λ2为置信度权重以及目标位置权重；
S309.使用上步骤的方式训练深度学习CNN网络，在检测过程中将损失函数去掉，提取网络结构最后一层信息，将输出的层每个网络分别提取(x,y,w,h,c)五维信息，分别表示划痕目标检测框的起始点坐标(x,y)，框的高度w，高度h以及划痕目标检测框的置信度c；
S310.对提取的所有划痕目标检测框按照置信度c进行排序，预设划痕检测阈值，去除置信度c低于划痕检测阈值的划痕目标检测框，使用NMS算法对划痕目标检测框进行检查，设定IOU重叠阈值，将大于IOU重叠阈值的划痕目标检测框去除，将保留的划痕目标检测框作为最终的划痕目标检测框。
如图5所示，步骤S4中获得划痕目标检测框检测分的具体过程为：
S41.将所得的划痕目标检测框按照检测结果的w、h各拓宽5％，并对新构造的框做越界处理，然后在丝锭图像中进行截取；
S42.将截取的图像进行归一化处理，同时对像素通道进行重排，将BGR通道排布转化为RGB通道排布；
S43.将处理后的划痕目标检测框赋予评估分，分值范围为[0,1]，将划痕目标检测框与评估分共同作为训练样本；
S44.根据ResNet-18网络，缩减其各层channel个数构造用于训练的网络结构，并使用如下损失函数：
其中，p为预测得分，t为标定得分，上标1表示目标为划痕，得分区间在(0.3,1.0]之间，上标0表示目标不是划痕，得分区间在[0,0.3]之间，α0,α1分别为相应目标的权重，这里值分别取为1,2；
S45.检测过程中，去除上述损失函数层，并提取网络最后层的输出结果，后接一个sigmod函数将评估分归一化到0～1之间，作为最终检测分。
步骤S5的划痕目标等级目标判定过程包括：
S51.预先设定丝锭等级区间，
[0，0.6)优等品
[0.6，0.8)良品
[0.8，1]劣等品，
S52.将各划痕目标检测框根据最终检测分所在的区间，判定划痕目标检测框等级；
S53.同一丝锭图像中取最终检测分最高的划痕目标检测框，将该划痕目标检测框作为丝锭的等级；
S54.将获得的划痕目标检测分和丝锭的等级录入到电子标签中。另外处理单元对日产丝锭总量统计、日检划痕数目统计、日检缺陷剔除量统计以及批次异常丝统计。对于异常丝进一步给定具体划痕目标位置，划痕等级，单锭丝检测速度，平均检测速度，单锭丝检测检测日期以及具体时间给出详细质量报表，并将相应信息一并录入电子标签中；根据统计到的缺陷信息追本溯源，规范生产管理和操作流程。
在划痕判定的同时，处理单元根据传送带传送的速度，以及丝锭检测位置到分拣单元的长度，计算出丝锭到达分拣单元的时间，将实到达时间与电子标签相对应，在丝锭到达分拣单元时，根据丝锭等级进行分拣。
分拣过程为:
判断丝锭等级为优等品、良品或劣等品。
若判断为优等品或良品，则会激活气缸将缺陷产品输送通道前的第二挡杆升起，优良产品输送通道前的第一挡杆降下，此时丝锭会随传送带进入优良产品输送通道，若判断为劣等品，会激活气缸将次第二挡杆降下，第一挡杆升起，此时丝锭会随传送带进入优良产品输送通道。
最终，丝锭完成回流分拣，并将所有信息保存到电子标签中。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了传送带、托盘、暗箱、图像采集单元、分拣单元等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (9)

1.一种基于深度学习和图像处理技术的丝锭划痕检测***，其特征是：包括装载丝锭的托盘，丝锭上设置有标签，对托盘进行传输的传送带，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元，图像采集单元将采集信息发送给处理单元进行划痕目标检测；
处理单元，从标签图形中识别标签信息并读取，从丝锭图像中提取目标检测区域，将目标检测区域图像输入训练好的深度学习CNN网络，提取划痕目标检测框图像，赋予划痕目标检测框图像划痕得分，将划痕目标检测框图像输入训练好的深度学习CNN网络，获得最终得分的划痕目标检测框图像，根据最终得分对丝锭划痕目标进行等级划分；
分拣单元，根据丝锭划痕目标等级对丝锭良次品进行分拣。
2.根据权利要求1所述的基于深度学习和图像处理技术的丝锭划痕检测***，其特征是在所述传动带上设置有固定并旋转丝锭的托盘紧固机构，托盘紧固机构受控连接于处理单元。
3.根据权利要求1所述的基于深度学习和图像处理技术的丝锭划痕检测***，其特征是所述传送带后端分岔形成优良产品输送通道和缺陷产品输送通道，所述分拣单元设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于优良产品输送通道前的第一挡杆和位于缺陷产品输送通道前的第二挡杆，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元。
4.一种基于深度学习和图像处理技术的丝锭划痕检测方法，采用权利要求1-3任一项中的***，其特征是：包括以下步骤，
S1.对待检丝锭进行丝锭标签定位，采集标签图像，对标签图像中标签进行识别并读取信息；
S2.分别对待检丝锭顶部、侧面和底部进行丝锭图像采集；
S3.对丝锭图像进行边缘检测，获取目标检测区域，将目标检测区域作为样本，通过深度学习CNN网络训练对划痕区域进行定位，提取划痕目标检测框；
S4.赋予划痕目标检测框评估分，将具有评估分的划痕目标检测框作为样本，通过深度学习CNN网络训练返回最终检测分；
S5.根据检测分对划痕目标进行等级判定；
S6.分拣单元根据丝锭的等级对丝锭进行分拣。
5.根据权利要求4所述的基于深度学习和图像处理技术的丝锭划痕检测方法，其特征是步骤S1的具体过程包括：
S11.通过计算设定丝锭每次旋转角度，丝锭旋转一个角度后，由图像采集单元采集标签图像；
S12.对标签图像进行二值化、腐蚀膨胀处理，获取图像连通区域，判断是否存在标签，若不存在继续旋转丝锭，直到判断存在标签；
S13.对标签图像进行边缘提取和直线检测，将标签检测区域进行分割；
S14.通过直线检测结果构造透视变换矩阵对标签区域进行校正；
S15.使用OCR技术对标签区域进行字符识别，读取标签信息并录入。
6.根据权利要求4所述的基于深度学习和图像处理技术的丝锭划痕检测方法，其特征是步骤S3中获取目标检测区域的具体过程包括：
S301.根据丝锭图像的像素均值判断是否存在丝锭，设定均值阈值，若像素均值小于均值阈值，判断为没有丝锭，不进行检测，若像素均值大于均值阈值，判断为存在丝锭，进行下一步检测；
S302.将丝锭图像转为灰度图，实用Canny算子对丝锭进行边缘检测；
S303.将处理后图像进行腐蚀膨胀操作，将边缘线相互连通；
S304.获取边缘线内的连通区域，计算连通区域面积，设定面积阈值，将面积小于面积阈值的连通区域边缘线赋值为0，将该连通区域去除；
S305.求取剩下的连通区域的最小外接矩形，将矩形区域作为目标检测区域；
S306.对图像进行预处理，在丝锭图像中截取目标检测区域，对目标检测区域图像做高斯滤波，将滤波后图像做归一化操作，将像素值比例压缩在0-1之间，改变图像通道跑步，将BGR通道排布转化为RGB通道排布。
7.根据权利要求6所述的基于深度学习和图像处理技术的丝锭划痕检测方法，其特征是步骤S3中提取划痕目标检测框的过程包括：
S307.将目标检测区域的图像作为原始训练样本，根据截取目标检测区域左上角坐标，对检测目标位置的坐标进行校正；
S308.结合ResNet-50网络结构，并将其中的传统卷积替换为depthwise convolution，采用如下公式构造损失函数：
其中，
其中N表示目标框总个数，l表示检测框，g表示先验框，相应的下标x,y,w,h表示该框的起始点坐标(x,y)以及框的宽度w，高度h，x即为xij，xij表示若第i个检测框和第j个先验框匹配值，若第i个检测框和第j个先验框匹配则为1，否则为0，c即为 为检测框置信度，k＝1表示该框有目标，k＝0表示该框没有目标，Lconf(x,c)构成了置信度损失，用以判定预测框中是否存在目标，Lloc(x,l,g)构成了预测框回归置损失，用以判定预测框所在具***置信息，λ1,λ2为置信度权重以及目标位置权重；
S309.使用上步骤的方式训练深度学习CNN网络，在检测过程中将损失函数去掉，提取网络结构最后一层信息，将输出的层每个网络分别提取(x,y,w,h,c)五维信息，分别表示划痕目标检测框的起始点坐标(x,y)，框的高度w，高度h以及划痕目标检测框的置信度c；
S310.对提取的所有划痕目标检测框按照置信度c进行排序，预设划痕检测阈值，去除置信度c低于划痕检测阈值的划痕目标检测框，使用NMS算法对划痕目标检测框进行检查，设定IOU重叠阈值，将大于IOU重叠阈值的划痕目标检测框去除，将保留的划痕目标检测框作为最终的划痕目标检测框。
8.根据权利要求7所述的基于深度学习和图像处理技术的丝锭划痕检测方法，其特征是步骤S4的具体过程为：
S41.将所得的划痕目标检测框按照检测结果的w、h各拓宽5％，并对新构造的框做越界处理，然后在丝锭图像中进行截取；
S42.将截取的图像进行归一化处理，同时对像素通道进行重排，将BGR通道排布转化为RGB通道排布；
S43.将处理后的划痕目标检测框赋予评估分，分值范围为[0,1]，将划痕目标检测框与评估分共同作为训练样本；
S44.根据ResNet-18网络，缩减其各层channel个数构造用于训练的网络结构，并使用如下损失函数：
其中，p为预测得分，t为标定得分，上标1表示目标为划痕，得分区间在(0.3,1.0]之间，上标0表示目标不是划痕，得分区间在[0,0.3]之间，α0,α1分别为相应目标的权重，这里值分别取为1,2；
S45.检测过程中，去除上述损失函数层，并提取网络最后层的输出结果，后接一个sigmod函数将评估分归一化到0～1之间，作为最终检测分。
9.根据权利要求4所述的基于深度学习和图像处理技术的丝锭划痕检测方法，其特征是步骤S5的具体过程包括：
S51.预先设定丝锭等级区间，
[0，0.6)优等品
[0.6，0.8)良品
[0.8，1]劣等品，
S52.将各划痕目标检测框根据最终检测分所在的区间，判定划痕目标检测框等级；
S53.同一丝锭图像中取最终检测分最高的划痕目标检测框，将该划痕目标检测框作为丝锭的等级；
S54.将获得的划痕目标检测分和丝锭的等级录入到电子标签中。
CN201811197535.7A 2018-10-15 2018-10-15 基于深度学习和图像处理技术的丝锭划痕检测***及方法 Active CN109255787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811197535.7A CN109255787B (zh) 2018-10-15 2018-10-15 基于深度学习和图像处理技术的丝锭划痕检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811197535.7A CN109255787B (zh) 2018-10-15 2018-10-15 基于深度学习和图像处理技术的丝锭划痕检测***及方法

Publications (2)

Publication Number Publication Date
CN109255787A true CN109255787A (zh) 2019-01-22
CN109255787B CN109255787B (zh) 2021-02-26

Family

ID=65045145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811197535.7A Active CN109255787B (zh) 2018-10-15 2018-10-15 基于深度学习和图像处理技术的丝锭划痕检测***及方法

Country Status (1)

Country Link
CN (1) CN109255787B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705559A (zh) * 2019-10-09 2020-01-17 杭州高达软件***股份有限公司 基于钢材标签图像识别的钢材信息记录方法、装置及设备
CN110767292A (zh) * 2019-10-12 2020-02-07 腾讯科技（深圳）有限公司 病理编号识别方法、信息识别方法、装置及信息识别***
CN110956656A (zh) * 2019-12-17 2020-04-03 北京工业大学 一种基于深度目标检测的纺锤定位方法
CN111199227A (zh) * 2019-12-20 2020-05-26 广西柳州联耕科技有限公司 一种高精度图像识别方法
CN111398287A (zh) * 2019-11-29 2020-07-10 合肥国轩高科动力能源有限公司 一种电池极片划痕检测***及检测方法
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN111815564A (zh) * 2020-06-09 2020-10-23 浙江华睿科技有限公司 一种检测丝锭的方法、装置及丝锭分拣***
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112330595A (zh) * 2020-10-13 2021-02-05 浙江华睿科技有限公司 一种绊丝检测方法、装置、电子设备及存储介质
CN112528860A (zh) * 2020-12-11 2021-03-19 浙江华电器材检测研究所有限公司 基于图像识别的安全工器具管理方法及***
CN112634242A (zh) * 2020-12-25 2021-04-09 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的制动梁脱落检测方法
CN112819780A (zh) * 2021-01-29 2021-05-18 菲特（天津）检测技术有限公司 一种丝锭表面缺陷检测方法、检测***以及丝锭分级***
CN113096123A (zh) * 2021-05-07 2021-07-09 湘潭大学 一种多模糊推理级联的底火侧面缺陷分类和受损程度分析方法
CN113344923A (zh) * 2021-08-05 2021-09-03 浙江华睿科技股份有限公司 化纤丝锭表面缺陷检测方法、装置、电子设备及存储介质
CN116363133A (zh) * 2023-06-01 2023-06-30 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116814B2 (en) * 2002-09-27 2006-10-03 Chunghwa Telecom Co., Ltd. Image-based container defects detector
CN102901735A (zh) * 2012-08-29 2013-01-30 上海美迪索科电子科技有限公司 利用计算机对工件缺损、裂变、变形进行自动检测的***
CN106841209A (zh) * 2016-12-28 2017-06-13 杭州慧芯智能科技有限公司 一种基于大数据自学习化纤丝锭智能外观检测***及方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116814B2 (en) * 2002-09-27 2006-10-03 Chunghwa Telecom Co., Ltd. Image-based container defects detector
CN102901735A (zh) * 2012-08-29 2013-01-30 上海美迪索科电子科技有限公司 利用计算机对工件缺损、裂变、变形进行自动检测的***
CN106841209A (zh) * 2016-12-28 2017-06-13 杭州慧芯智能科技有限公司 一种基于大数据自学习化纤丝锭智能外观检测***及方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705559B (zh) * 2019-10-09 2022-07-08 杭州高达软件***股份有限公司 基于钢材标签图像识别的钢材信息记录方法、装置及设备
CN110705559A (zh) * 2019-10-09 2020-01-17 杭州高达软件***股份有限公司 基于钢材标签图像识别的钢材信息记录方法、装置及设备
CN110767292A (zh) * 2019-10-12 2020-02-07 腾讯科技（深圳）有限公司 病理编号识别方法、信息识别方法、装置及信息识别***
CN111398287A (zh) * 2019-11-29 2020-07-10 合肥国轩高科动力能源有限公司 一种电池极片划痕检测***及检测方法
CN110956656A (zh) * 2019-12-17 2020-04-03 北京工业大学 一种基于深度目标检测的纺锤定位方法
CN111199227A (zh) * 2019-12-20 2020-05-26 广西柳州联耕科技有限公司 一种高精度图像识别方法
CN111815564A (zh) * 2020-06-09 2020-10-23 浙江华睿科技有限公司 一种检测丝锭的方法、装置及丝锭分拣***
CN111815564B (zh) * 2020-06-09 2024-03-29 浙江华睿科技股份有限公司 一种检测丝锭的方法、装置及丝锭分拣***
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN111805541B (zh) * 2020-07-08 2022-08-30 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN112330595A (zh) * 2020-10-13 2021-02-05 浙江华睿科技有限公司 一种绊丝检测方法、装置、电子设备及存储介质
CN112330595B (zh) * 2020-10-13 2024-04-02 浙江华睿科技股份有限公司 一种绊丝检测方法、装置、电子设备及存储介质
CN112528860A (zh) * 2020-12-11 2021-03-19 浙江华电器材检测研究所有限公司 基于图像识别的安全工器具管理方法及***
CN112634242A (zh) * 2020-12-25 2021-04-09 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的制动梁脱落检测方法
CN112634242B (zh) * 2020-12-25 2021-08-24 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的制动梁脱落检测方法
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112819780A (zh) * 2021-01-29 2021-05-18 菲特（天津）检测技术有限公司 一种丝锭表面缺陷检测方法、检测***以及丝锭分级***
CN113096123A (zh) * 2021-05-07 2021-07-09 湘潭大学 一种多模糊推理级联的底火侧面缺陷分类和受损程度分析方法
CN113344923A (zh) * 2021-08-05 2021-09-03 浙江华睿科技股份有限公司 化纤丝锭表面缺陷检测方法、装置、电子设备及存储介质
CN116363133A (zh) * 2023-06-01 2023-06-30 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法
CN116363133B (zh) * 2023-06-01 2023-07-28 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法

Also Published As

Publication number Publication date
CN109255787B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN109255787A (zh) 基于深度学习和图像处理技术的丝锭划痕检测***及方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测***及方法
CN109357630B (zh) 一种多类型工件批量视觉测量***及方法
CN109829914B (zh) 检测产品缺陷的方法和装置
CN109454006B (zh) 基于化纤丝锭绊丝缺陷在线检测和分级的装置的检测分级方法
RU2708422C1 (ru) Способ и система управления банкоматами
CN101751572A (zh) 一种图案检测方法、装置、设备及***
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
CN104483320B (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN111242896A (zh) 一种彩色印刷标签缺陷检测与质量评级方法
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN106780537A (zh) 一种基于图像处理的方格蔟蚕茧筛选装置及方法
CN111652883B (zh) 基于深度学习的玻璃表面缺陷检测方法
CN110108712A (zh) 多功能视觉缺陷检测***
CN115272652A (zh) 基于多元回归和自适应焦点损失的密集物体图像检测方法
KR20150108118A (ko) 영상 인식 기반 계량기 원격 검침 시스템
CN111398287A (zh) 一种电池极片划痕检测***及检测方法
CN109523540A (zh) 基于霍夫变换的纱线断头检测方法
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
CN113111903A (zh) 智能产线监测***及监测方法
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测***及方法
CN109115775A (zh) 一种基于机器视觉的槟榔等级检测方法
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测***及方法
CN112036391B (zh) 一种基于页岩气田生产站场的电子巡检方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant