CN111738322B - 一种物品表面缺陷的检测方法、装置、设备和介质 - Google Patents

一种物品表面缺陷的检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN111738322B
CN111738322B CN202010538153.7A CN202010538153A CN111738322B CN 111738322 B CN111738322 B CN 111738322B CN 202010538153 A CN202010538153 A CN 202010538153A CN 111738322 B CN111738322 B CN 111738322B
Authority
CN
China
Prior art keywords
defect
defect type
detection model
image
intermediate image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010538153.7A
Other languages
English (en)
Other versions
CN111738322A (zh
Inventor
张滨
冯原
韩树民
辛颖
苑鹏程
朱剑锋
林书妃
王晓迪
刘静伟
徐英博
文石磊
章宏武
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010538153.7A priority Critical patent/CN111738322B/zh
Publication of CN111738322A publication Critical patent/CN111738322A/zh
Application granted granted Critical
Publication of CN111738322B publication Critical patent/CN111738322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请实施例公开了一种物品表面缺陷的检测方法、装置、设备和介质,涉及人工智能计算机视觉、深度学习以及云计算领域,具体涉及图像识别技术。具体实现方案为:将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,缺陷检测模型为深度学习模型,包括至少两层特征提取网络;提取缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;将中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;根据匹配结果对缺陷检测模型确定的缺陷种类进行校正。本申请实施例能够在对新增缺陷种类进行识别时,不需要更新缺陷检测模型,可直接通过预设中级图像特征库对其进行匹配,从而进一步提高了检测效率。

Description

一种物品表面缺陷的检测方法、装置、设备和介质
技术领域
本申请实施例涉及人工智能计算机视觉、深度学习以及云计算领域,具体涉及图像识别技术。
背景技术
在生产制造领域中,存在对所制造产生进行表面缺陷检测的需求。以纺织布匹为例,需要对纺织布匹的表面瑕疵进行缺陷检测,且需要对缺陷种类进行区分。
目前所采用的几种缺陷检测方法,对特定种类缺陷检测的针对性强,一旦出现新种类的缺陷,则原有的检测准确性降低,或者需要重新训练深度学习的检测模型才能检测新种类缺陷。这样导致对检测模型的训练成本高,不能及时适应出现新种类缺陷的检测需求。
发明内容
本申请实施例提供了一种物品表面缺陷的检测方法、装置、设备和介质。
根据第一方面,提供了一种物品表面缺陷的检测方法,包括:
将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,所述缺陷检测模型为深度学习模型,包括至少两层特征提取网络;
提取所述缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;
将所述中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;
根据匹配结果对所述缺陷检测模型确定的缺陷种类进行校正;其中,所述预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入所述缺陷检测模型后,从至少一层特征提取网络中提取的特征。
根据第二方面,提供了一种物品表面缺陷的检测装置,包括:
缺陷种类识别模块,用于将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,所述缺陷检测模型为深度学习模型,包括至少两层特征提取网络;
图像特征提取模块,用于提取所述缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;
图像特征匹配模块,用于将所述中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;
缺陷种类校正模块,用于根据匹配结果对所述缺陷检测模型确定的缺陷种类进行校正;其中,所述预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入所述缺陷检测模型后,从至少一层特征提取网络中提取的特征。
根据第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任意实施例所提供的物品表面缺陷的检测方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请任意实施例所提供的物品表面缺陷的检测方法。
根据本申请的技术提高了物品表面图像的检测效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例提供的一种物品表面缺陷的检测方法的流程示意图;
图2是根据本申请实施例提供的另一种物品表面缺陷的检测方法的流程示意图;
图3是根据本申请实施例提供的根据缺陷种类定位的异常检测滑窗示意图;
图4是根据本申请实施例提供的根据缺陷检测模型检测出物品表面图像的缺陷位置信息示意图;
图5是根据本申请实施例提供的一种物品表面缺陷的检测装置的结构示意图;
图6是用来实现本申请实施例的物品表面缺陷的检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例提供的一种物品表面缺陷的检测方法的流程示意图,本申请实施例可适用于对物品表面图像进行缺陷检测的情况。该方法可由一种物品表面缺陷的检测装置来执行,该装置可采用硬件和/或软件的方式来实现,可配置于电子设备中。该方法具体包括如下:
S110、将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,缺陷检测模型为深度学习模型,包括至少两层特征提取网络。
在本申请实施例中,缺陷检测模型为基于深度学习构建的非人工网络模型,主要用来对待检测物品表面图像进行缺陷识别,以识别出待测物品表面图像的缺陷种类;其中,待测物品表面图像的缺陷种类可以对于不同物品表面,可能有不同类型。例如对于纺织品,缺陷种类可能包括破洞、坏针或者跑线等。
具体的,本申请实施例中的缺陷检测模型设置为包括至少两层特征提取网络,能够通过对待测物品表面图像在不同层次下的精细划分,并提取待测物品表面图像的不同层次的特征信息,可以针对复杂程度不等的待测物品表面图像,提取出各个层次下的特征信息,使得提取出的特征信息能够较为全面的表示待测物品表面图像的特征。
S120、提取缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征。
在本申请实施例中,中级图像特征为通过缺陷检测模型的特征提取网络层提取出的待测物品表面图像的高维信息,其能够更加完整的表示待测物品表面图像,以使得后续能够快速有效的根据中级图像特征对缺陷检测模型确定出的缺陷种类进行精准判别。例如,卷积层作为的特征提取网络,经过卷积层对物品表面图像进行处理后而输出的特征,即为一种中级图像特征。对于缺陷识别模型,通常可以包括一层或多层的特征提取网络,例如多个卷积层构成的U-net模型,其中的各层卷积层均可以作为提取中级图像特征的特征提取网络,可视需要确定从哪些网络层中提取中级图像特征。
S130、将中级图像特征与预设中级图像特征库中的中级图像特征进行匹配。
在本申请实施例中,预设中级图像特征库中存储不同缺陷种类与对应的不同中级图像特征,且每个中级图像特征均关联一个缺陷种类,利用预设中级图像特征库对中级图像特征进行匹配时,可以通过中级图像特征的,在预设中级图像特征库中遍历查找相同的中级图像特征,将匹配度达到设定条件的中级图像特征关联的缺陷种类作为根据该中级图像特征匹配出的缺陷种类。预设中级图像特征库可以将已知缺陷种类的缺陷图像输入缺陷检测模型,从各个特征提取网络提取的中级图像特征。其中,不同的特征提取网络所输出的中级图像特征,可分别进行存储和比对匹配。
具体的,若待测物品表面图像的缺陷类别属于新的类别时,即缺陷检测模型中没有经过新缺陷种类的图像样本进行过训练,此时,仅通过缺陷检测模型确定出的缺陷类准确率较低,本申请实施例可以采用直接提取待测物品表面图像的中级图像特征,在预设中级图像特征库中进行匹配,以得到待测物品表面图像精确的缺陷类别。预设中级图像特征库中,可以将已知新缺陷种类的图像输入缺陷检测模型,并从特征提取网络层中提取。相比于训练缺陷检测模型而言,通过较少的新缺陷种类图像样本,就可以提取几组新缺陷种类的中级图像特征,因此,相当于能够快速建立新缺陷种类的识别方式。
S140、根据匹配结果对缺陷检测模型确定的缺陷种类进行校正;其中,预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入缺陷检测模型后,从至少一层特征提取网络中提取的特征。
在本申请实施例中,物品表面图像需要先经过人工标注,再根据缺陷检测模型输出中级图像特征,并存储至预设的中级图像特征库中,因此,预设中级图像特征库中存储的中级图像特征与其关联的缺陷种类具有较高的准确性。
具体的,将中级图像特征与预设中级图像特征库匹配出缺陷种类与缺陷检测模型确定出的缺陷种类进行比对;并根据比对结果,对缺陷检测模型确定出的缺陷种类进行校正。本实施例能够在通过缺陷检测模型确定出待测物品表面图像的缺陷种类后,再通过预设中级图像特征库对缺陷检测模型的检测结果进行校正,有效提高了待测物品表面图像缺陷种类的精准度。
本实施例的技术方案,通过缺陷检测模型,识别出待测物品表面图像的缺陷种类,提取缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;并将中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;根据匹配结果对缺陷检测模型确定的缺陷种类进行校正。本申请实施例能够在通过缺陷检测模型确定出待测物品表面图像的缺陷种类后,再通过预设中级图像特征库对缺陷检测模型的检测结果进行校正,有效提高了待测物品表面图像缺陷种类的精准度;当对新增缺陷种类进行识别时,不需要收集大量新缺陷种类的图像样本,并花费大量时间重新训练缺陷检测模型,可直接通过预设中级图像特征库对其进行匹配,从而进一步提高了检测效率。
本申请实施例还提供了物品表面缺陷的检测方法一个优选实施方式,能够根据异常点快速确定出待测物品表面图像。图2是根据本申请实施例提供的另一种物品表面缺陷的检测方法的流程示意图。具体包括如下:
S210、基于异常点识别算法,在待测原始物品表面图像中识别异常点。
在传统确定缺陷初始位置时,通过会采用滑窗方式,其主要是在待测原始物品表面图像中不断遍历图像位置,遍历结果中会找出很多伪窗口,从而增加整个检测过程的计算量,导致检测过程较复杂。为了解决该问题,本申请实施例采用异常点识别算法,根据已知的缺陷种类生成待精确确定位置的矩形框;并根据确定出的矩形框,在待测原始物品表面图像中识别异常点。
S220、根据识别到的异常点位置,确定候选缺陷位置。
在本申请实施例中,利用深度学习监督技术,将待测原始物品表面图像中包含异常点位置的图像送至检测网络中学习,得到回归的检测框位置(即候选缺陷位置)。其中,一幅待测原始物品表面图像中可能包含至少一个检测框位置。如图4所示,其中,奇数列为缺陷图像,偶数列为确定出缺陷图像的检测位置。
S230、根据候选缺陷位置,对待测原始物品表面图像进行剪切,以获取待测物品表面图像;待测物品表面图像包括至少一个异常点。
在本申请实施例中,为了避免对一幅待测原始物品表面图像中多个缺陷种类同时检测,导致检测过程复杂的问题,对待测原始物品表面图像进行剪切,得到多个待测物品表面图像,能够有效提高检测效率。此外,通过剪切,还可以使得缺陷图像的尺寸与缺陷检测模型的输入尺寸匹配。
本申请实施例基于异常点识别算法,通过确定出的检测框,在待测原始物品表面图像中定位异常点,并根据异常点位置,确定候选缺陷位置,再根据候选缺陷位置,对待测原始物品表面图像进行剪切,得到待测物品表面图像。能够避免传统方式下在待测物品表面图像中直接识别缺陷导致识别效率较低的问题,有效加快了待检测物品表面图像缺陷的识别速度。
S240、将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,缺陷检测模型为深度学习模型,包括至少两层特征提取网络。
S250、提取缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征。
S260、将中级图像特征与预设中级图像特征库中的中级图像特征进行匹配。
S270、根据匹配结果对缺陷检测模型确定的缺陷种类进行校正;其中,预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入缺陷检测模型后,从至少一层特征提取网络中提取的特征。
可选的,缺陷检测模型基于至少两个缺陷种类所对应的物品表面图像进行训练而获得,标注缺陷种类与进行训练的缺陷种类相同或不同。不同的缺陷种类是新增的缺陷种类。
在本申请实施例中,将至少两个缺陷种类对应的物品表面图像作为训练样本,对缺陷检测模型进行训练,以得到缺陷检测模型;其中,物品表面图像的缺陷种类是基于人工标注而得;本实施例根据多幅已知缺陷种类的物品表面图像训练缺陷检测模型,能够有效提高训练出的缺陷检测模型的通用性。可选的,缺陷检测模型至少包括卷积神经网络模型,在对于新缺陷种类的剪切图像进行缺陷识别时,能够直接根据输入的剪切图像确定其中级图像特征,并与预设中级图像特征库中的缺陷种类进行匹配,从而快速确定出新缺陷种类的剪切图像的缺陷种类。
可选的,S240之后,还包括:
从待测物品表面图像中提取初级图像特征;将初级图像特征与预设初级图像特征库中的初级图像特征进行匹配。
相应的,S270包括:根据中级匹配结果和初级匹配结果对缺陷检测模型确定的缺陷种类进行校正。
在本申请实施例中,初级图像特征为待测物品表面图像的基础特征;可选的,初级图像特征包括待测物品表面图像的灰度分布特征和/或矩特征,通过初级图像特征能够简单整体的表达出待测物品表面图像的有效特征,从而提高缺陷种类在预设初级图像特征库中的匹配效率。灰度分布特征例如是物品表面图像像素灰度的统计直方图。
在预设初级图像特征库中,匹配出待测物品表面图像提取出的初级图像特征关联的缺陷种类,并根据初级匹配结果得到的缺陷种类和中级匹配结果得到的缺陷种类,对缺陷检测模型确定出的缺陷种类进行校正;其中,预设初级图像特征库和预设中级图像特征库可支持用户灵活配置和更改;能够有效检测出缺陷检测模型确定出的缺陷种类的准确性,从而得到待测物品表面图像更准确的缺陷类型。
可选的,S270包括:
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类一致,则确认识别确定的缺陷种类为最终缺陷种类;
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类不一致,则确认匹配到的缺陷种类为最终缺陷种类或上报异常识别现象。
在本申请实施例中,待测物品表面图像的缺陷种类可能存在多种,然而缺陷检测模型训练样本中涉及到的缺陷种类也仅是通过人工标注出来的,因此,缺陷种类具有较大的局限性;对于中级图像特征匹配出的缺陷种类与缺陷检测模型识别出的缺陷种类不一致时,则待测物品表面图像所属的缺陷类型可能为新的缺陷类别,且不在缺陷检测模型的训练样本中,则采用中级图像特征的匹配结果与缺陷检测模型的识别结果进行比对,能够有效避免缺陷检测模型确定出的缺陷种类有误导致检测结果误差较大的问题,从而有效提高检测效率。
可选的,将待测物品表面图像输入缺陷检测模型之后,还包括:输出存在缺陷的轮廓坐标。
在本申请实施例中,输入待测物品表面图像,可通过缺陷检测模型输出存在缺陷的轮廓坐标,以将缺陷的轮廓坐标,映射至待测原始物品表面图像中,快速确定出待测原始物品表面图像中的缺陷坐标。
可选的,S210包括:
针对每个缺陷种类确定异常检测滑窗,其中,异常检测滑窗包括横向滑窗和/或纵向滑窗;
采用异常检测滑窗在待测原始物品表面图像中进行遍历,基于异常点识别算法识别异常检测滑窗中的异常点。
在本申请实施例中,异常缺陷种类与缺陷种类是对应的,以解决传统检测方法中出现伪窗口的问题,从而减少计算量和目标窗口位置。具体的,异常检测滑窗的大小和长宽比,与缺陷种类对应。图3是根据本申请实施例提供的缺陷种类初步定位的异常检测滑窗示意图;例如已知五种缺陷种类,则可能存在五种对应的异常检测滑窗大小和长宽比,将五种滑窗分别遍历待测原始物品表面图像五次来定位异常点;其中,异常检测滑窗可以同时包括横向滑动和竖向滑动。利用确定出的异常检测滑窗,基于异常点识别算法识别异常检测滑窗中的异常点,能够有效提高异常点的检测速率和准确度。
可选的,异常点识别算法包括下述至少一项:异常灰度分布算法、异常边缘识别算法和异常角点识别算法。
在本申请实施例中,采用的异常点识别算法不限于边缘关键点的识别,还可以包括基于灰度分布识别和异常角点识别,能够根据不同类型的待测原始物品表面图像,快速准确的识别出异常点。
可选的,本实施例中物品为布匹,S240之前,还包括:
通过至少一台拍摄设备,对移动中的布匹连续进行图像拍摄采集,以获取各待测物品图像;
根据拍摄设备和拍摄次序,为各待测物品图像分别设置电子标识。
相应的,S270之后,还包括:将确定的缺陷种类对应于电子标识进行存储。
在本申请实施例中,在布匹进行正常工作时,采用拍摄设备(例如摄相机)对布匹进行不间断拍摄;示例性的,拍摄场景可以为约1.5m~2m布幅,7台工业相机共同采集,预计布匹移动速度为0.5m~1m/s;每幅相机采集数据格式约为512*512;对应布匹约20cm*20cm区域;此移动速度可以完成每分钟至少30m的检验长度,是人工验布效率的两倍。对于多台摄像机需要对其进行编号,例如N台摄像机采集的编号可以分别为1,2,…,N;相机的拍摄次序编号Q为1,2,…,Q。若一幅待测物品图像是通过第3台摄像机,且是第三台摄像机第5次拍摄得到,则该待测物品图像的电子标识为(3,5);每待测物品图像均对应一组这样的缺陷种类编码,可以作为该待测物品图像的电子标识,用于对不同布匹进行分类管理,有效提高管理效率。
可选的,通过至少一台拍摄设备,对移动中的布匹连续进行图像拍摄采集包括:
通过至少两台拍摄设备,对移动中的布匹连续进行图像拍摄采集;其中,拍摄设备并排设置,且并排设置的方向与布匹的移动方向垂直。
在本实施例中,为了避免拍摄设备难以有效的对移动中的布匹进行准确采集的问题,通过设置至少两台并排放置的拍摄设备,对移动中的布匹进行连续拍摄采集,有效防止漏采,能够较为完整的采集到待测物品图像。
可选的,将确定的缺陷种类对应于电子标识进行存储之后,还包括:
根据布匹中各电子标识确定所对应的缺陷种类在布匹中的位置,并根据位置和缺陷种类进行统计分析,以确定布匹的织造设备的异常或后续布匹裁剪设备的裁剪方案。
具体的,可以分别为每台摄像机所采集布匹图像编号(N),按照采集时间顺序为采集的图像进行序号编制(Q),进而根据识别结果确定识别的缺陷种类编号(M),将各种编号添加到该布匹的电子标签中。例如如下表1所示的格式存储:
表1
摄像机编号 采集序号 缺陷种类
N Q M
在本申请实施例中,在不同产线上统计多匹布的电子标识,缺陷种类类型,缺陷数量,分析产线中缺陷规律,生成产线缺陷统计信息,有利于指导织布产线的质检,和后续布匹使用产线的裁剪及布匹不同产线分类使用;同时,质检标识的使用不会造成设备停机,极大的提高了生产效率。
图5是根据本申请实施例提供的一种物品表面缺陷的检测装置的结构示意图,本实施例可适用于对物品表面缺陷进行检测的情况,该装置配置于电子设备中,可实现本申请任意实施例所述的物品表面缺陷的检测装置500具体包括如下:
缺陷种类识别模块510,用于将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,所述缺陷检测模型为深度学习模型,包括至少两层特征提取网络;
图像特征提取模块520,用于提取所述缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;
图像特征匹配模块530,用于将所述中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;
缺陷种类校正模块540,用于根据匹配结果对所述缺陷检测模型确定的缺陷种类进行校正;其中,所述预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入所述缺陷检测模型后,从至少一层特征提取网络中提取的特征。
可选的,所述缺陷检测模型基于至少两个缺陷种类所对应的物品表面图像进行训练而获得,所述标注缺陷种类与进行训练的缺陷种类相同或不同。
可选的,所述缺陷检测模型至少包括卷积神经网络模型。
可选的,还包括:
图像特征提取模块520,还用于从所述待测物品表面图像中提取初级图像特征;
图像特征匹配模块530,还用于将所述初级图像特征与预设初级图像特征库中的初级图像特征进行匹配;
相应的,缺陷种类校正模块540,具体用于:
根据中级匹配结果和初级匹配结果对所述缺陷检测模型确定的缺陷种类进行校正。
可选的,所述初级图像特征包括所述待测物品表面图像的灰度分布特征和/或矩特征。
可选的,缺陷种类校正模块540,还具体用于:
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类一致,则确认识别确定的缺陷种类为最终缺陷种类;
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类不一致,则确认匹配到的缺陷种类为最终缺陷种类或上报异常识别现象。
可选的,还包括:
坐标输出模块,用于输出存在缺陷的轮廓坐标。
可选的,还包括:
异常点识别模块,用于基于异常点识别算法,在待测原始物品表面图像中识别异常点。
缺陷位置确定模块,用于根据识别到的异常点位置,确定候选缺陷位置;
图像剪切模块,用于根据所述候选缺陷位置,对所述待测原始物品表面图像进行剪切,以获取待测物品表面图像;所述待测物品表面图像包括至少一个异常点。
可选的,异常点识别模块,具体用于:
针对每个缺陷种类确定异常检测滑窗,其中,所述异常检测滑窗包括横向滑窗和/或纵向滑窗;
采用所述异常检测滑窗在待测原始物品表面图像中进行遍历,基于异常点识别算法识别所述异常检测滑窗中的异常点。
可选的,所述异常点识别算法包括下述至少一项:异常灰度分布算法、异常边缘识别算法和异常角点识别算法。
可选的,还包括:
图像获取模块,用于通过至少一台拍摄设备,对移动中的布匹连续进行图像拍摄采集,以获取各待测物品图像;
电子标识设置模块,用于根据所述拍摄设备和拍摄次序,为各所述待测物品图像分别设置电子标识;
缺陷种类存储模块,用于将确定的缺陷种类对应于所述电子标识进行存储。
可选的,图像获取模块,具体用于:
通过至少两台拍摄设备,对移动中的布匹连续进行图像拍摄采集;其中,所述拍摄设备并排设置,且并排设置的方向与所述布匹的移动方向垂直。
可选的,还包括:
统计分析模块,用于根据所述布匹中各电子标识确定所对应的缺陷种类在布匹中的位置,并根据位置和缺陷种类进行统计分析,以确定所述布匹的织造设备的异常或后续布匹裁剪设备的裁剪方案。
本实施例的技术方案,有效提高了待测物品表面图像缺陷种类的精准度;当对新增缺陷种类进行识别时,不需要更新缺陷检测模型,可直接通过预设中级图像特征库对其进行匹配,从而进一步提高了检测效率。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的物品表面缺陷的检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的物品表面缺陷的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的物品表面缺陷的检测方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的物品表面缺陷的检测方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的物品表面缺陷的检测方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据物品表面缺陷的检测的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至物品表面缺陷的检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
物品表面缺陷的检测方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与物品表面缺陷的检测的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,有效提高了待测物品表面图像缺陷种类的精准度;当对新增缺陷种类进行识别时,不需要更新缺陷检测模型,可直接通过预设中级图像特征库对其进行匹配,从而进一步提高了检测效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (15)

1.一种物品表面缺陷的检测方法,其特征在于,包括:
将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,所述缺陷检测模型为深度学习模型,包括至少两层特征提取网络;
提取所述缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;
将所述中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类一致,则确认识别确定的缺陷种类为最终缺陷种类;
如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类不一致,则确认匹配到的缺陷种类为最终缺陷种类或上报异常识别现象;
其中,所述预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入所述缺陷检测模型后,从至少一层特征提取网络中提取的特征。
2.根据权利要求1所述的方法,其特征在于,所述缺陷检测模型基于至少两个缺陷种类所对应的物品表面图像进行训练而获得,所述标注缺陷种类与进行训练的缺陷种类相同或不同。
3.根据权利要求2所述的方法,其特征在于,所述缺陷检测模型至少包括卷积神经网络模型。
4.根据权利要求1所述的方法,其特征在于,将所述待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类之后,还包括:
从所述待测物品表面图像中提取初级图像特征;
将所述初级图像特征与预设初级图像特征库中的初级图像特征进行匹配;
相应的,根据匹配结果对所述缺陷检测模型确定的缺陷种类进行校正包括:
根据中级匹配结果和初级匹配结果对所述缺陷检测模型确定的缺陷种类进行校正。
5.根据权利要求4所述的方法,其特征在于,所述初级图像特征包括所述待测物品表面图像的灰度分布特征和/或矩特征。
6.根据权利要求1所述的方法,其特征在于,将待测物品表面图像输入缺陷检测模型之后,还包括:
输出存在缺陷的轮廓坐标。
7.根据权利要求1-6任一所述的方法,其特征在于,将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类之前,还包括:
基于异常点识别算法,在待测原始物品表面图像中识别异常点;
根据识别到的异常点位置,确定候选缺陷位置;
根据所述候选缺陷位置,对所述待测原始物品表面图像进行剪切,以获取待测物品表面图像;所述待测物品表面图像包括至少一个异常点。
8.根据权利要求7所述的方法,其特征在于,基于异常点识别算法,在待测原始物品表面图像中识别异常点包括:
针对每个缺陷种类确定异常检测滑窗,其中,所述异常检测滑窗包括横向滑窗和/或纵向滑窗;
采用所述异常检测滑窗在待测原始物品表面图像中进行遍历,基于异常点识别算法识别所述异常检测滑窗中的异常点。
9.根据权利要求7所述的方法,其特征在于,所述异常点识别算法包括下述至少一项:异常灰度分布算法、异常边缘识别算法和异常角点识别算法。
10.根据权利要求1-6任一所述的方法,其特征在于,所述物品为布匹,将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类之前,包括:
通过至少一台拍摄设备,对移动中的布匹连续进行图像拍摄采集,以获取各待测物品图像;
根据所述拍摄设备和拍摄次序,为各所述待测物品图像分别设置电子标识;
相应的,根据匹配结果对所述缺陷检测模型确定的缺陷种类进行校正之后,还包括;
将确定的缺陷种类对应于所述电子标识进行存储。
11.根据权利要求10所述的方法,其特征在于,通过至少一台拍摄设备,对移动中的布匹连续进行图像拍摄采集包括:
通过至少两台拍摄设备,对移动中的布匹连续进行图像拍摄采集;其中,所述拍摄设备并排设置,且并排设置的方向与所述布匹的移动方向垂直。
12.根据权利要求10所述的方法,其特征在于,将确定的缺陷种类对应于所述电子标识进行存储之后,还包括:
根据所述布匹中各电子标识确定所对应的缺陷种类在布匹中的位置,并根据位置和缺陷种类进行统计分析,以确定所述布匹的织造设备的异常或后续布匹裁剪设备的裁剪方案。
13.一种物品表面缺陷的检测装置,其特征在于,包括:
缺陷种类识别模块,用于将待测物品表面图像输入缺陷检测模型,以识别确定缺陷种类;其中,所述缺陷检测模型为深度学习模型,包括至少两层特征提取网络;
图像特征提取模块,用于提取所述缺陷检测模型在识别过程中由至少一层特征提取网络输出的中级图像特征;
图像特征匹配模块,用于将所述中级图像特征与预设中级图像特征库中的中级图像特征进行匹配;
缺陷种类校正模块,具体用于如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类一致,则确认识别确定的缺陷种类为最终缺陷种类;如果匹配结果为匹配到的中级图像特征所对应的缺陷种类,与识别确定的缺陷种类不一致,则确认匹配到的缺陷种类为最终缺陷种类或上报异常识别现象;其中,所述预设中级图像特征库中的中级图像特征是基于标注缺陷种类的物品表面图像,输入所述缺陷检测模型后,从至少一层特征提取网络中提取的特征。
14.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。
CN202010538153.7A 2020-06-12 2020-06-12 一种物品表面缺陷的检测方法、装置、设备和介质 Active CN111738322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010538153.7A CN111738322B (zh) 2020-06-12 2020-06-12 一种物品表面缺陷的检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010538153.7A CN111738322B (zh) 2020-06-12 2020-06-12 一种物品表面缺陷的检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111738322A CN111738322A (zh) 2020-10-02
CN111738322B true CN111738322B (zh) 2023-09-01

Family

ID=72649050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010538153.7A Active CN111738322B (zh) 2020-06-12 2020-06-12 一种物品表面缺陷的检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111738322B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532838B (zh) * 2020-11-25 2023-03-07 努比亚技术有限公司 一种图像处理方法、移动终端以及计算机存储介质
CN113222967A (zh) * 2021-05-28 2021-08-06 长江存储科技有限责任公司 晶圆的检测方法及***
CN113744268B (zh) * 2021-11-04 2022-04-22 深圳市城市交通规划设计研究中心股份有限公司 一种裂纹检测方法、电子设备及可读存储介质
CN114708484B (zh) * 2022-03-14 2023-04-07 中铁电气化局集团有限公司 适用于识别缺陷的图形分析方法
CN114663403B (zh) * 2022-03-25 2022-11-18 北京城建设计发展集团股份有限公司 基于密集扫描数据的预制构件拼装面局部缺陷识别方法
CN115187927B (zh) * 2022-07-27 2024-03-26 上海志远生态园林工程有限公司 一种观景座椅远程监测管理方法及***
CN116258714B (zh) * 2023-05-12 2023-08-01 苏州苏映视图像软件科技有限公司 一种缺陷识别方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109342456A (zh) * 2018-09-14 2019-02-15 广东工业大学 一种焊点缺陷检测方法、装置、设备及可读存储介质
CN109598721A (zh) * 2018-12-10 2019-04-09 广州市易鸿智能装备有限公司 电池极片的缺陷检测方法、装置、检测设备和存储介质
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、***和装置
WO2020092509A1 (en) * 2018-10-30 2020-05-07 University of North Texas System Reconfigurable fabric inspection system
CN111160451A (zh) * 2019-12-27 2020-05-15 中山德著智能科技有限公司 一种柔性材料检测方法及其储存介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109342456A (zh) * 2018-09-14 2019-02-15 广东工业大学 一种焊点缺陷检测方法、装置、设备及可读存储介质
WO2020092509A1 (en) * 2018-10-30 2020-05-07 University of North Texas System Reconfigurable fabric inspection system
CN109598721A (zh) * 2018-12-10 2019-04-09 广州市易鸿智能装备有限公司 电池极片的缺陷检测方法、装置、检测设备和存储介质
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、***和装置
CN111160451A (zh) * 2019-12-27 2020-05-15 中山德著智能科技有限公司 一种柔性材料检测方法及其储存介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚明海 等.基于深度主动学习的磁片表面缺陷检测.《计算机测量与控制》.2018,第26卷(第9期),第29-33页. *

Also Published As

Publication number Publication date
CN111738322A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738322B (zh) 一种物品表面缺陷的检测方法、装置、设备和介质
CN111784663B (zh) 零部件的检测方法、装置、电子设备及存储介质
CN111768381A (zh) 零部件缺陷检测方法、装置及电子设备
Deng et al. Building an automatic defect verification system using deep neural network for pcb defect classification
CN108346144B (zh) 基于计算机视觉的桥梁裂缝自动监测与识别方法
US11699283B2 (en) System and method for finding and classifying lines in an image with a vision system
CN111833303A (zh) 产品的检测方法、装置、电子设备及存储介质
CN112507949A (zh) 目标跟踪方法、装置、路侧设备以及云控平台
CN111860319A (zh) 车道线的确定方法、定位精度的评测方法、装置、设备
CN108318773B (zh) 一种输电导线断股检测方法及***
CN110533654A (zh) 零部件的异常检测方法及装置
CN110555838A (zh) 基于图像的零件故障检测方法及装置
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN112288699B (zh) 图像相对清晰度的评估方法、装置、设备和介质
CN111179250A (zh) 一种基于多任务学习的工业品缺陷检测***
CN113091757B (zh) 地图生成方法和装置
CN111062934A (zh) 一种织物图像缺陷实时检测方法
CN111814633A (zh) 陈列场景检测方法、装置、设备以及存储介质
CN108460344A (zh) 屏幕中的动态区域智能识别***及智能识别方法
US8542905B2 (en) Determining the uniqueness of a model for machine vision
CN111444819B (zh) 切割帧确定方法、网络训练方法、装置、设备及存储介质
CN105023018A (zh) 一种喷码检测方法及***
CN110458809B (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
KR20240058827A (ko) 비전 시스템을 이용하여 이미지에서 라인들을 찾고 분류하기 위한 시스템 및 방법
CN111696095B (zh) 用于检测物体表面缺陷的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant