CN110490872B - 加工设备的异物检测方法和*** - Google Patents

加工设备的异物检测方法和*** Download PDF

Info

Publication number
CN110490872B
CN110490872B CN201910798979.4A CN201910798979A CN110490872B CN 110490872 B CN110490872 B CN 110490872B CN 201910798979 A CN201910798979 A CN 201910798979A CN 110490872 B CN110490872 B CN 110490872B
Authority
CN
China
Prior art keywords
image
detected
difference
region
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910798979.4A
Other languages
English (en)
Other versions
CN110490872A (zh
Inventor
孟凡武
王立忠
许一尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910798979.4A priority Critical patent/CN110490872B/zh
Publication of CN110490872A publication Critical patent/CN110490872A/zh
Application granted granted Critical
Publication of CN110490872B publication Critical patent/CN110490872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种加工设备的异物检测方法和***,包括:获取加工设备在工作时的待检测图像;在多张样本图像中查询与待检测图像最为匹配的样本图像,得到目标样本图像;将待检测图像配准到目标样本图像所在的坐标系中,得到配准后的待检测图像;计算配准后的待检测图像与目标样本图像的差分图像,并对差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作;对配准后的待检测图像进行特征提取操作,得到第一特征,和对目标样本图像进行特征提取操作,得到第二特征;计算第一特征与第二特征之间的欧氏距离;基于欧氏距离判断加工设备是否在工作时出现异物。缓解了现有技术中存在的无法实时检测加工设备中的异物情况的技术问题。

Description

加工设备的异物检测方法和***
技术领域
本发明涉及异物检测技术领域,尤其是涉及一种加工设备的异物检测方法和***。
背景技术
传统的检测方法大多采取人工监视加工设备内部状态的方式,当加工设备工作时,由操作工人通过目视的方式观察加工设备的内部情况,一旦发现异物或者异常,立即紧急制动。由于加工设备内异物或者异常具有偶发性和突然性,操作工人即使长时间紧盯,也很难在发生问题时及时采取应对措施,避免损害发生。此外还有的运用传感器监测加工设备。通过在加工设备上安装传感器采集信号或者直接采集加工设备上传感器的信号,运用信号处理算法得出正常状态与非正常状态的信号差别。然而在实际生产中应用的最大障碍是无法实时检测加工设备中的异物或者异常情况,只能在出现异物之后检测到信号变化,起不到事先防范的作用,对预防加工设备发生异物进而导致故障的作用有限。
发明内容
有鉴于此,本发明的目的在于提供一种加工设备的异物检测方法和***,以缓解了现有技术中存在的无法实时检测加工设备中的异物情况的技术问题。
第一方面,本发明实施例提供了一种加工设备的异物检测方法,包括:获取加工设备在工作时的待检测图像;在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像;其中,所述多张样本图像为所述加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像;将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像;计算所述配准后的待检测图像与所述目标样本图像的差分图像,并对所述差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域;对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第二特征;计算所述第一特征与所述第二特征之间的欧氏距离;基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
进一步地,在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像,包括:分别计算所述待检测图像与所述多张样本图像的差分图像,得到多个差分图像;计算所述多个差分图像的F-范数,得到多个F-范数值;将所述多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
进一步地,将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像,包括:计算所述待检测图像与所述目标样本图像之间的仿射变换矩阵;基于所述仿射变换矩阵,对所述待检测图像做仿射变换,得到配准后的待检测图像。
进一步地,对所述差分图像进行阈值分割操作和8连通区域筛选操作,得到目标差分区域,包括:对所述差分图像进行阈值分割操作,得到第一差分图像;对所述第一差分图像进行高斯低通滤波操作,得到第二差分图像;对所述第二差分图像进行8连通区域分割操作,将得到的8连通区域中,面积大于预设值的区域作为目标差分区域。
进一步地,对所述差分图像进行区域平移操作,得到目标差分区域,包括:分别将所述差分图像向下和向右平移第一预设值和第二预设值,得到目标差分区域。
进一步地,基于所述欧氏距离判断所述加工设备是否在工作时出现异物,包括:改变所述第一预设值和所述第二预设值的取值,计算得到不同取值下的多个欧式距离;将所述多个欧式距离中的最小距离作为匹配欧式距离;计算所述多个欧式距离中的最大距离与所述多个欧式距离的平均值的比值,得到欧式距离的平移变化率;基于所述匹配欧式距离与所述平移变化率,判断所述加工设备是否在工作时出现异物。
进一步地,基于所述匹配欧式距离与所述平移变化率,判断所述加工设备是否在工作时出现异物,包括:将所述平移变化率代入到预设优化函数中,得到优化之后的平移变化率;计算所述匹配欧式距离与所述优化之后的平移变化率的比值,得到判断比值;比较所述判断比值与预设阈值的大小,若所述判断比值大于或等于所述预设阈值,则判断所述加工设备在工作时出现了异物。
进一步地,所述优化函数包括以下至少之一:对号函数,布特沃斯函数。
第二方面,本发明实施例还提供了一种加工设备的异物检测***,包括:获取模块,查询模块,配准模块,差分模块,特征提取模块,计算模块和判断模块,其中,所述获取模块,用于获取加工设备在工作时的待检测图像;所述查询模块,用于在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像;其中,所述多张样本图像为所述加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像;所述配准模块,用于将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像;所述差分模块,用于计算所述配准后的待检测图像与所述目标样本图像的差分图像,并对所述差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域;所述特征提取模块,用于对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第二特征;所述计算模块,用于计算所述第一特征与所述第二特征之间的欧氏距离;所述判断模块,用于基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
本发明实施例提供了一种加工设备的异物检测方法和***,通过对加工设备在工作过程中,实时获取到的待检测图像进行处理,与无异物工作时的样本图像进行对比,最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算,得到欧式距离,并基于欧式距离判断所述加工设备是否在工作时出现异物。本发明通过以上方式缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种加工设备的异物检测方法的流程图;
图2为本发明实施例提供的一种基于欧式距离判断加工设备是否在工作时出现异物的方法的流程图;
图3为本发明实施例提供的一种8连通区域的分割方式的示意图;
图4为本发明实施例提供的一种dx空间模板的示意图;
图5为本发明实施例提供的一种dy空间模板的示意图;
图6为本发明实施例提供的一种加工设备的异物检测***的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
图1是根据本发明实施例提供的一种加工设备的异物检测方法的流程图,如图1所示,该方法具体包括如下步骤:
步骤S102,获取加工设备在工作时的待检测图像。
具体地,通过图像获取装置获取加工设备在工作过程中的图作为待检测图像,然后对待检测图像进行区域分割,将得到的仅包含感兴趣区域(region of interest,简称ROI区域)图像作为待检测图像。
步骤S104,在多张样本图像中查询与待检测图像最为匹配的样本图像,得到目标样本图像;其中,多张样本图像为加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像。
具体地,对包含加工设备的周期性运动场景进行采样,得到一个采样周期内不同时刻所对应的样本图像,其中,得到的多张样本图像为加工设备在无异物时工作过程中经区域分割后的采样图像。
然后通过计算两图像差值的F-范数的方法在多张样本图像中查询与待检测图像最为匹配的目标样本图像。具体地,分别计算待检测图像与多张样本图像的差分图像,得到多个差分图像;计算多个差分图像的F-范数,得到多个F-范数值;将多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
可选地,一个采样周期可以为加工设备的一个工作周期。
步骤S106,将待检测图像配准到目标样本图像所在的坐标系中,得到配准后的待检测图像。
具体地,计算待检测图像与目标样本图像之间的仿射变换矩阵;基于仿射变换矩阵,对待检测图像做仿射变换,得到配准后的待检测图像。这样可以使变换后的待检测图像与目标样本图像在细节上更好的匹配上。
步骤S108,计算配准后的待检测图像与目标样本图像的差分图像,并对差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域。
具体地,首先对差分图像进行阈值分割操作,得到第一差分图像。可选地,在本发明实施例中,对差分图像进行二值分割操作,得到第一差分图像。
然后对第一差分图像进行高斯低通滤波操作,得到第二差分图像。目的是过滤掉第一差分图像中的高频细节干扰,从而得到包含较大8连通区域的图像。
之后对第二差分图像进行8连通区域分割操作,将得到的8连通区域中,面积大于预设值的区域作为目标差分区域。具体地,标定第二差分图像中所有的8连通区域,过滤掉面积小于或等于预设值的8连通区域,得到目标差分区域。
最后分别将差分图像向下和向右平移第一预设值和第二预设值,得到目标差分区域。
步骤S110,对配准后的待检测图像中与目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对目标样本图像中与目标差分区域相对应的区域进行特征提取操作,得到第二特征。
具体地,通过空间模块对配准后的待检测图像和目标样本图像的对应区域进行特征提取。
步骤S112,计算第一特征与第二特征之间的欧氏距离。
步骤S114,基于欧氏距离判断加工设备是否在工作时出现异物。
本发明实施例提供了一种加工设备的异物检测方法,通过对加工设备在工作过程中,实时获取到的待检测图像进行处理,与无异物工作时的样本图像进行对比,最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算,得到欧式距离,并基于欧式距离判断所述加工设备是否在工作时出现异物。本发明通过以上方式缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
可选地,图2是根据本发明实施例提供的一种基于欧氏距离判断加工设备是否在工作时出现异物的方法的流程图,即步骤S114的具体判断过程,如图2所示,步骤S114还包括如下步骤:
步骤S1141,改变第一预设值和第二预设值的取值,计算得到不同取值下的多个欧式距离。
步骤S1142,将多个欧式距离中的最小距离作为匹配欧式距离。
步骤S1143,计算多个欧式距离中的最大距离与多个欧式距离的平均值的比值,得到欧式距离的平移变化率。
步骤S1144,基于匹配欧式距离与平移变化率,判断加工设备是否在工作时出现异物。
具体地,步骤S1144还包括如下过程:
步骤S11441,将平移变化率代入到预设优化函数中,得到优化之后的平移变化率。可选地,优化函数包括以下至少之一:对号函数,布特沃斯函数。
步骤S11442,计算匹配欧式距离与优化之后的平移变化率的比值,得到判断比值;
步骤S11443,比较判断比值与预设阈值的大小,若判断比值大于或等于预设阈值,则判断加工设备在工作时出现了异物。
可选地,若判断比值小于预设阈值,则判断加工设备在工作时没有出现异物。
通过以上描述可知,本发明提供了一种加工设备的异物检测方法,通过对加工设备在工作过程中,实时获取到的待检测图像进行处理,与无异物工作时的样本图像进行对比,最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算,得到欧式距离,并基于欧式距离判断所述加工设备是否在工作时出现异物的方式,缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。以及实现了加工设备中异物的实时、零漏检率、极低错检率的监测,达到了能在异物出现时及时停机以避免异物可能造成的模具设备损坏的技术问题,进而能够提高生产效率避免财产损失及人员伤亡的出现。
实施例二:
以下为根据上述实施例一所提供的一种加工设备的异物检测方法所实施的一种具体实施例。例如:
步骤S1.周期性运动场景采样。
具体地,对周期性运动场景(即加工设备的工作场景)进行采样,区域分割,获得n张图片(即上述实施例一中的多张样本图像),记为Im1,Im2,Im3,...,Imn
步骤S2.待检测图像采集、差分、阈值分割。
具体地,采集待检测图像,对其进行区域分割,将分割后的图像记为Imw。分别计算Imw与Imi(i=1,2,...,n)差的F-范数||Imw-Imi||F。记使得||Imw-Imi||F最小的Imi
Figure BDA0002180643920000081
(即上述实施例一中的目标样本图像)。然后计算
Figure BDA0002180643920000082
与Imw之间的仿射变换矩阵,基于此矩阵将Imw配准到
Figure BDA0002180643920000083
的坐标系中,得到图像Imwd(即上述实施例一中的配准后的待检测图像)。将Imwd
Figure BDA0002180643920000091
代入下式,
Figure BDA0002180643920000092
其中,Imdf(i,j)为Imdf的第i行,第j列的元素(Imwd(i,j)记号等含义类同),thred为预设常数,本实施例中取thred=0.2。
步骤S3.对Imdf1(即上述实施例一中的第一差分图像)进行初步处理。具体地,包括:
a)对Imdf1进行高斯低通滤波操作,其sigma视图像质量而定。本实施例中取sigma=1.5。目的是滤掉高频细节干扰。得到包含较大8连通局域的图像Imdf2(即上述实施例一中的第二差分图像)。
b)标定Imdf2所有的8连通区域,滤掉Imdf2中的小面积(本实施例中以面积小于thred1=10作为小面积)8连通区域,得到Imdf。记Imdf中的连通局域分别为reg1,reg2,regm
c)将regj(j=1,2,...,m)在Imdf上分别向下向右平移u,v个像素(u=v=-2、-1、0、1、2.),得到的区域记为
Figure BDA0002180643920000093
(j=1,2,...,m,u=v=-2、-1、0、1、2.)。
步骤S4.多分辨率表示。
记差分图像Imdf中连通区域regj(j=1,2,…,m)的面积为aeraj。记regj在Imwd上的对应区域为regjwd
Figure BDA0002180643920000094
Figure BDA0002180643920000095
上的对应区域为
Figure BDA0002180643920000096
由此定义区域regjwd
Figure BDA0002180643920000097
的采样步长为:
Figure BDA0002180643920000098
其中,[]为取整函数,thred1为常数,优选地,在本发明实施例中,取thred1=30。
利用求得的采样步长来确定待提取特征的区域regjwd
Figure BDA0002180643920000101
的采样点,可实现对可能异物的多分辨率表示,可以在保证不丢失信息的同时,忽略一些噪声细节干扰并提高特征提取的速度。为后续表述方便,在本发明实施例中,将待提取特征的区域regjwd
Figure BDA0002180643920000102
统记为reg′。
步骤S5.特征提取。
将reg′分割为3s*3s的正方形,其中,s为步骤S4中确定的采样步长。如图3所示,图中子正方形的中心坐标落在连通区域内则保留,否则不保留。
记一个待提取特征区域的各个正方形为squi(i=1,2,…,n1)。计算squi(i=1,2,...,n1)内3*3个采样点的dx,dy(采样步长为步骤S4中确定的采样步长s)。本实施例中采用的dx,dy响应计算模板分别如图4和图5所示,其中,图4为dx空间模板,图5为dy空间模板,其中,图4和图5中的黑色方块表示权重为-1,灰色方块表示权重为0,白色方块表示权重为+1。
计算squi(i=1,2,...,n1)的描述子:
Figure BDA0002180643920000103
其中k0=|(∑dx,∑|dx|,∑dy,∑|dy|)|,用来归一化描述子αi,以图消除光照的影响。
步骤S6.最终判定。具体包括:
a)计算待检测图像中每一个区域
Figure BDA0002180643920000104
(j=1,2,...,m)与背景图库中对应图像的对应的一组区域
Figure BDA0002180643920000105
(j=1,2,…,m,u=v=-2、-1、0、1、2.)特征的欧式距离
Figure BDA0002180643920000106
其中,欧式距离由以下公式给出:
Figure BDA0002180643920000107
其中,
Figure BDA0002180643920000111
为配准后的待检测图像中区域
Figure BDA0002180643920000112
(j=1,2,...,m)中子正方形squi(i=1,2,...,n1)的中心坐标。
Figure BDA0002180643920000113
为配准后的待检测图像中区域
Figure BDA0002180643920000114
(j=1,2,...,m)的中心坐标。σ为标准差,本实施例中取σ=1.5。k1为归一化系数,
Figure BDA0002180643920000115
定义待检测图像中每一个区域
Figure BDA0002180643920000116
(j=1,2,...,m)特征的匹配距离
Figure BDA0002180643920000117
(j=1,2,...,m)。其中,min表示取多个特征的欧式距离中的最小值。
b)计算待检测图像中每一个区域
Figure BDA0002180643920000118
(j=1,2,...,m)的匹配距离平移变化率ratj(j=1,2,...,m)。其中,ratj由如下公式给出:
Figure BDA0002180643920000119
其中,
Figure BDA00021806439200001110
Figure BDA00021806439200001111
对于u=v=-2、-1、0、1、2的平均数。
c)最终判断。若
Figure BDA00021806439200001112
则区域
Figure BDA00021806439200001113
(j=1,2,...,m)为干扰区域,即非缺陷。否则为真正缺陷区域。其中,
Figure BDA00021806439200001114
即对号函数,对号函数对比值敏感,故此处用对号函数对ratj(j=1,2,...,m)进行优化。
Figure BDA00021806439200001115
即布特沃斯函数,因为小面积区域的ratj(j=1,2,...,m)易受噪声等干扰,可信度低,故用此函数进行屏蔽。此处n,x0视图像大小而定,本实施例中分别取n=5,x0=90。areaj
Figure BDA00021806439200001116
(j=1,2,...,m)的面积。
实施例三:
图6是根据本发明实施例提供的一种加工设备的异物检测***的示意图,如图6所示,该***包括:获取模块10,查询模块20,配准模块30,差分模块40,特征提取模块50,计算模块60和判断模块70。
具体地,获取模块10,用于获取加工设备在工作时的待检测图像。
查询模块20,用于在多张样本图像中查询与待检测图像最为匹配的样本图像,得到目标样本图像;其中,多张样本图像为加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像。
配准模块30,用于将待检测图像配准到目标样本图像所在的坐标系中,得到配准后的待检测图像。
差分模块40,用于计算配准后的待检测图像与目标样本图像的差分图像,并对差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域。
特征提取模块50,用于对配准后的待检测图像中与目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对目标样本图像中与目标差分区域相对应的区域进行特征提取操作,得到第二特征。
计算模块60,用于计算第一特征与第二特征之间的欧氏距离。
判断模块70,用于基于欧氏距离判断加工设备是否在工作时出现异物。
本发明实施例提供了一种加工设备的异物检测***,通过对加工设备在工作过程中,实时获取到的待检测图像进行处理,与无异物工作时的样本图像进行对比,最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算,得到欧式距离,并基于欧式距离判断所述加工设备是否在工作时出现异物的方式,缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
具体地,查询模块20还用于对包含加工设备的周期性运动场景进行采样,得到一个采样周期内不同时刻所对应的样本图像,其中,得到的多张样本图像为加工设备在无故障时工作过程中的采样图像。
然后通过计算两图像差值的F-范数的方法在多张样本图像中查询与待检测图像最为匹配的目标样本图像。具体地,分别计算待检测图像与多张样本图像的差分图像,得到多个差分图像;计算多个差分图像的F-范数,得到多个F-范数值;将多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
可选地,一个采样周期可以为加工设备的一个工作周期。
具体地,配准模块30还用于计算待检测图像与目标样本图像之间的仿射变换矩阵;基于仿射变换矩阵,对待检测图像做仿射变换,得到配准后的待检测图像。这样可以使变换后的待检测图像与目标样本图像在细节上更好的匹配上。
可选地,差分模块40还包括:阈值分割单元41,滤波单元42,8连通区域筛选单元43和区域平移单元44。
具体地,阈值分割单元41,用于对差分图像进行阈值分割操作,得到第一差分图像。可选地,在本发明实施例中,对差分图像进行二值分割操作,得到第一差分图像。
滤波单元42,用于对第一差分图像进行高斯低通滤波操作,得到第二差分图像。目的是过滤掉第一差分图像中的高频细节干扰,从而得到包含较大8连通区域的图像。
8连通区域筛选单元43,用于对第二差分图像进行8连通区域分割操作,将得到的8连通区域中,面积大于预设值的区域作为目标差分区域。具体地,标定第二差分图像中所有的8连通区域,过滤掉面积小于或等于预设值的8连通区域,得到目标差分区域。
区域平移单元44,用于分别将差分图像向下和向右平移第一预设值和第二预设值,得到目标差分区域。
可选地,判断模块70还包括:第一计算单元71,第二计算单元72和异物判断单元73。
具体地,第一计算单元71,用于改变第一预设值和第二预设值的取值,计算得到不同取值下的多个欧式距离;将多个欧式距离中的最小距离作为匹配欧式距离。
第二计算单元72,用于计算多个欧式距离中的最大距离与多个欧式距离的平均值的比值,得到欧式距离的平移变化率。
异物判断单元73,用于基于匹配欧式距离与平移变化率,判断加工设备是否在工作时出现异物。
本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例一或实施例二中任一实施例的方法的步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种加工设备的异物检测方法,其特征在于,包括:
获取加工设备在工作时的待检测图像;
在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像;其中,所述多张样本图像为所述加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像;
将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像;
计算所述配准后的待检测图像与所述目标样本图像的差分图像,并对所述差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域;
对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第二特征;
计算所述第一特征与所述第二特征之间的欧氏距离;
基于所述欧氏距离判断所述加工设备是否在工作时出现异物;
对所述差分图像进行区域平移操作,得到目标差分区域,包括:
分别将所述差分图像向下和向右平移第一预设值和第二预设值,得到目标差分区域;
基于所述欧氏距离判断所述加工设备是否在工作时出现异物,包括:
改变所述第一预设值和所述第二预设值的取值,计算得到不同取值下的多个欧式距离;
将所述多个欧式距离中的最小距离作为匹配欧式距离;
计算所述多个欧式距离中的最大距离与所述多个欧式距离的平均值的比值,得到欧式距离的平移变化率;
基于所述匹配欧式距离与所述平移变化率,判断所述加工设备是否在工作时出现异物;
基于所述匹配欧式距离与所述平移变化率,判断所述加工设备是否在工作时出现异物,包括:
将所述平移变化率代入到预设优化函数中,得到优化之后的平移变化率;
计算所述匹配欧式距离与所述优化之后的平移变化率的比值,得到判断比值;
比较所述判断比值与预设阈值的大小,若所述判断比值大于或等于所述预设阈值,则判断所述加工设备在工作时出现了异物。
2.根据权利要求1所述的方法,其特征在于,在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像,包括:
分别计算所述待检测图像与所述多张样本图像的差分图像,得到多个差分图像;
计算所述多个差分图像的F-范数,得到多个F-范数值;
将所述多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
3.根据权利要求1所述的方法,其特征在于,将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像,包括:
计算所述待检测图像与所述目标样本图像之间的仿射变换矩阵;
基于所述仿射变换矩阵,对所述待检测图像做仿射变换,得到配准后的待检测图像。
4.根据权利要求1所述的方法,其特征在于,对所述差分图像进行阈值分割操作和8连通区域筛选操作,得到目标差分区域,包括:
对所述差分图像进行阈值分割操作,得到第一差分图像;
对所述第一差分图像进行高斯低通滤波操作,得到第二差分图像;
对所述第二差分图像进行8连通区域分割操作,将得到的8连通区域中,面积大于预设值的区域作为目标差分区域。
5.根据权利要求1所述的方法,其特征在于,所述优化函数包括以下至少之一:对号函数,布特沃斯函数。
6.一种加工设备的异物检测***,其特征在于,包括:获取模块,查询模块,配准模块,差分模块,特征提取模块,计算模块和判断模块,其中,
所述获取模块,用于获取加工设备在工作时的待检测图像;
所述查询模块,用于在多张样本图像中查询与所述待检测图像最为匹配的样本图像,得到目标样本图像;其中,所述多张样本图像为所述加工设备在一个采样周期内,无异物工作时的不同时刻所对应的样本图像;
所述配准模块,用于将所述待检测图像配准到所述目标样本图像所在的坐标系中,得到配准后的待检测图像;
所述差分模块,用于计算所述配准后的待检测图像与所述目标样本图像的差分图像,并对所述差分图像进行阈值分割操作,8连通区域筛选操作以及区域平移操作,得到目标差分区域;
所述特征提取模块,用于对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第一特征,和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作,得到第二特征;
所述计算模块,用于计算所述第一特征与所述第二特征之间的欧氏距离;
所述判断模块,用于基于所述欧氏距离判断所述加工设备是否在工作时出现异物;
所述差分模块还包括区域平移单元,用于分别将所述差分图像向下和向右平移第一预设值和第二预设值,得到目标差分区域;
所述判断模块还包括:第一计算单元,第二计算单元和异物判断单元;
所述第一计算单元,用于改变所述第一预设值和所述第二预设值的取值,计算得到不同取值下的多个欧式距离;将所述多个欧式距离中的最小距离作为匹配欧式距离;
所述第二计算单元,用于计算所述多个欧式距离中的最大距离与所述多个欧式距离的平均值的比值,得到欧式距离的平移变化率;
所述异物判断单元,用于基于所述匹配欧式距离与所述平移变化率,判断所述加工设备是否在工作时出现异物。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
CN201910798979.4A 2019-08-27 2019-08-27 加工设备的异物检测方法和*** Active CN110490872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910798979.4A CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910798979.4A CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和***

Publications (2)

Publication Number Publication Date
CN110490872A CN110490872A (zh) 2019-11-22
CN110490872B true CN110490872B (zh) 2022-03-01

Family

ID=68554715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910798979.4A Active CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和***

Country Status (1)

Country Link
CN (1) CN110490872B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680609B (zh) * 2020-06-03 2023-02-07 合肥中科类脑智能技术有限公司 基于图像配准和目标检测的异物识别***及其方法
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、***、设备及介质
CN113724247B (zh) * 2021-09-15 2024-05-03 国网河北省电力有限公司衡水供电分公司 一种基于图像判别技术的变电站智能巡检方法
CN117278692B (zh) * 2023-11-16 2024-02-13 邦盛医疗装备(天津)股份有限公司 一种医疗检测车病患监测数据脱敏保护方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834931A (zh) * 2015-03-13 2015-08-12 江南大学 一种基于小波变换的改进的尺度不变特征匹配算法
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
CN108288274A (zh) * 2018-02-24 2018-07-17 北京理工大学 模具检测方法、装置以及电子设备
CN109933684A (zh) * 2019-02-14 2019-06-25 北京工业大学 基于pcl库和特征值提取的飞机零件三维模型的检索方法
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323439B2 (ja) * 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10628703B2 (en) * 2017-12-19 2020-04-21 International Business Machines Corporation Identifying temporal changes of industrial objects by matching images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834931A (zh) * 2015-03-13 2015-08-12 江南大学 一种基于小波变换的改进的尺度不变特征匹配算法
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
CN108288274A (zh) * 2018-02-24 2018-07-17 北京理工大学 模具检测方法、装置以及电子设备
CN109933684A (zh) * 2019-02-14 2019-06-25 北京工业大学 基于pcl库和特征值提取的飞机零件三维模型的检索方法
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A multi-scale and multi-orientation image retrieval;SHAO ZhenFeng;《SCIENCE CHINA》;20110430;论文全文 *
一种基于运动边缘检测的视频对象分割新算法;贾振堂;《计算机研究与发展》;20030530;论文全文 *
基于标准化欧式距离的双向特征匹配算法研究;黄海波;《电脑与电信》;20181110;论文全文 *

Also Published As

Publication number Publication date
CN110490872A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490872B (zh) 加工设备的异物检测方法和***
WO2022088620A1 (zh) 相机镜头的状态检测方法、装置、设备及存储介质
WO2009148092A1 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US9558403B2 (en) Chemical structure recognition tool
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别***与方法
CN112308854B (zh) 一种芯片表面瑕疵的自动检测方法、***及电子设备
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
AU2020103260A4 (en) Rice blast grading system and method
CN105891230B (zh) 基于光谱图像分析的水果外表检测方法
CN111768455A (zh) 一种基于图像的木材区域和主色提取方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN115018785A (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
CN109948629B (zh) 一种基于sift特征的gis设备x射线图像故障检测方法
CN113822279B (zh) 基于多特征融合的红外目标检测方法、装置、设备及介质
CN114820626A (zh) 一种汽车前脸零件配置智能检测方法
CN104966283A (zh) 图像分层配准方法
CN110796654A (zh) 一种引导线检测方法、装置、设备、轮胎吊及介质
CN114581658A (zh) 一种基于计算机视觉的目标检测方法及装置
CN113723314A (zh) 一种基于YOLOv3算法的甘蔗茎节识别方法
CN117372338A (zh) 一种镜面缺陷检测方法、装置、设备及可读存储介质
CN117079286A (zh) 一种指针仪表的识别方法和识别***
CN111724375A (zh) 一种屏幕检测方法及***
CN114758139B (zh) 基坑积水检测方法
CN116188510A (zh) 一种基于多传感器的企业排放数据采集***
CN109461165A (zh) 基于图像三色分割的厨房油烟浓度划分标识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant