CN116703926A - 缺陷检测方法、装置、计算机设备及计算机可读存储介质 - Google Patents

缺陷检测方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116703926A
CN116703926A CN202310988253.3A CN202310988253A CN116703926A CN 116703926 A CN116703926 A CN 116703926A CN 202310988253 A CN202310988253 A CN 202310988253A CN 116703926 A CN116703926 A CN 116703926A
Authority
CN
China
Prior art keywords
boundary line
window
path point
current position
acquisition window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310988253.3A
Other languages
English (en)
Other versions
CN116703926B (zh
Inventor
刘思丹
周超
吕江波
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Suzhou Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Simou Intelligent Technology Co ltd, Shenzhen Smartmore Technology Co Ltd filed Critical Suzhou Simou Intelligent Technology Co ltd
Priority to CN202310988253.3A priority Critical patent/CN116703926B/zh
Publication of CN116703926A publication Critical patent/CN116703926A/zh
Application granted granted Critical
Publication of CN116703926B publication Critical patent/CN116703926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。方法包括:获取区域边框集合;生成第一边界线、第二边界线、第三边界线、第四边界线;基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,基于路径点采集窗口的当前位置确定路径点;基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,且在路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,直到路径点采集窗口与第三边界线和第四边界线均相交为止;基于至少部分路径点生成缺陷检测路径。采用本方法能够提高缺陷检测的效率。

Description

缺陷检测方法、装置、计算机设备及计算机可读存储介质
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着计算机视觉技术的发展,出现了缺陷检测技术,例如,可以对电子面板上分布的多个元件进行缺陷检测,电子面板可以是电路板或LED(Light Emitting Diode,发光二极管)背光板。由于缺陷检测的检测视野的尺寸比电子面板的尺寸小,在对电子面板进行缺陷检测之前,需要预先规划缺陷检测路径。
传统技术中,通常基于电子面板上相邻元件之间的距离规划缺陷检测路径。
然而,由于电子面板上的元件通常为随机分布,元件的种类、尺寸均不一致,采用基于电子面板上相邻元件之间的距离规划缺陷检测路径的方式,耗时较长,且容易使得缺陷检测存在漏检或重复检测的情况,导致缺陷检测的效率较低。
发明内容
本申请提供一种缺陷检测方法、装置、计算机设备及计算机可读存储介质,能够提高缺陷检测的效率。
第一方面,本申请提供了一种缺陷检测方法,包括:
获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;
在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;所述区域边框集合中的各区域边框,位于所述第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;
基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置,基于所述路径点采集窗口在当前位置下包括的各区域边框,更新所述路径点采集窗口的当前位置;
更新后,基于所述路径点采集窗口的当前位置确定路径点;
基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,且在所述路径点采集窗口与所述第三边界线相交的情况下,朝着靠近所述第四边界线的方向更新第一边界线的位置,返回所述基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置的步骤,直到所述路径点采集窗口与所述第三边界线和第四边界线均相交为止;
基于至少部分路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。
第二方面,本申请还提供了一种缺陷检测装置,包括:
区域边框获取模块,用于获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;
边界线生成模块,用于在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;所述区域边框集合中的各区域边框,位于所述第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;
位置确定模块,用于基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置,基于所述路径点采集窗口在当前位置下包括的各区域边框,更新所述路径点采集窗口的当前位置;
路径点确定模块,用于更新后,基于所述路径点采集窗口的当前位置确定路径点;
位置更新模块,用于基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,且在所述路径点采集窗口与所述第三边界线相交的情况下,朝着靠近所述第四边界线的方向更新第一边界线的位置,返回所述基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置的步骤,直到所述路径点采集窗口与所述第三边界线和第四边界线均相交为止;
路径生成模块,用于基于至少部分路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。
第三方面,本申请还提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述缺陷检测方法中的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述缺陷检测方法中的步骤。
第五方面,本申请还提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述缺陷检测方法中的步骤。
上述缺陷检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取电子面板的图像中的各元件区域的区域边框得到区域边框集合,在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线,基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,并朝着靠近第三边界线的方向不断更新路径点采集窗口的当前位置,直到路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,直到路径点采集窗口与第三边界线和第四边界线均相交为止,从而不断得到新的路径点,在电子面板上的元件为多种类、多尺寸、随机分布的情况下,也可以基于至少部分路径点快速生成缺陷检测路径,且利用生成的缺陷检测路径对电子面板进行缺陷检测的过程中,重复检测或漏检元件的情况较少,从而提高了缺陷检测的效率。
附图说明
图1为本申请实施例提供的一种缺陷检测方法的应用环境图;
图2为本申请实施例提供的一种缺陷检测方法的流程示意图;
图3为本申请实施例提供的一种电子面板的图像中的区域边框的示意图;
图4A为本申请实施例提供的一种目标区域的各边界线的示意图;
图4B为本申请实施例提供的一种路径点采集窗口在目标区域中的初始位置以及更新后的位置的示意图;
图4C为本申请实施例提供的一种向右更新路径点采集窗口的当前位置的示意图;
图4D为本申请实施例提供的一种利用更新后的第一边界线更新路径点采集窗口的当前位置的示意图;
图4E为本申请实施例提供的一种筛选路径点的步骤的示意图;
图5为本申请实施例提供的另一种缺陷检测方法的流程示意图;
图6为本申请实施例提供的一种缺陷检测装置的结构框图;
图7为本申请实施例中一种计算机设备的内部结构图;
图8为本申请实施例中另一种计算机设备的内部结构图;
图9为本申请实施例中一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的缺陷检测方法,可以应用于如图1所示的应用环境中。该应用环境包括计算机设备102和服务器104,其中,计算机设备102通过通信网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上,也可以放在云上或其他网络服务器上。
具体地,计算机设备102获取电子面板的图像,例如,可以从服务器104获取,还可以从其他设备中获取。然后计算机设备102获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;区域边框集合中的各区域边框,位于第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;计算机设备102基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置;更新后,基于路径点采集窗口的当前位置确定路径点,基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,且在路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤,直到路径点采集窗口与第三边界线和第四边界线均相交为止。计算机设备102基于至少部分路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。计算机设备102可以保存缺陷检测路径,还可以将缺陷检测路径发送至服务器104。服务器104接收并保存缺陷检测路径。
其中,计算机设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中,如图2所示,提供了一种缺陷检测方法,以该方法应用于图1中的计算机设备102为例进行说明,包括以下步骤:
步骤202,获取电子面板的图像中的各元件区域的区域边框得到区域边框集合。
其中,电子面板是使电子元器件电气相互连接的载体,电子面板上包括多个元件,例如,电子面板可以是印制电路板或LED背光板,LED背光板可以是Mini-LED背光板。电子面板的图像可以是电子面板的设计图,还可以是对电子面板进行拍摄得到的图像。电子面板的图像中包括元件区域,元件区域是电子面板中的元件对应的图像区域,一个元件区域可以对应一个或多个元件。区域边框是对元件区域进行标注得到的边框,区域边框可以是矩形,例如,可以是元件区域的外接矩形框,也可以是其他形状,比如圆形、多边形等。区域边框集合是由电子面板的图像上所有的元件区域的区域边框组成的。
具体地,计算机设备可以获取电子面板的图像,然后确定电子面板图像中的各元件区域的区域边框,得到区域边框集合。如图3所示,展示了电子面板的图像中的部分元件区域的区域边框,一个元件区域的外接矩形框即为一个区域边框,三个路径点采集窗口的中心位置分别对应有一个数字编号,分别为112、113、114,数字编号用于表征路径点采集窗口对应的路径点的排列顺序,排列顺序可以是按照采集的时间顺序确定的,例如,编号112表示第112次采集对应的路径点。
步骤204,在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;区域边框集合中的各区域边框,位于第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中。
其中,第一方向与第二方向是互相垂直的,第一边界线和第四边界线是在第一方向上生成的,第二边界线、第三边界线是在第二方向上生成的,且第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中,包括区域边框集合中的所有区域边框,例如,第一方向可以是水平方向,第二方向可以是竖直方向,则第一边界线和第四边界线是两条不重合的水平直线,第二边界线、第三边界线是两条不重合的竖直直线。
具体地,计算机设备可以确定包括区域边框集合中各区域边框的最小外接矩形,然后基于最小外接矩形确定第一方向和第二方向,例如,可以将最小外接矩形的矩形下边界所在直线的方向确定为第一方向,将最小外接矩形的矩形左边界所在直线的方向确定为第二方向,在第一方向上生成互相平行的第一边界线和第四边界线,在第二方向上生成互相平行的第二边界线和第三边界线,并使得第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域可以完全包括最小外接矩形。如图4A所示,展示了各区域边框均为矩形的示意图,第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域可以为最小外接矩,第一边界线也可称为全局下边界,第四边界线也可称为全局上边界,第二边界线也可称为全局左边界,第三边界线也可称为全局右边界。
步骤206,基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置。
其中,路径点采集窗口用于确定组成电子面板的缺陷检测路径的路径点,路径点采集窗口的尺寸、形状与缺陷检测的检测区域的尺寸、形状一致,检测区域即在缺陷检测过程中对电子面板进行拍摄的拍摄视野下的区域,通常为矩形,路径点采集窗口的尺寸远远小于目标区域的尺寸。路径点采集窗口在目标区域中的当前位置是不断更新的,从而路径点采集窗口在目标区域中是不断移动的,移动方向与缺陷检测过程中进行图像采集的移动方向一致,例如,可以是逐行的从左往右移动,还可以是逐列的从上往下移动。当前位置可以用路径点采集窗口的中心点表示,还可以用路径点采集窗口的窗口边界线的位置表示。
路径点采集窗口具有多各窗口边界线,第一方向上的第一窗口边界线、第一方向上的第四窗口边界线与第一边界线互相平行,且第一方向上的第一窗口边界线与第一边界线之间的距离小于第一方向上的第四窗口边界线与第一边界线之间的距离;第二方向上的第二窗口边界线、第二方向上的第三窗口边界线与第二边界线互相平行,且第二方向上的第二窗口边界线与第二边界线之间的距离小于第二方向上的第三窗口边界线与第二边界线之间的距离,例如,第一边界线为全局下边界、第二边界线为全局左边界的情况下,第一方向上的第一窗口边界线、第一方向上的第四窗口边界线、第二方向上的第二窗口边界线、第二方向上的第三窗口边界线可以分别路径点采集窗口的下边界、上边界、左边界、右边界。
具体地,计算机设备可以根据第一边界线的位置和第二边界线的位置,确定路径点采集窗口在目标区域中的初始位置,将初始位置作为当前位置,然后确定路径点采集窗口在当前位置下包括的各区域边框,根据各区域边框各自的边界线更新路径点采集窗口的当前位置。本次更新是为了使得路径点采集窗口中包括的区域边框的数量尽可能的更多。可以理解的是,这里所说的路径点采集窗口在当前位置下包括的各区域边框,是指全部区域均位于路径点采集窗口内的区域边框,而部分区域位于路径点采集窗口内的区域边框不属于路径点采集窗口在当前位置下包括的各区域边框。
举例说明,如图4B所示,路径点采集窗口的形状为矩形,目标区域的形状为矩形,第一边界线为全局下边界,路径点采集窗口的移动方向为从左往右,计算机设备可以基于第一边界线和第二边界线的位置,确定路径点采集窗口在目标区域中的初始位置,处于初始位置的路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与第二边界线重合。计算机设备将初始位置作为当前位置,根据路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置,使得更新后的路径点采集窗口的第一方向上的第一窗口边界线与各区域边框中的至少一个区域边框的下边界线重合、且更新后的路径点采集窗口的第二方向上的第二窗口边界线与各区域边框中的至少一个区域边框的左边界线重合。
步骤208,更新后,基于路径点采集窗口的当前位置确定路径点。
其中,路径点是基于路径点采集窗口的当前位置确定的,可以是当前位置的路径点采集窗口的中心位置,可以用坐标点表示,用于生成缺陷检测路径。
具体地,更新路径点采集窗口的当前位置后,计算机设备可以确定处于当前位置的路径点采集窗口的中心位置,将中心位置作为路径点,并记录路径点,例如,可以记录路径点在目标区域中的坐标。
在一些实施例中,在每次确定路径点之后,计算机设备还可以对路径点采集窗口在当前位置下包括的各区域边框进行标记,对区域边框进行标记,是为了标记区分已被路径点采集窗口遍历的区域边框和未遍历的区域边框,防止缺陷检测时出现漏检元件的情况,已标记的区域边框对应的元件区域也称为已规划元件,未标记的区域边框对应的元件区域也称为未规划元件。例如,如图4C所示,初始状态的各区域边框可以用0标识,可以将路径点采集窗口在当前位置下包括的各区域边框标记为1。
步骤210,基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,且在路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤,直到路径点采集窗口与第三边界线和第四边界线均相交为止。
具体地,计算机设备重新确定路径点采集窗口在当前位置下包括的各区域边框,为了确定下一个路径点,可以利用第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,并判断处于当前位置的路径点采集窗口是否与第三边界线相交,在路径点采集窗口与第三边界线不相交的情况下,为了使得路径点采集窗口在当前位置下包括的区域边框的数量更多,计算机设备可以返回执行基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置的步骤;在路径点采集窗口与第三边界线相交的情况下,判断路径点采集窗口与第四边界线是否相交,在路径点采集窗口与第四边界线不相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,然后返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤,直到路径点采集窗口与第三边界线和第四边界线均相交为止。
在一些实施例中,为了朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,计算机设备可以从路径点采集窗口在当前位置下包括的各区域边框上,确定与路径点采集窗口的第二方向上的第三窗口边界线距离最小的区域边框点,根据第一边界线的位置和区域边框点的位置,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第三窗口边界线与区域边框点相距预设距离。其中,区域边框点是从路径点采集窗口在当前位置下包括的各区域边框上确定的,例如,如图4C所示,展示了区域边框均为矩形的情况下,区域边框点可以是路径点采集窗口在当前位置下包括的各区域边框中的最靠近第三边界线的区域边框的右边界线上的任意一点。
在一些实施例中,在每次确定路径点之后,计算机设备还可以对路径点采集窗口在当前位置下包括的各区域边框进行标记,标记完成后,确认路径点采集窗口与第三边界线相交、且与第四边界线不相交的情况下,计算机设备可以从区域边框集合中的未标记的各区域边框中,确定与第一边界线距离最小的第三区域边框,然后基于第三区域边框,朝着靠近第四边界线的方向更新第一边界线的位置。
步骤212,基于至少部分路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。
其中,缺陷检测路径用于对电子面板进行缺陷检测,是由路径点的坐标组成的一系列坐标。缺陷检测路径可以是基于部分路径点生成的,也可以是基于全部路径点生成的,这与缺陷检测过程中的对电子面板进行拍摄的拍摄方式有关,拍摄方式包括第一拍摄方式和第二拍摄方式,第一拍摄方式也称为走停拍,是指图像采集设备在移动拍摄的过程中,每移动到一个拍摄点,先停顿再拍摄的方式;第二拍摄方式也称为飞拍,是指图像采集设备在移动拍摄的过程中不停顿,移动到拍摄点即进行拍摄的方式,采用第二拍摄方式进行拍摄时,由于是在移动过程中进行拍摄,若移动的位移较大会使得拍摄得到的图像质量不佳,为了提高图像质量,可以要求相邻拍摄点在预设方向上的位移不能超过距离阈值。
具体地,缺陷检测路径的生成方式与缺陷检测的拍摄方式有关,在拍摄方式为第一拍摄方式的情况下,计算机设备可以利用全部路径点生成缺陷检测路径,例如,可以按照得到路径点的时间先后顺序,对路径点进行排序得到路径点序列,将路径点序列作为缺陷检测路径;在拍摄方式为第二拍摄方式的情况下,计算机设备可以利用部分路径点生成缺陷检测路径。
在一些实施例中,由于更新路径点采集窗口的当前位置的过程中,第一边界线的位置也会更新,计算机设备可以将利用相同位置的第一边界线确定的路径点看作属于同一行的路径点,从而将确定的所有路径点按行进行划分,在对路径点进行排序的时候,针对行序号为奇数的路径点,按照得到路径点的时间先后顺序,对路径点进行排序;针对行序号为偶数的路径点,按照得到路径点的时间先后顺序,对路径点进行倒序排列,然后按照行序号从小到大的顺序将各行的路径点序列组合在一起,从而得到呈蛇形路径排列的缺陷检测路径。
在一些实施例中,计算机设备生成缺陷检测路径之后,可以利用缺陷检测路径对电子面板上的元件进行缺陷检测。计算机设备可以按照缺陷检测路径中路径点的排列顺序,控制图像采集设备在每个路径点的位置对电子面板进行图像采集,得到目标图像集合,然后对目标图像集合进行缺陷检测,例如,可以将目标图像集合中的每个目标图像输入到已训练的缺陷检测网络中进行缺陷检测,得到缺陷检测结果。其中,目标图像是按照缺陷检测路径对电子面板进行图像采集得到的图像。
上述缺陷检测方法中,通过获取电子面板的图像中的各元件区域的区域边框得到区域边框集合,在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线,基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,并朝着靠近第三边界线的方向不断更新路径点采集窗口的当前位置,直到路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,直到路径点采集窗口与第三边界线和第四边界线均相交为止,从而不断得到新的路径点,在电子面板上的元件为多种类、多尺寸、随机分布的情况下,也可以基于至少部分路径点快速生成缺陷检测路径,且利用生成的缺陷检测路径对电子面板进行缺陷检测的过程中,重复检测或漏检元件的情况较少,从而提高了缺陷检测的效率。
在一些实施例中,步骤206还包括:
基于第一边界线和第二边界线,确定路径点采集窗口在目标区域中的初始位置,将所述路径点采集窗口的初始位置确定为路径点采集窗口的当前位置;
其中,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与第二边界线重合。
具体地,由于路径点采集窗口的移动方向为朝着靠近第三边界线的方向移动,计算机设备可以根据第一边界线的位置和第二边界线的位置,确定路径点采集窗口在目标区域中的初始位置,将初始位置作为当前位置,处于当前位置的路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,且第二方向上的第二窗口边界线与第二边界线重合。例如,如图4B所示,展示了路径点采集窗口在目标区域中的初始位置,处于初始位置的路径点采集窗口以xmin为左边界,ymax为下边界,尺寸为Width × Height。
本实施例中,由于路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,且路径点采集窗口的第二方向上的第二窗口边界线与第二边界线重合,确定了路径采集窗口的初始位置,为后续根据第一边界线不断更新路径点采集区域的当前位置提供了初始位置。
在一些实施例中,基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置,包括:
从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的第一方向上的第一窗口边界线距离最小的第一区域边框;
从路径点采集窗口中包括的各区域边框中,确定与路径点采集窗口的第二方向上的第二窗口边界线距离最小的第二区域边框;
基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置。
其中,第一区域边框和第二区域边框均为路径点采集窗口在当前位置下包括的区域边框,第一区域边框与路径点采集窗口的第一方向上的第一窗口边界线的距离最小,第二区域边框与路径点采集窗口的第二方向上的第二窗口边界线的距离最小。
具体地,计算机设备从路径点采集窗口中包括的各区域边框中,确定了第一区域边框和第二区域边框之后,基于第一区域边框和第二区域边框更新路径点采集窗口的当前位置,更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一区域边框上的至少一个点重合、且路径点采集窗口的第二方向上的第二窗口边界线与第二区域边框上的至少一个点重合。
在一些实施例中,各区域边框的形状均为矩形,区域边框与路径点采集窗口的窗口边界线之间的距离,可以是区域边框的某个边框线与路径点采集窗口的窗口边界线之间的距离。针对路径点采集窗口中包括的各区域边框,计算机设备可以确定区域边框的第一方向上的第一边框线与路径点采集窗口的第一方向上的第一窗口边界线之间的距离,将距离最小的区域边框确定为第一区域边框;确定区域边框的第二方向上的第二边框线与路径点采集窗口的第二方向上的第二窗口边界线之间的距离,将距离最小的区域边框确定为第二区域边框。例如,如图4B所示,第一方向为水平方向,第二方向为竖直方向,第一方向上的第一窗口边界线为路径点采集窗口的下边界,第二方向上的第二窗口边界线为路径点采集窗口的左边界,第一方向上的第一边框线为区域边框的下边界,第二方向上的第二边框线为区域边框的左边界,更新后,路径点采集窗口的下边界与第一区域边框的下边界重合、且路径点采集窗口的左边界与第二区域边框的左边界重合。
在一些实施例中,存在至少一个区域边框的形状为非矩形,例如圆形、其他多边形等,区域边框与路径点采集窗口的窗口边界线之间的距离,可以是区域边框上的目标点与路径点采集窗口的窗口边界线之间的距离,目标点是指区域边框上的各点中与路径点采集窗口的窗口边界线之间的距离最小的点。计算机设备可以从路径点采集窗口中包括的各区域边框上找到与路径点采集窗口的第一方向上的第一窗口边界线距离最小的第一目标点,将第一目标点所在的区域边框确定为第一区域边框;并从路径点采集窗口中包括的各区域边框上找到与路径点采集窗口的第二方向上的第二窗口边界线距离最小的第二目标点,将第二目标点所在的区域边框确定为第二区域边框。更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一目标点重合、且路径点采集窗口的第二方向上的第二窗口边界线与第二目标点重合。
本实施例中,通过从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的第一方向上的第一窗口边界线距离最小的第一区域边框、以及与路径点采集窗口的第二方向上的第二窗口边界线距离最小的第二区域边框,基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置,使得路径点采集窗口内能够尽可能的包括更多的区域边框,减少了缺陷检测过程中图像采集的次数,从而提高了缺陷检测的效率。
在一些实施例中,基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置的步骤之后,缺陷检测方法还包括:
确定路径点采集窗口在当前位置下包括的各区域边框,生成包围各区域边框的包围框;
基于包围框的中心位置更新路径点采集窗口的当前位置。
其中,包围框可以是路径点采集窗口在当前位置下包括的各区域边框的最小外接矩形框。
具体地,在基于第一区域边框和第二区域边框更新路径点采集窗口的当前位置之后,计算机设备可以确定路径点采集窗口在当前位置下包括的各区域边框,然后生成各区域边框的最小外接矩形框得到包围框,将包围框的中心位置作为路径点采集窗口的下一位置,更新路径点采集窗口的当前位置。
本实施例中,通过基于包围框的中心位置更新路径点采集窗口的当前位置,使得路径点采集窗口内包括的各区域边框能够居中,提高了缺陷检测过程中图像采集设备移动的容错率,减少了元件位于图像的边缘而无法检测的问题,从而提高了缺陷检测的效率。
在一些实施例中,基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,包括:
在路径点采集窗口与第三边界线未相交的情况下,从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的第二方向上的第三窗口边界线距离最小的区域边框点;
基于第一边界线和区域边框点更新路径点采集窗口的当前位置;更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口第二方向上的第三窗口边界线与区域边框点相距预设距离。
其中,区域边框点是从路径点采集窗口在当前位置下包括的各区域边框上确定的,区域边框点与路径点采集窗口的第二方向上的第三窗口边界线之间的距离最小。预设距离是预先设置的,例如,可以是区域边框集合中的各区域边框的宽度中的最大值。
具体地,在对路径点采集窗口的当前位置进行更新之前,计算机设备首先确定路径点采集窗口是否与第三边界线相交,在路径点采集窗口与第三边界线未相交的情况下,从路径点采集窗口在当前位置下包括的各区域边框上,确定与路径点采集窗口的第二方向上的第三窗口边界线之间的距离最小的点,得到区域边框点。然后计算机设备可以利用第一边界线的位置和区域边框点的位置,更新路径点采集窗口的当前位置,更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与区域边框点相距预设距离。例如,如图4C所示,区域边框点位于路径点采集窗口在当前位置下包括的各区域边框中最靠右的区域边框的右边界上,展示了更新前后的路径点采集窗口的位置示意图,预设距离为Wm,更新后,路径点采集窗口的左边界线与区域边框点所在的竖直直线平行且相距Wm。
本实施例中,在路径点采集窗口与第三边界线未相交的情况下,基于第一边界线和区域边框点朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与区域边框点相距预设距离,由于预设距离可以是区域边框集合中的各区域边框的宽度中的最大值,从而可以减少缺陷检测过程中的漏检元件的问题,从而提高了缺陷检测的效率。
在一些实施例中,基于路径点采集窗口的当前位置确定路径点包括:
基于路径点采集窗口的当前位置确定路径点,并对路径点采集窗口在当前位置下包括的各区域边框进行标记;
缺陷检测方法还包括:
在路径点采集窗口与第三边界线相交的情况下,从区域边框集合中的未标记的各区域边框中,确定与第一边界线距离最小的第三区域边框;
基于第三区域边框更新参考线的位置;
更新后,返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤。
其中,第三区域边框是从区域边框集合中未标记的各区域边框中确定的,在第三区域边框的形状为矩形的情况下,第三区域边框与第一边界线之间的距离可以是第三区域边框的下边界线上的点到第一边界线的距离;在第三区域边框的形状为其他形状的情况下,第三区域边框上与第一边界线距离最近的点到第一边界线的距离。
具体地,在确定路径点之后,计算机设备对路径点采集窗口在当前位置下包括的各区域边框进行标记,在确定当前位置的路径点采集窗口与第三边界线相交的情况下,即路径点采集窗口已到达目标区域的边界,计算机设备可以从区域边框集合中未标记的各区域边框中,确定与第一边界线之间的距离最小的区域边框,得到第三区域边框,然后利用第三区域边框的位置更新第一边界线的位置,例如,在第三区域边框为矩形的情况下,可以根据第三区域边框的下边界线更新第一边界线的位置,更新后的第一边界线与更新前的第一边界线平行,且更新后的第一边界线与第四边界线之间的距离小于更新前的第一边界线与第四边界线之间的距离。更新后,计算机设备返回执行基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤。例如,如图4D所示,展示了利用更新后的第一边界线和第二边界线更新路径点采集窗口的当前位置的示意图,当前全局下边界即更新后的第一边界线。
本实施例中,在路径点采集窗口的与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,从而利用更新后的第一边界线确定路径点采集窗口在下一行的当前位置,实现了路径规划的自动换行,提高了路径规划的效率。
在一些实施例中,基于路径点采集窗口的当前位置确定路径点,包括:
基于路径点采集窗口的当前位置确定路径点,记录路径点,并对路径点采集窗口在当前位置下包括的各区域边框进行标记;
基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置的步骤之后,缺陷检测方法还包括:
基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,计算更新前后路径点采集窗口的第一方向上的第一窗口边界线之间的距离;
在更新前后路径点采集窗口的第一方向上的第一窗口边界线之间的距离大于距离阈值的情况下,将更新前路径点采集窗口包括的各区域边框的标记取消,并删除已记录的根据更新前的当前位置确定的路径点;
基于至少部分路径点生成缺陷检测路径,包括:
基于保留的各个路径点生成缺陷检测路径。
其中,距离阈值是根据图像采集设备的参数设置的,当相邻两个拍摄点在预设方向上的距离大于距离阈值的情况下,图像采集设备无法从一个拍摄点准确移动至下一个拍摄点,导致拍摄的图像质量较低。
具体地,若缺陷检测过程中采用第二拍摄方式进行图像采集,在每次基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置之后,计算机设备可以计算更新前后的路径点采集窗口的第一方向上的第一窗口边界线之间的距离,得到垂直距离,在垂直距离大于距离阈值的情况下,将更新前的路径点采集窗口包括的各区域边框的标记取消,并删除已记录的根据更新前的当前位置确定的路径点,如图4E所示,展示了垂直距离大于距离阈值的示意图,然后返回基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置的步骤;在垂直距离小于或等于距离阈值的情况下,直接返回基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置的步骤,直到路径点采集窗口与第三边界线和第四边界线均相交为止。然后,计算机设备可以基于保留的各个路径点生成缺陷检测路径。
本实施例中,通过在更新前后的路径点采集窗口的第一方向上的第一窗口边界线之间的距离大于距离阈值的情况下,将更新前路径点采集窗口包括的各区域边框的标记取消,并删除已记录的根据更新前的当前位置确定的路径点,基于保留的各个路径点生成缺陷检测路径,使得缺陷检测路径中相邻的任意两个路径点之间的垂直距离小于距离阈值,能够满足缺陷检测过程中采用第二拍摄方式进行图像采集的硬件需求,从而本缺陷检测方法可以适应不同的拍摄方式,具备较强的工业适用性。
在一些实施例中,如图5所示,提供了一种缺陷检测方法,以该方法应用于计算机设备102为例进行说明,包括以下步骤:
步骤502,获取电子面板的图像中的各元件区域的区域边框得到区域边框集合。
步骤504,在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;区域边框集合中的各区域边框,位于第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中。
其中,目标区域的形状为矩形,区域边框的形状为矩形。步骤506,基于第一边界线和第二边界线,确定路径点采集窗口在目标区域中的当前位置。
其中,路径点采集窗口的形状为矩形。
步骤508,从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的下边界线距离最小的第一区域边框、与路径点采集窗口的左边界线距离最小的第二区域边框,并基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置。
其中,更新后,路径点采集窗口的下边界线与第一区域边框的下边界重叠,且路径点采集窗口的左边界线与第二区域边框的左边界重叠。
步骤510,确定路径点采集窗口在当前位置下包括的各区域边框,生成包围各区域边框的包围框,基于包围框的中心位置更新路径点采集窗口的当前位置。
步骤512,更新后,基于路径点采集窗口的当前位置确定路径点,并对路径点采集窗口在当前位置下包括的各区域边框进行标记。
步骤514,从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的右边界线距离最小的区域边框点,基于第一边界线和第三区域边框更新路径点采集窗口的当前位置。
其中,更新后,路径点采集窗口的下边界线与第一边界线重合,路径点采集窗口的右边界线与区域边框点相距预设距离。
步骤516,判断路径点采集窗口是否与第三边界线相交,若否,返回步骤508;若是,执行步骤518。
步骤518,判断路径点采集窗口是否与第四边界线相交,若否,执行步骤520;若是,执行步骤522。
步骤520,从区域边框集合中未标记的各区域边框中,确定与第一边界线距离最小的第三区域边框,并将第三区域边框的下边界的位置更新为第一边界线的位置,并返回步骤506。
步骤522,基于各路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。
本实施例中,在基于参考线和目标区域的左边界线,确定路径点采集窗口在目标区域中的当前位置之后,通过基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置、基于包围框的中心位置更新路径点采集窗口的当前位置的两次更新过程,使得路径点采集窗口能够包括数量更多的区域边框,减少了缺陷检测过程中图像采集的次数,通过基于参考线和第三区域边框更新路径点采集窗口的当前位置,提高了缺陷检测路径的元件覆盖率,减少了缺陷检测过程中漏检元件的问题,从而提高了缺陷检测的效率。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的缺陷检测方法的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个缺陷检测装置实施例中的具体限定可以参见上文中对于缺陷检测方法的限定,在此不再赘述。
在一些实施例中,如图6所示,提供了一种缺陷检测装置,包括:
区域边框获取模块602,用于获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;
边界线生成模块604,用于在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;区域边框集合中的各区域边框,位于第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;
第一位置更新模块606,用于基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置,基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置;
路径点确定模块608,用于更新后,基于路径点采集窗口的当前位置确定路径点;
第二位置更新模块610,用于基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,且在路径点采集窗口与第三边界线相交的情况下,朝着靠近第四边界线的方向更新第一边界线的位置,返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤,直到路径点采集窗口与第三边界线和第四边界线均相交为止;
路径生成模块612,用于基于至少部分路径点生成缺陷检测路径;以在对电子面板进行缺陷检测时,按照缺陷检测路径进行缺陷检测。
在一些实施例中,在基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的方面,第一位置更新模块606具体用于:
基于第一边界线和第二边界线,确定路径点采集窗口在目标区域中的初始位置,将路径点采集窗口的初始位置确定为路径点采集窗口的当前位置;
其中,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与第二边界线重合。
在一些实施例中,在基于路径点采集窗口在当前位置下包括的各区域边框,更新路径点采集窗口的当前位置的方面,第一位置更新模块606具体用于:
从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的第一方向上的第一窗口边界线距离最小的第一区域边框;
从路径点采集窗口中包括的各区域边框中,确定与路径点采集窗口的第二方向上的第二窗口边界线距离最小的第二区域边框;
基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置。
在一些实施例中,在基于第一区域边框和第二区域边框,更新路径点采集窗口的当前位置的步骤之后,第一位置更新模块606具体用于:
确定路径点采集窗口在当前位置下包括的各区域边框,生成包围各区域边框的包围框;
基于包围框的中心位置更新路径点采集窗口的当前位置。
在一些实施例中,基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置的方面,第二位置更新模块610具体用于:
在路径点采集窗口与第三边界线未相交的情况下,从路径点采集窗口在当前位置下包括的各区域边框中,确定与路径点采集窗口的第二方向上的第三窗口边界线距离最小的区域边框点;
基于第一边界线和区域边框点朝着靠近第三边界线的方向更新路径点采集窗口的当前位置;更新后,路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,路径点采集窗口的第二方向上的第二窗口边界线与区域边框点相距预设距离。
在一些实施例中,在基于路径点采集窗口的当前位置确定路径点的方面,路径点确定模块608具体用于:
基于路径点采集窗口的当前位置确定路径点,并对路径点采集窗口在当前位置下包括的各区域边框进行标记;
缺陷检测装置还包括边界线更新模块,边界线更新模块具体用于:
在路径点采集窗口与第三边界线相交的情况下,从区域边框集合中的未标记的各区域边框中,确定与第一边界线距离最小的第三区域边框;
基于第三区域边框更新第一边界线的位置;
更新后,返回基于第一边界线和第二边界线确定路径点采集窗口在目标区域中的当前位置的步骤。
在一些实施例中,在基于路径点采集窗口的当前位置确定路径点的方面,路径点确认模块606具体用于:
基于路径点采集窗口的当前位置确定路径点,记录路径点,并对路径点采集窗口在当前位置下包括的各区域边框进行标记;
在基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置的步骤之后,位置更新模块608具体用于:
基于第一边界线和路径点采集窗口在当前位置下包括的各区域边框,朝着靠近第三边界线的方向更新路径点采集窗口的当前位置,计算更新前后路径点采集窗口的第一方向上的第一窗口边界线之间的距离;
在更新前后路径点采集窗口的第一方向上的第一窗口边界线之间的距离大于距离阈值的情况下,将更新前路径点采集窗口包括的各区域边框的标记取消,并删除已记录的根据更新前的当前位置确定的路径点;
在基于至少部分路径点生成缺陷检测路径的方面,路径生成模块612具体用于:
基于保留的各个路径点生成缺陷检测路径。
上述缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷检测方法所涉及的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的缺陷检测方法中的步骤。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的缺陷检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7和图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述缺陷检测方法中的步骤。
在一些实施例中,提供了一种计算机可读存储介质900,其上存储有计算机程序902,计算机程序902被处理器执行时实现上述图像数据处理方法中的步骤,其内部结构图可以如图9所示。
在一些实施例中,提供了一种计算机程序产品,该计算机程序包括计算机程序,该计算机程序被处理器执行时实现上述缺陷检测方法中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种缺陷检测方法,其特征在于,包括:
获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;
在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;所述区域边框集合中的各区域边框,位于所述第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;
基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置,基于所述路径点采集窗口在当前位置下包括的各区域边框,更新所述路径点采集窗口的当前位置;
更新后,基于所述路径点采集窗口的当前位置确定路径点;
基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,且在所述路径点采集窗口与所述第三边界线相交的情况下,朝着靠近所述第四边界线的方向更新第一边界线的位置,返回所述基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置的步骤,直到所述路径点采集窗口与所述第三边界线和第四边界线均相交为止;
基于至少部分所述路径点生成缺陷检测路径;以在对所述电子面板进行缺陷检测时,按照所述缺陷检测路径进行缺陷检测。
2.根据权利要求1所述的方法,其特征在于,所述基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置,包括:
基于第一边界线和所述第二边界线,确定路径点采集窗口在所述目标区域中的初始位置,将所述路径点采集窗口的初始位置确定为路径点采集窗口的当前位置;
其中,所述路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,所述路径点采集窗口的第二方向上的第二窗口边界线与所述第二边界线重合。
3.根据权利要求2所述的方法,其特征在于,所述基于所述路径点采集窗口在当前位置下包括的各区域边框,更新所述路径点采集窗口的当前位置,包括:
从所述路径点采集窗口在当前位置下包括的各区域边框中,确定与所述路径点采集窗口的第一方向上的第一窗口边界线距离最小的第一区域边框;
从所述路径点采集窗口中包括的各区域边框中,确定与所述路径点采集窗口的第二方向上的第二窗口边界线距离最小的第二区域边框;
基于所述第一区域边框和所述第二区域边框,更新所述路径点采集窗口的当前位置。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一区域边框和所述第二区域边框,更新所述路径点采集窗口的当前位置的步骤之后,所述方法还包括:
确定所述路径点采集窗口在当前位置下包括的各区域边框,生成包围所述各区域边框的包围框;
基于所述包围框的中心位置更新所述路径点采集窗口的当前位置。
5.根据权利要求1所述的方法,其特征在于,所述基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,包括:
在所述路径点采集窗口与所述第三边界线未相交的情况下,从所述路径点采集窗口在当前位置下包括的各区域边框上,确定与所述路径点采集窗口的第二方向上的第三窗口边界线距离最小的区域边框点;
基于第一边界线和所述区域边框点朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置;更新后,所述路径点采集窗口的第一方向上的第一窗口边界线与第一边界线重合,所述路径点采集窗口的第二方向上的第三窗口边界线与所述区域边框点相距预设距离。
6.根据权利要求5所述的方法,其特征在于,所述基于所述路径点采集窗口的当前位置确定路径点包括:
基于所述路径点采集窗口的当前位置确定路径点,并对所述路径点采集窗口在当前位置下包括的各区域边框进行标记;
所述在所述路径点采集窗口与所述第三边界线相交的情况下,朝着靠近所述第四边界线的方向更新第一边界线的位置,包括:
在所述路径点采集窗口与所述第三边界线相交的情况下,从所述区域边框集合中的未标记的各区域边框中,确定与第一边界线距离最小的第三区域边框;
基于所述第三区域边框,朝着靠近所述第四边界线的方向更新第一边界线的位置;
更新后,返回基于第一边界线和第二边界线确定路径点采集窗口在所述目标区域中的当前位置的步骤。
7.根据权利要求1所述的方法,其特征在于,所述基于所述路径点采集窗口的当前位置确定路径点,包括:
基于所述路径点采集窗口的当前位置确定路径点,记录所述路径点,并对所述路径点采集窗口在当前位置下包括的各区域边框进行标记;
所述基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置的步骤之后,所述方法还包括:
基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,计算更新前后所述路径点采集窗口的第一方向上的第一窗口边界线之间的距离;
在更新前后所述路径点采集窗口的第一方向上的第一窗口边界线之间的距离大于距离阈值的情况下,将更新前所述路径点采集窗口包括的各区域边框的标记取消,并删除已记录的根据更新前的当前位置确定的路径点;
所述基于至少部分所述路径点生成缺陷检测路径,包括:
基于保留的各个路径点生成缺陷检测路径。
8.一种缺陷检测装置,其特征在于,包括:
区域边框获取模块,用于获取电子面板的图像中的各元件区域的区域边框得到区域边框集合;
边界线生成模块,用于在第一方向上生成第一边界线和第四边界线,在第二方向上生成第二边界线和第三边界线;所述区域边框集合中的各区域边框,位于所述第一边界线、第二边界线、第三边界线和第四边界线围成的目标区域中;
第一位置更新模块,用于基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置,基于所述路径点采集窗口在当前位置下包括的各区域边框,更新所述路径点采集窗口的当前位置;
路径点确定模块,用于更新后,基于所述路径点采集窗口的当前位置确定路径点;
第二位置更新模块,用于基于第一边界线和所述路径点采集窗口在当前位置下包括的各区域边框,朝着靠近所述第三边界线的方向更新所述路径点采集窗口的当前位置,且在所述路径点采集窗口与所述第三边界线相交的情况下,朝着靠近所述第四边界线的方向更新第一边界线的位置,返回所述基于第一边界线和所述第二边界线确定路径点采集窗口在所述目标区域中的当前位置的步骤,直到所述路径点采集窗口与所述第三边界线和第四边界线均相交为止;
路径生成模块,用于基于至少部分所述路径点生成缺陷检测路径;以在对所述电子面板进行缺陷检测时,按照所述缺陷检测路径进行缺陷检测。
9.一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310988253.3A 2023-08-08 2023-08-08 缺陷检测方法、装置、计算机设备及计算机可读存储介质 Active CN116703926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310988253.3A CN116703926B (zh) 2023-08-08 2023-08-08 缺陷检测方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310988253.3A CN116703926B (zh) 2023-08-08 2023-08-08 缺陷检测方法、装置、计算机设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116703926A true CN116703926A (zh) 2023-09-05
CN116703926B CN116703926B (zh) 2023-11-03

Family

ID=87839713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310988253.3A Active CN116703926B (zh) 2023-08-08 2023-08-08 缺陷检测方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116703926B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156136A (zh) * 2011-03-14 2011-08-17 浙江展邦电子科技有限公司 一种pcb底片检测方法
US20120093401A1 (en) * 2010-10-18 2012-04-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN114429445A (zh) * 2021-11-09 2022-05-03 南京师范大学 一种基于MAIRNet的PCB缺陷检测与识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093401A1 (en) * 2010-10-18 2012-04-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
CN102156136A (zh) * 2011-03-14 2011-08-17 浙江展邦电子科技有限公司 一种pcb底片检测方法
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN114429445A (zh) * 2021-11-09 2022-05-03 南京师范大学 一种基于MAIRNet的PCB缺陷检测与识别方法

Also Published As

Publication number Publication date
CN116703926B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US10755480B2 (en) Displaying content in an augmented reality system
US9245193B2 (en) Dynamic selection of surfaces in real world for projection of information thereon
US11030808B2 (en) Generating time-delayed augmented reality content
CN110096929A (zh) 基于神经网络的目标检测
CN111047508B (zh) 图像处理方法、装置、计算机设备和存储介质
CN109977952A (zh) 基于局部最大值的候选目标检测方法
CN116703926B (zh) 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN116051811B (zh) 区域识别方法、装置、计算机设备及计算机可读存储介质
CN115965646B (zh) 区域划分方法、装置、计算机设备及计算机可读存储介质
CN115880362A (zh) 码区定位方法、装置、计算机设备及计算机可读存储介质
CN116309824A (zh) 地面水迹识别方法、装置、计算机设备和存储介质
JP2009110398A (ja) 解析モデル作成装置
CN113505139B (zh) 基于单服务的遥感影像自动化更新及历史回溯方法及装置
CN115731442A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114663449A (zh) 道路病害面积计算方法、装置、计算机设备和存储介质
CN116442226B (zh) 位姿正确性判断方法、装置、机器人和存储介质
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
CN116645374B (zh) 点状缺陷检测方法、装置、计算机设备及存储介质
CN117435292B (zh) 用于遥感解译的可视化方法、装置、设备和存储介质
CN117576645B (zh) 基于bev视角的车位检测方法、装置和计算机设备
CN117745814A (zh) Pcb板中的单元定位方法、装置、计算机设备及存储介质
CN116442226A (zh) 位姿正确性判断方法、装置、机器人和存储介质
CN116698007A (zh) 融合地图构建方法、装置、机器人和存储介质
CN117790349A (zh) Pcs电测不良缺陷显示方法、装置、设备及存储介质
CN115797615A (zh) 目标对象的检测区域确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant