CN117358629A - 物料缺陷检测方法、装置、设备及存储介质 - Google Patents
物料缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117358629A CN117358629A CN202311315759.4A CN202311315759A CN117358629A CN 117358629 A CN117358629 A CN 117358629A CN 202311315759 A CN202311315759 A CN 202311315759A CN 117358629 A CN117358629 A CN 117358629A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- target
- scrapped
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 382
- 239000000463 material Substances 0.000 title claims abstract description 99
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 239000002245 particle Substances 0.000 claims abstract description 76
- 238000001914 filtration Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012216 screening Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 26
- 238000003491 array Methods 0.000 claims description 9
- 230000002950 deficient Effects 0.000 claims description 8
- 238000013102 re-test Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012552 review Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/005—Computer assisted manual sorting, e.g. for mail
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/04—Apparatus or accessories for hand picking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开物料缺陷检测方法、装置、设备及存储介质,涉及图像显示领域,方案显示复检操作界面,在复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;响应于接收到对缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在缺陷设置界面设置目标缺陷类型的缺陷过滤规则;响应于接收到对物料全景图的复检操作指令,获取缺陷图像,根据缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在缺陷图像显示区内显示滤除后的目标缺陷图像。这种在复检操作过程植入直接过滤报废晶圆的所有缺陷图的过滤规则,可以在复检过程不影响检测精度的情况下大幅减少人工筛查的图像数量,极大提高的工作效率。
Description
技术领域
本申请涉及图像显示领域,特别涉及一种物料缺陷检测方法、装置、设备及存储介质。
背景技术
在集成电路行业中主要使用机台设备对生产的PCB印刷电路板和产品物料进行光学检测和缺陷检测分析。缺陷检测主要通过机台上方的线扫相机扫描物料图像,再由计算机设备进行图像分析确定缺陷点,而为了维持一定良品率,对于筛选出的缺陷物料必须经由人工复检确认,最终决定报废或二次加工处理。
但在实际产线生产中,精度的设置就决定了物料出现缺陷的情况繁多,且不可避免的出现一定误检率,这也侧面突出了人工复检的重要性。但实际的整个物料板可能会检测出几个或几十个缺陷图像,全部转由人工复检会极大影响检测效率,且需要投入更多的人力成本。
发明内容
本申请提供一种物料缺陷检测方法、装置、设备及存储介质,解决大量需要复检的缺陷图像影响复检效率的问题。
一方面,本申请提供一种物料缺陷检测方法,所述方法包括:
显示复检操作界面,在所述复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;所述全景物料展示区显示的是通过线扫相机扫描的物料板的实时扫描图,所述全景物料图中包含若干颗粒阵列,所述缺陷图像显示区用于显示从目标颗粒区域中检测到的缺陷点的缺陷图像;所述缺陷图像是线扫相机扫描物料并通过检测机台识别确定;
响应于接收到对所述缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则;所述缺陷过滤规则用于确定包含报废缺陷点的目标颗粒;
响应于接收到对物料全景图的复检操作指令,获取所述缺陷图像,根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在所述缺陷图像显示区内显示滤除后的目标缺陷图像。
另一方面,本申请提供一种物料缺陷检测装置,所述装置包括:
第一显示模块,用于显示复检操作界面,在所述复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;所述全景物料展示区显示的是通过线扫相机扫描的物料板的实时扫描图,所述全景物料图中包含若干颗粒阵列,所述缺陷图像显示区用于显示从目标颗粒区域中检测到的缺陷点的缺陷图像;所述缺陷图像是线扫相机扫描物料并通过检测机台识别确定;
第二显示模块,用于响应于接收到对所述缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则;所述缺陷过滤规则用于确定包含报废缺陷点的目标颗粒;
第三显示模块,用于响应于接收到对物料全景图的复检操作指令,获取所述缺陷图像,根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在所述缺陷图像显示区内显示滤除后的目标缺陷图像。
又一方面,本申请提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的物料缺陷检测方法。
又一方面,本申请提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的物料缺陷检测方法。
本申请实施例提供的技术方案带来的有益效果至少包括:在传统的复检操作页面内设置缺陷设置控件,通过该控件快速跳转到缺陷设置界面,通过设置缺陷过滤规则来屏蔽全景物料图中带有报废缺陷点或达到报废标准的目标颗粒的报废图像,这样在缺陷图像展示区中显示的就是滤除后且需要再次复检的目标缺陷图像,这种新建过滤规则的操作方式配合可视化页面,可以极大提高复检员的操作效率,过滤的报废图像不会影响实际的误检率,且大幅减少了复检员的复检工作量。
附图说明
图1是本申请提供物料缺陷检测方法的检测及显示***的示意图;
图2是本申请实施例提供的物料缺陷检测方法的流程图;
图3是本申请实施例提供的复检操作界面的示意图;
图4是本申请实施例提供的缺陷设置界面的示意图;
图5是在缺陷设置界面新建缺陷过滤规则的界面示意图;
图6是在缺陷图像显示区中生成提示语和轮廓标注的界面示意图;
图7示出了本申请实施例提供的物料缺陷检测装置的结构示意图;
图8是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1是本申请提供物料缺陷检测方法的检测及显示***的示意图,该***包括计算机设备、检测机台、线扫相机和物料板。物料板位于检测机台上,线扫相机在物料上方扫描物料,将扫描图像传送到计算机设备进行缺陷检测。计算机设备由复检员操控,其界面为复检操作界面,复检操作界面显示有机器初检识别的缺陷图像,该缺陷图像需要复检员二次复检,具体对PNL物料板上的每个pcs颗粒的缺陷进行确认。
图2是本申请实施例提供的物料缺陷检测方法的流程图,包括如下步骤:
步骤101,显示复检操作界面,在复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件。
参考图3所示,复检操作界面300是在计算机界面显示的画面,全景物料展示区310和缺陷图像显示区320位于该界面的两个区域,如左右两侧或上下两侧。全景物料展示区310显示的是通过线扫相机扫描物料板的实时扫描图,也就是线扫相机传送到计算机一侧的图像。全景物料图就是PNL物料板,其中包含若干PCS颗粒阵列311,具体颗粒数量和位置根据实际生产决定。本方案中所检测的“缺陷点”就是在PCS颗粒上的瑕点。
计算机负责对全景物料图进行数据处理,包括抠取其中所有的PCS颗粒图像,对其进行缺陷检测分析,截取获得缺陷图像。例如当一个PCS颗粒图像中包含多个缺陷点时,会相应截图获得相应数量的缺陷图像,并传送到计算机设备。缺陷图像显示区320则用来显示缺陷图像,以供复检员进行浏览复检。问题在于,当需要复检的缺陷图像过多时,依赖复检员进行复检的模式就会严重影响复检效率。
缺陷设置控件330是设置在复检操作界面300中的设置按钮,该控件用于在复检操作界面300直接调出缺陷设置界面。
步骤102,响应于接收到对缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则。
如图4所示,当复检员点击该缺陷设置控件时,会在计算机显示器上调出缺陷设置界面400,该界面是为了设置缺陷过滤规则,减少复检员经手的缺陷图像,从而提高复检效率。
缺陷过滤规则可以是复检员根据实际生产的PNL物料板和缺陷类型等来决定,还可以结合缺陷点数量和缺陷危险等级来设置,例如缺陷点数量较高的PCS颗粒,其缺陷不可修复或即使修复后也会严重影响性能,那么就可以将该PCS颗粒进行过滤,也就是过滤掉一部分报废图像,这样就可以减少复检员的复检量,一定程度上提高复检效率。当然,对于那些单个缺陷点就达到报废等级的报废缺陷点,可以直接将PCS颗粒报废。
步骤103,响应于接收到对物料全景图的复检操作指令,获取缺陷图像,根据缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在缺陷图像显示区内显示滤除后的目标缺陷图像。
当复检员设置并启用该缺陷过滤规则,在复检员开始进行复检操作时,***会对根据对料全景图的复检操作指令获取所有缺陷图像。此时的缺陷图像中包含(如果有满足条件)报废颗粒的缺陷图像,然后再根据启用的缺陷过滤规则过滤包含报废缺陷点目标颗粒的报废图像,剩余的就是需要复检员再次复检并显示的目标缺陷图像。
综上,本方案在传统的复检操作页面内设置缺陷设置控件,通过该控件快速跳转到缺陷设置界面,通过设置缺陷过滤规则来屏蔽全景物料图中带有报废缺陷点或达到报废标准的目标颗粒的报废图像,这样在缺陷图像展示区中显示的就是滤除后且需要再次复检的目标缺陷图像,这种新建过滤规则的操作方式配合可视化页面,可以极大提高复检员的操作效率,过滤的报废图像不会影响实际的误检率,且大幅减少了复检员的复检量。
在一些可能的实施例中,缺陷设置界面400中还显示有缺陷配置列表410和新建规则控件420。缺陷设置列表410中显示有所有已建立的缺陷过滤规则,如图4中包含的4条新建过滤规则,过滤内容具体根据实际需求设定。每个缺陷过滤规则设置有直报缺陷复选框411,用于选中该目标缺陷过滤规则。例如第一条过滤规则,当勾选该复选框后,就可以启用“电路板破损”的缺陷规则。
新建规则控件420位于缺陷设置列表410上方,以弹窗形式显示,而缺陷设置列表410则以遮罩层覆盖。或者在一些实施例中,还可以直接将该页面全覆盖显示。其目的是在缺陷配置列表410中加入新的缺陷过滤规则,例如复检员想要在列表中加入并启用“电路板开裂”的缺陷过滤规则,此时可以通过点击“新建规则”控件进行操作。
参见图4和图5所示,当计算机设备接收到对新建规则控件420的点击操作时,在缺陷设置界面400上生成新建规则界面500,新建规则界面500包括缺陷代码输入框、缺陷名称输入框、物料LOT字段输入框、缺陷等级选择框和规则启停控件中的至少一种。这一弹窗界面的输入框和缺陷设置列表410中的内容相对应。缺陷代码即ID号,用于后续缺陷识别;缺陷名称是人为定义的缺陷种类,如“文字缺失”、“器件缺失”和“异物缺失”等。LOT字段是用于定义PNL物料板的,不同LOT字段代表不同的物料,因为对于部分同样的缺陷在两个不同PNL板上代表的缺陷等级和缺陷属性可能不同。缺陷等级选择框用于输入或选择缺陷等级,例如“一级缺陷”、“二级缺陷”和“三级缺陷”等,不同等级表示危险程度不同。当然还可以用参数化表示,当危险等级达到90%时表示缺陷风险较高,10%时表示缺陷风险较低。该缺陷严重等级是用于判断是否列为报废过滤的阈值条件。例如设置为90%或一级状态,则在缺陷图像达到这一数值或等级后就列为报废图像并确定报废颗粒。
在一些实施例中,该阈值条件可以使用计算机设备在进行图像识别时对缺陷点的置信度值来判断。置信度表示的是识别该缺陷点的准确度或把握度,检测机台对缺陷点的识别过程会生成对该目标缺陷点识别的识别置信度。例如识别出“文字缺失”缺陷的置信度为90%,表示机器有较大把握确定该缺陷点。在大数据不断训练的场景下,机器识别的准确度比较可靠,当识别“电路板破损”缺陷的置信度为98%时,则可以确定该电路板一定出现了该故障,且该故障是报废故障,不再进行人工复检。只有对于置信度数值较低的缺陷,才需要人工介入进行复检。基于该描述,可以在缺陷严重等级一栏设置置信度阈值,当读取的置信度值超过该阈值,且LOT字段和缺陷类型都匹配无误时,将该PCS颗粒定为报废颗粒。
缺陷属性用于描述该缺陷是否为报废缺陷或可修缺陷,可修缺陷可以通过复检二次回炉改造克服。规则启停控件则用于直接开启或关闭该过滤规则。
当复检员在该新建规则界面中输入对应规则信息和相关参数后,计算机根据指令操作保存新建规则并加入到缺陷配置列表中。
在一些可能的实施例中,根据缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像的过程可以采用如下过程实现:
S1,获取缺陷图像并读取图像中的缺陷标签,缺陷标签用于记录机台识别出缺陷点的缺陷类型和目标颗粒编号;
缺陷标签是计算机从全景物料图中抠取PCS阵列图像后进行图像识别后生成,缺陷标签记录了该缺陷图像中识别的缺陷类型,还可以包含上述提到的缺陷点置信度值。特别说明的是,缺陷图像是从单个PCS图像中识别和抠取获得的小图,在缺陷点比较密集且类型不同时,会从单个PCS图像中截取生成多个缺陷小图。此外该标签还记录有PCS颗粒的编号,因为全景物料图中的PCS是编号的,所以此处为了后续定位显示。
S2,获取缺陷配置列表中所有已启用缺陷过滤规则对应的目标缺陷类型,将其与缺陷图像中缺陷标签记录的缺陷类型相匹配;
此步骤就是在获取缺陷图像后,找出已启用的过滤规则。且该过滤规则的LOT字段和缺陷类型(ID)也需要进行匹配。
S3,响应于匹配结果不一致,将缺陷图像存入显示列表中,用于在缺陷图像显示区中显示;
匹配结果不一致说明该缺陷图像的缺陷点没达到报废标准,暂时存入显示列表中,缺陷图像显示区所显示的图像就是从该列表中读取和显示的。至于此时存入列表的图像是否可以在缺陷图像显示区中显示,则需要等待全部图像匹配完成后通过PCS编号统一决定。
S4,响应于匹配结果一致,将缺陷图像对应的目标颗粒标记为报废颗粒,并根据颗粒编号从显示列表定位报废颗粒的所有报废图像,将其屏蔽过滤;
匹配结果一致则说明该图像中包含报废缺陷点,也就是说对应的目标PCS颗粒是报废颗粒,直接NG处理即可。
因为报废图像表示的是报废晶圆的缺陷图像,这其中含有报废缺陷点的缺陷图像,以及非报废缺陷点的缺陷图像。例如一个PCS颗粒包含三个缺陷点,缺陷点1和2表示普通缺陷点,缺陷点3表示报废缺陷点,对应则获得三张缺陷图。当***先检测缺陷点1和缺陷点2,那么这两张缺陷点图像是会被暂存到显示列表中的,而在匹配到缺陷点3时确定了该PCS是报废颗粒,则需要显示从列表找出暂存的两张图像,进行过滤池剔除。回溯剔除基于标签中的PCS编号。
当然对于先匹配缺陷点1,然后匹配缺陷点3的情形,在确定该报废颗粒后会进行标记,后续在读取缺陷点2时根据PCS编号直接过滤。
S5,响应于缺陷图像匹配完成后,将显示列表中的所有图像确定为目标缺陷图像。
S3和S4过程会筛选出所有满足过滤规则的缺陷图像,最后在只显示列表中剩余的图像就是可以在显示列表中显示的目标缺陷图像。
在一些实施例中,在缺陷图像显示区内显示目标缺陷图像时,还可以根据目标缺陷图像对应的颗粒编号确定在全景物料图中的位置。因为全景物料图中是包含所有PCS阵列的,而缺陷图像显示区一次仅能显示一个或少量的缺陷图,即使图中显示该PCS编号,复检员仍需要根据编号找出在阵列中的位置,以更好的对该PNL板的生产质量做全局把控。基于这一想法,本申请可以在复检员选中缺陷图像显示区的目标缺陷图像时,在全景物料图中标记目标缺陷颗粒的轮廓线,并通过十字标定位标进行标记显示。具体参见如3所示,定位是根据PCS编号确定的,或者是在缺陷标签中加入像素坐标,根据坐标进行标注。
前述也说过,当一个PCS颗粒上包含少量的可修复缺陷点时可以回炉改造完成,并不会影响电路板的功能和外观。而当一个PCS上包含大量缺陷点时,若全部修补改造后无法确保功能完整性,整体外观也会出现影响,并不利于产品销售。基于此,本申请还可以对不含报废缺陷颗粒的缺陷点进行统计,当数量不超过阈值时,将对应缺陷图像移入显示列表。一旦缺陷点数量超过阈值时,即便不含报废缺陷点,同样将该PCS颗粒其列为报废颗粒,过滤该颗粒的所有缺陷图像。此操作可进一步降低复检员的复检工作量,提高复检效率。
基于上述描述,在一些特殊情况下可能会出现一个PNL物料板上仅包含报废缺陷点的情况,也就是计算机识别的缺陷图像经过缺陷过滤规则筛选后没有满足显示条件的目标缺陷图像。对于复检员来说,该全景物料图中有报废颗粒,但是不知道该颗粒在何处。针对此问题,如图6所示,在一些实施例中可以在缺陷图像显示区中生成提示语,用于指示颗粒图像中仅含报废缺陷点。如显示“该物料仅有报废缺陷点,不含可修缺陷点!”的文字,当复检员看到该文字时,说明没有需要人工复检的缺陷图。此外,对于筛选的报废颗粒,则在全景物料图中对其轮廓进行标记显示,以便复检员进行定位。当然若复检员需要对报废缺陷点进行查验时,可以在图4中停用过滤规则,这样就可以在缺陷展示区内流浪到所有识别的缺陷图像。
综上所述,该方案通过计算机对缺陷图像中缺陷点的置信度数值,来构建出不同的缺陷过滤规则,以此过滤掉缺陷检测可信度较高的报废颗粒图像,在基本不影响检测精度的前提下,大幅提高了复检员的附件效率。
图7示出了本申请实施例提供的物料缺陷检测装置的结构示意图,所述装置包括:
第一显示模块710,用于显示复检操作界面,在所述复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;所述全景物料展示区显示的是通过线扫相机扫描的物料板的实时扫描图,所述全景物料图中包含若干颗粒阵列,所述缺陷图像显示区用于显示从目标颗粒区域中检测到的缺陷点的缺陷图像;所述缺陷图像是线扫相机扫描物料并通过检测机台识别确定;
第二显示模块720,用于响应于接收到对所述缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则;所述缺陷过滤规则用于确定包含报废缺陷点的目标颗粒;
第三显示模块730,用于响应于接收到对物料全景图的复检操作指令,获取所述缺陷图像,根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在所述缺陷图像显示区内显示滤除后的目标缺陷图像。
此外,本申请还提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的物料缺陷检测方法。
此外,本申请还提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的物料缺陷检测方法。
本申请实施例提供的物料缺陷检测装置,可以应用于如上述实施例中提供的物料缺陷检测方法,相关细节参考上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,本申请实施例中提供的物料缺陷检测装置在进行卡规操作时,仅以上述各功能模块/功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块/功能单元完成,即将物料缺陷检测装置的内部结构划分成不同的功能模块/功能单元,以完成以上描述的全部或者部分功能。另外,上述方法实施例提供的物料缺陷检测方法的实施方式与本实施例提供的物料缺陷检测装置的实施方式属于同一构思,本实施例提供的物料缺陷检测装置的具体实现过程详见上述方法实施例,这里不再赘述。
图8示出了本申请一个示例性实施例提供的计算机设备的结构框图。是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括,但不限于,处理器和存储器。其中,处理器和存储器可以通过总线或者其他方式连接。其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(Neural-network Processing Unit,NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
处理器可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-ProgrammableGate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一些实施例中,计算机设备还可选包括有:***设备接口和至少一个***设备。处理器、存储器和***设备接口之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口相连。具体地,***设备包括:射频电路、显示屏、键盘中的至少一种。
***设备接口可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器和存储器。在一些实施例中,处理器、存储器和***设备接口被集成在同一芯片或电路板上;在一些其他实施例中,处理器、存储器和***设备接口中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
显示屏用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏是触摸显示屏时,显示屏还具有采集在显示屏的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器进行处理。此时,显示屏还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏可以为一个,设置在计算机设备的前面板;在另一些实施例中,显示屏可以为至少两个,分别设置在计算机设备的不同表面或呈折叠设计;在另一些实施例中,显示屏可以是柔性显示屏,设置在计算机设备的弯曲表面上或折叠面上。甚至,显示屏还可以设置成非矩形的不规则图形,也即异形屏。显示屏可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源用于为计算机设备中的各个组件进行供电。电源可以是交流电、直流电、一次性电池或可充电电池。当电源包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图8中示出的结构并不构成对计算机设备的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还公开了一种计算机可读存储介质。具体来说,计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现上述方法实施方式中的方法。本领域技术人员可以理解,实现本申请上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施方式的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种物料缺陷检测方法,其特征在于,所述方法包括:
显示复检操作界面,在所述复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;所述全景物料展示区显示的是通过线扫相机扫描的物料板的实时扫描图,所述全景物料图中包含若干颗粒阵列,所述缺陷图像显示区用于显示从目标颗粒区域中检测到的缺陷点的缺陷图像;所述缺陷图像是线扫相机扫描物料并通过检测机台识别确定;
响应于接收到对所述缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则;所述缺陷过滤规则用于确定包含报废缺陷点的目标颗粒;
响应于接收到对物料全景图的复检操作指令,获取所述缺陷图像,根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在所述缺陷图像显示区内显示滤除后的目标缺陷图像。
2.根据权利要求1所述的方法,其特征在于,所述缺陷设置界面显示缺陷配置列表和新建规则控件;所述缺陷设置列表中显示有所有已建立的缺陷过滤规则,每个缺陷过滤规则设置有直报缺陷复选框,用于选中目标缺陷过滤规则;
所述新建规则控件用于在所述缺陷配置列表中加入新的缺陷过滤规则。
3.根据权利要求2所述的方法,其特征在于,所述根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则,包括:
响应于接收到对所述新建规则控件的点击操作,在所述缺陷设置界面上生成新建规则界面,所述新建规则界面包括缺陷代码输入框、缺陷名称输入框、物料LOT字段输入框、缺陷等级选择框和规则启停控件;
响应于在所述新建规则界面中输入对应规则信息,保存新建规则并加入到所述缺陷配置列表中。
4.根据权利要求3所述的方法,其特征在于,所述根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,包括:
获取所述缺陷图像并读取图像中的缺陷标签,所述缺陷标签用于记录机台识别出缺陷点的缺陷类型和目标颗粒编号;
获取所述缺陷配置列表中所有已启用缺陷过滤规则对应的目标缺陷类型,将其与所述缺陷图像中缺陷标签记录的缺陷类型相匹配;
响应于匹配结果不一致,将所述缺陷图像存入显示列表中,用于在所述缺陷图像显示区中显示;
响应于匹配结果一致,将所述缺陷图像对应的目标颗粒标记为报废颗粒,并根据颗粒编号从所述显示列表定位所述报废颗粒的所有报废图像,将其屏蔽过滤;
响应于所述缺陷图像匹配完成后,将所述显示列表中的所有图像确定为所述目标缺陷图像。
5.根据权利要求1所述的方法,其特征在于,在所述缺陷图像显示区内显示所述目标缺陷图像时,根据所述目标缺陷图像对应的颗粒编号确定在所述全景物料图中的位置;
在所述全景物料图中标记目标缺陷颗粒的轮廓线,并通过十字标定位标进行标记显示。
6.根据权利要求3所述的方法,其特征在于,检测机台对缺陷点的识别过程生成目标缺陷点识别的识别置信度;所述缺陷等级选择框用于设置识别报废缺陷点的置信度阈值,当缺陷图像中记录的缺陷置信度超过置信度阈值时,将其确定为报废缺陷点。
7.根据权利要求4所述的方法,其特征在于,当所述全景物料图中的颗粒阵列仅包含报废缺陷点时,在所述缺陷图像显示区中生成提示语,用于指示颗粒图像中仅含报废缺陷点;
在所述全景物料图中包含报废缺陷点的目标颗粒的轮廓进行标记显示。
8.一种物料缺陷检测装置,其特征在于,所述装置包括:
第一显示模块,用于显示复检操作界面,在所述复检操作界面显示全景物料展示区、缺陷图像显示区和缺陷设置控件;所述全景物料展示区显示的是通过线扫相机扫描的物料板的实时扫描图,所述全景物料图中包含若干颗粒阵列,所述缺陷图像显示区用于显示从目标颗粒区域中检测到的缺陷点的缺陷图像;所述缺陷图像是线扫相机扫描物料并通过检测机台识别确定;
第二显示模块,用于响应于接收到对所述缺陷设置控件的点击操作,显示缺陷设置界面,根据指令设置在所述缺陷设置界面设置目标缺陷类型的缺陷过滤规则;所述缺陷过滤规则用于确定包含报废缺陷点的目标颗粒;
第三显示模块,用于响应于接收到对物料全景图的复检操作指令,获取所述缺陷图像,根据所述缺陷过滤规则自动筛除包含报废缺陷点目标颗粒的报废图像,并在所述缺陷图像显示区内显示滤除后的目标缺陷图像。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的物料缺陷检测方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的物料缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311315759.4A CN117358629A (zh) | 2023-10-11 | 2023-10-11 | 物料缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311315759.4A CN117358629A (zh) | 2023-10-11 | 2023-10-11 | 物料缺陷检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117358629A true CN117358629A (zh) | 2024-01-09 |
Family
ID=89397575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311315759.4A Pending CN117358629A (zh) | 2023-10-11 | 2023-10-11 | 物料缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117358629A (zh) |
-
2023
- 2023-10-11 CN CN202311315759.4A patent/CN117358629A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110060237B (zh) | 一种故障检测方法、装置、设备及*** | |
KR20200004825A (ko) | 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체 | |
US8041443B2 (en) | Surface defect data display and management system and a method of displaying and managing a surface defect data | |
US11947345B2 (en) | System and method for intelligently monitoring a production line | |
JP2003100826A (ja) | 検査データ解析プログラムと検査装置と検査システム | |
CN116967615B (zh) | 电路板复检打标方法、装置、设备及存储介质 | |
CN1323369C (zh) | 图像识别装置和方法以及图像识别装置的示教装置和方法 | |
CN113096119A (zh) | 晶圆缺陷分类的方法、装置、电子设备以及存储介质 | |
CN114693673A (zh) | 玻璃检测的方法、装置、电子设备及计算机可读存储介质 | |
CN112132781A (zh) | 一种纹理缺陷检测方法及装置 | |
US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
JP2008227028A (ja) | データ処理装置、およびデータ処理方法 | |
CN113222913A (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
Zhu et al. | Deep-learning-enabled automatic optical inspection for module-level defects in LCD | |
CN111967490A (zh) | 用于地图检测的模型训练方法和地图检测方法 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
Choi et al. | Deep learning based defect inspection using the intersection over minimum between search and abnormal regions | |
CN117871545A (zh) | 一种电路板元器件缺陷检测方法、装置、终端及存储介质 | |
CN113012097B (zh) | 图像复检方法、计算机装置及存储介质 | |
CN115471439A (zh) | 显示面板缺陷的识别方法、装置、电子设备及存储介质 | |
CN117358629A (zh) | 物料缺陷检测方法、装置、设备及存储介质 | |
JP2001134763A (ja) | 撮像画像に基づく欠陥の分類方法、および、その結果の表示方法 | |
CN112702905B (zh) | 印刷电路板良率和生产设备错误率之回溯方法及其*** | |
CN113468355A (zh) | 显示母板数据管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |