CN112304952A - 影像辨识装置、影像辨识方法及其计算机程序产品 - Google Patents

影像辨识装置、影像辨识方法及其计算机程序产品 Download PDF

Info

Publication number
CN112304952A
CN112304952A CN202010349965.7A CN202010349965A CN112304952A CN 112304952 A CN112304952 A CN 112304952A CN 202010349965 A CN202010349965 A CN 202010349965A CN 112304952 A CN112304952 A CN 112304952A
Authority
CN
China
Prior art keywords
image
point images
group
module
structured data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010349965.7A
Other languages
English (en)
Other versions
CN112304952B (zh
Inventor
郑志伟
申再生
王光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109112603A external-priority patent/TWI749524B/zh
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112304952A publication Critical patent/CN112304952A/zh
Application granted granted Critical
Publication of CN112304952B publication Critical patent/CN112304952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种影像辨识方法、影像辨识装置及其计算机程序产品。该影像辨识方法包括：接收多张检测点影像，并将各检测点影像分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。本发明可增成较佳的辨识率及信心度，达到降低作业人员工作负担及降低生产成本的功效。

Description

影像辨识装置、影像辨识方法及其计算机程序产品
技术领域
本发明涉及自动光学检测，特别涉及一种影像辨识装置、影像辨识方法及其计算机程序产品。
背景技术
自动光学检测(Automated Optical Inspection，AOI)是工业制程中常见的代表性手法，例如可用于检查印刷电路板(printed circuit board，PCB)、平面显示器(flatdisplay panel)、半导体装置、电子产品、光学装置、机械机构、模具等等的待测物品。举例来说，自动光学检测***可利用光学仪器取得成品的表面状态，再以计算机影像处理技术来检出异物或图案异常等瑕疵，因为是非接触式检查，所以可在生产线的中间节点来检查半成品，例如空白PCB(bare PCB)以及组装完成的PCB均为中间节点。
自动光学检测***可用于待测物品的制造或组装过程中以检查待测物品或半成品的不同特征，例如但不限于：导体(例如电线)的完整性(例如断裂、连续性、破裂)及尺寸、绝缘体或基板的尺寸及位置、孔洞(hole)的尺寸及位置、通孔(via)的尺寸及位置、导体间距、线宽和长度、焊锡状况、元件位置、焊点缺陷等等。
然而，传统的自动光学检测***均会设定相当严格的判断条件以剔除不合格的产品，但是在上述过程中会得到许多质量合格但是被自动光学检测***判断为有缺陷的产品，且在工厂端大量制造产品时，并无有效的方法可以一一检测被误判为有缺陷的产品。
发明内容
有鉴于此，需要一种用于自动光学检测的影像辨识装置、影像辨识方法及其计算机程序产品以解决上述问题。
本发明实施例提供一种计算机程序产品，用以被一机器载入且执行一影像辨识方法，该计算机程序产品包括：一影像标记模块，用以接收多张检测点影像，并将该等检测点影像分类为多个群组；一影像归类模块，用以将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；一影像生成模块，用以将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
在一些实施例中，该计算机程序产品还包括一影像切割模块，用以接收来自一自动光学检测装置所拍摄的一待测物的一物件影像，并将该物件影像切割为对应于该待测物的多个检测点的该等检测点影像。该影像切割模块在该物件影像上设定一搜索范围，并在该搜索范围内设定一或多个标记范围，并在各标记范围内设定不同检测点的相对位置。该影像切割模块在该搜索范围内寻找该一或多个标记范围，并依据各检测点与相应的该标记范围的相对位置以从该物件影像切割出相应于各检测点的检测点影像。
在另一些实施例中，该等检测点影像来自一自动光学检测装置，且该等检测点影像对应于该自动光学检测装置所拍摄的一待测物的多个检测点。
在一些实施例中，该影像标记模块所标记的各群组对应于该待测物中的该等检测点的多个缺陷状态及一检测通过状态的其中一者。
在一些实施例中，该影像归类模块依据在各群组中的各检测点影像对应于至少一个该等类别的相似度将各群组的该等检测点影像分类为该等类别以产生该第一结构化数据。此外，响应于各群组的各检测点影像对应于至少一个该等类别的该相似度高于一相似度阈值，该影像归类模块将在各群组中该相似度高于该相似度阈值的该等检测点影像分类为同一类别。
在一些实施例中，该影像归类模块将在各群组中的各检测点影像对应于至少一个该等类别的该相似度排序并将排序结果显示于使用者界面，其中当该影像归类模块对各群组中的一或多张该等检测点影像进行标记后，该影像归类模块将被标记的一或多张该等检测点影像搬移至相应的归类子数据夹。
在一些实施例中，该第一结构化数据中的各群组的各类别均记录相应的该等检测点影像的编号，其被该影像归类模块输出为一归类文件。
在一些实施例中，该影像生成模块设定一或多个影像参数的每一者的数值变化范围，且该影像生成模块从各影像参数的数值变化范围随机生成各影像参数以对该等检测点影像进行影像处理以产生多张模拟检测点影像。该一或多个影像参数包括该等检测点影像的红色/绿色/蓝色像素的亮度、对比、伽玛(gamma)值、旋转角度、X方向/Y方向的平移像素值、锐利化、模糊度及缩放比率。该影像生成模块依据一原始检测点影像及一组特定影像参数计算一第一模拟检测点影像，并在其使用者界面显示该第一模拟检测点影像。此外，在该等群组中的一第一群组该等检测点影像的数量及该等模拟检测点影像的数量的总和等于一第一数量，且该等群组中的其他各群组中的该等检测点影像的数量加上该等模拟检测点影像的数量的总和等于该第一数量。在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于该第一数量除以每一群组的该等类别的数量。
本发明实施例还提供一种影像辨识方法，包括：接收多张检测点影像，并将该等检测点影像加上一群组标记以分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
本发明实施例还提供一种用于自动光学检测的影像辨识装置，包括：一非易失性存储器，用以储存一人工智能影像检测程序；以及一处理器，用以执行该人工智能影像检测程序以进行下列步骤：接收多张检测点影像，并将该等检测点影像分类为多个群组；将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
本发明实施例所提供的影像辨识装置、影像辨识方法及其计算机程序产品，可利用影像标记、影像分类及影像生成的标准化步骤将原本欲输入至人工智能模型的检测点影像建立出第一结构化数据，并可对所建立的结构化数据中的各群组的各类别中的检测点影像数量进行增量并平衡以产生第二结构化数据，且第二结构化数据可解决人工智能模型在训练阶段时需有大量且均衡的样本的问题。因此，利用第二结构化数据进行训练的人工智能模型可增成较佳的辨识率及信心度。因此，本发明实施例还可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。
附图说明
图1显示依据本发明一实施例中的自动光学检测***的示意图。
图2显示依据本发明一实施例中的影像辨识装置的框图。
图3显示依据本发明一实施例中的第一结构化数据的示意图。
图4A为依据本发明一实施例的数据准备程序的影像切割模块的使用者界面的示意图。
图4B为依据本发明一实施例的数据准备程序的影像切割模块的使用者界面的示意图。
图5为依据本发明一实施例中的影像切割模块的操作过程的流程图。
图6为依据本发明一实施例中的影像切割模块的操作过程的流程图。
图7为依据本发明一实施例的数据准备程序的影像归类模块的使用者界面的示意图。
图8A及图8B为依据本发明一实施例中的影像归类模块的操作过程的流程图。
图9为依据本发明一实施例的数据准备程序的影像归类模块的使用者界面的示意图。
图10A及图10B为依据本发明一实施例中的影像归类模块的操作过程的流程图。
图11为依据本发明一实施例的影像辨识方法的流程图。
主要组件符号说明：
10 自动光学检测***
12 自动输送装置
14 自动光学检测装置
16 影像检测装置
18 影像辨识装置
20 待测物
30 箭头
122 机壳
124 驱动机构
126 控制器
128 检测定位点
142 影像感测器
144 照明装置
180 人工智能影像检测程序
181 处理器
182 存储器单元
183 储存装置
1800 数据准备程序
1801 影像切割模块
1802 影像标记模块
1803 影像归类模块
1804 影像生成模块
1805 模型训练模块
1806 模型评价模块
1807 模型产生程序
400 使用者界面
410～412、471～478、720～730、741～742 框
911～917、1000 框
4001～4004、431～441、451～453 按钮
701～713、901～905 按钮
491～498、7211～7220 栏位
421～426、481～488、460～462、731～737、920～922 栏位
S502～S520、S602～S632、S802～S844、S1002～S1036 步骤
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考所附的权利要求范围。
必须了解的是，使用于本说明书中的"包含"、"包括"等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如"第一"、"第二"、"第三"等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1显示依据本发明一实施例中的自动光学检测***的示意图。
如图1所示，自动光学检测***10包括一自动输送装置12、一自动光学检测装置14、一影像检测装置16以及一影像辨识装置18。自动输送装置12例如包括一机壳122及一驱动机构124。驱动机构124设置于机壳122的上方，用以将一或多个待测物20(device undertest)依序输送至机壳122上的一检测定位点128，使得自动光学检测装置14可对待测物20拍照或执行光学检测程序以得到一或多张物件影像。驱动机构124例如可用输送带或是机器手臂所实现，且驱动机构124输送待测物20的方向(如箭头30所示)由控制器126所控制。控制器126例如可用一微控制器(controller)、一可编程逻辑控制器(programmable logiccontroller，PLC)或是一个人计算机所实现，但本发明实施例并不限于此。
自动光学检测装置14包括一或多个影像感测器142及一或多个照明装置144，其中照明装置144用以提供光线至检测定位点128上的待测物20，以使影像感测器142对检测定位点128上的待测物20拍照以得到物件影像。照明装置144例如可用发光二极管(LED)或不同类型的光源所实现，且影像感测器142例如可由电荷耦合装置(charge-coupled device，CCD)感测器或互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)感测器所实现，但本发明实施例并不限于此。此外，在自动光学检测装置14中的一或多个影像感测器142的整体的拍照视野(field of view)可涵盖在检测定位点128上的待测物20。
影像检测装置16例如可为一个人计算机或服务器所实现。在一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像进行影像前处理(image pre-processing)，并且对处理后的物件影像进行光学影像辨识，借以判断待测物中的一或多个检测点是否有缺陷(defect)。
举例来说，上述影像前处理包括但不限于去除噪声、加强影像对比、加强影像边缘、撷取影像特征、影像缩放/旋转、影像对齐/校正、影像转换等等。可利用相关的影像前处理技术对物件影像进行处理，且经过处理后的物件影像更易于进行后续的影像分析及影像辨识。在一些实施例中，影像检测装置16可省略，且上述影像前处理例如可由影像辨识装置18所执行。在另一些实施例中，影像检测装置16可整合至影像辨识装置18。
在第一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像中之进行影像前处理(image pre-processing)。此时，影像检测装置16将处理后的物件影像(例如可称为AOI物件影像)传送至影像辨识装置18以进行后续处理。
在第二实施例中，影像检测装置16可执行机器视觉软件(machine-visionsoftware)将处理后的物件影像切割为一或多个检测点影像，并对各检测点影像进行影像辨识，其中上述机器视觉软件可预先对待测物的物件影像中的各检测点影像设定相应的影像辨识条件以辨识出各个检测点的缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrongcomponent)、多件(foreign component)、翻件(flipped component)、极性反(wrongpolarity)、脚翘(lifted lead)、脚变形(lead defective)、锡桥(solder bridge)、少锡(insufficient solder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。针对不同类型的待测物设定相应的影像辨识条件。接着，影像检测装置16将辨识出有缺陷状态的检测点影像传送至影像辨识装置18以进行后续处理。在一些实施例中，影像辨识装置18也可以从其他外部装置取得检测点影像或物件影像、或是通过网络从云端数据库(图1未绘示)取得检测点影像或物件影像，但本发明实施例并不限于此。为了便于说明，在后述实施例中的待测物20以印刷电路板为例进行说明。
图2显示依据本发明一实施例中的影像辨识装置的框图。
影像辨识装置18可由一或多台个人计算机、服务器、或其他类型的运算装置所实现。影像辨识装置18包括一处理器181、一存储器单元182及一储存装置183。处理器181例如可用中央处理器(central processing circuit，CPU)或一般用途处理器(general-purpose processor)所实现，但本发明实施例并不限于此。存储器单元182为一易失性存储器，例如可为静态随机存取存储器(static random access memory，SRAM)或动态随机存取存储器(dynamic random access memory，DRAM)。
储存装置183为一非易失性存储器，例如可为一硬盘机(hard disk drive)、一固态硬盘(solid-state disk)、一快闪存储器(flash memory)、一只读存储器(read-onlymemory)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、电子可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)或电子熔丝(e-fuse)，但本发明实施例并不限于此。
储存装置183储存一人工智能影像检测程序180用以对来自影像检测装置16的处理后的物件影像或辨识出有缺陷状态的检测点影像进行对应的处理。举例来说，人工智能影像检测程序180包括数据准备程序1800及模型产生程序1807，其中数据准备程序1800包含影像切割模块1801、影像标记模块1802、影像归类模块1803及影像生成模块1804，且模型产生程序1807包含模型训练模块1805以及模型评价模块1806。处理器181将人工智能影像检测程序180从储存装置183读取至存储器单元182并执行，借以控制并协调各模块1801～1806相应的功能。
影像切割模块1801用以对来自自动光学检测装置14或影像检测装置16的AOI物件影像进行裁切以得到在待测物的各检测点相应的检测点影像。需注意的是，因为在第二实施例中，影像检测装置16将辨识出有通过状态或缺陷状态的检测点影像传送至影像辨识装置18，故上述检测点影像不需再经过影像切割模块1801进行处理，故影像切割模块1801适用于第一实施例的情况。
图4A为依据本发明一实施例的数据准备程序的影像切割模块的使用者界面的示意图。图5为依据本发明一实施例中的影像切割模块的操作过程的流程图。请同时参考图2、图4A及图5。
在一实施例中，使用者可在数据准备程序1800的使用者界面400上的按钮4001～4004选择欲切换至影像切割模块1801、影像标记模块1802、影像归类模块1803或影像生成模块1804。当使用者选择按钮4001后，使用者界面400切换至影像切割模块1801的使用者界面，如图4A所示。在自动光学检测装置14或影像检测装置16将AOI物件影像传送至影像辨识装置18后，影像辨识装置18将AOI物件影像储存至指定的数据夹。
影像切割模块1801在开始运作时需先选择待分割数据夹(步骤S502)，意即需先选择欲分割的AOI物件影像所在的数据夹，例如可按下使用者界面400的按钮432以选择待分割数据夹，且待分割数据夹的路径显示于栏位422。影像切割模块1801并判断待分割数据夹中是否有数据(例如AOI物件影像)(步骤S504)。若待分割数据夹中已有数据，则执行步骤S506(例如可按下按钮441)以决定是否要读取先前储存的设定文件。若待分割数据夹中没有数据，则回到步骤S502。在一些实施例中，步骤S502及S504的顺序可置于步骤S518之后。
若在步骤S506中读取先前储存的设定文件，此流程则前进至步骤S520。若在步骤S506中未读取先前储存的设定文件，则执行步骤S508以载入在待分割数据夹中的照片(即AOI物件影像)。举例来说，上述设定文件包括欲在AOI物件影像上进行影像切割处理所使用的样板(template)及检测点的设定。若待分割数据夹中有一或多张AOI物件影像，影像切割模块1801可将第一张AOI物件影像的预览图自动显示于使用者界面400的框410之内，且AOI物件影像的影像信息则显示于栏位421。在一些实施例中，使用者按下按钮433以选择在待分割数据夹中的AOI物件影像，且选择的AOI物件影像显示于框410，使用者亦可调整在框410中所显示的AOI物件影像的大小并且可拖曳至欲观看的区域，且框410可即时更新显示上述区域，上述操作例如对应于图5中的“界面更新图片显示画面”及步骤S508。在另一些实施例中，使用者可先不选择待分割数据夹，而选择欲分割的影像集的其中一张影像(即AOI物件影像)以做为样板以完成欲进行影像分割的相关设定。
在步骤S510，设定样板搜索范围。举例来说，使用者可设定样板的图框范围，例如需先将工具列439先切换至“样板设定”的位置，并按下按钮436以设定样板的搜寻范围。举例来说，使用者可选择框选工具以标示样板的搜索范围，且影像切割模块1801会相应地记录上述样板搜索范围的坐标信息并储存于样板设定。搜寻范围的水平(X)尺寸及垂直(Y)尺寸分别显示于栏位425及426。当样板设定完成后，使用者按下按钮438即可储存样板设定(步骤S512)。
在步骤S514，编辑检测点，并且执行步骤S516以设定检测点。使用者可将工具列439切换至“检测点设定”的位置，再按下按钮436以设定一或多个检测点的图框的范围。每当所选择的图框的标记范围确定后，按下按钮437即可设定相应的图框的标记范围，且每一组已设定的图框的标记范围及其坐标信息会即时更新并显示于框411中，以供影像切割模块1801后续撷取检测点影像。此外，在一实施例中每个检测点的图框坐标以相对坐标的形式储存，影像切割模块1801可产生样板的图框范围坐标与检测点的图框坐标相互关联的设定文件，影像切割模块1801可记录多组样板搜寻范围坐标与检测点的图框坐标相互关联的组合，每个组合例如可从按钮431进行切换。
因为来自影像检测装置16的不同AOI物件影像之间可能会有像素平移的情况，故影像切割模块1801需要在各个标记范围之外设定一较大的搜索范围(样板)，在各个标记范围内可以设定不同的检测点的相对位置。此外，标记范围可视为一定位点或定位范围，且各标记范围内可包括多个检测点。当同一个待测物20的AOI物件影像输入至影像切割模块1801时，可在目前使用的样板的预定搜索范围寻找定位点(即标记范围)，并依据各个检测点与标记范围的相对位置从AOI物件影像切割出相应于各个检测点的检测点影像，其中各检测点影像的文件名称可包含其待测物名称、时间、位置、编号等等。
在步骤S518，储存设定文件。当完成检测点的设定后，可按下按钮440以储存样板及检测点的设定文件。在步骤S520，依据设定文件分割照片。使用者可按下按钮435以让影像切割模块1801依据经由上述流程所设定的设定文件或是载入先前的设定文件以对待分割数据夹中的AOI物件影像进行影像切割处理。
图4B为依据本发明一实施例的数据准备程序的影像切割模块的使用者界面的示意图。图6为依据本发明一实施例中的影像切割模块的操作过程的流程图。请同时参考图2、图4B及图6。
影像标记模块1802用以从影像切割模块1801取得各检测点相应的检测点影像，其中上述检测点影像尚未进行标记或分类。当使用者选择按钮4002后，使用者界面400切换至模型标记模块1802的使用者界面，如图4B所示。在步骤S602，选择待分类数据夹。举例来说，使用者可按下使用者界面400的按钮451以选择待分类数据夹，且其路径显示于栏位460。在待分类数据夹中的检测点影像例如均为尚未经过标记或分类的检测点影像。举例来说，使用者可先在待分类数据夹中先建立欲分类的群组名称的数据夹，例如上述标记可包括通过状态(pass或OK)、以及缺陷状态(例如NG1、NG2、NG3、…、NGN等等)，但本发明实施例并不限于此。
在步骤S604，判断待分类数据夹内是否有数据。若待分类数据夹内有数据(例如待分类的检测点影像数量大于0)，执行步骤S606。若待分类数据夹内无数据(例如待分类的检测点影像数量等于0)，回到步骤S602。
在步骤S606，批次读取检测点影像。举例来说，在图4B的使用者界面400中，模型标记模块1802可从待分类数据夹批次读取8张检测点影像，但本发明实施例中一个批次的的检测点影像数量并不限定于此。在步骤S606之后有两个分支流程，其中在步骤S608～S614为影像分类流程，步骤S620～S624为影像删除流程，且针对目前批次的检测点影像可选择其中一个分支进行影像分类或影像删除。
在步骤S608，选取欲分类的群组。举例来说，使用者可在栏位461选择已事先建立的其中一个群组名称以对目前批次的8张检测点影像进行分类。在步骤S610，标记欲分类的群组的检测点影像。举例来说，目前批次的8张检测点影像分别显示于框471～478中，且对应的影像信息分别显示于栏位481～488。此外，目前批次的8张检测点影像均有对应的栏位491～498。作业人员可在使用者界面400上的栏位491～498针对目前批次中的各检测点影像进行标记。在此实施例中，栏位492、496及497已被标记，且欲分类的群组名称为OK，如图4B所示。
在步骤S612，执行分类动作，并且在步骤S614，将已标记的检测点影像搬运至欲分类群组数据夹。举例来说，当使用者按下按钮452以执行分类动作时，影像标记模块1802将已标记在框472、476及477的检测点影像搬运至欲分类群组数据夹，例如在图4B中已选择OK群组进行分类。在一些实施例中，若在欲分类群组数据夹中尚有待分类(或待删除)的影像，则影像标记模块1802将上述待分类(或待删除)的影像接续显示于框471～478中。
步骤S620至S624为影像删除的流程。在步骤S620，标记欲删除的检测点影像。在一实施例中，尽管在待分类数据夹中已包含了预先设定的不同群组，但在影像标记模块1802对检测点影像进行分类时，仍然可能有部分的检测点影像并不属于任何一个预先设定的群组，故需要将这些检测点影像从待分类数据夹中删除。在另一实施例中，影像标记模块1802在选择待分类数据夹时可选择已分群完成的数据夹，并检视已分群完成的数据夹中是否有不属于此数据夹的检测点影像。若在已分群完成的数据夹中有不属于此数据夹的检测点影像，则可经由步骤S620至S624以进行影像删除。在又一实施例中，影像标记模块1802可选择已分群完成的数据夹，并将其视为要重新分类的数据夹。因此，影像标记模块1802可将已分群完成的数据夹中的检测点影像进行搬移并且通过影像删除的流程以删除上述数据夹。
在步骤S622，执行删除动作，并且在步骤S624，将已标记的检测点影像从待分类数据夹删除。举例来说，当使用者按下按钮453以执行删除动作时，影像标记模块1802将已标记在框472、476及477的检测点影像从待分类数据夹删除。在一些实施例中，若在欲分类群组数据夹中尚有待分类(或待删除)的影像，则影像标记模块1802将上述待分类(或待删除)的影像接续显示于框471～478中。
在步骤S630，判断目前批次的检测点影像均已处理完毕。若目前批次的检测点影像均已处理完毕，则执行步骤S632。若目前批次的检测点影像尚未处理完毕，则回到步骤S608或S620以对目前批次中的剩余检测点影像进行影像分类或影像删除。
在步骤S632，判断目前批次是否为最后批次。若目前批次为最后批次，则此流程结束。若目前批次不是最后批次，则回到步骤S606以再度批次读取在待分类数据夹中的检测点影像。
在上述实施例中，作业人员可在影像标记模块1802的使用者界面针对每个批次中的各检测点影像进行标记，其中上述标记可包括通过状态(pass)、以及缺陷状态(例如NG1、NG2、NG3、…、NGN等等)。在另一些实施例中，影像标记模块1802可包含影像辨识的功能，其用以对各检测点影像进行影像辨识以判断出各检测点影像的状态，例如为通过或是缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrong component)、多件(foreign component)、翻件(flipped component)、极性反(wrong polarity)、脚翘(lifted lead)、脚变形(leaddefective)、锡桥(solder bridge)、少锡(insufficient solder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。
因此，在经过影像标记模块1802对各检测点影像进行标记后，可得到不同群组的检测点影像，例如通过(pass)、以及各缺陷状态NG1、NG2、NG3、…、NGN等等均可视为不同群组，且影像标记模块1802将不同群组的检测点影像储存至在待分类数据夹中相应的子目录下。
图7为依据本发明一实施例的数据准备程序的影像归类模块的使用者界面的示意图。图8A及图8B为依据本发明一实施例中的影像归类模块的操作过程的流程图。请同时参考图2、图7及图8A及图8B。
当使用者选择在图4A的使用者界面400的按钮4003后，使用者界面400切换至影像归类模块1803的使用者界面，如图7所示。影像归类模块1803用以让作业人员对影像标记模块1802标记后的各群组中的检测点影像进行归类(classification)或反归类(de-classification)。
在步骤S802，选取待归类数据夹。举例来说，使用者可按下使用者界面400的按钮701以选择待归类数据夹，且其路径显示于栏位731。在待归类数据夹中的检测点影像例如是已经过影像标记模块1802进行标记或分类的检测点影像，其中待归类数据夹的名称例如对应于通过状态或是缺陷状态(例如NG1、NG2、NG3、…、NGN等等)的其中一者，但本发明实施例并不限于此。
在步骤S804，载入设定文件。若已有先前储存的影像归类模块1803的设定文件，可按下按钮703以选择先前储存的设定文件，其路径显示于栏位734。其中，上述设定文件例如包括：分隔符号设定、检测点关键字、相似度阈值及类别名称。
在步骤S806，执行反归类动作。举例来说，在步骤S802所选择的待归类数据夹的名称例如对应于通过状态或是缺陷状态，且待归类数据夹中的检测点影像已经过影像标记模块1802进行标记或分类。若将目前选择的待归类数据夹中的检测点影像回复至尚未进行标记的状态或是已经归类的检测点影像要重新归类，则需要执行反归类动作。在步骤S808，判断在待归类数据夹中是否有数据。若在待归类数据夹中有数据，则执行歩骤S810。在步骤S810，删除目前选择的待归类数据夹。举例来说，影像归类模块1803将目前选择的待归类数据夹中的检测点影像移动至上一层目录(意即影像标记模块1802所选择的待分类数据夹)，并删除目前的目前选择的待归类数据夹。
在步骤S812，选择分隔符号。举例来说，目前选择的待归类数据夹中的各张检测点影像的文件名称均有相应的编号、拍摄条件、时间等等，且在文件名称中使用某一特定分隔符号(例如底线、分号等等)以将上述不同条件分开以示区隔。使用者可在框742中选择欲使用的分隔符号。在步骤S814，计算检测点。举例来说，使用者可按下按钮702以让影像归类模块1803计算目前选择的待归类数据夹中的检测点影像数量，且计算出的检测点影像数量显示于栏位737。在步骤S816，选择检测点关键字。举例来说，使用者可在栏位732填入检测点关键字，或是可利用栏位732的下拉式选单以选择在目前选择的待归类数据夹中的检测点。
步骤S818至S824为自动归类流程，步骤S826至S834则为手动归类流程。使用者可在使用者界面400上按下按钮711及712以切换为自动归类或手动归类。在步骤S818，执行自动归类处理。在步骤S820，调整相似度。举例来说，影像归类模块1803在步骤S820调整相似度阈值以做为分类在待归类数据夹中的各检测点影像的相似度判断标准。在步骤S822，调整类别数。上述类别数表示影像归类模块1803在待归类数据夹中所产生的类别数据夹的数量以供后续分类用。使用者例如可先预估待归类数据夹中所需的类别数量，进而调整类别数。需注意的是，步骤S820及S822的执行次序可先后调换或是可同时执行。
在步骤S824，进行归类计算。举例来说，影像归类模块1803例如可将在同一群组中内容或属性的相似度高的多张检测点影像分类在同一类别。影像归类模块1803可设定一相似度阈值，影像归类模块1803计算目前所选择的待归类数据夹(即群组数据夹)中各检测点影像对应至少其中一类别的相似度，并通过使用者界面400的框721～728显示在各群组中相似度高于相似度阈值的检测点影像，并且在框741中显示在各群组中相似度高于相似度阈值的检测点影像的信息。若是在自动归类模处理的流程中，影像归类模块1803可不在使用者界面400显示在各群组中相似度高于相似度阈值的检测点影像，而可以将在各群组中相似度高于相似度阈值的检测点影像搬移至相应的类别数据夹。详细来说，使用者可预先于通过(pass)的群组中将至少一张检测点影像(例如可称为类别参考检测点影像)分类为对应类别，影像归类模块1803分类各群组中的检测点影像时，计算预先分类的类别参考检测点影像与各群组中尚未分类的检测点影像之间的相似度，筛选出高于相似度阈值的检测点影像后，显示于使用者界面，并进行归类。其他群组的各类别亦可进行类似的操作。举例来说，电阻和电阻之间具有较高的相似度，但电阻与电容之间则具有较低的相似度。因应于各群组中的各检测点影像的相似度高于相似度阈值，影像归类模块1803将在同一群组中相似度高于相似度阈值的各检测点影像分类为同一类别，其中在步骤S822所设定的类别数即为可进行分类的类别数量的上限。若使用者在自动归类处理时更新了类别数，则使用者界面会同时更新目前使用的类别数，且影像归类模块1803重新进行归类计算。
在步骤S826，执行手动归类处理。在步骤S828，新增类别。举例来说，使用者可在使用者界面400的栏位735填入欲新增的类别名称并按下按钮708以在待归类数据夹中新增类别，且使用者界面400可即时更新新增类别的信息，且使用者可按下栏位736以选择已加入的类别。在步骤S830，进行相似度排序。在步骤S832，加入检测点。举例来说，影像归类模块1803计算目前所选择的待归类数据夹(即群组数据夹)中各检测点影像对应至少其中一类别的相似度，并通过使用者界面400的框721～728显示在各群组中相似度高于相似度阈值的检测点影像，并且在框741中显示在各群组中检测点影像的相似度的排序结果。此外，使用者亦可按下7211～7220以标记检测点影像，按下使用者界面400中的按钮710以加入已标记的检测点至相应的类别数据夹或按下删除检测点的按钮(图未示)以移除目前选择的检测点。
在步骤S834，执行删除类别操作。在步骤S836，移除该类别。举例来说，使用者在步骤S828所新增的类别名称可能有误或是多余的类别，且使用者可在使用者界面400中的栏位736选择欲删除的类别名称，并按下按钮713以删除所选择的类别。
在步骤S838，储存设定文件。举例来说，无论是使用自动归类处理或手动归类处理，影像归类模块1803均可将目前所设定的分隔符号设定、检测点关键字、相似度阈值及类别名称储存为相应的设定文件。
在步骤S840，执行影像归类。在一实施例中，作业人员可在使用者界面400上对批次显示的各检测点影像(例如位于框721～730)相应的栏位(例如栏位7211～7220)进行标记，并按下按钮706或按钮710进行影像归类，借以将内容或属性的相似度高的多张检测点影像分类在同一类别。在另一实施例中，影像归类模块1803可依据上述流程所设定的相似度阈值及类别名称、以及各检测点影像与各类别的相似度以进行影像归类。在步骤S842，判断待归类数据夹中是否有数据。若待归类数据夹中有数据，则执行步骤S844将各检测点影像搬移至在待归类数据夹中相应的归类子数据夹，例如影像归类模块1803将相似度高于相似度阈值的检测点影像搬移至相应的归类子数据夹。若待归类数据夹中没有数据，则回到步骤S802以选取待归类数据夹并重新进行上述流程。
经由上述影像归类处理后，可获取在待分类数据夹中的每一检测点影像对应的类别。若影像标记模块1802标记后的多个群组可分为通过(PASS)、缺陷1(NG1)、缺陷2(NG2)及缺陷3(NG3)共四个群组，影像归类模块1803可将上述四个群组中的各检测点影像进一步归类为多个类别(type)，例如依据不同元件之间的相似度做为归类标准，并将相同种类或类似的元件分类至同一类别。举例来说，影像归类模块1803将PASS群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。类似地，影像归类模块1803亦可将NG1群组、NG2群组及NG3群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。
当上述影像归类操作完成后，影像归类模块1803可得到群组－类别的结构化数据(例如第一结构化数据)，且各群组的各类别均包括对应的检测点编号，例如PASS-Type1群组类别包括检测点1、3、5，PASS-Type2群组类别包括检测点2，PASS-Type3群组类别包括检测点4、6等等。此外，在NG1群组、NG2群组及NG3群组亦可用类似的方式将电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。
归类完成的结构化数据(例如第一结构化数据)如图3所示，影像归类模块1803并可将归类完成的结构化数据的相关信息(例如包括检测点影像的编号)及相应的检测点影像输出为一归类文件，并将归类文件写入至储存装置183，例如各群组为主目录，在各群组中的各类别为次目录，各次目录包括了归类完成后的检测点影像及其编号。此外，影像归类模块1803所产生的归类文件可供影像辨识装置18进行后续使用。使用者例如可通过影像归类模块1803的使用者界面以读取先前所储存的归类文件，故影像归类模块1803可利用读取的归类文件的结构化数据的相关信息以分类由影像切割模块1801所产生的检测点影像或由影像检测装置16所接收的检测点影像。
需注意的是，在上述实施例中，不一定每种缺陷状态均会包含全部的类别。举例来说，若NG1群组表示在印刷电路板上的元件为极性反，且NG1-Type1群组类别表示电容焊反，但是电阻并没有极性反的问题，所以NG1群组里面并不包含Type2类别，如图3所示。
图9为依据本发明一实施例的数据准备程序的影像归类模块的使用者界面的示意图。图10A及图10B为依据本发明一实施例中的影像归类模块的操作过程的流程图。请同时参考图2、图9及图10A。
当使用者选择在图4A的使用者界面400的按钮4004后，使用者界面400切换至模型生成模块1804的使用者界面，如图9所示。影像生成模块1804用以对影像归类模块1803所产生的一或多个群组类别进行影像生成，以解决某些群组类别的检测点影像的样本数不平均的问题。在步骤S1002，选取原始影像数据夹，并且在步骤S1004，设定输出数据夹。举例来说，使用者可按下使用者界面400上的按钮901以选择原始影像数据夹(即待处理数据夹)，且其路径显示于栏位921。举例来说，原始影像数据夹例如为第一结构化数据的根目录，且根目录包含多个群组的子目录。此外，原始影像数据夹亦可为第一结构化数据的其中一个群组子目录，且群组子目录包含一或多个类别子目录。
在步骤S1006，进行参数设定及点选随机参数。在使用者界面的框914中可让使用者预先设定影像生成的各种影像参数的范围，其中上述影像参数可包括但不限于检测点影像的红色/绿色/蓝色像素的亮度、对比及伽玛(gamma)值、旋转角度、X方向/Y方向的平移像素值、锐利化、模糊度、缩放比率等等。
框914中的参数内容例如表1所示：
表1
参数名称 上限 下限
红色平面(亮度) 128 128 ○
红色平面(对比) 45 45 ○
红色平面(Gamma) 1 1 ○
绿色平面(亮度) 128 128 ○
绿色平面(对比) 45 45 ○
绿色平面(Gamma) 1 1 ○
蓝色平面(亮度) 128 128 ○
蓝色平面(对比) 45 45 ○
蓝色平面(Gamma) 1 1 ○
旋转(角度) 10 -10 ●
平移X(像素) 10 -10 ●
平移Y(像素) 5 -5 ●
模糊度 0 0 ○
缩放比率(％) 100 100 ○
在表1中，旋转角度、X方向/Y方向的平移像素值均有设定变化范围的上限及下限，且此三个参数已被点选为随机参数，且在相应栏位的右方已用“●”表示已点选(在使用者界面400可用绿灯图案表示)，其他未被点选的参数则用“○”表示未点选。在上述设定中，旋转角度的范围设定在-10度至+10度，像素X平移的范围可设定在-10像素至+10像素，像素Y平移的范围可设定在-5像素至+5像素。其他未更动的影像参数则使用影像生成模块1804的预设值，或是暂不考虑其他未更动的影像参数。需注意的是，若是参数的上限及下限相同，则表示该参数在影像生成的过程中为固定值。对于上述已点选的三个参数，影像生成模块1804则是从上述三个参数各自的变化范围内随机选取数值，并用于在影像生成以产生模拟检测点影像。
在步骤S1008，设定欲生成类别及数量。在一实施例中，例如使用者可通过在使用者界面的框920与框922中设定欲生成的类别以及欲生成的数量。详细而言，对于待测物20的各检测点影像经由上述流程所产生的群组类别的归类结果来说，在各群组类别中的检测点影像的数量并不一定为平均。对于模型训练模块1805中的人工智能模型而言，其在训练阶段时需要大量数据及样本数。若模型训练模块1805直接依据影像归类模块1803所产生群组类别的归类结果(即第一结构化数据)对人工智能模型进行训练，则可能造成人工智能模型的辨识率不佳、出现误判或信心度(confidence)不足的情况。需注意的是，框1000为影像生成的设定阶段，且在框中的步骤S1002～S1008可以不分次序先后执行。
在步骤S1010，执行数据生成操作。举例来说，使用者可按下按钮904以进行数据生成。在步骤S1012，判断在原始影像数据夹中是否有数据。若在原始影像数据夹中有数据，则执行步骤S1014。若在原始影像数据夹中无数据，则回到步骤S1002。
在步骤S1014，判断是否已点选随机参数。若已点选随机参数，则执行步骤S1016。若尚未点选随机参数，则回到步骤S1006。在步骤S1016，判断生成类别及数量是否已设定。若生成类别及数量已设定，执行步骤S1018。若生成类别及数量尚未设定，则回到步骤S1008。举例来说，在执行影像生成处理之前，影像生成模块1804需先判断在设定阶段(框1000)中的各种参数是否已设定或已点选。若有某些特定参数尚未设定或点选，则需回到在设定阶段中的相应的步骤进行设定。
在步骤S1018，在随机参数的范围内随机组合生成模拟检测点影像于待生成数据夹内。举例来说，在步骤S1006中已设定参数设定及点选参数，且在上述实施例中的随机参数包含旋转角度以及X方向/Y方向的平移像素值，影像生成模块1804则是从上述三个参数各自的变化范围内随机选取数值，并用于在影像生成以产生模拟检测点影像，且产生的模拟检测点影像储存于待生成数据夹内，其中待生成数据夹与同一类别的原始检测点影像的数据夹不同，以利区别模拟检测点影像及原始检测点影像。
因此，影像生成模块1804可针对影像归类模块1803所产生的一或多个群组类别进行影像生成，使得在同一群组下的各类别中的检测点影像的数量平均。举例来说，影像生成模块1804可读取影像归类模块1803所产生的一或多个群组－类别结构化数据(例如第一结构化数据)，并统计在各群组类别中的检测点影像的数量。为了让模型训练模块1805中的人工智能模型可达到较佳的训练效果及模型评价，在各个群组类别中的影像数量愈多且平均为佳，使用者例如可通过影像生成模块1804的使用者界面400的栏位920预先设定要将所选择的群组类别(例如在框915中的群组类别，如表2所示)的检测点影像的数量增加X张或是增加至Y张，使得在同一群组中的不同类别的检测点影像的数量平均，并产生第二结构化数据。在表2的实施例中，在框915中的4个群组类别均是设定将检测点影像的数量增加至150张。
表2
类别名称 数量
铝质电容_0 150
铝质电容_180 150
铝质电容_270 150
铝质电容_0 150
详细而言，影像归类模块1803所产生的一或多个群组－类别结构化数据(第一结构化数据)的各群组类别的检测点影像例如可称为原始检测点影像，且经由影像生成模块1804套用上述各影像参数的范围随机生成的检测点影像则称为模拟检测点影像。举例来说，若PASS群组中的Type1、Type2及Type3原本分别有500、250、1000张原始检测点影像，且影像生成模块1804设定的目标影像数量为1000张(X＝1000，即增加至1000张)，经过影像生成模块1804对PASS群组中的Type1、Type2及Type3类别进行处理后，在PASS群组中的Type1、Type2及Type3类别中的影像数量均改变为1000张，其中在PASS-Type1群组类别包含500张原始检测点影像及500张模拟检测点影像，在PASS-Type2群组类别包含250张原始检测点影像及750张模拟检测点影像，在PASS-Type3群组类别包含1000张原始检测点影像及0张模拟检测点影像。意即，经过影像生成模块1804处理之后，在PASS群组中的各个类别的影像数量均会平衡。此时，PASS群组中会具有3000张检测点影像。因此，若在多个群组中的第一群组(例如PASS群组)的检测点影像的数量及模拟检测点影像的数量的总和等于一第一数量(例如3000张)，则在该等群组中的其他各群组(例如NG1～NG3群组)中的检测点影像的数量及模拟检测点影像的数量的总和同样等于第一数量。
类似地，影像生成模块1804亦对NG1、NG2及NG3群组进行相应的影像生成处理，意即在经过影像生成模块1804处理之后，在NG1、NG2及NG3群组均会具有3000张检测点影像。若NG1群组仅包含Type1及Type3类别，则NG1-Type1及NG1-Type3群组类别均包含1500张检测点影像。类似地，NG3群组仅包含Type1及Type2类别，则NG3-Type1及NG3-Type2群组类别均包含1500张检测点影像。此外，因为NG2群组包含Type1～Type3类别，所以在经过影像生成模块1804处理之后，NG2群组中的各个类别Type1～Type3均会包含1000张检测点影像。在一些实施例中，影像生成模块1804例如可将各个群组类别中经由影像生成的模拟检测点影像另存于其他子数据夹以与原始检测点影像区别。换言之，在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于第一数量(例如3000张)除以每一群组的该等类别的数量(例如NG1群组包括2个类别，NG2群组包括3个类别)。
在另一实施例中，使用者亦可用手动的方式观察影像生成模块1804所产生的模拟检测点影像。在步骤S1030，载入照片。举例来说，使用者可按下按钮902以载入其中一张原始检测点影像，其显示于框916。
在步骤S1032，进行参数调整。举例来说，框910至913则为不同的影像参数设定。框910包含红色/绿色/蓝色像素的亮度、对比及伽玛(gamma)值的设定值，且使用者可在框910中红色平面(R)、绿色平面(G)、蓝色平面(B)中的相应栏位设定或调整目前所使用的亮度、对比及伽玛值。框911则可设定旋转角度、X方向/Y方向的平移像素值。框912则可设定影像生成是否要进行模糊化/锐利化及相应的模糊度、以及缩放比率(％)。框913则可以设定对原始检测点影像进行3x3卷积核运算时所使用的屏蔽样式，且使用者可调整上述屏蔽中的不同位置的系数值，产生一组特定影像参数。
在步骤S1034，依据设定的参数即时计算模拟检测点影像，并且在步骤S1036将模拟检测点影像显示于使用者界面的影像显示框(框917)。举例来说，当在框910至913的设定完成后，产生一组特定影像参数，即可按下按钮905以进行单张影像生成处理，依据原始检测点影像及该组特定影像参数计算模拟检测点影像，且产生的模拟检测点影像(第一模拟检测点影像)显示框917。因此，使用者可自行调整用于影像生成的各种参数，且可让影像生成模块1804依据调整的参数产生模拟检测点影像，并可在使用者界面上即时看到模拟检测点影像。
模型产生程序1807包括模型训练模块1805及模型评价模型1806。举例来说，影像生成模块1804产生群组-类别的第二结构化数据，且第二结构化数据分为训练集数据及测试集数据。模型训练模块1805用以让一人工智能模型依据上述训练集数据以进行模型训练。模型评价模块1806用以评价由模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的测试集数据的效能表现，意即可将测试集数据输入至已训练完成的人工智能模型以得到人工智能模型的模型评价。
举例来说，人工智能模型在训练阶段所使用的训练集数据与测试集数据应不同，这样人工智能模型才较不易在判断结果时产生过适(overfitting)的情况。在一实施例中，影像生成模块1804所产生的第二结构化数据可分为训练集(training set)数据及测试集(testing set)数据，且分别存放于不同目录。模型训练模块1805可指定读取上述训练集数据相应的目录以做为训练数据的来源。在另一实施例中，影像生成模块1804所产生的第二结构化数据并不特别区分出训练集数据及测试集数据，且模型训练模块1805可选择第二结构化数据的目录，并且可依据预先设定的训练集数据的分配比例将上述第二结构化数据中的各群组类别中的检测点影像(包含原始检测点影像及模拟检测点影像)划分为训练集数据及测试集数据。举例来说，若训练集数据的分配比例为0.3，则模型训练模块1805将第二结构化数据中的各群组类别中的30％数量的检测点影像做为训练集数据，其余的70％数量的检测点影像则做为测试集数据。
在此实施例中，模型训练模块1805采用迁移学习(transfer learning)技术以建立人工智能模型，其中人工智能模型例如可包括输入层、迁移模型、分类层及输出层，且使用者可通过人工智能影像检测程序180的使用者界面设定输入层、迁移模型、分类层及输出层的相关参数，以及设定人工智能模型在训练阶段的策略参数，例如包括优化器(optimizer)、学习率(learning rate)、回合数(epochs)、及批次尺寸(batch size)。
对于输入层来说，使用者可依据实际欲处理的检测点影像的尺寸以设定输入层的输入影像尺寸。当实际的检测点影像的尺寸与设定的输入影像的尺寸不同时，模型训练模块1805可对输入的检测点影像进行内插计算以将其缩放为所设定的输入影像的尺寸。
模型训练模块1805提供多种开源的迁移模型可供选择使用，例如MobileNet、ResNet等等。使用者可选择是否要开启部分层数的迁移模型的权重参数以重新进行训练、以及是否开启平坦化(flatten)以保留所有信息功能。人工智能模型的分类层由“全连接层”所构成，使用者可自行决定要架构多少层数、每层中的神经元数量、以及每层是否引入丢弃(dropout)功能等等。对于人工智能模型的输出层而言，模型训练模块1805可依据输入数据(例如：第二结构化数据)的数据结构以自动读取输入数据第一层的数据夹文件名作为分类标记，借以自动建立输出层。
模型评价模块1806用以评价由模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的测试集数据的效能表现，意即可将测试集数据输入至已训练完成的人工智能模型以得到人工智能模型的模型评价。此外，模型评价模块1806还可利用模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的训练集数据进行数据清理。
举例来说，在人工智能模型的评价阶段时，模型评价模块1806将在测试集数据中的每张检测点影像输入至人工智能模型产生相应的辨识结果及信心度。接着，模型评价模块1806将测试集数据中的每张检测点影像的辨识结果对照各检测点影像已标示的类别，即可得到人工智能模型的模型评价(例如正确率＝正确辨识结果数量/测试集的检测点影像数量)。经由计算所得到的模型评价，可找出整体辨识率或信心度较差的群组类别。
在一实施例中，若模型评价模块1806将测试集数据中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据中有部分检测点影像辨识结果是错误的，但具有很高的信心度，则可判断这些辨识结果对应的检测点影像可能有标记错误的情况。因此，模型评价模块1806可执行第一数据清理程序以过滤出这些可能标记错误的检测点影像及辨识结果，并将这些检测点影像从训练集数据中删除。
若模型评价模块1806将测试集中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据之中有部分检测点影像辨识结果是正确的，但是信心度不高(例如低于一阈值，上述阈值可为但不限定于50％)，表示在测试集数据中相应的检测点影像可能有多重标记的情况，意即同一张检测点影像可能被标记为不同的群组类别，所以会造成人工智能模型的辨识结果的信心度偏低。因此，模型评价模块1806可执行第二数据清理程序以过滤出在测试集数据之中这些信心度偏低的检测点影像，并将这些检测点影像在训练集数据之中对应的检测点影像删除。
当模型评价模块1806执行第一数据清理程序及第二数据清理程序并更新训练集数据后，人工智能影像检测程序180可再执行影像标示模块1802或影像归类模块1803，借以逐一检查过滤出的检测点影像并重新进行标示。若有特定检测点影像会造成人工智能模型在不同群组类别的误判，则此特定检测点影像不再重新标示并放回训练集数据之中，故影像标示模块1802或影像归类模块1803可删除此特定检测点影像。此外，人工智能影像检测程序180可再执行影像生成模块1804，进一步检视辨识率和/或信心度较低的群组类别的检测点影像的数量，再针对这些群组类别生成合适的模拟检测点影像以更新第二结构化数据。因此，当第二结构化数据更新后，模型训练模块1805即可从更新后的第二结构化数据分割出新的训练集数据以对人工智能模型重新进行训练，借以提升人工智能模型的辨识率及辨识结果的信心度。
图11为依据本发明一实施例的影像辨识方法的流程图。请同时参考图2及图11。
在步骤S1110，接收多张检测点影像，并将各检测点影像分类为多个群组。举例来说，该等检测点影像的来源可以是来自自动光学检测装置14的检测点影像，意即自动光学检测装置14已先将待测物的物件影像分割为待测物的各检测点的检测点影像后，再将分割后得到的检测点影像传送至影像辨识装置18。该等检测点影像的来源亦可以是来自自动光学检测装置14的待测物的物件影像。因此，影像辨识装置18中的影像切割模块1801可将上述物件影像分割为对应于待测物的各检测点的检测点影像。此外，影像标记模块1802可将各检测点影像加上一群组标记并分类为多个群组(Group)，例如前述实施例中的检测通过(PASS)状态、缺陷状态(NG1、NG2、NG3)。需注意的是，当影像标记模块1802标记该等群组时，暂时不考虑在待测物上的不同元件种类。
在步骤S1120，将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据。举例来说，影像归类模块1803依据该等检测点影像的相似度将各群组中的检测点影像分类为一或多个类别以产生第一结构化数据，例如在同一群组中相似度高的多张检测点影像可归类在同一类别。
在步骤S1130，将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据包括一训练集数据及一测试集数据，且该训练集数据用于训练一人工智能模型以进行影像辨识。举例来说，影像归类模块1803所产生的一或多个群组－类别结构化数据(第一结构化数据)的各群组类别的检测点影像例如可称为原始检测点影像，且经由影像生成模块1804套用不同影像参数范围随机生成的检测点影像则可称为模拟检测点影像，其中第一结构化数据经由影像生成模块1804处理之后，在第二结构化数据的同一群组中的不同类别的原始检测点影像及模拟检测点影像的总数量会相同。第二结构化数据则可用于训练人工智能模型以进行影像辨识。
综上所述，本发明实施例提供一种影像辨识装置、影像辨识方法及其计算机程序产品，其可利用影像标记、影像分类及影像生成的标准化步骤将原本欲输入至人工智能模型的检测点影像建立出第一结构化数据，并可对所建立的结构化数据中的各群组的各类别中的检测点影像数量进行增量并平衡以产生第二结构化数据，且第二结构化数据可解决人工智能模型在训练阶段时需有大量且均衡的样本的问题。因此，利用第二结构化数据进行训练的人工智能模型可增成较佳的辨识率及信心度。因此，本发明实施例还可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。
本发明虽以较佳实施例公开如上，然而其并非用以限定本发明的范围，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围的情况下，应当可做些许的更动与润饰，因此本发明的保护范围应当视所附的权利要求书所界定者为准。

Claims (15)

1.一种计算机程序产品，用以被一机器载入且执行一影像辨识方法，该计算机程序产品包括：
一影像标记模块，该影像标记模块用以接收多张检测点影像，并将该等检测点影像依据多个检测点影像的状态分类为多个群组；
一影像归类模块，该影像归类模块用以将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；
一影像生成模块，该影像生成模块用以将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
2.如权利要求1所述的计算机程序产品，还包括：
一影像切割模块，该影像切割模块用以接收来自一自动光学检测装置所拍摄的一待测物的一物件影像，并将该物件影像切割为对应于该待测物的多个检测点的该等检测点影像。
3.如权利要求2所述的计算机程序产品，其中该影像切割模块在该物件影像上设定一搜索范围，并在该搜索范围内设定一或多个标记范围，并在各标记范围内设定不同检测点的相对位置；
其中该影像切割模块在该搜索范围内寻找该一或多个标记范围，并依据各检测点与相应的该标记范围的相对位置以从该物件影像切割出相应于各检测点的检测点影像。
4.如权利要求1所述的计算机程序产品，其中该等检测点影像来自一自动光学检测装置，且该等检测点影像对应于该自动光学检测装置所拍摄的一待测物的多个检测点。
5.如权利要求1所述的计算机程序产品，其中该影像标记模块所标记的各群组对应于一待测物中的多个检测点的多个缺陷状态或一检测通过状态的其中一者。
6.如权利要求1所述的计算机程序产品，其中该影像归类模块依据在各群组中的各检测点影像对应于该等类别中至少一者的相似度将各群组的该等检测点影像分类为该等类别以产生该第一结构化数据。
7.如权利要求6所述的计算机程序产品，其中，响应于各群组的各检测点影像对应于该等类别中至少一者的该相似度高于一相似度阈值，该影像归类模块将在各群组中该相似度高于该相似度阈值的该等检测点影像分类为同一类别。
8.如权利要求6所述的计算机程序产品，其中该影像归类模块将在各群组中的各检测点影像对应于该等类别中至少一者的该相似度排序并将排序结果显示于使用者界面，其中当该影像归类模块对各群组中的一或多张该等检测点影像进行标记后，该影像归类模块将被标记的一或多张该等检测点影像搬移至相应的归类子数据夹。
9.如权利要求6所述的计算机程序产品，其中该第一结构化数据中的各群组的各类别均记录相应的该等检测点影像的编号，其被该影像归类模块输出为一归类文件。
10.如权利要求1所述的计算机程序产品，其中该影像生成模块设定一或多个影像参数的每一者的数值变化范围，且该影像生成模块从各影像参数的数值变化范围随机生成各影像参数以对该等检测点影像进行影像生成处理以产生多张模拟检测点影像。
11.如权利要求10所述的计算机程序产品，其中该一或多个影像参数包括该等检测点影像的红色/绿色/蓝色像素的亮度、对比、伽玛值、旋转角度、X方向/Y方向的平移像素值、锐利化、模糊度及缩放比率。
12.如权利要求11所述的计算机程序产品，其中该影像生成模块依据一原始检测点影像及一组特定影像参数计算一第一模拟检测点影像，并在其使用者界面显示该第一模拟检测点影像。
13.如权利要求10所述的计算机程序产品，其中在该等群组中的一第一群组该等检测点影像的数量及该等模拟检测点影像的数量的总和等于一第一数量，且该等群组中的其他各群组中的该等检测点影像的数量加上该等模拟检测点影像的数量的总和等于该第一数量；
其中，在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于该第一数量除以每一群组的该等类别的数量。
14.一种影像辨识方法，该影像辨识方法包括：
接收多张检测点影像，并将该等检测点影像分类为多个群组；
将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据，其中该第一结构化数据包括第一层及第二层，该第一层用以表示不同状态的该等群组，且该第二层位于该第一层的数据夹之中，且在该第二层的各群组中的该等类别用以表示各群组相应的该状态下的不同零件；以及
将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
15.一种影像辨识装置，该影像辨识装置包括：
一非易失性存储器，该非易失性存储器用以储存一人工智能影像检测程序；以及
一处理器，该处理器用以执行该人工智能影像检测程序以进行下列步骤：
接收多张检测点影像，并将该等检测点影像分类为多个群组；
将各群组的该等检测点影像分类为多个类别以产生一第一结构化数据；以及
将该第一结构化数据中的各群组的各类别中的该等检测点影像的数量进行平衡以产生一第二结构化数据，其中该第二结构化数据用于训练一人工智能模型以进行影像辨识。
CN202010349965.7A 2019-07-23 2020-04-28 影像辨识装置、影像辨识方法及其计算机程序产品 Active CN112304952B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962877375P 2019-07-23 2019-07-23
US62/877,375 2019-07-23
TW109112603A TWI749524B (zh) 2019-07-23 2020-04-15 影像辨識裝置、影像辨識方法及其電腦程式產品
TW109112603 2020-04-15

Publications (2)

Publication Number Publication Date
CN112304952A true CN112304952A (zh) 2021-02-02
CN112304952B CN112304952B (zh) 2024-04-02

Family

ID=74187579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349965.7A Active CN112304952B (zh) 2019-07-23 2020-04-28 影像辨识装置、影像辨识方法及其计算机程序产品

Country Status (2)

Country Link
US (1) US11423531B2 (zh)
CN (1) CN112304952B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000387A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 Ai模型构建评估***、视频流模拟模块与方法、控制器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164306B2 (en) * 2019-12-09 2021-11-02 International Business Machines Corporation Visualization of inspection results
TWI786827B (zh) * 2021-09-15 2022-12-11 和碩聯合科技股份有限公司 測試資料產生方法以及測試資料產生裝置
CN113838025A (zh) * 2021-09-22 2021-12-24 联想(北京)有限公司 处理方法和处理装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002320676B2 (en) * 2001-12-20 2005-03-03 Canon Kabushiki Kaisha Method of Automatic Production of Image Presentations
CN102937595A (zh) * 2012-11-13 2013-02-20 浙江省电力公司电力科学研究院 一种pcb板检测方法、装置及***
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN107767935A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像分类处理***及方法
KR101891631B1 (ko) * 2018-03-07 2018-08-27 (주)크레아소프트 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
KR101925603B1 (ko) * 2018-06-26 2019-02-26 주식회사 뷰노 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
CN109726730A (zh) * 2017-10-27 2019-05-07 财团法人工业技术研究院 自动光学检测图像分类方法、***及计算机可读介质
US20190205620A1 (en) * 2017-12-31 2019-07-04 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems
CN109993028A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 人脸辨识装置及方法、提升影像辨识率的方法
US20190220972A1 (en) * 2018-01-17 2019-07-18 Tokyo Electron Limited Substrate defect inspection apparatus, substrate defect inspection method, and storage medium

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104677914B (zh) * 2015-03-10 2017-03-08 华中科技大学 一种芯片连晶缺陷识别方法
US10628935B2 (en) * 2017-01-30 2020-04-21 Zhongke Jingyuan Electron Limited Method and system for identifying defects of integrated circuits
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
JP7004145B2 (ja) * 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
WO2019155467A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
TWI664586B (zh) * 2018-03-22 2019-07-01 National Taiwan Normal University 透過瑕疵複數光場之透明基板瑕疵檢測方法
KR102666072B1 (ko) * 2018-06-05 2024-05-17 삼성전자주식회사 기계 학습 장치 및 기계 학습 장치의 학습 방법
JP7129669B2 (ja) * 2018-07-20 2022-09-02 株式会社エヌテック ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置
CN109190643A (zh) 2018-09-14 2019-01-11 华东交通大学 基于卷积神经网络中药识别方法及电子设备
JP6569047B1 (ja) * 2018-11-28 2019-09-04 株式会社ツバサファクトリー 学習方法、コンピュータプログラム、分類器、及び生成器
US11514329B2 (en) * 2019-03-27 2022-11-29 General Electric Company Data-driven deep learning model generalization analysis and improvement
EP3731154A1 (en) * 2019-04-26 2020-10-28 Naver Corporation Training a convolutional neural network for image retrieval with a listwise ranking loss function

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002320676B2 (en) * 2001-12-20 2005-03-03 Canon Kabushiki Kaisha Method of Automatic Production of Image Presentations
CN102937595A (zh) * 2012-11-13 2013-02-20 浙江省电力公司电力科学研究院 一种pcb板检测方法、装置及***
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN107767935A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像分类处理***及方法
CN109726730A (zh) * 2017-10-27 2019-05-07 财团法人工业技术研究院 自动光学检测图像分类方法、***及计算机可读介质
CN109993028A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 人脸辨识装置及方法、提升影像辨识率的方法
US20190205620A1 (en) * 2017-12-31 2019-07-04 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems
US20190220972A1 (en) * 2018-01-17 2019-07-18 Tokyo Electron Limited Substrate defect inspection apparatus, substrate defect inspection method, and storage medium
KR101891631B1 (ko) * 2018-03-07 2018-08-27 (주)크레아소프트 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
KR101925603B1 (ko) * 2018-06-26 2019-02-26 주식회사 뷰노 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000387A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 Ai模型构建评估***、视频流模拟模块与方法、控制器

Also Published As

Publication number Publication date
US11423531B2 (en) 2022-08-23
US20210027444A1 (en) 2021-01-28
CN112304952B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112304952B (zh) 影像辨识装置、影像辨识方法及其计算机程序产品
TWI749524B (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
CN110636715B (zh) 一种基于自学习的自动焊接及缺陷检测方法
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
CN112362679B (zh) 影像辨识装置、影像辨识方法及其计算机程序产品
JP4374303B2 (ja) 検査方法及びその装置
Mahalingam et al. Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN110223269A (zh) 一种fpc缺陷检测方法和装置
TW202001795A (zh) 瑕疵分類標記系統及瑕疵分類標記方法
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
TWI715051B (zh) 機器學習方法及應用機器學習方法的自動光學檢測設備
Li et al. Automatic industry PCB board DIP process defect detection with deep ensemble method
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
CN1936585A (zh) 分类***
Susa et al. Cap-Eye-citor: A machine vision inference approach of capacitor detection for pcb automatic optical inspection
JP2011232302A (ja) 画像検査方法及び画像検査装置
Kavitha et al. Component identification and defect detection of printed circuit board using artificial intelligence
JP2015075412A (ja) 外観検査システム
TWI758134B (zh) 依據元件識別資料使用圖形特徵二次檢測之系統及方法
Snehith et al. Convolutional Neural Network for Printed circuit Board Verification
CN117788412A (zh) 一种基于aoi的pcb板缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant