CN111191670A - 基于神经网络的分类装置及分类方法 - Google Patents

基于神经网络的分类装置及分类方法 Download PDF

Info

Publication number
CN111191670A
CN111191670A CN201811462176.3A CN201811462176A CN111191670A CN 111191670 A CN111191670 A CN 111191670A CN 201811462176 A CN201811462176 A CN 201811462176A CN 111191670 A CN111191670 A CN 111191670A
Authority
CN
China
Prior art keywords
subset
samples
decision threshold
classification
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811462176.3A
Other languages
English (en)
Other versions
CN111191670B (zh
Inventor
赖璟皓
黄茂裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111191670A publication Critical patent/CN111191670A/zh
Application granted granted Critical
Publication of CN111191670B publication Critical patent/CN111191670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种基于神经网络的分类方法，包括：通过神经网络产生分别对应一或多个样本的一或多个分数向量。根据一或多个分数向量以及第一判定阈值判定出一或多个样本的第一子集合，其中第一子集合关联于第一类别。根据第一子集合从一或多个样本挑选出待复验样本。

Description

基于神经网络的分类装置及分类方法
技术领域
本公开是有关于一种基于神经网络的分类装置及分类方法。
背景技术
在工业制造产业(例如：半导体产业)中，经常利用图像识别技术来挑选出瑕疵品，由此控管产品的出货品质。例如，业界常使用由机器学习训练而成的识别模型来进行瑕疵品的检测。然而，现有的检测方案时常存在瑕疵分类的准确率不够高(或误判率(OverkillRate)过高)，且无法针对重大的瑕疵类别进行识别的问题。
因此，工业制造产业仍无法完全地仰赖图像识别科技来检验产品的瑕疵，且现有的图像识别技术大多以提高整体的预测正确率为目标。为了防止瑕疵品流入市面，需使用人工的方式来对产品进行复验。然而，由于产品的生产数量庞大，工厂通常需消耗大量的人力资源，且仅能采用抽检的方式而无法全面性地对产品进行人工复验，生产品质堪虑。
为了解决上述的问题，需要提出一种能有效地降低人力资源成本并可针对重大的瑕疵类别的分类进行改善的分类方法。
发明内容
本公开提供一种基于神经网络的分类装置，包括储存介质以及处理器。储存介质储存多个模块。处理器耦接储存介质，访问并执行储存介质的多个模块，多个模块包括神经网络、分类器以及运算模块。神经网络产生对应一或多个样本的一或多个分数向量。分类器根据一或多个分数向量以及第一判定阈值判定出一或多个样本的第一子集合，其中第一子集合关联于第一类别。运算模块根据第一子集合从一或多个样本挑选出待复验样本。
本公开提供一种基于神经网络的分类方法，包括：通过神经网络产生对应一或多个样本的一或多个分数向量。根据一或多个分数向量以及第一判定阈值判定出一或多个样本的第一子集合，其中第一子集合关联于第一类别。根据第一子集合从一或多个样本挑选出待复验样本。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1依照本公开的第一实施例绘示基于神经网络的分类装置的示意图。
图2A依照本公开的第二实施例绘示基于神经网络的分类方法的流程图。
图2B依照本公开的第二实施例绘示基于神经网络的分类方法的流程的示意图。
图3A依照本公开的第三实施例绘示基于神经网络的分类方法的流程图。
图3B依照本公开的第三实施例绘示基于神经网络的分类方法的流程的示意图。
图4A依照本公开的第四实施例绘示基于神经网络的分类方法的流程图。
图4B依照本公开的第四实施例绘示基于神经网络的分类方法的流程的示意图。
图5A、5B、5C以及5D依照本公开的实施例绘示实施本公开的方法400的实验结果的示意图。
图6A、6B、6C以及6D依照本公开的实施例绘示实施本公开的方法400的实验结果的示意图。
【符号说明】
10：分类装置
110：处理器
130：储存介质
131：神经网络
135：分类器
137：运算模块
200、300、400：分类方法
A、B1、B2、BK、Bi、Bj、Bm、C：样本的子集合
I1、I2、I3：待复验样本的样本集合
S1、S2、SN：分数向量
S210、S230、S235、S250、S310、S330、S350、S370、S410、S430、S450、S470：步骤
U：总样本集合
具体实施方式
工业制造过程中，常使用基于神经网络(或其他种人工智能领域的技术)的解决方案来分类具有瑕疵的样品。然而，现行的神经网络并无法达到百分之百的整体准确率(Overall Accuracy)。因此，仍需要运用人力进行样品的复验。为了降低待复验样本的数量以减少人力开销，本公开提出了一种基于神经网络的分类装置和分类方法。
图1依照本公开的第一实施例绘示基于神经网络的分类装置10的示意图。分类装置10可包括处理器110以及储存介质130，其中储存介质130储存多个模块，包括神经网络131、分类器135以及运算模块137，该些模块的功用将会于本文的后续说明。本领域技术人员当知，本公开的神经网络131、分类器135以及运算模块137也可以是以硬件电路的方式实现，而非以储存于储存介质130中的模块的形式实现，本公开不限于此。分类装置10可应用于对晶片或印制电路板的外观瑕疵进行分类，但本公开不限于此。
处理器110耦接储存介质130，并且可访问或执行储存于储存介质130的多个模块。处理器110可例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuit，ASIC)或其他类似元件或上述元件的组合，本公开不限于此。
储存介质130用以储存分类装置10运行时所需的各项软件、数据及各类程序码。储存介质130可例如是任何型态的固定式或可移动式的随机访问存储器(Random AccessMemory，RAM)、只读存储器(Read-only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)、固态硬盘(Solid State Drive，SSD)或类似元件或上述元件的组合，本公开不限于此。
图2A依照本公开的第二实施例绘示基于神经网络的分类方法200的流程图，且图2B依照本公开的第二实施例绘示基于神经网络的分类方法200的流程的示意图，其中分类方法200可应用于分类装置10，本公开不限于此。分类方法200可针对样品的各个不同瑕疵类别设置对应的判定阈值(Decision Threshold)。如此，分类方法200可针对较显著的影响品质的瑕疵类别的分类进行改善，从而减少该瑕疵类别的待复验样本的数量。以下请同时参照图2A和图2B。
在步骤S210，神经网络131可产生分别对应于一或多个样本的一或多个分数向量。具体来说，神经网络131可用以处理由N个样本所组成的总样本集合U中的各个样本，其中N为任意的正整数。神经网络131可产生分别对应于N个样本的N个分数向量S1、S2、...、SN。每一个分数向量中的每个元素可分别对应于一种类别，例如，分数向量SN中的每个元素可分别对应于一种瑕疵类别。在本公开中，假设每一样本可能具有K种类别的瑕疵，所述K种类分别是类别1、类别2、...、类别K，其中K为任意的正整数。因此，每一样本的分数向量(即：分数向量S1、S2、...、及SN)的维度可以是K×1。在晶片制造或印制电路板制造的产业中，所述样本可例如是由自动光学检测设备(Automated Optical Inspection Equipment，AOIEquipment)取得的晶片的外观的图像数据或是由自动外观检测设备(Automated VisualInspection Equipment，AVI Equipment)取得的印制电路板的外观的图像数据，但本公开不限于此。
在步骤S230，分类器135可根据一或多个分数向量以及第一判定阈值判定出一或多个样本的第一子集合，其中第一子集合关联于第一类别。具体来说，假设本实施例中的第一类别为类别1。若类别1的瑕疵对于产品具有显著的不良影响且分类装置10欲改善类别1的分类(例如：改善类别1的分类的准确率(Accuracy)或查准率(Precision Rate))，则分类器135可根据分数向量S1、S2、...、及SN以及对应于类别1的第一判定阈值判定出总样本集合U的第一子集合。在本实施例中，所述第一子集合可例如是如图2B所示的子集合B1，其中待复验样本的样本集合I1为子集合B1在总样本集合U内的补集，如公式(1)所示。值得注意的是，在步骤S230，分类器135仅需执行一次推论(One-Time Inference)即可判定出一或多个样本的第一子集合。
I1＝U-B1...公式(1)
第一判定阈值可经配置以使第一子集合中的样本满足第一要求，且第一判定阈值可例如是关联于准确率或查准率的置信度阈值(Confidence Threshold)或似然比阈值(Likelihood Ratio Threshold)。此外，第一判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第一判定阈值可经配置以使子集合B1内的样本满足针对类别1的分类的准确率或查准率的要求。例如，第一判定阈值可经配置以使子集合B1满足类别1的样本的查准率达到99.95％以上的要求。第一判定阈值可由使用者依其要求而配置，本公开不限制第一判定阈值为99.95％以上的查准率。由于子集合B1内的样本已满足第一要求，故该些样本不需再经过人工复验。
在步骤S250，运算模块137可根据第一子集合从一或多个样本挑选出待复验样本。具体来说，运算模块137可根据子集合B1而从总样本集合U挑选出待复验样本的样本集合I1。
在一些实施例中，方法200更可包括步骤S235。在步骤S235，分类器135可根据一或多个分数向量以及第二判定阈值判定出一或多个样本的第二子集合，其中第二子集合关联于第二类别。具体来说，假设除了类别1之外，分类装置10也欲改善类别i的分类，则分类器135可根据分数向量S1、S2、...、及SN以及对应于类别i的第二判定阈值判定出总样本集合U的第二子集合Bi(i可例如是2、3、...、及/或K)。在本实施例中，第二子集合可例如是如图2B所示的子集合B2、...、及/或BK。值得注意的是，在步骤S235，分类器135仅需执行一次推论即可判定出一或多个样本的第二子集合。
第二判定阈值可经配置以使第二子集合中的样本满足第二要求，且第二判定阈值可例如是关联于准确率或查准率的置信度阈值或似然比阈值。此外，第二判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第二判定阈值可经配置以使子集合Bi内的样本满足类别i的分类的准确率或查准率的要求。例如，第二判定阈值可经配置以使子集合BK内的样本的分类为类别K的查准率高于99.95％。需注意的是，第一判定阈值与第二判定阈值可以相同或相异。例如，在一些实施例中，第一判定阈值可经配置以使子集合B1内的样本的分类为类别1的查准率高于99.95％，且第二判定阈值可经配置以使子集合BK内的样本的分类为类别K的查准率高于80％。由于子集合BK内的样本已满足第二要求，故该些样本不需再经过人工复验。
在一实施例中，若方法200包括步骤S235，则在步骤S250，运算模块137可根据第一子集合及第二子集合从一或多个样本挑选出待复验样本，其中待复验样本为第一子集合及第二子集合的联集在一或多个样本内的补集。具体来说，运算模块137可根据子集合B1、B2、...、及BK而从总样本集合U挑选出待复验样本的样本集合I1，其中待复验样本的样本集合I1为子集合B1、B2、...、及BK的联集在总样本集合U内的补集，如公式(2)所示。
Figure BDA0001887399310000061
方法200可用以识别工业视觉数据集，所述工业视觉数据集可例如是如表1所示的有关于晶片(Wafer)的瑕疵的数据集，瑕疵的类别可包括但不限于针印偏移(Probe MarkShift)、误判(Overkill)、管芯不完整(Ugly Die)、工艺瑕疵(Process Defect)、微粒(Particle)、异物(Foreign Material)以及垫变色(Pad Discolor)等七种类别的瑕疵，可分别表示为类别1、类别2、类别3、类别4、类别5、类别6以及类别7。
表1
训练集 验证集 测试集 总和
针印偏移 5265 1755 1755 8775
误判 2775 925 925 4625
管芯不完整 4294 1432 1432 7158
工艺瑕疵 1752 584 584 2920
微粒 4835 1611 1611 8057
异物 1235 412 412 2059
垫变色 778 259 259 1296
总和 20934 6978 6978 34890
假设使用者的要求为瑕疵的分类的整体准确率(Overall Accuracy)需达到99.95％，但其所使用的神经网络并无法符合要求(例如：表1所使用的分类器的准确率并未达到99.95％，而是介于98％至99.95％之间)，则可实施本公开的方法200以使特定的瑕疵类别的分类中的部分样本符合99.95％的准确率，使得所述部分样本不需再经过人工复验。以表1的验证集为例，表2显示针对表1的验证集实施K次交叉验证(K-fold Cross-validation)和方法200所能达到的分类查准率，其中K为5(即：根据表1的验证集产生5个子样本集合，可分别表示为子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5)，并且“不需人工复检样本比率”代表符合准确率要求的样本在样本数中所占的比率由表2可知，本发明可使类别1至类别7中符合准确率要求的样本比率达到约85.14％。换言之，就算所使用的分类器的准确率未达到99.95％，本发明仍可最大化符合准确率要求的样本比率，使得高达85.14％的样本符合准确率99.95％的要求。因此，所述85.14％的样本将不需再经过人工复验的流程。
表2
Figure BDA0001887399310000071
Figure BDA0001887399310000081
再以表1的测试集为例，表3显示针对表1的测试集实施K次交叉验证和方法200所能达到的分类查准率，其中K为5(即：根据表1的测试集产生5个子样本集合，可分别表示为子集合#1、子集合#2、子集合#3、子集合#4以及子集合#5)。由表3可知，就算所使用的分类器的查准率未达到99.95％，本发明仍可最大化符合准确率要求的样本比率，使得高达84.82％的样本符合查准率99.95％的要求。因此，所述84.82％的样本将不需再经过人工复验的流程。
表3
Figure BDA0001887399310000082
Figure BDA0001887399310000091
图3A依照本公开的第三实施例绘示基于神经网络的分类方法300的流程图，且图3B依照本公开的第三实施例绘示基于神经网络的分类方法300的流程的示意图，其中分类方法300可应用于分类装置10，本公开不限于此。方法300可在维持特定瑕疵类别的分类的查准率(或准确率)的同时，最大化该瑕疵类别的召回率(Recall Rate)，其相当于最小化该瑕疵类别的漏检率(Miss Rate)。以下请同时参照图3A和图3B。
在步骤S310，神经网络131可产生分别对应于一或多个样本的一或多个分数向量。具体来说，类似于步骤S210，神经网络131可产生分别对应于N个样本的N个分数向量S1、S2、...、SN，且每一个分数向量中可包括一或多个元素，其中所述一或多个元素中的每一者分别对应于一种类别。
在步骤S330，分类器135可根据一或多个分数向量以及第三判定阈值判定出一或多个样本的第三子集合，其中第三子集合关联于第一类别。具体来说，假设本实施例中的第一类别为类别j。若类别j的瑕疵对于产品具有显著的不良影响且分类装置10欲改善类别j的分类(例如：改善类别j的分类的召回率或漏检率)，则分类器135可根据分数向量S1、S2、...、及SN以及对应于类别j的第三判定阈值判定出总样本集合U的第三子集合。在本实施例中，第三子集合可例如是如图3B所示的子集合A。
第三判定阈值可经配置以使第三子集合中的样本满足召回率第三要求，且第三判定阈值可例如是关联于召回率及漏检率的置信度阈值或似然比阈值。此外，第三判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第三判定阈值可经配置以使子集合A内的样本满足针对类别j的分类的召回率及漏检率的要求。例如，第三判定阈值可经配置以使子集合A满足类别j的样本的召回率达到99.95％以上的要求。第三判定阈值可由使用者依其要求而配置，本公开不限制第三判定阈值为99.95％以上的召回率。
在步骤S350，分类器135可根据一或多个分数向量以及第一判定阈值从第三子集合中判定出第一子集合，其中第一子集合关联于第一类别。具体来说，分类器135可根据分数向量S1、S2、...、及SN以及对应于类别j的第一判定阈值判定出总样本集合U的第一子集合。在本实施例中，所述第一子集合可例如是如图3B所示的子集合Bj。需注意的是，步骤S330以及步骤S350可分别由不同的分类器执行，本公开不限于使用仅单一个分类器135来执行所述两个步骤。另一方面，在步骤S350，分类器135仅需执行一次推论即可判定出一或多个样本的第一子集合。
第一判定阈值可经配置以使第一子集合中的样本满足第一要求，且第一判定阈值可例如是关联于准确率或查准率的置信度阈值或似然比阈值。此外，第一判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第一判定阈值可经配置以使子集合Bj内的样本满足针对类别j的分类的准确率或查准率的要求。例如，第一判定阈值可经配置以使子集合Bj满足类别j的样本的查准率达到99.95％以上的要求。第一判定阈值可由使用者依其要求而配置，本公开不限制第一判定阈值为99.95％以上的查准率。由于子集合Bj内的样本已满足第一要求，故该些样本不需再经过人工复验。
在步骤S370，运算模块137可根据第一子集合从一或多个样本挑选出待复验样本，其中待复验样本为第一子集合在第三子集合内的补集。具体来说，运算模块137可根据子集合Bj以及子集合A而挑选出待复验样本的样本集合12，其中待复验样本的样本集合I2为子集合Bj在子集合A内的补集，如公式(3)所示。方法300可应用于识别工业视觉数据集，但本公开不限于此。
I2＝A-Bj...公式(3)
图4A依照本公开的第四实施例绘示基于神经网络的分类方法400的流程图，且图4B依照本公开的第四实施例绘示基于神经网络的分类方法400的流程的示意图，其中分类方法400可应用于分类装置10，本公开不限于此。方法400可在维持特定瑕疵类别的分类的查准率(或准确率)的同时，最大化该瑕疵类别的召回率，其相当于最小化该瑕疵类别的漏检率。以下请同时参照图4A和图4B。
在步骤S410，神经网络131可产生分别对应于一或多个样本的一或多个分数向量。具体来说，类似于步骤S210，神经网络131可产生分别对应于N个样本的N个分数向量S1、S2、...、SN，且每一个分数向量中可包括一或多个元素，其中所述一或多个元素中的每一者分别对应于一种类别。
在步骤S430，分类器135可根据一或多个分数向量以及第三判定阈值判定出一或多个样本的第三子集合，其中第三子集合关联于第一类别。具体来说，假设本实施例中的第一类别为类别m，则分类器135可根据分数向量S1、S2、...、及SN以及对应于类别m的第三判定阈值判定出总样本集合U的第三子集合。在本实施例中，第三子集合可例如是如图4B所示的子集合C。
第三判定阈值可经配置以使第三子集合中的样本满足召回率第三要求，且第三判定阈值可例如是关联于召回率及漏检率的置信度阈值或似然比阈值。此外，第三判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第三判定阈值可经配置以使子集合C内的样本满足针对类别m的分类的召回率及漏检率的要求。例如，第三判定阈值可经配置以使子集合C满足类别m的样本的召回率达到99.95％以上的要求。第三判定阈值可由使用者依其要求而配置，本公开不限制第三判定阈值为99.95％以上的召回率。
在步骤S450，分类器135可根据一或多个分数向量以及第一判定阈值判定出一或多个样本的第一子集合，其中第一子集合关联于第一类别。具体来说，假设本实施例中的第一类别为类别m，则分类器135可根据分数向量S1、S2、...、及SN以及对应于类别m的第一判定阈值判定出总样本集合U的第一子集合。在本实施例中，所述第一子集合可例如是如图4B所示的子集合Bm。需注意的是，本公开并不限制步骤S430和步骤S450的执行顺序。另一方面，在步骤S450，分类器135仅需执行一次推论即可判定出一或多个样本的第一子集合。
第一判定阈值可经配置以使第一子集合中的样本满足第一要求，且第一判定阈值可例如是关联于准确率或查准率的置信度阈值或似然比阈值。此外，第一判定阈值可被预先配置(例如：使用验证数据集)。具体来说，第一判定阈值可经配置以使子集合Bm内的样本满足针对类别m的分类的准确率或查准率的要求。例如，第一判定阈值可经配置以使子集合Bm满足类别m的样本的查准率达到99.95％以上的要求。第一判定阈值可由使用者依其要求而配置，本公开不限制第一判定阈值为99.95％以上的查准率。由于子集合Bm内的样本已满足第一要求，故该些样本不需再经过人工复验。
在步骤S470，运算模块137可根据第一子集合及第三子集合从一或多个样本中挑选出待复验样本，其中待复验样本为第一子集合在第三子集合中的补集。具体来说，运算模块137可根据子集合Bm以及子集合C而挑选出待复验样本的样本集合I3，其中待复验样本的样本集合I3为子集合Bm在子集合C内的补集，如公式(4)所示。方法400可应用于识别工业视觉数据集，但本公开不限于此。
I3＝C-Bm...公式(4)
方法400可用以识别工业视觉数据集，所述工业视觉数据集可例如是如表4所示的有关于印制电路板(Printed Circuit Board，PCB)的瑕疵的数据集「XDS_5_Sets_790K-R1」，所述数据集中包括存在瑕疵的样本(表示为类别a)以及无瑕疵的样本(表示为类别b)。
表4
Figure BDA0001887399310000121
假设使用者的要求为类别a的召回率达到99.95％以上(即：伪阴性率(FalseNegative Rate，FNR)达到0.05％以下)并且真阴性率(True Negative Rate，TNR)达到50％以上。以表4的验证集为例，表5显示针对表4的验证集实施似然比检验(Likelihood RatioTest，LRT)和方法400以使类别a的召回率达到99.95％以上。表6显示针对表4的验证集实施概率阈值(Probability)和方法400以使类别a的查准率达到99.95％以上。由表5和表6可知，方法400可显著地降低需人工复验的样本数量。
表5
Figure BDA0001887399310000122
Figure BDA0001887399310000131
表6
Figure BDA0001887399310000132
再以表4的验证集为例，表7显示针对表4的测试集实施似然比检验和方法400以使类别a的召回率达到99.95％以上。表8显示针对表4的测试集实施概率阈值和方法400以使类别a的查准率达到99.95％以上。由表7和表8可知，方法400可显著地降低需人工复验的样本数量。
表7
Figure BDA0001887399310000133
Figure BDA0001887399310000141
表8
Figure BDA0001887399310000142
方法400可显著地降低待人工复验样本的数量。举例来说，以自动外观检测设备(AVI)的检测出一片PCB的双面共有100点瑕疵，其中20点为真瑕疵且80点为假瑕疵。在导入基于神经网络(可例如是现有类别的神经网络)的识别***后，神经网络可检测出该PCB的双面共有60点瑕疵，其中20点为真瑕疵且40点为假瑕疵。因此，相对于仅使用AVI进行PCB检测，导入基于神经网络的识别***可减少约40％的待人工复验样本的数量。另一方面，在导入本公开的方法400后，分类装置10可检测出该PCB的双面共有40点瑕疵，其中17点为真瑕疵且23点为假瑕疵。换言之，相对于仅使用AVI进行PCB检测，导入本公开的方法400可减少约60％的待人工复验样本的数量。
方法400还可用以识别如表1所示的有关于晶片的瑕疵的数据集。假设使用者的要求为瑕疵的分类的整体准确率达到99.95％，但其所使用的神经网络并无法符合要求，则可实施本公开的方法400以降低特定的瑕疵类别的待复验样本。
以表1的针印偏移的验证集为例，图5A显示针对表1的针印偏移(即：类别1的瑕疵)的验证集实施似然比检验和方法400以使针印偏移的样本的召回率达到99.95％以上。图5B显示针对表1的针印偏移的验证集实施概率阈值和方法400以使针印偏移的样本的查准率达到99.95％以上。由图5A和5B可知，方法400可显著地降低需人工复验的样本数量。
以表1的针印偏移的测试集为例，图5C显示针对表1的针印偏移的测试集实施似然比检验和方法400以使针印偏移的样本的召回率达到99.95％以上。图5D显示针对表1的针印偏移的测试集实施概率阈值和方法400以使针印偏移的样本的查准率达到99.95％以上。由图5C和图5D可知，方法400可显著地降低需人工复验的样本数量。
再以表1的误判的验证集为例，图6A显示针对表1的误判(即：类别2的瑕疵)的验证集实施似然比检验和方法400以使误判的样本的召回率达到99.95％以上。图6B显示针对表1的误判的验证集实施概率阈值和方法400以使误判的样本的查准率达到99.95％以上。由图6A和图6B可知，方法400可显著地降低需人工复验的样本数量。
再以表1的误判的测试集为例，图6C显示针对表1的误判的测试集实施似然比检验和方法400以使误判的样本的召回率达到99.95％以上。图6D显示针对表1的误判的测试集实施概率阈值和方法400以使误判的样本的查准率达到99.95％以上。由图6C和图6D可知，方法400可显著地降低需人工复验的样本数量。
综上所述，本公开可有效地降低待复验样本的数量。针对具有多种瑕疵的产品，在现有的神经网络无法达到所要求的分类的整体准确率的情况下，本公开可基于优先程度的考量而改善特定瑕疵类别的分类查准率。即让可全自动判读的数据比例达到最大，进而减少剩余数据所需人工复检的成本。换言之，本公开可大量地减少人力资源开销，并且能有效地防止具有重大瑕疵的产品流入市面。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，均在本发明范围内。

Claims (26)

1.一种基于神经网络的分类装置，其特征在于，包括：
储存介质，储存多个模块；以及
处理器，耦接所述储存介质，所述处理器访问并执行所述储存介质的所述多个模块，所述多个模块包括：
神经网络，产生分别对应一或多个样本的一或多个分数向量；
分类器，根据所述一或多个分数向量以及第一判定阈值判定出所述一或多个样本的第一子集合，其中所述第一子集合关联于第一类别；以及
运算模块，根据所述第一子集合从所述一或多个样本挑选出待复验样本。
2.如权利要求1所述的分类装置，其中
所述分类器更根据所述一或多个分数向量以及第二判定阈值判定出所述一或多个样本的第二子集合，其中所述第二子集合关联于第二类别；以及
所述运算模块更根据所述第一子集合及所述第二子集合从所述一或多个样本挑选出所述待复验样本。
3.如权利要求2所述的分类装置，其中
所述第一判定阈值经配置以使所述第一子集合中的样本满足第一要求；以及
所述第二判定阈值经配置以使所述第二子集合中的样本满足第二要求。
4.如权利要求2所述的分类装置，其中所述待复验样本为所述第一子集合及所述第二子集合的联集在所述一或多个样本内的补集。
5.如权利要求1所述的分类装置，其中所述第一判定阈值关联于下列的至少其中之一：准确率及查准率。
6.如权利要求1所述的分类装置，其中所述分类器经配置以执行：
根据所述一或多个分数向量以及第三判定阈值判定出所述一或多个样本的第三子集合，其中所述第三子集合关联于所述第一类别；以及
根据所述一或多个分数向量以及所述第一判定阈值从所述第三子集合中判定出所述第一子集合。
7.如权利要求6所述的分类装置，其中所述第三判定阈值经配置以使所述第三子集合中的样本满足第三要求。
8.如权利要求6所述的分类装置，其中所述待复验样本为所述第一子集合在所述第三子集合内的补集。
9.如权利要求6所述的分类装置，其中所述第三判定阈值关联于下列的至少其中之一：召回率及漏检率。
10.如权利要求1所述的分类装置，其中
所述分类器更根据所述一或多个分数向量以及第三判定阈值判定出所述一或多个样本的第三子集合，其中所述第三子集合关联于所述第一类别；以及
所述运算模块更根据所述第一子集合及所述第三子集合从所述一或多个样本中挑选出所述待复验样本。
11.如权利要求10所述的分类装置，其中所述第三判定阈值经配置以使所述第三子集合中的样本满足第三要求。
12.如权利要求10所述的分类装置，其中所述待复验样本为所述第一子集合在所述第三子集合中的补集。
13.如权利要求10所述的分类装置，其中所述第三判定阈值关联于下列的至少其中之一：召回率及漏检率。
14.一种基于神经网络的分类方法，其特征在于，包括：
通过神经网络产生分别对应一或多个样本的一或多个分数向量；
根据所述一或多个分数向量以及第一判定阈值判定出所述一或多个样本的第一子集合，其中所述第一子集合关联于第一类别；以及
根据所述第一子集合从所述一或多个样本挑选出待复验样本。
15.如权利要求14所述的分类方法，更包括：
根据所述一或多个分数向量以及第二判定阈值判定出所述一或多个样本的第二子集合，其中所述第二子集合关联于第二类别；以及
根据所述第一子集合及所述第二子集合从所述一或多个样本挑选出所述待复验样本。
16.如权利要求15所述的分类方法，其中
所述第一判定阈值经配置以使所述第一子集合中的样本满足第一要求；以及
所述第二判定阈值经配置以使所述第二子集合中的样本满足第二要求。
17.如权利要求15所述的分类方法，其中所述待复验样本为所述第一子集合及所述第二子集合的联集在所述一或多个样本内的补集。
18.如权利要求14所述的分类方法，其中所述第一判定阈值关联于下列的至少其中之一：准确率及查准率。
19.如权利要求14所述的分类方法，其中根据所述一或多个分数向量以及第一判定阈值判定出所述一或多个样本的第一子集合的步骤，包括：
根据所述一或多个分数向量以及第三判定阈值判定出所述一或多个样本的第三子集合，其中所述第三子集合关联于所述第一类别；以及
根据所述一或多个分数向量以及所述第一判定阈值从所述第三子集合中判定出所述第一子集合。
20.如权利要求19所述的分类方法，其中所述第三判定阈值经配置以使所述第三子集合中的样本满足第三要求。
21.如权利要求19所述的分类方法，其中所述待复验样本为所述第一子集合在所述第三子集合内的补集。
22.如权利要求19所述的分类方法，其中所述第三判定阈值关联于下列的至少其中之一：召回率及漏检率。
23.如权利要求14所述的分类方法，更包括：
根据所述一或多个分数向量以及第三判定阈值判定出所述一或多个样本的第三子集合，其中所述第三子集合关联于所述第一类别；以及
根据所述第一子集合及所述第三子集合从所述一或多个样本中挑选出所述待复验样本。
24.如权利要求23所述的分类方法，其中所述第三判定阈值经配置以使所述第三子集合中的样本满足第三要求。
25.如权利要求23所述的分类方法，其中所述待复验样本为所述第一子集合在所述第三子集合中的补集。
26.如权利要求23所述的分类方法，其中所述第三判定阈值关联于下列的至少其中之一：召回率及漏检率。
CN201811462176.3A 2018-10-29 2018-11-30 基于神经网络的分类装置及分类方法 Active CN111191670B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107138155A TWI692776B (zh) 2018-10-29 2018-10-29 基於神經網路的分類裝置及分類方法
TW107138155 2018-10-29

Publications (2)

Publication Number Publication Date
CN111191670A true CN111191670A (zh) 2020-05-22
CN111191670B CN111191670B (zh) 2024-07-09

Family

ID=70325366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811462176.3A Active CN111191670B (zh) 2018-10-29 2018-11-30 基于神经网络的分类装置及分类方法

Country Status (3)

Country Link
US (1) US11704534B2 (zh)
CN (1) CN111191670B (zh)
TW (1) TWI692776B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692776B (zh) * 2018-10-29 2020-05-01 財團法人工業技術研究院 基於神經網路的分類裝置及分類方法
CN113379686B (zh) * 2021-05-26 2024-07-19 广东炬森智能装备有限公司 一种pcb板缺陷检测方法及装置
CN116580025B (zh) * 2023-07-12 2024-04-02 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060340A1 (en) * 2007-08-29 2009-03-05 Hui Zhou Method And Apparatus For Automatic Image Categorization Using Image Texture
JP2014085948A (ja) * 2012-10-25 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 誤分類検出装置、方法、及びプログラム
CN106203523A (zh) * 2016-07-17 2016-12-07 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7089238B1 (en) 2001-06-27 2006-08-08 Inxight Software, Inc. Method and apparatus for incremental computation of the accuracy of a categorization-by-example system
US7296020B2 (en) 2002-06-05 2007-11-13 International Business Machines Corp Automatic evaluation of categorization system quality
GB0304639D0 (en) 2003-02-28 2003-04-02 Kiq Ltd Classification using re-sampling of probability estimates
US8495002B2 (en) 2003-05-06 2013-07-23 International Business Machines Corporation Software tool for training and testing a knowledge base
US9792359B2 (en) 2005-04-29 2017-10-17 Entit Software Llc Providing training information for training a categorizer
US7593904B1 (en) * 2005-06-30 2009-09-22 Hewlett-Packard Development Company, L.P. Effecting action to address an issue associated with a category based on information that enables ranking of categories
US8635172B1 (en) 2011-10-07 2014-01-21 Google Inc. Dynamic techniques for evaluating quality of clustering or classification system aimed to minimize the number of manual reviews based on Bayesian inference and Markov Chain Monte Carlo (MCMC) techniques
CN103324937B (zh) 2012-03-21 2016-08-03 日电（中国）有限公司 标注目标的方法和装置
US8811727B2 (en) 2012-06-15 2014-08-19 Moataz A. Rashad Mohamed Methods for efficient classifier training for accurate object recognition in images and video
US9652688B2 (en) 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
TWI608364B (zh) * 2015-01-26 2017-12-11 華邦電子股份有限公司 晶圓測試圖樣的損失率計算方法
TWI553494B (zh) 2015-11-04 2016-10-11 創意引晴股份有限公司 基於多模態融合之智能高容錯視頻識別系統及其識別方法
TWI614699B (zh) * 2016-12-30 2018-02-11 國立成功大學 大量客製化產品的品質預測方法
US11354565B2 (en) * 2017-03-15 2022-06-07 Salesforce.Com, Inc. Probability-based guider
CN107451247B (zh) 2017-07-28 2021-03-30 北京小米移动软件有限公司 用户识别方法及装置
CN107607554A (zh) * 2017-09-26 2018-01-19 天津工业大学 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法
US20190378009A1 (en) * 2018-06-12 2019-12-12 Nokia Technologies Oy Method and electronic device for classifying an input
TWI692776B (zh) * 2018-10-29 2020-05-01 財團法人工業技術研究院 基於神經網路的分類裝置及分類方法
EP3944159A1 (en) * 2020-07-17 2022-01-26 Tata Consultancy Services Limited Method and system for defending universal adversarial attacks on time-series data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060340A1 (en) * 2007-08-29 2009-03-05 Hui Zhou Method And Apparatus For Automatic Image Categorization Using Image Texture
JP2014085948A (ja) * 2012-10-25 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 誤分類検出装置、方法、及びプログラム
CN106203523A (zh) * 2016-07-17 2016-12-07 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置

Also Published As

Publication number Publication date
TWI692776B (zh) 2020-05-01
US11704534B2 (en) 2023-07-18
TW202016943A (zh) 2020-05-01
US20200134393A1 (en) 2020-04-30
CN111191670B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
US10818000B2 (en) Iterative defect filtering process
KR102110755B1 (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
CN118150575A (zh) 自动光学检测方法、设备、及其深度学习***
CN104965787B (zh) 一种基于三支决策的两阶段软件缺陷预测方法
CN106201897B (zh) 基于主成分分布函数的软件缺陷预测不平衡数据处理方法
TW201407154A (zh) 自動及手動缺陷分類之整合
CN111191670A (zh) 基于神经网络的分类装置及分类方法
JP6584250B2 (ja) 画像分類方法、分類器の構成方法および画像分類装置
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN110223269A (zh) 一种fpc缺陷检测方法和装置
TWI826207B (zh) Pcb缺陷檢測系統及pcb缺陷檢測方法
CN114418980A (zh) 印刷线路板缺陷识别的深度学习方法、***、设备及介质
CN110927167A (zh) 一种禽蛋检测方法、装置、电子设备及存储介质
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN114387230A (zh) 一种基于重验证检测的pcb板缺陷检测方法
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、***及介质
TWI753347B (zh) 基於神經網路的分類裝置及分類方法
CN117173154A (zh) 玻璃瓶的在线图像检测***及其方法
US20240013369A1 (en) Image defect detecting system, generation method of image defect detecting system and non-transitory computer readable medium
TWI727595B (zh) 基於神經網路的分類裝置及分類方法
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
TWI745767B (zh) 光學檢測二次圖像分類方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant