CN109060817B - 人工智能复检***及其方法 - Google Patents

Abstract

本发明提出了一种人工智能复检***及其方法，可在光学检测装置判断NG影像或数量资料后，先经由人工智能(AI)单元模拟预测人工复检的结果，再传送至人工复检站进行实际的人工复检，藉此减少人工复检时所需再次检测的数量，并提升操作人员工作效率。

Description

人工智能复检***及其方法

技术领域

本发明系关于一种用于光学检测装置的人工智能复检***及其方法，更特别的是关于一种能模拟预测人工复检结果，使得操作人员在实际复检时能够减少复检除错的数量，并藉此提升人工复检工作效率。

背景技术

光学辨识***如自动光学检测机(Automated Optical Inspection,AOI)及外观终检机(Automatic Final Inspection,AFI)等检测机台，如今已经被普遍应用在电子业之电路板组装生产线上的检测流程中，用以取代以往的人工目测检视作业，它利用影像技术比对待测物与标准影像是否有差异来判断待测物有否符合标准，自动光学检测设备除了提供高稳定度的检测结果外，还大幅节省了检测时间及人力成本。

然而，习知之光学检测流程如图1所示，待测物(包括但不限于印刷电路板、软板等)经由光学检测装置100检测后，需再将光学检测装置之检测结果及可能存在缺陷的待复检物(原待测物的全部或一部分)透过运送单元200送至人工视觉复检站300，经人工复检辨识后确认是否为真的缺陷或仅是光学检测机台的误判，进而操作人员再将待复检物进行标识或是修复的动作，故光学检测装置100判断缺陷的能力优劣高度相关于复检站300所需投入的复检人员数量。

假若光学检测装置判断报点的灵敏度过高，则后端需投入的复检人员势必增加，此举不仅降低了企业生产效率亦同时提高了企业营运成本；而若是将光学检测装置判断报点的灵敏度降低，则又容易导致瑕疵漏检影响了后续产品的生产。故如何在保持光学检测装置判断报点相对灵敏度的前提下，还能够减少复检人员需复检的瑕疵数量，此实为业界亟待解决的问题，本发明案即为此提出解决方案。

发明内容

本发明之一目的在于光学检测流程中，减少复检站人员所需再次复检除错的数量，故可减少复检站所需之复检人员。

本发明之另一目的在于提供一种人工智能(AI)复检***，透过人工智能建模训练，在相对维持光学检测装置的判断灵敏度前提下，于光学检测装置判断报点后先行模拟预测人工复检的结果，使得实际需要透过人工复检的报点数量减少，以提高复检效率。

为达上述之目的，本发明提出一种人工智能复检***，包含：

光学检测装置，用以拍摄至少一待测物并将判断出之复数NG结果或影像传送至显示装置；

显示装置，可显示光学检测检测装置判断之复数NG结果或影像，以供操作人员进行人工复检，并再挑选出人工复检后之NG结果或是OK结果；

人工智能(AI)单元，其根据人工复检后之NG结果及OK结果进行建模训练；及

运算单元，其根据人工智能(AI)单元之建模训练，运算得出一预测之人工复检结果。

为达上述之目的，本发明提出一种人工智能复检方法，包含：

步骤S100：将光学检测装置判断之复数NG结果或影像传送至显示装置；

步骤S200：操作人员根据步骤S100的复数NG结果或影像进行复检，再挑选出人工复检后之NG结果或是OK结果；

步骤S300：将步骤S200经人工复检挑选出之NG结果及OK结果传送至人工智能(AI)单元进行建模训练；

步骤S400：判断人工智能(AI)单元是否已完成建模训练，若尚未完成建模训练则重复步骤S100～S300；若判断已完成建模训练则输出经人工智能(AI)单元预测之人工复检结果。

于本发明之一实施例中，以客户端的第一批待测电路板作为人工智能(AI)单元110的训练资料，尤其是以该些电路板经光学检测装置100检测后判定的瑕疵点及经人工复检后之实际瑕疵点作为训练资料。

于本发明之另一实施例中，将客户端的第一批待测电路板作为人工智能(AI)单元110的训练资料1～m，并将该些训练完成后之资料储存为建模资料1；将客户端的第二批待测电路板作为训练资料1～m，并将该些训练完成后之资料储存为建模资料2，以此类推并将该些资料储存为建模资料m。客户端使用者可根据该些已训练好的建模资料，直接选取较符合或近似于目前待测物的建模资料，以节省重新训练的时间。

附图说明

图1为习知之光学检测装置及人工视觉复检站之相关示意图；

图2为本发明经人工智能(AI)单元训练后之复检***架构图；

图3为本发明实施例中类神经网络资料输入、输出示意图；

图4为本发明中人工智能(AI)单元及与周边资讯串流示意图；

图5为本发明中人工智能(AI)单元完成建模训练后之架构示意图；

图6为本发明中人工智能(AI)单元之复检流程图；

图7为本发明中人工智能(AI)单元建模训练之另一实施例示意图；

图8为本发明中人工智能(AI)单元完成建模训练后之另一实施例示意图；

图9为本发明中人工智能(AI)单元完成建模训练后之另一实施例示意图。

具体实施方式

为充分了解本发明之目的、特征及功效，兹藉由下述具体之实施例，并配合附图，对本发明做一详细说明，说明如后：

请参阅图2，系本发明增加人工智能(AI)单元110模拟预测人工复检的示意图，首先在人工智能(AI)单元110尚未完成建模训练前，复数个待测物(例如印刷电路板、软性电路板等)一一经由光学检测装置100取像拍照后(在此假设为电路板1、电路板2……电路板1000)，将其定义分别存在于电路板1、电路板2……电路板1000的断路、短路、粘黏异物等瑕疵点传送至人工视觉复检站300进行人工复检，而该些经人工复检后确认为真实缺陷的结果除了可供后续的瑕疵剔除修复外，亦可作为人工智能(AI)单元110的建模训练资料，例如将光学检测装置100判断的电路板1瑕疵点及经人工复检后的电路板1瑕疵点作为训练资料1；将光学检测装置100判断的电路板2瑕疵点及经人工复检后的电路板2瑕疵点作为训练资料2……以此类推。藉由人工智能(AI)单元110来模拟预测人工复检的电路板瑕疵结果，而具体的人工智能(AI)训练方式，例如类神经网络则以图3来做进一步的说明。

继续参阅图2，当训练资料累积到一定数量时，可经由一启动单元120来决定人工智能(AI)单元110是否已建模训练完成，假若尚未完成建模训练(启动单元120关闭)，则经光学检测装置100检测后之复数待测物仍经由运送单元(图未绘)送至人工视觉复检站300进行人工复检；假若已完成建模训练则开启启动单元120，先将光学检测装置100所判定的复数NG影像或数量资料透过人工智能(AI)单元110模拟预测人工复检的结果后，再将此模拟预测之结果传送至人工视觉复检站300进行真正的人工复检动作，使得实际需要人工复检的瑕疵点数量减少。

于判断人工智能(AI)单元110是否已完成建模训练时，可参照图2中的校验训练结果130，操作人员可将人工智能(AI)单元110模拟预测之人工复检结果和实际经过人工复检的结果比对，若两者之比对结果(例如瑕疵点的数量)小于一预设值，则可由操作人员判断该人工智能(AI)单元110已完成建模训练而选择开启启动单元120，接着让所有经由光学检测装置100判断出的瑕疵点均先经由人工智能(AI)单元模拟预测后(此时模拟预测之人工复检结果应少于原光学检测装置100判断出的数量)，再将该模拟预测之结果传送至人工复检站300进行实际的人工复检，藉此达到减少人工复检数量及提升操作人员工作效率之目的。

再请参阅图3～图4，图3为人工智能(AI)单元110之建模训练实施例说明，本实施例中以类神经网络训练为例，然不依此为限。在图3中该人工智能(AI)单元110具有第一层的训练资料输入节点D1及D2，接着有第二层的神经元D3、D4及D5，在第三层具有建模训练后的资料输出节点D6。

类神经网络的各个节点与各个神经元均有相对应的权重，主要就是利用输入资料与输出资料之间的关系特性，建模训练出各输入、输出节点及神经元的权重及偏权值，而后再配合从光学检测装置100搜集到的待测物瑕疵点资料作为各输入节点的输入资料，用以进行人工复检结果的模拟预测。

例如在输入节点D1与神经元D3具有一权重W13，输入节点D2与神经元D5具有一权重W25；而神经元和输出节点亦有一权重，例如神经元D4与输出节点D6的权重为W46，神经元D5与输出节点D6的权重为W56。除此之外，各别的输入、输出节点及神经元均具有各自的偏权值，例如D1的偏权值为θ1，神经元D4偏权值为θ4，输出节点D6的偏权值为θ6。而每个节点传输至下个节点的传输数值计算方式如下，假设共有n个节点将各自的传输数值传输至该节点X，则节点Y传输至下一节点的传输数值y之公式为：

其中，Wi为将传输数值传输至节点Y的n个节点中之第i个节点与节点Y所对应的权重，Xi为该第i个节点传输至节点Y的传输数值，θ则为节点Y的偏权值。

以神经元D5为例，输入节点D1与神经元D5所对应的权重为W15，输入节点D2与神经元D5所对应的权重为W25，而神经元D5的偏权值为θ5。假设输入节点D1传输至神经元D5的传输数值为X1，而输入节点D2传输至神经元D5的传输数值为X2，则神经元D5传输至输出节点D6的传输数值为：

(W15·X1+W25·X2)-θ5

在本实施中以类神经网络作为建模训练方式，藉由大量已知的输入资料及输出资料关系塑模出各个权重及各个偏权值，于塑模出各个权重及偏权值后就可以实时的输入资料进行输出资料的预测。

图4为本发明基于类神经网络之人工复检预测的人工智能(AI)单元110及运算单元140周边资讯流通示意图，在本发明案中复数训练资料1～训练资料m(1101)即为经光学检测装置100判定之瑕疵点、人工复检后所判定之真实瑕疵点、及人工复检后所判定为正确OK的资料，其作为训练资料由类神经网络学习模块1102训练后，可再经由建模资料储存模块1103分类储存于复数建模资料1～建模资料m之中(1104)。

举例来说，例如客户端有第一批待测电路板，经人工智能(AI)单元110建模训练后可储存为建模资料1；同样的，客户端第二批待测电路板，可经人工智能(AI)单元110建模训练后储存为建模资料2，以此类推……。而建模资料1～m(1104)客户于日后可依待测电路板的批号或是近似的待测物，直接从建模资料1～m(1104)当中选择较符合的建模资料而毋需再重新训练，以节省训练所需的时间。

然而需说明的是，训练人工智能(AI)单元110所需之资料并非以光学检测装置100判定之瑕疵点(NG)及人工复检后判定之真实瑕疵点(NG)为限，在建模训练人工智能(AI)单元110时，亦可增加光学检测装置100判定之OK资料或是人工复检后判定之OK资料作为训练资料，其目的为使得经训练后的人工智能(AI)单元110更趋近于人工复检之结果。

再次看到图4，经由类神经网络学习模块1102训练或是透过建模资料储存模块1103选取的资料，再经由运算模块1401计算后，由预测结果显示模块1402显示于可供操作人员观看的地方，例如可呈现于一显示装置上，以方便操作人员透过使用者操作模块1403来决定是否开启启动单元120，此即为校验训练结果130，而操作人员于判断是否开启启动单元120时，可将人工智能(AI)单元110模拟预测之人工复检结果和实际经过人工复检的结果比对，若两者之比对结果(例如瑕疵点的数量)小于一预设值，则判断开启启动单元120。

再请看到图5，其为人工智能(AI)单元110完成建模训练后之架构示意图，此时光学检测装置100判断出之瑕疵点资料先输出至人工智能(AI)单元110预测模拟一人工复检之结果，再将此预测结果送至人工视觉复检站300进行真正的人工复检并剔除瑕疵及修复，透过人工智能(AI)单元110的预测模拟，可藉此减少需要操作人员复检之瑕疵点数量，进而减少所需的操作人员。而由于人工智能(AI)单元110已开启，此时亦可将自动光学检测装置100检测后判定之瑕疵点(NG)资料及经人工视觉复检站300判定后之实际瑕疵点(NG)资料传送至储存单元150，该储存单元150可位于运算单元140中；或可以云端方式进行上传或下载动作，例如该储存单元150可云端放置于设备商场地处；光学检测装置100、人工视觉复检站300可放置于客户端工厂处，并可进行远程的数据资料分析。同样的，该储存单元150不仅可储存NG资料，亦可储存自动光学检测装置100检测后之OK资料或是经人工复检后之OK资料，用以进行远程数据资料分析。

再请看到图6，为本发明实施方式之流程图，首先先将至少一个待测物传送至自动光学检测装置100进行瑕疵检测，于步骤S100中系将光学检测装置100判断之复数NG结果或影像传送至显示装置；于步骤S200中，操作人员根据前一步骤S100的复数NG结果或影像进行复检，再挑选出人工复检后之NG结果或是OK结果；于步骤S300中，系将前述步骤S200经人工复检挑选出之NG结果及OK结果传送至人工智能(AI)单元进行建模训练；接着步骤S400系判断人工智能(AI)单元是否已完成建模训练，若尚未完成建模训练则重复步骤S100～S300，反之则输出经人工智能(AI)单元预测模拟之人工复检结果。

同样的，在图6的步骤S100～步骤S300中，可进一步再增加相应的OK资料作为人工智能(AI)单元110的训练资料，例如可再将光学检测装置100检测后之OK资料及人工复检后之OK资料作为人工智能(AI)单元110的训练资料(图未绘)，藉此使得人工智能(AI)单元110的模拟预测更趋近人工复检判读之结果。

图7为本发明案人工智能(AI)单元110建模之另一实施例之说明，首先光学检测装置100先将至少一待测物上之复数影像资料判读为OK或是NG，接着将该些NG资料传送至人工视觉复检站300，由人工复检再次判断该些NG资料实际上是否其实为OK的资料(即光学检测装置100的误检)，亦或是由光学检测装置100判断之NG资料为真实NG资料(即光学检测装置100的NG判断和人工复检之NG判断相同)，接着将该些人工复检判断之OK及NG资料作为人工智能(AI)单元110之建模训练资料，再接着由校验训练结果130来判断人工智能(AI)单元是否已完成训练，该校验训练结果130的方式例如可为：将人工视觉复检站300经人工比对出的NG资料和人工智能(AI)单元110建模训练后判定之NG资料进行比对，若两者的误差值在一预定范围内，则判断人工智能(AI)单元110已完成训练。

然而在图7中人工智能(AI)单元110的建模训练资料并非以人工视觉复检站300判断之OK或NG资料为限，必要时可再加入光学检测装置100判断之OK资料(如第7图中虚线所示)，加入光学检测装置100判断之OK资料作为人工智能(AI)单元110的训练资料，其目的在让训练后的人工智能(AI)单元110预测模拟的结果更接近人工视觉复检站300的判断结果，差别在于公式(1)中各节点权重或偏权值可能会有所调整变动。

图8为人工智能(AI)单元110已完成建模训练后之示意图，首先光学检测装置100先将至少一待测物上的复数影像资料判读为OK或是NG资料，接着将光学检测装置100判断之NG资料传送至人工智能(AI)单元110进行人工复检的模拟预测，图8中所示的系将人工智能(AI)单元110模拟预测的NG结果再次送进人工视觉复检站300进行人工判读，必要时亦可将虚线所示之人工智能(AI)单元110判定的OK结果送进人工视觉复检测300进行人工再次判读，以确认是否有人工智能(AI)单元110误判成OK的资料。

在图8中，经由人工智能(AI)单元110的先行预测模拟，已可大幅减少人工视觉复检站300所需投入复检的人力需求，较佳的甚至可以完全取代人力复检。

图9为本发明案人工智能(AI)单元110建模完成后之另一实施例，首先光学检测装置100先将至少一待测物上的复数影像资料判读为OK或是NG资料，接着将光学检测装100判断之NG资料传送至人工智能(AI)单元110进行人工复检的模拟预测并再区分为OK或是NG资料，要注意到的是，人工智能(AI)单元110在判读资料时，通常是以一个数值大小或是百分比的型式来判定是OK或NG资料，若OK资料的机率大于50％则判定为OK资料，反之则判定为NG资料。例如下表一中第1列栏位中OK数值为0.65(即65％机率为OK)时，则人工智能(AI)单元110即判定此为OK资料，当然这代表着也有35％的机率会判错。若将一实际为NG的资料误判为OK资料，此为光学检测设备商最不愿意见到的underkill情况(即漏检了瑕疵)。为避免此情况发生，于软件设计中可再预设参数(参数范围为自设并非限制)，例如可将OK机率介于50％～99％之间的影像资料[50～99]判定为「unsure」，只有OK机率介于99％～100％之间的影像资料[99～100]才真正判定为OK资料。

请再同时参见图9及下表一，同样的若人工智能(AI)单元110将一实际为OK的资料误判为NG资料，此亦为我们不愿意看到会造成待测物制造商成本增加的overkill情况，为避免此情况发生，于软件设计中亦可预设参数(参数范围为自设并非限制)，例如将NG机率介于50％～95％之间的影像资料[50～95]判定为「unsure」，只有NG机率介于95％～100％之间的影像资料[95～100]才真正判定为NG资料。

表一

OK	NG	人工智能(AI)判读	备注
				0.65(65％)	0.35(35％)	OK	可能是underkill情况(漏检)
0.45(45％)	0.55(55％)	NG	可能是overkill情况(成本增加)
				0.99(99％)	0.01(1％)	OK	几乎确定是OK情况
0.05(5％)	0.95(95％)	NG	几乎确定是NG情况

在图9中虚线部分为可视情况再加入人工智能复检流程的部分，例如经人工智能(AI)单元110判定几乎确定为OK的资料[99～100]，可选择性的再传送至人工视觉复检站300进行复检；另外，经人工智能(AI)单元110判定为「unsure」的资料亦可选择性的归类为「unsure」资料或也可直接判定为NG资料。

人工视觉复检站300主要目的即是以人工方式检测前述该些「unsure」或是NG的资料，经由训练好后之人工智能(AI)单元110先行模拟、分类，已可大幅减少人工视觉复检站300所需投入的人力，不仅可提高人工复检的效率，亦可降低待测物制造商所需投入的人力成本。

综上所述，本发明在上文中已以较佳实施例揭露，然熟习本项技术者应理解的是，该实施例仅用于描绘本发明，而不应解读为限制本发明之范围。应注意的是，举凡与该实施例等效之变化与置换，均应设为涵盖于本发明之范畴内。

【符号说明】

100 光学检测装置

200 运送单元

300 人工视觉复检站

110 人工智能(AI)单元

1101 复数训练资料

1102 类神经网络学习模块

1103 建模资料储存模块

1104 复数建模资料

120 启动单元

130 校验训练结果

140 运算单元

150 储存单元

1401 运算模块

1402 预测结果显示模块

1403 使用者操作模块

S100～S400 步骤

T100～T300 步骤

U100～U300 步骤

Claims (15)

1.一种人工智能复检***，包含：

光学检测装置，用以拍摄至少一待测物并将判断出之复数NG结果或影像传送至显示装置；

显示装置，可显示光学检测装置判断之复数NG结果或影像，以供操作人员进行人工复检，并再挑选出人工复检后之NG结果或是OK结果；

人工智能单元，其根据人工复检后之NG结果及OK结果进行建模训练；及

运算单元，其根据人工智能单元之建模训练，运算得出一预测之人工复检结果。

2.如权利要求1所述的人工智能复检***，该人工智能单元之建模训练资料另包括有光学检测装置判断之复数OK结果或影像、光学检测装置判断之复数NG结果或影像两者其一或是组合。

3.如权利要求1或2所述的人工智能复检***，另包括至少一个储存单元，用以储存光学检测装置判断出之复数NG或OK结果或影像及操作人员进行人工复检后之NG或OK结果。

4.如权利要求3所述的人工智能复检***，该至少一个储存单元位于运算单元中，或是以云端方式提供该些影像或结果储存。

5.如权利要求1或2所述的人工智能复检***，该人工智能单元另包括一启动单元，用以让操作人员决定该人工智能单元是否已完成建模训练，若经人工复检后之NG结果与人工智能单元建模训练后预测之NG结果差值小于一预设值，则判定完成建模训练。

6.如权利要求5所述的人工智能复检***，其另包括一资料库单元，用以储存或输出经建模训练完成后之人工智能单元训练模块。

7.一种人工智能复检方法，包含：

步骤S100：将光学检测装置判断之复数NG结果或影像传送至显示装置；

步骤S200：操作人员根据步骤S100的复数NG结果或影像进行复检，再挑选出人工复检后之NG结果或是OK结果；

步骤S300：将步骤S200经人工复检挑选出之NG结果及OK结果传送至人工智能单元进行建模训练；

步骤S400：判断人工智能单元是否已完成建模训练，若尚未完成建模训练则重复步骤S100～S300；若判断已完成建模训练则输出经人工智能单元预测之人工复检结果。

8.如权利要求7所述的人工智能复检方法，在步骤S300时，另可将光学检测装置判断之复数OK结果或影像、光学检测装置判断之复数NG结果或影像择一或组合传送至人工智能单元进行建模训练。

9.如权利要求7或8所述的人工智能复检方法，当人工复检后之NG结果与人工智能单元建模训练后预测之NG结果差值小于一预设值，则于步骤S400中判断已完成建模训练。

10.如权利要求7或8所述的人工智能复检方法，若于步骤S400中判断尚未完成建模训练而重复步骤S100～S300时，则先将光学检测装置判断之复数NG结果或影像传送至显示设备供操作人员进行人工复检。

11.一种人工智能复检方法，包括：

步骤T100：将光学检测装置拍摄之复数影像区分为OK结果或是NG结果；

步骤T200：将步骤T100中的NG结果传送至已建模训练好的人工智能单元，并藉由人工智能单元将步骤T100中判定为NG的结果进一步再区分为OK结果或是NG结果；

步骤T300：将步骤T200中经人工智能单元判定的NG结果传送至人工视觉复检站，由操作人员将人工智能单元判定的NG结果进一步再区分为OK结果或是NG结果；

其中，人工智能单元的建模训练包括：对光学检测装置判断之复数NG结果或影像进行人工复检，并挑选出人工复检后之NG结果或是OK结果；人工智能单元根据人工复检后之NG结果及OK结果进行建模训练。

12.如权利要求11所述的人工智能复检方法，在步骤T300中另将人工智能单元区分为OK的结果传送至人工视觉复检站，由操作人员将该些结果再进一步区分为OK结果或是NG结果。

13.一种人工智能复检方法，包括：

步骤U100：将光学检测装置拍摄之复数影像区分为OK结果或是NG结果；

步骤U200：将步骤U100中的NG结果传送至已建模训练好的人工智能单元，并藉由人工智能单元将步骤U100中判定为NG的结果进一步再区分为OK结果或是NG结果或是Unsure结果；

步骤U300：将步骤U200中经人工智能单元判定的NG结果及Unsure结果传送至人工视觉复检站，由操作人员将人工智能单元判定的NG结果及Unsure结果进一步再区分为OK结果或是NG结果；

其中，人工智能单元的建模训练包括：对光学检测装置判断之复数NG结果或影像进行人工复检，并挑选出人工复检后之NG结果或是OK结果；人工智能单元根据人工复检后之NG结果及OK结果进行建模训练。

14.如权利要求13所述的人工智能复检方法，在步骤U300中另将人工智能单元区分为OK的结果传送至人工视觉复检站，由操作人员将该些结果再进一步区分为OK结果或是NG结果。

15.如权利要求13所述的人工智能复检方法，其中该些Unsure结果的范围因需求而做不同设定。

Images