CN112683924A - 基于人工神经网络的物件表面型态的筛选方法 - Google Patents
基于人工神经网络的物件表面型态的筛选方法 Download PDFInfo
- Publication number
- CN112683924A CN112683924A CN201910987177.8A CN201910987177A CN112683924A CN 112683924 A CN112683924 A CN 112683924A CN 201910987177 A CN201910987177 A CN 201910987177A CN 112683924 A CN112683924 A CN 112683924A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- light
- object image
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012216 screening Methods 0.000 title claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 66
- 238000013135 deep learning Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 description 45
- 238000007689 inspection Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 230000007547 defect Effects 0.000 description 22
- 238000007781 pre-processing Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 15
- 239000004576 sand Substances 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003746 surface roughness Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000001464 adherent effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007847 structural defect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于人工神经网络的物件表面型态的筛选方法,其包括:接收至少一物件影像;以一第一预测模型进行各物件影像的表面型态识别以分类为一第一正常群组与一第一异常群组;以及以一第二预测模型进行该第一正常群组中的各输出影像的表面型态识别以分类为一第二正常群组与一第二异常群组。利用本发明的基于人工神经网络的物件表面型态的筛选方法,通过串接的不同训练条件的多个神经网络接续性地对物件影像进行表面型态识别,以精准且快速地分类物件影像,借以基于物件影像的分类结果有效率地筛选物件影像对应的物件,进而得到较低的过放率。
Description
【技术领域】
本发明是关于一种人工神经网络训练***,尤其是一种基于人工神经网络的物件表面型态的筛选方法。
【背景技术】
各种安全性保护措施是通过许多小型结构物件所组成,例如安全带。若是这些小型结构物件强度不足则可以令安全性保护措施的保护作用产生疑虑。
这些结构物件在制造过程中可能因为各种原因,例如碰撞、制程误差、模具缺陷等,而导致其表面产生微小的缺陷,例如槽孔、裂缝、凸块及纹理等。这些微小的缺陷并不容易被查觉。现有的缺陷检测方法其中之一是人工以肉眼观察或以双手触摸待检测的结构物件,以判定结构物件是否具有缺陷,例如凹坑、划痕、色差、缺损等。然而,以人工方式检测结构物件是否具有缺陷的效率较差,且极容易发生误判的情形,如此将造成结构物件的良率无法控管。
【发明内容】
在一实施例中,一种基于人工神经网络的物件表面型态的筛选方法,包括:接收至少一物件影像;以一第一预测模型进行各物件影像的表面型态识别以分类为一第一正常群组与一第一异常群组;以及以一第二预测模型进行该第一正常群组中的各输出影像的表面型态识别以分类为一第二正常群组与一第二异常群组。
综上所述,根据本案的基于人工神经网络的物件表面型态的筛选方法的实施例,通过串接的不同训练条件的多个神经网络接续性地对物件影像进行表面型态识别,以精准且快速地分类物件影像,借以基于物件影像的分类结果有效率地筛选物件影像对应的物件,进而得到较低的过放(Miss)率。
【附图说明】
图1为根据本发明一实施例的人工神经网络***的示意图。
图2为根据本发明另一实施例的人工神经网络***的示意图。
图3为根据本发明一实施例的基于人工神经网络的物件表面型态的筛选方法的流程图。
图4为根据本发明一实施例的子神经网络***的训练方法的流程图。
图5为根据本发明一实施例的子神经网络***的检测方法的流程图。
图6为影像区域的一示范例的示意图。
图7为根据本发明另一实施例的子神经网络***的训练方法的流程图。
图8为根据本发明另一实施例的子神经网络***的检测方法的流程图。
图9为根据本发明又一实施例的子神经网络***的训练方法的流程图。
图10为根据本发明又一实施例的子神经网络***的检测方法的流程图。
图11为根据本发明再一实施例的子神经网络***的训练方法的流程图。
图12为根据本发明再一实施例的子神经网络***的检测方法的流程图。
图13为物件影像的一示范例的示意图。
图14为根据本发明一实施例的针对物件表面型态的影像扫描***的示意图。
图15为针对物件表面型态的影像扫描***的第一实施例的功能示意图。
图16为图14的物件、光源组件及感光元件之间于光学上的相对位置的第一实施例的示意图。
图17为图14的物件、光源组件及感光元件之间于光学上的相对位置的第二实施例的示意图。
图18为表面型态的一实施例的示意图。
图19为图14的物件、光源组件及感光元件之间于光学上的相对位置的第三实施例的示意图。
图20为图14的物件、光源组件及感光元件之间于光学上的相对位置的第四实施例的示意图。
图21为根据本发明另一实施例的针对物件表面型态的影像扫描***的示意图。
图22为针对物件表面型态的影像扫描***的第二实施例的功能示意图。
图23为图14的物件、光源组件及感光元件之间于光学上的相对位置的第五实施例的示意图。
图24为针对物件表面型态的影像扫描***的第三实施例的功能示意图。
图25为图14的物件、光源组件及感光元件之间于光学上的相对位置的第六实施例的示意图。
图26为针对物件表面型态的影像扫描***的第四实施例的功能示意图。
图27为检测影像的一示范例的示意图。
图28为检测影像的另一示范例的示意图。
图29为检测影像的又一示范例的示意图。
图30为针对物件表面型态的影像扫描***的第五实施例的功能示意图。
图31为物件影像的另一示范例的示意图。
图32为物件影像的又一示范例的示意图。
图33为物件影像的再一示范例的示意图。
【具体实施方式】
基于人工神经网络的物件表面的筛选方法适用于一人工神经网络***。于此,人工神经网络***可实现在一处理器上。
在一些实施例中,处理器能以不同训练条件对相同或不同的多个物件影像执行多个子神经网络***的深度学习(即尚未训练好的人工神经网络)以分别建立多个子神经网络***用以识别物件的表面型态的预测模型(即已训练好的人工神经网络),并串接此些子神经网络***为一人工神经网络***。于此,此些物件影像可为同一种物件的相同相对位置的表面的影像。换言之,当物件的表面具有任何表面型态时,在此物件的物件影像的对应影像位置也有此些表面型态的成像。进一步而言,人工神经网络***以固定的取像座标参数接收多个物件影像。举例来说,当物件的表面具有一沙孔时,此沙孔也会成像在此物件的物件影像的对应影像位置上。当物件的表面具有一撞痕时,此撞痕也会成像在此物件的物件影像的对应影像位置上。在一些实施例中,表面型态可为例如槽孔、裂缝、凸块、沙孔、气孔、撞痕、刮痕、边缘、纹理等表面结构。其中,各表面结构为三维细微结构。于此,三维细微结构为次微米尺寸到微米(μm)尺寸。即三维细微结构的最长边或最长直径介于次微米到微米之间。其中,次微米是指<1μm,例如是0.1μm~1μm。例如三维细微结构可以是300nm到6μm的微结构。
参照图1,人工神经网络***30可包括一输入单元31、多个子神经网络***33以及一输出单元35。子神经网络***33依序串接在输入单元31与输出单元35之间,并且各子神经网络***30是以部分输出与下一级的子神经网络***33串接。各子神经网络***33具有一种预测模型。
在一些实施例中,各子神经网络***33的输出可划分为正常群组与异常群组,并且各子神经网络***33的正常群组耦接至下一子神经网络***33的输入。举例来说,在预测阶段,一个或多个物件影像IM馈入至人工神经网络***30时,第一级子神经网络***33对各物件影像IM执行预测模型以分类为第一级正常群组或第一级异常群组。于分类为第一级正常群组时,第一级子神经网络***33输出至第一级正常群组的物件影像IM则会接续馈入至第二级子神经网络***33,以致第二级子神经网络***33接续对物件影像IM执行预测模型以分类为第二级正常群组或第二级异常群组。反之,于分类为第一级异常群组时,第一级子神经网络***33输出至第一级正常群组的物件影像IM则不会馈入至第二级子神经网络***33。以此类推,直至最后一级子神经网络***33对前一级馈入的物件影像IM(即归类为前一级子神经网络***33的正常群组的物件影像IM)执行预测模型。
在一些实施例中,输出单元35接收所有子神经网络***33输出的异常群组并据以输出一异常结果,并且输出单元35还接收最后一级子神经网络***33输出的正常群组并据以输出一正常结果。
为了方便说明,以二个子神经网络***33为例,然此数量非本发明的限制。参照图2,二个子神经网络***33分别称之为第一子神经网络***33a以及第二子神经网络***33b。
第一子神经网络***33a的输入耦接输入单元31。第一子神经网络***33a的一部分输出耦接第二子神经网络***33b的输入,而第一子神经网络***33a的另一部分输出耦接输出单元35。
于此,第一子神经网络***33a具有第一预测模型。第二子神经网络***33b具有第二预测模型。在一些实施例中,第一预测模型可以CNN演算法实现。第二预测模型也可以CNN演算法实现。然本案不以此为限制。
于此,参照图2及图3,输入单元31接收一个或多个物件影像IM(步骤S01),并将接收到的物件影像IM馈入至第一子神经网络***33a。接着,第一子神经网络***33a的第一预测模型对各物件影像IM进行表面型态识别以分类为一第一正常群组G12与一第一异常群组G11的其中之一(步骤S02)。换言之,第一预测模型识别物件影像IM所成像的表面型态后会依据识别结果将物件影像IM归类至第一正常群组G12或第一异常群组G11。
然后,归类至第一正常群组G12的物件影像IM会馈入至第二子神经网络***33b,并且由第二子神经网络***33b的第二预测模型进行表面型态识别以分类为一第二正常群组G22与一第二异常群组G21的其中之一(步骤S03)。换言之,第二预测模型识别属于第一正常群组G12的物件影像IM所成像的表面型态,然后依据识别结果将物件影像IM归类至第二正常群组G22或第二异常群组G21。
最后,输出单元35接收第一预测模型输出的第一异常群组G11、第二预测模型输出的第二异常群组G21及第二预测模型输出的第二正常群组G22,并输出一异常结果以及一正常结果。其中,异常结果包括归类至第一异常群组G11的物件影像IM以及归类至第二异常群组G21的物件影像IM。正常结果包括归类至第二正常群组G22的物件影像IM。
在一些实施例中,各子神经网络***33的预测模型可以一卷积神经网络(CNN)演算法实现,然本案不以此为限制。
在一些实施例中,各子神经网络***33是进行不同训练条件的深度学习而建立各自的预测模型。其中,训练条件可例如不同数量的神经网络层、不同神经元配置、不同输入影像的预处理、不同神经网络演算法或其任意组合等。其中,影像的预处理可为特征强化、影像裁切、资料格式转换、影像叠合及其任意组合。
在一些实施例中,人工神经网络***30中串接的神经网络的数量可依据实际需求设计为串接2个神经网络、3个神经网络、4个神经网络或更多。
在一些实施例中,各子神经网络***33可具有不同判定缺陷率。在一些实施例中,处理器能根据多个子神经网络***33的预测模型的判定缺陷率串接多个子神经网络***33为一人工神经网络***30。举例来说,具有较高判定缺陷率的子神经网络***33排列在前,而具有较低判定缺陷率的子神经网络***33排列在后。换言之,串接后的多个子神经网络***33其判定缺陷率会依序降低。基此,人工神经网络***30能快速对大量的待测物件进行分类预测,并且兼顾高过放(Miss)率。
在一些实施例中,子神经网络***33中的至少一者可进行影像裁切的影像预处理。
参照图4,在学习阶段,子神经网络***33接收多个物件影像IM(步骤S11)。于此,此些物件影像皆为同一种物件的相同相对位置的表面的影像。接着,子神经网络***33将各物件影像IM划分为多个影像区域(步骤S12),并指定各物件影像IM的多个影像区域中的至少一感兴趣区域(步骤S13)。换言之,于一物件影像IM被裁切为多个影像区域后,子神经网络***33可依据指定设定将多个影像区域中对应顺序的影像区域指定为感兴趣区域。然后,子神经网络***33再以指定的感兴趣区域进行一深度学习(训练)以建立识别此物件的表面型态的预测模型(步骤S14)。在一些实施例中,子神经网络***33能逐一进行每张影像的划分、指定及训练。在另一些实施例中,子神经网络***33能先进行每张物件影像的划分并指定,然后一并将所有指定的感兴趣区域进行训练。
于预测阶段,此子神经网络***33则以与学习阶段大致上相同的步骤进行分类预测。参照图5,子神经网络***33接收一个或多个物件影像IM(步骤S21)。于此,各物件影像IM的取像目标及位置会与学习阶段所采用的物件影像IM的取像目标及取像位置相同(如同一种物件的相同的相对位置)。接着,子神经网络***33将各物件影像IM划分为多个影像区域(步骤S22),并指定各物件影像IM的多个影像区域中的至少一感兴趣区域(步骤S23)。换言之,于一物件影像IM被裁切为多个影像区域后,子神经网络***33可依据指定设定将多个影像区域中对应顺序的影像区域指定为感兴趣区域。然后,子神经网络***33再以指定的感兴趣区域执行预测模型以识别此物件的表面型态(步骤S24)。
基此,子神经网络***33能弹性导入特定区域(指定的感兴趣区域)的检测结果。在一些实施例中,子神经网络***33还能得到较低的过放率,如趋近于零的过放率。
在一些实施例中,每张物件影像IM所分成的影像区域的数量大于2的任意整数。较佳地,每个影像区域的影像尺寸能小于或等于768*768像素,例如400*400像素、416*416像素、608*608像素等。并且,影像区域的影像尺寸均相同。在一些实施例中,每个影像区域较佳为正方形。举例来说,当物件影像IM的影像尺寸为3000*4000像素时,裁切后的影像区域的影像尺寸可为200*200像素。
在步骤S12及步骤S22的一些实施例中,子神经网络***33可先依据预设的裁切尺寸放大物件影像IM,以使物件影像IM的尺寸为影像区域的尺寸的整数倍。然后,子神经网络***33再依据预设的裁切尺寸将放大后的物件影像IM裁切为多个影像区域。于此,各影像区域的影像尺寸均相同,即同样为预设的裁切尺寸。
举例来说,参照图6,子神经网络***33将接收到的每张物件影像IM以相同的裁切尺寸个别划分成70个影像区域A01~A70。然后,子神经网络***33依据预设的指定设定(假设指定为1~10)将影像区域A01~A10指定为感兴趣区域,进而以影像区域A01~A10(即感兴趣区域)进行深度学习或执行预测模型。
在一些实施例中,感兴趣区域可为具有不同深度的沙孔的成像的影像区域,或是不具有沙孔而具有撞痕或刮痕的成像的影像区域,或是具有不同的表面粗糙度的成像的影像区域,或是不具表面缺陷的成像的影像区域,或是具有不同纵深比的缺陷的成像的影像区域。于此,子神经网络***33根据前述的各种不同表面型态的感兴趣区域进行深度学习或执行预测模型。在学习阶段,子神经网络***33可将具有不同表面型态的感兴趣区域进行归类而预先产生不同的预设表面型态类别。
举例来说,子神经网络***33可利用感兴趣区域辨识出感兴趣区域A01成像有沙孔及撞痕、感兴趣区域A02未成像有缺陷、感兴趣区域A33仅成像有沙孔且成像的表面粗糙度小于兴趣区域A35成像的表面粗糙度。在预测阶段,以预设表面型态类别包含沙孔或气孔、刮痕或撞痕、粗糙度高、粗糙度低及不具表面缺陷等五个类别为例,子神经网络***33可将感兴趣区域A01归类至沙孔或气孔的预设类别以及刮痕或撞痕的预设类别,且将感兴趣区域A02归类至不具表面缺陷的预设类别,感兴趣区域A33归类至沙孔或气孔的预设类别以及粗糙度低的预设类别,且将感兴趣区域A35归类至粗糙度高的预设类别。
在步骤S13及步骤S23的一实施例中,针对每张物件影像IM,子神经网络***33通过改变每个影像区域的权重来指定感兴趣区域。举例来说,承接前例,参照图6,物件影像IM裁切为多个影像区域A01~A70后,多个影像区域A01~A70的权重初始预设为1。在一实施例中,假设指定设定假定为1~5、33~38及66~70,子神经网络***33依据预设的指定设定将影像区域A1~A5、A33~A38、A66~A70的权重调高为2,借以指定影像区域A1~A5、A33~A38、A66~A70为感兴趣区域。在一示范例中,于感兴趣区域的权重调高时,其他影像区域A6~A32、A39~A65的权重可维持为1。在另一示范例中,于感兴趣区域的权重调高时,子神经网络***33可同时将其他影像区域A6~A32、A39~A65的权重可调低为0。
在另一实施例中,假设指定设定假定为1~5、33~38及66~70,人工神经网络***30依据预设的指定设定将影像区域A1~A5、A33~A38、A66~A70以外的影像区域A6~A32、A39~A65的权重调低为0或0.5,而影像区域A1~A5、A33~A38、A66~A70的权重则仍维持为1,借以指定影像区域A1~A5、A33~A38、A66~A70为感兴趣区域。
在一实施例中,子神经网络***33可包括一预处理单元以及一深度学习单元。预处理单元的输入耦接此子神经网络***33的前一级(前一个子神经网络***33或输入单元31),并且预处理单元的输出耦接深度学习单元的输入。深度学习单元的输出耦接此子神经网络***33的下一级(下一个子神经网络***33或输出单元35)。于此,预处理单元用以执行前述步骤S11~步骤S13或步骤S21~步骤S23,而深度学习单元用以执行前述步骤S14或步骤S24。换言之,深度学习单元在执行深度学习后的架构即为预测模型。在另一实施例中,深度学习单元可包括一输入层以及多层的隐藏层。输入层耦接在前一级(前一个子神经网络***33或输入单元31)与各隐藏层之间。各隐藏层耦接在输入层与下一级(下一个子神经网络***33或输出单元35)之间。于此,前述步骤S11~步骤S13或步骤S21~步骤S23则可改由输入层执行。
在一些实施例中,子神经网络***33中的至少一者可进行转换资料格式的影像预处理。
参照图7,在学习阶段,子神经网络***33接收多个物件影像IM(步骤S31)。接着,子神经网络***33根据物件影像IM的色彩模式转换物件影像IM为矩阵(Matrix)(步骤S32),即转换物件影像的资料格式为人工神经网络的输入通道所支援的格式(如影像矩阵)。然后,子神经网络***33以矩阵执行一深度学习以建立识别物件的表面型态的预测模型(步骤S33)。
于此,接收到的物件影像IM皆为同一种物件的相同相对位置的表面的影像。其中,接收到的物件影像IM具有多个种色彩模式,并且各物件影像IM具有此些色彩模式的其中之一。在一些实施例中,此些色彩模式可包括互不相同的多个种光谱。举例来说,在学习阶段,处理器能馈入大量的物件影像IM至子神经网络***33。馈入的物件影像IM包括多个同一种物件2的每个物件2的相同相对位置的不同光谱的表面影像(即物件影像IM)。
于此,子神经网络***33中的人工神经网络具有用以输入对应矩阵的多个影像矩阵输入通道,且此些影像矩阵输入通道分别代表多个取像条件(如分别代表多个色彩模式)。也就是说,子神经网络***33将各种不同色彩模式的物件影像IM转换为矩阵内的长、宽、像素型态、像素深度、通道数等信息,其中通道数表示对应物件影像的取像条件。并且,转换后的矩阵会依据物件影像的色彩模式汇入至对应的影像矩阵输入通道中,以利于进行深度学习。在一些实施例中,此些影像矩阵输入通道分别代表互不相同的多个种光谱。
在一些实施例中,多个种光谱可介于380nm至3000nm的范围之间。举例来说,互不相同的多个种光谱可例如白光、紫光、蓝光、绿光、黄光、橘光及红光等可见光中的任意多种。在一实施例中,白光的光波长值可位于380nm至780nm之间,紫光的光波长值在380nm至450nm之间,蓝光的光波长值在450nm至495nm之间,绿光的光波长值在495nm至570nm之间,黄光的光波长值在570nm至590nm之间,橘光的光波长值在590nm至620nm之间,红光的光波长值在620nm至780nm之间,在另一示范例中,光谱也可为远红外光,其光波长值在800nm-3000nm之间。
在一些实施例中,此些色彩模式还还可包括灰阶模式。此时,物件影像IM会先转成灰阶影像,再转换成具有代表灰阶的通道数的矩阵。
于预测阶段,此子神经网络***33则以与学习阶段大致上相同的步骤进行分类预测。参照图8,子神经网络***33接收一个或多个物件影像IM(步骤S41)。于此,各物件影像IM皆为同一种物件的相同相对位置的表面的影像并且具有任一种特定色彩模式。接着,子神经网络***33根据物件影像IM的色彩模式转换物件影像IM为矩阵(步骤S42)。然后,子神经网络***33以矩阵执行预测模型以识别物件的表面型态(步骤S43)。
在一些实施例中,子神经网络***33可先正规化物件影像IM,以降低学习资料之间的不对称性,同时提高学习效率。然后,子神经网络***33再正规化后的物件影像IM转换为矩阵。
基此,子神经网络***33通过以具有代表不同色彩模式的通道数的矩阵进行深度学习,因而建立的预测模型能辨识物件2的表面21的结构型态及表面纹理等信息(即表面型态)。换言之,通过控制发光频谱或收光频谱来提供同一物件不同成像效果的物件影像,得以提高子神经网络***33对于物件的各种目标表面型态的区别性。在一些实施例中,此子神经网络***33可整合多频谱的表面纹理的影像,以提升物件的目标表面型态的识别,进而得到物件的表面粗糙度以及细致纹理型态。
在一实施例中,子神经网络***33可包括一预处理单元以及一深度学习单元。预处理单元的输入耦接此子神经网络***33的前一级(前一个子神经网络***33或输入单元31),并且预处理单元的输出耦接深度学习单元的输入。深度学习单元的输出耦接此子神经网络***33的下一级(下一个子神经网络***33或输出单元35)。于此,预处理单元用以执行前述步骤S31~步骤S32或步骤S41~步骤S42,而深度学习单元用以执行前述步骤S33或步骤S43。换言之,深度学习单元在执行深度学习后的架构即为预测模型。在另一实施例中,深度学习单元可包括一输入层以及多层的隐藏层。输入层耦接在前一级(前一个子神经网络***33或输入单元31)与各隐藏层之间。各隐藏层耦接在输入层与下一级(下一个子神经网络***33或输出单元35)之间。于此,前述步骤S31~步骤S32或步骤S41~步骤S42则可改由输入层执行。
在一些实施例中,子神经网络***33中的至少一者可进行影像叠合的影像预处理。
在一实施例中,参照图9,在学习阶段,子神经网络***33接收多个物件的多个物件影像IM(步骤S51)。此些物件影像IM皆为同一种物件的相同相对位置的表面的影像。同一个物件的多个物件影像IM是基于不同打光方位的光线撷取物件的影像而得。在一示范例中,撷取到的同一物件的影像可具有相同光谱,抑或是具有不同的多种光谱。接着,子神经网络***33叠合各物件的多个物件影像IM为一叠合的物件影像(以下称初始影像)(步骤S52)。然后,子神经网络***33以各物件的初始影像执行一深度学习以建立识别物件的表面型态的预测模型(步骤S54)。举例来说,接收到的物件影像IM包括一第一物件的多个物件影像IM以及一第二物件的多个物件影像IM。子神经网络***33会叠合第一物件的多个物件影像IM为第一物件的初始影像以及叠合第二物件的多个物件影像IM为第二物件的初始影像,然后以第一物件的初始影像与第二物件的初始影像执行深度学习。
于预测阶段,此子神经网络***33则以与学习阶段大致上相同的步骤进行分类预测。参照图10,子神经网络***33接收一个物件的多个物件影像IM(步骤S61)。于此,此物件的多个物件影像IM皆为此物件的相同位置的表面的影像。并且,此物件的多个物件影像IM为基于不同打光方位的光线撷取物件的影像。接着,子神经网络***33叠合此物件的多个物件影像IM为初始影像(步骤S62)。然后,子神经网络***33以初始影像执行预测模型以识别物件的表面型态(步骤S64)。
基此,子神经网络***33能以多角度取像(即不同打光方位)配合多维度叠加的前置处理来进行训练,以在不增加演算时间的前提下提升对物件的立体结构特征的辨识度。换言之,通过控制取像光源的各种不同入射角以提供同一物件不同成像效果的物件影像,得以提高子神经网络***33对物件的各种表面型态的空间立体区别性。并且,通过整合不同的打光方位下的物件影像,对物件影像进行多维度叠加,得以提升子神经网络***33对物件的表面型态的识别,进而得到物件的表面型态的最佳解析。
在另一实施例中,参照图11及图12,于步骤S52或S62之后,子神经网络***33可先将各物件的初始影像转换成矩阵(步骤S53或S63),即转换各物件的初始影像的资料格式为人工神经网络的输入通道所支援的格式(如影像矩阵)。然后,子神经网络***33再以各物件的矩阵执行深度学习或预测模型(步骤S54’或S64’)。也就是说,子神经网络***33将各物件的初始影像转换为矩阵内的长、宽、像素型态、像素深度、通道数等信息,其中通道数表示对应初始影像的色彩模式。并且,转换后的矩阵会依据初始影像的色彩模式汇入至对应的影像矩阵输入通道中,以利于进行下一步的处理。
在步骤S52及步骤S62的一示范例中,子神经网络***33会先正规化(Normalization)接收到的物件影像IM,然后再将同一物件的正规化后的物件影像IM叠合为初始影像。如此,可降低学习资料之间的不对称性,同时提高学习效率。
在步骤S51或S61的一示范例中,同一物件的物件影像IM可具有相同光谱。在步骤S51或S61的另一示范例中,同一物件的物件影像IM可具有不同的多个种光谱。也就是说,同一个物件的多个物件影像IM包括基于不同打光方位的一光谱的光线撷取物件的影像以及基于不同打光方位的另一光谱的光线撷取物件的影像。并且,此二光谱互不相同。
在一实施例中,子神经网络***33可包括一预处理单元以及一深度学习单元。预处理单元的输入耦接此子神经网络***33的前一级(前一个子神经网络***33或输入单元31),并且预处理单元的输出耦接深度学习单元的输入。深度学习单元的输出耦接此子神经网络***33的下一级(下一个子神经网络***33或输出单元35)。于此,预处理单元用以执行前述步骤S51~步骤S53或步骤S61~步骤S63,而深度学习单元用以执行前述步骤S54、步骤S54’、步骤S64或步骤S64’。换言之,深度学习单元在执行深度学习后的架构即为预测模型。在另一实施例中,深度学习单元可包括一输入层以及多层的隐藏层。输入层耦接在前一级(前一个子神经网络***33或输入单元31)与各隐藏层之间。各隐藏层耦接在输入层与下一级(下一个子神经网络***33或输出单元35)之间。于此,前述步骤S51~步骤S53或步骤S61~步骤S63则可改由输入层执行。
在一些实施例中,各物件影像IM是由多个检测影像MB拼接而成(如图13所示),且各感兴趣区域的影像尺寸小于检测影像的影像尺寸(原始的影像尺寸)。
在一些实施例中,各检测影像MB可由针对物件表面型态的影像扫描***来产生。参照图14,针对物件表面型态的影像扫描***适用以扫描物件2以得到物件2的至少一检测影像MB。于此,物件2具有表面21,并且沿着物件2的表面21的一延伸方向D1,物件2的表面21划分为多个表面区块21A-21C。在一些实施例中,以物件2的表面21划分为九个表面区块为例,于图中示范性标示其中的三个表面区块21A-21C。然本案不以此为限制,物件2的表面21也可依据实际需求划分为其他数量的表面区块,如3块、5块、11块、15块、20块等任意数量。
参照图14至图17,图16及图17分别为图14的物件2、光源组件12及感光元件13之间于光学上的相对位置的两实施例的示意图。
针对物件表面型态的影像扫描***包含驱动组件11、光源组件12及感光元件13。光源组件12及感光元件13以不同角度面向驱动组件11上的一检测位置14。
影像扫描***能执行一检测程序。在检测程序中,驱动组件11承载待检测的物件2并依序地位移多个表面区块21A-21C其中之一者至前述的检测位置14,同时光源组件12会朝向检测位置14发射一光线L1,借以依序照亮位于检测位置14的表面区块21A-21C。因此,表面区块21A-21C会依序地设置于检测位置14上,并且在检测位置14上时会受来自侧向或斜向的光线L1照射。
在一些实施例中,在表面区块21A-21C中的每一者位于检测位置14上时,感光元件13接收当前位于检测位置14上的表面区块受光而产生的漫射光线,并且根据接收到漫射光线撷取当前位于检测位置14上的表面区块的检测影像。
举例来说,在检测程序中,驱动组件11先位移表面区块21A至检测位置14,并且在以光源组件12提供的检测光线L1照射表面区块21A下,感光元件13撷取表面区块21A的检测影像Ma。接着,驱动组件11再位移物件2以使表面区块21B至检测位置14,并且在以光源组件12提供的检测光线L1照射表面区块21B下,感光元件13再撷取表面区块21B的检测影像Mb。接着,驱动组件11位移物件2以使移表面区块21C至检测位置14,并且在以光源组件12提供的检测光线L1照射表面区块21B下,感光元件13再撷取表面区块21C的检测影像Mc。依此类推,直至撷取到所有表面区块的检测影像MB。
在一些实施例中,光线L1的入射方向与位于检测位置14的每一表面区块21A-21C的正向法线14A之间的夹角(以下称为光入射角θ)大于0度且小于或等于90度。也就是说,相对于正向法线14A,光线L1(即其入射光轴)以大于0度且小于或等于90度的光入射角θ照射检测位置14。
在一些实施例中,光入射角θ可大于或等于一临界角度且小于或等于90度,以得到在欲进行检测的波长下的最佳目标特征的撷取效果。于此,临界角度可相关于预期检测的表面型态。在一些实施例中,光入射角θ与预期检测的表面型态的一纵深比有关。于此,预期检测的表面型态可为使用者希望检测到的表面型态中最小尺寸的标面型态。在一些实施例中,临界角度可为反正切(arctangent)(r/d),其中d为预期检测的表面型态的孔深,而r为预期检测的表面型态的孔半径。举例来说,参照图18,以表面型态为一缺陷为例,此缺陷包含孔深d及孔半径r为例。于此,孔半径r为此缺陷内的任一侧表面至正向法线14A之间的距离。孔半径r与孔深d之间的比值(r/d)即为此缺陷的纵深比(r/d)。此时,光入射角θ即大于或等于反正切(r/d)且小于或等于90度。
在一些实施例中,感光元件13的感光轴13A可平行于正向法线14A或介于正向法线14A与物件2位于检测位置14上的表面区块的切线之间,如图16、图17及图19所示。在一示范例中,感光元件13的感光轴13A平行于正向法线14A,如图16及图17所示。在另一示范例中,感光元件13的感光轴13A与正向法线14A之间具有一夹角(以下称为光反射角α),如图19所示。在一些实施例中,光反射角α不等于光入射角θ,借以降低炫光的产生,进而能取得更清淅的检测影像MB。
在一些实施例中,光源组件12提供的光线L1的光波长值可介于300nm至3000nm之间。举例来说,光线L1的光波长值可为300nm-600nm、600nm-900nm、900nm-1200nm、1200nm-1500nm、1500-1800nm、或1800nm-2100nm等光波段。在一示范例中,光源组件12提供的光线L1可为可见光,以使表面21上具有微米(μm)量级的表面型态在检测影像MB中成像。在一实施例中,光线L1的光波长值可位于380nm至780nm之间,其可依照检测物材质特性与表面光谱反射率的需求而定。在一些实施例中,可见光可例如白光、紫光、蓝光、绿光、黄光、橘光及红光其中的任意一者。举例来说,光线L1可为光波长值在380nm至780nm之间的白光、或为光波长值在450nm-475nm之间的蓝光、或为光波长值在495nm-570nm之间的绿光、或为光波长值在620nm-750nm之间的红光。
在另一实施例中,光源组件12提供的光线L1可为远红外光线(如其光波长值在800nm-3000nm的范围之间)。如此,检测光线可使物件2表面上具有次微米(如300nm)量级的表面型态在检测影像中成像。在一示范例中,利用光源组件12提供一远红外光线对具有表面附着物的物件2进行斜向打光时,远红外光能穿透附着物至物件2的表面,以致感光元件13能撷取到附着物下的物件2的表面影像。换言之,远红外光能穿透物件2的表面附着物,以致使感光元件13取得物件2的表面21的影像。在一些实施例中,远红外光线的光波长值大于2μm。在一些实施例中,远红外光线的光波长值大于附着物的厚度值。换言之,远红外光线的光波长值可依所需穿透的附着物的厚度进行选择。在一些实施例中,远红外光线的光波长值还可依待测物表面型态进行选择,以进行微米(μm)结构的影像过滤。例如若样品表面有1μm至3μm的细长微痕或沙孔,然而此类现象不影响产品品质,品管人员在意的是10μm以上的结构瑕疵,则所选定的远红外光线L1的波长可选择介于中间的波长(如4μm)以得到最佳的影像微结构过滤效果与低噪影像品质,又不会影响对于较大尺度缺陷的检测。较佳地,远红外光线的光波长值大于3.5μm。在一些实施例中,物件2较佳为金属材质。在一些实施例中,附着物可为油渍、污渍、上色漆等。
在一些实施例中,参照图20,针对物件表面型态的影像扫描***还可包含一偏极片17。偏极片17位于感光元件13的光轴13A上且配置于感光元件13与检测位置14之间。于此,感光元件13通过偏极片17对物件2的表面进行影像撷取。于此,通过偏极片130予以偏极化过滤,能有效避免强红外光线对感光元件13所造成的饱和眩光,进而改善检测影像品质以取得低扰动的穿透影像。
在一些实施例中,参照回图14及图15,驱动组件11包含承载元件111及连接承载元件111的驱动马达112。在检测程序中,承载元件111承载物件2,并且驱动马达112驱动承载元件111以带动物件2使一表面区块对准至检测位置14。在一实施例中,如图14、图16、图17、图19及图20所示,物件2可为圆柱状,如纺锤体。于此,物件2的表面21可为物件2本体的侧表面,即表面21为一圆柱表面,且表面21具有为2π的弧度。于此,前述的延伸方向D1可为以物件2本体的长轴为转轴的顺时针方向或逆时针方向。在一些实施例中,物件2的其一端相对另一端较为窄小的结构。在一示范例中,承载元件111可为相距有一既定距离的二滚筒,并且驱动马达112耦接二滚筒的转轴。于此,既定距离小于物件2的直径(本体的最小直径)。因此,在检测程序中,物件2可移动地设置在二滚筒之间。并且,于驱动马达112转动二滚筒时,物件2因物件2与二滚筒之间的表面摩擦力而被带动二滚筒,因而沿表面21的延伸方向D1转动,以使一表面区块对准至检测位置14。在另一范例中,承载元件111可为一转轴,并且驱动马达112耦接转轴的一端。此时,转轴的另一端具有嵌设件(如插孔)。此时,在检测程序中,物件2可可移除地嵌设于嵌设件中。并且,于驱动马达112转动转轴时,物件2由转轴带动而沿表面21的延伸方向D1转动,以致使一表面区块对准至检测位置14。在一些实施例中,以表面21划分为9个表面区块21A-21C为例,驱动马达112每次会驱动承载元件111转动40度,以致带动物件2沿表面21的延伸方向D1转动40度。
在一实施例中,如图21所示,物件2为板状。物件2的表面21可为具有曲率等于零或趋近于零的非曲面。于此,前述的延伸方向D1可为物件2的表面21的任一边长(如长边)的延伸方向。在一示范例中,承载元件111可为平面乘载板,并且驱动马达112耦接平面乘载板的一侧边。此时,在检测程序中,物件2可可移除地设置在平面乘载板上。驱动马达112驱使平面乘载板沿表面21的延伸方向D1移动而带动物件2位移,以使一表面区块对准至检测位置14。于此,驱动马达112每次驱使平面乘载板位移一既定距离,并通过反复驱动平面乘载板位移以使各表面区块21A-21C依序位移至检测位置14。于此,既定距离大致上等于各表面区块21A-21C沿延伸方向D1的宽度。
在一些实施例中,驱动马达112可为步进马达。
在一些实施例中,参照图14、图21及图22,影像扫描***还可包含光源调整组件16,且光源调整组件16耦接光源组件12。于此,光源调整组件16可用以调整光源组件12的位置,以改变光入射角θ。
在一些实施例中,光入射角θ的大小与表面缺陷在检测影像上呈现的亮度之间具有一负相关关系。若光入射角θ愈小,较浅的表面型态在检测影像MB中呈现较亮的影像,也就是影像扫描***或检测者在光入射角θ较小的情形中较不易辨识出较浅的表面型态。影像扫描***或检测者反而更容易地根据较暗的影像辨识出较深的表面型态。反之,若光入射角θ愈大,较浅与较深的表面缺陷在检测影像中均呈现较暗的影像,也就是影像扫描***或检测者在光入射角θ较大的情形中可辨识出所有表面型态。
在一示范例中,若欲检测较深的预设表面型态而不欲检测较浅的预设表面型态,光源调整组件16可根据前述的负相关关系计算得的光入射角调整光源组件12的位置而设定较小的光入射角θ。此时,光源调整组件16驱动光源组件12输出光线L1,使较浅的预设表面型态在检测影像中呈现较亮的影像而较深的预设表面型态在检测影像中呈现较暗的影像。若欲一并检测较浅及较深的预设表面型态,光源调整组件16可根据前述的负相关关系计算得的光入射角θ调整光源组件12的位置以设定较大(例如90度)的光入射角θ。此时,光源调整组件16驱动光源组件12输出检测光线L1,使较浅及较深的预设表面θ在检测影像中均呈现阴影。
在一些实施例中,光源调整组件16可依序调整光源组件12的位置,以使感光元件13分别在不同光入射角θ下撷取物件2的检测影像MB。
在一些实施例中,参照图23及图24,影像扫描***还可包含分光组件18。分光组件18位于感光元件13与检测位置14之间,也可以说分光组件18位于感光元件13与物品2之间。分光组件18具有分别对应多个光谱的多个滤光区F1。此时,光源组件12提供一多频谱光线以照射检测位置14。于此,多频谱光线具有多个光谱的子光线。因此通过切换分光组件18的滤光区F1(即使此些滤光区F1分别位移至感光元件13的感光轴13A上)使感光元件13通过各滤光区F1撷取位于检测位置14上的表面区块(21A~21C其中之一)的检测影像MB,以取得多个不同光谱的检测影像MB。也就是说,于多频谱光线从光源组件12照射到检测位置14上的物件2时,物件2表面会对多频谱光线进行漫射,而漫射的光线通过分光组件18的任一滤光区F1滤光为具有对应滤光区F1的光谱的子光线,而后射入感光元件13的感测区。此时,抵达感光元件130的子光线仅剩下具单一光谱(光波段的中间值)。当同一滤光区F1对准感光元件13的感光轴13A时,驱动组件11每次位移一表面区块至检测位置14,并且于每次位移后感光元件13会撷取一次当前位于检测位置14上的表面区块的检测影像MB,借以得到同一光谱下的所有表面区块21A~21C的检测影像MB。而后分光组件18再切换成另一滤光区F1对准感光元件13的感光轴13A,并再次依序位移表面区块并撷取表面区块的检测影像MB。以此类推,即可得到具有对应于各滤光区F1的光谱的检测影像MB。换言之,光源组件12可具有较广泛光波长值的光波段,然后,再通过在收光路径上设置允许通过特定光波段的分光组件18,以提供感光元件13预计光波长值的光线L1的反射光。
在一些实施例中,参照图23及图24,影像扫描***还可包含位移组件19。位移组件19耦接分光组件18。于影像扫描***的运作过程中,位移组件19依序移动分光组件18的滤光区F1其中之一至感光元件13的感光轴13A上。
在另一实施例中,分光组件可改设置在光入射端。在一些实施例中,参照图25及图26,影像扫描***还可包含分光组件18'。分光组件18'位于光源组件12与检测位置14之间,也可以说分光组件18'位于光源组件12与物品2之间。分光组件18'具有分别对应多个光谱的多个滤光区F1。此时,光源组件12提供一多频谱光线以通过分光组件18'照射检测位置14。于此,多频谱光线具有多个光谱的子光线。因此通过切换分光组件18'的滤光区F1(即使此些滤光区F1分别位移至光源组件12的光轴上)使光源组件12输出的多频谱光线通过分光组件18'的滤光区F1过滤为单一光谱的子光线,而后再照射到检测位置14上的物件2。此时,感光元件13即能撷取位于检测位置14上的表面区块(21A~21C其中之一)的特定光谱的检测影像MB。当同一滤光区F1对准光源组件12的光轴时,驱动组件11每次位移一个表面区块至检测位置14,并且于每次位移后感光元件13会撷取一次当前位于检测位置14上的表面区块的检测影像MB,借以得到同一光谱下的所有表面区块21A~21C的检测影像MB。而后分光组件18'再切换成另一滤光区F1对准光源组件12的光轴,并再次依序位移表面区块并撷取表面区块的检测影像MB。以此类推,即可得到具有对应于各滤光区F1的光谱的检测影像MB。换言之,光源组件12可具有较广泛光波长值的光波段,然后,再通过在入光路径上设置允许通过特定光波段的分光组件18,来提供预计光波长值的光线L1以照射至检测位置14。
在一些实施例中,参照图25及图26,影像扫描***还可包含位移组件19'。位移组件19'耦接分光组件18'。于影像扫描***的运作过程中,位移组件19'依序移动分光组件18'的滤光区F1其中之一至光源组件12的光轴上。
在一些实施例中,光源组件12提供的多频谱光线的光波段可位于300nm至2100nm之间,而分光组件18(18')的多个滤光区F1个别允许通过的光波段可分别为300nm至2100nm之间的任意不重叠区段。于此,分光组件18(18')的多个滤光区F1个别允许通过的光波段可为连续或不连续。举例来说,当多频谱光线的光波段可位于300nm至2100nm之间时,分光组件18(18')的多个滤光区F1个别允许通过的光波段可分别为300nm-600nm、600nm-900nm、900nm-1200nm、1200nm-1500nm、1500-1800nm、及1800nm-2100nm。在另一示范例中,当多频谱光线的光波段可位于380nm至750nm之间时,分光组件18(18')的多个滤光区F1个别允许通过的光波段可分别为380nm-450nm、495nm-570nm及620nm-750nm。
在一些实施例中,前述的各光谱可以单色光的波段或其中间值表示。
在一些实施例中,分光组件18(18')可为分光镜。
在一些实施例中,参照图27,影像扫描***可利用多个不同频谱的发光元件121~123以提供多个光谱的光线L1,并且各不同频谱的发光元件121~123依序启动,以使感光元件13可以取得多个不同光谱的检测影像。换言之,光源模组12包括多个发光元件121~123,并且此些发光元件121~123分别对应不重叠的多个光波段。在一些实施例中,此些光波段可连续或不连续。
举例而言,光源组件12包括红光LED、蓝光LED和绿光LED。于红光LED发光时,感光元件13可取得红光光谱的检测影像MB。于蓝光LED发光时,感光元件13可取得蓝光光谱的检测影像MB,如图28所示。于绿光LED发光时,感光元件13可取得绿光光谱的检测影像MB,如图29所示。于此,可发明在不同波段的光线下检测影像MB所呈现出来的细节并不相同。举例来说,蓝光光谱下检测影像MB中所呈现的凹槽较为明显,而绿色光谱下检测影像MB中所呈现的凸块较为明显。
在一实施例中,如图19所示,光源组件12可包含一发光元件。在另一实施例中,如图16、图17及图20所示,光源组件12可包含二发光元件121、122,且两发光元件121、122相对于正向法线14A对称地设置于物件2的相对两侧。二发光元件121、122以同光波段的光线分别照射检测位置14,表面21受对称的检测光线L1照射而产生对称的漫射光线。于此,感光元件13根据对称的漫射光线撷取当前位于检测位置14上的表面区块的检测影像MB,如此能提升检测影像MB的成像品质。
在一些实施例中,各发光元件(121、122)可由一个或多个发光二极体(LED)实现;在一些实施例中,各发光元件(121、122)可由一雷射光源实现。
在一实施例中,物件表面检测***可具有单一组光源组件12,如图14及图21所示。
在另一实施例中,参照图30,物件表面检测***可具有多组光源组件12a、12b、12c、12d。此些光源组件12a、12b、12c、12d分别位于检测位置14的不同方位,即位于承载物件2的承载元件111的不同方位。如此,物件表面型态检测***得以获得具有最佳的表面特征空间信息的物件影像。举例来说,假设物件表面检测***具有四个光源组件12a、12b、12c、12d。光源组件12a可设置在检测位置14(或承载元件111的前侧、光源组件12b可设置在检测位置14(或承载元件111)的后侧、光源组件12c可设置在检测位置14(或承载元件111)的左侧、以及光源组件12d可设置在检测位置14(或承载元件111)的右侧。
于此,在每个光源组件(12a、12b、12c、12d中任一者)的打光下,物件表面检测***会执行一次影像撷取程序,以取得物件2在特定方位打光下的所有表面区块21A~21C的检测影像MB。举例来说,假设物件表面检测***具有四个光源组件12a、12b、12c、12d。首先物件表面检测***以光源组件12a发射光线L1。在光源组件12a发射光线L1下,感光元件13会撷取到物件2的所有表面区块21A~21C的检测影像MB。然后,物件表面检测***会切换成以光源组件12b发射光线L1。在光源组件12b发射光线L1下,感光元件13也会撷取到物件2的所有表面区块21A~21C的检测影像MB。接着,物件表面检测***会切换成以光源组件12c发射光线L1。在光源组件12c发射光线L1下,感光元件13也会撷取到物件2的所有表面区块21A~21C的检测影像MB。然后,物件表面检测***会切换成以光源组件12d发射光线L1。在光源组件12d发射光线L1下,感光元件13也会撷取到物件2的所有表面区块21A~21C的检测影像MB。
在一些实施例中,参照图14、图15、图21、图22、图24、图26及图30,影像扫描***还可包括一处理器15。处理器15耦接各组件(如光源组件12、感光元件13、驱动马达112、光源调整组件16及/或位移组件19、19'等),并且用以控制各组件(如光源组件12、感光元件13、驱动马达112、光源调整组件16及/或位移组件19、19'等)的运作。
在一些实施例中,于感光元件13撷取到物件2的所有表面区块21A-21C的检测影像MB时,处理器15可进一步将撷取到的检测影像MB依撷取顺序拼接成一物件影像IM。
在一实施例中,感光元件13可为一线型感光元件。此时,感光元件13撷取到的检测影像MB无须进行裁接,即可由处理器15进行拼接。在一些实施例中,线型感光元件可由线(linear)型影像感测器来实现。其中,线型影像感测器可具有趋近于0度的视野(field ofvision;FOV)
在另一实施例中,感光元件13是一二维感光元件。此时,于感光元件13撷取到表面区块21A-21C的检测影像MB时,处理器15基于检测影像MB的短边撷取检测影像MB的中段区域MBc,如图31所示。然后,处理器15再将对应所有表面区块21A-21C的中段区域MBc拼接为物件影像IM。在一些实施例中,中段区域MBc可具有例如一个像素(pixel)的宽度。在一些实施例中,二维感光元件可由面型影像感测器来实现。其中,面型影像感测器可具有约为5度至30度的视野。
在一实施例中,参照图21,影像扫描***可设置单一个感光元件13,并且此感光元件13进行多个表面区块21A~21C的影像撷取以得到分别对应表面区块21A~21C的多个检测影像。在另一实施例中,参照图14,影像扫描***可设置多个感光元件13,并且此些感光元件13面向检测位置14且沿着物件2的长轴配置。此些感光元件13分别撷取物件2不同区段位于检测位置14的表面区块的检测影像。
在一示范例中,假设物件2为圆筒状且影像扫描***设置单一个感光元件13。感光元件13可对物件2的本体(即中段)进行多个表面区块21A~21C的影像撷取以得到分别对应表面区块21A~21C的多个检测影像MB,再由处理器15拼接表面区块21A-21C的检测影像MB为物件影像IM,如图13所示。
在另一示范例中,假设物件2为圆筒状且影像扫描***设置多个感光元件131~133,如图14所示。此些感光元件131~133分别截取物件2位于检测位置14的不同区段位置的表面的检测影像MB1~MB3,再由处理器15拼接所有检测影像MB1~MB3为物件影像IM,如图32所示。举例来说,假设感光元件131~133的数量可为三,并且处理器15根据三个感光元件131~133撷取得的检测影像MB1~MB3拼接出物件2的物件影像IM,如图27所示。其中,物件影像IM包含三感光元件13中的第一感光元件131撷取到的所有表面区块21A-21C的检测影像MB1所拼接成的子物件影像22(图32中的物件影像IM的上段)、三感光元件13中的第二感光元件132撷取到的所有表面区块21A-21C的检测影像MB2所拼接成的子物件影像23(图32中的物件影像IM的中段)、以及三感光元件13中的第三感光元件133撷取到的所有表面区块21A-21C的检测影像MB3所拼接成的子物件影像24(图32中的物件影像IM的下段)。
在一些实施例中,处理器15可具有前述的人工神经网络***30,以自动地根据拼接后的物件影像IM进行表面型态的分类,借以自动判定物件2的表面21的表面型态。换言之,在学习阶段,处理器15产生的物件影像IM可接续由前述的各子神经网络***33进行训练,以建立识别物件的表面型态的预测模型。在预测阶段,处理器15产生的物件影像IM可接续由前述的人工神经网络***30进行预测分类,以依序通过各子神经网络***33的预测模型执行物件影像IM的分类预测。
在一些实施例中,处理器15产生的物件影像IM能馈入至具有前述的人工神经网络***30的另一处理器,以由人工神经网络***30自动地根据拼接后的物件影像IM进行表面型态的分类,借以自动判定物件2的表面21的表面型态。换言之,在学习阶段,子神经网络***33会对馈入的物件影像IM自动进行训练,并串接成人工神经网络***30。而在预测阶段,人工神经网络***30会对馈入的物件影像IM自动进行分类预测。
举例来说,在一示范例中,当物件2为不合格物件时,物件2的表面会具有一种或多种人工神经网络***已学习并尝试撷取的表面型态,使至少一子神经网络***33能将其选别出来;反之,当物件2为合格物件时,物件2的表面则不具有任何已被记录用以激发任一子神经网络***33的选别动作的表面型态。在学习阶段,各子神经网络***33所接收到的物件影像IM,一部分为具有一种或多种表面型态的标记,而另一部分为无任何表面型态的标记。并且,子神经网络***33的输出即会根据此些表面型态预设好多个表面型态分类。在另一示范例中,当物件2为不合格物件时,物件2的表面会具有一种或多种人工神经网络已学习并尝试撷取的第一类表面型态;反之,当物件2为合格物件时,物件2的表面则具有另一种或多种人工神经网络已学习并尝试撷取的第二类表面型态,并且第二类表面型态可例如为标准表面型态。在学习阶段,子神经网络***33所接收到的物件影像IM,一部分为具有一种或多种第一类表面型态的类别标记,而另一部分为具有一种或多种第二类表面型态的类别标记。并且,子神经网络***33的输出即会根据此些表面型态预设好多个表面型态分类。
参照图33,当物件2的表面具有至少一表面型态时,在此物件的物件影像IM的对应影像位置也会呈现表面型态的局部影像P01~P09。
在一些实施例中,在学习阶段,各子神经网络***33接收到的物件影像IM为已知表面型态(即已标记其上存在的目标表面型态),并且各子神经网络***33输出的表面型态类别也是设定好的。换言之,用以进行深度学习的各物件影像IM均已标记有存在的物件型态。在一些实施例中,物件型态的类别标记可在物件影像IM上呈现标记图案(如图33所示),及/或在物件影像IM的影像信息中记录物件信息。
在一些实施例中,在学习阶段,各子神经网络***33利用已知表面型态的物件影像IM进行训练,以生成预测模型中的各神经元的判断项目及/或调整任意神经元的连接的权重,以致使各物件影像IM的预测结果(即输出的表面缺陷类别)符合其已知并已被标记学习的表面型态,因而建立识别物件的表面型态的预测模型。于预测阶段,各子神经网络***33能通过建立的预测模型对未知表面型态的物件影像IM进行分类预测。在一些实施例中,各子神经网络***33是依据表面型态类别对物件影像IM进行百分比预测,即判断各物件影像IM可能落入各表面型态类别的百分比。然后,各子神经网络***33在依序物件影像IM对于各表面型态类别的百分比判定其对应的物件2是否合格,并且依据合格与否将物件影像IM归类至正常群组或异常群组。
在一些实施例中,根据本发明的基于人工神经网络的物件表面型态的筛选方法可由一电脑程式产品实现,以致于当电脑(即期处理器)载入程式并执行后可完成根据本发明任一实施例的基于人工神经网络的物件表面型态的筛选方法。在一些实施例中,电脑程式产品可为一非暂时性电脑可读取记录媒体,而上述程式则储存在非暂时性电脑可读取记录媒体中供一电脑(即其处理器)载入。在一些实施例中,上述程式本身即可为电脑程式产品,并且通过有线或无线的方式传输至电脑中。
综上所述,根据本案的基于人工神经网络的物件表面型态的筛选方法的实施例,通过串接的不同训练条件的多个神经网络接续性地对物件影像进行表面型态识别,以精准且快速地分类物件影像,借以基于物件影像的分类结果有效率地筛选物件影像对应的物件,进而得到较低的过放(Miss)率。在一些实施例中,根据本案的基于人工神经网络的物件表面型态的筛选方法的实施例,能得到趋近于零的过放率。
Claims (16)
1.一种基于人工神经网络的物件表面型态的筛选方法,其特征在于,包括:
接收至少一物件影像;
以一第一预测模型进行各该物件影像的表面型态识别以分类为一第一正常群组与一第一异常群组的其中之一;
以一第二预测模型进行该第一正常群组的输出的表面型态识别以分类为一第二正常群组与一第二异常群组的其中之一。
2.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,还包括:以不同训练条件执行深度学习以分别建立该第一预测模型和该第二预测模型。
3.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,还包括:
转换该至少一物件影像为至少一矩阵;
其中以该第一预测模型进行各该物件影像的该表面型态识别的步骤包括以该至少一矩阵执行该第一预测模型。
4.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,还包括:
正规化该至少一物件影像;
转换正规化后的该至少一物件影像为至少一矩阵;
其中以该第一预测模型进行各该物件影像的该表面型态识别的步骤包括以该至少一矩阵执行该第一预测模型。
5.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,还包括:
划分各该物件影像为多个影像区域;
指定各该物件影像的该多个影像区域中的至少一感兴趣区域;
其中以该第一预测模型进行各该物件影像的该表面型态识别的步骤的步骤包括:以各该物件影像的该至少一感兴趣区域执行该第一预测模型。
6.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该至少一物件影像包括基于不同打光方位的光线拍摄一物件而得的多个物件影像,以及该筛选方法还包括:
叠合该物件的该多个物件影像为一初始影像;
其中以该第一预测模型进行各该物件影像的该表面型态识别的步骤包括:以该初始影像执行该第一预测模型。
7.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一正常群组的输出包括该至少一物件影像,以及该筛选方法还包括:
转换该第一正常群组中的各该物件影像为矩阵;
其中以该第二预测模型进行该第一正常群组的该输出的该表面型态识别的步骤包括以转换后的该矩阵执行该第二预测模型。
8.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一正常群组的输出包括该至少一物件影像,以及该筛选方法还包括:
正规化该第一正常群组中的各该物件影像;
转换正规化后的各该物件影像为矩阵;
其中以该第二预测模型进行该第一正常群组中的该输出的该表面型态识别的步骤包括以转换后的该矩阵执行该第二预测模型。
9.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一正常群组的输出包括该至少一物件影像,以及该筛选方法还包括:
划分该第一正常群组中的各该物件影像为多个影像区域;
指定各该物件影像的该多个影像区域中的至少一感兴趣区域;
其中以该第二预测模型进行该第一正常群组中的该输出的该表面型态识别的步骤包括:以各该物件影像的该至少一感兴趣区域执行该第二预测模型。
10.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一正常群组的输出包括该至少一物件影像中的基于不同打光方位的光线拍摄一物件而得的多个物件影像,以及该筛选方法还包括:
叠合该物件的该多个物件影像为一初始影像;
其中以该第二预测模型进行该第一正常群组中的该输出的该表面型态识别的步骤包括:以该初始影像执行该第二预测模型。
11.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一预测模型以一卷积神经网络演算法实现。
12.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第二预测模型以一卷积神经网络演算法实现。
13.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,各该物件影像是由多个检测影像拼接而成。
14.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一预测模型与该第二预测模型具有不同判定缺陷率。
15.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一预测模型与该第二预测模型具有不同数量的神经网络层。
16.如权利要求1所述的基于人工神经网络的物件表面型态的筛选方法,其特征在于,该第一预测模型与该第二预测模型具有不同神经元配置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910987177.8A CN112683924A (zh) | 2019-10-17 | 2019-10-17 | 基于人工神经网络的物件表面型态的筛选方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910987177.8A CN112683924A (zh) | 2019-10-17 | 2019-10-17 | 基于人工神经网络的物件表面型态的筛选方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112683924A true CN112683924A (zh) | 2021-04-20 |
Family
ID=75444421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910987177.8A Pending CN112683924A (zh) | 2019-10-17 | 2019-10-17 | 基于人工神经网络的物件表面型态的筛选方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112683924A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023096908A1 (en) * | 2021-11-23 | 2023-06-01 | Trustees Of Tufts College | Detection and identification of defects using artificial intelligence analysis of multi-dimensional information data |
WO2023195107A1 (ja) * | 2022-04-06 | 2023-10-12 | 日本電気株式会社 | 対象物評価装置、対象物評価方法、及び記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160139977A1 (en) * | 2013-07-01 | 2016-05-19 | Agent Video Intelligence Ltd. | System and method for abnormality detection |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
CN110163858A (zh) * | 2019-05-27 | 2019-08-23 | 成都数之联科技有限公司 | 一种铝型材表面缺陷检测与分类方法及*** |
-
2019
- 2019-10-17 CN CN201910987177.8A patent/CN112683924A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160139977A1 (en) * | 2013-07-01 | 2016-05-19 | Agent Video Intelligence Ltd. | System and method for abnormality detection |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
CN110163858A (zh) * | 2019-05-27 | 2019-08-23 | 成都数之联科技有限公司 | 一种铝型材表面缺陷检测与分类方法及*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023096908A1 (en) * | 2021-11-23 | 2023-06-01 | Trustees Of Tufts College | Detection and identification of defects using artificial intelligence analysis of multi-dimensional information data |
WO2023195107A1 (ja) * | 2022-04-06 | 2023-10-12 | 日本電気株式会社 | 対象物評価装置、対象物評価方法、及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11650164B2 (en) | Artificial neural network-based method for selecting surface type of object | |
US20170191946A1 (en) | Apparatus for and method of inspecting surface topography of a moving object | |
JP4753181B2 (ja) | Ovd検査方法及び検査装置 | |
US8426223B2 (en) | Wafer edge inspection | |
CN104508423A (zh) | 用于被检查对象的表面的检查的方法和装置 | |
KR20100015628A (ko) | 목재의 검사 방법, 장치 및 프로그램 | |
CN112683924A (zh) | 基于人工神经网络的物件表面型态的筛选方法 | |
CN112683923A (zh) | 基于人工神经网络的物件表面型态的筛选方法 | |
US20170045448A1 (en) | Apparatus of Detecting Transmittance of Trench on Infrared-Transmittable Material and Method Thereof | |
EP3465169B1 (en) | An image capturing system and a method for determining the position of an embossed structure on a sheet element | |
US11756186B2 (en) | Workpiece inspection and defect detection system utilizing color channels | |
Radovan et al. | An approach for automated inspection of wood boards | |
CN112683789A (zh) | 物件表面型态检测***及其基于人工神经网络的检测方法 | |
CN112686831B (zh) | 基于人工神经网络的物件表面型态的检测方法 | |
CN112683786B (zh) | 物件对位方法 | |
KR20230139166A (ko) | 목재 제품의 불량 검사 방법 | |
CN112683787A (zh) | 物件表面检测***及其基于人工神经网络的检测方法 | |
KR20220102700A (ko) | 적외선 이미지기반 딥러닝을 이용한 실시간 공구 마모 측정 시스템 | |
JP2023529512A (ja) | トレーディングカードの特性を識別する方法及び装置 | |
WO2014005085A1 (en) | Systems for capturing images of a document | |
US8315464B2 (en) | Method of pore detection | |
CN112683921A (zh) | 针对金属表面的影像扫描方法及其影像扫描*** | |
CN112683925A (zh) | 物件表面可能缺陷的影像检测扫描方法及其*** | |
CN112683790A (zh) | 物件表面可能缺陷的影像检测扫描方法及其*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |