TWI808019B - 基於人工神經網路的物件表面型態的篩選方法與系統 - Google Patents

Abstract

一種基於人工神經網路的物件表面型態的篩選方法包含：利用第一檢測模組識別物件影像以分類物件影像至良品組與第一不良品組中之一並輸出分類至第一不良品組的物件影像的標記影像，其中標記影像為具有至少一瑕疵標記的物件影像；於物件影像分類至第一不良品組時，對應至少一瑕疵標記自標記影像中擷取出至少一準瑕疵影像；及利用第二檢測模組根據至少一準瑕疵影像分類物件影像至模糊組與第二不良品組中之一，其中第二檢測模組是於至少一準瑕疵影像皆檢測出無瑕疵時將物件影像分類至模糊組。

Description

基於人工神經網路的物件表面型態的篩選方法與系統

本發明是關於物件之表面型態的篩選技術，特別是一種基於人工神經網路的物件表面型態的篩選方法。

各種安全性保護措施是藉由許多小型結構物件所組成，例如安全帶。若是這些小型結構物件強度不足則可以令安全性保護措施的保護作用產生疑慮。

這些結構物件在製造過程中可能因為各種原因，例如碰撞、製程誤差、模具缺陷等，而導致其表面產生微小的瑕疵，例如變形、撞傷、砂孔、斷柱、沖崩、拉模、異物、毛邊等。這些微小的瑕疵並不容易被查覺。傳統的瑕疵檢測方法中之一是人工以肉眼觀察或以雙手觸摸待檢測之結構物件，以判定結構物件是否具有瑕疵。然而，以人工方式檢測結構物件是否具有瑕疵之效率較差，且極容易發生誤判的情形，如此將造成結構物件之良率無法控管。

另有一瑕疵檢測方法是透過人工神經網路來進行檢測。然而，傳統之人工神經網路的瑕疵檢測結果僅簡易分類成良品與不良品，仍有誤判的情形。此外，傳統之人工神經網路的瑕疵檢測僅考慮單一參數，精確度較低。

在一實施例中，本發明提供一種基於人工神經網路的物件表面型態的篩選方法。基於人工神經網路的物件表面型態的篩選方法包含：利用第一檢測模組識別物件影像以分類物件影像至良品組與第一不良品的其中之一者，並輸出分類至第一不良品組之物件影像的標記影像，其中標記影像為具有至少一瑕疵標記的物件影像；於物件影像分類至第一不良品組中時，對應至少一瑕疵標記自標記影像中擷取出至少一準瑕疵影像；以及利用第二檢測模組根據至少一準瑕疵影像分類物件影像至模糊組與第二不良品組的其中之一者，其中第二檢測模組是於至少一準瑕疵影像皆檢測出無瑕疵時將物件影像分類至模糊組。

在一實施例中，本發明另提供一種基於人工神經網路的物件表面型態的檢測系統，包括：第一檢測模組與第二檢測模組。第一檢測模組識別一物件影像以分類物件影像至良品組與第一不良品組的其中之一者，並輸出分類至第一不良品組的物件影像的標記影像，並自標記影像中擷取出至少一準瑕疵影像。第二檢測模組根據至少一準瑕疵影像分類物件影像至模糊組與第二不良品組的其中之一者，其中於至少一準瑕疵影像皆檢測出無瑕疵時將物件影像分類至模糊組。

綜上所述，任一實施例之基於人工神經網路之物件表面型態的篩選方法與檢測系統，其先藉由第一檢測模組依據較嚴苛且容易一致性的瑕疵標準來對物件影像進行分類，以降低因標定人員的漏標或標定標準不一所產生的錯誤分類。之後，再藉由第二檢測模組根據分類至第一不良品組中的物件影像之至少一準瑕疵影像來進行分類，以將過殺的物件救回來。如此一來，可大幅簡化物件的標定工程，減少因標定作業造成的模型缺陷，使得檢測精確度可更加穩定。此外，因多階段式分類，每一階段模型（即第一檢測模組與第二檢測模組）負責的任務不同，由嚴到寬，視野由廣到細微，使得各階段模型的分工更專一而更容易收斂。再者，可解決標定問題、樣品複雜、瑕疵類別不均勻等問題，使得採用此篩選方法的檢測設備可提早上線。另，因先嚴殺再救回，可讓使用採用此篩選方法之檢測設備的業者可不必擔心流出不良品，而提高對檢測設備的信賴度。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

使本發明之實施例之上述目的、特徵和優點能更明顯易懂，下文配合所附圖式，作詳細說明如下。

圖1為檢測系統之一實施例的方塊示意圖，且圖2為物件表面型態之篩選方法之一實施例的流程示意圖。請參閱圖1與圖2，檢測系統100可執行任一實施例之基於人工神經網路110、120的物件表面型態的篩選方法。在一些實施態樣中，檢測系統100可實施在一處理器上。此外，所述處理器可應用於一檢測設備中。

在一實施例中，檢測系統100包含二人工神經網路（以下分別稱之為第一人工神經網路110與第二人工神經網路120），且第二人工神經網路120串接於第一人工神經網路110的輸出。換言之，第一人工神經網路110為檢測系統100中的第一級，且第二人工神經網路120為檢測系統100中的第二級。其中，第一人工神經網路110具有一第一檢測模組111，且第二人工神經網路120具有一第二檢測模組121。

在一些實施例中，於學習階段中，第一人工神經網路110（此時為尚未訓練好的人工神經網路）可採用不同訓練條件對相同或不同的多個物件影像I11-I1N執行深度學習，以建立出用以識別物件之表面型態並據以分類的第一檢測模組111（此時為已訓練好的人工神經網路）。其中，N為大於1的正整數。

在一些實施例中，複數物件影像I11-I1N可為同一種物件的相同相對位置之表面的影像。換言之，複數物件影像I11-I1N分別是第一個物件到第N個物件的表面影像，並且第一個物件到第N個物件為同一種物品。於此，第一人工神經網路110可以固定的取像座標參數來接收複數物件影像I11-I1N。其中，此些物件影像I11-I1N可以是透過擷取多個物件的表面之影像而得到。當物件的表面具有任何表面型態時，在各物件的物件影像I11-I1N中的對應影像位置亦有此些表面型態的成像。在一些實施態樣中，表面型態可例如為槽孔、裂縫、凸塊、砂孔、氣孔、撞痕、刮痕、邊緣、紋理等表面結構。其中，各表面結構為三維細微結構，其尺寸為次微米到微米。換言之，三維細微結構的最長邊或最長直徑是介於次微米到微米之間。其中，次微米是指小於1微米，例如0.1微米到1微米。例如，三維細微結構可以是300奈米到6微米的微結構。在一些實施態樣中，物件可為一種安全帶軸承，且其物件影像即為安全帶軸承的表面影像（如圖7所示的物件影像I11）。

在一些實施例中，於學習階段中，第二人工神經網路120（此時為尚未訓練好的人工神經網路）可採用不同訓練條件對相同或不同的多個準瑕疵影像執行深度學習，以建立出用以識別物件是否具有瑕疵並據以分類的第二檢測模組121（此時為已練好的人工神經網路）。於此，各準瑕疵影像是一物件影像，例如物件影像I11中的局部影像（如圖10所示的準瑕疵影像I510-I519），且各準瑕疵影像可能包含或不包含瑕疵圖塊。其中，瑕疵圖塊是對應於物件之表面上的瑕疵成像而來的。在一些實施態樣中，瑕疵可包含但不限於變形、撞傷、砂孔、斷柱、沖崩、拉模、異物、毛邊等或其他人工定義成瑕疵的任何表面型態。

在一些實施態樣中，所述的訓練條件可例如為不同數量的神經網路層、不同神經元配置、不同輸入影像的預處理、不同神經網路演算法或其任意組合。其中，影像的預處理可為特徵強化、影像裁切、資料格式轉換、影像疊合或其任意組合。此外，第一人工神經網路110的第一檢測模組111與第二人工神經網路120的第二檢測模組121可分別利用卷積神經網路（CNN）演算法來實現，但本案並非以此為限。

在一些實施例中，檢測系統100的第一人工神經網路110會接收至少一物件影像I11-I1N（步驟S10）。在一些實施態樣中，第一人工神經網路110是同時或依序接收物件影像I11-I1N。

在一些實施例中，各物件的物件影像I11-I1N可為由一物件的複數視角影像（即一組視角影像V1-VA）拼接而成。因此，在步驟S10之一實施例中，可利用例如一影像處理模組112來分別接收複數組視角影像V1-VA（步驟S11），並且影像處理模組112在將複數組視角影像V1-VA拼接成複數物件影像I11-I1N（步驟S12）之後，輸出給第一人工神經網路110。其中，A為大於1的正整數。

在一些實施態樣中，各組視角影像V1-VA是依據擷取順序依序輸入至影像處理模組112，以致影像處理模組112可據此依序拼接成各物件影像I11-I1N。各視角影像V1-VA的尺寸可大致相同，以利於拼接作業。舉例而言，各視角影像V1-VA之尺寸（長x寬）分別為800（像素）800（像素），且各組視角影像V1-VA共有7 x 8張，以分別組成尺寸為5600（像素）x6400（像素）的各物件影像I11-I1N。此外，影像處理模組112可利用但不限於處理器來實現。在一些實施態樣中，影像處理模組112可整合於第一人工神經網路110中。換言之，第一人工神經網路110可包含影像處理模組112和第一檢測模組111，且第一檢測模組111串接於影像處理模組112之輸出，如圖1所示。

於第一檢測模組111接收到物件影像I11-I1N（步驟S10）後，第一檢測模組111可識別各物件影像I11-I1N以分類物件影像I11-I1N至良品組G1或不良品組G2（以下稱第一不良品組G2）中，並且輸出被分類至第一不良品組G2之物件影像I11、I17的標記影像I31、I37（步驟S20）。舉例而言，第一人工神經網路110的第一檢測模組111將物件影像I11、I17分類至第一不良品組G2、將物件影像I12-I16、I18-I1N分類至良品組G1，並輸出物件影像I11、I17的標記影像I31、I37。在一些實施例中，標記影像I31、I37為具有瑕疵標記M1的物件影像I11、I17。舉例來說，標記影像I31是影像中10個瑕疵圖像分別由10個框線（即瑕疵標記M1）框選出來的物件影像I11，如圖9所示。

圖3為步驟S20之一實施例的流程示意圖。請參閱圖1至圖3，在步驟S20之一實施例中，第一檢測模組111可分別對各物件影像I11-I1N進行一瑕疵預測以分別生成相應的瑕疵熱點圖（步驟S21）。例如，第一檢測模組111對物件影像I11進行瑕疵預測後而形成此物件影像I11的瑕疵熱點圖I6，如圖8所示。接續，第一檢測模組111可分別根據一瑕疵標準對各瑕疵熱點圖進行瑕疵篩選（步驟S22）。其中，請參閱圖1至圖3，於瑕疵篩選中，若判定達到瑕疵標準時，第一檢測模組111會分類此物件影像，例如將物件影像I11、I17分類至第一不良品組G2中（步驟S23）。反之，於瑕疵篩選中，若判定未達到瑕疵標準時，第一檢測模組111會分類此物件影像，例如將物件影像I12-I16、I18-I1N分類至良品組G1中（步驟S24）。於分類（可稱為第一階段的分類）完成後，第一檢測模組111可根據被分類至第一不良品組G2中的物件影像I11、I17與其對應的瑕疵熱點圖來產生標記影像I31、I37（步驟S25）。

在一些實施例中，請參閱圖7及圖8，瑕疵熱點圖I6是一種表示物件影像I11中瑕疵的機率分布圖。瑕疵熱點圖I6包含複數像素，且每一像素具有一瑕疵分數。其中，瑕疵分數用以表示物件影像I11中此處為瑕疵的可能性，其數值可以介於0到1之間。瑕疵分數越高表示此處（像素的座標位置）為瑕疵的可能性越高。於此，請參閱圖1、圖7及圖8，瑕疵分數是由機器根據學習階段中的成果，例如由第一檢測模組111根據學習階段中的成果來分別針對各物件影像I11-I1N進行各物件影像I11-I1N中可能屬於瑕疵圖塊的像素的預測，以依據各物件影像I11-I1N中各像素屬於瑕疵圖塊的可能性給定相應的瑕疵分數，並且生成各像素根據其對應的瑕疵分數來以熱點的形式進行顯示的相應的瑕疵熱點圖。換言之，瑕疵熱點圖I6與物件影像I11具有相同的影像尺寸。舉例來說，瑕疵熱點圖I6與物件影像I11的尺寸（長x寬）均為5600（像素）x6400（像素）。並且，在瑕疵熱點圖I6中，越亮的像素表示其瑕疵分數越高且物件影像I11在同樣的對應位置處出現瑕疵（圖塊）的可能性亦越高，如圖8所示。在一些實施態樣中，各物件影像I11-I1N的瑕疵熱點圖的尺寸（長x寬）可為700（像素）x800（像素），即由560,000個數字陣列組成。

在一些實施例中，瑕疵標準可包含但不限於信心度閥值、面積閥值與數量閥值。圖4為步驟S22之一實施例的流程示意圖。請參閱圖1至圖4，在步驟S22之一實施例中，於各物件影像I11-I1N之瑕疵熱點圖的瑕疵篩選中，第一檢測模組111可先根據信心度閥值自瑕疵熱點圖的複數像素中篩選出至少一瑕疵像素（步驟S221）。例如，第一檢測模組111可將各像素的瑕疵分數與信心度閥值相比，並將瑕疵分數大於或等於信心度閥值的像素篩選出來。其中，相鄰的瑕疵像素可形成一瑕疵面積。在一些實施態樣中，第一檢測模組111可將瑕疵分數小於信心度閥值的各像素之值設定為0，並將瑕疵分數大於或等於信心度閥值的各像素之值設定為1，以藉此篩選出瑕疵像素（即值設定成1的像素）。

篩選完後，第一檢測模組111會統計出瑕疵面積大於面積閥值的數量（以下，稱之為瑕疵數量）（步驟S222）。舉例而言，第一檢測模組111可先分別計算出各瑕疵面積之面積值，再將各瑕疵面積之面積值與面積閥值相比，以得到瑕疵數量。接續，第一檢測模組111可將瑕疵數量和數量閥值相比，以判斷瑕疵數量是否大於數量閥值（步驟S223）。其中，於瑕疵數量大於或等於數量閥值時，第一檢測模組111會判定達到瑕疵標準（步驟S224），並接續執行步驟S23，以將對應的物件影像，例如物件影像I11、I17分類至第一不良品組G2。反之，於瑕疵數量小於數量閥值時，第一檢測模組111會判定未達到瑕疵標準（步驟S225），並接續執行步驟S24，以將對應的物件影像，例如物件影像I12-I16、I18-I1N分類至良品組G1。

在一些實施態樣中，瑕疵標準的信心度閥值、面積閥值與數量閥值可以是使用多個測試樣品（例如，100個）進行測試後所計算出準確度最高的組合。例如，信心度閥值可有[0.5, 0.6, 0.7, 0.8, 0.9]、面積閥值可有[0, 3, 5, 7, 9]，且數量閥值可有[0, 1, 2, 3]，而共有5*5*4種組合，並可透過測試後統計出一組準確度最高的數值組合，但本案並非以此為限。

圖5為步驟S25之一實施例的流程示意圖。請參閱圖1至圖5、圖7及圖8，在步驟S25之一實施例中，第一檢測模組111可將物件影像I11和對應的瑕疵熱點圖I6疊合成一疊合影像（步驟S251）。於此，疊合影像包含至少一候選瑕疵圖塊。其中，各候選瑕疵圖塊是指疊合影像中之瑕疵熱點圖I6上相鄰的瑕疵像素（會形成一瑕疵）於疊合影像中之物件影像I11上所對應到的圖塊部分。在得到疊合影像後，第一檢測模組111會根據疊合影像中交集的各候選瑕疵圖塊進行計算，並根據計算結果，例如，以框線框出各候選瑕疵圖塊，以得到帶有至少一瑕疵標記M1的標記影像I31（步驟S252）。在一些實施態樣中，可依據各候選瑕疵圖塊的形狀與範圍大小相應設置框線。但本案並非以此為限，在另一些實施例中，所述框線可具有固定形狀，例如矩形、圓形、橢圓形等並至少包圍了候選瑕疵圖塊。

在一些實施例中，候選瑕疵圖塊的數量可相同於瑕疵熱點圖I6上的瑕疵之數量。但本案並非以此為限，在另一些實施例中，候選瑕疵圖塊的數量可少於瑕疵熱點圖I6上的瑕疵之數量。舉例而言，第一檢測模組111可先從疊合影像中之瑕疵熱點圖I6上的所有瑕疵中找出一預定數量，並以框線分別框出此預定數量的瑕疵來成為所述的候選瑕疵圖塊。具體而言，第一檢測模組111可先從疊合影像中之瑕疵熱點圖I6上的所有瑕疵中找出10個最有可能為瑕疵的部分，並以框線只框出此10個最有可能為瑕疵的部分來成為所述的候選瑕疵圖塊。於此，第一檢測模組111可先計算各瑕疵的瑕疵總分，即此瑕疵的所有像素的瑕疵分數加總，再將瑕疵總分由大到小排序，並於排序後取瑕疵總分前10名的瑕疵的即為10個最有可能為瑕疵。

於此，被分類至第一不良品組G2中的物件影像I11、I17會由第二人工神經網路120進行再次預測。於再次預測之前，第二人工神經網路120會先利用各物件影像I11、I17的標記影像I31、I37對各物件影像I11、I17進行降維（dimension reduction），然後再以降維後的影像進行再次預測。如此一來，可大幅減少後續輸入至第二檢測模組121進行再次預測的資料數量。此外，還可使得第二人工神經網路120在學習階段中的學習更專注。

參閱回圖1、圖2、圖7及圖9，於步驟20後，對於被分類至第一不良品組G2中的物件影像I11、I17，影像處理模組122會根據各物件影像I11、I17之標記影像I31、I37中的至少一瑕疵標記M1從標記影像I31、I37中擷取出各物件影像I11、I17的至少一準瑕疵影像I51s、I57s（步驟S30）。

圖6為步驟S30之一實施例的流程示意圖。請參閱圖1至圖6、圖9及圖10，在步驟S30之一實施例中，對於第一不良品組G2的物件影像I11、I17（以下以物件影像I11為例進行說明），影像處理模組122可先根據標記影像I31中的至少一瑕疵標記M1從標記影像I31中擷取出各瑕疵標記M1對應的局部影像（步驟S31）。於此，各局部影像至少涵蓋候選瑕疵圖塊中之一。換言之，局部影像的尺寸會隨著候選瑕疵圖塊的尺寸（即在物件影像I11中各瑕疵的大小）而有所不同。因此，於取得各瑕疵標記M1對應的局部影像後，影像處理模組122可更調整各局部影像之尺寸成具有一預定尺寸的準瑕疵影像I510-I519（步驟S32）。換言之，標記影像I31中瑕疵標記M1的數量會與擷取出的準瑕疵影像I510-I519的數量相同。在一些實施態樣中，各準瑕疵影像I510-I519的預定尺寸（長x寬）可為128（像素）x128（像素）。在另一些實施態樣中，各準瑕疵影像I510-I519的預定尺寸（長x寬）可為800（像素）x800（像素）。需注意的是，各準瑕疵影像I510-I519的預定尺寸可視設計而定。

在一些實施態樣中，影像處理模組122可利用但不限於處理器來實現。此外，在一些實施態樣中，影像處理模組122可整合於第二人工神經網路120中。換言之，第二人工神經網路120可包含影像處理模組122和第二檢測模組121。其中，第二檢測模組121串接於影像處理模組122之輸出，如圖1所示。在另一些實施態樣中，影像處理模組122亦可串接在第一人工神經網路110與第二人工神經網路120之間（圖未示）。

參照回圖1及圖2，對於第一不良品組G2的各物件影像I11、I17，於得到物件影像I11、I17的至少一準瑕疵影像I51s、I57s （即物件影像I11、I17完成降維）（步驟S30）後，檢測系統100可利用第二人工神經網路120的第二檢測模組121根據準瑕疵影像I51s、I57s來分類對應的物件影像I11、I17至模糊組G3或不良品組G4（以下稱第二不良品組G4）（步驟S40）。於此，第二檢測模組121是於物件影像I17所屬的所有準瑕疵影像I57s皆檢測出無瑕疵時將對應的物件影像I17分類至模糊組G3（步驟S50）。相反地，若物件影像I11所屬的任一準瑕疵影像I51s檢測出有瑕疵時，第二檢測模組121則分類此對應的物件影像I11至第二不良品組G4（步驟S60）。

在步驟S40之一實施例中，對於第一不良品組G2的各物件影像I11、I17，第二檢測模組121可個別判斷各準瑕疵影像I51s、157s的信心度（可稱之為瑕疵信心度）是否小於一預定閥值，以根據判斷結果來選擇接續執行步驟S50或步驟S60（可稱為第二階段的分類）。其中，於物件影像I17所屬的所有準瑕疵影像I57s的信心度皆小於預定閥值時，第二檢測模組121會接續執行步驟S50，即分類物件影像I17至模糊組G3。於物件影像I11所屬的任一準瑕疵影像I51s（例如，圖10所示的準瑕疵影像I510-I519中的任一者）的信心度大於或等於預定閥值時，第二檢測模組121則接續執行步驟S60，即分類物件影像I11至第二不良品組G4。

在一些實施態樣中，各準瑕疵影像I51s、157s的信心度是由第二檢測模組121預測出來的，其數值可介於0到1之間。而所述的預定閥值則可透過在學習階段中的統計而得到，例如但不限於0.5。

在步驟S40之一些實施態樣中，第二檢測模組121可先根據各物件影像I11、I17之準瑕疵影像I51s、157s的判斷結果來輸出各物件影像I11、I17的一分數值，以作為其分類的依據，之後再根據各物件影像I11、I17的分數值將其分類至模糊組G3或第二不良品組G4。舉例而言，假設分類至第一不良品組G2中的有物件影像I11、I17。當物件影像I17的判斷結果為各準瑕疵影像I57s的信心度皆小於預定閥值且物件影像I11的判斷結果為任一準瑕疵影像I51s的信心度大於或等於預定閥值時，第二檢測模組121可輸出物件影像I17的分數值為1且物件影像I11的分數值為0，之後第二檢測模組121再分別根據物件影像I11、I17的分數值進行分類。於此，第二檢測模組121可因物件影像I17的分數值為1而將物件影像I17分類至模糊組G3，並且因物件影像I11的分數值為0而將物件影像I11分類至第二不良品組G4。

圖11為圖1之第二人工神經網路之一實施例的方塊示意圖。請參閱圖1及圖11，在一些實施例中，第二檢測模組121可包含分類單元1211以及複數判斷單元121A-121X。分類單元1211之輸出可包含一無瑕疵類別C1以及複數瑕疵類別C21-C2Y。於此，判斷單元121A-121X的數量相等於瑕疵類別C21-C2Y的數量，且各判斷單元121A-121X可對應於複數瑕疵類別C21-C2Y中之一而串接於分類單元1211之一輸出。在一些實施態樣中，複數瑕疵類別C21-C2Y可包含但不限於變形、撞傷、砂孔、斷柱、沖崩、拉模、異物、毛邊等。

圖12為物件表面型態之篩選方法之一實施例的流程示意圖。請參閱圖1、圖11與圖12，在步驟S40之一實施例中，第二檢測模組121可先利用分類單元1211分類各物件影像I11、I17的各準瑕疵影像I51s、I57s（例如，物件影像I11的各準瑕疵影像I510-I1519，如圖10所示）至無瑕疵類別C1或複數瑕疵類別C21-C2Y中之一（步驟S41）（可稱為第二階段的分類）。之後，第二檢測模組121再利用分類單元1211分別對各瑕疵類別C21-C2Y進行特徵向量的擷取，以得到複數瑕疵類別C21-C2Y的複數特徵向量（步驟S42）。

在步驟S41之一些實施態樣中，分類單元1211在分類完各物件影像I11、I17的各準瑕疵影像I51s、157s後，可更產生各物件影像I11、I17屬於各項類別的分數向量（即無瑕疵類別C1的分數向量以及各瑕疵類別C21-C2Y的分數向量）。其中，所述分數向量用以表示此類別的信心度。此外，在步驟S42之一些實施態樣中，所述的特徵向量為一維特徵向量，並可包含但不限於瑕疵屬性分數（例如，步驟S41的分數向量）、瑕疵尺寸（例如，從步驟S22中得到）、重複數量（例如，從步驟S41中得到）、類別等。

在得到複數特徵向量後，第二檢測模組121可利用各判斷單元121A-121X分別判斷各特徵向量是否小於對應之瑕疵類別C21-C2Y的屬性閥值（步驟S43）（可稱為第三階段的分類）。例如，屬性閥值可為一種信心度閥值，例如0.5，且判斷單元121A可判斷瑕疵類別C21之特徵向量中的瑕疵屬性分數是否小於瑕疵類別C21的屬性閥值。

於所有判斷單元121A-121X皆判定物件影像I17的所有瑕疵類別C21-C2Y的特徵向量小於瑕疵類別C21-C2Y對應的屬性閥值時，第二檢測模組121可接續執行步驟S50而將此物件影像I17分類至模糊組G3。相反地，於任一判斷單元121A-121X判定物件影像I11的瑕疵類別C21-C2Y的特徵向量大於或等於此瑕疵類別C21-C2Y對應的屬性閥值（即物件影像I11的任一瑕疵類別C21-C2Y的特徵向量大於或等於對應的屬性閥值）時，第二檢測模組121則接續執行步驟S60而將此物件影像I11分類至第二不良品組G4。

在一些實施態樣中，由於各判斷單元121A-121X的輸入已將特徵維度壓縮萃取到一定程度，故各判斷單元121A-121X可分別利用例如但不限於傳統的機器學習演算法來實現。此外，各判斷單元121A-121X可分別針對對應之瑕疵類別C21-C2Y來採用特定的演算法。再者，由於各判斷單元121A-121X只需用以判斷單一瑕疵類別，故每一個判斷單元121A-121X之演算法需要學習的特徵空間可縮小。

在一些實施例中，對應於被分類至良品組G1之物件影像I12-I16、I18-I1N的物件即為良品，對應於被分類至第二不良品組G4之物件影像I11的物件即為不良品，而對應於被分類至模糊組G3之物件影像I17的物件則需進一步由人工進行鑑定，以鑑別其為良品或不良品。在一些實施態樣中，被分類至模糊組G3之物件影像I17可於經由人工鑑別後，再依據鑑別結果將此物件影像I17作為良品或不良品的訓練資料給檢測系統100，以增進檢測系統100的精確度。具體而言，當物件影像I17被鑑別為良品時，於學習階段中，此物件影像I17會作為良品的訓練資料輸入檢測系統100，使第一人工神經網路110對此物件影像I17執行深度學習。當物件影像I17被鑑別為不良品時，於學習階段中，此物件影像I17會作為不良品的訓練資料輸入檢測系統100，使第一人工神經網路110與第二人工神經網路120對此物件影像I17執行深度學習。

在一些實施例中，第一檢測模組111所採用的瑕疵標準可為較為嚴苛的且容易達到一致性的判斷標準，以降低因標定人員的漏標或標定標準不一所產生的錯誤分類。

在一些實施例中，在學習階段中，可只擷取物件影像I17中瑕疵部位（如同準瑕疵影像I510-I519）的圖塊作為輸入至第二檢測模組121的瑕疵影像（即訓練資料），以大幅降低影像背景對於第二檢測模組121之訓練上的影響。此外，可一次只輸入一種瑕疵的瑕疵影像，以較好控制各種瑕疵在訓練中的瑕疵比例，而不會有類別數量不均勻的問題。

綜上所述，任一實施例之基於人工神經網路之物件表面型態的篩選方法與檢測系統，其先藉由第一檢測模組111依據較嚴苛且容易一致性的瑕疵標準來對物件影像I11-I1N進行分類，以降低因標定人員的漏標或標定標準不一所產生的錯誤分類。之後，再藉由第二檢測模組121根據分類至第一不良品組G2中的物件影像I11、I17之至少一準瑕疵影像I51s、I57s來進行分類，以將過殺的物件救回來。如此一來，可大幅簡化物件的標定工程，減少因標定作業造成的模型缺陷，使得檢測精確度可更加穩定。此外，因多階段式分類，每一階段模型（即第一檢測模組111與第二檢測模組121）負責的任務不同，由嚴到寬，視野由廣到細微，使得各階段模型的分工更專一而更容易收斂。再者，可解決標定問題、樣品複雜、瑕疵類別不均勻等問題，使得採用此篩選方法的檢測設備可提早上線。另，因先嚴殺再救回，可讓使用採用此篩選方法之檢測設備的業者可不必擔心流出不良品，而提高對檢測設備的信賴度。

雖然本發明的技術內容已經以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神所作些許之更動與潤飾，皆應涵蓋於本發明的範疇內，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:檢測系統 110:第一人工神經網路 111:第一檢測模組 112:影像處理模組 120:第二人工神經網路 121:第二檢測模組 1211:分類單元 121A-121X:判斷單元 122:影像處理模組 C1:無瑕疵類別 C21-C2Y:瑕疵類別 G1:良品組 G2:第一不良品組 G3:模糊組 G4:第二不良品組 I11-I1N:物件影像 I31, I37:標記影像 I51s, I57s:準瑕疵影像 I510-I519:準瑕疵影像 I6:瑕疵熱點圖 M1:瑕疵標記 V1-VA:視角影像 S10-S60:步驟 S11-S12:步驟 S21-S25:步驟 S221-S225:步驟 S251-S252:步驟 S31-S32:步驟

圖1為檢測系統之一實施例的方塊示意圖。 圖2為物件表面型態之篩選方法之一實施例的流程示意圖。 圖3為步驟S20之一實施例的流程示意圖。 圖4為步驟S22之一實施例的流程示意圖。 圖5為步驟S25之一實施例的流程示意圖。 圖6為步驟S30之一實施例的流程示意圖。 圖7為物件影像之一實施例的示意圖。 圖8為瑕疵熱點圖之一實施例的示意圖。 圖9為標記影像之一實施例的示意圖。 圖10為準瑕疵影像之一實施例的示意圖。 圖11為圖1之第二人工神經網路之一實施例的方塊示意圖。 圖12為物件表面型態之篩選方法之一實施例的流程示意圖。

100:檢測系統

110:第一人工神經網路

111:第一檢測模組

112:影像處理模組

120:第二人工神經網路

121:第二檢測模組

122:影像處理模組

G1:良品組

G2:第一不良品組

G3:模糊組

G4:第二不良品組

I11-I1N:物件影像

I31,I37:標記影像

I51s,I57s:準瑕疵影像

V1-VA:視角影像

Claims (19)

1. 一種基於人工神經網路的物件表面型態的篩選方法，包含：利用一第一檢測模組識別一物件影像以分類該物件影像至一良品組與一第一不良品組的其中之一者，並輸出分類至該第一不良品組的該物件影像的一標記影像，其中該標記影像為具有至少一瑕疵標記的該物件影像；於該物件影像分類至該第一不良品組中時，對應該至少一瑕疵標記自該標記影像中擷取出至少一準瑕疵影像，其中各該準瑕疵影像為該標記影像的局部影像；以及利用一第二檢測模組根據該至少一準瑕疵影像分類該物件影像至一模糊組與一第二不良品組的其中之一者，其中該第二檢測模組是於該至少一準瑕疵影像皆檢測出無瑕疵時將該物件影像分類至該模糊組。
2. 如請求項1所述的基於人工神經網路的物件表面型態的篩選方法，更包含：接收一物件的複數視角影像；以及拼接該些視角影像成該物件影像。
3. 如請求項1所述的基於人工神經網路的物件表面型態的篩選方法，其中利用該第一檢測模組識別該物件影像以分類該物件影像至該良品組與該第一不良品組的其中之一者，並輸出分類至該第一不良品組的該物件影像的該標記影像的步驟包含： 利用該第一檢測模組對該物件影像進行一瑕疵預測以生成相應的一瑕疵熱點圖；根據一瑕疵標準對該瑕疵熱點圖進行一瑕疵篩選；於該瑕疵篩選中判定達到該瑕疵標準時，分類該物件影像至該第一不良品組中，並根據該瑕疵熱點圖與分類至該第一不良品組的該物件影像生成該標記影像；以及於該瑕疵篩選中判定未達到該瑕疵標準時，分類該物件影像至該良品組中。
4. 如請求項3所述的基於人工神經網路的物件表面型態的篩選方法，其中該瑕疵熱點圖包含複數像素，各像素具有一瑕疵分數，該瑕疵標準包含一信心度閥值、一面積閥值與一數量閥值，以及其中根據該瑕疵標準對該瑕疵熱點圖進行該瑕疵篩選之步驟包含：根據該信心度閥值自該些像素中篩選出至少一瑕疵像素，其中該瑕疵像素係為該瑕疵分數大於或等於該信心度閥值的該像素，且相鄰的該至少一瑕疵像素形成一瑕疵面積；計算出該瑕疵面積大於該面積閥值的一瑕疵數量；判斷該瑕疵數量是否大於該數量閥值；於該瑕疵數量大於或等於該數量閥值時，判定達到該瑕疵標準；以及於該瑕疵數量小於該數量閥值時，判定未達到該瑕疵標準。
5. 如請求項3所述的基於人工神經網路的物件表面型態的篩選方法，其中根據該瑕疵熱點圖與分類至該第一不良品組的該物件影像生成該標記影像的步驟包含： 疊合該物件影像與該瑕疵熱點圖成一疊合影像，其中該疊合影像包含至少一候選瑕疵圖塊；以及計算該疊合影像中交集的各該候選瑕疵圖塊以得到該標記影像。
6. 如請求項5所述的基於人工神經網路的物件表面型態的篩選方法，其中對應該至少一瑕疵標記自該標記影像中擷取出該至少一準瑕疵影像的步驟包含：根據該至少一瑕疵標記自該標記影像擷取出各該瑕疵標記對應的一局部影像，其中各該局部影像涵蓋該至少一候選瑕疵圖塊中之一；以及調整各該局部影像之尺寸成具有一預定尺寸的該準瑕疵影像。
7. 如請求項5所述的基於人工神經網路的物件表面型態的篩選方法，其中各該候選瑕疵圖塊為該疊合影像中的該瑕疵熱點圖上相鄰的至少一瑕疵像素於該疊合影像中的該物件影像所對應到的圖塊部分。
8. 如請求項1所述的基於人工神經網路的物件表面型態的篩選方法，其中利用該第二檢測模組根據該至少一準瑕疵影像分類該物件影像至該模糊組與該第二不良品組的其中之一者的步驟包含：利用該第二檢測模組判斷各該準瑕疵影像的一信心度是否小於一預定閥值；於各該準瑕疵影像的該信心度皆小於該預定閥值時，利用該第二檢測模組分類該物件影像至該模糊組；以及於任一該準瑕疵影像的該信心度大於或等於該預定閥值時，利用該第二檢測模組分類該物件影像至該第二不良品組。
9. 如請求項1所述的基於人工神經網路的物件表面型態的篩選方法，其中利用該第二檢測模組根據該至少一準瑕疵影像分類該物件影像至該模糊組與該第二不良品組的其中之一者的步驟包含：利用該第二檢測模組的一分類單元分類該至少一準瑕疵影像至一無瑕疵類別或複數瑕疵類別中之一；利用該分類單元擷取出該些瑕疵類別的複數特徵向量；利用該第二檢測模組的複數判斷單元分別判斷各該瑕疵類別的該特徵向量是否小於該瑕疵類別對應之一屬性閥值，其中各該判斷單元對應於該些瑕疵類別中之一；於該些判斷單元皆判定對應之該瑕疵類別的該特徵向量小於該瑕疵類別對應之該屬性閥值時，分類該物件影像至該模糊組；以及於任一該判斷單元判定對應之該瑕疵類別的該特徵向量大於或等於該瑕疵類別對應之該屬性閥值時，分類該物件影像至該第二不良品組。
10. 一種基於人工神經網路的物件表面型態的檢測系統，包括：一第一檢測模組，識別一物件影像以分類該物件影像至一良品組與一第一不良品組的其中之一者，並輸出分類至該第一不良品組的該物件影像的一標記影像，且自該標記影像中擷取出至少一準瑕疵影像，其中各該準瑕疵影像為該標記影像的局部影像；以及一第二檢測模組，根據該至少一準瑕疵影像分類該物件影像至一模糊組與一第二不良品組的其中之一者，其中於該至少一準瑕疵影像皆檢測出無瑕疵時將該物件影像分類至該模糊組。
11. 如請求項10所述的基於人工神經網路的物件表面型態的檢測系統，其中更包括：一第一影像處理模組，接收複數視角影像，拼接該些視角影像成該物件影像，並輸出該物件影像。
12. 如請求項10所述的基於人工神經網路的物件表面型態的檢測系統，其中該第一檢測模組對該物件影像進行一瑕疵預測以生成相應的一瑕疵熱點圖，根據一瑕疵標準對該瑕疵熱點圖進行一瑕疵篩選，於該瑕疵篩選中判定達到該瑕疵標準時，分類該物件影像至該第一不良品組中，並根據該瑕疵熱點圖與分類至該第一不良品組的該物件影像生成該標記影像，於該瑕疵篩選中判定未達到該瑕疵標準時，分類該物件影像至該良品組中。
13. 如請求項12所述的基於人工神經網路的物件表面型態的檢測系統，其中該瑕疵熱點圖包含複數像素，各像素具有一瑕疵分數，該瑕疵標準包含一信心度閥值、一面積閥值與一數量閥值，該第一檢測模組根據該信心度閥值自該些像素中篩選出至少一瑕疵像素，其中該瑕疵像素係為該瑕疵分數大於或等於該信心度閥值的該像素，且相鄰的該至少一瑕疵像素形成一瑕疵面積，該第一檢測模組計算出該瑕疵面積大於該面積閥值的一瑕疵數量，並判斷該瑕疵數量是否大於該數量閥值，於該瑕疵數量大於或等於該數量閥值時，判定達到該瑕疵標準，於該瑕疵數量小於該數量閥值時，判定未達到該瑕疵標準。
14. 如請求項12所述的基於人工神經網路的物件表面型態的檢測系統，其中該第一檢測模組疊合該物件影像與該瑕疵熱點圖成一疊 合影像，其中該疊合影像包含至少一候選瑕疵圖塊，該第一檢測模組計算該疊合影像中交集的各該候選瑕疵圖塊以得到該標記影像。
15. 如請求項14所述的基於人工神經網路的物件表面型態的檢測系統，其中該標記影像為具有至少一瑕疵標記的該物件影像，其中該檢測系統更包括：一第二影像處理模組，對應該至少一瑕疵標記自該標記影像中擷取出該至少一準瑕疵影像。
16. 如請求項15所述的基於人工神經網路的物件表面型態的檢測系統，其中該第二影像處理模組根據該至少一瑕疵標記自該標記影像擷取出各該瑕疵標記對應的一局部影像，其中各該局部影像涵蓋該至少一候選瑕疵圖塊中之一，該第二影像處理模組調整各該局部影像之尺寸成具有一預定尺寸的該準瑕疵影像。
17. 如請求項10所述的基於人工神經網路的物件表面型態的檢測系統，其中該第二檢測模組判斷各該準瑕疵影像的一信心度是否小於一預定閥值，於各該準瑕疵影像的該信心度皆小於該預定閥值時，該第二檢測模組分類該物件影像至該模糊組，於任一該準瑕疵影像的該信心度大於或等於該預定閥值時，該第二檢測模組分類該物件影像至該第二不良品組。
18. 如請求項10所述的基於人工神經網路的物件表面型態的檢測系統，其中該第二檢測模組更包括：一分類單元，分類該至少一準瑕疵影像至一無瑕疵類別或複數瑕疵類別中之一。
19. 如請求項18所述的基於人工神經網路的物件表面型態的檢測系統，其中該分類單元取出該些瑕疵類別的複數特徵向量，該第二檢測模組更包括：複數判斷單元，分別對應於該些瑕疵類別，分別判斷各該瑕疵類別的該特徵向量是否小於該瑕疵類別對應之一屬性閥值，於該些判斷單元皆判定對應之該瑕疵類別的該特徵向量小於該瑕疵類別對應之該屬性閥值時，分類該物件影像至該模糊組，於任一該判斷單元判定對應之該瑕疵類別的該特徵向量大於或等於該瑕疵類別對應之該屬性閥值時，分類該物件影像至該第二不良品組。