TW202239281A - 電子基板缺陷偵測 - Google Patents

Abstract

本發明提供偵測一基板中之缺陷之系統、方法及設備。將該基板之一影像與一參考影像進行比較以識別潛在缺陷。對應於該等潛在缺陷之影像由分類器集合依序處理以產生包括一缺陷之影像集合。該分類器集合可經組態為具有增加之準確度。對應於該等潛在缺陷之該等影像之一子集由一類型分類器處理，該類型分類器可判定該等影像中之該等缺陷之該類型、大小及位置。可進一步處理該等缺陷，以基於該等缺陷在該基板上之該位置來判定該等缺陷之嚴重程度。

Description

電子基板缺陷偵測

本發明係關於電子系統領域，尤其是用於判定電子基板中之缺陷之電子系統。

諸如印刷電路板(PCB)之基板可具有多階段製造製程。該製程可包括諸如蝕刻、接合、金屬沈積、鑽孔、電鍍、焊料遮蔽等之階段。製造階段中之每一者均有可能將缺陷引入PCB中。

在一個態樣中，一種方法包括接收一電子基板之一輸入基板影像。該方法進一步包括基於該輸入基板影像與一參考基板影像之比較產生一差分影像。該方法亦包括基於該差分影像識別包括在該基板中之一潛在缺陷的至少一個潛在缺陷影像區。該方法亦包括基於該至少一個潛在缺陷影像區與該參考基板影像之相關性，產生對應於該至少一個潛在缺陷影像區之至少一個影像塊。該方法進一步包括基於用一缺陷存在分類器處理該至少一個影像塊，自該至少一個影像塊產生一經分類缺陷影像塊集合，該缺陷存在分類器將該至少一個影像塊中之每一者分類為含有或不含有一缺陷。該方法亦包括基於用一缺陷類型分類器處理該經分類缺陷影像塊集合，判定與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之一缺陷類型，該缺陷類型分類器用選自一缺陷類型集合之一缺陷類型對每一經分類缺陷影像塊進行分類。該方法進一步包括：判定該電子基板上之一位置及該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之一缺陷之一大小；及在一資料庫中儲存與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之該缺陷之該缺陷類型、該位置及該大小。

在一些實施例中，該方法進一步包括在產生該差分影像前，將該輸入基板影像與該參考基板影像對準。在一些實施例中，該方法進一步包括基於強度臨限值濾波及形態濾波中之至少一者對該差分影像進行濾波以識別該至少一個潛在缺陷影像區。在一些實施例中，該方法亦包括基於一連接組件演算法來判定潛在缺陷之連續區。在一些實施例中，該經分類缺陷影像塊集合基於用一或多個額外缺陷存在分類器之處理而在大小上逐漸減小。在一些實施例中，該方法進一步包括在基於該缺陷存在分類器產生該經分類缺陷影像塊集合前，對該至少一個影像塊進行鑲嵌。在一些實施例中，該缺陷類型包括環形環、焊點及組件未對準中之至少一者。

在一些實施例中，該方法進一步包括：將該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之該缺陷之該位置及大小與描述該電子基板之關鍵結構之一資料物件進行交叉參考；及基於該經分類缺陷影像塊中之該缺陷與該電子基板之該等關鍵結構之間之重疊程度或與該經分類缺陷影像塊相關聯之一缺陷類型中之至少一者來判定每一經分類缺陷影像塊中之缺陷之一嚴重程度。

在一些實施例中，基於包圍一缺陷之一邊界框、包圍該缺陷之一旋轉邊界框或包圍該缺陷之一像素級(pixel-wise)周界中之至少一者來判定每一經分類缺陷影像塊中之該缺陷之該大小。在一些實施例中，該缺陷存在分類器係在基於一自動編碼器與一生成對抗網路(GAN)之一組合產生之影像上訓練。在一些實施例中，該方法進一步包括：對該輸入基板影像中之複數個區進行遮蔽，該複數個區包括一跡線、一焊料遮罩及印刷區中之至少一者；判定該輸入基板影像之各種區之間的一平均局部強度變化；及在該資料庫中儲存基於該平均局部強度變化超過一臨限值之色彩變化之指示。

在另一態樣中，一種非揮發性電腦可讀取儲存媒體包括儲存於其中之指令，該等指令在由一處理器執行時使得該處理器進行接收一電子基板之一輸入基板影像之方法。該方法進一步包括基於該輸入基板影像與一參考基板影像之比較產生一差分影像。該方法亦包括基於該差分影像識別包括在該基板中之一潛在缺陷的至少一個潛在缺陷影像區。該方法進一步包括基於該至少一個潛在缺陷影像區與該參考基板影像之相關性，產生對應於該至少一個潛在缺陷影像區之至少一個影像塊。該方法亦包括基於用一缺陷存在分類器處理該至少一個影像塊，自該至少一個影像塊產生一經分類缺陷影像塊集合，該缺陷存在分類器將該至少一個影像塊中之每一者分類為含有或不含有一缺陷。該方法進一步包括基於用一缺陷類型分類器處理該經分類缺陷影像塊集合，判定與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之一缺陷類型，該缺陷類型分類器用選自一缺陷類型集合之一缺陷類型對每一經分類缺陷影像塊進行分類。該方法進一步包括：判定該電子基板上之一位置及該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之一缺陷之一大小；及在一資料庫中儲存與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之該缺陷之該缺陷類型、該位置及該大小。

在一些實施例中，該方法進一步包括在產生該差分影像前，將該輸入基板影像與該參考基板影像對準。在一些實施例中，該方法進一步包括基於強度臨限值濾波及形態濾波中之至少一者對該差分影像進行濾波以識別該至少一個潛在缺陷影像區。在一些實施例中，該方法亦包括基於一連接組件演算法來判定潛在缺陷之連續區。在一些實施例中，該經分類缺陷影像塊集合基於用一或多個額外缺陷存在分類器之處理而在大小上逐漸減小。在一些實施例中，該方法進一步包括在基於該缺陷存在分類器產生該經分類缺陷影像塊集合前，對該至少一個影像塊進行鑲嵌。在一些實施例中，該缺陷類型包括環形環、焊點及組件未對準中之至少一者。在一些實施例中，該方法進一步包括：將該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之該缺陷之該位置及大小與描述該電子基板之關鍵結構之一資料物件進行交叉參考；及基於該經分類缺陷影像塊中之該缺陷與該電子基板之該等關鍵結構之間之重疊程度或與該經分類缺陷影像塊相關聯之一缺陷類型中之至少一者來判定每一經分類缺陷影像塊中之缺陷之一嚴重程度。在一些實施例中，基於包圍一缺陷之一邊界框、包圍該缺陷之一旋轉邊界框或包圍該缺陷之一像素級周界中之至少一者來判定每一經分類缺陷影像塊中之該缺陷之該大小。

以上介紹並在下文更詳細論述之各種概念可以衆多方式中之任一種來實施，此係由於所描述之概念不限於任何特定之實施方式。提供具體實施及應用之示例主要是為了說明之目的。

大多數電氣裝置利用電基板，諸如例如印刷電路板(PCB)來安裝及互連各種電組件。此等PCB包括用於安裝個別的電子裝置（諸如例如積體電路、電容器、電阻器等）之位置，及使電子裝置互連之一或多層金屬跡線。PCB之多階段製造製程可導致在成品PCB中引入非所欲之缺陷。

偵測PCB中之缺陷之一些方法包括自動檢查方法，而該等自動檢查方法又包括基於機器視覺之電腦軟體，該軟體將PCB影像與無缺陷之參考PCB影像進行比較。基於影像之比較，軟體接著判定PCB影像是否包括任何缺陷。一些軟體採用機器學習(ML)及/或人工智慧(AI)來識別PCB影像中之缺陷。舉例而言，在一些情況下，ML及AI方法利用人工神經網路來識別PCB影像中之缺陷。

本文中所論述之自動檢查方法在偵測電子基板（諸如例如PCB）中之缺陷時提供高準確度。在一些示例中，該方法包括具有增加之偵測複雜性之偵測階段級聯，該偵測階段級聯可以提高自動檢查軟體偵測缺陷之準確度。此外，所採用之偵測階段之數目可基於所需之準確度及可用之計算資源而靜態地或動態地改變，從而減少針對給定位凖或準確度完成偵測任務所需之時間量。結果，可針對所需之準確度以最短之時間完成偵測。

圖1展示示例缺陷偵測過程100之流程圖。具體而言，圖1展示用於偵測電子基板（諸如例如PCB）中之缺陷之示例缺陷偵測過程。缺陷偵測過程100可偵測電子基板中之製造缺陷並提供關於偵測到之缺陷之資訊。關於缺陷之資訊可包括缺陷之數目、缺陷之標識或類型、缺陷之位置、缺陷之大小及其類似者。缺陷偵測過程100亦可提供關於偵測到之缺陷之情境感知資訊。舉例而言，缺陷偵測過程100可基於缺陷發生於基板上之位置來指示缺陷之嚴重程度。一些缺陷可能是無害的，例如在其不與基板上之其他導體或跡線接觸之情況下，而一些缺陷可能是關鍵的，例如，在其與球柵陣列接觸之情況下。缺陷偵測過程100可基於判定缺陷相對於其在基板上之位置來限定偵測到之缺陷之嚴重程度。缺陷偵測過程100亦可偵測基板表面上之色彩變化之改變。

缺陷偵測過程100可包括影像處理階段102、一或多個缺陷存在分類器階段104及缺陷表徵階段106。影像處理階段102可接收輸入基板影像108以及參考基板影像110，且可比較兩個影像以判定差分。可進一步處理此等差分以識別潛在缺陷。缺陷存在分類器階段104，其中之每一者均可指示輸入影像是包括抑或不包括缺陷。在採用多於一個缺陷存在分類器階段104之情況下，階段逐漸更複雜，此可對應於逐漸增加之準確度。缺陷存在分類器階段104可潛在地將由影像處理階段102提供之影像集合縮窄至已識別為具有缺陷之影像之逐漸較小之子集。缺陷存在分類器階段104將影像子集提供給缺陷表徵階段106，該缺陷表徵階段判定缺陷類型、缺陷之位置及影像子集中之缺陷之大小，以及其他因素。

返回至影像處理階段102，此階段可包括關鍵點偵測階段114、對位階段116、減法階段118及濾波階段120。關鍵點偵測階段114將輸入基板影像108與參考基板影像110對準。可捕獲對應基板之輸入基板影像108之條件（例如，光、取向、放大率、背景、攝影機儀器等）可與可捕獲參考基板影像110之條件不同。此類影像之比較可能導致偽影，該等偽影係由拍攝影像之條件不同而非由實際缺陷引起。在此類情況下，僞影可能經誤識別為缺陷。

為了降低僞影經誤識別為缺陷之風險，輸入基板影像108及參考基板影像110可經縮放及對齊，以確保影像之間的比較推得實際缺陷，而非基於條件之僞影。為此，影像處理階段102判定表示影像中之匹配特徵之關鍵點。特徵可包括例如隅角、尖銳邊緣或顯示強度之急劇變化之其他點。在一些示例中，尺度不變特徵變換(SIFT)特徵偵測器及描述符演算法可用於識別特徵及其描述符（例如，尺度、位置及取向）。作為示例，可藉由計算圍繞關鍵點之相鄰像素之梯度大小及方向以判定關鍵點之取向或方向來判定關鍵點之取向。可使用其他示例演算法，諸如「來自加速段測試之特徵(FAST)」及「加速穩健特徵(SURF)」（其可以比SIFT相對更快）以識別關鍵點。雖然FAST僅識別關鍵點，但SURF可識別關鍵點以及為關鍵點指派描述符。在一些示例中，「二進位穩健獨立基本特徵(BRIEF)」演算法可與FAST演算法結合使用，以將描述符指派給由FAST演算法識別出之關鍵點。可利用之又一演算法為用於判定關鍵點及指派描述符之定向FAST及旋轉BRIEF (ORB)。上文所論述中之每一者均可指派尺度及旋轉不變之描述符。亦即，即使影像經縮放或旋轉，影像中之關鍵點及其描述符亦可不改變。

在影像處理階段102處之缺陷偵測過程100可判定輸入基板影像108以及參考基板影像110中之關鍵點。圖2展示示例輸入基板影像108及參考基板影像110之部分中之關鍵點偵測。輸入基板影像108包括輸入基板，然而，由於影像經捕獲之條件，輸入基板出現旋轉。另一方面，參考基板影像110展示參考基板之以與輸入基板影像108中之輸入基板之旋轉取向不同之方式取向之部分。影像處理階段102可判定參考基板影像110中之若干關鍵點。為簡單起見，僅展示兩個關鍵點：第一參考影像關鍵點202及第二參考影像關鍵點204。在影像處理階段102之缺陷偵測過程100亦可以判定輸入基板影像108中之關鍵點。再次，為簡單起見，僅展示兩個關鍵點：第一輸入影像關鍵點206及第二輸入影像關鍵點208。基於上文所描述之演算法在影像處理階段102處之缺陷偵測過程100可判定關鍵點並將描述符指派給每一關鍵點。如上文所提及，一個示例描述符可包括關鍵點之方向。此資訊可由對位階段116使用以將輸入基板影像108與參考基板影像110對準。

在對位階段116處之缺陷偵測過程100可判定與參考基板影像108中之關鍵點匹配之輸入基板影像110中之關鍵點。舉例而言，缺陷偵測過程100可判定輸入基板影像108中具有相同描述符之關鍵點。如上文所描述，關鍵點之描述符可為尺度及旋轉不變的。因此，兩個影像中具有匹配描述符之兩個關鍵點最有可能代表兩個影像中之相同特徵。因此，參考圖2，缺陷偵測過程100可判定第一輸入影像關鍵點206具有與第一參考影像關鍵點202相同之描述符，且第二輸入影像關鍵點208具有與第二參考影像關鍵點204相同之描述符。在對位階段116處之缺陷偵測過程100可判定輸入基板影像108及參考基板影像110中之其他匹配關鍵點。一旦判定了所有匹配關鍵點，缺陷偵測過程100即可對輸入基板影像108執行變換。舉例而言，缺陷偵測過程100可旋轉輸入基板影像108，使得輸入基板影像108之取向與參考基板影像110之取向匹配。缺陷偵測過程100亦可縮放輸入基板影像108，使得輸入基板影像108中之基板之大小與參考基板影像110中之基板之大小匹配。缺陷偵測過程100亦可執行其他線性或非線性變換以確保輸入基板影像108中之關鍵點之方位與參考基板影像110中之關鍵點之方位匹配。圖3展示圖2中所示之影像對位之示例結果。具體而言，圖3展示在對位階段116中之缺陷偵測過程100之結果，該對位階段執行對位操作且旋轉輸入基板影像108，使得輸入基板影像108處於與參考基板影像110相同之取向。

減法階段118中之缺陷偵測過程100基於與參考基板影像108之比較來判定輸入基板影像110中之潛在缺陷。在一些示例中，缺陷偵測過程100自輸入基板影像108減去參考基板影像110以產生差分影像以識別輸入基板影像108中之缺陷。再次參考圖3，輸入基板影像108展示具有第一缺陷302、第二缺陷304及第三缺陷306之基板。此等缺陷呈金屬跡線之形式，該等金屬跡線可能非所欲地電連接基板上之兩個或更多個互連件。此等缺陷顯然不存在於參考基板影像110中。因此，自輸入基板影像108減去參考基板影像110之差分運算可揭示缺陷。

圖4展示作為輸入基板影像108與參考基板影像110之間的差分運算之結果之示例差分影像400。缺陷偵測過程100自輸入基板影像110減去參考基板影像108。由於兩個影像在對位階段116期間已對準，故出現於參考基板影像110中之基板上之所有互連件或跡線亦將出現於輸入基板影像108中之相同位置處。因此，差分影像400將理想地排除存在於輸入基板影像108及參考基板影像110兩者中之任何互連件或跡線，且包括僅存在於輸入基板影像108中之任何缺陷。因此，圖4展示第一缺陷302、第二缺陷304及第三缺陷306。

在一些示例中，輸入基板影像108及參考基板影像110可最初以灰度或以彩色捕獲。在此類情況下，兩個影像之差分可能產生可歸因於色彩差分而非實際缺陷之僞影。為了降低僞影之風險，可在執行差分運算前將輸入基板影像108及參考基板影像110轉換成二進位影像。二進位影像移除色彩資訊，且包括只具有兩種色彩之像素：通常為黑色及白色像素。缺陷偵測過程100可將臨限值化過程應用於影像以將影像轉換為各別的二進位影像。接著可自二進位影像之差分產生差分影像。

在一些示例中，缺陷偵測過程100可採用XOR運算而非減法作為差分運算。當對兩個影像進行XOR時，第一影像中之特定位置中之每一像素藉由第二影像中之相應位置中之像素XOR。若來自同一位置處之兩個影像之兩個像素具有相同值，則所得XOR為零，而若兩個像素具有不同值，則所得XOR為一。缺陷偵測過程100可將強度值指派為零（例如，強度值0）及一（例如，強度值255）兩者。

在一些示例中，儘管在對位輸入基板影像108及參考基板影像110方面做出了最大之努力，但在影像之間仍可存在較小之未對準。此等未對準可將未對準相關之僞影或雜訊引入至差分影像400中。在濾波階段120處之缺陷偵測過程100可處理差分影像以移除此等偽影及雜訊。缺陷偵測過程100可執行形態學運算以移除雜訊及偽影。形態學運算可包括例如侵蝕，其使物件邊界平滑、移除半島形物、指形物及小物件。此運算可潛在地移除差分影像中形成之小偽影。另一種形態學運算可包括膨脹，其擴大前景物件之大小、使物件邊界平滑，並閉合影像中之孔及間隙。開運算可表達為先腐蝕及後膨脹運算之組合，而閉運算可表達為先膨脹及後腐蝕運算之組合。開運算可自影像移除小物體，而閉運算可移除影像中之小孔。開及閉運算可有效地減少差分影像400中之雜訊。

在一些示例中，差分影像400可包括對應於輸入基板影像108中之缺陷之像素。然而，像素之子集在一起時可對應於單一缺陷，諸如例如短路或線路突出。舉例而言，參考圖4，第一缺陷302由共同形成第一缺陷302的像素群組表示。缺陷偵測過程100可執行連接組件演算法，以用相同標籤標記對應於每一缺陷之像素，並將具有相同標籤之像素分組為單一缺陷。對應於相同缺陷之像素群組可視為差分影像400中之潛在缺陷影像區。因此，差分影像400可包括對應於圖4中所示之三個缺陷之潛在缺陷影像區。

缺陷偵測過程100亦可產生對應於差分影像400中之至少一個潛在缺陷區之至少一個影像塊。影像塊可為參考基板影像110之包括至少一個潛在缺陷區之一部分。圖5展示由缺陷偵測過程100產生之示例影像塊。具體而言，圖5展示對應於第一缺陷302之潛在缺陷影像區之第一影像塊502、對應於第二缺陷304之潛在缺陷影像區之第二影像塊504，及對應於第三缺陷306之潛在缺陷影像區之第三影像塊506。在圖5中所示之示例中，影像塊之形狀為矩形。然而，影像塊可具有其他形狀，諸如圓形，橢圓形，正方形及多邊形（規則或不規則）。在一些示例中，缺陷偵測過程100可將缺陷集中於影像塊內。缺陷偵測過程100可替代地僅確保缺陷在影像塊之周界內。

缺陷偵測過程100可進一步處理缺陷存在分類器階段104中之影像塊。缺陷存在分類器階段104可包括例如第一缺陷存在分類器階段104a及第二缺陷存在分類器階段104b。雖然圖2僅明確地展示兩個缺陷存在分類器階段，但應理解，可利用多於兩個階段。在一些示例中，最多可使用10個階段。每一缺陷存在分類器階段104可處理影像塊並提供指示影像塊是包括抑或不包括缺陷之結果。換言之，每一缺陷存在分類器階段104可指示影像塊是「良好」抑或「不良」。缺陷存在分類器階段104自所處理之影像塊集合識別「不良」之影像塊子集。每一缺陷存在分類器階段104可包括經訓練模型122、鑲嵌過程124及分類階段126。

圖6展示由缺陷偵測過程100在缺陷存在分類器階段104處執行之示例過程600之流程圖。過程600包括識別影像塊中之第一方位處之窗口。圖7展示影像塊上之示例鑲嵌過程。具體而言，圖7展示包括第三缺陷306之第三影像塊506。過程600包括將窗口定位於影像塊內(604)。舉例而言，圖7展示將窗口702定位於第三影像塊506內。在圖7中所示之示例中，窗口702定位於第三影像塊506之左上角。然而，窗口702可定位於第三影像塊506中之任何位置。過程600進一步包括經由分類器處理窗口中之影像塊之部分(606)。再次參考圖7，可經由分類器來處理窗口702內之第三影像塊506之部分，該分類器可判定彼部分是包括抑或不包括缺陷。下文將進一步論述用於處理影像塊之部分之分類器。分類器可指示該部分是良好抑或不良(608)。若分類器判定影像塊之部分係不良的，亦即，分類器以高機率判定影像塊之部分包括缺陷，則過程600可將影像塊標記為不良，且將影像塊包括於潛在地包括缺陷之影像塊集合中(610)。

若分類器判定窗口內之影像塊之部分係良好的，則過程600判定窗口之當前方位是否為其最終方位(610)。若窗口已遍歷整個影像塊，則窗口之方位將為其最終方位。若窗口之方位不為其最終方位，則過程600可將窗口之方位改變至其下一方位(612)，且經由分類器處理窗口之新方位內之影像塊之部分。再次參考圖7，窗口702可沿著x方向或y方向或任何其他方向移動至不同方位。窗口702亦可隨機地移動至影像塊內之不同方位。以以上方式之過程600可連續地將窗口702重定位於第三影像塊內，並對影像塊之對應部分進行分類，直至分類器判定塊之部分中之「不良」部分或窗口到達其在影像塊中之最終方位為止。若窗口702到達其最終方位且分類器尚未判定單一「不良」部分，則過程600可將影像塊標記為「良好」，且不將其包括於潛在地包括缺陷之影像塊集合中。

過程可根據缺陷之可能大小選擇窗口702之大小。在一些示例中，過程600可選擇窗口之大小在約128x128像素至約1024x1024像素之間。然而，此等僅為示例，且過程600可基於缺陷之預期大小來判定窗口大小，使得窗口可限定大部分（至少75%）缺陷或整個缺陷。在一些示例中，過程600可實施數個窗口大小以偵測各種大小之缺陷。舉例而言，缺陷偵測過程100可針對若干窗口大小中之每一者執行過程600，且判定偵測到之缺陷之數目是否有任何變化，且可縮窄至執行過程600之一或多個窗口大小。相對於基板本身，基板中之缺陷可能具有較小規模。在此類情況下，處理基板之整個影像之分類器可能無法偵測到基板中相對較小之缺陷，從而降低缺陷偵測過程之準確度。另一方面，缺陷偵測過程100使用窗口將分類聚焦於基板影像之較小部分上。因此，分類器可更準確地判定窗口內之基板影像之部分是否為缺陷。

再次參考圖1，缺陷存在分類器階段104可利用分類器將影像塊分類為具有缺陷。在一些示例中，缺陷偵測過程100可包括基於人工神經網路之分類器。舉例而言，缺陷偵測過程100可包括基於卷積神經網路之分類器。圖8展示可用於實施圖1中所示之分類階段126之第一示例分類器800。具體而言，第一示例分類器800為基於卷積神經網路(CNN)架構之二進位分類器。二進位分類器可在基板之影像（如輸入基板影像108）之部分的經標記資料集上訓練。在一些示例中，二進位分類器可在可在實施期間收集之數千至數十萬個經標記基板影像上訓練。二進位分類器亦可在不同之影像集合上預訓練。預訓練影像可包括公開可用之經標記影像，例如，可自IMAGENET (http：//image-net.org)獲得之彼等影像。影像可標記為「良好」或「不良」，或者在一些情況下可標記為「無缺陷」或「缺陷」。此等標籤僅為示例，且可使用任何兩個不同之標籤。第一示例分類器800可包括卷積層802（例如，卷積層-1至卷積層-n）集合，接著是深度神經網路804及輸出層806。卷積層802可在上文論述之經標記影像資料集上訓練，以學習表示對應於「良好」及「不良」標籤之影像之空間特徵。

卷積層802集合中之每一卷積層可具有各別數目之濾波器、核心大小、步幅及邊框間距(padding)。卷積層之數目、濾波器之數目、內核大小、步幅及邊框間距可基於特定實施來選擇，此係由於此類因素可基於所欲之準確度位凖及可用之計算資源來選擇。作為示例，卷積層802集合可包括2至50個卷積層。在一些示例中，濾波器之數目可經由卷積層在約64至約1024之間變化，且可隨深度而增加。在一些情況下，每一卷積層之濾波器之數目可以二之冪次增加。在一些示例中，內核大小可在一與七之間變化。在一些情況下，內核大小在整個卷積層中保持恆定，而在一些情況下，內核大小可變化。可將步幅設定為例如等於一以保持前一層之晶格大小，或可設定為例如等於二以向下採樣。影像邊框間距可用於將輸出晶格大小與前一層之大小相匹配，或藉由例如影像之每一側上之一個或幾個像素來生長輸入層。在一些示例中，卷積層802集合亦可包括定位於卷積層之間的匯集層，以減小與卷積層相關聯之激活圖(activation map)之大小，但保持深度。此可降低第一示例分類器800之計算複雜度。如上文所提及，卷積層802集合可學習表示影像資料內之空間特徵。卷積層-1可學習以某些角度表示簡單特徵，例如線。隨後之卷積層可學習將此等簡單特徵重組合成更複雜之特徵。

卷積層802集合之輸出可經平坦並提供至深度神經網路804，該深度神經網路可包括一或多個密集隱藏層。作為示例，深度神經網路804可包括兩個或更多個層，其中每一層包括具有選定激活（例如，tanh、ReLU等）之神經元集合（例如，4至128）。深度神經網路804超參數值可在針對二進位分類器之上述影像集合之訓練期間判定。深度神經網路804可以用於區分「良好」影像與「不良」影像之最佳方式重組複雜特徵。亦即，深度神經網路804可將由卷積層802集合學習之空間特徵映射至兩類影像中之一者。深度神經網路804可包括等於前一卷積層802集合之平坦輸出之數個輸入。輸出層806可為具有兩個人工神經元之softmax層，該等兩個人工神經元輸出對影像是良好影像抑或不良影像之判定。

卷積層802集合之CNN架構可包括諸如例如ResNet之殘差網路架構。殘差網路架構包括一系列殘差模組，該等殘差模組中之每一者均包括一系列卷積層、批標準化操作及以殘差連接結束之ReLU激活。當卷積層數目增加時，傳統CNN可能遭受梯度消失。殘差網路架構藉由利用「跳過連接(skip connection)」來緩解梯度消失問題，該「跳過連接」將先前殘差模組之輸出添加至當前殘差模組之輸出。可使用諸如ResNet-18、ResNet-34、ResNet-50、ResNet-101之公共殘差網路。

圖9展示可用於實施圖1中所示之分類階段126之第二示例分類器900。第二示例分類器900可包括卷積層902集合、深度神經網路904及輸出層906。卷積層902集合及深度神經網路904可類似於上文關於圖8中所示之第一示例分類器800論述之卷積層802集合及深度神經網路804。然而，與可不在兩個影像集合（一個集合包括標記為「良好」之影像且另一集合包括標記為「不良」之影像）上訓練之第一示例分類器800不同，第二示例分類器900僅在「良好」影像上訓練。為此，輸出層906可經組態以輸出與輸入影像「良好」相關聯之置信度位凖。舉例而言，輸出層906可輸出輸入影像為良好之機率（0至1）。第二示例分類器900可接著包括將輸出與臨限值進行比較以判定輸入影像是「良好」抑或「不良」。第二示例分類器900可視為異常偵測器，其中分類器在「良好」影像上訓練，且當輸入影像為「良好」時輸出高於臨限值之值，且當其偵測到異常（即，不良影像）時輸出低於臨限值之值。

圖10展示可用於實施圖1中所示之分類階段126之第三示例分類器1000。第三示例分類器1000可係基於對抗式自動編碼器架構。自動編碼器為經訓練產生與其輸入相似之輸出的神經網路。自動編碼器可在未標記影像上訓練，因此可以無監督方式訓練。第三示例分類器1000可包括編碼器1002、解碼器10004及鑑別器1006。編碼器1002接收輸入影像X 1010並產生潛碼1008，其中潛碼1008可具有比輸入影像X 1010更低之維度。潛碼1008可由輸出 z表示，其中 z = q(X) ，且 q()為表示編碼器1002之函數。解碼器1004接收潛碼1008並產生輸出影像X' 1012，目的為輸出影像X' 1012儘可能接近輸入影像X 1010。解碼器1004之輸出可由 X' = p(z)表示，其中 p()為表示解碼器1004之函數。鑑別器1006可類似於在生成對抗網路(GAN)中使用之鑑別器。

鑑別器1006及編碼器1002經訓練以捕獲潛碼1008中之輸入影像X之特徵。一旦經訓練，編碼器1002即有效地產生潛碼1008，該潛碼為在其上訓練編碼器1008之影像之特徵表示，其具有所欲之分佈。解碼器1004接著產生輸出影像X' 1012，其為輸入影像X 1010之緊密再現。當包括缺陷之輸入影像X 1010經輸入至編碼器1010時，缺陷之存在將導致潛碼1008不同於對應於無缺陷影像之潛碼。結果，解碼器1004產生不為原始無缺陷影像之忠實重建之輸出影像1012。解碼器之輸出處之重建誤差可用於判定輸入影像是否有缺陷。

第三示例分類器1000可在兩個階段中訓練。在重建階段，編碼器1002及解碼器1004均經訓練以最小化重建損失（例如，輸入影像X 1010與輸出影像X' 1012之間的均方誤差）。訓練影像（其無需經標記）經輸入至編碼器1002，該編碼器產生對應潛碼1008。潛碼1008經輸入至解碼器1004以產生類似於輸入影像之輸出影像。經由編碼器1002及解碼器1004權重兩者進行反向傳播，使得重建損失減小。在正則化階段，訓練鑑別器1006及編碼器1002。鑑別器1006經訓練以對編碼器1002輸出（潛碼1008）及隨機輸入1014（具有所欲之分佈，諸如例如均值為0且標準差為3之正態分佈）進行分類。當輸入來自所欲之分佈時，鑑別器1006將產生輸出1，而當輸入為潛碼1008時，鑑別器將產生輸出0。編碼器1002可經訓練以輸出具有與所欲之分佈相同之分佈之潛碼1008。舉例而言，將影像提供至編碼器1002，且將所產生之潛碼1008提供至目標輸出為1之鑑別器1006。鑑別器1006之輸出用於判定損失，且僅經由編碼器1002權重來進行反向傳播。此使得編碼器1002學習產生具有所欲之分佈之潛碼1008。一旦自動編碼器經訓練，自動編碼器即可用於基於重建誤差之值高於或低於臨限值（其可基於實施來選擇）來偵測輸入影像是具有缺陷抑或不具有缺陷。

第三示例分類器1000可用資料集之大小來訓練，該資料集之大小可相對小於在其他分類器中使用之資料集之大小。結果，可減少訓練所需之總時間以及訓練分類器所需之資源。

再次參考圖1，如上文所論述，分類階段126可經實施以判定輸入至第一缺陷存在分類器階段104a之影像是具有缺陷抑或不具有缺陷。第一缺陷存在分類器階段104a接收由影像處理階段102輸出之影像塊集合，並識別「不良」之影像塊子集。經識別為「不良」之此等影像塊子集可經傳遞至隨後之一或多個缺陷存在分類器階段。舉例而言，可將由第一缺陷存在分類器階段104a識別為「不良」之影像塊子集提供至第二缺陷存在分類器階段104b，其進一步處理影像塊子集。分類階段126經組態使得缺陷存在分類器階段逐漸更複雜。複雜性之增加可對應於準確度之增加，使得每個缺陷存在分類器階段可比先前階段更準確。可改變缺陷存在分類器階段之一或多個參數以增加階段之準確度。參數可包括例如用於訓練之資料集之大小、更寬之架構、更深之架構等。

參照圖1，第二缺陷存在分類器階段104b可用比用於訓練第一缺陷存在分類器階段104a之影像資料集相對更大之影像資料集來訓練。資料集大小之此增加可引起對應缺陷存在分類器階段之分類階段126的準確度之對應增加。分類階段126之寬度參數可對應於在神經網路中之一或多個階段中使用之神經元之數目。舉例而言，增加寬度參數可對應於增加分類階段126中之一或多個卷積層中之濾波器之數目。同樣，過濾器數目之此增加可對應於在訓練期間由分類階段126捕獲之特徵數目之增加。結果，隨著分類階段126之寬度之增加，分類階段126之準確度可增加。分類階段126之深度參數可對應於神經網路中之層數。舉例而言，可藉由增加CNN中之卷積層之數目來增加分類器階段126之深度。神經網路深度之增加亦可增加分類器階段126之準確度。

逐步提高缺陷存在分類器階段之準確度可減小具有缺陷之影像塊集合之大小。舉例而言，第一缺陷存在分類器階段104a可從來自影像處理階段接收到之影像塊集合產生影像塊子集，其中影像塊子集對應於已經識別為具有缺陷之彼等影像塊。此影像塊子集經提供至第二缺陷存在分類器階段104b，由於若準確度提高，則此可在將影像塊提供至缺陷表徵階段106之前進一步減小子集之大小。亦即，具有改進之準確度之第二缺陷存在分類器階段104b可判定由第一缺陷存在分類器階段104a識別之影像塊中之一或多個實際上不包括缺陷。因此，減少了缺陷表徵階段106必須處理之影像塊之數目，從而減少了判定缺陷類型所需之時間量或處理功率。

缺陷存在分類器階段之數目可係基於所欲之準確度及添加額外缺陷存在分類器階段之成本。具體而言，添加額外缺陷存在分類器階段之成本可表現為處理時間之增加及/或計算資源之增加。因此，在所欲之準確度與添加額外階段之相關聯成本之間存在權衡。如上文關於圖1所提及，階段之總數可在約2至約10之範圍內。

在一些示例中，缺陷偵測過程100可動態地判定缺陷存在分類器階段之數目。缺陷偵測過程100可在缺陷偵測期間監視分類標準集合，且相應地增加或減少缺陷存在分類器階段之數目。分類標準可包括例如所欲之準確度位凖、各種階段上之影像塊數目之減少、可用之計算資源等。舉例而言，若在缺陷存在分類器階段104中之最後一者處之所欲之準確度位凖低於所欲之值，則缺陷偵測過程100可動態地添加具有改進之準確度之額外缺陷存在分類器階段。類似地，若中間缺陷存在分類器階段達到所欲之準確度位凖，則缺陷偵測過程100可動態地移除彼中間缺陷存在分類器階段之後的階段。在一些示例中，缺陷偵測過程100可監視在每一缺陷存在分類器階段之輸出處經識別為具有缺陷之影像塊之數目。若數目在中間缺陷存在分類器階段處停止減少，則缺陷偵測過程100可移除彼中間缺陷存在分類器階段之後的階段。類似地，缺陷偵測過程100可逐漸地添加一或多個缺陷存在分類器階段，直至在每一經添加階段之輸出處經識別為具有缺陷之影像塊之數目停止減少為止。在一些示例中，缺陷偵測過程100可監視處理影像塊所花費之時間量。若時間量大於所欲之臨限值，則缺陷偵測過程100可減少缺陷存在分類器階段之數目。類似地，若缺陷偵測過程100偵測到額外計算資源之可用性，則缺陷偵測過程100可添加額外缺陷存在分類器階段以利用額外計算資源，而不影響處理影像塊所需之總時間。

再次參考圖1，缺陷存在分類器階段104之輸出為由缺陷存在分類器階段104識別為具有至少一個缺陷之影像塊之數目。此等影像塊可隨後由缺陷表徵階段106處理以判定缺陷之類型、位置及大小。在一些示例中，缺陷類型可包括在針對PCB之IPC-6011通用效能規範中列出之彼等類型。然而，亦可指定不同或額外之缺陷類型。缺陷類型可包括可影響基板之效能之彼等缺陷以及影響基板之外觀條件之彼等缺陷。舉例而言，一些缺陷類型可包括環形環、焊點及組件未對準。缺陷表徵階段106亦可判定缺陷之位置及大小。舉例而言，可參考參考基板影像110中之位置來提供缺陷之位置。缺陷之大小可根據具有寬度及高度之邊界框來提供。在一些情況下，缺陷表徵階段106可將缺陷類別標籤與形成影像中之缺陷之每一像素相關聯。與邊界框相比，此在影像中缺陷之大小及位置方面提供了相對更高之準確度。

缺陷表徵階段106可包括缺陷偵測階段130及缺陷分段階段132。缺陷偵測階段130可偵測缺陷並對影像塊中之偵測到之缺陷進行分類。舉例而言，缺陷偵測階段130可在偵測到之缺陷周圍產生邊界框並提供對缺陷類型進行分類之標籤。圖11展示圖1中所示之缺陷偵測階段130之第一示例實施。缺陷偵測階段130可包括經組態用於物件偵測之CNN。物件偵測通常可包括偵測步驟（識別物件在影像中之位置）及分類步驟（識別偵測到之物件為何）。在一些示例中，物件偵測可包括三個階段：1.判定感興趣區(ROI)，2.自動擷取ROI內之特徵，及3.對ROI進行分類。可利用若干已知物件偵測架構中之任一者來實施缺陷偵測階段130。此類架構可包括例如R-CNN、快速R-CNN、更快速R-CNN、你只看一次(YOLO)、EfficientDet等。CNN 1116可類似於上文關於圖8及9論述之CNN，且可包括卷積層，其後為深度神經網路及輸出層。卷積層經聚焦以自接收到之影像中之ROI擷取特徵。深度神經網路可接著判定特徵之組合是否出現於ROI內，且輸出階段可包括具有在數種分類上之機率輸出之softmax層。CNN 1116可在經標記影像1114集合上訓練，其中每一標記對應於訓練影像中之缺陷類型。經標記影像1114集合可包括不同色彩及大小之基板之影像（數千至數十萬個）。每一影像可包括標示有缺陷之區及缺陷類型之註釋。影像亦可識別具有對應標示之良好區。

缺陷偵測階段130之可能輸出亦在圖11中展示。作為示例，在左方，由缺陷偵測階段130處理影像1100。影像1100可為先前論述之影像塊。影像1100包括定位於第一互連件1102與第二互連件1108之間的缺陷1104。缺陷偵測階段130可產生第一邊界框1106及指示缺陷類型及與缺陷類型相關聯之機率輸出之標記1110。對於圖11中所示之示例，缺陷偵測階段130將缺陷1104識別為具有0.9之機率輸出之「短路」。右方之影像可為缺陷偵測階段130之替代輸出。具體而言，圍繞缺陷1104之第二邊界框1112更緊密地結合至缺陷1104。第二邊界框1112可提供比第一邊界框1106更精確之缺陷1104大小，此係由於第二邊界框1112沿著缺陷1104之縱向軸線旋轉及定向。缺陷1104之大小可由邊界框之大小來判定。因此，具有第一邊界框1106之影像之大小可等於第一邊界框1106之高度及寬度，而具有第二邊界框1112之缺陷1104之大小可為第二邊界框1112之高度及寬度。邊界框之高度及寬度可用像素表示，且接著可藉由考慮像素之大小將其轉換為SI單位。舉例而言，若單一像素之大小為0.01 nm，則彼值可與邊界框之高度及寬度（以像素為單位）相乘以獲得缺陷之大小。

圖12展示圖1中所示之缺陷偵測階段130之第二示例實施。具體而言，圖12展示使用影像分段之第二示例實施。影像分段可為一過程，藉由該過程可將影像之區段劃分為特定類型或類別之區。類似於圖11中所示之第一示例實施之第二示例實施可包括CNN 1220。可利用若干已知之影像分段架構中之任一者來實施缺陷偵測階段130。此類架構可包括例如遮罩R-CNN、U-Net、BlitzNet等。可使用二進位遮罩作為與影像相關聯之標記來訓練CNN 1220。二進位遮罩可包括與原始影像尺寸相同之數組。數組可包括指示物件在影像中之位置之二進位值（例如，0及1）。舉例而言，可將1包括於對應於物件在原始影像中出現之方位的數組中之方位中。數組之剩餘部分用0填充。每一物件作為相關聯遮罩。因此，每一類別之缺陷可包括可在其上訓練CNN 1220之相關聯遮罩。可訓練CNN 1220以基於包括缺陷及對應二進位遮罩作為標記之影像集合來擷取特徵。當包括缺陷之輸入影像經提供至CNN 1220時，CNN1220可輸出像素遮罩，其中所聲稱之缺陷上之像素可用偵測到之缺陷類型來標記。像素遮罩（在圖12中以灰色陰影展示）為估計缺陷之大小提供最精細之粒度。可基於覆蓋缺陷之像素數目及影像中單一像素之大小來判定缺陷之大小。舉例而言，可基於標記有缺陷類型之像素級周界來判定缺陷之大小。

在一些示例中，上文關於圖11及12所論述之缺陷偵測及影像分段可在相同之神經網路上實施。具體而言，允許共用權重之單一CNN可改良此兩個任務之準確度，而非針對此兩個任務訓練個別CNN。缺陷偵測及影像分段網路均可共用相同之影像特徵編碼器網路，每一輸出具有單獨之解碼器網路頭。舉例而言，輸出邊界框位置之一個解碼器網路，及輸出像素階段分段遮罩之另一解碼器網路。在用經標記缺陷邊界框及影像標記遮罩訓練影像之情況下，解碼器頭通常使用多階段方法與特徵編碼器網路一起共同訓練，其中首先訓練頭，隨後微調整個網路。在推理期間，經訓練之網路輸出缺陷偵測及其分段遮罩。此方法改良效率，此係由於大部分計算由影像編碼器網路進行，該網路現在由偵測及影像分段網路共用。

圖13展示示例情境感知模組1300之方塊圖。情境感知模組1300可向本文中所論述之缺陷偵測過程100提供額外功能性。具體而言，情境感知模組可判定由缺陷偵測過程100偵測到之缺陷之重要性。大多數缺陷偵測系統僅判定基板上之缺陷類型，但不提供缺陷之嚴重程度之位凖。缺陷之嚴重程度不僅取決於缺陷類型，亦取決於缺陷在基板上之位置。大多數缺陷偵測系統亦不對基板進行整體評估。舉例而言，基板可能係無缺陷的，但仍無法達到基板表面上之色彩變化性之所欲標準。

情境感知模組1300可偵測基板之關鍵區，其中若存在缺陷，則彼等區中安裝之組件之效能會劣化。關鍵區可包括例如用於安裝昂貴之積體電路之表面安裝區域。情境感知模組1300亦可擷取基板描述檔以聚焦於基板之所欲層及其中之缺陷。

情境感知模組1300包括組件偵測器1306、色差偵測器1308及區偵測器1310。元件偵測器1306可偵測基板上之關鍵區，且判定由缺陷偵測過程100偵測到之任何缺陷是否影響關鍵區。色差偵測器1308偵測基板表面上之色差是否高於所欲之值。區偵測器1310可自基板之隔離之組件或層的基板描述檔（諸如例如，(Gerber)檔）產生影像，且判定在特定組件或層處是否出現任何缺陷。

情境感知模組1300可自資料庫128接收關於由缺陷偵測過程100偵測到之缺陷之類型、大小及位置之資訊。情境感知模組1300亦可接收參考基板以及輸入基板之輸入基板影像108及Gerber檔1304。組件偵測器1306可包括用於物件偵測1316之經訓練模型1314。物件偵測1316可類似於上文關於圖11所論述之缺陷偵測階段130。然而，與偵測缺陷之缺陷偵測階段130不同，圖13中之物件偵測1316偵測基板中之關鍵區域。此等關鍵區域可包括諸如積體電路安裝件、球柵陣列等之區。為此，經訓練模型1314可在包括關鍵區域以及識別關鍵區域之標記之影像資料集上訓練。物件偵測1316可以類似於上文關於圖11所論述之邊界框之方式偵測基板上之關鍵區域之位置。舉例而言，情境感知模組1300可儲存與基板上識別出之每一關鍵區域相關聯之資料物件。舉例而言，資料物件可包括關鍵區域之位置（例如，邊界框之隅角之x-y座標）、關鍵區域之大小（例如，邊界框之大小、與關鍵區域相關聯之像素集合之位置等）、關鍵區域之類型（例如，球柵陣列、電源跡線等）及與關鍵區域相關聯之任何其他屬性。組件偵測器1306可接著交叉參考關鍵區域之位置與包括於資料庫128中之缺陷之位置及大小。若判定在一或多個關鍵區域處存在任何缺陷，則組件偵測器1306可產生指示缺陷及關鍵區域之細節之訊息。

基板之製造製程會在基板表面上引入非所欲之色彩變化。色差偵測器1308可包括色彩空間轉換階段1318、組件遮蔽階段1320及強度比較階段1322。色彩空間轉換階段1318可將輸入基板影像108轉換成適當之色彩空間，諸如例如，色相飽和值(HSV)色彩空間、青-品紅-黃(CMY)色彩空間、CIE XYZ色彩空間等。組件遮蔽階段1320可讀取Gerber檔以遮蔽對應於諸如跡線、焊料遮罩及印刷區之組件之經轉換影像的各種區。強度比較階段1322可判定影像之各種區之間的強度變化。舉例而言，強度比較階段1322可判定影像之各種部分中之平均局部強度變化或平均像素強度。強度比較階段1322可例如基於柵格來判定各種部分，其中柵格之每一部分對應於一部分，且強度比較階段1322可判定柵格中之每一部分中之平均強度，且比較柵格中各種部分之平均強度以判定局部強度變化。在一些示例中，可在灰度中或在色彩空間之每一通道內判定強度。強度比較階段1322可接著判定此等值是否超過預定臨限值。若值超過臨限值，則色差偵測器1308可指示在輸入基板中存在非所欲之色彩變化。

區偵測器1310可顯示在基板中之感興趣區中存在缺陷之視覺指示。區偵測器310包括Gerber-PCB對位階段1324、區遮蔽階段1326及二值化及形態學階段1328。Gerber-PCB對位階段1324將缺陷之影像與基板之影像對準。具體而言，資料庫128不僅提供缺陷之影像，且亦提供參考基板影像110中彼等缺陷之大小及位置。參考基板影像110之Gerber檔可包括各種層及其在基板上之位置之資訊。Gerber-PCB對位階段1324可映射缺陷之位置資訊以將缺陷之影像疊加於其在基板影像上之適當位置處。基板影像可藉由使用常用轉換器將Gerber檔轉換為影像而獲得，或可利用Gerber檔中之位置資訊將缺陷定位於參考基板影像110上之正確位置處。區偵測器1310可接收指定參考基板影像110中之感興趣區之使用者輸入。舉例而言，使用者可能對檢視僅在基板之某些層或基板之某些區中之缺陷感興趣。Gerber檔可包括關於此等層及區之資訊。區遮蔽階段1326可遮蔽參考基板影像110中不在感興趣區中之區或層，且將缺陷影像重疊於感興趣區上。二值化及形態學階段1328可轉換影像以顯示具有重疊缺陷影像之感興趣區之二值化（兩個強度位凖）版本。二值化及形態學階段1328亦可執行與上文關於影像處理階段102所論述之彼等形態學運算類似之形態學運算，以過濾影像以移除雜訊或非所欲之影像偽影。

可接受性規則/設定檔階段1312可儲存與特定供應商之品質控制及可接受性標準相一致之規則及設定檔。此等規則及設定檔可因應用及供應商而異。舉例而言，基板之球柵陣列部分中之缺陷在一些應用中可能是關鍵的，而在其他應用中不是關鍵的。可接受性規則/設定檔階段1312可自組件偵測器1306、色差偵測器1308或區偵測器1310接收指示其各自結果之邏輯輸入。舉例而言，組件偵測器階段1306可提供指示一或多個缺陷出現於基板之特定區域（諸如球柵陣列）中之邏輯輸出。可接受性規則/設定檔階段1312可儲存指示球柵陣列是否為關鍵區域之規則，及若在彼區域中偵測到缺陷則要採取之動作。可接受性規則/設定檔階段1312可基於規則或設定檔及自組件偵測器1306接收到之輸出來產生輸出。可接受性規則/設定檔階段1312可接收關鍵區域中之缺陷及與關鍵區域相關聯之資料物件之資訊。可接受性規則/設定檔階段1312可基於缺陷與關鍵區域之間的重疊程度或缺陷類型中之至少一者來判定缺陷之嚴重程度。舉例而言，可接受性規則/設定檔階段1312可判定缺陷之區域之間的重疊百分比（例如，基於缺陷之位置及邊界框大小或包圍缺陷之像素級周界之大小）及關鍵區域之面積（例如，基於關鍵區域之位置及邊界框之大小或包圍關鍵區域之像素級周界）。可接受性規則/設定檔階段1312可接著基於重疊之百分比來判定嚴重程度。在一些示例中，可接受性規則/設定檔階段1312可判定缺陷類型（例如，短路）及關鍵區域類型（例如，球柵陣列、電源或接地跡線等）。可接受性規則/設定檔階段1312可在記憶體中儲存缺陷類型及關鍵區域類型與相關聯之嚴重程度位凖之組合的集合。基於與所儲存之組合匹配，可接受性規則/設定檔階段1312可判定缺陷之嚴重程度。在一些示例中，可接受性規則/設定檔階段1312可基於重疊程度與類型組合（例如，加權和）之組合來判定缺陷之嚴重程度。

圖14展示根據一些實施之可用於實施本文中所論述之過程及模組中之任一者的說明性電腦系統1400之一般架構。電腦系統1400包含與記憶體1408通信地耦接之一或多個處理器1406、一或多個通信介面1410，及一或多個輸出裝置1402（例如，一或多個顯示單元）及一或多個輸入裝置1404。

在電腦系統1400中，記憶體1408可包含任何電腦可讀取儲存媒體，且可儲存電腦指令，諸如用於實施本文中針對各別系統所描述之各種功能性之處理器可執行指令，以及與之相關、由此產生或經由通信介面或輸入裝置（若存在）接收到之任何資料。具體而言，記憶體1408可儲存與上文關於圖1至13所論述之缺陷偵測過程100及情境感知模組1300有關之指令。此外，記憶體1408可儲存與訓練本文中所論述之一或多個人工神經網路、本文中所論述之資料庫128、本文中所論述之影像資料等相關聯之資料集。

處理器1406可用於執行儲存於記憶體1408中之指令，且在如此做時，亦可自記憶體讀取或向記憶體寫入根據指令之執行而處理及/或產生之各種資訊。電腦系統1400之處理器1406亦可通信地耦接至通信介面1410或控制該通信介面根據指令之執行來傳輸或接收各種資訊。舉例而言，通信介面1410可耦接至有線或無線網路、匯流排或其他通信構件，且因此可允許電腦系統1400向其他裝置（例如，其他電腦系統）發送資訊或自其他裝置接收資訊。雖然在電腦系統1400中未明確展示，但一或多個通信介面促進系統1400之組件之間的資訊流動。在一些實施中，通信介面1410可經組態（例如，經由各種硬體組件或軟體組件）以提供網站作為對電腦系統1400之至少一些態樣之存取入口網站。通信介面1410之示例包括使用者介面（例如，網頁），使用者可經由該等使用者介面與電腦系統1400通信。在一些示例中，處理器1406可包括圖形處理單元，其可用於處理本文中所論述之人工神經網路之一或多個層或階段。

可提供電腦系統1400之輸出裝置1402例如以允許結合指令之執行檢視或以其他方式感知各種資訊。輸入裝置1404可經提供例如以允許使用者在指令之執行期間進行手動調整、進行選擇、輸入資料或以各種方式中之任一種與處理器交互。本文中進一步提供與可用於本文中所論述之各種系統之通用電腦系統架構相關之額外資訊。

本說明書中所描述之主題及操作之實施可在數位電子電路系統中實施，或在有形媒體、韌體或硬體上體現之電腦軟體中實施，包括本說明書中所揭示之結構及其結構等同物，或其中之一或多者之組合。在本說明書中所描述之主題之實施可實施為一或多個電腦程式，即電腦程式指令之一或多個組件，其經編碼於電腦儲存媒體上以用於由資料處理設備執行或控制資料處理設備之操作。程式指令可經編碼於人工產生之傳播信號（例如，機器產生之電、光或電磁信號）上，該信號經產生以編碼資訊以傳輸至合適之接收器設備以由資料處理設備執行。電腦儲存媒體可為電腦可讀取儲存裝置、電腦可讀取儲存基板、隨機或串行存取記憶體陣列或裝置，或其中之一或多者之組合，或包括於上述者中。此外，雖然電腦儲存媒體不是傳播信號，但電腦儲存媒體可包括在人工產生之傳播信號中編碼之電腦程式指令之源或目的地。電腦儲存媒體亦可為一或多個個別物理組件或媒體（例如，多個CD、磁盤或其他儲存裝置），或包括於其中。

對本發明中所描述之實施之各種修改對於熟習此項技術者而言可為顯而易見的，且本文中所定義之通用原理可應用於其他實施而不脫離本發明之精神或範疇。因此，技術方案不旨在限於本文中所示之實施，而是應符合與本文中所揭示之本發明、原理及新穎特徵一致之最寬範疇。

100:缺陷偵測過程 102:影像處理階段 104:缺陷存在分類器階段 104a:第一缺陷存在分類器階段 104b:第二缺陷存在分類器階段 106:缺陷表徵階段 108:輸入基板影像 110:參考基板影像 114:關鍵點偵測階段 116:對位階段 118:減法階段 120:濾波階段 122:經訓練模型 124:鑲嵌過程 126:分類階段 128:資料庫 130:缺陷偵測階段 132:缺陷分割階段 202:第一參考影像關鍵點 204:第二參考影像關鍵點 206:第一輸入影像關鍵點 208:第二輸入影像關鍵點 302:第一缺陷 304:第二缺陷 306:第三缺陷 400:差分影像 502:第一影像塊 504:第二影像塊 506:第三影像塊 600:過程 604:步驟 606:步驟 608:步驟 610:步驟 612:步驟 614:步驟 702:窗口 800:第一示例分類器 802:卷積層 804:深度神經網路 806:輸出層 900:第二示例分類器 902:卷積層 904:深度神經網路 906:輸出層 1000:第三示例分類器 1002:編碼器 1004:解碼器 1006:鑑別器 1008:潛碼 1010:輸入影像 1012:輸出影像 1100:影像 1102:第一互連件 1104:缺陷 1106:第一邊界框 1108:第二互連件 1110:標記 1112:第二邊界框 1114:經標記影像 1116:CNN 1202:經標記影像 1206:缺陷 1220:CNN 1300:情境感知模組 1302:輸入PCB影像 1304:Gerber檔 1306:組件偵測器 1308:色差偵測器 1310:區偵測器 1312:可接受性規則/設定檔階段 1314:經訓練模型 1316:物件偵測 1318:色彩空間轉換階段 1320:組件遮蔽階段 1322:強度比較階段 1324:Gerber-PCB對位階段 1326:區遮蔽階段 1328:二值化及形態學階段 1330:缺陷交叉參考 1400:電腦系統 1402:輸出裝置 1404:輸入裝置 1406:處理器 1408:記憶體 1410:通信介面

圖1展示示例缺陷偵測過程之流程圖。

圖2展示輸入基板影像及參考基板影像之部分中之關鍵點偵測。

圖3展示圖2中所示的影像之影像對位之示例結果。

圖4展示作為輸入基板影像與參考基板影像之間的差分運算之結果之示例差分影像。

圖5展示由缺陷偵測過程產生之示例影像塊。

圖6展示在缺陷存在分類器階段由缺陷偵測過程執行之示例過程之流程圖。

圖7展示影像塊上之示例鑲嵌過程。

圖8展示可用於實施圖1中所示之分類階段之第一示例分類器。

圖9展示可用於實施圖1中所示之分類階段之第二示例分類器。

圖10展示可用於實施圖1中所示之分類階段之第三示例分類器。

圖11展示圖1中所示之缺陷偵測階段之第一示例實施。

圖12展示圖1中所示之缺陷偵測階段之第二示例實施。

圖13展示示例情境感知模組(context aware module)之方塊圖。

圖14展示可用於實施本文中所論述之過程及模組中之任一者之說明性電腦系統之一般架構。

各種圖式中之類似參考編號及名稱指示類似元件。

102:影像處理階段

104:缺陷存在分類器階段

104a:第一缺陷存在分類器階段

104b:第二缺陷存在分類器階段

106:缺陷表徵階段

108:輸入基板影像

110:參考基板影像

114:關鍵點偵測階段

116:對位階段

118:減法階段

120:濾波階段

122:經訓練模型

124:鑲嵌過程

126:分類階段

128:資料庫

130:缺陷偵測階段

132:缺陷分割階段

Claims (34)

1. 一種方法，其包含： 接收一電子基板之一輸入基板影像； 基於該輸入基板影像與一參考基板影像之比較產生一差分影像； 基於該差分影像識別包括該基板中之一潛在缺陷的至少一個潛在缺陷影像區； 基於使該至少一個潛在缺陷影像區與該參考基板影像的相關性，產生包括該至少一個潛在缺陷影像區之至少一個影像塊； 基於用一缺陷存在分類器處理該至少一個影像塊，自該至少一個影像塊產生一經分類缺陷影像塊集合，該缺陷存在分類器將該至少一個影像塊中之每一者分類為含有或不含有一缺陷，其中處理針對該至少一個影像塊中之每一影像塊包括： 將一窗口定位於該每一影像塊內之各種方位處，該窗口之一大小小於該每一影像塊之一大小， 判定該每一影像塊之對應於該每一影像塊內之該窗口之該等各種位置之部分， 用該缺陷存在分類器處理該每一影像塊之該等部分，及 基於判定該等部分中之至少一者包含一缺陷，將該每一影像塊分類為包含一缺陷； 基於用一缺陷類型分類器處理該經分類缺陷影像塊集合，判定與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之一缺陷類型，該缺陷類型分類器用選自一缺陷類型集合之一缺陷類型對每一經分類缺陷影像塊進行分類； 判定該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之一缺陷在該電子基板上之一位置及一大小；及 在一資料庫中儲存與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之該缺陷之該缺陷類型、該位置及該大小。
2. 如請求項1之方法，其進一步包含： 在產生該差分影像前，將該輸入基板影像與該參考基板影像對準。
3. 如請求項1之方法，其進一步包含： 基於強度臨限值濾波及形態濾波中之至少一者對該差分影像進行濾波以識別該至少一個潛在缺陷影像區。
4. 如請求項1之方法，其進一步包含：基於一連接組件演算法來判定潛在缺陷之連續區。
5. 如請求項1之方法，其中該經分類缺陷影像塊集合基於用一或多個額外缺陷存在分類器之處理而在大小上逐漸減小。
6. 如請求項1之方法，其中該缺陷類型包括環形環、焊點及組件未對準中之至少一者。
7. 如請求項1之方法，其進一步包含： 將該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之該缺陷之該位置及大小與描述該電子基板之關鍵結構之一資料物件進行交叉參考；及 基於該經分類缺陷影像塊中之該缺陷與該電子基板之該等關鍵結構之間之重迭程度或與該經分類缺陷影像塊相關聯之一缺陷類型中之至少一者來判定每一經分類缺陷影像塊中之缺陷之一嚴重程度。
8. 如請求項1之方法，其中基於包圍一缺陷之一邊界框、包圍該缺陷之一旋轉邊界框或包圍該缺陷之一像素階段(pixel-wise)周界中之至少一者來判定每一經分類缺陷影像塊中之該缺陷之該大小。
9. 如請求項1之方法，其中該缺陷存在分類器係在基於一自動編碼器與一生成對抗網路(GAN)之一組合產生之影像上訓練。
10. 如請求項1之方法，其進一步包含： 對該輸入基板影像中之複數個區進行遮蔽，該複數個區包括一跡線、一焊料遮罩及印刷區中之至少一者； 判定該輸入基板影像之各種區之間的一平均局部強度變化； 在該資料庫中儲存基於該平均局部強度變化超過一臨限值之色彩變化之指示。
11. 一種非揮發性電腦可讀取儲存媒體，其包括儲存於其中之指令，該等指令在由一處理器執行時使得該處理器進行下述方法： 接收一電子基板之一輸入基板影像； 基於該輸入基板影像與一參考基板影像之比較產生一差分影像； 基於該差分影像識別包括在該基板中之一潛在缺陷的至少一個潛在缺陷影像區； 基於該至少一個潛在缺陷影像區與該參考基板影像之相關性，產生對應於該至少一個潛在缺陷影像區之至少一個影像塊； 基於用一缺陷存在分類器處理該至少一個影像塊，自該至少一個影像塊產生一經分類缺陷影像塊集合，該缺陷存在分類器將該至少一個影像塊中之每一者分類為含有或不含有一缺陷，其中處理針對該複數個影像塊中之每一影像塊包括： 將一窗口定位於該每一影像塊內之各種方位處，該窗口之一大小小於該每一影像塊之一大小， 判定該每一影像塊之對應於該每一影像塊內之該窗口之該等各種位置之部分， 用該缺陷存在分類器處理該每一影像塊之該等部分，及 基於判定該等部分中之至少一者包含一缺陷，將該每一影像塊分類為包含一缺陷； 基於用一缺陷類型分類器處理該經分類缺陷影像塊集合，判定與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之一缺陷類型，該缺陷類型分類器用選自一缺陷類型集合之一缺陷類型對每一經分類缺陷影像塊進行分類； 判定該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之一缺陷在該電子基板上之一位置及一大小；及 在一資料庫中儲存與該經分類缺陷影像塊集合中之每一經分類缺陷影像塊相關聯之該缺陷之該缺陷類型、該位置及該大小。
12. 如請求項11之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 在產生該差分影像前，將該輸入基板影像與該參考基板影像對準。
13. 如請求項11之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 基於強度臨限值濾波及形態濾波中之至少一者對該差分影像進行濾波以識別該至少一個潛在缺陷影像區。
14. 如請求項11之非揮發性電腦可讀取儲存媒體，該方法進一步包含：基於一連接組件演算法來判定潛在缺陷之連續區。
15. 如請求項11之非揮發性電腦可讀取儲存媒體，其中該經分類缺陷影像塊集合基於用一或多個額外缺陷存在分類器之處理而在大小上逐漸減小。
16. 如請求項11之非揮發性電腦可讀取儲存媒體，其中該缺陷類型包括環形環、焊點及組件未對準中之至少一者。
17. 如請求項11之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 將該經分類缺陷影像塊集合中之每一經分類缺陷影像塊中之該缺陷之該位置及大小與描述該電子基板之關鍵結構之一資料物件進行交叉參考；及 基於該經分類缺陷影像塊中之該缺陷與該電子基板之該等關鍵結構之間之重迭程度或與該經分類缺陷影像塊相關聯之一缺陷類型中之至少一者來判定每一經分類缺陷影像塊中之缺陷之一嚴重程度。
18. 如請求項11之非揮發性電腦可讀取儲存媒體，其中基於包圍一缺陷之一邊界框、包圍該缺陷之一旋轉邊界框或包圍該缺陷之一像素階段周界中之至少一者來判定每一經分類缺陷影像塊中之該缺陷之該大小。
19. 一種方法，其包含： 識別一電子基板之一輸入基板影像中之複數個潛在缺陷影像區； 產生對應於該複數個潛在缺陷影像區之複數個影像塊，該複數個影像塊中之每一影像塊包括該複數個潛在缺陷影像區中之至少一個潛在缺陷影像區； 用一第一缺陷存在分類器處理該複數個影像塊，該第一缺陷存在分類器將該複數個影像塊中之每一者分類為含有或不含有一缺陷以自該複數個影像塊識別含有缺陷之一影像塊集合； 用一或多個額外缺陷存在分類器階段處理含有缺陷之該影像塊集合，該一或多個額外缺陷存在分類器階段中之每一者具有一寬度參數或一深度參數中之至少一者，該寬度參數或該深度參數大於前一缺陷存在分類器階段之對應參數，該一或多個額外缺陷存在分類器階段中之每一者識別等於或小於含有由前一缺陷存在分類器階段識別出之缺陷之影像塊之一數目的含有缺陷之影像塊之一數目，該一或多個額外缺陷存在分類器階段之一最末缺陷存在分類器階段識別含有缺陷之一最終影像塊集合； 判定含有缺陷之該最終影像塊集合中之一或多個缺陷在該電子基板上之一位置、一大小及一類型；及 在一資料結構中儲存該一或多個缺陷之該位置、該大小及該類型。
20. 如請求項19之方法，其中在該一或多個額外缺陷存在分類器階段之一神經網路中之一或多個階段中使用之神經元之一數目大於在一前一缺陷存在分類器階段之一神經網路中之一或多個階段中之對應一者中使用之神經元之一數目。
21. 如請求項19之方法，其中該一或多個額外缺陷存在分類器階段中之一缺陷存在分類器階段之一神經網路中的層之一數目大於一前一缺陷存在分類器階段之一神經網路中之層的一數目。
22. 如請求項19之方法，其中用於訓練該一或多個額外缺陷存在分類器階段中之一缺陷存在分類器階段之一資料集之一大小大於用於訓練一前一缺陷存在分類器階段之一資料集之一大小。
23. 如請求項19之方法，其進一步包含： 在缺陷偵測期間監視含有由該一或多個額外缺陷存在分類器階段中之每一者識別出之缺陷之影像塊之一數目之一減少， 識別該一或多個額外缺陷存在分類器階段之一中間缺陷存在分類器階段，在該中間缺陷存在分類器階段之後，含有由每一後續缺陷存在分類器階段識別出之缺陷之影像塊之該數目不減少；及 自處理移除該一或多個額外缺陷存在分類器階段中之定位於該中間缺陷存在分類器階段之後的缺陷存在分類器階段。
24. 如請求項19之方法，其進一步包含： 在該一或多個額外缺陷存在分類器階段中逐漸添加缺陷存在分類器階段，直至包含由每一經添加缺陷存在分類器階段識別出之缺陷之影像塊之一數目停止減少為止。
25. 如請求項19之方法，其進一步包含： 偵測額外計算資源之可用性；及 回應於偵測到額外計算資源之可用性，將缺陷存在分類器階段添加至該一或多個額外缺陷存在分類器階段，使得不影響處理該影像塊集合之總時間。
26. 如請求項19之方法，其進一步包含： 判定用於處理該影像塊集合之一時間量大於一臨限值， 回應於判定用於處理該影像塊集合之該時間量大於該臨限值，自該一或多個額外缺陷存在分類器階段減少缺陷存在分類器階段之一數目。
27. 一種非揮發性電腦可讀取儲存媒體，其包括儲存於其中之指令，該等指令在由一處理器執行時使得該處理器進行下述方法： 識別一電子基板之一輸入基板影像中之複數個潛在缺陷影像區； 產生對應於該複數個潛在缺陷影像區之複數個影像塊，該複數個影像塊中之每一影像塊包括該複數個潛在缺陷影像區中之至少一個潛在缺陷影像區； 用一第一缺陷存在分類器處理該複數個影像塊，該第一缺陷存在分類器將該複數個影像塊中之每一者分類為含有或不含有一缺陷以自該複數個影像塊識別含有缺陷之一影像塊集合； 用一或多個額外缺陷存在分類器階段處理含有缺陷之該影像塊集合，該一或多個額外缺陷存在分類器階段中之每一者具有一寬度參數或一深度參數中之至少一者，該寬度參數或該深度參數大於前一缺陷存在分類器階段之對應參數，該一或多個額外分類器階段中之每一者識別等於或小於含有由前一缺陷存在分類器階段識別出之缺陷之影像塊之一數目的含有缺陷之影像塊之一數目，該一或多個額外缺陷存在分類器階段之一最末缺陷存在分類器階段識別含有缺陷之一最終影像塊集合； 判定含有缺陷之該最終影像塊集合中之一或多個缺陷在該電子基板上之一位置、一大小及一類型；及 在一資料結構中儲存該一或多個缺陷之該位置、該大小及該類型。
28. 如請求項27之非揮發性電腦可讀取儲存媒體，其中在該一或多個額外缺陷存在分類器階段之一神經網路中之一或多個階段中使用之神經元之一數目大於在一前一缺陷存在分類器階段之一神經網路中之一或多個階段中之對應一者中使用之神經元之一數目。
29. 如請求項27之非揮發性電腦可讀取儲存媒體，其中該一或多個額外缺陷存在分類器階段中之一缺陷存在分類器階段之一神經網路中的層之一數目大於一前一缺陷存在分類器階段之一神經網路中之層的一數目。
30. 如請求項27之非揮發性電腦可讀取儲存媒體，其中用於訓練該一或多個額外缺陷存在分類器階段中之一缺陷存在分類器階段之一資料集之一大小大於用於訓練一前一缺陷存在分類器階段之一資料集之一大小。
31. 如請求項27之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 在缺陷偵測期間監視含有由該一或多個額外缺陷存在分類器階段中之每一者識別出之缺陷之影像塊之一數目之一減少， 識別該一或多個額外缺陷存在分類器階段之一中間缺陷存在分類器階段，在該中間缺陷存在分類器階段之後，含有由每一後續缺陷存在分類器階段識別出之缺陷之影像塊之該數目不減少；及 自處理移除該一或多個額外缺陷存在分類器階段中之定位於該中間缺陷存在分類器階段之後的缺陷存在分類器階段。
32. 如請求項27之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 在該一或多個額外缺陷存在分類器階段中逐漸添加缺陷存在分類器階段，直至包含由每一經添加缺陷存在分類器階段識別出之缺陷之影像塊之一數目停止減少為止。
33. 如請求項27之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 偵測額外計算資源之可用性；及 回應於偵測到額外計算資源之可用性，將缺陷存在分類器階段添加至該一或多個額外缺陷存在分類器階段，使得不影響處理該影像塊集合之總時間。
34. 如請求項27之非揮發性電腦可讀取儲存媒體，該方法進一步包含： 判定用於處理該影像塊集合之一時間量大於一臨限值， 回應於判定用於處理該影像塊集合之該時間量大於該臨限值，自該一或多個額外缺陷存在分類器階段減少缺陷存在分類器階段階段之一數目。

Images