TW202331238A - 自動化缺陷偵測的方法與設備 - Google Patents

Abstract

在用於自動化檢測的方法與設備中，獲取受檢測物件的影像以及產生差異影像，該差異影像示出該獲取影像與該相同類型的無缺陷物件的參考影像之間的差異。該差異影像的特徵，或該差異影像的偵測分離區，被傳遞到自動化缺陷分類器，以將該受檢測物件中的缺陷進行分類。該差異影像的特徵可以是該差異影像的像素或從其判定的特徵。該特徵可例如使用神經網路提取。該自動化缺陷分類器使用差異影像進行訓練並且可在操作中基於操作員分類與使用由操作員識別的缺陷之模擬影像進行進一步訓練。

Description

自動化缺陷偵測的方法與設備

本發明涉及一種自動化缺陷偵測的方法與設備。 相關申請案

本申請案主張下述之權益： •     序列號為63/324,342的臨時申請案，於2022年3月28日提交，標題為「使用機器學習對孤立缺陷進行超音波缺陷分類(Ultrasonic Defect Classification of Isolated Defects using Machine Learning)」， •     序列號為63/297,601的臨時申請案，於2022年1月7日提交，標題為「用於自動化缺陷分類的模擬動態預訓練(Simulated Dynamic Pretraining for Automated Defect Classification)」，以及 •     序列號為63/280,511的臨時申請案，於2021年11月17日提交，標題為「機器學習模型的迴路內操作員訓練(Operator-in-the-loop Training of a Machine Learning Model)」。

這些申請案的全部內容透過引用結合於此。

在製造之後，可以檢測裝置以偵測缺陷。這可以防止有缺陷的產品進入市場。作為檢測的輔助手段，可以獲取裝置的影像。例如，光學顯微術影像或掃描超音波顯微術影像可用於幫助偵測小型裝置中的表面缺陷，而掃描超音波顯微術影像或X射線影像可用於偵測裝置內的缺陷。

一般而言，操作員接受過檢驗這些影像以識別裝置中的缺陷的培訓。然而，這需要廣泛的培訓，此外，由於低對比度缺陷、操作員間差異、疲勞和要分析的裝置數量龐大，該過程容易出錯。

有多種方法可以自動分析這些影像以偵測缺陷。然而，要分析的不同裝置的數量、裝置本身的複雜性以及缺陷樣本的有限數量可能導致很難獲取足夠的資料來訓練自動化分類器。

與

本文描述的各種設備及裝置提供了用於基於所獲取的裝置影像自動偵測和分類裝置中缺陷的機制。

儘管本揭露容許許多不同形式的實施例，但在圖式中示出並將在本文中詳細描述具體實施例，應理解本文示出和描述的實施例應被視為提供本揭露的原理之實例，並非目的在於限制本揭露於示出與描述的特定實施例。在以下說明中，相似參考編號被用於描述圖式些許視角中相同、相似或對應部分。為了說明的簡單和清楚，可以在圖式中重複參考編號以指示相應或類似的元件。

裝置中缺陷的自動化偵測與分類可以是基於裝置的獲取影像。影像可透過使用相機或偵測器獲取，以捕捉例如可見光、紅外線光或X射線等電磁輻射。替代地，可從掃描物件獲得影像，諸如使用掃描聲波顯微鏡或磁共振成像(MRI)掃描的超音波掃描。

例如，在用於半導體裝置非破壞性檢驗的掃描超音波顯微術環境中，機械掃描設備可以在正交(X和Y)方向上橫跨被測裝置移動超音波轉換器，在期望區域上從多個反射或發送脈衝構建影像。一或多個此類裝置的影像是自動化缺陷分類器的輸入。超音波成像特別擅於識別分層、空隙、意外熔合或橋接、裂紋以及半導體分析中常見的其他此類缺陷。這些掃描可以在晶圓、個別裝置、半導體封裝(如積體電路)和其他此類樣本上進行。

一般而言，操作員接受過檢驗這些影像以識別裝置中的缺陷的培訓。這需要廣泛的培訓，且由於低對比度缺陷、操作員間差異、疲勞和要分析的裝置數量龐大，該過程容易出錯。

有多種方法可以自動分析這些影像以找到並分類缺陷。然而，要分析的不同裝置的數量、裝置本身的複雜性以及缺陷樣本的有限數量可能導致很難獲取足夠的資料來訓練自動化分類器。

在現有的自動化系統中，使用原始缺陷影像或從中導出的特徵。原始影像包括被測裝置的結構，因此自動分類器必須學習如何從裝置結構中分離出該等缺陷。根據本揭露，在分類中使用獲取的影像和參考影像之間的差異，而並非使用原始影像。這將缺陷從特定裝置類型中分離出開來並簡化了訓練過程。可以根據諸如尺寸、形狀、紋理、對比度等傳統影像測量值對差異影像中分離出的缺陷進行有用地分析，並使用分類器將這些缺陷識別為裂紋、刮痕、空隙、意外融合等這樣類別的缺陷。或者，可以使用基於ML的分類器分析影像。如下所述，可以透過多種方式獲得差異，包括參考影像的簡單減法。

識別出的缺陷類型可以選擇性地與缺陷位置相關聯，以進行更詳細的分類，例如裝置特定部分的空隙。

這種方法的一個特別好處是可以在許多不同的裝置中看到分離出的缺陷類型，從而允許將經過訓練的分類器應用於多種裝置，而無需從每個生產的裝置獲取缺陷樣本，並且每次都訓練或重新訓練分類器。

圖1是根據各種實施例之用於自動化缺陷分類的設備100的方塊圖。設備100包括影像擷取裝置102，例如掃描超音波顯微鏡或相機。影像擷取裝置102產生儲存在儲存器106中的影像儲存104中的數位影像。儲存器106還儲存一或多參考影像108用於與獲取的影像進行比較。設備100還包括一或多處理器110。這些可包括可程式處理器、專用硬體或其組合。據此，儲存器106也可儲存有處理器可執行指令之一程式。一或多個處理器實現縮放和對齊區塊112，其調整、縮放和正規化獲取的影像以更佳與參考影像對齊，以及差分器114判定差異影像。在一個實施例中，透過從獲取的影像的像素值中減去參考影像的像素值來產生差異影像(或反之亦然)。下文中說明其他實施例。可選地，當多個參考影像可用時，可以測量影像之間的差異統計數據並用於縮放差異影像。偵測器116從差異影像識別出是否有任何區顯示顯著差異或異常。特別是，偵測器識別出差異影像中分離出的異常。當偵測到異常時，相關聯資訊被傳遞至分類器118。關聯資訊可以是差異影像的像素120或差異影像示出差異的區，或該區的特徵122(諸如，形狀、尺寸、對比度、紋理、位置等)。在一個實施例中，像素被傳遞至自動化特徵提取器124，例如神經網路。分類器118輸出分類資訊126，包括缺陷類別。分類資訊還可以包括通過/失敗指示符。例如，對應的分類可以經由操作員介面128展示給操作人員及/或儲存在儲存器106中130處。分類資訊126也可被傳遞至控制器132。回應於該分類資訊，控制器132可控制受測裝置的傳送與掃描。除了缺陷的分類之外，分類資訊126可包括缺陷的位置及/或程度，以及分類的信賴水準。為此，儲存器106還可以包含與無缺陷裝置的影像之間的預期差異相關的元資料134，以及諸如感興趣區的指定或被測裝置的重要性等額外資訊。

如圖1所示的例示性實施例中，影像擷取裝置102是掃描聲波顯微鏡，其包括掃描器136，其在多個掃描位置處對受測物進行聲穿透；訊號獲取單元138，其從超音波接收器獲取訊號；以及影像建構器140，其測量時間選通訊號(time-gated signal)並產生在各時間窗中該掃描位置處的接收密度影像。在一種應用中，受測物是包含多個裝置(晶片)的晶圓。在本應用中，子影像提取器142提取要檢測的各個裝置的影像。

在一實施例中，影像中位置i、j處的差異影像被計算為絕對差(absolute difference) ， 其中i和j是像素索引，y(i,j)是被測裝置的獲取影像，以及m(i,j)是在N個參考影像x _n(i,j)上計算的平均參考影像為 。

在進一步實施例中，差值是計算為由標準差正規化的絕對差的統計差，即 。 其中λ是一個非負參數，以及標準差σ滿足 。

因此，參考影像的標準差小的像素值的差值將被給予更高的權重。

在又一實施例中，位置i、j處的差異影像由最小距離給出 。

在不背離本揭露的情況下，可以使用差值的其他度量。

圖2是根據表示實施例之產生用於與獲取影像比較之一或多參考影像方法的流程圖200。參考圖2，在區塊202獲取與被測裝置相同類型的無缺陷裝置的影像。例如，這些可能是相同類型的不同裝置的影像。在區塊204，形成一或多個參考影像。在一實施例中，影像被對齊和正規化(如果需要)，然後被取平均以提供單一參考影像。在區塊206，測量無缺陷影像的統計數據。例如，可以計算無缺陷影像的像素值的標準差。這允許對差異影像進行信賴度測試或對差異影像進行縮放。可選地，在區塊208，指定裝置的感興趣區。最終，在區塊210，儲存該一或多個參考影像，連帶儲存任何測得統計數據與指定感興趣區。

圖3是根據各表示實施例之偵測與分類裝置中缺陷的方法的流程圖300。在區塊302，獲取被測裝置的影像。例如，可以使用相機或掃描器獲取影像。替代地，可以從儲存器影像的資料庫中取回影像。在區塊304，影像被縮放和對齊以更好地匹配參考影像。例如，可以基於強度或對比度對影像進行正規化、平移及/或旋轉以及擴展或收縮。可以在子像素尺度上執行對齊以提高準確度。在區塊306，產生獲取影像與參考影像間的差異影像。差異影像可以透過裝置間差異的測量統計數據來進行縮放。

較佳地，在區塊308，透過施加邊緣增強、紋理提取或其他影像處理操作來增強差異影像。

在判定區塊310，判定該差異是否指示被測裝置中的缺陷。這可以透過偵測指定感興趣區內的分離異常完成。在一個實施例中，分離的異常是透過大小、角度、形狀、紋理、對比度和其他此類特徵來測得。如果沒有指示出缺陷，如來自決策區塊310的否定分支所描繪的，則該裝置被判斷為沒有缺陷並且流程返回到區塊302。否則，如決策區塊310的肯定分支所示，差異影像或測量的特徵被傳遞到自動缺陷分類器。所述偵測可以利用臨界值，例如最小差異強度、最小尺寸、相對於參考偏差的最小強度，或在傳遞差異以進行分類之前必須滿足的其他此類標準。

在區塊312，分離的缺陷被自動缺陷分類器識別和分類。此外，可以基於參考影像的統計數據連同缺陷的位置來產生分類的信賴水準的指示。在區塊314，報告缺陷類別和位置，以及分類的信賴水準。然後流程返回區塊302。

在一實施例中，可以使用先前識別的缺陷的特徵的K平均數叢聚來訓練分類器，將當前差異的分類返回到指定的缺陷類別之一。或者，可以將低信賴度分類分組為未分類差異，並可選地返回以進行人工檢測。本揭露的其他實施例可以使用其他種類的分類器，例如貝氏分類器、神經網路或機器學習領域中已知的其他分類器，其中任何一個都由返回多個潛在標識和信賴度強度之一者的單一分類器組成。

在上述方法中，分類器不需要區分裝置的特定結構和缺陷，因為裝置結構透過差分過程已被去除，從而分離出缺陷。這種方法的一個主要好處是不必為不同的裝置重新訓練分類器。訓練分類器識別分離出的不同類別缺陷就足夠了。

分類器可以使用已識別缺陷的特徵，例如大小、角度、形狀、紋理和對比度。替代地，可以從原始差異像素資料自動獲得用於分類的特徵向量。在一個實施例中，原始像素資料被傳遞到卷積神經網路(CNN)或其他神經網路，以提取特徵，然後將這些特徵饋送到基於特徵的分類器中。

因此，使用已知良好裝置的一個或多個參考影像，判定樣本影像與參考影像的差異。只有差異或差異的測量特徵被用於偵測和分類。

分類器(以及CNN或其他特徵產生器，如果使用的話)可以使用先前識別、手動分類和標記缺陷形式的訓練資料進行訓練。然而，由於只有提取的樣本影像和參考影像之間的差異被饋送到分類器中，所以可以在不重新訓練分類器的情況下測試不同的半導體裝置。

還可以報告分類的信賴水準，並且可以報告沒有足夠信賴度之分類差異以供人工檢測。

總之，透過將缺陷分離出的裝置影像與一或多個參考影像之間的差異，使用這些缺陷差異的多次測量來區分多個缺陷類別，從而對檢測影像(例如半導體裝置的超音波掃描)中的缺陷進行分類。具有低分類信賴度之差異也可以根據需要參考人工考慮。

迴路內操作員

機器學習(ML)模型訓練通常是一個漫長的過程，發生在將經過訓練的模型部署到生產環境之前。在此訓練期間，使用者不會從模型中獲得任何價值。此外，使用者通常不知道ML模型是否可以在不執行大量測試的情況下在真實環境中工作，這進一步延遲了部署。本揭露的實施例尋求消除冗長的預訓練，同時為操作員生產力提供直接價值。另一優勢在於ML模型在生產環境中不斷地使用真實世界的資料進行測試，從而消除「資料轉移(data shift)」的風險。資料轉移是人工智慧訓練和測試的資料與其在現實世界中遇到的資料之間的不匹配。

圖4是根據各種實施例之用於訓練用於檢測系統中缺陷分類之機器學習(ML)模型的設備400的方塊圖。檢測系統可以是例如用於半導體裝置的超音波檢測和缺陷偵測系統。在所示實例中，基於ML的分類器402首先使用基本ML模型進行初始化，例如在不同的半導體裝置上訓練的模型。如上所述，由於差分器114去除了裝置的結構細節，所以基本ML模型至少提供了一些性能。被測裝置的影像透過影像擷取裝置404獲取，且所得影像儲存在記憶體106中的406裡。如上所述，差分器114使用一或多個參考影像408形成差異影像，以及任何偵測到的缺陷由基於ML的分類器402分類以提供分類資訊126。差異影像還展示在操作員顯示器410上，使受過訓練的操作員能夠識別和分類缺陷。操作員分類可用以更新影像元資料414，使得獲取的影像可用於未來之訓練。操作員分類412和基於ML的分類在比較和更新單元416中進行比較。基於該比較，更新分類器的準確度。可選地，特徵提取器124也可被更新。如果分類器不夠準確，則使用操作員分類來更新分類器以提供改進的性能。當判斷分類器足夠準確時，就不再需要操作員了。當這種情況發生時，更新可能會向操作員發出訊號。替代地，該比較與更新單元416可向操作員報告當前準確度等級，使得營運者可判定是否達到足夠準確度。

在圖4所示實施例中，從單一影像擷取裝置404獲取缺陷分類資料，該裝置404可對該操作員而言是本地或遠端。然而，在其他實施例中，分類資料可從多個檢測站接收並用於更新相同的ML模型。這有一個額外的優勢，可以解決掃描工具之間可能存在的差異。此外，多個操作員可以更新在多個站點之間共享的ML模型。

圖5是根據各表示實施例之更新基於ML自動化缺陷分類器的方法500的流程圖。在區塊502，由影像擷取裝置獲取被測裝置的影像。基於擷取影像和一或多個參考影像之間的差異，在區塊504處對影像中的缺陷進行分類。基於展示給操作員的差異影像，在區塊506接收來自操作員的缺陷分類。操作員分類可用以更新影像元資料，使得擷取的影像可用於未來之訓練。操作員分類和基於ML的分類在區塊508進行比較。分類中的任何差異都在區塊510由操作員進行調和。基於該比較，在區塊512更新自動化缺陷分類器的準確度度量。如果分類器不夠準確，如由決策區塊514的否定分支指示，則在區塊516使用操作員分類來更新分類器以提供改進的性能，並流程返回到區塊502。否則，如由決定區塊514的肯定分支指示，分類器經判定為足夠精準且操作員將不再被需要，如由區塊518所指示。當這種情況發生時，更新器可能會向操作員發出訊號。

模擬訓練影像

組件間、運行間和部件間的差異使得構建用於自動化檢測的通用庫變得困難。預訓練自動缺陷分類器(ADC)需要處理大量影像(通常為數千張)，這些影像代表有缺陷和無缺陷的實際組件。這些影像可能很難獲得，尤其是對於新裝置而言。本揭露的實施例動態地建立用於ADC的預訓練材料，使得可以在系統中更早地擷取到更多缺陷並且具有更少的人為干預。

圖6是根據各種實施例之訓練自動化缺陷分類器(ADC)的設備600的方塊圖。參照回圖6，相同類型的無缺陷裝置之一或多參考影像被儲存在儲存器106中602。如上所述，差分器114和分類器118用於對在604儲存的獲取影像中偵測到的缺陷進行分類。所得的分類經由操作員介面128傳遞給操作員。當偵測到缺陷時，可以將缺陷的特徵傳遞給模擬影像產生器606，模擬影像產生器606建立包含多個不同(可行和不可行)視圖中的缺陷的模擬差異影像。模擬的差異影像儲存在608。影像的分類標籤連同模擬中使用的任何統計數據一起儲存在元資料儲存器610中。該模擬的差異影像提供可用於訓練ADC識別缺陷的訓練材料。這些可以與傳統(非模擬)訓練材料結合使用。在訓練期間，模擬的差異影像被直接傳遞到異常偵測器116，如虛線箭頭612所示。分類器118產生的分類與元資料610中的標籤之間的差異用於更新分類器和可選的特徵提取器124。

在進一步的實施例中，模擬影像產生器606產生具有和不具有缺陷的模擬影像。儲存在602的無缺陷影像不需要是裝置影像，它們可以是任何影像。可以將雜訊添加到包含缺陷和無缺陷的影像之一或兩者。

可以在掃描裝置時動態獲得待檢測的影像。當操作員識別出缺陷時，可以標記該缺陷並用於觸發多個模擬影像的產生。對於ADC正確分類、錯誤分類或未能偵測到的缺陷，可能會發生這種情況。也可以添加新的缺陷類別。透過此方法，與僅使用掃描或擷取影像相比，訓練影像庫可以被很大地擴大。

需要強調的是，ADC僅針對差異進行訓練，因此在執行偵測和分類之前移除了裝置的無缺陷結構。透過這種方式，可以在新裝置中識別缺陷，例如矽晶片中的分層焊料凸點，而無需為新裝置訓練ADC。

圖7是根據各表示實施例之產生用於自動化缺陷分類器的訓練材料的方法的流程圖700。在區塊702，於檢測站獲取被測裝置的影像。在區塊704獲得差異影像，並在區塊706向檢測站的操作員展示該差異影像。在區塊708，從操作員接收到在差異影像中可見的缺陷的分類標籤。該標籤可以是現有缺陷類別或新缺陷類別的標籤。在區塊710處產生包含標記缺陷的模擬影像。模擬影像至少部分地基於被檢查物件的影像的識別區。在區塊712，與模擬影像相關聯的標籤和其他元資料被儲存以供未來使用。基於複數個模擬影像與接收的分類標籤，自動化缺陷分類器在區塊714更新，並且流程返回702。以這種方式，增加了訓練樣本的數量，並更新了分類器以提供更高的準確性。此外，可以識別新的缺陷類別並將其包含在培訓材料中。

圖8示出根據各種代表性實施例的例示性影像。影像802是無缺陷的參考影像。影像804是示出為刮痕806形式缺陷的獲取影像。影像808是差異影像，作為參考影像802和獲取影像804之間的統計差異獲得。

根據一個例示性實施例，超音波掃描裝置將透過多個脈衝的反射或傳輸構建的影像返回到被測樣本中。產生差異影像，表示構建影像與已知良好裝置的一個或多個參考影像之間的差異。只有差異影像或從中提取的資訊被傳遞以進行分類。可選地，可以透過觀察到的統計數據來將該差異進行縮放，例如跨裝置的參考影像的標準差。可選地，可以透過邊緣增強、紋理提取或其他影像處理運算元來過濾差異以增強該等差異。可選地，可以利用臨界值，例如最小差異強度、最小尺寸、相對於參考偏差的最小強度，或在傳遞差異以進行分類之前必須滿足的其他此類標準。

可以對任何偵測到的差異進行測量，包括位置、大小、形狀、紋理、對比度、方向等。在一個實施例中，差異影像的特徵提取是由卷積神經網路執行，其提供一些被饋送到分類器的特徵集，以及較傳統計算出的特徵。這些特徵本身並不是一個分類，只是用於後來分類器的附加特徵。

針對分類器的訓練資料可以先前識別出、人工分類與標記缺陷的形式提供。分類器比較差異特徵與已知缺陷類別的測量向量，並報告最佳匹配者為何。僅使用樣本和參考影像之間提取的差異允許進一步分析應用於多種樣本類型，例如不同的半導體裝置，而無需重新訓練分類器。例如，分類器可以使用K平均數叢聚(K-Means clustering)，或者它可以是貝氏分類器、在標記資料上訓練的神經網路，或本領域技術人員已知的其他機器學習分類器。在一個實施例中，判定與報告分類的信賴度。可選地，被分類具有不足信賴度的差異可回報供人工檢驗。

結論而言，本揭露的實施例提供以半導體裝置之超音波掃描或其他影像用於使用機器學習以識別出缺陷類型以分類缺陷之機構。透過使用此等缺陷差異的多種測量以分別出不同的缺陷類別，實施例一般將缺陷分離為裝置影像與參考影像之間的差異。具有低分類信賴度之差異也可以根據需要參考人工考慮。

在本文件中，諸如第一與第二、頂與底等術語可僅用於從另一實體或動作區別出一實體或動作，而不必然需要暗示此等實體或動作之間的實際關係或順序。術語「包含」、「包括」、「具有」、「具備」或其任何其他變體，旨在涵蓋非排他性的包含，例如處理、方法、物品，或包括元素列表的設備不僅包括這些元素，還可以包括未明確列出或此類處理、方法、物品或設備固有的其他元素。在沒有更多限制的情況下，以「包含……」開頭的元素不排除在包含該元素的處理、方法、物品或設備中存在其他相同的元素。

本文件通篇中所提及之「一個實施例」或「特定實施例」代表與該實施例一同被說明之特定特徵、結構、或特性係包括在本揭示之至少一實施例中。因此，該等用語在說明書全文中各處的出現並不全然指向該同一實施例。此外，在一或多實施例中，特定特徵、結構、或特徵可以任意適當方式結合，而無特別限制。

如本文所用，術語「或」應被解釋為包含或表示任何一個或任何組合。因此，「A、B或C」是指「以下任何一項：A；B；C；A及B；A及C；B及C；A、B及C」。只有當元素、功能、步驟或行為的組合以某種方式本質上相互排斥時，才會出現此定義的例外情況。

如本文所用，術語「組態為」在應用於元件時表示該元件可被設計或構造成執行指定的功能，或者具有使其能夠被重新組態或適應以執行指定功能的所需結構功能。

本文中已陳述數種特定細節，以提供該等實施例之徹底理解。實施例可***作而不具有此些特定細節。在其他情況中，並未詳細描述已知方法、程序、以及組件，以為了不要模糊所述實施例。本揭露不應被視為限制於本文描述的實施例的範圍。

在該技術領域中具有通常知識者將認識到已經透過例示性描述了本揭露。本揭露可使用硬體組件實作，諸如專用硬體及/或專用處理器，其與本揭露所描述與主張者等效。類似地，專用處理器及/或專用硬體接線邏輯可用於構造本揭露的替代等效實施例。

本文描述的各種實施例使用專用硬體、可組態硬體或執行程式化指令的程式化處理器來實現，這些程式化指令以流程圖形式廣泛描述，可以儲存在任何合適的電子儲存媒體上或透過任何合適的電子通訊媒體傳輸。這些元件的組合可被使用。如本技術領域中具有通常知識者將理解，在不脫離本公開的情況下，可以以任何數量的變體來實施上述處理和機制。例如，在不脫離本揭露的情況下，通常可以改變執行的某些操作的順序，可以添加額外的操作或可以刪除操作。這樣的變化被考慮並且被認為是等效的。

在本文中詳細描述的各種代表性實施例已經透過例示性而非限制性的方式呈現。如本技術領域中具有通常知識者將理解，可以對所描述的實施例的形式和細節進行各種改變，從而產生仍在所附申請專利範圍之範疇內的等效實施例。

100:設備 102:影像擷取裝置 104:影像儲存 106:儲存器 108:參考影像 110:處理器 112:縮放和對齊區塊 114:差分器 116:異常偵測器 118:分類器 120:像素 122:特徵 124:自動化特徵提取器 126:分類資訊 128:操作員介面 130:測試結果 132:控制器 134:裝置元資料 136:掃描器 138:訊號獲取單元 140:影像建構器 142:子影像提取器 200:流程圖 202:區塊 204:區塊 206:區塊 208:區塊 210:區塊 300:流程圖 302:區塊 304:區塊 306:區塊 308:區塊 310:區塊 312:區塊 314:區塊 400:設備 402:基於ML的分類器 404:影像擷取裝置 406:影像儲存 408:參考影像 410:操作員顯示器 412:操作員分類 414:缺陷元資料 416:比較與更新單元 500:方法 502:區塊 504:區塊 506:區塊 508:區塊 510:區塊 512:區塊 514:區塊 516:區塊 518:區塊 600:設備 602:參考影像 604:影像儲存 606:模擬影像產生器 608:模擬差異影像 610:缺陷元資料 612:虛線箭頭 700:方法 702:區塊 704:區塊 706:區塊 708:區塊 710:區塊 712:區塊 714:區塊 802:影像 804:影像 806:刮痕 808:影像

所附圖式提供將用於更全面地描述各種代表性實施例並且可以被熟習該技術者更佳理解所揭露的代表性實施例及其固有優勢的視覺表示。在這些圖式中，相同的附圖標記標識出對應的或類似的元件。

[圖1]是根據各種實施例之自動化缺陷分類器的方塊圖。

[圖2]是根據各表示實施例之產生用於與獲取影像比較之一或多參考影像方法的流程圖。

[圖3]是根據各表示實施例之偵測與分類裝置中缺陷的方法的流程圖。

[圖4]是根據各種實施例之用於訓練用於檢測系統中缺陷分類之機器學習(ML)模型的設備的方塊圖。

[圖5]是根據各表示實施例之更新基於ML自動化缺陷分類器的方法的流程圖。

[圖6]是根據各種實施例之訓練自動化缺陷分類器的設備的方塊圖。

[圖7]是根據各表示實施例之產生用於自動化缺陷分類器的訓練材料的方法的流程圖。

[圖8]示出根據各種代表性實施例的例示性影像。

100:設備

102:影像擷取裝置

104:影像儲存

106:儲存器

108:參考影像

110:處理器

112:縮放和對齊區塊

114:差分器

116:異常偵測器

118:分類器

120:像素

122:特徵

124:自動化特徵提取器

126:分類資訊

128:操作員介面

130:測試結果

132:控制器

134:裝置元資料

136:掃描器

138:訊號獲取單元

140:影像建構器

142:子影像提取器

Claims (24)

1. 一種自動化檢測方法，包括： 獲取受檢測物件的影像； 產生該獲取的影像和與該受檢測物件相同類型的物件的參考影像之間的差異影像；以及 將該差異影像的特徵傳遞至自動化缺陷分類器，以將該受檢測物件的缺陷分類，其中該差異影像的該特徵包括該差異影像或自其判定的特徵之像素。
2. 如請求項1之方法，更包含： 偵測分離區，其包含在該差異影像中的異常， 其中被傳遞至該自動化缺陷分類器的該差異影像的該特徵包括該差異影像在該分離區中或自其判定的特徵的像素。
3. 如請求項1之方法，其中產生該差異影像包括計算該獲取影像的像素與該參考影像的像素之間逐像素差異。
4. 如請求項1之方法，更包含在產生該差異影像之前調整該獲取影像，其中該調整包括旋轉、平移、縮放、強度正規化、以及對比度正規化中的一或多者。
5. 如請求項4之方法，其中該調整是基於最小化該獲取影像與該參考影像之間的差異的度量。
6. 如請求項1之方法，更包含產生該參考影像作為與該受檢測物件相同類型之一或多無缺陷物件的複數個影像的平均值。
7. 如請求項1之方法，更包含： 判定與該受檢測物件相同類型之一或多物件的複數個影像的標準差；以及 至少部分基於該計算的標準差，識別該物件中一或多缺陷。
8. 如請求項7之方法，更包含基於該判定的標準差縮放該差異影像的值。
9. 如請求項1之方法，更包含： 向操作人員展示該物件的該差異影像； 從該操作人員接收在該差異影像中可見缺陷的分類標籤；以及 基於該分類標籤更新該自動化缺陷分類器。
10. 如請求項9之方法，其中該分類標籤是現存分類標籤或新分類標籤。
11. 如請求項9之方法，更包含： 將從該操作人員接收的分類標籤與由該自動化缺陷分類器產生的分類標籤進行比較；以及 基於該比較的結果，更新該自動化缺陷分類器的準確度的度量。
12. 如請求項11之方法，更包含： 將該準確度的度量與臨界值進行比較；以及 當該準確度的度量超過臨界值時，啟用完全自動化缺陷分類。
13. 如請求項1之方法，更包含： 基於該差異影像，識別受測物的該影像中包含該受測物的缺陷的區； 向該操作人員展示該影像的該區； 從該操作人員接收在該影像的該區中可見的缺陷的分類標籤；以及 產生包含該標記缺陷的複數個模擬影像，該模擬影像是至少部分基於該受檢測物件的該影像的該識別區；以及 基於該複數個模擬影像與該接收的分類標籤，更新該自動化缺陷分類器。
14. 如請求項13之方法，該模擬影像包含差異影像。
15. 如請求項1之方法，其中獲取該受檢測物件的該影像包括： 對該受檢測物件執行超音波掃描，以產生複數個回應波形； 對該回應波形進行時間選通；以及 基於該時間選通波形，建構該受檢測物件的該影像。
16. 如請求項1之方法，其中獲取該受檢測物件的該影像包括擷取反射或透射電磁輻射的影像。
17. 如請求項1之方法，其中獲取該受檢測物件的該影像包括從影像資料庫取回該影像。
18. 一種設備，其包含： 影像擷取系統，組態以獲取受檢測物件的影像； 影像差分器，組態以接收該獲取的影像並產生該獲取的影像和與該受檢測物件相同類型的物件的參考影像之間的差異影像；以及 自動化缺陷分類器，組態以基於該差異影像或從其導出的特徵偵測與分類該受檢測物件中的缺陷。
19. 如請求項18之設備，更包含： 偵測器，組態以偵測該差異影像中包含異常的區， 其中該自動化缺陷分類器被組態以基於該差異影像或從其導出的特徵中的該偵測區，偵測與分類該受檢測物件中的缺陷。
20. 如請求項19之設備，更包含： 基於機器學習(ML)的特徵提取器， 其中該導出的特徵由基於該ML的特徵提取器從該差異影像中的該偵測區中提取的特徵所組成。
21. 如請求項19之設備，更包含： 顯示器，組態以向操作人員展示該物件的該差異影像； 操作員介面，組態以從該操作人員接收在該差異影像中可見缺陷的分類標籤；以及 更新器，組態以至少部分基於該分類標籤更新該自動化缺陷分類器。
22. 如請求項19之設備，更包含： 模擬影像產生器，組態以產生包含該標記缺陷的複數個模擬差異影像，該模擬影像是至少部分根據該差異影像中的該偵測區並包含一或多組態中的該標記缺陷。
23. 如請求項19之設備，更包含： 模擬影像產生器，組態以產生包含該標記缺陷的複數個模擬影像以及一或多個對應的無缺陷影像，包含該標記缺陷的該模擬影像是至少部分根據該差異影像中的該偵測區並包含一或多組態中的該標記缺陷。
24. 如請求項18之設備，更包含儲存器，用於： 該受檢測物件的該影像； 該參考影像，以及 該受檢測物件的元資料，包括該受檢測物件中該感興趣區的描述符。

Images