TW202345103A - 使用機器學習的超音波缺陷檢測和分類系統 - Google Patents

使用機器學習的超音波缺陷檢測和分類系統 Download PDF

Info

Publication number
TW202345103A
TW202345103A TW112111151A TW112111151A TW202345103A TW 202345103 A TW202345103 A TW 202345103A TW 112111151 A TW112111151 A TW 112111151A TW 112111151 A TW112111151 A TW 112111151A TW 202345103 A TW202345103 A TW 202345103A
Authority
TW
Taiwan
Prior art keywords
image
neural network
scan
feature map
defect
Prior art date
Application number
TW112111151A
Other languages
English (en)
Inventor
約翰 皮克
凱文 萊恩
Original Assignee
美商梭尼克斯公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商梭尼克斯公司 filed Critical 美商梭尼克斯公司
Publication of TW202345103A publication Critical patent/TW202345103A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/269—Various geometry objects
    • G01N2291/2697—Wafer or (micro)electronic parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

在自動缺陷檢測和分類系統中，一個或多個計算裝置存取在物體的超音波掃描中所獲取的掃描資料。第一輸入特徵圖(包含二維(2D)掃描圖像)從掃描資料被建立並輸入到第一深度神經網路以產生第一輸出特徵圖。第二輸入特徵圖(包含無缺陷物體的圖像)被輸入到具有與第一深度神經網路相同的結構和權重值的第二深度神經網路，以生產第二輸出特徵圖。當第一和第二輸出特徵圖之間的距離大時，確定所掃描的該物體含有缺陷。在另一種方法中，2D掃描圖像和無缺陷物體的一個或多個圖像被輸入到使用顏色圖像所訓練的神經網路的不同通道。

Description

使用機器學習的超音波缺陷檢測和分類系統
本發明係有關一種使用機器學習的超音波缺陷檢測和分類系統。本申請案要求2022年3月28日所提交的名稱為「使用機器學習的超音波缺陷檢測和分類系統」的臨時申請案第63/324,340號的權益，其全部內容藉由引用併入本文。
本揭露係有關超音波非破壞性測試(NDT)的環境。機器定位系統可以同步掃描超音波收發器轉換器、以及在受測試裝置(DUT)的對置側上的接收器轉換器。例如，NDT可被使用於測試可能含有多個裝置的半導體晶圓和晶片封裝。從DUT返回到收發器的反射信號是TDR(時域反射)波形，而從第二接收器所收集的波形是TDT(時域傳輸)波形。兩個波形的時間軸與代表DUT的位置空間的Z軸上的距離直接成正比。轉換器沿DUT的X軸和Y軸所定義的位置空間進行掃描。藉由獲取系統來數位化掃描的波形，而圖像建立器區塊根據TDT/TDR掃描資料創建DUT的缺陷圖像。
傳統上，人工操作員經過訓練可以觀察圖像並識別晶圓或封裝中的缺陷。執行此任務需要大量經驗和訓練。目前，有一些演算法可以自動檢測和分類某些必須識別的缺陷類型。有時這些演算法無法根據需要檢測到缺陷。
及
此處描述的各種設備和裝置提供了用於從掃描的超音波圖像中自動檢測和分類缺陷的機制。
儘管本揭露容許許多不同形式的實施方式，但在圖式中示出並將在本文中詳細描述具體實施方式，應理解本文示出和描述的實施方式應被視為提供本揭露的原理的示例且並不旨在將本揭露限制為所示出和描述的具體實施方式。在下面的描述中，相似的標號用於描述圖式的一些視圖中相同、類似或對應的部分。為了說明的簡單和清楚，可以在圖式中重複標號以指示相應或類似的元件。
本揭露的實施方式通常採用深度神經網路來提高發現缺陷並對缺陷進行分類的能力。深度神經網路，也稱為深度學習神經網路，是一種包含多個處理層的網路。這些層可以在中間特徵圖和相對較小的權重內核之間執行卷積或互相關。相反，最終分類可以由全連接之網路的輸出層執行。
本揭露的一些實施方式的一個方面包含利用一種新穎的方法來建立三維(3D)圖像張量(image tensor)以使用作為深度神經網路的輸入。3D圖像張量通常用於數位顏色圖像，其中張量具有兩個空間維度和一個光譜維度，該光譜維度包含顏色的紅色、綠色和藍色(RGB)光譜分量。3D張量有時在這裡被稱為RGB圖像張量，然而，通常它不限於三個光譜分量(RGB)，並且可以使用任何數量的光譜分量。這種新穎的RGB圖像表示法還具有可選的圖形圖像編碼，可將附加參數輸入深度網路，以幫助分類。例如，可以將沒有瑕疵的良好參考圖像放入紅色(R)通道，將掃描圖像(可能顯示缺陷)放入綠色(G)通道，以及將其他參數資料放入藍色(B)通道作為表示參數資料的圖形圖像。
本揭露的一些實施方式的另一個新穎方面是利用孿生神經網路SNN，用於將參考圖像與DUT掃描圖像進行比較以進行通過(pass)/未通過(fail)分類的目的。
圖1是超音波掃描器100的區塊圖，根據各種代表性實施方式。超音波掃描器100包含超音波收發器102和超音波接收器104。位置掃描器106提供收發器102和接收器104相對於待掃描物體108(也稱為受測試裝置(DUT))的定位。
控制器110設置系統並同步超音波轉換器102和104在DUT 108的區域上的實體掃描。可以在平行於物體表面的X-Y平面中執行掃描。控制器110還同步系統的其他元件，例如脈衝產生器112和獲取單元114。獲取系統114將在掃描程序過程中從超音波轉換器所接收到的信號轉換成數位數字並將它們儲存到記憶體中。正如下面將要討論的，控制器110也可以經由從較大的掃描圖像所導出的子圖像增加系統的循環。此外，控制器110可以基於每個子圖像來控制多個良好參考圖像的循環和3D張量圖像的產生。獲取系統114輸出數位掃描資料116並且控制器110輸出掃描位置資料118。掃描資料116可以包含被使用於構建掃描圖像和參考圖像的時域傳輸(TDT)波形和時域反射(TDR)波形。這些波形中的傳播時間與XYZ波形位置資料空間中的Z軸距離直接成正比。
掃描資料116和掃描位置資料118被傳遞到資料處理器120，資料處理器120被組態為基於掃描資料檢測並且可選地對物體中的缺陷進行分類。資料處理器120可以使用儲存在儲存單元122中的儲存資料，例如參考圖像、DUT特性和神經網路權重值。使用者介面124可被使用於顯示圖像並提供其他使用者互動。資料處理器120可以向控制器110提供反饋，如虛線箭頭126所示。因此，資料處理器120可以向控制器110、儲存器122及/或使用者介面124提供輸出。資料處理器120可以是通用程式化電腦處理器、定製處理器或其組合。資料處理器120可以包含用於高效處理神經網路計算的加速器硬體。
圖2是用於處理從超音波掃描器的掃描資料的設備200的功能區塊圖，根據各種代表性實施方式。設備200可以包含例如資料處理器120和儲存器122，如圖1所示。該裝置可與掃描器整合，且被使用於在生產過程中的裝置的自動檢測和分類。該設備可以使用一個或多個資料處理器和儲存器來實施。
圖像建立器202從超音波掃描器接收掃描資料116並從中創建DUT的圖像。掃描資料可以包含數位化的TDR/TDT波形資料。可以使用各種方法，這對本領域技術人員來說是顯而易見的。例如，TDT及/或TDT波形可以直接映射到高光譜圖像格式，顏色平面上的每個顏色通道代表波形沿DUT位置空間的Z軸的一個樣本位置或波形沿Z軸的一系列位置。所得到的3D圖像不是人類看到的普通圖像視圖，而是DUT的不同向量空間表示法。這種方法可以沿Z軸實現更高的缺陷表示法的解析度。然後可以將高光譜圖像使用作為深度神經網路的輸入。
子圖像擷取器區塊204從超音波掃描器的控制器接收掃描位置資料118。這可以是來自控制器的索引的形式，該索引指定大圖像的哪一部分從中擷取子圖像206。例如，在具有電路的許多複製的晶圓上，子圖像可能僅含有一個電路。然而，通常，子圖像可以是掃描圖像的全部或一部分。在一個實施方式中，當系統被設置用於訓練時，子圖像的選擇是透過使用者介面和來自使用者的互動來完成的。
參考圖像數組(Reference image array)208可以含有用於每個子圖像位置的良好參考圖像210。即，已知良好(無缺陷)裝置的圖像。還可以保留每個子圖像的良好參考圖像的附加示例。這些可以被獲取和被儲存而作為訓練或運行系統之前的第一步中的一者。多個參考圖像可以與每個子圖像一起使用來為每個子圖像創建多個附加輸入以產生更多訓練資料。
圖形圖像建立器區塊212是可選區塊，其可在某些情況下用於提供其他資料作為深度神經網路的輸入。例如，圖形圖像建立器區塊212可以接收諸如部件的溫度或版本號之類的參數，或者可以根據需要用於幫助分類的任何其他參數。輸入參數被轉換成圖形，然後合併到圖像中。多個參數圖形214可以被放置在單個圖像中。子圖像206、參考圖像210和參數圖形214在輸入圖建立器216中組合以產生深度神經網路220的輸入特徵圖218。深度神經網路220可以是例如電腦實施的神經網路，並且可以包含通用或定製處理器，或其組合。
在一個實施方式中，輸入特徵圖是具有紅色(R)、綠色(G)和藍色(B)通道的RGB圖像張量。RGB圖像張量通常用於儲存顏色圖像，但在本應用中，通道不對應於可見顏色。有許多方法可以將參數圖形214合併到圖像張量的RGB通道中。一種方法是僅對圖形圖像使用一個特定的顏色通道，例如藍色(B)通道。然而，當使用3D互相關濾波器時，參考圖像和缺陷圖像在學習程序中是相關的。這會導致藍色通道圖形資料與其他兩個通道之間的干擾。另一種方法是在與參考圖像和缺陷圖像相同的影像中結合參數圖形。圖形可以放置在掃描圖像區域之外，以便層之間的互相關濾波器不會將圖形資料與圖像資料組合。
輸入圖建立器216將原始DUT子圖像放置在一個通道中，並將該子圖像的良好參考圖像之一放置在第二通道中。可選地，其將第二良好圖像及/或參數圖形圖像放置在第三通道中。不需要計算DUT子圖像和良好圖像之間的差異。需要注意的是，每個子圖像位置可以有多個參考良好圖像。因此，每個子圖像可能有多個為其創建的RGB張量圖像，以用作訓練網路的附加輸入示例。參數圖形圖像可以合併到整個圖像內的DUT圖像和參考圖像邊界之外，以便相關濾波器不會將圖像資料與圖形資料重疊。
可選地，可以儲存輸入特徵圖供以後分析或在訓練深度神經網路時使用作為輸入。
諸如RGB圖像張量的輸入特徵圖被輸入到深度神經網路220以產生指示DUT是否有缺陷以及如果有則缺陷類別的輸出222。深度神經網路220使用一組權重值224處理輸入特徵圖。這些權重值中的一些可以從另一個應用程式複製，如下所述。或者，可以藉由訓練程序來選擇權重值。深度神經網路220可以使用計算邏輯電路以串行方式實施，其中輸入特徵圖與從電腦可讀儲存器所讀取的權重值組合。或者，權重值可以實現為網路本身的屬性，例如電路中電阻元件的電導值。
圖3是用於訓練神經網路以處理從超音波掃描器的掃描資料的設備300的功能區塊圖，根據各種代表性實施方式。如上文參考圖2所述，輸入特徵圖218由輸入圖建立器216根據參考圖像210、掃描圖像206和可選的參數圖形圖像214所產生。這些圖像可以在掃描程序過程中被產生，也可以從儲存的訓練資料中加載。儲存的訓練資料可以是掃描圖像或合成圖像。自動分類器302可用於標記在圖像206中的任何缺陷。備選地或附加地，也可以使用手動分類，其中使用者執行要用於訓練的圖像的分類。然而，自動分類的使用允許訓練程序更加自動化，並減少了使用者為獲得訓練資料而必須執行的手動標記的數量。可以使用現有的自動化工具和基礎區塊，允許使用者在他們的定製晶圓和封裝上定義需要觀察的區域。標籤連同關於所掃描的物體或缺陷的任何附加資訊(例如缺陷位置或範圍)一起形成元資料304。分類器302的輸入是DUT子圖像206和參考子圖像210。分類器302的輸出是一組元資料304，其提供通過/未通過指示並且如果未通過則提供瑕疵或缺陷的分類。分類器通常僅在神經網路220的訓練期間運行。但是，如果使用者需要返回並檢驗未通過的部件或收集額外資料以定期更新網路訓練，它也可能會運行。
儲存來自分類演算法的輸出的元資料304可以儲存在數組中。該元資料結構數組的每個索引都與張量數組中對應的RGB圖像張量的對應的索引相關聯。因此，每個RGB圖像張量對應於其含有的DUT子圖像。RGB圖像張量和相關元資料在訓練時作為深度神經網路的輸入提供。經過訓練後，在運行時使用神經網路對缺陷進行分類時，可以從神經網路輸出相應的元資料。
神經網路220可以包含許多層以擷取輸入的特徵，隨後是用於分類的全連接層。在一個實施方式中，使用「轉移學習」方法，其中使用不相關的圖像對網路層進行預訓練。深度網路220的層可以跨通道(例如，三個RGB通道)和每個通道平面內使用3D互相關濾波器。當使用轉移學習時，全連接分類層被一個新的未訓練的全連接層取代，並具有適用於此應用的輸出分類的正確數。然後藉由接收張量圖像數組和元資料數組作為輸入來訓練網路。在訓練程序過程中，輸出222的元素在錯誤區塊306中與元資料304中的相應元素進行比較。所得誤差308在訓練區塊310中用於更新藉由網路所使用的權重值224。許多訓練演算法是本領域技術人員已知的。在一個實施方式中，更新所有的權重值。
在另一個實施方式中，先前訓練的網路的特徵擷取層(具有權重值224A)與輸出層(具有權重值224B)相結合，輸出層被構造為針對新應用提供所需的分類。例如，網路可能包含預訓練的特徵擷取層，然後是全連接層、SoftMax層和分類層。訓練區塊310更新輸出層的權重值224B，而轉移學習被使用於特徵擷取層中的權重值224A。例如，可以訓練SoftMax層中的歸一化係數以將網路輸出保持在0和1之間，並且可以訓練分類層以計算被使用於分類的熵函數。預訓練的特徵擷取層數可能遠遠超過正在訓練的層數。因此，轉移學習可以大大減少所需的訓練時間和資料的量。
一旦網路訓練完成後，它可以在未來隨著收集更多的資料數組而週期性地恢復訓練。一旦足夠數量的附加資料準備就緒，網路可能會暫停運行時間以使用新資料更新訓練。當訓練好的網路運行時，不再輸入元資料數組，只輸入張量圖像數組。然後網路輸出與給定的異常RGB張量輸入圖像相關聯的元資料組。
在運行時，不使用現有的分類演算法區塊，因為在運行時沒有元資料輸入到深層網路。然而，如果部件(例如DUT)未能通過缺陷掃描，則可以使用此分類區塊進一步檢驗未通過的部件並使用預先存在的方法進行分類。
在運行時，如果使用者停止系統並使用分類演算法進一步檢驗部件，則可能會定期創建更多訓練資料。有時，可能有足夠的新資料可用，可以執行網路的擴展訓練以將新資料合併到網路的學習中。
雖然未在圖3的區塊圖中示出，但在一個實施方式中，系統被程式化為在運行時創建多個輸出元資料組--一個用於與每個子圖像相關聯的多個參考圖像中的每一個。然後可以根據元資料值的直方圖，基於哪一個更有可能是正確的，從該多個組中選擇元資料的最終分類組。
上述系統利用RGB圖像結構作為使用互相關層的單個深度神經網路的輸入。該網路使用互相關層，而不是卷積層。雖然互相關層和卷積層對於某些具有特定對稱性的內核是等效的，但通常互相關層不等效於卷積層。神經網路可以使用預先存在的資料進行訓練，在這些資料中已經檢測到缺陷並對其進行了分類。備選地或另外地，可以原位訓練神經網路。在神經網路的原位訓練期間，系統掃描許多DUT並經由現有的自動檢測和分類演算法運行它們，這些演算法將給定圖像標記為通過或未通過並標記任何缺陷。可以產生元資料，其中包含缺陷的屬性，例如大小、位置、類型等。除了用於訓練的自動分類之外，還可以結合手動分類資料示例。對於晶圓或封裝，應將初始高解析度圖像細分為尺寸合適的較小圖像，以觀察晶圓子電路，並使其成為可接受的尺寸以用作深度網路的輸入。
在訓練期間，網路接收RGB張量圖像的數組以及含有與每個圖像相關聯的類別標籤的元資料結構的數組作為輸入。
訓練後，系統運行時包含掃描DUT、創建圖像和子圖像RGB張量並將其作為深度網路的輸入之運用。網路的輸出是缺陷分類標籤(或多個)、以及可選的缺陷的其他已識別屬性，例如大小和位置。
上面描述的許多區塊對於下面描述的各種實施方式是共同的。
圖4是超音波缺陷檢測和分類系統400的區塊圖，根據本揭露的進一步實施方式。該系統類似於上述系統，不同之處在於神經網路包含孿生神經網路(SNN)。孿生神經網路含有兩個相同的深度網路，它們在訓練後使用相同的權重值或係數。參考圖4，第一輸入圖建立器402準備圖像資料以輸入到第一深度神經網路404。例如，可以使用轉移學習來預訓練網路404。輸入特徵圖可以從RGB圖像張量建立器輸出，例如，其中掃描的DUT子圖像被放置到特徵圖的所有三個RGB通道中。第二輸入特徵圖建立器406準備圖像資料以輸入到第二深度神經網路408。建立器406可以藉由將一個或多個參考子圖像放置到三個RGB通道中來構建RGB圖像張量。
深度神經網路404和408可以是例如電腦實施的神經網路，並且可以包含通用或定製處理器，或其組合。
在一個實施方式中，DUT輸入側的RGB圖像可以在所有三個通道中含有相同的DUT圖像。然而，從圖形參數410所產生的圖像可以獨立地併入通道之一或圖像通道內。在進一步的實施方式中，每個通道可以含有參考圖像的不同獲取。
在圖4中的系統的一個重要特徵是第一和第二深度神經網路使用相同的權重值412。這確保了當相同的輸入特徵圖運用於網路的兩側時，網路的輸出是相同的。
在操作中，來自第一深度神經網路404的輸出414和來自第二深度神經網路408的輸出416在區塊418中被比較以產生通過/未通過信號420。當輸出相似時，預測所掃描的物件沒有缺陷(即通過檢驗)。當輸出不相似時，預測所掃描的物體含有缺陷(即未通過檢驗)。
可選地，通過/未通過信號420可以用於控制自動缺陷分類器422的操作，其基於掃描的子圖像206和一個或多個參考圖像210的比較產生缺陷的分類424。
因此，包含第一深度神經網路404、第二深度神經網路408和比較器418的孿生神經網路執行通過/未通過分類。這個任務比標準網路執行得更熟練，因為它專門被組態用於查看兩個圖像之間的相似度。如果DUT出現未通過，則應使用標準網路對缺陷進行進一步分類。標準網路的使用允許附加參數的可選圖形輸入，以幫助對缺陷進行分類。
圖5是用於訓練孿生神經網路以檢測在超音波掃描器中掃描的物體中的缺陷的設備500的簡化區塊圖，根據各種代表性實施方式。在圖5所示的實施方式中，分類器502接收參考圖像210和掃描圖像206，並確定掃描圖像是否顯示缺陷，如信號504所示。在替代實施方式中，可以藉由其他方式(例如手動標記)將掃描圖像標記為顯示缺陷與否。在又一實施方式中，掃描圖像可以是為顯示缺陷而創建的合成圖像。信號504被傳遞到對比損失產生器506。在一個實施方式中，對比損失L被計算為 其中D是神經網路輸出414和416之間的歐幾里得距離，當掃描圖像206沒有缺陷時Y取值0，當它顯示有缺陷時Y取值1。
訓練區塊510使用對比損失508來更新權重值412，使得對比損失減少。在一個實施方式中，初始權重值是使用轉移學習所獲得的。
圖6是電腦實施的方法600的流程圖，根據各種代表性實施方式。參考圖6，在區塊602處，在一個或多個計算裝置處存取在物體的超音波掃描中所獲取的掃描資料。在區塊604處，二維(2D)掃描圖像由掃描資料所建立。可選地，在區塊606處從2D掃描圖像建立第一輸入特徵圖。第一輸入特徵圖可以包含附加資料，例如參數圖形或3D圖像張量，如上所述。第一輸入特徵圖在區塊608處被輸入到第一深度神經網路以產生第一輸出特徵圖。含有無缺陷物體的一個或多個圖像的第二輸入特徵圖在區塊610處被輸入到第二深度神經網路以產生第二輸出特徵圖。第二個深度神經網路與第一個深度神經網路具有相同的結構和權重值。在區塊612處比較第一和第二輸出特徵圖。如果它們之間的距離不大(與某個閾值相比)，如從決策區塊614的否定分支所示，則流程繼續到區塊616，並且未檢測到缺陷。所掃描的物體被確定為沒有缺陷。如果輸出特徵圖之間的距離很大，如從決策區塊614的肯定分支所示，則檢測到缺陷，如區塊618所示。可選地，可以在區塊620處使用自動缺陷分類器或使用使用者手動分類來對缺陷進行分類。
在一個實施方式中，第一輸入特徵圖是三維(3D)圖像張量，在第一3D圖像張量的所有三個通道中具有2D掃描圖像，以及第二輸入特徵圖是三維(3D)圖像張量，在三個通道中的每個通道中具有無缺陷物體的2D掃描圖像。每個通道可能含有不同的圖像。
如上所述，可以從使用顏色圖像所訓練的深度神經網路複製該第一和第二深度神經網路的權重值。可以基於第一深度神經網路的輸出特徵圖和第二深度神經網路的輸出特徵圖之間的距離的對比損失來調整第一和第二深度神經網路的權重值。
圖7A是第一輸入特徵圖700的圖解表示法，根據各種代表性實施方式。特徵圖是具有「R」、「G」和「B」通道的3D圖像張量。這種格式通常用於儲存顏色圖像的紅色、綠色和藍色通道。然而，在圖7A中，每個通道用於儲存所掃描的物體的2D圖像。因此，圖像702被放置在所有三個通道中。在所示示例中，圖像的區域704顯示缺陷。
圖7B是第二輸入特徵圖710的圖解表示法，根據各種代表性實施方式。同樣，特徵圖是具有「R」、「G」和「B」通道的3D圖像張量。在圖7B中，每個通道用於儲存無缺陷物體的2D圖像。因此，圖像712被放置在「R」通道中，圖像714被放置在「G」通道中，圖像716被放置在「B」通道中。
圖7C是另一個輸入特徵圖720的圖解表示法，根據各種代表性實施方式。同樣，特徵圖是具有「R」、「G」和「B」通道的3D圖像張量。在圖7C中，掃描圖像722被放置在「R」通道中，無缺陷圖像724被放置在「G」通道中，參數圖形圖像726被放置在「B」通道中。在所示示例中，圖像722的區域728顯示缺陷。在其他實施方式中，圖形參數資料可以放置在通道的外圍，在圖像所佔據的區域之外。
使用具有三個通道的3D圖像張量的一個優點是它們可以被輸入到已經使用RGB顏色圖像輸入所進行預訓練的高性能神經網路。Resnet18是這種預訓練網路的一個示例，但本揭露的實施方式不限於任何特定的預訓練網路。這些預訓練網路的輸出層被取代並重新訓練以進行自動缺陷檢測和分類。這是一個很大的優勢，因為從頭開始訓練網路需要更多的輸入圖像。藉由使用較低層的預訓練特徵擷取，並且只訓練取代的輸出層，可以用更少的資料訓練網路，並努力提供高性能網路。
如上所述，3D圖像張量的三個輸入通道不含有紅色、綠色和藍色顏色分量。相反，沒有缺陷的圖像放在一個顏色通道中，掃描圖像(可能有缺陷)放在另一個顏色通道中，參數條形圖形放在另一個顏色通道中。
這種方法的另一個優點是，如此構建的3D張量仍可被視為顏色圖像。例如，當一個無缺陷的圖像被放置在紅色通道中，而一個有缺陷的圖像被放置在綠色通道中時，最終的顏色將取決於圖像之間的差異。圖像相同的區域，作為結果的圖像將具有等量的紅色和綠色(但強度不同)，而紅色或綠色不同的區域將占主導地位。期望神經網路對出現缺陷的區域中表示的顏色差異敏感。這種方法可以與孿生神經網路一起使用以產生通過/未通過輸出，並與其他神經網路(例如多層殘差網路)一起使用以提供自動分類。
本揭露的實施方式使用機器學習來幫助對為DUT、受測試裝置(例如晶圓和封裝)獲得的超音波掃描圖像進行分類。實施方式可以使用含有互相關層的深度網路。實施方式也可以使用孿生網路來將已知良好的參考圖像與可能含有缺陷的DUT圖像進行比較，然後將它們分類為通過或未通過。網路的訓練是使用現有的分類演算法進行的，以最大限度地減少使用者手動標記的數量。也可以根據需要使用手動標記。
本揭露的各態樣可以在定製的硬體、韌體、數位信號處理器上或在包含根據程式化指令操作的處理器的特別程式化的通用電腦上操作。此處使用的用語控制器或處理器旨在包含微處理器、微型電腦、專用積體電路(ASIC)和專用硬體控制器。本揭露的一個或多個態樣可以實施在電腦可用資料和電腦可執行指令中，例如在一個或多個程式模組中，由一台或多台電腦(包含監控模組)或其他裝置執行。通常，程序模組包含在由電腦或其他裝置中的處理器執行時執行特定任務或實施特定抽像資料類型的常式、程式、物件、組件、資料結構等。電腦可執行指令可以儲存在非暫時性電腦可讀媒體上，例如硬碟、光碟、可移除儲存媒體、固態記憶體、隨機存取記憶體(RAM)等。如本領域技術人員將理解的，程式模組的功能可以根據需要在各個態樣進行組合或分佈。此外，該功能可以全部或部分體現在韌體或硬體等效物中，例如積體電路、FPGA等。特定資料結構可用於更有效地實施本揭露的一個或多個方面，並且此類資料結構被設想在本文描述的電腦可執行指令和電腦可用資料的範圍內。
在一些情況下，可以在硬體、韌體、軟體或其任何組合中實施所揭露的態樣。所揭露的態樣還可以實施為由一個或多個或非暫時性電腦可讀媒體承載或儲存在其上的指令，其可由一個或多個處理器讀取和執行。這樣的指令可以被稱為電腦程式產品。如本文所討論的，電腦可讀媒體是指可以由計算裝置存取的任何媒體。作為示例而非限制，電腦可讀媒體可以包括電腦儲存媒體和通訊媒體。
電腦儲存媒體是指可用於儲存電腦可讀資訊的任何媒體。作為示例而非限制，電腦儲存媒體可包含RAM、ROM、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、光碟唯讀記憶體(CD-ROM)、數位視訊光碟(DVD)或其他光碟儲存裝置、磁卡匣、磁帶、磁碟儲存裝置或其他磁性儲存裝置，以及以任何技術實施的任何其他揮發性或非揮發性、可移除或不可移除媒體。電腦儲存媒體不包含信號本身和信號傳送的暫時形式。
通訊媒體是指可用於電腦可讀資訊通訊的任何媒體。作為示例而非限制，通訊媒體可包含同軸電纜、光纖電纜、空氣或任何其他適合於電、光、射頻(RF)、紅外線、聲學或其他類型的信號的通訊的媒體。
此外，該書面描述參考了特定特徵。應當理解，本說明書中的揭露內容包含那些特定特徵的所有可能組合。例如，在特定方面的上下文中揭露了特定特徵的情況下，該特徵也可以在可能的範圍內用於其他態樣的上下文中。
此外，當在本申請中提及具有兩個或更多個限定的步驟或操作的方法時，限定的步驟或操作可以以任何順序或同時執行，除非上下文排除那些可能性。
儘管為了說明的目的已經說明和描述了本揭露的特定態樣，但是應當理解，在不背離本揭露的精神和範圍的情況下可以進行各種修改。因此，本揭露不應受限制，除了由所附申請專利範圍來限制。
在本文檔中，諸如第一和第二、頂部和底部等關係用語可能僅用於將一個實體或動作與另一個實體或動作區分開來，而不必要求或暗示這些實體或動作之間存在任何實際的此類關係或順序。用語「包括」、「包含」、「具有」或其任何其他變體，旨在涵蓋非排他性的包含，例如程序、方法、物品，或包括元素列表的設備不僅包含這些元素，還可以包含未明確列出或此類程序、方法、物品或設備固有的其他元素。在沒有更多限制的情況下，以「包括……一個」開頭的元素不排除在包括該元素的程序、方法、物品或設備中存在其他相同的元素。
貫穿本文檔對「一個實施方式」、「某些實施方式」、「一種實施方式」、「實施方案」、「方面」或類似術語的引用意味著與該實施例結合的描述的特定特徵、結構或特性是被包含在本揭露的至少一個實施方式中。因此，此類詞組或貫穿本說明書各處所出現的，不必然意指相同的實施方式。此外，在一或多個實施方式中，可按任何適當的方式結合特定的特徵、結構、或特性而不受限制。
如本文所用，用語「或」應被解釋為包含或表示任何一個或任何組合。因此，「A、B或C」是指「以下任何一項：A；B；C；A和B；A和C；B和C；A、B和C」。只有當元素、功能、步驟或行為的組合以某種方式本質上相互排斥時，才會出現此定義的例外情況。
如本文所用，用語「組態為」在運用於元件時表示該元件可被設計或構建成執行指定的功能，或者具有使其能夠被重新組態或適應以執行指定功能的所需結構功能。
已經闡述了許多細節以提供對本文描述的實施方式的理解。可以在沒有這些細節的情況下實施實施方式。在其他情況下，沒有詳細描述眾所周知的方法、程序和組件以避免混淆所描述的實施例。本揭露不應被視為限制於本文描述的實施方式的範圍。
本領域的技術人員將認識到已經藉由示例描述了本揭露。本揭露可以使用硬體組件等效物來實施，例如專用硬體及/或專用處理器，它們與所描述和要求保護的本揭露等效。類似地，專用處理器及/或專用硬連線邏輯可用於構建本揭露的備選等效實施方式。
本文描述的各種實施方式使用專用硬體、可組態硬體或執行程式化指令的程式化處理器來實施，這些程式化指令以流程圖形式廣泛描述，可以儲存在任何合適的電子儲存媒體上或透過任何合適的電子通訊媒體傳輸。可以使用這些元件的組合。本領域的技術人員將理解，在不脫離本揭露的情況下，可以以任何數量的變動來實施上述程序和機制。例如，在不脫離本揭露的情況下，通常可以改變執行的某些操作的順序，可以添加額外的操作或可以刪除操作。這樣的變動被考慮並且被認為是等效的。
已經在本文中詳細描述的各種代表性實施方式已經藉由示例而非限制的方式呈現。本領域的技術人員將理解，可以對所描述的實施方式的形式和細節進行各種改變，從而產生仍在所附請求項的範圍內的等效實施方式。
100:超音波掃描器 102:收發器 104:接收器 106:位置掃描器 108:物體 110:控制器 112:脈衝產生器 114:獲取單元 116:數位掃描資料 118:掃描位置資料 120:資料處理器 122:儲存器 124:使用者介面 200:設備 202:圖像建立器 204:子圖像擷取器區塊 206:圖像 208:參考圖像數組 210:參考圖像 212:圖形圖像建立器區塊 214:參數圖形 216:輸入圖建立器 218:輸入特徵圖 220:深度神經網路 222:輸出 224:權重值 224A:權重值 224B:權重值 300:設備 302:自動分類器 304:元資料 306:錯誤區塊 308:所得誤差 310:訓練區塊 400:超音波缺陷檢測和分類系統 402:輸入圖建立器 404:深度神經網路 406:輸入特徵圖建立器 408:深度神經網路 410:圖形參數 412:權重值 414:輸出 416:輸出 418:比較器 420:通過/未通過信號 422:分類器 424:分類 500:設備 502:分類器 504:信號 506:對比損失產生器 508:對比損失 510:訓練區塊 600:電腦實施的方法 602:區塊 604:區塊 606:區塊 608:區塊 610:區塊 612:區塊 614:區塊 616:區塊 618:區塊 620:區塊 700:第一輸入特徵圖 702:圖像 704:區域 710:第二輸入特徵圖 712:圖像 714:圖像 716:圖像 720:輸入特徵圖 722:圖像 724:圖像 726:參數圖形圖像 728:區域
附隨圖式提供了視覺表示法，其將用於更全面地描述各種代表性實施方式，並且可以被本領域技術人員用來更好地理解所揭露的代表性實施方式及其固有優點。在這些圖式中，相似的標號標識對應的或類似的元件。
[圖1]是超音波掃描器的區塊圖，根據各種代表性實施方式。
[圖2]是用於處理從超音波掃描器的掃描資料的設備的簡化區塊圖，根據各種代表性實施方式。
[圖3]是用於訓練神經網路以處理從超音波掃描器的掃描資料的設備的簡化區塊圖，根據各種代表性實施方式。
[圖4]是超音波缺陷檢測和分類系統的區塊圖，根據本揭露的進一步實施方式。
[圖5]是用於訓練孿生神經網路以檢測在超音波掃描器中掃描的物體中的缺陷的設備的簡化區塊圖，根據各種代表性實施方式。
[圖6]是缺陷檢測和分類的電腦實施的方法的流程圖，根據各種代表性實施方式。
[圖7A至7C]是輸入特徵圖的圖解表示法，根據各種代表性實施方式。

Claims (16)

  1. 一種電腦實施的方法，包括： 在一個或多個計算裝置處存取在物體的超音波掃描中所獲取的掃描資料； 從該掃描資料建立包含二維(2D)掃描圖像的第一輸入特徵圖； 將該第一輸入特徵圖輸入到第一深度神經網路以產生第一輸出特徵圖； 將包含無缺陷物體的掃描圖像的第二輸入特徵圖輸入到具有與該第一深度神經網路相同的結構和權重值的第二深度神經網路，以生產第二輸出特徵圖；以及 當該第一和第二輸出特徵圖之間的距離大時，確定所掃描的該物體含有缺陷。
  2. 如請求項1之電腦實施的方法，其中： 建立該第一輸入特徵圖包含建立第一三維(3D)圖像張量，該第一三維3D圖像張量在該第一3D圖像張量的所有三個通道中具有該2D掃描圖像；以及 建立該第二輸入特徵圖包含建立具有以下的第二三維(3D)圖像張量： 在該第二3D圖像張量的第一通道中的無缺陷物體的第一2D掃描圖像； 在該第二3D圖像張量的第二通道中的無缺陷物體的第二2D掃描圖像；以及 在該第二3D圖像張量的第三通道中的無缺陷物體的第三2D掃描圖像。
  3. 如請求項1之電腦實施的方法，進一步包括： 從使用顏色圖像所訓練的深度神經網路複製該第一和第二深度神經網路的權重值。
  4. 如請求項1之電腦實施的方法，進一步包括基於在該第一深度神經網路的該輸出和該第二深度神經網路的該輸出之間的該距離的對比損失來調整該第一和第二深度神經網路的該權重值。
  5. 如請求項1之電腦實施的方法，進一步包括：當確定所掃描的該物體含有缺陷時，將該掃描圖像傳遞到自動缺陷分類器。
  6. 一種電腦實施的方法，包括： 在一個或多個計算裝置處存取在物體的超音波掃描中所獲取的掃描資料； 從該掃描資料建立二維(2D)掃描圖像； 產生與該掃描圖像相關聯的資訊的2D圖形表示法； 產生針對該物體的缺陷分類元資料； 建立三維(3D)圖像張量，該3D圖像張量具有在該3D圖像張量的第一通道中的該2D掃描圖像、在該3D圖像張量的該第二通道中的具有無缺陷物體的2D圖像、以及在該3D圖像張量的第三通道中的資訊的該2D圖形表示法； 將該3D圖像張量輸入到深度神經網路； 將該深度神經網路的輸出與該缺陷分類元資料進行比較； 調整該深度神經網路的輸出層的權重值，以提供該深度神經網路的該輸出和該缺陷分類元資料之間的增進的匹配；以及 儲存調整的該權重值。
  7. 如請求項6之電腦實施的方法，進一步包括從使用顏色圖像所訓練的深度神經網路複製在該深度神經網路的特徵映射層中的權重值。
  8. 如請求項6之電腦實施的方法，進一步包括儲存訓練資料組，包含： 將針對該物體的該缺陷分類元資料儲存到該訓練資料組；以及 將該三維(3D)圖像張量儲存到該訓練資料組。
  9. 一種自動缺陷檢測系統，包括： 第一電腦實施神經網路，其被組態以藉由將第一組權重值運用到第一輸入特徵來生產第一輸出特徵圖； 輸入預處理器，其被組態以將在物體的超音波掃描中所獲取的資料映射到針對該第一神經網路的輸入特徵圖； 第二電腦實施神經網路，其被組態以藉由將該第一組權重值運用到第二輸入特徵圖以生產第二輸出特徵圖，其中從一個或多個參考超音波掃描映射該第二輸入特徵圖； 比較器，其被組態以基於該第一輸出特徵圖和該第二輸出特徵圖之間的差異來產生相似性量測；以及 決策邏輯，其被組態以基於該相似性量測確定所掃描的該物體是否含有缺陷。
  10. 如請求項9之自動缺陷檢測系統，進一步包括儲存參考超音波掃描的記憶體，其中該參考超音波掃描是無缺陷物體的掃描。
  11. 如請求項9之自動缺陷檢測系統，其中該輸入預處理器被組態以： 從在該物體的超音波掃描中所獲取的掃描資料建立二維(2D)掃描圖像； 建立第一三維(3D)圖像張量作為該第一輸入特徵圖，該第一3D圖像張量在該第一3D圖像張量的所有三個通道中具有該2D掃描圖像。
  12. 如請求項11之自動缺陷檢測系統，其中該第二輸入特徵圖為具有以下的第二三維(3D)圖像張量： 在該第二3D圖像張量的第一通道中的第一2D參考超音波掃描圖像； 在該第二3D圖像張量的第二通道中的第二2D參考超音波掃描圖像；以及 在該第二3D圖像張量的第三通道中的第三2D參考超音波掃描圖像。
  13. 如請求項11之自動缺陷檢測系統，其中該輸入預處理器被組態以： 從在該物體的超音波掃描中所獲取的掃描資料建立二維(2D)掃描圖像； 產生與該掃描圖像相關聯的資訊的2D圖形表示法；以及 將該2D圖形表示法添加到該2D掃描圖像的該外圍以提供該第一輸入特徵圖。
  14. 如請求項9之自動缺陷檢測系統，進一步包括： 自動分類系統，其被組態以當該決策邏輯確定所掃描的該物體含有缺陷時處理該掃描圖像以提供該缺陷的分類。
  15. 如請求項9之自動缺陷檢測系統，組態以： 存取指示該物體是否含有缺陷的元資料； 基於在該第一輸出特徵圖和該第二輸出特徵圖之間的歐幾里德距離和所存取的該元資料產生對比損失；以及 至少部分地基於對比損失函數更新該第一組權重值。
  16. 如請求項9之自動缺陷檢測系統，其中該第一電腦實施神經網路包含具有複數個互相關層的深度神經網路。
TW112111151A 2022-03-28 2023-03-24 使用機器學習的超音波缺陷檢測和分類系統 TW202345103A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263324340P 2022-03-28 2022-03-28
US63/324,340 2022-03-28
US18/124,362 2023-03-21
US18/124,362 US20230306578A1 (en) 2022-03-28 2023-03-21 Ultrasonic defect detection and classification system using machine learning

Publications (1)

Publication Number Publication Date
TW202345103A true TW202345103A (zh) 2023-11-16

Family

ID=87930996

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112111151A TW202345103A (zh) 2022-03-28 2023-03-24 使用機器學習的超音波缺陷檢測和分類系統

Country Status (5)

Country Link
US (1) US20230306578A1 (zh)
JP (1) JP2023145412A (zh)
KR (1) KR20230139806A (zh)
DE (1) DE102023107476A1 (zh)
TW (1) TW202345103A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940889B2 (en) * 2021-08-12 2024-03-26 Tektronix, Inc. Combined TDECQ measurement and transmitter tuning using machine learning

Also Published As

Publication number Publication date
JP2023145412A (ja) 2023-10-11
DE102023107476A1 (de) 2023-09-28
KR20230139806A (ko) 2023-10-05
US20230306578A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
KR102613438B1 (ko) 반도체 표본의 딥 러닝 - 기반 검사의 방법 및 그 시스템
KR102083706B1 (ko) 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링
CN111539908B (zh) 对样本的缺陷检测的方法及其***
TWI796431B (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
TWI684000B (zh) 產生檢查配方的方法及其系統
CN113763312B (zh) 使用弱标记检测半导体试样中的缺陷
TW202006603A (zh) 基於機器學習之圖案分組方法
KR20190098262A (ko) 심층적으로 적층된 층들을 갖는 웨이퍼들에서 결함 분류기를 트레이닝하고 적용하기 위한 시스템, 방법
JP2017528697A (ja) 多重モードを備えた仮想検査システム
TW202044067A (zh) 基於機器學習之半導體樣本中的缺陷分類
TW202345103A (zh) 使用機器學習的超音波缺陷檢測和分類系統
EP3526768B1 (en) Processing digital image to remove unwanted portion
JP7146857B2 (ja) ディープラーニングに基づきウェーハ欠陥画像を用いてウェーハの欠陥を分類するための方法およびシステム
US20230153989A1 (en) Method and apparatus for automated defect detection
CN115222649A (zh) 用于对热图的图案进行检测和分类的***、设备和方法
JP7475901B2 (ja) 試験片上の欠陥検出の方法およびそのシステム
CN116818891A (zh) 使用机器学习的超声缺陷检测和分类***
Danajitha et al. Detection of Cracks in High Rise Buildings using Drones
CN111512324B (zh) 半导体样品的基于深度学习的检查的方法及其***
KR20240039600A (ko) 기계 학습 기반 결함 검사를 위한 이미지 증강
CN116802676A (zh) 用于使用芯片设计数据以改进光学检验及计量图像质量的方法
JP2022123235A (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
Jahanshahi et al. Nondestructive vision-based approaches for condition assessment of structures
JPWO2020031422A1 (ja) オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム