TWI748122B - 用於對多個項進行分類的系統、方法和電腦程式產品 - Google Patents

用於對多個項進行分類的系統、方法和電腦程式產品 Download PDF

Info

Publication number
TWI748122B
TWI748122B TW107130054A TW107130054A TWI748122B TW I748122 B TWI748122 B TW I748122B TW 107130054 A TW107130054 A TW 107130054A TW 107130054 A TW107130054 A TW 107130054A TW I748122 B TWI748122 B TW I748122B
Authority
TW
Taiwan
Prior art keywords
defects
defect
user
class
given
Prior art date
Application number
TW107130054A
Other languages
English (en)
Other versions
TW201933279A (zh
Inventor
阿賽夫 艾斯拜格
寶茲 扣漢
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201933279A publication Critical patent/TW201933279A/zh
Application granted granted Critical
Publication of TWI748122B publication Critical patent/TWI748122B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

一種系統、方法和電腦軟體產品，所述系統能夠對缺陷進行分類並且包括：基於硬體的GUI部件；及處理和存儲電路，所述處理和存儲電路經配置以：a.在獲得提供多個缺陷和其屬性值的資訊的資料之後，使用所述屬性值產生將所述多個缺陷分為多個類的初始分類；b.針對給定類，由所述基於硬體的GUI部件向使用者呈現以低似然性被初始分類為所述給定類的缺陷的圖像，其中所述圖像連同以最高似然性被初始分類為所述給定類的一個或多個缺陷的圖像一起呈現；和c.在由所述使用者使用所述基於硬體的GUI部件確認將所述至少一個缺陷分類為所述給定類的情況下，將所述至少一個缺陷指示為屬於所述給定類。

Description

用於對多個項進行分類的系統、方法和電腦程式產品
本文揭示的發明標的涉及檢查物件（例如，晶圓、掩模版等），並且尤其是，涉及對通過檢查物件的被捕獲的圖像而檢測到的缺陷進行分類，並且涉及產生分類模型。
對與所製造的元件的超大型積體電路相關聯的高密度和性能的當前需求需要亞微米特徵、增加的電晶體和電路速度、和改良的可靠性。此類需求需要形成具有高精確度和均勻性的元件特徵，這繼而有必要小心監控製造製程，其中包含在元件仍處於半導體晶圓的形式時頻繁且詳細地檢驗所述元件。
本說明書中使用的術語「物件」應廣泛地被解釋為涵蓋用於製造半導體積體電路、磁頭、平板顯示器和其它半導體製造的物件的任何種類的晶圓、遮罩和其它結構的樣品，上述的組合和/或部分。
本說明書中使用的術語「缺陷」應廣泛地被解釋為涵蓋在晶圓上或晶圓內形成的任何種類的異常或不期望的特徵。
複雜的物件製造製程並不是無誤的，並且這些錯誤可能導致製造的物件中的瑕疵。瑕疵可包含可能損害物件操作的缺陷，以及可為缺陷的滋擾（nuisance），但不導致所製造單元的任何損害或故障。作為非限制性示例，由原材料中的瑕疵，機械、電或光學誤差，人為誤差或其它原因所致，在製造製程期間可導致缺陷。此外，缺陷可由空間時間因素導致，所述因素諸如在檢查製程期間的一個或多個製造階段之後出現的晶圓溫度改變，這可導致一些晶圓變形。例如由檢查設備或製程中的光學、機械或電問題所致，檢查製程也可以引入另外的所謂的誤差，因此提供不完全捕獲。此種誤差可產生假陽性發現，它看上去似乎含有缺陷，但實際上在所述區域處不存在缺陷。
在許多應用中，缺陷的類型或類是重要的。例如，可將缺陷分類為多個類中的一種，諸如顆粒、刮痕、製程等。
除非另作具體聲明，否則本說明書中使用的術語「檢查」應廣泛地被解釋為涵蓋任何類對於物件中的缺陷的檢測和/或分類。檢查通過在製造待檢查的物件期間或之後使用非破壞性檢驗工具來提供。作為非限制性示例，檢查製程可以包含使用一個或多個檢驗工具掃描（單次或多次掃描）、取樣、審查、測量、分類和/或關於物件或其部分提供的其它操作。同樣，檢查可以在製造待檢查的物件之前提供，並且可以包含例如產生檢查方案。注意到，除非另作具體聲明，否則本說明書中使用的術語「檢查」或其衍生詞不限於關於所檢驗區域的大小或掃描的速度或解析度。作為非限制性示例，各種非破壞性檢驗工具包含光學檢驗工具、掃描電子顯微鏡、原子力顯微鏡等。
檢查製程可以包含多個檢查步驟。在製造製程期間，例如，在製造或處理某些層或類似者之後，檢查步驟可以執行多次。另外或替代地，例如針對不同的晶圓位置或針對具有不同檢查設置的相同晶圓位置，每個檢查步驟可以重複多次。
作為非限制性示例，執行時間檢查可以採用兩步過程，例如，檢驗樣品接著審查取樣缺陷。在檢驗步驟期間，樣品或其部分的表面（例如，關注區域、熱點等）通常以相對高速度和/或低解析度來掃描。分析所捕獲的檢驗圖像來檢測缺陷並獲得所述缺陷的位置和其它檢驗屬性。在審查步驟處，在檢驗階段期間檢測的至少一些缺陷的圖像通常以相對低的速度和/或高解析度被捕獲，由此實現分類以及任選地，至少一些缺陷的其它分析。在一些情況下，兩個階段都可以由相同檢驗工具來實現，並且在一些其它情況下，這兩個階段由不同的檢驗工具來實現。
所揭示的發明標的的一個態樣涉及一種能夠對缺陷進行分類的系統，包括：基於硬體的CUI部件；及處理和存儲電路(PMC)，經配置以：在獲得提供多個缺陷和其屬性值的資訊的資料之後，使用所述屬性值來產生將所述多個缺陷初始分類為多個類；針對來自所述多個類的給定類，由所述基於硬體的GUI部件向使用者呈現以低似然性被初始分類為所述給定類的缺陷圖像，其中所述圖像連同以最高似然性被初始分類為所述給定類的一個或多個缺陷的圖像一起呈現；和在由所述使用者使用所述基於硬體的GUI部件確認將所述缺陷分類為所述給定類的情況下，將所述缺陷指示為屬於所述給定類。在所述系統內，PMC任選地進一步經配置以針對以最低似然性被初始分類為給定類的預定數量的缺陷或針對以低於預定閾值似然性的似然性被初始分類為給定類的所有缺陷重複操作b)和c)。在所述系統內，將多個缺陷初始分類為多個類任選地包括：根據屬性值將所述多個缺陷群集為群集；由基於硬體的GUI部件向使用者呈現被群集為來自所述群集中的一個群集的一個或多個缺陷；和在使用所述基於硬體的GUI部件從使用者接收對一個或多個缺陷形成一個群集的批准的情況下，基於所述群集產生類，並且接收所述類的識別字。在所述系統內，PMC任選地進一步經配置以：在由使用者使用基於硬體的GUI部件拒絕將缺陷分類為給定類的情況下：使用基於硬體的GUI部件向使用者呈現具有第二類的表示的缺陷；和在由使用者使用基於硬體的GUI部件確認將缺陷分類為所述第二類的情況下，將缺陷指示為屬於所述第二類。在所述系統內，將缺陷分類為給定類的似然性任選地高於將缺陷分類為第二類的似然性。在所述系統內，PMC任選地進一步經配置以：在使用基於硬體的GUI部件從使用者接受對將缺陷分類為第二類的拒絕的情況下：使用所述基於硬體的GUI部件向使用者呈現具有多個額外的缺陷的缺陷；和使用基於硬體的GUI部件從使用者接收第三類的識別字；和將所述缺陷指示為屬於所述第三類。在所述系統內，PMC任選地進一步經配置以：使用基於硬體的GUI部件從使用者接收對來自多個額外的缺陷的一個額外的缺陷的指示；和將所述額外的缺陷指示為屬於第三類。在所述系統內，PMC任選地進一步經配置以：在完成向使用者呈現被分類為多個類的缺陷之後：向使用者呈現非關聯的缺陷；從使用者接收第四類的識別字，所述非關聯的缺陷將與所述第四類關聯；和使所述非關聯的缺陷與所述第四類關聯。在所述系統內，PMC任選地進一步經配置以出於選自由下列組成的群組的目的使用如與多個類關聯的多個缺陷：基於項與類的關聯訓練分類器、確定檢查工具的配置參數、和樣品設計。
所揭示的發明標的的另一態樣涉及一種將樣品中的缺陷分類為多個類的方法，所述方法包括：在由處理和存儲電路(PMC)獲得提供多個缺陷和其屬性值的資訊的資料之後，使用所述屬性值來使用PMC將所述多個缺陷初始分類為所述多個類；針對來自多個類的給定類，向使用者呈現以低似然性被初始分類為所述給定類的缺陷圖像，其中所述圖像連同以最高似然性被初始分類為所述給定類的一個或多個缺陷的圖像一起呈現；和在由使用者確認將缺陷分類為所述給定類的情況下，將所述缺陷指示為屬於所述給定類。所述方法可以進一步包括針對以最低似然性被初始分類為給定類的預定數量的缺陷或針對以低於預定閾值似然性的似然性被初始分類為給定類的所有缺陷重複操作b)和c)。在所述方法內，將多個缺陷初始分類為多個類任選地包括：根據屬性值將所述多個缺陷群集為群集；向使用者呈現被群集為來自所述群集中的一個群集的一個或多個缺陷；和在從使用者接收批准一個或多個缺陷形成一個群集的情況下，基於所述群集產生類，並且接收所述類的識別字。所述方法可以進一步包括：在由使用者拒絕將缺陷分類為給定類的情況下：向使用者呈現具有第二類的表示的缺陷；和在由使用者確認將缺陷分類為所述第二類的情況下，將缺陷指示為屬於所述第二類。在所述方法內，將缺陷分類為給定類的似然性任選地高於將缺陷分類為第二類的似然性。所述方法可以進一步包括：在接收使用者對將缺陷分類為第二類的拒絕的情況下：向使用者呈現具有多個額外的缺陷的缺陷；和從使用者接收第三類的識別字；和將所述缺陷指示為屬於所述第三類。所述方法可以進一步包括：從使用者接收對來自多個額外的缺陷的一個額外的缺陷的指示；和將所述額外的缺陷指示為屬於第三類。所述方法可以進一步包括：在完成向使用者呈現被分類為多個類的缺陷之後：向使用者呈現非關聯的缺陷；從使用者接收第四類的識別字，所述非關聯的缺陷將與所述第四類關聯；和使所述非關聯的缺陷與所述第四類關聯。所述方法可以進一步包括出於選自由下列組成的群組的目的使用如與多個類關聯的多個缺陷：基於項與類的關聯訓練分類器、確定檢查工具的配置參數、和樣品設計。
所揭示的發明標的的另一態樣涉及一種電腦軟體產品，包括其中存儲程式指令的非暫時性電腦可讀取媒體，當由電腦讀取時，所述指令致使電腦：在獲得提供多個缺陷和其屬性值的資訊的資料之後，使用所述屬性值來實現將所述多個缺陷初始分類為所述多個類；針對來自多個類的給定類，向使用者呈現以低似然性被初始分類為所述給定類的缺陷圖像，其中所述圖像連同以最高似然性被初始分類為所述給定類的一個或多個缺陷的圖像一起呈現；和在由使用者確認將缺陷分類為所述給定類的情況下，將所述缺陷指示為屬於所述給定類。
在以下詳細描述中，闡述一些具體細節來提供對本發明的全面理解。然而，本領域的技術人員將理解，本文揭示的發明標的可在不具有這些具體細節的情況下實踐。在其它示例中，熟知方法、過程、部件和電路尚未詳細描述，以免混淆本文揭示的發明標的。
除非另作具體聲明，如從以下討論顯而易見的，瞭解到在整個本說明書的討論中，採用術語諸如「確定」、「計算」、「處理」、「運算」、「表示」、「比較」、「產生」、「估計」、「匹配」、「處理」、「選擇」或類似術語是指將資料操縱和/或變換為其它資料的電腦的動作和/或處理，所述資料表示為物理的，諸如電子、數量和/或表示物理物件的所述資料。術語「電腦」應廣泛地被解釋為涵蓋任何種類的具有資料處理能力的基於硬體的電子裝置，作為非限制性示例，所述電子裝置包含在本申請中揭示的FPEI系統和其部件。
在本說明書中使用的術語「分類」應廣泛地被解釋為涵蓋任何種類的將項分配為類集合，使得為每個項分配一個類。類可由使用者定義或以其它方式接收。也可接收訓練集，所述訓練集包括項集合和類，將每個項分配至所述類。分類器可隨後在訓練集上訓練，使得另外的項可以根據它們與來自訓練集的項或與由訓練確定的類特性的相似性或不相似性來分類。
在本說明書中使用的術語「主動學習」應廣泛地被解釋為涵蓋任何種類的半監督機器學習，其中學習演算法能夠查詢使用者或資訊來源的另一來源以獲得關於輸入的輸出，諸如一個或多個資料點。在許多情況下，諸如當捕獲缺陷時，過剩的資料是可用的，然而，人工或其它可信標記成本很高。在此情況下，學習演算法可以主動且反覆地查詢使用者標籤。
當檢查物件時，每個缺陷可由分配給多個屬性的值表徵，所述屬性諸如大小、顏色、背景顏色、出現的上下文、形狀、紋理等。屬性數量不受限制並且可以在一與數千之間變化。可訓練分類器，並且分類可基於項之間的鄰近、或在項與類特性之間的鄰近。鄰近可根據可應用的距離函式定義，例如基於屬性空間和每種屬性的值範圍定義的距離。
每個缺陷可隨後基於其屬性值被自動分類為多個類中的一個類，諸如顆粒、刮痕、製程等。
本文使用的術語「非暫時性記憶體」和「非暫時性存儲媒體」應廣泛地被解釋為涵蓋適用於本文揭示的發明標的的任何易失性或非易失性電腦記憶體。
瞭解到，除非另作具體聲明，在獨立實施方式的上下文中描述的本文揭示的發明標的的某些特徵亦可以在單個實施方式中組合提供。相反地，在單個實施方式的上下文中描述的本文揭示的發明標的的各種特徵也可以分別提供或以任何合適的子組合提供。在以下詳細描述中，闡述一些具體細節以提供對方法和設備的全面理解。
有鑑於此，參見圖1，示出根據本文揭示的發明標的的某些實施方式的檢查系統的概括性方框圖。圖1中示出的檢查系統100可以用於檢查(例如，晶圓和/或其部件的)物件的缺陷。檢查可以為物件製造的一部分，並且可以在製造物件期間或其後執行。所示出的檢查系統100包括基於電腦的缺陷檢測系統103，所述系統能夠使用在物件製造之前、期間或之後獲得的圖像(下文稱為製造製程(FP)圖像)和/或其衍生物來自動地確定度量(metrology)有關和/或缺陷有關的資訊。缺陷檢測系統103在下文稱為製造製程檢查資訊(FPEI)系統103。FPEI系統103可以可操作地連接到一個或多個檢驗工具101和/或一個或多個審查工具102。檢驗工具101經配置以捕獲檢驗圖像(通常，以相對高速度和/或低解析度)。審查工具102經配置以捕獲由檢驗工具101檢測的至少一些缺陷的審查圖像(通常，以相對低速度和/或高解析度)。
FPEI系統103可以進一步可操作地連接到設計伺服器110和資料儲庫109。
物件可以由檢驗工具101 （例如，光學檢驗系統、低解析度SEM等）檢查。提供所顯示潛在缺陷的資訊的所得圖像和/或其衍生物（下文共同稱為檢驗資料121 ）可以直接或經由一個或多個中間系統傳輸到FPEI系統103 。如將參考下圖進一步詳述的，FPEI系統103 經配置以經由輸入介面105 接收由檢驗工具101 產生的資料和/或在一個或多個資料儲庫109 和/或設計伺服器110 中存儲的資料，資料諸如使用基於硬體的圖形使用者介面(GUI)120 和/或另一相關資料儲庫從使用者接收的指示。檢驗資料121 可以指示潛在缺陷的位置和所述缺陷的其它屬性。
FPEI系統103 進一步經配置以處理所接收資料並經由輸出介面106 將結果（或其部分）發送到存儲系統107 、檢查工具、用於向使用者呈現結果的基於電腦的圖形使用者介面(GUI)120 （例如在顯示裝置（未圖示）上）、和/或另外的檢查工具、外部系統或存儲裝置和/或外部系統（例如，FAB的收益管理系統(YMS)、方案節點等）。GUI120 可以進一步經配置以實現關於操作FPEI系統103 並且具體來說關於分類系統112 的使用者指定的輸入。
如將參考下圖進一步詳述，FPEI系統103 可以經配置以處理所接收的檢驗資料（任選地與其它資料一起，例如，設計資料和/或缺陷分類資料）來選擇用於審查的潛在缺陷。注意到，用於審查的潛在缺陷在下文也被稱為用於審查的缺陷。
FPEI系統103可以將處理結果(例如，指令相關資料125和/或潛在缺陷124)發送到任何檢查工具、將結果(例如，缺陷分類)存儲在存儲系統107中、經由GUI 120將結果呈現和/或發送到外部系統(例如，到YMS、方案節點等)。
樣本可以由審查工具102進一步檢查。根據由FPEI系統103產生的資料的針對審查選擇的潛在缺陷位置的子組可以由掃描電子顯微鏡(SEM)或原子力顯微鏡(AFM)等審查。提供審查圖像和/或其衍生物的資訊的所得資料(下文稱為審查資料122)可以直接或經由一個或多個中間系統傳輸到FPEI系統103，並且可以用於進一步選擇用於審查的潛在缺陷、分類所審查的缺陷等。
FPEI系統103包括處理器和記憶體電路(PMC)104，PMC 104可操作地連接到基於硬體的輸入介面105和基於硬體的輸出介面106。如參考下圖進一步詳述，PMC 104經配置以提供操作FPEI系統103所必須的處理，並且包括處理器(未分別圖示)及記憶體(未分別圖示)。PMC 104的處理器可以經配置以根據電腦可讀取指令執行多個功能模組，所述電腦可讀取指令在PMC 104中包括的非暫時性電腦可讀取記憶體上實現。此類功能模組下文被稱為包括在PMC 104中。在處理器中包括的功能模組包含或可操作地連接到分類系統 112，包括群集引擎113、分類引擎114(也稱為分類器)、訓練引擎115和缺陷選擇引擎116。
本領域的技術人員將容易瞭解，本文揭示的發明標的的教示不限於圖1所示的系統；等效和/或修改的功能可以另一方式合併或分開，並且可以以軟體與韌體和/或硬體的任何適當組合來實現。
應注意到，圖1所示的檢查系統可以在分散式運算環境中實現，其中先前提及的圖1所示的功能模組可以分佈在多個本端和/或遠端裝置上，並且可以通過通信網路連接。進一步注意到，在其它實施方式中，檢驗工具101和/或審查工具102、資料儲庫109、存儲系統107和/或GUI 120的至少部分可以在檢查系統100外部並且經由輸入介面105和輸出介面106與FPEI系統103資料通信地操作。FPEI系統103可以實現為與檢查工具結合使用的獨立式電腦。或者，FPEI系統103的相應功能可以至少部分與一個或多個檢查工具、處理控制工具、方案產生工具、用於自動缺陷審查和/或分類的系統、和/或有關檢查的其它系統整合。
本領域的技術人員將容易瞭解，本文揭示的發明標的的教示不限於圖1所示的系統；等效和/或修改的功能可以另一方式合併或分開，並且可以軟體與韌體和硬體的任何適當組合來實現。
通常，所檢查的物件由檢驗工具101捕獲，從而捕獲物件或其部分的一個或多個圖像。所述圖像可覆蓋物件中的一層或多層的整個區域、或其任何部分。例如，由於捕獲所檢查物件的類型的取樣物件，使用預設（default）方案或修改方案拍攝並分析所述圖像。
檢查系統分析所捕獲圖像並確定多個潛在缺陷位置。檢查系統100 可以隨後從潛在缺陷中選擇用於審查的多個位置。位置可以被選擇為對應於具有為真缺陷的最高概率的潛在缺陷、選擇在物件區域上方均勻分佈的位置、或根據其它考量。
所選擇位置或其一些位置可以隨後由審查工具102 成像。可以隨後分析圖像，用於由自動缺陷識別(ADR)模組111 確定每個成像位置是否確實包括缺陷。
真實缺陷和任選地額外的缺陷，例如，滋擾（其為不導致損害的缺陷），可表達為分配給多個屬性的值的集合，並且可以使用分類系統112 的分類引擎114 來分類為預定類的集合中的一個。術語分類和關聯在下文揭示內容中可互換地使用。
額外地或可替代地，分類系統112 可以用於分類項集合，諸如在任何其它時間從任何其它源接收的缺陷。分類系統112 可以採用主動學習技術，以有效獲得訓練集中。主動學習可以包含選擇少數示例並請求使用者針對所述示例審查所建議分類，因此以使用者的相對較少努力產生用於分類器的訓練集中。
分類引擎114 可以在訓練集之後由分類器訓練引擎115 來訓練，其中在訓練之後，分類引擎114 可以對缺陷進行分類。訓練集可以包括多個缺陷，每個缺陷表達為屬性值的集合，並且每個缺陷與類之一的關聯也被稱為標記。
然而，獲得訓練集是價值不大的。缺陷（諸如由檢驗工具101 或審查工具102 輸出的缺陷）的集合可以包括數萬至數百萬的缺陷，其中分類器可在所述缺陷上訓練，例如在數千的數量級。然而，選擇待由人類標記的樣品價值也不大。隨機選擇易於導致常見缺陷或來自密集區域的缺陷的過度表示以及在所有其它缺陷處的過少表示或無表示。也應注意到，當分類大量缺陷時，可發生人為誤差，其可等於40%的誤差率。將瞭解到，也在其它情況下，例如當對改良分類的需求提高時，可能需要標記或分類大量缺陷。在另一示例中，當校準方案時，可能需要掃描晶圓並檢查所發現的缺陷群體，此舉需要群體分類以驗證已表示所有分類。在另一示例中，所分類的群體可以在新物件的研究和發展(R&D)階段期間使用。另外的示例涉及改良分類器性能、選擇分歧群體之間的自動且穩定閾值以降低操作者之間的不一致性等。
如下文詳述，分類系統112 可以用於以半自動方式有效地對大量缺陷或其它項進行分類。
現參考圖 2A ，示出了根據本文揭示的發明標的的某些實施方式的用於對缺陷進行分類的製程的概括性流程圖。
分類系統112 可以獲得(200 )將多個缺陷初始分類為類。初始分類可能不被處理為使缺陷與類正相關的「基本真值」，而是更多地被處理為另外的分類。初始分類可通過以下步驟來獲得：將多個缺陷群集為群集；向使用者提供類；和在批准缺陷被正確群集之後，向每個此群集提供識別字，諸如名稱或數量，因此將群集視為類。
分類系統112 可以啟動關聯呈現模組123 ，用於檢查缺陷與類的關聯(204 )。檢查可以通過向使用者提供每個分類多個缺陷來針對每個類執行，其中將缺陷自動分類為類，並且以最高似然性將缺陷分類為類。每個此呈現包括提供缺陷圖像和被分類為所述類的其它缺陷圖像（或若不存在正向分類的缺陷，則包括被初始分類為所述類的缺陷圖像）。使用者可以隨後決定缺陷是否應當確實與類關聯，例如被分類為該類。若使用者指示缺陷不與類關聯，則可再次向缺陷提供有一個或多個其它類，以較低似然性將缺陷自動分類為所述其它類。可以確定的是，針對每個類，向使用者提供的缺陷可為那些分類到類的最有問題的缺陷。例如，若以90%的確定性將第一缺陷分類為類A（並且以更低似然性將第一缺陷分類為其它類），並且以20%的確定性將第二缺陷分類為類A（並且以更低似然性將第二缺陷分類為其它類），則優先請求使用者關於第二缺陷與類A的關聯，由於第二缺陷在估計類邊界方面更為有用。
若缺陷不與任何所提供類關聯，則向缺陷提供與其類似的其它缺陷(216 )。例如，若將每個缺陷表示為針對多個屬性的值的集合，則類似缺陷可為在屬性空間中接近所述缺陷的那些缺陷。使用者可以隨後使缺陷或其它所提供的缺陷與任何現有類關聯，並且不限於接受或拒絕所提供的類。
若確定(208 )缺陷屬於一類（第一所提供類、第二所提供類等），除非使用者選擇結束212 處理，否則所述處理針對另外的缺陷繼續。
一旦已經為缺陷提供所有類，或若使用者人工選擇結束處理，則可結束所述處理(212 )。可通過在正相關的缺陷上訓練分類器來結束處理。處理可隨後接著向使用者提供另外的非關聯缺陷和相關類的進一步反覆運算。
一旦結束，就意味著請求使用者結束或已經為預定數量的缺陷提供每個類並且所述缺陷與所述類或另一類關聯，可執行一些關閉操作(220 )，這取決於具體應用或需要。
現參考圖 2B ，示出了根據本文揭示的發明標的的某些實施方式的用於分類項（諸如缺陷）的製程的詳細流程圖。
群集引擎113 可以接收多個缺陷，每個缺陷表徵或表示為屬性值的集合。群集引擎113 可以隨後將項群集(240 )為多個群集。群集可以基於在屬性空間中的距離，但也基於其它度量，例如基於資訊理論或概率量度。也可以理解，空間探索屬性空間不限於群集，並且可使用其它技術。
群集可以使用任何無監督群集方法，諸如但不限於K均值或K中心點（K-medoids）群集，其中K不是給定先驗（a-priori）、均值偏移群集、階層群集、OPTICS+群集、GMM、光譜群集或當前已知或將來變為已知的任何其它群集方法。群集數量可限於可以由人類管理的數量，諸如在10與100之間。
在一些示例性實施方式中，群集可以通過將兩個最遠缺陷選擇為群集中心開始，其中在屬性空間中測量缺陷之間的距離。隨後，可以選擇距離兩個缺陷最遠的第三缺陷，其中可以將距離確定為距兩個初始缺陷的距離的總和、平方距離的總和等。因此，可以將每個下個缺陷選擇為距所有先前選擇的缺陷最遠的缺陷，直至獲得所需數量的群集。此方法可被認為是探查，其中嘗試形成具有覆蓋大部分屬性空間的缺陷的群集。
選擇最遠缺陷本身也可以用作初始化方法，來替代群集使用。
一旦群集了缺陷，關於一個或多個群集的使用者指示可以經由GUI120 的群集呈現模組121 接收(244 )。可在向使用者顯示群集之後接收使用者指示。
現也參考圖 3 ，示出了接收關於由無監督群集產生的群集的使用者審查的顯示的說明性示例。
如窗格300 中所示，GUI120 的群集呈現121 可以向使用者顯示群集表示。顯示可包括項圖像，例如，被群集為相同群集的缺陷圖像。顯示可進一步包括文字方塊316 ，其中使用者可以基於群集向類提供標記，例如，適當名稱、描述或另一識別字。在使用者確認缺陷確實相關於相同群集的情況下，可提供識別字。否則，使用者可以分別使用按鈕308 和310 忽略並移動到上一個或下一個群集。若所顯示缺陷的顯著部分似乎相關於彼此，則使用者可接受群集，儘管其它缺陷（諸如缺陷304 ）似乎不相關。在一些實施方式中，使用者可接受群集，同時拒絕具體缺陷與所述缺陷關聯。
使用者也可將已經存在類的識別字輸入文字方塊316 中，因此指示當前缺陷應當與存在類關聯。一旦識別字是可用的，群集可被認為成類。
在多個方法中，待向使用者顯示的缺陷可從被群集為相同群集的多個缺陷中選擇。例如，可選擇嘗試表示群集的一組缺陷，諸如具有到其它缺陷的低累加距離的群集、具有接近所群集項的平均屬性值的屬性值的缺陷、或以任何其它方式。
群集(240 )和接收使用者指示(244 )構成獲得初始分類(200 )的示例性實現方式。
如下文詳述，重複執行以下步驟，直到滿足停止準則。
一旦已經獲得分類，訓練引擎115 可在缺陷與所產生類關聯之後訓練(248 )分類器。
注意到，在第一反覆運算上，尚未有缺陷由使用者正向指示為與類關聯。而是，所標識類可包括尚未與類正相關而是顯示為群集的部分的缺陷。
在第二和後續反覆運算中，在缺陷與每個類正相關之後訓練分類器。
分類引擎114 可以分類(252 )尚未與類正相關的所有項。在第一反覆運算上，由於缺陷均未由使用者獨立地指示為與類正相關，可分類所有缺陷。分類可以通過檢查缺陷與每個類的關聯來實現，因此確定多個置信水準，每個置信水準指示缺陷確實與所述類關聯的置信度。
缺陷選擇引擎116 可以隨後為每個類選擇(256)缺陷數量，針對所述缺陷數量，在當前反覆運算上與所述類關聯的置信水準高於與其它類關聯的置信水準。取決於置信水準、在使用者設置的情況下等，可以關於被分類為特定類的項數量預定所述數量。
在一些示例中，選擇的缺陷可為以最高置信水準被分類為特定類的缺陷，其中第二高置信水準接近最高置信水準，例如至多由預定差區分，這意味著此缺陷的分類可為有分歧的。
在另外的方法中，選擇的缺陷可為被分配至所述類的似然性低於被分配至所述類的其它缺陷的似然性的缺陷。
缺陷選擇(256 )也可以採用用於選擇待由使用者審查的缺陷的其它方法。一種方法被稱為開發，其中以較高概率選擇接近類中心的缺陷，例如，接近針對每個屬性具有一值的點的缺陷，所述值為與所述類關聯的缺陷的屬性值的平均值。被稱為探查的另一種方法可查找距類中心最遠的缺陷，以定義類邊界。
將瞭解到，也可使用兩種方法的組合，其中一些缺陷通過探查選擇，而其它缺陷通過開發選擇。
另一方法被稱為「由委員會查詢」，所述方法採用訓練多個分類模型。模型無法確定的缺陷（即，不同模型將這些缺陷分類為不同類）更易於選擇，由於針對這些缺陷接收使用者的輸入可以幫助明確它們的關聯。
又一種方法被稱為「期望誤差減少」，其中將缺陷分類為每個類，並且在任何此分類之後構造模型。被分類直到所述時間的缺陷隨後由每個分類器再次分類。可以選擇與最小誤差率關聯的缺陷。然而，由模型的較大數量作為樣本數量乘以類數量所致，此種方法需要密集的計算資源。因此，若使用此種方法，可需要一些試探法（heuristics）以減少模型數量。
也將瞭解到，所採取方法可在反覆運算之間變化。例如，為了在基於群集的第一反覆運算中在短時間內獲得對大量缺陷的分類，缺陷可通過開發選擇，而後面的反覆運算可通過探查選擇更多缺陷。
GUI 120的關聯呈現123可以隨後向使用者顯示缺陷的圖像或另一表示，以及與最高置信水準關聯的類的圖像或另一表示，並且從使用者接收(260)項是否確實屬於所述類並且應當與其關聯的指示。所建議類可由與所述類關聯的缺陷圖像的集合來顯示。
所揭示方法提供了選擇提供資訊的樣本而無冗餘。分配類隨後應用到未標記的缺陷來產生訓練集中。
現參考圖4，示出了接收建議分類為一類的缺陷的使用者審查的顯示的說明性示例。
表示可包括缺陷圖像400和類表示，包括例如窗格404，所述窗格顯示先前與類關聯的多個缺陷圖像。將瞭解到，在初始分類之後並且在任何特定缺陷與類正相關之前，可顯示被群集到所述類所基於的群集的缺陷圖像。
表示包括對照，諸如使用者指示缺陷是否與類關聯的核取方塊408和412。
在另外的實現方式中，可同時提供而非相繼提供建議與類關聯的多個缺陷，並且使用者可以針對每個缺陷指示所述缺陷是否確實與類關聯。
若使用者指示所顯示缺陷不與類關聯，則GUI 120的關聯呈現123可以顯示缺陷和置信水準為第二高的類，並且接收(264)缺陷是否屬於第二類的使用者指示。將瞭解到，若使用者指示缺陷不與類關聯，則另外類可針對使用者指示顯示。所嘗試的類數量可預定（例如三個）、或以任何其它方式設置。
可以理解，儘管存在其它方法，僅給予使用者指示缺陷是否與類關聯的選項而非多個選擇，這提供了快節奏和誤差率降低。
在一些實施方式中，若使用者不使缺陷與任何建議類關聯，則可向使用者提供(216 )當前缺陷和與當前缺陷類似的其它缺陷。使用者可以隨後具有先前可能不可用的選項來為缺陷從分類下拉式功能表420 中選擇任何類。利用此顯示，使用者可以將其它缺陷中的一個或多個缺陷指示為也與相同類關聯。
以上步驟可以重複，直到滿足停止準則，例如，使用者已請求結束處理，已執行預定數量的反覆運算，不存在非關聯缺陷，所有非關聯缺陷接近例如距關聯缺陷小於預定值的距離處並且可以因此假定為屬於相同類，在反覆運算之間的非關聯缺陷的數量落到預定閾值以下，在反覆運算之間的類特性改變低於預定閾值，已經使用了最大時間等。
一旦已滿足停止準則，則可執行關閉操作(220)。
一旦完成分類，可以多個方式利用(272 )分類。出於諸如產品的研究和發展(R&D)之類的目的，一種此方式是簡單地使用缺陷的分類集中。另外的目的可為訓練分類器，用於分類另外的缺陷。又一目的可為調節一個或多個檢查工具的參數，例如調節方案。
本揭示內容可以用於有效地接收多個缺陷的使用者驗證的分類。分類的缺陷可以原樣用於訓練分類器、檢查其它分類或任何其它目的。
可以理解，本揭示內容不限於對缺陷進行分類，並且可以用於任何領域中的項的任何分類器。
應理解，本發明不限於應用到在本文含有的描述中闡述或在圖中示出的細節。本發明能夠具有其它實施方式並且以各種方式實踐和實現。因此，應理解，本文採用的措辭和術語是出於描述的目的並且不應當被認為是限制。因此，本領域的技術人員將瞭解，本揭示內容所基於的概念可容易用作設計其它結構、方法和系統的基礎，以用於實現本文揭示的發明標的的多個目的。
也可以理解，根據本發明的系統可至少部分地在合適的程式電腦上實現。同樣，本發明預期可由電腦讀取的電腦程式用於執行本發明的方法。本發明進一步預期一種有形地實現指令程式的非暫時性電腦可讀取記憶體，所述指令可由電腦執行用於執行本發明的方法。
本領域的技術人員將容易瞭解，在不脫離本發明的在隨附申請專利範圍所限定的保護範圍的情況下，可以對如上文描述的本發明的實施方式應用各種變型和修改。
100‧‧‧檢查系統101‧‧‧檢驗工具102‧‧‧審查工具103‧‧‧缺陷檢測系統104‧‧‧處理器和記憶體模組105‧‧‧輸入介面106‧‧‧輸出介面107‧‧‧存儲系統109‧‧‧資料儲庫110‧‧‧設計伺服器111‧‧‧自動缺陷識別模組112‧‧‧分類系統113‧‧‧群集引擎114‧‧‧分類引擎115‧‧‧訓練引擎116‧‧‧缺陷選擇引擎120‧‧‧圖形使用者介面121‧‧‧檢驗資料/群集呈現122‧‧‧審查資料123‧‧‧關聯呈現124‧‧‧潛在缺陷125‧‧‧指令相關資料200‧‧‧獲得204‧‧‧關聯208‧‧‧確定212‧‧‧結束216‧‧‧提供220‧‧‧關閉操作240‧‧‧群集244‧‧‧接收248‧‧‧訓練252‧‧‧分類256‧‧‧選擇260‧‧‧接收264‧‧‧接收272‧‧‧利用300‧‧‧窗格304‧‧‧缺陷308‧‧‧按鈕310‧‧‧按鈕316‧‧‧文字方塊400‧‧‧缺陷圖像404‧‧‧窗格408‧‧‧方塊412‧‧‧方塊420‧‧‧功能表
為了理解本發明並瞭解本發明如何在實踐中執行，現將參考附圖僅作為非限制性示例來描述實施方式，在附圖中：
圖 1 圖示根據本文揭示的發明標的的某些實施方式的檢查系統的方框圖；
圖 2A 圖解根據本文揭示的發明標的的某些實施方式的用於對缺陷進行分類的方法的概括性流程圖；
圖 2B 圖解根據本文揭示的發明標的的某些實施方式的用於對缺陷進行分類的方法的詳細流程圖；
圖 3 為根據本文揭示的發明標的的某些實施方式的接收關於無監督群集的使用者審查的顯示的說明性示例；和
圖 4 為根據本文揭示的發明標的的某些實施方式的接收對建議被分類為一個類的缺陷的使用者審查的顯示的說明性示例。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
200‧‧‧獲得
204‧‧‧關聯
208‧‧‧確定
212‧‧‧結束
216‧‧‧提供
220‧‧‧關閉操作

Claims (20)

  1. 一種藉由一檢驗工具來輔助一使用者對待檢驗的一樣品中的缺陷進行分類的系統，包括：一基於硬體的圖形使用者介面(GUI)部件；和一處理和存儲電路(PMC)，經配置以：i)在獲得提供多個缺陷和其屬性值的資訊的資料之後，基於該等屬性值來產生將該等多個缺陷的至少一部分與多個類相關聯的一初始分類，基於該初始分類來訓練一分類器，使用經訓練的該分類器來對該等多個缺陷的並未與任何類相關聯的至少一部分進行分類，並確定經分類的該等缺陷屬於該等多個類的相應類的似然性；ii)針對來自該等多個類的每一給定類，由該基於硬體的GUI部件向該使用者呈現來自被分類為該給定類的一組缺陷的具有屬於該給定類的一低似然性的每一給定缺陷的一圖像；在該基於硬體的GUI部件的一區域中同時呈現被分類為該給定類的具有屬於該給定類的最高似然性的一個或多個示例缺陷的圖像；使該使用者能夠經由該基於硬體的GUI部件，基於每一給定缺陷與該等一個或多個示例缺陷的視覺比較，手動指示是否將該給定缺陷分類為該給定類， 其中該手動指示是基於一二元選擇，而藉此產生包括基於該手動指示的每一給定類中的該組缺陷的更新標記的該等多個缺陷的一更新分類；和iii)使用該更新分類來重新訓練該分類器，以及重複該ii)，直到滿足一停止條件。
  2. 如請求項1所述的系統，其中該組缺陷是被初始分類為該給定類的具有一最低似然性的一預定數量的缺陷，或者是被初始分類為該給定類的具有低於一預定閾值似然性的一似然性的所有缺陷。
  3. 如請求項1所述的系統，其中將該等多個缺陷初始分類為該等多個類包括：根據該等屬性值將該等多個缺陷群集為群集；由該基於硬體的GUI部件向該使用者呈現被群集為來自該等群集中的至少一個群集的一個或多個缺陷；和在使用該基於硬體的GUI部件從該使用者接收對該等一個或多個缺陷形成一群集的批准的情況下，基於該至少一個群集產生一類，並且接收該類的一識別字。
  4. 如請求項1所述的系統，其中該PMC進一步經配置以：在由該使用者使用該基於硬體的GUI部件拒絕將該 給定缺陷分類為該給定類的情況下：使用該基於硬體的GUI部件向該使用者呈現被分類為一第二類的具有屬於該第二類的最高似然性的一個或多個示例缺陷的圖像；和在由該使用者使用該基於硬體的GUI部件確認將該給定缺陷分類為該第二類的情況下，將該至少一個缺陷指示為屬於該第二類。
  5. 如請求項4所述的系統，其中將該給定缺陷分類為該給定類的一第一似然性高於將該給定缺陷分類為該第二類的一第二似然性。
  6. 如請求項4所述的系統，其中該PMC進一步經配置以：在使用該基於硬體的GUI部件從該使用者接收對將該給定缺陷分類為該第二類的拒絕的情況下：使用該基於硬體的GUI部件向該使用者呈現具有多個額外的缺陷的該給定缺陷；使用該基於硬體的GUI部件從該使用者接收一第三類的一識別字；和將該給定缺陷指示為屬於該第三類。
  7. 如請求項6所述的系統，其中該PMC進一步經配置以：使用該基於硬體的GUI部件從該使用者接收對來自 該等多個額外的缺陷的至少一個額外的缺陷的一指示；和將該至少一個額外的缺陷指示為屬於該第三類。
  8. 如請求項1所述的系統，其中該PMC進一步經配置以：在完成向該使用者呈現被分類為該等多個類的缺陷之後：向該使用者呈現至少一個非關聯缺陷；從該使用者接收一第四類的一識別字，該至少一個非關聯缺陷將與該第四類關聯；和將該至少一個非關聯缺陷與該第四類關聯。
  9. 如請求項1所述的系統，其中該PMC進一步經配置以在滿足該停止條件之後，出於選自由下列組成的群組的目的使用該等多個缺陷的該更新類別：確定一檢查工具的配置參數，和樣品設計。
  10. 一種藉由一檢驗工具來輔助一使用者對待檢驗的一樣品中的缺陷進行分類的方法，該方法包括以下步驟：i)在由一處理和存儲電路(PMC)獲得提供多個缺陷和其屬性值的資訊的資料之後，基於該等屬性值來使用該PMC將該等多個缺陷的至少一部分初始分類為與多個類相關聯，基於該初始分類來訓練一分類器， 使用經訓練的該分類器來對該等多個缺陷的並未與任何類相關聯的至少一部分進行分類，並確定經分類的該等缺陷屬於該等多個類的相應類的似然性；ii)針對來自該等多個類的每一給定類，向該使用者呈現來自被分類為該給定類的一組缺陷的具有屬於該給定類的一低似然性的每一給定缺陷的一圖像；同時呈現被分類為該給定類的具有屬於該給定類的最高似然性的一個或多個示例缺陷的圖像；使該使用者能夠經由基於每一給定缺陷與該等一個或多個示例缺陷的視覺比較，手動指示是否將該給定缺陷分類為該給定類，其中該手動指示是基於一二元選擇，而藉此產生包括基於該手動指示的每一給定類中的該組缺陷的更新標記的該等多個缺陷的一更新分類；和iii)使用該更新分類來重新訓練該分類器，以及重複該ii)，直到滿足一停止條件。
  11. 如請求項10所述的方法，其中該組缺陷是被初始分類為該給定類的具有一最低似然性的一預定數量的缺陷，或者是被初始分類為該給定類的具有低於一預定閾值似然性的一似然性的所有缺陷。
  12. 如請求項10所述的方法，其中將該等多個 缺陷初始分類為該等多個類包括以下步驟：根據該等屬性值將該等多個缺陷群集為群集；向該使用者呈現被群集為來自該等群集中的至少一個群集的一個或多個缺陷；和在從該使用者接收對該等一個或多個缺陷形成一群集的批准的情況下，基於該至少一個群集產生一類，並且接收該類的一識別字。
  13. 如請求項10所述的方法，進一步包括以下步驟：在由該使用者拒絕將該給定缺陷分類為該給定類的情況下：向一使用者呈現具有一第二類的一表示的該至少一個缺陷；和在由該使用者確認將該給定缺陷分類為該第二類的情況下，將該給定缺陷指示為屬於該第二類。
  14. 如請求項13所述的方法，其中將該給定缺陷分類為該給定類的一第一似然性高於將該給定缺陷分類為該第二類的一第二似然性。
  15. 如請求項13所述的方法，進一步包括以下步驟：在接收該使用者對將該給定缺陷分類為該第二類的拒絕的情況下： 向該使用者呈現具有多個額外的缺陷的該給定缺陷；從該使用者接收一第三類的一識別字；和將該至少一個缺陷指示為屬於該第三類。
  16. 如請求項15所述的方法，進一步包括以下步驟：從該使用者接收對來自該等多個額外的缺陷的至少一個額外的缺陷的指示；和將該至少一個額外的缺陷指示為屬於該第三類。
  17. 如請求項10所述的方法，進一步包括以下步驟：在完成向該使用者呈現被分類為該等多個類的缺陷之後：向該使用者呈現至少一個非關聯缺陷；從該使用者接收一第四類的一識別字，該至少一個非關聯缺陷將與該第四類關聯；和將該至少一個非關聯缺陷與該第四類關聯。
  18. 如請求項10所述的方法，進一步包括以下步驟：在滿足該停止條件之後，出於選自由下列組成的群組的目的使用該等多個缺陷的該更新類別：確定一檢查工具的配置參數，和樣品設計。
  19. 一種用於藉由一檢驗工具來輔助一使用者 對待檢驗的一樣品中的缺陷進行分類的電腦軟體產品，該電腦軟體產品包括其中存儲程式指令的一非暫時性電腦可讀取媒體，當由一電腦讀取時，該等指令致使該電腦：i)在由該電腦獲得提供多個缺陷和其屬性值的資訊的資料之後，使用該等屬性值來使用該電腦將該等多個缺陷的至少一部分初始分類為與多個類相關聯，基於該初始分類來訓練一分類器，使用經訓練的該分類器來對該等多個缺陷的並未與任何類相關聯的至少一部分進行分類，並確定經分類的該等缺陷屬於該等多個類的相應類的似然性；ii)針對來自該等多個類的每一給定類，向該使用者呈現來自被分類為該給定類的一組缺陷的具有屬於該給定類的一低似然性的每一給定缺陷的一圖像；同時呈現被分類為該給定類的具有屬於該給定類的最高似然性的一個或多個示例缺陷的圖像；使該使用者能夠基於每一給定缺陷與該等一個或多個示例缺陷的視覺比較，手動指示是否將該給定缺陷分類為該給定類，其中該手動指示是基於一二元選擇，而藉此產生包括基於該手動指示的每一給定類中的該組缺陷的更新標記的該等多個缺陷的一更新分類；和 iii)使用該更新分類來重新訓練該分類器，以及重複該ii)，直到滿足一停止條件。
  20. 如請求項19所述的電腦軟體產品，其中在該電腦的一基於硬體的GUI部件的一區域中呈現該給定缺陷的該圖像與該等一個或多個示例缺陷的該等圖像。
TW107130054A 2017-09-28 2018-08-29 用於對多個項進行分類的系統、方法和電腦程式產品 TWI748122B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/719,433 2017-09-28
US15/719,433 US11138507B2 (en) 2017-09-28 2017-09-28 System, method and computer program product for classifying a multiplicity of items

Publications (2)

Publication Number Publication Date
TW201933279A TW201933279A (zh) 2019-08-16
TWI748122B true TWI748122B (zh) 2021-12-01

Family

ID=65807515

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130054A TWI748122B (zh) 2017-09-28 2018-08-29 用於對多個項進行分類的系統、方法和電腦程式產品

Country Status (5)

Country Link
US (1) US11138507B2 (zh)
JP (1) JP2019106171A (zh)
KR (1) KR102377374B1 (zh)
CN (1) CN109598698B (zh)
TW (1) TWI748122B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598086B (zh) * 2018-05-25 2020-11-24 腾讯科技（深圳）有限公司 文章推荐方法、装置、计算机设备及存储介质
EP3792717A1 (en) * 2019-09-12 2021-03-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Tracking system
US11282189B2 (en) * 2019-09-16 2022-03-22 Intel Corporation Unsupervised clustering to identify anomalies
US11360030B2 (en) * 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
US11379972B2 (en) 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
CN111680750B (zh) * 2020-06-09 2022-12-06 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
US11507252B2 (en) 2020-08-19 2022-11-22 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for monitoring objects for labelling
EP4315178A1 (en) * 2021-03-30 2024-02-07 Siemens Industry Software Inc. Method and system for detecting a false error on a component of a board inspected by an aoi machine
US20230100179A1 (en) * 2021-09-28 2023-03-30 Varian Medical Systems, Inc. Automated, collaborative process for ai model production
WO2023117238A1 (en) 2021-12-20 2023-06-29 Carl Zeiss Smt Gmbh Measurement method and apparatus for semiconductor features with increased throughput
WO2023143950A1 (en) 2022-01-27 2023-08-03 Carl Zeiss Smt Gmbh Computer implemented method for the detection and classification of anomalies in an imaging dataset of a wafer, and systems making use of such methods
CN116486178B (zh) * 2023-05-16 2024-01-19 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439346A (zh) * 2004-10-12 2013-12-11 恪纳腾技术公司 用于分类样品上的缺陷的计算机实现的方法和***
US9020237B2 (en) * 2010-06-07 2015-04-28 Hitachi High-Technologies Corporation Method for optimizing observed image classification criterion and image classification apparatus
TW201721483A (zh) * 2015-08-10 2017-06-16 克萊譚克公司 用於半導體遮罩檢測之基於多邊形之幾何分類
TW201732690A (zh) * 2015-12-22 2017-09-16 應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US6185511B1 (en) * 1997-11-28 2001-02-06 Advanced Micro Devices, Inc. Method to accurately determine classification codes for defects during semiconductor manufacturing
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2001168160A (ja) * 1999-12-07 2001-06-22 Sony Corp 半導体ウェハの検査システム
US6456899B1 (en) * 1999-12-07 2002-09-24 Ut-Battelle, Llc Context-based automated defect classification system using multiple morphological masks
JP2002310962A (ja) * 2001-04-19 2002-10-23 Hitachi Ltd 画像分類方法並びに観察方法及びその装置
US7162071B2 (en) * 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US7756320B2 (en) * 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US7020536B2 (en) * 2004-02-06 2006-03-28 Powerchip Semiconductor Corp. Method of building a defect database
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
US7904845B2 (en) * 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
KR101214806B1 (ko) * 2010-05-11 2012-12-24 가부시키가이샤 사무코 웨이퍼 결함 검사 장치 및 웨이퍼 결함 검사 방법
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
US10330608B2 (en) * 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10825650B2 (en) * 2018-09-28 2020-11-03 Taiwan Semiconductor Manufacturing Co., Ltd. Machine learning on wafer defect review
CN110414538B (zh) * 2019-07-24 2022-05-27 京东方科技集团股份有限公司 缺陷分类方法、缺陷分类训练方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439346A (zh) * 2004-10-12 2013-12-11 恪纳腾技术公司 用于分类样品上的缺陷的计算机实现的方法和***
US9020237B2 (en) * 2010-06-07 2015-04-28 Hitachi High-Technologies Corporation Method for optimizing observed image classification criterion and image classification apparatus
TW201721483A (zh) * 2015-08-10 2017-06-16 克萊譚克公司 用於半導體遮罩檢測之基於多邊形之幾何分類
TW201732690A (zh) * 2015-12-22 2017-09-16 應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統

Also Published As

Publication number Publication date
JP2019106171A (ja) 2019-06-27
TW201933279A (zh) 2019-08-16
CN109598698B (zh) 2024-02-27
CN109598698A (zh) 2019-04-09
US11138507B2 (en) 2021-10-05
KR20190037161A (ko) 2019-04-05
KR102377374B1 (ko) 2022-03-21
US20190095800A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
TWI731303B (zh) 產生可用於檢查半導體樣品的訓練集之方法及其系統
TWI767108B (zh) 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
US10628935B2 (en) Method and system for identifying defects of integrated circuits
TW201935590A (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
TWI763451B (zh) 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體
TW201834095A (zh) 用於在檢查物件時自我調整取樣的方法和其系統
TW202038110A (zh) 分類半導體樣本中的缺陷
US10937706B2 (en) Method of examining defects in a semiconductor specimen and system thereof
US20230230349A1 (en) Identification of an array in a semiconductor specimen
TW202146884A (zh) 檢查樣本的方法和其系統
TW202043755A (zh) 對半導體取樣中的缺陷進行分類的方法及其系統
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練