TWI741541B - 影像分析系統及影像分析方法 - Google Patents

影像分析系統及影像分析方法 Download PDF

Info

Publication number
TWI741541B
TWI741541B TW109110218A TW109110218A TWI741541B TW I741541 B TWI741541 B TW I741541B TW 109110218 A TW109110218 A TW 109110218A TW 109110218 A TW109110218 A TW 109110218A TW I741541 B TWI741541 B TW I741541B
Authority
TW
Taiwan
Prior art keywords
pixel
key
processor
image analysis
image
Prior art date
Application number
TW109110218A
Other languages
English (en)
Other versions
TW202137270A (zh
Inventor
吳東郁
廖俊諺
吳俊昇
蔡高財
黃兆義
Original Assignee
華邦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華邦電子股份有限公司 filed Critical 華邦電子股份有限公司
Priority to TW109110218A priority Critical patent/TWI741541B/zh
Priority to US17/209,741 priority patent/US11798185B2/en
Application granted granted Critical
Publication of TW202137270A publication Critical patent/TW202137270A/zh
Publication of TWI741541B publication Critical patent/TWI741541B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一種影像分析系統，包含：一影像擷取裝置以及一處理器。影像擷取裝置用以擷取一待分析影像。處理器用以將待分析影像輸入至一區域卷積神經網路(Region-based Convolutional Neural Network，RCNN)模型，區域卷積神經網路模型輸出一遮罩影像，處理器計算遮罩影像中的一遮罩物件之一中心，將中心視為一座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的一最遠座標點，對於每個最遠座標點產生一影像分析區塊，並將影像分析區塊進行一後處理，以取得一物件範圍。

Description

影像分析系統及影像分析方法
本發明是關於一種分析系統及分析方法，特別是關於一種影像分析系統及影像分析方法。
關鍵尺寸掃描電子顯微鏡(Critical Dimension Scanning Electron Microscope，CD SEM)主要用途為線上產品線寬量測，其特點為晶圓無須經過切片或鍍金屬膜等預處理步驟，即可觀察及量測光阻、絕緣層及金屬層等之圖案。當使用者以CDSEM量測關鍵尺寸時，必須先建置製程參數(recipe)讓CDSEM知道要怎麼標的在哪、怎麼量測等資訊。量測CD也是影像處理的一環，必須告知CDSEM精準的量測區域、方向、取值方式等資訊，否則CDSEM無法在大面積的圖像中找到標的，並取得正確的結果，也因此前置作業(建構製程參數)相當重要但也相當耗時。
由此可知，前置作業需要大量時間，若改變量測位置或物件，即需要重新設置製程參數，且此方法在分析灰階影像時，若起始黑白交錯邊與預期不同，則會整批影像量測錯誤，故影像擷取的容錯率相當低。
因此，上述現有方式仍有待加以進一步改進。
為了解決上述的問題，本揭露內容之一態樣提供了一種影像分析系統，包含：一影像擷取裝置以及一處理器。影像擷取裝置用以擷取一待分析影像。處理器用以將待分析影像輸入至一區域卷積神經網路模型，區域卷積神經網路模型輸出一遮罩影像，處理器計算遮罩影像中的一遮罩物件之一中心，將中心視為一座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的一最遠座標點，對於每個最遠座標點產生一影像分析區塊，並將影像分析區塊進行一後處理，以取得一物件範圍。
為了解決上述的問題，本揭露內容之一態樣提供了一種影像分析方法，包含：輸入一待分析影像至一區域卷積神經網路模型，區域卷積神經網路模型輸出一遮罩影像；計算遮罩影像中的一遮罩物件之一中心；將中心視為一座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的一最遠座標點；對於每個最遠座標點產生一影像分析區塊；以及將影像分析區塊進行一後處理，以取得一物件範圍。
本發明所示之影像分析系統及影像分析方法，將待分析影像輸入至區域卷積神經網路模型，依據區域卷積神經網路模型輸出的遮罩影像產生多個影像分析區塊，並將此些影像分析區塊進行後處理，無須將整張遮罩影像都進行後處理，即可以取得遮罩影像中重要的關鍵點，故大幅減少運算量。在完成後處理之後，處理器可自動地分析出此些影像分析區塊中的關鍵點，透過此些關鍵點的位置，可精準地可得到物件範圍的效果。
100:影像分析系統
V1、V2:向量
10:影像擷取裝置
PA1~PE1、PA2~PE2:影像分析區塊
20:處理器
200:影像分析方法
EUR、EDR、CI、IDR:座標
210~250:步驟
PI:初始分析區塊
BK1、BK2:區塊
IL:第一像素曲線
M1、M2:遮罩物件
ND:標示點
Ra:物件範圍
SL:第一斜率曲線
IMG:遮罩影像
RL:迴歸線段
P1、P2:中心
PCD1~PCD5:關鍵點
A1~E1、A2~E2:最遠座標點
第1圖係依照本發明一實施例繪示一種影像分析系統之方塊圖。
第2圖係根據本發明之一實施例繪示一種影像分析方法之流程圖。
第3A~3D圖係根據本發明之一實施例繪示一種影像分析方法之示意圖。
第4圖係根據本發明之一實施例繪示一種產生影像分析區塊的方法之示意圖。
第5A~5F圖係根據本發明之一實施例繪示一種後處理方法之示意圖。
第6圖係根據本發明之一實施例繪示一種影像分析方法之示意圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
請參照第1、2及3A~3D圖，第1圖係依照本發明一實施例繪示一種影像分析系統100之方塊圖。第2圖係根據本發明之一實施例繪示一種影像分析方法200之流程圖。第3A~3D圖係根據本發明之一實施例繪示一種影像分析方法之示意圖。
如第1圖所示，影像分析系統100包含一影像擷取裝置10及一處理器20。影像擷取裝置10與處理器20以有線/無線方式通訊耦接。於一實施例中，影像擷取裝置10用以擷取一待分析影像，待分析影像例如是半導體影像。於一實施例中，影像擷取裝置為一掃描電子顯微鏡(Scanning Electron Microscope，SEM)，掃描電子顯微鏡透過用聚焦電子束掃描樣品的表面來產生樣品表面的圖像。
於一實施例中，處理器20可由積體電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
以下敘述精準自動標記待分析影像中物件範圍Ra(例如為半導體剖面的一或多層)的影像分析方法200。於一實施例中，物件範圍Ra的表示單位為奈米(nm)。
於步驟210中，藉由處理器20輸入一待分析影像至一區域卷積神經網路模型，區域卷積神經網路模型輸出一遮罩影像。
於一實施例中，如第3A圖所示，待分析影像例如是由影像擷取裝置10所擷取的半導體影像。一般而言，半導體影像中包含多層結構，許多半導體的剖面形狀為角錐狀，例如區塊BK1為光阻層或金屬層，區塊BK1上面的區塊BK2為氧化層或光阻層。為方便說明，本案實施例以區塊BK1及區塊BK2為例做說明。
於一實施例中，區域卷積神經網路模型的訓練過程為：首先給予大量的標記圖片資料(例如為標記出半導體剖面之每一層的影像)給予區域卷積神經網路模型，區域卷積神經網路模型會先將此些標記圖片的特徵擷取出來，再經由可能物件區域(例如半導體剖面之每一層)之模擬，評斷出物件較可能出現的區域，將可能物件區域內的特徵合併成物件的特徵 頻譜，再將特徵頻譜資訊經運算推得物件種類機率與物件可能位置，將特徵頻譜重組，並利用神經元嘗試還原物件輪廓。此些步驟可以重複實施，以訓練區域卷積神經網路模型。當區域卷積神經網路模型訓練好後，將影像輸入，即可獲得對應的物件位置、輪廓與種類。由於區域卷積神經網路模型為已知演算法，此處不贅述之。
於一實施例中，當區域卷積神經網路模型訓練完後，處理器20輸入待分析影像至區域卷積神經網路模型，如第3A圖所示，區域卷積神經網路模型輸出一遮罩影像IMG，遮罩影像IMG中包含遮罩物件M1及遮罩物件M2。
於一實施例中，遮罩影像IMG更包含遮罩物件M1的區塊BK1及遮罩物件M2的區塊BK2。區塊BK1是區域卷積神經網路模型依據遮罩物件M1的最高點像素、最右側像素、最左側像素及最低點像素所產生；區塊BK2是區域卷積神經網路模型依據遮罩物件M2的最高點像素、最右側像素、最左側像素及最低點像素所產生。
於步驟220中，處理器20計算遮罩影像IMG中的一遮罩物件(例如為遮罩物件M1)之一中心(例如為中心P1)。
於一實施例中，如第3B圖所示處理器20可以將遮罩影像IMG中沒被遮罩的部分視為“0”，被遮罩的部分視為“1”，依據遮罩物件M1中的每個像素點的座標，例如將遮罩影像IMG的最左下角視為座標原點，將遮罩物件M1(即被視為“1”的被遮罩的部分)中所有像素點的X值與Y值分別加總後再取平均值，以計算出遮罩物件M1的中心P1。遮罩物件M2的 中心P2亦可由相同方法算出。然而，計算遮罩物件M1、M2各自對應的中心P1、P2的方法不限於此，此僅為計算中心P1、P2的一示例性方法。
於步驟230中，處理器20將中心(例如為中心P1)視為一座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的一最遠座標點。
於一實施例中，如第3C所示，處理器20將中心P1視為座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的最遠座標點。最遠座標點是指遮罩物件M1的範圍中，相對座標原點的四個象限各別搜尋與座標原點距離最遠的最遠座標點。例如，第一象限中，遮罩物件M1的範圍與座標原點距離最遠的最遠座標點為座標B1。例如，第二象限中，遮罩物件M1的範圍與座標原點距離最遠的最遠座標點為座標A1。例如，第三象限中，遮罩物件M1的範圍與座標原點距離最遠的最遠座標點為座標D1。例如，第四象限中，遮罩物件M1的範圍與座標原點距離最遠的最遠座標點為座標E1。其中，處理器20計算座標B1與座標A1相連後的中心點，將此中心點視為座標C1，座標C1可應用於後續推測遮罩物件M1的高度。
於一實施例中，如第3D所示，處理器20將中心P2視為座標原點，往相對座標原點的四個象限各別搜尋與座標原點距離最遠的最遠座標點。最遠座標點是指遮罩物件M2的範圍中，相對座標原點的四個象限各別搜尋與座標原點距離最遠的最遠座標點。例如，第一象限中，遮罩物件M2的範圍與座標原點距離最遠的最遠座標點為座標B2。例如，第二象限中，遮罩物件M2的範圍與座標原點距離最遠的最遠座標點為座標A2。例如，第三象限中，遮罩物件M2的範圍與座標原點距離最遠的最遠座標點為 座標D2。例如，第四象限中，遮罩物件M2的範圍與座標原點距離最遠的最遠座標點為座標E2。其中，處理器20計算座標B2與座標A2相連後的中心點，將此中心點視為座標C2，也視為最遠座標點之一，座標C2可應用於後續推測遮罩物件M2的高度。
由於遮罩物件M2的下述處理方式可以比照遮罩物件M1處理，故後續以遮罩物件M1作為說明。
於步驟240中，處理器20對於每個最遠座標點產生一影像分析區塊。
於一實施例中，如第3D圖所示，對於遮罩物件M1而言，處理器20對於每個最遠座標點(例如，座標A1、B1、C1、D1及E1)各自產生影像分析區塊(例如，PA1、PB1、PC1、PD1及PE1)。
於一實施例中，最遠座標點A1、B1、C1、D1及E1的相對位置可以用以旋轉遮罩影像IMG，例如，處理器20可算出最遠座標點A1與B1的連線大致上平行於最遠座標點D1與E1的連線，當處理器20判斷此兩條連線並非水平時，可將整張遮罩影像IMG進行旋轉，使此兩條連線趨近水平狀態，藉此可轉正遮罩影像IMG。
於一實施例中，影像分析區塊PA1、PB1、PC1、PD1及PE1會各自往遮罩物件M1的外部外推一些，以盡量包含到物件範圍Ra的轉角處。舉例而言，請參閱第4圖，第4圖係根據本發明之一實施例繪示一種產生影像分析區塊PE1的方法之示意圖。由於遮罩物件M1的遮罩範圍不一定能精準的遮蓋到物件範圍Ra的轉角處，換言之，遮罩物件M1在轉角處可能因為產生抖邊，而沒有遮罩到物件範圍Ra，或是遮罩到過超過物件範圍Ra，此會導致定位出來的物件範圍Ra不精準。因此，需要針對每個最遠座 標點A1、B1、C1、D1及E1(都是位於遮罩物件M1的邊界或角落)應用各自對應的影像分析區塊PA1、PB1、PC1、PD1及PE1進行細部的分析，以更精準的分析出物件範圍Ra。
於第4圖中，以最遠座標點E1為例，由於最遠座標點E1位於遮罩物件M1的右下部分，處理器20在產生影像分析區塊PE1時，除了要將確認最遠座標點E1要在影像分析區塊PE1中，亦要將影像分析區塊PE1往右下方向外推一些，以盡量包含到物件範圍Ra的右下轉角處。
更具體而言，處理器20先計算中心P1到最遠座標點E1的向量V1(即包含方向性)，計算最遠座標點E1往右邊推算一預設像素值(例如為5)的座標CI，將座標CI作為產生影像分析區塊PE1的中心點，如此一來，可以產生相對於最遠座標點E1往右偏的初始分析區塊PI，初始分析區塊PI的長度、寬度皆為一預設值(例如長度為10像素，寬度為20像素)，接著，取得初始分析區塊PI的右下角座標IDR，從座標IDR依據向量V2的方向延長另一預設像素值(例如為20)，以找到座標EDR，其中，向量V2與向量V1平行。依據初始分析區塊PI的左上角座標EUR及座標EDR可以繪製出影像分析區塊PE1，且藉此方式可以讓影像分析區塊PE1往最遠座標點E1右下方再向外推一些，以盡量包含到物件範圍Ra的右下轉角處。然，定義影像分析區塊PE1的方式不限於此，此處僅為一實施例。此外，影像分析區塊PA1、PB1、PC1及PD1亦可以此方式產生，故此處不贅述之。
藉由上述方式，如第3D圖所示，處理器20可產生對應於遮罩物件M1的影像分析區塊PA1、PB1、PC1、PD1及PE1，依據同樣的方式，處理器20亦可產生對應於遮罩物件M2的影像分析區塊PA2、PB2、PC2、PD2及PE2。
於步驟250中，處理器20將影像分析區塊進行一後處理，以取得一物件範圍Ra。
於一實施例中，請參閱第5A~5F圖，第5A~5F圖係根據本發明之一實施例繪示一種後處理方法之示意圖。由於後處理方法可以應用於每個影像分析區塊(如，PA1、PB1、PC1、PD1、PE1、PA2、PB2、PC2、PD2及PE2)中，將此些影像分析區塊各自進行後處理之後，可得到物件的各個角落，藉此精準的定義出物件範圍Ra，下述以影像分析區塊PE1為例作說明。
於一實施例中，如第5A圖所示，處理器20更用以在進行後處理時，將當前分析區塊(例如影像分析區塊PE1)進行一平滑化處理。平滑化處理可以去除影像雜質。於一實施例中，平滑化處理可以採用現有的演算法例如領域平均法、低通濾波法及多影像平均法等。
於一實施例中，如第5B圖所示，處理器20處理完成平滑後處理後的影像分析區塊PE1，處理器20垂直掃描影像分析區塊PE1的每個像素。當處理器20在垂直掃描影像分析區塊PE1的像素行(column)SC時，計算像素行SC中的所有像素各自的一像素強度，此些像素強度形成一第一像素曲線IL，計算第一像素曲線IL的斜率，以得到一第一斜率曲線SL，將第一斜率曲線SL的最大值標示為一標示點ND。處理器20會垂直掃描影像分析區塊PE1中的所有像素行，因此會計算出許多標示點ND(即第5B圖上的圓點都為標示點ND)。
於一實施例中，處理器20垂直掃描影像分析區塊PE1的每個像素，以取得多個標示點ND，計算此些標示點ND所對應的一強度平均值 (average intensity)，例如將此些標示點ND的灰階度相加後取平均值以得到強度平均值，將強度平均值乘以一參數(例如為0.8)，以取得一門檻值，將像素強度低於門檻值的標示點過濾後(如第5C圖所示，第5C圖中的每個圓點都是過濾後剩餘的標示點ND)，將剩餘的標示點ND代入一線性迴歸演算法，以取得一迴歸線段RL(如第5D圖所示)。
於一實施例中，處理器20更用以垂直掃描迴歸線段RL的每個像素，當處理器20在垂直掃描迴歸線段的一第二像素行時，計算第二像素行中的所有像素各自的一第二像素強度，此些第二像素強度形成一第二像素曲線，計算第二像素曲線的斜率，以得到一第二斜率曲線，將第二斜率曲線的最大值的座標視為關鍵點PCD1(如第5E圖所示)。
於一實施例中，處理器20計算關鍵點PCD2(如第5F圖所示)，並計算關鍵點PCD1與關鍵點PCD2之間的距離，以取得一關鍵尺寸，關鍵尺寸例如為349.62奈米，此關鍵尺寸為一底部關鍵尺寸(bottom CD)。於一實施例中，關鍵點PCD2的計算方式與關鍵點PCD1相同，關鍵點PCD2位於影像分析區塊PD1中。
於一實施例中，關鍵點PCD3、PCD4的計算方式與關鍵點PCD1相同，關鍵點PCD3位於影像分析區塊PA1中，關鍵點PCD4位於影像分析區塊PB1中。
於一實施例中，請參閱第6圖，第6圖係根據本發明之一實施例繪示一種影像分析方法之示意圖。處理器20處理器計算多個關鍵點PCD1~PCD5，此些關鍵點為物件範圍Ra之整體或一部分的頂點，例如為區塊BK1中的物件範圍Ra的一右下角(關鍵點PCD1)、一左下角(關鍵點PCD2)、一左上角(關鍵點PCD3)及一右上角(關鍵點PCD4)。於此例中，處 理器20計算對應右上角的關鍵點PCD4與對應左上角的關鍵點PCD3的一中間位置，將此中間位置視為關鍵點PCD5，並將中間位置(關鍵點PCD5)與一底部關鍵尺寸(即關鍵點PCD1與關鍵點PCD2之間的連線)的距離視為一高度(例如為401.12奈米)。
於一實施例中，處理器20計算關鍵點PCD3與關鍵點PCD4之間的距離，以取得關鍵尺寸，關鍵尺寸例如為215.27奈米。此關鍵尺寸為一上部關鍵尺寸(top CD)。
由上述可知，處理器20將對應右上角的關鍵點PCD4與對應左上角的關鍵點PCD3相連，以取得上部關鍵尺寸，處理器20將對應右下角的關鍵點PCD1與對應左下角的關鍵點PCD2相連，以取得下部關鍵尺寸。處理器20計算關鍵點PCD5與關鍵點PCD1與關鍵點PCD2之間的連線的距離，以得到高度。因此，處理器20可計算出多個關鍵尺寸，此些關鍵尺寸包含上部關鍵尺寸、底部關鍵尺寸及高度，處理器20依據此些關鍵尺寸以精準地取得物件範圍Ra。
本發明所示之影像分析系統及影像分析方法，將待分析影像輸入至區域卷積神經網路模型，依據區域卷積神經網路模型輸出的遮罩影像產生多個影像分析區塊，並將此些影像分析區塊進行後處理，無須將整張遮罩影像都進行後處理，即可以取得遮罩影像中重要的關鍵點，因此大幅減少運算量。在完成後處理之後，處理器可自動地分析出此些影像分析區塊中的關鍵點，透過此些關鍵點的位置，可精準地可得到物件範圍的效果。
200：影像分析方法 210~250：步驟

Claims (10)

  1. 一種影像分析系統，包含： 一影像擷取裝置，用以擷取一待分析影像；以及 一處理器，用以將該待分析影像輸入至一區域卷積神經網路模型，該區域卷積神經網路模型輸出一遮罩影像，該處理器計算該遮罩影像中的一遮罩物件之一中心，將該中心視為一座標原點，往相對該座標原點的四個象限各別搜尋與該座標原點距離最遠的一最遠座標點，對於每個該些最遠座標點產生一影像分析區塊，並將該些影像分析區塊進行一後處理，以取得一物件範圍。
  2. 如申請專利範圍第1項所述之影像分析系統，其中該些影像分析區塊包含一當前分析區塊，該處理器更用以在進行該後處理時，將該當前分析區塊進行一平滑化處理。
  3. 如申請專利範圍第2項所述之影像分析系統，其中該處理器更用以在進行該後處理時，垂直掃描該當前分析區塊的每個像素，當該處理器在垂直掃描該當前分析區塊的一第一像素行時，計算該第一像素行中的所有像素各自的一第一像素強度，該些第一像素強度形成一第一像素曲線，計算該第一像素曲線的斜率，以得到一第一斜率曲線，將該第一斜率曲線的最大值標示為一標示點；其中該處理器更用以垂直掃描該當前分析區塊的每個像素，以取得複數個標示點，計算該些標示點所對應的一強度平均值，將該強度平均值乘以一參數，以取得一門檻值，將該像素強度低於該門檻值的該些標示點過濾後，將剩餘的該些標示點代入一線性迴歸演算法，以取得一迴歸線段。
  4. 如申請專利範圍第3項所述之影像分析系統，其中該處理器更用以垂直掃描該迴歸線段的每個像素，當該處理器在垂直掃描該迴歸線段的一第二像素行時，計算該第二像素行中的所有像素各自的一第二像素強度，該些第二像素強度形成一第二像素曲線，計算該第二像素曲線的斜率，以得到一第二斜率曲線，將該第二斜率曲線的最大值的座標視為一第一關鍵點；其中該處理器更用以計算一第二關鍵點，並計算該第一關鍵點與該第二關鍵點之間的距離，以取得一關鍵尺寸。
  5. 如申請專利範圍第4項所述之影像分析系統，其中該處理器更用以計算複數個關鍵點，該些關鍵點為該物件範圍的一右下角、一左下角、一左上角及一右上角，該處理器計算對應該右上角的關鍵點與對應該左下角的關鍵點的一中間位置，並將該中間位置與一底部關鍵尺寸的距離視為一高度；其中該處理器更用以計算複數個關鍵尺寸，該些關鍵尺寸包含一上部關鍵尺寸、該底部關鍵尺寸及該高度，該處理器依據該些關鍵尺寸以取得該物件範圍；其中該處理器將對應該右上角的關鍵點與對應該左上角的關鍵點相連，以取得該上部關鍵尺寸，該處理器將對應該右下角的關鍵點與對應該左下角的關鍵點相連，以取得該下部關鍵尺寸。
  6. 一種影像分析方法，包含： 輸入一待分析影像至一區域卷積神經網路模型，該區域卷積神經網路模型輸出一遮罩影像； 計算該遮罩影像中的一遮罩物件之一中心； 將該中心視為一座標原點，往相對該座標原點的四個象限各別搜尋與該座標原點距離最遠的一最遠座標點； 對於每個該些最遠座標點產生一影像分析區塊；以及 將該些影像分析區塊進行一後處理，以取得一物件範圍。
  7. 如申請專利範圍第6項所述之影像分析方法，其中該些影像分析區塊包含一當前分析區塊，該處理器更用以在進行該後處理時，將該當前分析區塊進行一平滑化處理。
  8. 如申請專利範圍第7項所述之影像分析方法，其中在將該些影像分析區塊進行該後處理的步驟中，該影像分析方法更包含： 垂直掃描該當前分析區塊的每個像素； 當該處理器在垂直掃描該當前分析區塊的一第一像素行時，計算該第一像素行中的所有像素各自的一第一像素強度；該些第一像素強度形成一第一像素曲線； 計算該第一像素曲線的斜率，以得到一第一斜率曲線； 將該第一斜率曲線的最大值標示為一標示點； 垂直掃描該當前分析區塊的每個像素，以取得複數個標示點； 計算該些標示點所對應的一強度平均值； 將該強度平均值乘以一參數，以取得一門檻值；以及 將該像素強度低於該門檻值的該些標示點過濾後，將剩餘的該些標示點代入一線性迴歸演算法，以取得一迴歸線段。
  9. 如申請專利範圍第8項所述之影像分析方法，更包含： 垂直掃描該迴歸線段的每個像素； 當該處理器在垂直掃描該迴歸線段的一第二像素行時，計算該第二像素行中的所有像素各自的一第二像素強度；該些第二像素強度形成一第二像素曲線； 計算該第二像素曲線的斜率，以得到一第二斜率曲線； 將該第二斜率曲線的最大值的座標視為一第一關鍵點；以及 計算一第二關鍵點，並計算該第一關鍵點與該第二關鍵點之間的距離，以取得一關鍵尺寸。
  10. 如申請專利範圍第9項所述之影像分析方法，更包含： 計算複數個關鍵點，該些關鍵點為該物件範圍的一右下角、一左下角、一左上角及一右上角； 計算對應該右上角的關鍵點與對應該左下角的關鍵點的一中間位置，並將該中間位置與一底部關鍵尺寸的距離視為一高度； 計算複數個關鍵尺寸； 其中，該些關鍵尺寸包含一上部關鍵尺寸、該底部關鍵尺寸及該高度，該處理器依據該些關鍵尺寸以取得該物件範圍； 將對應該右上角的關鍵點與對應該左上角的關鍵點相連，以取得該上部關鍵尺寸；以及 將對應該右下角的關鍵點與對應該左下角的關鍵點相連，以取得該下部關鍵尺寸。
TW109110218A 2020-03-26 2020-03-26 影像分析系統及影像分析方法 TWI741541B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109110218A TWI741541B (zh) 2020-03-26 2020-03-26 影像分析系統及影像分析方法
US17/209,741 US11798185B2 (en) 2020-03-26 2021-03-23 Image analysis system and image analysis method for obtaining object range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109110218A TWI741541B (zh) 2020-03-26 2020-03-26 影像分析系統及影像分析方法

Publications (2)

Publication Number Publication Date
TW202137270A TW202137270A (zh) 2021-10-01
TWI741541B true TWI741541B (zh) 2021-10-01

Family

ID=77857555

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110218A TWI741541B (zh) 2020-03-26 2020-03-26 影像分析系統及影像分析方法

Country Status (2)

Country Link
US (1) US11798185B2 (zh)
TW (1) TWI741541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741541B (zh) * 2020-03-26 2021-10-01 華邦電子股份有限公司 影像分析系統及影像分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040235205A1 (en) * 2000-09-20 2004-11-25 Kla-Tencor, Inc. Methods and systems for determining a critical dimension and overlay of a specimen
TW201517192A (zh) * 2013-10-23 2015-05-01 Macronix Int Co Ltd 晶片對資料庫的影像檢測方法
TWI560441B (zh) * 2011-03-25 2016-12-01 Toray Eng Co Ltd
TWI650530B (zh) * 2018-01-22 2019-02-11 國立臺灣科技大學 檢測系統及其方法
TW201947680A (zh) * 2018-05-09 2019-12-16 華邦電子股份有限公司 臨界尺寸量測方法及用於量測臨界尺寸的影像處理裝置
TW202001446A (zh) * 2018-06-04 2020-01-01 荷蘭商Ａｓｍｌ荷蘭公司 藉由模型基礎對準改良邊緣置放(ep)度量衡精準度

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591196B1 (en) * 2000-06-06 2003-07-08 Agilent Technologies Inc. Method and system for extracting data from surface array deposited features
US6794299B1 (en) 2002-06-03 2004-09-21 Advanced Micro Devices Inc. Various methods of controlling conformal film deposition processes, and a system for accomplishing same
KR20060074537A (ko) 2004-12-27 2006-07-03 동부일렉트로닉스 주식회사 Ｓｅｍ 장비를 이용한 포토레지스트 패턴의 측벽 각측정방법
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
US11346764B2 (en) * 2018-08-16 2022-05-31 Essenlix Corporation Image-based assay using intelligent monitoring structures
DE112020002126T5 (de) * 2019-04-26 2022-02-24 Nvidia Corporation Erkennung von kreuzungsposen in autonomen maschinenanwendungen
US20210397170A1 (en) * 2019-05-10 2021-12-23 Sandisk Technologies Llc Implementation of deep neural networks for testing and quality control in the production of memory devices
DE112020006410T5 (de) * 2019-12-31 2022-10-27 Nvidia Corporation Dreidimensionale kreuzungsstrukturvorhersage für anwendungen zum autonomen fahren
TWI741541B (zh) * 2020-03-26 2021-10-01 華邦電子股份有限公司 影像分析系統及影像分析方法
US20220379917A1 (en) * 2021-05-24 2022-12-01 Nvidia Corporation Using arrival times and safety procedures in motion planning trajectories for autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040235205A1 (en) * 2000-09-20 2004-11-25 Kla-Tencor, Inc. Methods and systems for determining a critical dimension and overlay of a specimen
TWI560441B (zh) * 2011-03-25 2016-12-01 Toray Eng Co Ltd
TW201517192A (zh) * 2013-10-23 2015-05-01 Macronix Int Co Ltd 晶片對資料庫的影像檢測方法
TWI650530B (zh) * 2018-01-22 2019-02-11 國立臺灣科技大學 檢測系統及其方法
TW201947680A (zh) * 2018-05-09 2019-12-16 華邦電子股份有限公司 臨界尺寸量測方法及用於量測臨界尺寸的影像處理裝置
TW202001446A (zh) * 2018-06-04 2020-01-01 荷蘭商Ａｓｍｌ荷蘭公司 藉由模型基礎對準改良邊緣置放(ep)度量衡精準度

Also Published As

Publication number Publication date
TW202137270A (zh) 2021-10-01
US20210304432A1 (en) 2021-09-30
US11798185B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
CN101996398B (zh) 用于晶圆对准的图像匹配方法及设备
TWI539150B (zh) 用於偵測檢查圖像中之缺陷的系統、方法及電腦程式產品
TWI716684B (zh) 臨界尺寸量測方法及用於量測臨界尺寸的影像處理裝置
JP4154374B2 (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP3749090B2 (ja) パターン検査装置
EP3384429A1 (en) Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
JP2006252400A (ja) 画像処理装置及び画像処理における登録データ生成方法
JP2008051617A (ja) 画像検査装置、その方法、及びその記録媒体
JP2019011972A (ja) パターンエッジ検出方法
EP4128141A1 (en) Examination of a semiconductor specimen
TWI741541B (zh) 影像分析系統及影像分析方法
US20190026881A1 (en) Method of visualizing defect using design data and defect detection method
CN116503316A (zh) 一种基于图像处理的芯片缺陷量测方法及***
JP6995855B2 (ja) Ｃｄ－ｓｅｍキャラクタリゼーション技術を実装するための方法
KR102483920B1 (ko) Cd-sem 주사 전자 현미경에 의한 특성화에 대한 방법
CN113554585B (zh) 影像分析***及影像分析方法
CN110553581B (zh) 临界尺寸量测方法及用于量测临界尺寸的图像处理装置
JP4629086B2 (ja) 画像欠陥検査方法および画像欠陥検査装置
TWI807346B (zh) 尺寸計測裝置，半導體製造裝置及半導體裝置製造系統
CN113077429B (zh) 基于相邻子区相关系数的散斑质量评价方法
CN112215240B (zh) 一种提高2d复杂边缘检测精度的优化方法
TW202141031A (zh) 圖案邊緣檢測方法、圖案邊緣檢測裝置、記錄有使電腦執行圖案邊緣檢測的程式的記錄媒體
JP5817383B2 (ja) パターン測定方法
JP7094594B2 (ja) 処理条件推定装置、方法及びプログラム
JP2000207557A (ja) 位置ずれ量計測方法