TWI689875B - 利用深度學習系統的自動光學檢測分類設備及其訓練設備 - Google Patents

利用深度學習系統的自動光學檢測分類設備及其訓練設備 Download PDF

Info

Publication number
TWI689875B
TWI689875B TW107122640A TW107122640A TWI689875B TW I689875 B TWI689875 B TW I689875B TW 107122640 A TW107122640 A TW 107122640A TW 107122640 A TW107122640 A TW 107122640A TW I689875 B TWI689875 B TW I689875B
Authority
TW
Taiwan
Prior art keywords
layer
output
classification
classification result
image
Prior art date
Application number
TW107122640A
Other languages
English (en)
Other versions
TW202001696A (zh
Inventor
亞魯木魯甘 安比卡帕
林建仲
謝承樺
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW107122640A priority Critical patent/TWI689875B/zh
Priority to CN201811141019.2A priority patent/CN110659660B/zh
Priority to US16/455,243 priority patent/US11455528B2/en
Publication of TW202001696A publication Critical patent/TW202001696A/zh
Application granted granted Critical
Publication of TWI689875B publication Critical patent/TWI689875B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種利用深度學習系統的自動光學檢測分類設備，包括一攝影機、以及一處理器。該處理器係載入儲存單元後係執行一深度學習系統，包括：一輸入層；一神經網路群層，用以對輸入影像執行特徵提取並於最終獲取複數個影像特徵，該神經網路群層包括一或複數個神經網路子區塊層、以及一最大值池化層，該神經網路子區塊層中包括具有一共同輸入的第一運算子集及第二運算子集、一進行殘差運算的殘差映射層、以及一進行非線性化運算的線性整流單元；以及一全連結群層用以依據權重比例進行分類，最終輸出一檢測結果。

Description

利用深度學習系統的自動光學檢測分類設備及其訓練設備
本發明係有關於一種自動光學檢測分類設備及其訓練設備，特別是指一種利用深度學習系統的自動光學檢測分類設備及其訓練設備。
深度學習(Deep Learning)最常見的應用，包括影像識別、語音辨識、自然語言處理等，甚至推薦系統、生醫資訊等，各種和生活相關的領域都可以看到深度學習的推廣應用。而其中影像辨識於深度學習的應用上最為廣泛，技術成熟度也相較其他的領域來得要高。
光學檢測為了避免人檢的缺失，通常利用人工智慧(Artificial Intelligence)和機器學習(Machine Learning)來取代一般的肉眼檢測，藉此減少誤判的可能性。於類神經網路的發展中，目前主流的方式是透過增加類神經網路的深度藉以提升分類的準確度。然而經過大量實驗的結果，單純增加類神經網路的深度最終並沒有增加分類的準確度，實務上反而降低了分類的準確度，細究其原因可能在於反像傳播的訓練方式隨著類神經網路的深度增加反而增加了收斂的難度，而比起末端的神經網路層，前端的神經網路 層對於檢測的結果的影響更大。另一方面，單純的增加類神經網路的深度，檢測的速度及效率也會隨之下降，變程必須要提供更高的硬體效能去推動類神經網路的運作，是以，有必要針對現有的類神經網路架構進行改善。
本發明的主要目的，在於改善增加類神經網路深度時，訓練的收斂效果不佳、且運算的效率亦隨之下降的缺失。
為達到上述目的，本發明係提供一種利用深度學習系統的自動光學檢測分類設備，透過待測物影像，檢測待測物瑕疵。該自動光學檢測分類設備包括一連接至該攝影機的處理器。該攝影機用以拍攝並獲取待測物的待測影像。該處理器係載入儲存單元後係執行該深度學習系統，該深度學習系統由輸入至輸出包括：一輸入層，用以接收待測影像並將該待測影像進行正規化處理；一神經網路群層，用以對輸入影像執行特徵提取並於最終獲取複數個影像特徵，該神經網路群層由輸入至輸出包括一或複數個神經網路子區塊層、以及一最大值池化層(Max Pool)，於其中任一或複數個該神經網路子區塊層中包括具有一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層(Eltwise)、以及一將該殘差映射層的輸出進行非線性化運算的線性整流單元(ReLU)；以及一全連結群層，包括一或複數個全連結層依據權重比例進行分類，最終輸出一檢測結果。
本發明的另一目的，在於提供一種深度學習系統的訓練設備，包含一自動視覺檢測設備(AVI)、以及一如上所述的自 動光學檢測分類設備。該自動視覺檢測設備(AVI)用以對一待測物進行檢測，以產生一瑕疵影像與一相關瑕疵資訊其中該相關瑕疵資訊包括瑕疵種類及瑕疵位置。該自動光學檢測分類設備經由該自動視覺檢測設備獲得該瑕疵影像後將該瑕疵影像傳送至該深度學習系統進行訓練。
經多次測試的結果，本發明不僅可以有效地增加自動光學檢測對瑕疵的檢出率及準確率，改良後的神經網路架構於檢測的速度上亦有大幅的提升，增加了瑕疵檢測的效果及效率。
100:自動光學檢測分類設備
10:攝影機
20:影像處理設備
21:處理器
22:儲存單元
30:移載設備
40:輔助光源
50:自動視覺檢測設備
60:拍照機
70:深度學習系統
L1:輸入層
L2:神經網路群層
L3:全連結群層
1A:第一神經網路子區塊層
1B:第二神經網路子區塊層
1C:第三神經網路子區塊層
S1:非線性卷積特徵提取層
S11:卷積層
S12:正規化層
S2:線性卷積特徵提取層
S21:卷積層
S22:正規化層
S3:最大值池化層
S4:殘差映射層
S5:線性整流單元
S6:空運算元
P:待測物
S21-S24:步驟
圖1，為本發明自動光學檢測分類設備的方塊示意圖。
圖2，為本發明深度學習系統的結構示意圖(一)。
圖3，為本發明深度學習系統的結構示意圖(二)。
圖4，為本發明訓練系統的方塊示意圖。
圖5，為反向傳播的訓練流程。
有關本發明之詳細說明及技術內容，現就配合圖式說明如下。
本發明係應用於自動光學檢測分類設備(Automated Optical Inspection,AOI)上，用於對半導體晶片、晶圓、工件、面板、電路板(PCB、FPC、陶瓷電路板)等零件進行表面瑕疵檢測，檢測物件表面的缺陷或瑕疵。
以下針對自動光學檢測分類設備的架構舉一具體實施態樣進行說明，請參閱「圖1」，係本發明自動光學檢測分類設 備的方塊示意圖，如圖所示：於本實施態樣中所述的自動光學檢測分類設備100主要包括一攝影機10、以及一連接至該攝影機的影像處理設備20。一般而言，為了實現全自動化檢測，通常會再增加移載設備30，用於將待測物P移載至檢測區域進行拍攝，實現全自動化控制；此外，針對不同的待測物P或瑕疵種類，自動光學檢測分類設備100上亦可安裝有各式的輔助光源40，用以對待測物P進行照明。所述的輔助光源40例如可以為但不限定於平行光燈具、漫射光燈具、穹形燈等，一些特殊的待測物可能會用到兩組以上的輔助光源40，端看所對應的待測物種類決定。
用於自動光學檢測的攝影機10係依據實際需求而配置。通常對於工件的精密度及可靠度有相當程度的需求時，必須要配置更為精密的攝影機：反之，為了減少設備的成本，可選用較為低階的攝影機，此部分端看廠商的需求而定。一般攝影機10種類可分為面掃描攝影機(Area Scan Camera)、以及線掃描攝影機(Line Scan Camera)，配合實務上的需求所述的兩種攝影機都有可能被使用。線掃描攝影機較常用於動態檢測，於待測物P移動的同時進行拍攝，可確保檢測流程的連續性。
攝影機10係連接於後台的影像處理設備20，經由影像處理設備20分析攝影機10所獲得的影像，以經由影像中得到待測物P表面上的瑕疵。於一較佳的實施態樣中，攝影機10係配置有微處理器(通常於攝影機10出廠時配置)用以控制攝影機10或是針對攝影機10所拍攝到的影像進行預處理。影像處理設備20經由該攝影機10(或微處理器)獲取影像後，係將該影像進行前處 理程序(例如影像強化、去除雜訊、加強對比、加強邊緣、擷取特徵、影像壓縮、影像轉換等)，並將輸出的影像經由視覺軟體工具和演算法進行分析，以獲得判定結果並將判定結果輸出或儲存於資料庫。所述的影像處理設備20係用以載入深度學習系統執行影像辨識處理。該影像處理設備20包括處理器21以及連接至該處理器21、或與該處理器21共構而成的一儲存單元22，處理器21係經由載入該儲存單元22執行本發明的深度學習系統。
於自動光學檢測中，待測物P上的異塵及瑕疵不管是經由人工檢測的方式或是機器視覺檢測的方式經常有混淆誤認的情況，主要原因在於機器視覺中對於異塵及瑕疵的定義都是相對母片而言的噪點，雖然異塵及瑕疵在特性上尚有一些差異(例如異塵通常是立體、突出於表面上，瑕疵例如刮痕、碎亮點通常形成於內側)，但對於一般機器視覺而言，兩者均是與母片不相同的部分，一般的辨識邏輯難以分出區別。早期的方式通常是由軟體工程師經由一般常見的瑕疵特性進行邏輯編程，並將其載入自動視覺檢測設備(Automated Visual Inspector,AVI)檢出缺陷後，再由光學檢查操作員經由人檢的方式進行二次確認。然而在大量製程(mass production)中，產品生產的數量可能是以每小時數萬計，人檢相較於機器視覺於效率及可靠度上就不是那麼的合適。
以下係針對本發明的深度學習系統舉一較佳實施態樣進行說明，請一併參閱「圖2」及「圖3」，係為本發明深度學習系統的結構示意圖(一)及結構示意圖(二)，如圖所示：如圖2所示，於本實施態樣中所揭示的深度學習系統由輸入至輸出主要包括：一輸入層L1，用以接收待測影像並將 該待測影像進行正規化處理；一神經網路群層L2，用以對輸入影像執行特徵提取並於最終獲取複數個影像特徵；該神經網路群層L2由輸入至輸出包括一或複數個神經網路子區塊層(1A、1B、1C)、以及一最大值池化層(Max Pool)S3，於其中任一或複數個該神經網路子區塊層中包括具有一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層(Eltwise)S4、以及一將該殘差映射層S4的輸出進行非線性化運算的線性整流單元(Rectified Linear Unit,ReLU)S5；以及一全連結群層L3，包括一或複數個全連結層依據權重比例進行分類，最終輸出一檢測結果。
如圖3所示，於本實施態樣中所揭示的卷積神經網路層主要包括以下五種子區塊：第一神經網路子區塊層1A，第二神經網路子區塊層1B，第三神經網路子區塊層1C，非線性卷積特徵提取層S1，以及線性卷積特徵提取層S2，以下針對五種子區塊層的架構分別進行說明。
所述的第一神經網路子區塊層1A主要包括一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層S4(Eltwise)、以及一將該殘差映射層S4的輸出進行非線性化運算的線性整流單元(ReLU)S5。其中，該第一運算子集包括一非線性卷積特徵提取層S1。該第二運算子集由輸入至輸出包括二線性卷積特徵提取層S2、以及一非線性卷積特徵提取層S1。其中該非線性卷積特徵提取層S1包括一進行特徵提取的卷積層S11、一將該提取的特徵取平方值或方差以進行批量正規化處理的正規化層S12、以及一將正規化 處理後的特徵進行非線性化運算的線性整流單元S5(ReLU)；該線性卷積特徵提取層S2包括一進行特徵提取的卷積層S21、以及一將該提取的特徵取平方值或方差以進行批量正規化處理的正規化層S22。於卷積神經網路中***線性整流單元(ReLU)可以減少參數依存關係，減少過擬合(over fitting)的現象。
所述的第二神經網路子區塊層1B主要包括一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層(Eltwise)S4、以及一將該殘差映射層S4的輸出進行非線性化運算的線性整流單元(ReLU)S5。其中，該第二神經網路子區塊層1B的該第一運算子集係為一空運算元S6，該空運算元S6係不進行任何運算，直接將輸入的內容輸出至該殘差映射層(Eltwise)；該第二運算子集由輸入至輸出包括二線性卷積特徵提取層S2、以及一非線性卷積特徵提取層S1。
所述的第三神經網路子區塊層1C主要包括一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層(Eltwise)S4、以及一將該殘差映射層S4的輸出進行非線性化運算的線性整流單元(ReLU)S5。其中，該第一運算子集包括一非線性卷積特徵提取層S1；該第二運算子集由輸入至輸出包括一線性卷積特徵提取層S2、以及一非線性卷積特徵提取層S1。
復一併參閱「圖2」，本實施態樣的深度學習系統依據輸入至輸出的排序為：非線性卷積特徵提取層S1→最大值池化層(Max Pool)S3→第一神經網路子區塊層1A→第二神經網路子區 塊層1B→第二神經網路子區塊層1B→第一神經網路子區塊層1A→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第一神經網路子區塊層1A→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第二神經網路子區塊層1B→第一神經網路子區塊層1A→第三神經網路子區塊層1C→第三神經網路子區塊層1C→最大值池化層(Max Pool)S3→全連結群層L3。其中，上述重複出現的區塊係指架構上定義相同的區塊，而非指同一區塊重複執行迴圈，在此必須先行敘明。
所述的殘差映射層(Eltwise)S4主要係進行以下之運算：H(X)=F(X)+X；其中，X為第一運算子集的輸出，F(X)為第二運算子集的輸出，H(X)為殘差映射層(Eltwise)的輸出。於另一實施態樣中，該殘差映射層(Eltwise)S4亦可以進行以下之運算：H(X)=F(X)-X；其中，X為第一運算子集的輸出，F(X)為第二運算子集的輸出，H(X)為殘差映射層(Eltwise)的輸出。透過殘差映射層可以藉由添加捷徑實現前向神經網絡，降低了進行反向傳播訓練時收斂的難度。
所述的全連結群層L3最後係經由一正規化輸出層輸出分類的結果，以區分瑕疵的種類。於本實施態樣中，所述的全連結群層L3的輸出係可以為複數種不同的瑕疵種類，藉此對NG品進行更進一步的細分。舉例而言，若檢測的對象為PCB板，該全連結群層L3最終的輸出可以包括一刮傷分類結果、一短路分類結果、一露銅分類結果、一凹陷分類結果、一異物分類結果、一斷路分類結果、以及一無瑕分類結果；若檢測的對象為面板，該全連 結群層L3最終的輸出可以包括一PS欠缺分類結果、一砂狀異物分類結果、一膜上異物分類結果、一膜下異物分類結果、以及一無瑕分類結果；若檢測的對象為軟板(Flexible Printed Circuit,FPC)，該全連結群層L3的輸出包括一小板不良分類結果、一手指異物分類結果、一壓折傷分類結果、一破損分類結果、一PAD異物分類結果、一U型金面分類結果、以及一無瑕分類結果。對應於檢測的需求不同，全連結群層L3的配置亦會有所調整，以決定輸出結果的數量。
除上述的實施態樣外，本發明又提供一套訓練系統，用以透過自動化、半自動化的模式訓練深度學習系統，以增加深度學習系統的準確度。以下係針對本發明的訓練系統進行詳細的說明，請參閱「圖4」，係為本發明訓練系統的方塊示意圖，如圖所示：於本實施態樣中，該訓練設備主要包含一自動視覺檢測設備50、一拍照機60、以及一如上所述利用深度學習系統70的自動光學檢測分類設備100。
該自動視覺檢測設備50(Automated Visual Inspector,AVI)係用以透過攝影機對待測物進行拍照，並經由獲取的待測物影像取得待測物的瑕疵影像、瑕疵種類、位置等相關瑕疵資訊，並將該等瑕疵資訊輸出至一拍照機。
該拍照機60耦合至該自動視覺檢測設備接收自自動視覺檢測設備50傳送的瑕疵影像與相關瑕疵資訊後，係依據該等瑕疵資訊對待測物進行取像，並強化該待測物的瑕疵特徵，以產生一瑕疵強化影像。具體而言，該拍照機60係可以提供固定式或自 動移動式的輔助光源裝置至待測物的瑕疵位置，對待測物的瑕疵位置進行補光以強化瑕疵特徵，並對待測物的瑕疵進行拍攝。
輸出的結果係經由光學檢測工程師進行目檢以確保訓練用樣本母片的正確性，避免深度學習系統70進行了錯誤的學習，該等影像中的瑕疵係可經由光學檢測工程師或影像處理裝置進行標記；惟，目檢的程序可以透過機器視覺判斷進行省略，例如可直接將自動視覺檢測設備50所產生的待測物影像與相關瑕疵資訊傳送至拍照機60，以進行後續的瑕疵影像特徵強化，以經由該拍照機進行拍攝。最終的影像透過影像處理裝置將所拍攝到的瑕疵影像進行標準化處理(例如將瑕疵區域分割為標準化尺寸的影像)，以便於深度學習系統進行訓練。
最終獲得的瑕疵影像可以與其他瑕疵影像、無暇影像或母片批量輸入深度學習系統進行訓練。於訓練的過程中，如果分類的結果與預期結果相同時被歸類為正確，若不同時則歸類為誤差並依據誤差數值反向傳播修改各層的權重。
反向傳播的具體流程如「圖5」所示，包括以下步驟：將訓練影像輸入至該深度學習系統，經由深度學習系統計算後獲得數據(步驟S21)；將所獲得的數據(誤差)分成訓練集以及驗證集兩個部分(步驟S22)；依據該訓練集計算梯度，估計出前導層的誤差，並藉此更新每一神經元的權重和閾值(步驟S23)；其中於步驟S23計算出權重和閾值時，依據該驗證集估計誤差，當疊代次數或是該驗證集的容許誤差到達閾值時，停止該訓練集，以結束反向傳播的程序(步驟S24)。
本發明最終係將訓練過後的深度學習系統進行測 試，並於測試後的結果獲得非常良好的瑕疵辨識準確率，經由PCB、LCD、FPC測試的結果，檢測結果準確率經常高於98%以上的數值，單張影像的檢測速度則經常低於0.05秒，顯示出本發明的深度學習系統可以達到相當高的準確率及檢測效率。
綜上所述，本發明不僅可以有效地增加自動光學檢測對瑕疵的檢出率及準確率，改良後的神經網路架構於檢測的速度上亦有大幅的提升，增加了瑕疵檢測的效果及效率。
以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。
100‧‧‧自動光學檢測分類設備
10‧‧‧攝影機
20‧‧‧影像處理設備
21‧‧‧處理器
22‧‧‧儲存單元
30‧‧‧移載設備
40‧‧‧輔助光源
P‧‧‧待測物

Claims (12)

  1. 一種利用深度學習系統的自動光學檢測分類設備，透過待測物影像，檢測待測物瑕疵，該自動光學檢測分類設備包括：一處理器，該處理器係載入儲存單元的該深度學習系統並執行，該深度學習系統由輸入至輸出包括：一輸入層，用以接收待測物影像並將該待測物影像進行正規化處理；一神經網路群層，用以對正規化處理後輸入的該待測物影像執行特徵提取並於最終獲取複數個影像特徵，該神經網路群層由輸入至輸出包括一或複數個神經網路子區塊層、以及一最大值池化層(Max Pool)，於其中任一或複數個該神經網路子區塊層中包括具有一共同輸入的第一運算子集及第二運算子集、一將該第一運算子集及該第二運算子集的輸出進行殘差運算的殘差映射層(Eltwise)、以及一將該殘差映射層的輸出進行非線性化運算的線性整流單元(ReLU)；以及一全連結群層，包括一或複數個全連結層依據權重比例進行分類，最終輸出一檢測結果。
  2. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該第一運算子集包括一第一卷積神經單元，該第一卷積神經單元包括一進行特徵提取的卷積層、以及一將該提取的特徵進行批量正規化處理的正規化層。
  3. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該第一運算子集係為一空運算元。
  4. 如申請專利範圍第2或3項中任一項所述的自動光學檢測分類設備，其中，該第二運算子集由輸入至輸出包括二第二卷積神經單元、以及一第三卷積神經單元，該第二卷積神經單元包括一進行特徵提取的卷積層、一將該提取的特徵進行批量正規化處理的正規化層、以及一將正規化處理後的特徵進行非線性化運算的線性整流單元(ReLU)。
  5. 如申請專利範圍第2或3項中任一項所述的自動光學檢測分類設備，其中，該第二運算子集由輸入至輸出包括一第二卷積神經單元、以及一第三卷積神經單元，該第二卷積神經單元包括一進行特徵提取的卷積層、一將該提取的特徵進行批量正規化處理的正規化層、以及一將正規化處理後的特徵進行非線性化運算的線性整流單元(ReLU)。
  6. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該殘差映射層(Eltwise)係進行以下之運算：H(X)=F(X)+X；其中，X為第一運算子集的輸出，F(X)為第二運算子集的輸出，H(X)為殘差映射層(Eltwise)的輸出。
  7. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該殘差映射層(Eltwise)係進行以下之運算： H(X)=F(X)-X；其中，X為第一運算子集的輸出，F(X)為第二運算子集的輸出，H(X)為殘差映射層(Eltwise)的輸出。
  8. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該全連結群層的輸出包括一刮傷分類結果、一短路分類結果、一露銅分類結果、一凹陷分類結果、一異物分類結果、一斷路分類結果、以及一無瑕分類結果。
  9. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該全連結群層的輸出包括一PS欠缺分類結果、一砂狀異物分類結果、一膜上異物分類結果、一膜下異物分類結果、以及一無瑕分類結果。
  10. 如申請專利範圍第1項所述的自動光學檢測分類設備，其中，該全連結群層的輸出包括一小板不良分類結果、一手指異物分類結果、一壓折傷分類結果、一破損分類結果、一PAD異物分類結果、一U型金面分類結果、以及一無瑕分類結果。
  11. 種深度學習系統的訓練設備，包含：一自動視覺檢測設備(AVI)，用以對一待測物進行檢測，以產生一瑕疵影像與一相關瑕疵資訊，其中該相關瑕疵資訊包括瑕疵種類及瑕疵位置；以及一如申請專利範圍第1至10項中任一項所述的自動光學檢測分類設備，經由該自動視覺檢測設備獲得該瑕疵影像後將該 瑕疵影像傳送至該深度學習系統進行訓練。
  12. 如申請專利範圍第11項所述的訓練設備，更進一步包括一拍照機，耦合至該自動視覺檢測設備，根據該瑕疵影像與該相關瑕疵資訊，對該待測物進行取像，以強化該瑕疵影像上的瑕疵特徵，以產生一瑕疵強化影像，並將該瑕疵強化影像傳送至該深度學習系統進行訓練。
TW107122640A 2018-06-29 2018-06-29 利用深度學習系統的自動光學檢測分類設備及其訓練設備 TWI689875B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107122640A TWI689875B (zh) 2018-06-29 2018-06-29 利用深度學習系統的自動光學檢測分類設備及其訓練設備
CN201811141019.2A CN110659660B (zh) 2018-06-29 2018-09-28 利用深度学习***的自动光学检测分类设备及其训练设备
US16/455,243 US11455528B2 (en) 2018-06-29 2019-06-27 Automated optical inspection and classification apparatus based on a deep learning system and training apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107122640A TWI689875B (zh) 2018-06-29 2018-06-29 利用深度學習系統的自動光學檢測分類設備及其訓練設備

Publications (2)

Publication Number Publication Date
TW202001696A TW202001696A (zh) 2020-01-01
TWI689875B true TWI689875B (zh) 2020-04-01

Family

ID=69028791

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122640A TWI689875B (zh) 2018-06-29 2018-06-29 利用深度學習系統的自動光學檢測分類設備及其訓練設備

Country Status (3)

Country Link
US (1) US11455528B2 (zh)
CN (1) CN110659660B (zh)
TW (1) TWI689875B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI731565B (zh) * 2020-01-30 2021-06-21 遠傳電信股份有限公司 片狀材料快速檢測瑕疵整合系統及其使用方法
CN113267501A (zh) * 2020-02-17 2021-08-17 远传电信股份有限公司 片状材料快速检测瑕疵整合***及其使用方法
CN111272776A (zh) * 2020-02-17 2020-06-12 上海感图网络科技有限公司 一种基于ai技术的柔性电路板缺陷检测方法
TWI778341B (zh) * 2020-03-19 2022-09-21 荷盛崧鉅智財顧問股份有限公司 圖像近似度分析系統
CN113496233A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图像近似度分析***
CN111582435B (zh) * 2020-04-02 2023-04-18 清华大学 基于残差网络的衍射深度神经网络***
CN111612739B (zh) * 2020-04-16 2023-11-03 杭州电子科技大学 一种基于深度学习的脑梗死分类方法
CN111598855B (zh) * 2020-05-07 2023-04-18 西安电子科技大学 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
CN113673706A (zh) 2020-05-15 2021-11-19 富泰华工业（深圳）有限公司 机器学习模型训练方法、装置及电子设备
TWI765266B (zh) * 2020-05-15 2022-05-21 鴻海精密工業股份有限公司 機器學習模型訓練方法、裝置及電子設備
KR20230007485A (ko) * 2020-07-09 2023-01-12 주식회사 히타치하이테크 패턴 매칭 장치, 패턴 측정 시스템, 패턴 매칭 프로그램
CN112651920A (zh) * 2020-07-24 2021-04-13 深圳市唯特视科技有限公司 Pcb裸板线路瑕疵检测方法、装置、电子设备
CN112070134A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像分类方法、装置、电力设备及存储介质
CN112485259A (zh) * 2020-11-13 2021-03-12 湖南交通工程学院 一种自适应强的金属表面智能缺陷视觉检测装备及检测方法
CN112651428A (zh) * 2020-12-03 2021-04-13 北京信息科技大学 一种用于远程拉曼矿物识别的深度学习模型多分类方法
TWI752846B (zh) * 2021-03-15 2022-01-11 英業達股份有限公司 自動光學與類神經網路整合的二次檢測系統及其方法
CN113011567B (zh) * 2021-03-31 2023-01-31 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
US20240169511A1 (en) * 2021-05-25 2024-05-23 Chengdu Boe Optoelectronics Technology Co., Ltd. Method and apparatus for acquiring images, and storage medium thereof
CN113674305B (zh) * 2021-08-25 2022-05-31 茶陵县强强陶瓷有限公司 应用于陶瓷生产的智能储坯***及控制方法
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN115938966A (zh) * 2022-12-15 2023-04-07 西安奕斯伟材料科技有限公司 外延硅片检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201802726A (zh) * 2016-06-01 2018-01-16 克萊譚克公司 針對半導體應用整合神經網路及前向物理模型之系統及方法
TW201816670A (zh) * 2016-10-14 2018-05-01 美商克萊譚克公司 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
US9996369B2 (en) * 2015-01-05 2018-06-12 Anki, Inc. Adaptive data analytics service

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996056B (zh) * 2014-04-08 2017-05-24 浙江工业大学 一种基于深度学习的纹身图像分类方法
WO2016165082A1 (zh) * 2015-04-15 2016-10-20 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106228124B (zh) * 2016-07-17 2019-03-08 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN106845371B (zh) * 2016-12-31 2019-10-25 中国科学技术大学 一种城市路网机动车尾气排放遥感监控***
CN107018422B (zh) * 2017-04-27 2019-11-05 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN107563446B (zh) * 2017-09-05 2020-08-18 华中科技大学 一种微操作***目标检测方法
CN108122247B (zh) * 2017-12-25 2018-11-13 北京航空航天大学 一种基于图像显著性和特征先验模型的视频目标检测方法
CN108319972B (zh) * 2018-01-18 2021-11-02 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN109389667B (zh) * 2018-08-23 2023-07-18 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN110533041B (zh) * 2019-09-05 2022-07-01 重庆邮电大学 基于回归的多尺度场景文本检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996369B2 (en) * 2015-01-05 2018-06-12 Anki, Inc. Adaptive data analytics service
TW201802726A (zh) * 2016-06-01 2018-01-16 克萊譚克公司 針對半導體應用整合神經網路及前向物理模型之系統及方法
TW201816670A (zh) * 2016-10-14 2018-05-01 美商克萊譚克公司 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統

Also Published As

Publication number Publication date
US20200005141A1 (en) 2020-01-02
CN110659660B (zh) 2023-09-15
US11455528B2 (en) 2022-09-27
CN110659660A (zh) 2020-01-07
TW202001696A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI689875B (zh) 利用深度學習系統的自動光學檢測分類設備及其訓練設備
TWI653605B (zh) 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
CN110658198B (zh) 光学检测方法、光学检测装置及光学检测***
CN109934814B (zh) 表面缺陷侦测***及其方法
US11341626B2 (en) Method and apparatus for outputting information
TWI238366B (en) Image processing method for appearance inspection
CN106501272B (zh) 机器视觉焊锡定位检测***
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
JP2021119341A (ja) 生産ラインスマート監視システム及び監視方法
CN112014407A (zh) 一种集成电路晶圆表面缺陷检测的方法
TWI694250B (zh) 表面缺陷偵測系統及其方法
CN114240877A (zh) 一种检测焊接质量的方法及装置
Aggarwal et al. A survey on automatic printed circuit board defect detection techniques
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及***
CN112505049A (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和***
CN114881990A (zh) 掩模版缺陷检测方法、装置、电子设备及存储介质
Chen et al. A PCBA solder joint defects inspection system based on deep learning technology
TWI810016B (zh) 軟性電路板檢測系統
TW202134634A (zh) 共生式複檢系統、及共生式複檢方法
Chen et al. An automatic optical system for micro-defects inspection on 5 surfaces of a chip
CN111539933B (zh) 一种直插元件检测方法及***
CN118150581A (zh) 柔板压点次品的检测方法、***、装置和存储介质
Liang et al. Research on Defect Detection Method of Painting Parts Based on Machine Vision
CN118425148A (zh) 一种aoi检测方法及装置