TWI785579B - 元件辨識模型之自動模型重建方法及系統 - Google Patents

元件辨識模型之自動模型重建方法及系統 Download PDF

Info

Publication number
TWI785579B
TWI785579B TW110115099A TW110115099A TWI785579B TW I785579 B TWI785579 B TW I785579B TW 110115099 A TW110115099 A TW 110115099A TW 110115099 A TW110115099 A TW 110115099A TW I785579 B TWI785579 B TW I785579B
Authority
TW
Taiwan
Prior art keywords
component
model
automatic
reconstruction
images
Prior art date
Application number
TW110115099A
Other languages
English (en)
Other versions
TW202242717A (zh
Inventor
姜亭安
張凱鈞
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW110115099A priority Critical patent/TWI785579B/zh
Priority to CN202210232151.4A priority patent/CN115346164A/zh
Priority to US17/694,333 priority patent/US20220343113A1/en
Publication of TW202242717A publication Critical patent/TW202242717A/zh
Application granted granted Critical
Publication of TWI785579B publication Critical patent/TWI785579B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

一種元件辨識模型之自動模型重建方法及系統。自動模型重建方法包括以下步驟。相繼地對數個電路板之一第一位置擷取一第一元件影像。藉由元件辨識模型相繼地對這些第一元件影像識別元件類別並輸出數個辨識機率值。依據這些辨識機率值得到數個指數加權移動平均值。收集這些指數加權移動平均值低於一第一設定值所對應的這些第一元件影像直到一個指數加權移動平均值低至一第二設定值。將所收集之這些第一元件影像作為數個異常元件影像。依據這些異常元件影像對元件辨識模型進行模型重建。

Description

元件辨識模型之自動模型重建方法及系統
本揭露是有關於一種元件辨識模型之自動模型重建方法及系統，且特別是有關於一種適用於電路板之元件辨識模型之自動模型重建方法及系統。
在電路板組裝之生產線上通常會使用元件辨識模型來偵測電路板上之各個預設位置是否設置了正確的零部件。當元件辨識模型上線後，若持續發生漏檢或誤報，傳統上需要透過人工進行分析，調整元件辨識模型，才能重新上線。
在目前現行作法中，需要等到元件辨識模型持續發生異常狀況而導致生產線停擺時，才開始撈取異常資料，針對異常資料分析原因後進行元件辨識模型的調整、重新蒐集資料並對元件辨識模型進行模型重建，才可以將更新的元件辨識模型導入。然而，在分析及模型重建的過程中，生產線的停擺會增加工廠的損失，故需要提供一種能自動重新訓練辨識模型的方法及系統。
本揭露係有關於一種元件辨識模型之自動模型重建方法及系統，其對辨識機率值與元件出現之位置進行監控，並自動分析出訓練樣本，以自動對元件辨識模型進行模型重建。
根據本揭露之一實施例，提出一種元件辨識模型之自動模型重建方法。自動模型重建方法包括以下步驟。相繼地對數個電路板之一第一位置擷取一第一元件影像。藉由元件辨識模型相繼地對這些第一元件影像識別元件類別，並輸出數個辨識機率值。依據這些辨識機率值得到數個指數加權移動平均值。收集這些指數加權移動平均值低於一第一設定值所對應的這些第一元件影像直到這些指數加權移動平均值其中一者低至一第二設定值。將所收集之這些第一元件影像作為數個異常元件影像。依據這些異常元件影像對元件辨識模型進行模型重建。
根據本揭露之另一實施例，提出一種元件辨識模型之自動模型重建系統。自動模型重建系統包括一影像擷取單元、一元件辨識模型、一模型監控單元及一自動重建單元。影像擷取單元用以相繼地對數個電路板之一第一位置擷取到一第一元件影像。元件辨識模型耦接至影像擷取單元。元件辨識模型用以相繼地對這些第一元件影像識別元件類別，並輸出數個辨識機率值。模型監控單元耦接至元件辨識模型。模型監控單元用以依據這些辨識機率值得到數個指數加權移動平均值，並判斷這些指數加權移動平均值與一第一設定值及一第二設定值之關係。自動重建單元耦接至元件辨識模型及模型監控單元。自動重建單元用以收集這些指數加權移動平均值低於第一設定值所對應的這些第一元件影像直到一個指數加權移動平均值低至第二設定 值，將所收集之這些第一元件影像作為數個異常元件影像，並依據這些異常元件影像對元件辨識模型進行模型重建。
為了對本揭露之上述及其他方面有更進一步的瞭解，以下特舉實施例，並配合所附圖式詳細說明如下。
100:自動模型重建系統
110:影像擷取單元
120:元件辨識模型
130:模型監控單元
140:自動重建單元
150:數據庫
160:顯示器
170:復判單元
180:警示單元
300,400:電路板
C1,C2,C01,C02,C03:元件類別
E1,E01,E02,E03,E04:元件
IM1:第一元件影像
IM01,IM02,IM03,IM04:元件影像
IM1’:異常元件影像
IM1”:識別錯誤的第一元件影像
IM2:第二元件影像
LC1:第一位置
LC2:第二位置
LC01,LC02,LC03:位置
LCL1:第一設定值
LCL2:第二設定值
P1,P01,P02,P03:辨識機率值
S1:警示訊號
S110,S120,S131,S132,S133,S134,S135,S136,S137,S138,S141,S142,S143,S144,S151,S152:步驟
t1,t2:時間點
Zi:指數加權移動平均值
第1圖繪示本揭露根據一實施例之元件辨識模型之示意圖。
第2圖繪示本揭露根據一實施例之元件辨識模型之自動模型重建系統的方塊圖。
第3A圖至第3B圖繪示本揭露根據一實施例之元件辨識模型之自動模型重建方法的流程圖。
第4圖繪示本揭露根據一實施例之電路板之示意圖。
第5圖繪示本揭露根據一實施例之指數加權移動平均值的分布圖。
第6A圖至第6C圖繪示本揭露根據另一實施例之元件辨識模型之自動模型重建方法的流程圖。
請參照第1圖，其繪示本揭露根據一實施例之元件辨識模型120之示意圖。第1圖之電路板300在位置LC01、LC02、LC03分別預計要設置元件E01、E02、E03。在位置LC01擷取到元件影像IM01後，元件影像IM01可以輸入至元件辨識模型120識別元件類別，以取得辨識機率值P01。辨識機率值P01係為 元件類別C01、C02、C03中的最大機率值(0.9、0.1、0.0之最大者為0.9)。元件類別C01、C02、C03分別對應於元件E01、E02、E03。倘若元件辨識模型120輸出之辨識機率值P01大於一預定門檻(例如是0.58)且對應於元件類別C01，則表示在位置LC01處設置了正確的元件E01。通常辨識機率值P01會遠大於預定門檻。
在位置LC02擷取到元件影像IM02後，元件影像IM02可以輸入至元件辨識模型120識別元件類別，以取得辨識機率值P02(即0.6)。倘若元件辨識模型120輸出之辨識機率值P02大於預定門檻且對應於元件類別C02，則表示位置LC02設置了正確的元件E02。但實際的生產線上可能會發生環境燈光過於昏暗，導致辨識機率值P02相當接近預定門檻(例如是0.58)。此種情況表示元件辨識模型120的訓練資料已經不足以反映線上的實際情況，而需要進行模型重建，以更新元件辨識模型120。
或者，在位置LC03擷取到元件影像IM03後，元件影像IM03可以輸入至元件辨識模型120，以取得辨識機率值P03。倘若元件辨識模型120輸出之辨識機率值P03(即0.9)大於預定門檻且對應於元件類別C02，則辨識出位置LC03設置了不正確的元件E02。然而，經過復判程序可以發現位置LC03確實是設置了正確之元件E03時，則表示元件辨識模型120的訓練資料已經不足以反映線上的實際情況，而需要進行模型重建，以更新元件辨識模型120。
此外，倘若在預設之位置LC01、LC02、LC03之外還發現了新的元件E04之元件影像IM04(尤其是在多張電路板300都發現了這個元件E04)時，則表示此一元件E04有設置的需要，而需要進行模型重建，以更新元件辨識模型120。
上述各種情況皆為元件辨識模型120需要進行自動模型重建的情況，本實施例可以針對這些情況自動取得需要的訓練樣本，並且自動進行模型重建。
請參照第2圖，其繪示根據一實施例之元件辨識模型120之自動模型重建系統100的方塊圖。自動模型重建系統100包括一影像擷取單元110、一元件辨識模型120、一模型監控單元130、一自動重建單元140、一數據庫150、一顯示器160、一復判單元170及一警示單元180，其中元件辨識模型120耦接至影像擷取單元110、模型監控單元130、自動重建單元140、數據庫150及復判單元170，模型監控單元130耦接至元件辨識模型120、自動重建單元140及警示單元180，自動重建單元140耦接至元件辨識模型120、模型監控單元130、數據庫150、顯示器160及警示單元180，數據庫150耦接至元件辨識模型120、自動重建單元140及復判單元170。
影像擷取單元110例如是一相機、或一光學掃描儀。元件辨識模型120、模型監控單元130及/或自動重建單元140例如是程式碼、晶片、電路、電路板或儲存程式碼之儲存裝置。數據庫150例如是一硬碟、一記憶體或一雲端儲存中心。模型監控單元130透過辨識機率值與元件出現之位置進行監控，使得自動重建單元140能夠自動地取得訓練樣本，並進行模型重建，而無須停擺生產線。以下透過流程圖詳細說明上述元件之運作方式。
請參照第2圖至第4圖，第3A圖至第3B圖繪示本揭露根據一實施例之元件辨識模型120之自動模型重建方法的流程圖，第4圖繪示本揭露根據一實施例之電路板400之示意圖。
在步驟S110中，影像擷取單元110相繼地對多個電路板400進行拍攝。在本揭露中，「相繼地」係指影像擷取單元110會依據電路板400在生產線上的順序依序拍照，此做法是為了觀察電路板400的產出是否有產生變化。在此步驟中，影像擷取單元110會在電路板400上偵測元件，並擷取該元件之元件影像。元件影像可以是單獨拍攝之區塊影像；或者，元件影像可以自整張電路板影像中切割出來。
接著，在步驟S120中，判斷是否於各個電路板400之一第一位置LC1擷取到一第一元件影像IM1、或者是於這些電路板400之其中之一的第一位置LC1之外擷取到一第二元件影像IM2。如第4圖所示，電路板400之第一位置LC1預設要設置元件E1。於此步驟中，元件辨識模型120會判斷影像擷取單元110所擷取到的是位於第一位置LC1之第一元件影像IM1還是位於第一位置LC1之外的第二元件影像IM2。在創建元件辨識模型120的過程中，數據庫150已經儲存了第一位置LC1、第一元件影像IM1之元件類別及數筆對應於第一位置LC1之第一元件影像IM1的歷史訓練樣本。倘若這些歷史訓練樣本能夠真實反映出所有線上的實際情況，元件辨識模型120即可準確對第一元件影像IM1辨識出其屬於元件類別C1(繪示於第2圖)。步驟S120之判斷結果若為第一位置LC1之第一元件影像IM1，則流程進入步驟S131~S138(繪示於第3A圖)；步驟S120之判斷結果若為第一位置LC1之外的第二元件影像IM2，則流程進入步驟S141~S144(繪示於第3B圖)。以下先說明步驟S131~S138。
在步驟S131中，藉由元件辨識模型120相繼地對這些第一元件影像IM1識別元件類別，並輸出數個辨識機率值P1(繪示於第2圖)，其中辨識機率值P1係為各種元件類別中的最大機率值。於本揭露中，相繼地對這些 第一元件影像IM1進行識別的原因在於觀察這些第一元件影像IM1是否有產生變化。舉例來說，若生產線上的光線在一特定時間點變暗，致特定時間點之後的電路板400顏色變深，進而導致元件辨識模型120對特定時間點之後擷取的第一元件影像IM1識別失敗，而輸出較低的辨識機率值P1。針對每一第一元件影像IM1，元件辨識模型120會輸出一個辨識機率值P1。
接著，在步驟S132中，模型監控單元130依據這些辨識機率值P1得到數個指數加權移動平均值Zi(繪示於第2圖)。
指數加權移動平均值Zi之計算公式如下式(1)：Z i =λ1 * xi+(1-λ1)Z i-1............................................(1)
在上述計算公式(1)中，λ1為加權常數，其值介於0到1之間，λ1之值可決定第i個時間點之指數加權移動平均值Zi相依第i-1個時間點之指數加權移動平均值Zi-1的權重。xi為第i個時間點之辨識機率值P1。指數加權移動平均值Zi可以反應出辨識機率值P1的連續變化。
請參照第5圖，其繪示根據一實施例之指數加權移動平均值Zi的分布圖。由於第i個時間點之指數加權移動平均值Zi相依於第i-1個時間點之指數加權移動平均值Zi-1，故指數加權移動平均值Zi會緩步地下降或上升。在第5圖之例子中，指數加權移動平均值Zi緩步地下降。
接著，在步驟S133~S136中，自動重建單元140自數據庫150收集這些指數加權移動平均值Zi低於一第一設定值LCL1所對應的這些第一元件影像IM1直到這些指數加權移動平均值Zi的其中一個低至一第二設定值LCL2。
在步驟S133中，模型監控單元130依序判斷這些指數加權移動平均值Zi是否降低至第一設定值LCL1。如第5圖之時間點t1所示，指數加權移動平 均值Zi降低至第一設定值LCL1，表示此時辨識機率值P1已經逼近了預定門檻。在此情況下，元件辨識模型120的訓練資料可能已經不足以反映線上的情況。
接著，在步驟S134中，警示單元180發出一警示訊號S1，以提醒工作人員元件辨識模型120的訓練資料可能已經不足以反映線上的情況。
接著，在步驟S135中，模型監控單元130控制自動重建單元140開始收集第一元件影像IM1。詳細來說，當模型監控單元130判斷這些指數加權移動平均值Zi降低至第一設定值LCL1後，模型監控單元130控制自動重建單元140開始自數據庫150收集第一元件影像IM1。
然後，在步驟S136中，模型監控單元130判斷這些指數加權移動平均值Zi之其中之一者是否降低至第二設定值LCL2，其中第二設定值LCL2低於第一設定值LCL1。若是，則進入步驟S137。如第5圖之時間點t2所示，一個指數加權移動平均值Zi已經降低至第二設定值LCL2。
在步驟S137中，模型監控單元130控制自動重建單元140將所收集之第一元件影像IM1作為數個異常元件影像IM1’。詳細來說，所述收集之第一元件影像IM1是指數加權移動平均值Zi低於第一設定值LCL1之後所擷取的所有第一元件影像IM1。
上述之第一設定值LCL1以及第二設定值LCL2之計算公式如下式(2)以及(3)：
Figure 110115099-A0305-02-0010-1
Figure 110115099-A0305-02-0010-2
第(2)及(3)式中的λ2為加權常數，其值介於0到1之間，μ0為元件辨識機率值P1之平均值，σ為元件辨識機率值P1之標準差，L1以及L2為決定第一取樣規則上限與下限之參數，i則為時間點。
接著，在步驟S138中，自動重建單元140依據這些異常元件影像IM1’對元件辨識模型120進行模型重建。在此步驟中，自動重建單元140可以將全部之異常元件影像IM1’作為訓練資料來進行模型重建。或者，在另一實施例中，自動重建單元140可以將一部份，例如80%的異常元件影像IM1’作為訓練資料來進行模型重建，並將另一部份，例如20%的異常元件影像IM1’作為驗證資料來驗證模型重建後之元件辨識模型120是否完善。
在元件辨識模型120重建完畢之後，可以透過顯示器160顯示相關資訊，以提供給工作人員確認是否將更新後的元件辨識模型120投入生產線中。
透過上述步驟S131~S138，在辨識機率值P1逐漸降低的時候，無須停止生產線，即可自動收集訓練資料，並且能夠自動進行模型重建，以更新元件辨識模型120。如此一來，不會造成生產線停擺，即可以提高元件辨識模型120的辨識精準度。
以下更進一步說明第3圖之步驟S141~S144。在步驟S120判斷出影像擷取單元110擷取到第一位置LC1之外之第二元件影像IM2時，進入步驟S141。在步驟S141中，元件辨識模型120偵測第二元件影像IM2所在之一第二位置LC2(標示於第2圖)。此步驟偵測到的第二位置LC2將記錄於數據庫150中。此外，第二元件影像IM2之元件類別也會一併記錄於數據庫150中，以作為後續的訓練樣本。
接著，在步驟S142中，模型監控單元130控制元件辨識模型120開始於各個電路板400之第二位置LC2收集第二元件影像IM2。
然後，在步驟S143中，自動重建單元140判斷第二元件影像IM2是否已累積一預設數量(例如是20筆)。若是，則進入步驟S144。
在步驟S144中，自動重建單元140依據所收集到的第二元件影像IM2對元件辨識模型120進行模型重建。
在元件辨識模型120重建完畢之後，可以透過顯示器160顯示相關資訊，以提供給工作人員確認是否將更新後的元件辨識模型120投入生產線中。
根據上述步驟S141~S144，在發現了新的元件時，無須停止生產線即可自動收集訓練資料，並且能夠自動進行模型重建，以更新元件辨識模型120。如此一來，不會造成生產線停擺，即可以提高元件辨識模型120的辨識精準度。
請參照第6A圖至第6C圖，其繪示根據另一實施例之元件辨識模型120之自動模型重建方法的流程圖。在第6A圖至第6C圖之實施例中，相較於第3A圖至第3B圖之實施例，元件辨識模型120之自動模型重建方法更包括步驟S151~S152之復判程序。在步驟S151中，復判單元170復判各個第一元件影像IM1之元件類別是否識別錯誤。舉例來說，識別錯誤的情況例如是：(1)第一元件影像IM1應該屬於元件類別C1，但卻被元件辨識模型120辨識為元件類別C2。(2)第一元件影像IM1應屬於元件類別C1，但卻被元件辨識模型120辨識為不屬於任何預定的元件類別。於一些實施例中，復判單元170可以由人工的方式來達成，也可以由另一個機器學習模型來達成。若步驟S151之判斷結果為是，則進入步驟S152。
在步驟S152中，自動重建單元140收集識別錯誤的第一元件影像IM1”，以供自動重建單元140對元件辨識模型120進行模型重建。詳細來說，當復判單元170判斷各個第一元件影像IM1之元件類別識別錯誤時，會將這些識別錯誤的第一元件影像IM1”修正並標註，並回傳至數據庫150，以更新數據庫150。自動重建單元140會依據更新後的數據庫對元件辨識模型120進行模型重建。
在元件辨識模型120重建完畢之後，可以透過顯示器160顯示相關資訊，以提供給工作人員確認是否將更新後的元件辨識模型120投入生產線中。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S110,S120,S131,S132,S133,S134,S135,S136,S137,S138:步驟

Claims (13)

  1. 一種元件辨識模型之自動模型重建方法，一電腦程式產品載入一電腦後，以執行自動模型重建方法的以下步驟：相繼地對複數個電路板之一第一位置擷取一第一元件影像；藉由該元件辨識模型相繼地對該些第一元件影像識別元件類別並輸出複數個辨識機率值；依據該些辨識機率值得到複數個指數加權移動平均值；收集該些指數加權移動平均值低於一第一設定值所對應的該些第一元件影像直到該些指數加權移動平均值之其中一者低至一第二設定值；將所收集之該些第一元件影像作為複數個異常元件影像；以及依據該些異常元件影像對該元件辨識模型進行模型重建。
  2. 如請求項1所述之自動模型重建方法，其中該些異常元件影像之一部份用以進行模型重建，該些異常元件影像之另一部份用以驗證模型重建後之該元件辨識模型是否完善。
  3. 如請求項1所述之自動模型重建方法，更包括：若於該些電路板之其中之一的該第一位置之外擷取到一第二元件影像，則偵測該第二元件影像所在之一第二位置；於各該電路板之該第二位置擷取該第二元件影像；以及於該些第二元件影像累積至一預設數量時，依據該些第二元件影像對該元件辨識模型進行模型重建。
  4. 如請求項1所述之自動模型重建方法，在該元件辨識模型輸出該些辨識機率值之後，該自動模型重建方法更包括：復判各該第一元件影像之元件類別是否識別錯誤；以及收集識別錯誤的該些第一元件影像，以對該元件辨識模型進行模型重建。
  5. 如請求項1所述之自動模型重建方法，更包括：當該些指數加權移動平均值降低至該第一設定值時，發出一警示訊號。
  6. 如請求項1所述之自動模型重建方法，其中依據該些辨識機率值得到該些指數加權移動平均值之步驟包含：依據第i個時間點之該辨識機率值與第i-1個時間點之該指數加權移動平均值，計算出第i個時間點之該指數加權移動平均值。
  7. 一種元件辨識模型之自動模型重建系統，包括：一影像擷取單元，用以相繼地對複數個電路板之一第一位置擷取一第一元件影像；一元件辨識模型，耦接至該影像擷取單元，該元件辨識模型用以相繼地對該些第一元件影像識別元件類別，並輸出複數個辨識機率值；一模型監控單元，耦接至該元件辨識模型，該模型監控單元用以依據該些辨識機率值得到複數個指數加權移動平均值，並判斷該些指數加權移動平均值與一第一設定值及一第二設定值之關係；以及 一自動重建單元，耦接至該元件辨識模型及該模型監控單元，該自動重建單元用以收集該些指數加權移動平均值低於該第一設定值所對應的該些第一元件影像直到該些指數加權移動平均值之其中之一者低至該第二設定值，將所收集之該些第一元件影像作為複數個異常元件影像，並依據該些異常元件影像對該元件辨識模型進行模型重建。
  8. 如請求項7所述之自動模型重建系統，其中該些異常元件影像之一部份用以進行模型重建，該些異常元件影像之另一部份用以驗證模型重建後之該元件辨識模型是否完善。
  9. 如請求項7所述之自動模型重建系統，其中於該些電路板之其中之一的該第一位置之外擷取到一第二元件影像時，該第二元件影像所在之一第二位置被偵測，且於各該電路板之該第二位置擷取該第二元件影像，該自動重建單元更用以在該些第二元件影像累積至一預設數量時，依據該些第二元件影像對該元件辨識模型進行模型重建。
  10. 如請求項9所述之自動模型重建系統，更包括：一數據庫，耦接至該元件辨識模型，並用以儲存該第一位置、該第二位置、該些第一元件影像之元件類別與該些第二元件影像之元件類別。
  11. 如請求項7所述之自動模型重建系統，更包括：一復判單元，耦接至該元件辨識模型及該自動重建單元，並用以復判各該第一元件影像之元件類別是否識別錯誤，該自動重建單元收集識別錯 誤的該些第一元件影像，以供該自動重建單元對該元件辨識模型進行模型重建。
  12. 如請求項7所述之自動模型重建系統，更包括：一警示單元，耦接至該模型監控單元及該自動重建單元，並用以在模型監控單元判斷該些指數加權移動平均值降低至該第一設定值時，發出一警示訊號。
  13. 如請求項7所述之自動模型重建系統，其中該模型監控單元依據第i個時間點之該辨識機率值與第i-1個時間點之該指數加權移動平均值，計算出第i個時間點之該指數加權移動平均值。
TW110115099A 2021-04-27 2021-04-27 元件辨識模型之自動模型重建方法及系統 TWI785579B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110115099A TWI785579B (zh) 2021-04-27 2021-04-27 元件辨識模型之自動模型重建方法及系統
CN202210232151.4A CN115346164A (zh) 2021-04-27 2022-03-09 组件识别模型的自动模型重建方法及***
US17/694,333 US20220343113A1 (en) 2021-04-27 2022-03-14 Automatic model reconstruction method and automatic model reconstruction system for component recognition model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110115099A TWI785579B (zh) 2021-04-27 2021-04-27 元件辨識模型之自動模型重建方法及系統

Publications (2)

Publication Number Publication Date
TW202242717A TW202242717A (zh) 2022-11-01
TWI785579B true TWI785579B (zh) 2022-12-01

Family

ID=83694375

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115099A TWI785579B (zh) 2021-04-27 2021-04-27 元件辨識模型之自動模型重建方法及系統

Country Status (3)

Country Link
US (1) US20220343113A1 (zh)
CN (1) CN115346164A (zh)
TW (1) TWI785579B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091428B (zh) * 2022-12-29 2023-09-01 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418199B2 (en) * 2013-03-14 2016-08-16 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for extracting systematic defects
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
TW202006848A (zh) * 2018-07-17 2020-02-01 敖翔科技股份有限公司 半導體廠缺陷作業系統及裝置
US10810365B2 (en) * 2011-07-12 2020-10-20 Inkling Systems, Inc. Workflow system and method for creating, distributing and publishing content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061943A1 (ja) * 2009-11-20 2011-05-26 日本電気株式会社 画像修復システム、画像修復方法及び画像修復プログラム
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
FI20195670A1 (en) * 2019-08-12 2021-02-13 3R Cycle Oy Method and device for disassembly of electronics
JP7381942B2 (ja) * 2020-01-17 2023-11-16 富士通株式会社 制御方法、情報処理装置および制御プログラム
US11604940B2 (en) * 2020-12-15 2023-03-14 Caterpillar Inc. Systems and methods for part identification and assessment using multiple images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810365B2 (en) * 2011-07-12 2020-10-20 Inkling Systems, Inc. Workflow system and method for creating, distributing and publishing content
US9418199B2 (en) * 2013-03-14 2016-08-16 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for extracting systematic defects
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
TW202006848A (zh) * 2018-07-17 2020-02-01 敖翔科技股份有限公司 半導體廠缺陷作業系統及裝置

Also Published As

Publication number Publication date
TW202242717A (zh) 2022-11-01
US20220343113A1 (en) 2022-10-27
CN115346164A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN110709688B (zh) 用于预测在装配单元中的缺陷的方法
US8625906B2 (en) Image classification standard update method, program, and image classification device
CN110659660A (zh) 利用深度学习***的自动光学检测分类设备及其训练设备
CN109060817B (zh) 人工智能复检***及其方法
CN107895362B (zh) 一种微型接线端子质量检测的机器视觉方法
JP2000057349A (ja) 欠陥の分類方法およびその装置並びに教示用データ作成方法
CN114140385A (zh) 基于深度学习的印刷电路板缺陷检测方法及***
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及***
TWI785579B (zh) 元件辨識模型之自動模型重建方法及系統
CN115144399A (zh) 一种基于机器视觉的装配质量检测方法及装置
US20230325413A1 (en) Error Factor Estimation Device and Error Factor Estimation Method
CN117630003A (zh) 一种零件缺陷的检测方法和装置
JP6708695B2 (ja) 検査装置
CN115526842A (zh) 鼻咽喉镜监测方法、装置、***、计算机设备和存储介质
CN115861161A (zh) 机器学习***、学习数据收集方法以及存储介质
CN110087066B (zh) 一种应用于网上巡查的一键自动巡检方法
US20230077332A1 (en) Defect Inspection System and Defect Inspection Method
CN111612788B (zh) 一种缺陷识别方法、装置和电子设备
CN118115744B (zh) 一种基于图像识别的电能表外壳检测方法
US20220392187A1 (en) Image recognition system
CN116894965A (zh) 教师数据收集方法以及收集装置
CN117455841A (zh) 面板检测判断方法及***
CN114897820A (zh) 一种视觉检测方法、装置、终端和存储介质
TW202244848A (zh) 影像辨識模型系統及維護方法