TW202001764A - 人工檢測瑕疵圖案的效能評估方法與系統 - Google Patents

人工檢測瑕疵圖案的效能評估方法與系統 Download PDF

Info

Publication number
TW202001764A
TW202001764A TW107122606A TW107122606A TW202001764A TW 202001764 A TW202001764 A TW 202001764A TW 107122606 A TW107122606 A TW 107122606A TW 107122606 A TW107122606 A TW 107122606A TW 202001764 A TW202001764 A TW 202001764A
Authority
TW
Taiwan
Prior art keywords
image
test
test image
evaluation
defect
Prior art date
Application number
TW107122606A
Other languages
English (en)
Inventor
鄒嘉駿
亞魯木魯甘 安比卡帕
林建仲
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW107122606A priority Critical patent/TW202001764A/zh
Priority to CN201811359824.2A priority patent/CN110658197A/zh
Priority to US16/455,725 priority patent/US10878559B2/en
Publication of TW202001764A publication Critical patent/TW202001764A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本發明的實施例提供一種人工檢測瑕疵圖案的效能評估方法，其包括：致能評估程式；由經致能的所述評估程式自動匯入測試影像並將所述測試影像顯示於使用者介面；偵測受測者觀看所述測試影像後的使用者行為；根據所述使用者行為產生原始資料，其中所述原始資料反映所述受測者辨識所述測試影像是否具有瑕疵圖案及/或所述受測者所辨識的所述瑕疵圖案的類型；以及對所述原始資料執行量化操作以產生評估資料，其中所述評估資料反映對應於所述人工檢測瑕疵圖案的效能的評估結果。此外，本發明實施例也提供一種人工檢測瑕疵圖案的效能評估系統。

Description

人工檢測瑕疵圖案的效能評估方法與系統
本發明是有關於一種效能評估方法，且特別是有關於一種人工檢測瑕疵圖案的效能評估方法與系統。
在電子零組件出廠前，一般是由資深目檢人員對其進行人工檢測，以確認所生產的電子零組件是否存在瑕疵(defect)。隨著科技的進步，人工智慧逐漸被設計為具有自動化的瑕疵識別能力，以嘗試減少目檢人員的工作負擔與人力成本。然而，由於目前並沒有以量化方式評估目檢人員對於人工檢測瑕疵圖案的效能的技術方案，使得藉由人工智慧執行的瑕疵圖案的自動檢測效能也無法以量化方式與人工檢測瑕疵圖案的效能進行比較。
本發明提供一種人工檢測瑕疵圖案的效能評估方法與系統，可產生量化的評估資料，以反映對應於人工檢測瑕疵圖案的效能的評估結果。
本發明的實施例提供一種人工檢測瑕疵圖案的效能評估方法，其包括：致能評估程式；由經致能的所述評估程式自動匯入測試影像並將所述測試影像顯示於使用者介面；偵測受測者觀看所述測試影像後的使用者行為；根據所述使用者行為產生原始資料，其中所述原始資料反映所述受測者辨識所述測試影像是否具有瑕疵圖案及/或所述受測者所辨識的所述瑕疵圖案的類型；以及對所述原始資料執行量化操作以產生人工檢測效能的評估資料，其中所述評估資料反映對應於所述人工檢測瑕疵圖案的效能的評估結果。
本發明的實施例另提出一種人工檢測瑕疵圖案的效能評估系統，其包括顯示器、記憶體及處理器。所述處理器耦接至所述顯示器與所述記憶體。所述處理器致能評估程式。經致能的所述評估程式自動匯入測試影像至所述記憶體。所述顯示器將所述測試影像顯示於使用者介面。所述處理器偵測受測者觀看所述測試影像後的使用者行為。所述處理器根據所述使用者行為產生原始資料，其中所述原始資料反映所述受測者辨識所述測試影像是否具有所述瑕疵圖案及/或所述受測者所辨識的所述瑕疵圖案的一類型。所述處理器對所述原始資料執行量化操作以產生人工檢測效能的評估資料，其中所述評估資料反映所述人工檢測效能的評估結果。
基於上述，在致能評估程式後，此評估程式可自動匯入測試影像並將所述測試影像顯示於使用者介面。藉由偵測受測者觀看所述測試影像後的使用者行為，反映所述受測者辨識所述測試影像是否具有瑕疵圖案及/或所述受測者所辨識的所述瑕疵圖案的類型之原始資料可被產生。在對所述原始資料執行量化操作後，反映對應於所述人工檢測瑕疵圖案的效能的評估結果的評估資料可被產生。藉此，本發明可以量化方式評估目檢人員對於人工檢測瑕疵圖案的效能。此外，所產生的評估資料可進一步用於與量化後的瑕疵圖案的自動檢測效能進行比較與分析。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
根據本發明的一實施例，圖1是人工檢測瑕疵圖案之效能評估系統的示意圖。評估系統(亦稱為人工檢測瑕疵圖案的效能評估系統)10用以評估人工檢測瑕疵圖案的效能。所述瑕疵圖案是可反映半導體晶片、晶圓、面板、電路板(PCB、FPC、陶瓷電路板)等類似的待測物工件表面可能存在的瑕疵。例如，所述瑕疵可能是待測物表面的金屬變色、料件表面變色、黑線、積墨、漏底材、亮點、花斑、髒污、或刮傷。此外，所述人工檢測瑕疵圖案是指由目檢人員(以下稱受測者)對待測物影像中是否存在瑕疵圖案及/或瑕疵圖案的類型進行人工檢測。相對於人工檢測瑕疵圖案，自動檢測瑕疵圖案即是使用自動化的瑕疵檢測裝置檢測所述影像中的瑕疵圖案。評估系統10可實施於智慧型手機、平板電腦、桌上型電腦、筆記型電腦、工業電腦或伺服器設備等各式電子裝置，本發明不加以限制。
一般來說，在使用光學鏡頭拍攝待測物而獲得待測物之表面的影像後，影像中可能存在許多電子零組件的圖案。瑕疵的圖案(即瑕疵圖案)可能隱藏在這些電子零組件的圖案中。某些類型的瑕疵圖案可能對於人工檢測與自動檢測來說都很容易檢測，而某些類型的瑕疵圖案可能對於人工檢測與自動檢測來說都不容易檢測。因此，若僅僅是以某一自動化瑕疵檢測裝置自身的檢測準確度來評估此自動化瑕疵檢測裝置的瑕疵圖案自動檢測效能，可能會導致評估結果失真(因為某些類型的瑕疵圖案可能極為資深的目檢人員也無法辨認)。在一實施例中，若是將某一自動化瑕疵檢測裝置的自動檢測效能與人工檢測效能進行比對，可以得到較為符合實際狀況的效能評估結果。在本實施例中，評估系統10可產生反映人工檢測瑕疵圖案的效能的量化數據，以提供適當的比較基礎供自動化瑕疵檢測裝置對於瑕疵圖案的自動檢測效能進行比對與分析。
評估系統10包括顯示器101、記憶體102、處理器103、儲存電路104及輸入/輸出(Input/Output, IO)裝置105。處理器103耦接至顯示器101、記憶體102、儲存電路104及輸入/輸出裝置105。顯示器101可以是液晶顯示器(Liquid Crystal Display, LCD)、發光二極體顯示器(Light-Emitting Diode (LED) Display)、有機電激發光顯示器(Organic Light Emitting Display, OLED)、電泳動顯示器(Electro-Phoretic Display, EPD)或其他種類的顯示器。在一實施例中，顯示器101亦可以是以投影機等其他類型的影像播放裝置取代。
處理器103可以是中央處理單元(Central Processing Unit, CPU)、圖形處理器(graphics processing unit, GPU)、或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。處理器103可負責評估系統10的整體或部分運作。
記憶體102可以是隨機存取記憶體(RAM)等揮發性儲存媒體。儲存電路104可以是唯讀記憶體(ROM)、固態硬碟(SSD)或傳統硬碟(HDD)等非揮發性儲存媒體。輸入/輸出裝置105可包括喇叭等訊號輸出裝置、及/或滑鼠、鍵盤、觸控板、遙控器、麥克風、光學鏡頭、腦波偵測器等訊號輸入裝置。在一實施例中，輸入/輸出裝置105亦可包括觸控螢幕及/或網路介面卡等訊號輸入/輸出裝置。
儲存電路104中儲存有評估程式1041。評估程式1041用以評估人工檢測瑕疵圖案的效能。處理器103可致能評估程式1041。例如，處理器103可將評估程式1041載入至記憶體102並運行此評估程式1041。經致能的評估程式1041可自動從儲存電路104匯入一或多個測試影像並將所述測試影像顯示於一個使用者介面。此使用者介面可經由顯示器101顯示。
在一實施例中，儲存電路104儲存有測試影像集合1042。測試影像集合1042包括至少一無瑕影像與至少一瑕疵影像(統稱為候選測試影像)。瑕疵影像具有瑕疵圖案，而無瑕影像不具有瑕疵圖案。須注意的是，測試影像集合1042的數目可以是一或多個，且每一個測試影像集合1042可以包含多個候選測試影像。某一個候選測試影像可以是實際使用光學鏡頭拍攝某一待測物所獲得的真實影像，或者模擬使用光學鏡頭拍攝某一待測物所獲得的模擬影像。此外，某一個瑕疵影像中的瑕疵圖案可以是反映實際存在待測物表面的瑕疵，或者經由處理器103執行影像處理而隨機產生加入至此瑕疵影像中。
在致能評估程式1041後，處理器103可選擇儲存電路104中的某一個測試影像集合1042。處理器103可從所選定的測試影像集合1042的多個候選測試影像中隨機選擇至少一個候選測試影像(亦稱為第一候選測試影像)作為測試影像並將此測試影像顯示於所述使用者介面。
在一實施例中，在一個人工檢測程序中，所顯示的測試影像中瑕疵影像與無瑕影像的比例可介於30%至60%之間。以30%為例，假設整個人工檢測程序包含顯示10個測試影像，則這10個測試影像包含3個瑕疵影像與7個無瑕影像。處理器103可依照所採用的瑕疵影像與無瑕影像的比例來從測試影像集合1042中選擇候選測試影像。
在將測試影像顯示於使用者介面後，處理器103可經由輸入/輸出裝置105偵測受測者觀看此測試影像後的使用者行為。例如，處理器103可經由輸入/輸出裝置105偵測受測者的臉部(例如眼球位置)、肢體動作、語音訊號及/或腦電波等代表相應之使用者行為的訊號。
在一實施例中，處理器103可在所述使用者介面中顯示至少一可操作物件。例如，所述可操作物件包括至少一按鈕及/或至少一訊息輸入區域等等。處理器103可經由輸入/輸出裝置105偵測對應於所述可操作物件的使用者行為。換言之，受測者可經由改變臉部動作、肢體動作、語音或腦電波等方式操作所述使用者介面中的可操作物件。
在一實施例中，處理器103可提供時間資訊，以藉由此時間資訊告知受測者對應於測試影像的剩餘作答時間。例如，此時間資訊可以經由輸入/輸出裝置105以聲音形式輸出，或者顯示於所述使用者介面。
圖2是根據本發明的一實施例所繪示的使用者介面的示意圖。請參照圖1與圖2，使用者介面21包括影像顯示區域201、按鈕202及按鈕204。影像顯示區域201用於顯示測試影像210。在本實施例中，測試影像210為瑕疵影像，故測試影像210中具有瑕疵圖案220。然而，在另一實施例中，若測試影像為無瑕影像，則所顯示的測試影像將不具有瑕疵圖案。在一預設時間範圍(例如5秒)內，受測者可觀看影像顯示區域201中顯示的測試影像210，並經由人工辨識的方式辨認測試影像210中是否具有瑕疵圖案及/或瑕疵圖案的類型。
若受測者觀看測試影像210後辨識測試影像210中具有瑕疵圖案(例如瑕疵圖案220)，受測者可執行對應於按鈕202之觸發的使用者行為。以滑鼠作為輸入/輸出裝置105的一個範例，受測者可以操作滑鼠來點選按鈕202，以表示其辨識測試影像210中具有瑕疵圖案。或者，若受測者觀看測試影像210後並未辨認出測試影像210中的瑕疵圖案220，則受測者可執行對應於按鈕204之觸發的使用者行為。例如，受測者可以操作滑鼠來點選按鈕204，以表示其辨識測試影像中不具有瑕疵圖案。
在一實施例中，使用者介面21還包括瑕疵類型輸入區域203。瑕疵類型輸入區域203用以供受測者輸入測試影像中的瑕疵圖案類型。例如，若受測者辨識瑕疵圖案220為瑕疵類型A，則受測者可經由輸入/輸出裝置105將瑕疵類型A填入瑕疵類型輸入區域203。
在一實施例中，使用者介面21還包括時間提醒區域205。時間提醒區域205用以顯示時間資訊，以告知受測者對應於當前的測試影像210的剩餘作答時間(例如5秒)。在此剩餘作答時間內，受測者必須要完成對應於按鈕202或204的選擇。在一實施例中，若在此剩餘作答時間內未偵測到受測者對於對應於按鈕202或204的選擇，則按鈕202與204的其中之一可隨機觸發，以確保受測者在不確定答案的狀況下，每個答案都是公平偏誤。
在一實施例中，使用者介面21還包括輔助資訊顯示區域206。輔助資訊顯示區域206用以顯示輔助資訊。此輔助資訊可提供當前執行之人工檢測程序相關之資訊。例如，此輔助資訊可告知受測者影像顯示區域201已經顯示了一個新的測試影像210並可提醒受測者開始作答。
在一實施例中，使用者介面21還包括驗證資訊輸入區域207與按鈕208。驗證資訊輸入區域207用以供受測者輸入其驗證資訊，例如受測者的員工編號(例如號碼01)。在輸入驗證資訊後，受測者可經由輸入/輸出裝置105點選按鈕208以開始作答。例如，在按鈕208被觸發後，影像顯示區域201開始顯示測試影像210。
在一實施例中，在偵測到按鈕202與204的其中之一被觸發後，處理器103可判定受測者已完成對應於當前測試影像210的人工檢測程序並匯入下一個測試影像。所匯入的測試影像可接續顯示於影像顯示區域201。此外，若受測者完成所有的測試影像的人工檢測程序，則處理器103可關閉使用者介面21。
須注意的是，圖2所呈現的使用者介面21僅為範例且可以被調整。例如，在另一實施例中，更多或更少的可操作物件及/或訊息區域可以被設置於所述使用者介面，本發明不加以限制。此外，使用者介面上的每一個可操作物件與訊息區域也可以被定義為具有其他功能，本發明不加以限制。
在測得所述使用者行為後，處理器103可根據所偵測的使用者行為產生原始資料。此原始資料反映受測者辨識所述測試影像是否具有瑕疵圖案及/或受測者所辨識的瑕疵圖案的類型。以圖2為例，此原始資料可根據按鈕202與204是否被觸發及/或瑕疵類型輸入區域203所輸入的瑕疵類型而產生。接著，處理器103可對此原始資料執行量化操作以產生人工檢測效能的評估資料。例如，處理器103可對原始資料執行邏輯運算操作以產生量化的評估資料。此評估資料反映對應於人工檢測瑕疵圖案的效能的評估結果。
在一實施例中，量化的評估資料可包括一致性資訊、準確性資訊、漏檢率資訊及過檢率資訊的至少其中之一。一致性資訊反映在相同受測者對應於同一測試影像的瑕疵圖案的多次人工檢測程序中，受測者的對於瑕疵圖案之判斷的一致性。準確性資訊反映在完成整個人工檢測程序後，受測者對於瑕疵圖案之判斷的作答準確率。漏檢率資訊反映在完成整個人工檢測程序後，受測者對於瑕疵圖案的漏檢率。例如，漏檢率可反映未被受測者檢測出具有瑕疵圖案的瑕疵影像的總數占所有測試影像之總數的比例。過檢率資訊反映在完成整個人工檢測程序後，受測者對於瑕疵圖案的過檢率。例如，過檢率可反映被受測者辨識具有瑕疵圖案的無瑕影像的總數占所有測試影像之總數的比例。此外，更多類型的資訊也可以包含於所述評估資料中，以反映對應於人工檢測瑕疵圖案的效能的評估結果。
圖3是根據本發明的一實施例所繪示的評估資料的示意圖。請參照圖1與圖3，根據所測得的使用者行為，評估表格310可以被產生並且被儲存於儲存電路104。評估表格310可用於記載所述原始資訊及/或根據原始資料而產生的量化後的人工檢測效能的評估資料。
在本實施例中，評估表格310記載的原始資訊包括用於瑕疵圖案的人工檢測之效能評估的多個測試影像的影像序號、每一個測試影像的影像名稱、每一個測試影像是否具有瑕疵圖案的正確答案(即正解)、受測者針對每一個測試影像是否具有瑕疵圖案的回答、受測者針對每一個測試影像是否具有瑕疵圖案的回答的正確性(即結果)、受測者針對每一個測試影像是否發生作答逾時、以及多個測試影像的顯示順序(即答題順序)。此些原始資訊可以是直接記錄及/或是經過比對操作而獲得。例如，處理器103可將受測者輸入的資料與對應於測試影像的正確資料進行比對，以獲得受測者針對每一個測試影像是否具有瑕疵圖案及/或瑕疵圖案的類型之回答的正確性。根據此些原始資訊，量化後的人工檢測效能的評估資料可以被獲得。
具體而言，根據評估表格310中的原始資訊，受測者是依序針對影像序號為10、8、1、3、9、5、2、6、4及7的10個測試影像進行瑕疵圖案的人工檢測。其中，影像序號為1~5的測試影像為具有瑕疵圖案的瑕疵影像，而影像序號為6~10的測試影像為不具有瑕疵圖案的無瑕影像。根據所測得的使用者行為，受測者辨識影像序號為1、3及6~10的測試影像具有瑕疵圖案，而影像序號為2、4及5的測試影像不具有瑕疵圖案。受測者對於影像序號為1與3的測試影像的瑕疵圖案的人工檢測之檢測結果是正確的，而受測者對於影像序號為2及4~10的測試影像的瑕疵圖案的人工檢測之檢測結果是錯誤的。此外，受測者針對這10個測試影像的人工檢測皆未發生答題逾時。處理器103可根據原始資料獲得以上與所執行之人工檢測程序相關的資訊。處理器103可根據預設規則處理原始資料以獲得評估資料。例如，處理器103可將特定類型的原始資料代入特定公式或進行查表，以獲得相應的評估資料。
在本實施例中，評估表格310記載的評估資料包括測試影像總數(即影像總數，例如10)、瑕疵影像總數(即Defect總數，例如5)、無瑕影像總數(即Normal總數，例如5)、答題正確數量(即正確數量，例如2)、針對瑕疵影像的作答錯誤數(即Defect錯誤數，例如3)、針對無瑕影像的作答錯誤數(即Normal錯誤數，例如5)、整體錯誤率(例如80%)、漏檢率(即Skip Rate，例如60%)及過檢率(即Overkill Rate，例如100%)。這些評估資料可以量化方式反映對於人工檢測瑕疵圖案的效能的評估結果。
須注意的是，圖3的表格資訊310僅為範例且可以被調整。例如，在另一實施例中，其他類型的原始資訊及/或評估資料也可以被記錄及/或被計算，只要有助於以量化方式評估人工檢測瑕疵圖案的效能即可。
在一實施例中，在獲得所述反映人工檢測瑕疵圖案的效能的評估資料後，此評估資料可用於與瑕疵圖案的自動檢測效能進行量化差異分析。例如，瑕疵圖案的自動檢測(亦稱為機器檢測)可由自動化的瑕疵檢測裝置執行。例如，此瑕疵檢測裝置可具有經訓練的神經網路架構或其他人工智慧架構，以執行對於待測物之影像中瑕疵圖案的自動化檢測。
以圖3的實施例為例，若使用相同的10個測試影像來測試此瑕疵檢測裝置對於瑕疵圖案的自動檢測效能，則根據此瑕疵檢測裝置輸出的檢測結果可以獲得相應的量化後的自動檢測效能的評估資料。例如，處理器103可根據瑕疵檢測裝置輸出的檢測結果獲得相應的原始資料並根據此原始資料產生自動檢測效能的評估資料。例如，自動檢測效能的評估資料可同樣包含一致性資訊、準確性資訊、漏檢率資訊及過檢率資訊的至少其中之一，其相同或相似於表格資訊310所記載之資訊。
在人工檢測效能與自動檢測效能的量化差異分析中，處理器103可比對人工檢測效能的評估資料與自動檢測效能的評估資料。例如，處理器103可比對人工檢測效能與自動檢測效能的一致性、準確性、漏檢率及過檢率的至少其中之一，以獲得量化差異資訊。所述量化差異資訊可用於評估一或多個自動化的瑕疵檢測裝置的瑕疵檢測能力。例如，所述量化差異資訊可反映瑕疵圖案的自動檢測效能與人工檢測效能之間的漏檢率或其他量化資訊的差異。例如，假設自動檢測效能的漏檢率為20%，而人工檢測效能的漏檢率為22%，則量化差異資訊可指示自動檢測效能與人工檢測效能之間的漏檢率差異為2%，且自動檢測效能優於人工檢測效能。
在一實施例中，相較於僅以某一自動化瑕疵檢測裝置自身的檢測準確度來評估此自動化瑕疵檢測裝置的瑕疵圖案自動檢測效能，將自動化瑕疵檢測裝置的瑕疵圖案自動檢測效能與人工檢測效能進行比對，可以得到較為符合實際狀況的效能評估結果。須注意的是，前述人工檢測效能與自動檢測效能的量化差異分析可由處理器103執行或由其他的電腦裝置執行，本發明不加以限制。
圖4是根據本發明的一實施例所繪示的人工檢測瑕疵圖案的效能評估方法的流程圖。請參照圖4，在步驟S401中，致能評估程式(例如圖1的評估程式1041)。在步驟S402中，由經致能的評估程式自動匯入測試影像(例如圖2的測試影像210)並將所述測試影像顯示於使用者介面(例如圖2的使用者介面21)。在步驟S403中，偵測受測者觀看所述測試影像後的使用者行為。在步驟S404中，根據所述使用者行為產生原始資料。所述原始資料反映受測者辨識所述測試影像是否具有瑕疵圖案及/或受測者所辨識的瑕疵圖案的類型。在步驟S405中，對所述原始資料執行量化操作以產生人工檢測效能的評估資料。所述評估資料反映對應於人工檢測瑕疵圖案的效能的評估結果。
須注意的是，圖4中各步驟已詳細說明如上，在此便不再贅述。此外，圖4中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。進一步，圖4中的方法可以搭配以上範例實施例使用，也可以單獨使用，本發明不加以限制。在圖1的一實施例中，處理器103與儲存電路104之組合亦可以實作為至少一個功能模組(亦稱為效能評估模組)。所述效能評估模組可包括軟體模組、韌體模組及/或硬體模組並可執行圖4中的各步驟。相關操作細節皆已詳述於上，在此便不贅述。
綜上所述，本發明實施例提出以量化方式評估目檢人員對於人工檢測瑕疵圖案的效能。此外，所產生的評估資料可進一步用於與量化後的瑕疵圖案的自動檢測效能進行比較與分析。從另一角度來看，本發明實施例所提供的人工檢測瑕疵圖案的效能評估資料可作為評估自動檢測瑕疵圖案效能之依據。相對於僅根據標準答案評估瑕疵圖案的自動檢測效能據，將瑕疵圖案的自動檢測效能與人工檢測效能進行比較而獲得的比較結果，在自動化的瑕疵檢測裝置的選用、設計及/或改良上可具有更高的參考價值。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧電子裝置101‧‧‧顯示器102‧‧‧記憶體103‧‧‧處理器104‧‧‧儲存電路1041‧‧‧評估程式1042‧‧‧測試影像集合105‧‧‧輸入/輸出裝置21‧‧‧使用者介面201‧‧‧影像顯示區域202、204、208‧‧‧按鈕203‧‧‧瑕疵類型輸入區域205‧‧‧時間提醒區域206‧‧‧輔助資訊顯示區域207‧‧‧驗證資訊輸入區域210‧‧‧測試影像220‧‧‧瑕疵圖案310‧‧‧評估表格S401~S405‧‧‧步驟
圖1是根據本發明的一實施例所繪示的電子裝置的示意圖。 圖2是根據本發明的一實施例所繪示的使用者介面的示意圖。 圖3是根據本發明的一實施例所繪示的評估資料的示意圖。 圖4是根據本發明的一實施例所繪示的人工檢測瑕疵圖案的效能評估方法的流程圖。
S401~S405‧‧‧步驟

Claims (18)

  1. 一種人工檢測瑕疵圖案的效能評估方法，包括： 致能一評估程式； 由經致能的該評估程式自動匯入一測試影像並將該測試影像顯示於一使用者介面； 偵測一受測者觀看該測試影像後的一使用者行為； 根據該使用者行為產生一原始資料，其中該原始資料反映該受測者辨識該測試影像是否具有一瑕疵圖案及/或該受測者所辨識的該瑕疵圖案的一類型；以及 對該原始資料執行一量化操作以產生一人工檢測效能的評估資料，其中該評估資料反映對應於該人工檢測效能的一評估結果。
  2. 如申請專利範圍第1項所述的方法，其中該測試影像包括一無瑕影像與一瑕疵影像，該瑕疵影像具有該瑕疵圖案，且該無瑕影像不具有該瑕疵圖案。
  3. 如申請專利範圍第2項所述的方法，其中該測試影像中該瑕疵影像與該無瑕影像的比例介於30%至60%之間。
  4. 如申請專利範圍第1項所述的方法，其中由經致能的該評估程式自動匯入該測試影像的步驟包括： 選擇一測試影像集合，其中該測試影像集合包括多個候選測試影像；以及 從該多個候選測試影像中隨機選擇一第一候選測試影像作為所匯入的該測試影像。
  5. 如申請專利範圍第1項所述的方法，其中偵測該受測者觀看該測試影像後的該使用者行為的步驟包括： 在該使用者介面中顯示至少一可操作物件；以及 經由一輸入/輸出裝置偵測對應於該至少一可操作物件的該使用者行為。
  6. 如申請專利範圍第1項所述的方法，更包括： 提供一時間資訊，以告知該受測者對應於該測試影像的一剩餘作答時間。
  7. 如申請專利範圍第1項所述的方法，其中該評估資料包括一一致性資訊、一準確性資訊、一漏檢率資訊及一過檢率資訊的至少其中之一。
  8. 如申請專利範圍第1項所述的方法，其中該評估資料是用以與該瑕疵圖案的一自動檢測效能進行一量化差異分析。
  9. 如申請專利範圍第1項所述的方法，其中該瑕疵圖案反映一待測物工件之表面的瑕疵，且該待測物工件包括一半導體晶片、一晶圓、一面板及一電路板的至少其中之一。
  10. 一種人工檢測瑕疵圖案的效能評估系統，包括： 一顯示器； 一記憶體；以及 一處理器，耦接至該顯示器與該記憶體， 其中該處理器致能一評估程式， 經致能的該評估程式自動匯入一測試影像至該記憶體， 該顯示器將該測試影像顯示於一使用者介面， 該處理器偵測一受測者觀看該測試影像後的一使用者行為， 該處理器根據該使用者行為產生一原始資料，其中該原始資料反映該受測者辨識該測試影像是否具有該瑕疵圖案及/或該受測者所辨識的該瑕疵圖案的一類型，並且 該處理器對該原始資料執行一量化操作以產生一人工檢測效能的評估資料，其中該評估資料反映該人工檢測效能的一評估結果。
  11. 如申請專利範圍第10項所述的系統，其中該測試影像包括一無瑕影像與一瑕疵影像，該瑕疵影像具有該瑕疵圖案，且該無瑕影像不具有該瑕疵圖案。
  12. 如申請專利範圍第11項所述的系統，其中該測試影像中該瑕疵影像與該無瑕影像的比例介於30%至60%之間。
  13. 如申請專利範圍第10項所述的系統，其中經致能的該評估程式自動匯入該測試影像至該記憶體的操作包括： 選擇一測試影像集合，其中該測試影像集合包括多個候選測試影像；以及 從該多個候選測試影像中隨機選擇一第一候選測試影像作為所匯入的該測試影像。
  14. 如申請專利範圍第10項所述的系統，其中該處理器偵測該受測者觀看該測試影像後的該使用者行為的操作包括： 在該使用者介面中顯示至少一可操作物件；以及 經由一輸入/輸出裝置偵測對應於該至少一可操作物件的該使用者行為。
  15. 如申請專利範圍第10項所述的系統，其中該處理器更提供一時間資訊，以告知該受測者對應於該測試影像的一剩餘作答時間。
  16. 如申請專利範圍第10項所述的系統，其中該評估資料包括一一致性資訊、一準確性資訊、一漏檢率資訊及一過檢率資訊的至少其中之一。
  17. 如申請專利範圍第10項所述的系統，其中該評估資料是用以與該瑕疵圖案的一自動檢測效能進行一量化差異分析。
  18. 如申請專利範圍第10項所述的系統，其中該瑕疵圖案反映一待測物工件之表面的瑕疵，且該待測物工件包括一半導體晶片、一晶圓、一面板及一電路板的至少其中之一。
TW107122606A 2018-06-29 2018-06-29 人工檢測瑕疵圖案的效能評估方法與系統 TW202001764A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107122606A TW202001764A (zh) 2018-06-29 2018-06-29 人工檢測瑕疵圖案的效能評估方法與系統
CN201811359824.2A CN110658197A (zh) 2018-06-29 2018-11-15 人工检测瑕疵图案的效能评估方法与***
US16/455,725 US10878559B2 (en) 2018-06-29 2019-06-27 Method and system for evaluating efficiency of manual inspection for defect pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107122606A TW202001764A (zh) 2018-06-29 2018-06-29 人工檢測瑕疵圖案的效能評估方法與系統

Publications (1)

Publication Number Publication Date
TW202001764A true TW202001764A (zh) 2020-01-01

Family

ID=69008260

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122606A TW202001764A (zh) 2018-06-29 2018-06-29 人工檢測瑕疵圖案的效能評估方法與系統

Country Status (3)

Country Link
US (1) US10878559B2 (zh)
CN (1) CN110658197A (zh)
TW (1) TW202001764A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11789079B2 (en) * 2021-03-24 2023-10-17 Rohde & Schwarz Gmbh & Co. Kg Measurement system and measurement method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000024850A (ja) * 1998-07-14 2000-01-25 Hitachi Ltd 人手組み立てラインの効率評価装置
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
CN1424665A (zh) * 2003-01-08 2003-06-18 无敌科技(西安)有限公司 具有听写测验及自动评分功能的装置及其操作方法
KR100569009B1 (ko) * 2003-12-30 2006-04-07 현대자동차주식회사 차량용 정보 시스템의 사용성 평가 시스템
JP5707291B2 (ja) * 2011-09-29 2015-04-30 株式会社日立ハイテクノロジーズ 画像分類支援を行う荷電粒子線装置
TWM490658U (en) * 2014-06-06 2014-11-21 Yealy Optic Electronic Co Ltd Inspection system for aiding manual selection of LED dies

Also Published As

Publication number Publication date
US10878559B2 (en) 2020-12-29
CN110658197A (zh) 2020-01-07
US20200005446A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN110658198B (zh) 光学检测方法、光学检测装置及光学检测***
KR101687163B1 (ko) 터치 패널 검사 장치 및 방법
US20240144468A1 (en) Defect detection of a component in an assembly
JP6265254B1 (ja) 検査装置および検査方法
CN117076283B (zh) 一种触摸屏性能质量检测分析方法
US20210216062A1 (en) System and Method for Intelligently Monitoring the Production Line
CN111428374A (zh) 零件缺陷检测方法、装置、设备及存储介质
US10488981B2 (en) System and method of measuring continuous touch controller latency
TW202001764A (zh) 人工檢測瑕疵圖案的效能評估方法與系統
TWI221540B (en) Method of testing liquid crystal display cells and apparatus for the same
JP6027717B2 (ja) 視線位置特定手段を備えた目視検査装置
TW201816557A (zh) 可施行光學移動品質判斷方法的電腦可讀取記錄媒體以及使用此光學移動品質判斷方法的光學移動偵測裝置
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
Zafar et al. Visual methods for determining ambient illumination conditions when viewing medical images in mobile display devices
JP2020101880A (ja) 検査管理システム
TW201018886A (en) Automatic test system and method thereof
US8862945B2 (en) System and method for measuring the effect of interruptions on software application usability
CN112397002B (zh) 显示面板的检测方法、电子设备的检测装置及存储介质
CN112882600B (zh) 一种多点触控屏检测***及其检测方法
TW201944285A (zh) 指紋辨識模組之檢測系統
WO2024095721A1 (ja) 画像処理装置および画像処理方法
CN115153416B (zh) 一种基于虚拟现实场景的人眼对比敏感度检查***
TWI781623B (zh) 物件量測方法與物件量測系統
TWI770561B (zh) 產品瑕疵檢測方法、電腦裝置及儲存介質
Wang et al. P‐26: A Mura Metric Based on Human Vision Models