TWI712991B

TWI712991B - 兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置

Info

Publication number: TWI712991B
Application number: TW108136333A
Authority: TW
Inventors: 魏源鍾; 許智欽; 廖昭昌; 郭威漢
Original assignee: 智泰科技股份有限公司
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2020-12-11
Also published as: TW202115676A

Abstract

一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，其主要係先對待測物加以取像後，再藉由自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者個別的優勢與弱點，透過其前後程序組合建立方法，來完成互補其缺點，使漏檢率仍然可以維持最低的前提下，同時具有誤檢率也維持最低之優勢。

Description

兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置

本發明係關於一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置；運用於光學檢測，尤指一種透過自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者其前後程序可複數可重複組合建立方法進行檢測之方法及其裝置。

按；目前一般瑕疵檢測方法有兩類，一類是自動化光學檢測(Automated Optical Inspection，簡稱AOI)，即高速高精度光學影像檢測系統，運用機器視覺配合工程師設定的幾何/灰階值條件做為檢測標準技術，作為改良以人力使用光學儀器進行檢測的缺點；另一類是運用人工智慧(Artificial Intelligence，縮寫為AI)的檢測，指由機器透過深度學習，來呈現近似人類智慧的影像判讀，以達到檢測的目的。

前者自動化光學檢測(Automated Optical Inspection，簡稱AOI)的演算方式是採用以下幾種：一、二值化(Binarization)是圖像分割的一種最簡單的方法，二值化可以把灰度圖像轉換成二值圖像，把大於某個臨界灰度值的像素灰度設為灰度極大值，把小於這個值的像素灰度設為灰度極小值；二、直方圖(Histogram)統計，是一種對數據分布情況的圖形表示，是一種二維統計圖表，它的兩個坐標分別是統計樣本和該樣本對應的某個屬性的度量；三、邊緣偵測(Edge detection)，是運用圖像處理和電腦視覺能力，目的是標識數位影像中亮度變化明顯的點，圖像屬性中的顯著變化通常反映了屬性的特徵，這些檢測特徵包括(i)深度上的不連續、(ii)表面方向不連續、(iii)物質屬性變化和(iv)場景照明變化；四、物件分割，透過視訊內容物的自動分析，將物件分割。分析方法很多，比如可以用去掉均值的影像可保留畫面紋理資訊及降低光源變化與陰影對背景影響的特性、或是使用設定灰階度閾值或灰階度的微分值閾值來分割物件，可達到快速有效分割物件的目的。

自動化光學檢測(Automated Optical Inspection，簡稱AOI)因為可自行設定所要求的嚴緊度，使這種方法具有漏檢率低的優勢，但同時，也會造成過殺率(over kill)或稱為錯檢率過高的缺失，因此目前一般習知技術中，想要單純在自動化光學檢測(Automated Optical Inspection，簡稱AOI)方式檢測上是無法具有兩者兼顧的基本缺憾存在。

另，有關人工智慧(Artificial Intelligence，縮寫為AI)的檢測方法，主要係運用深度學習(deep learning)，其演算方式採用：一、物件偵測(Object Detection)，運用卷積神經網路(Convolutional Neural Network簡稱CNN)，將圖片分類(Image classification)，且利用類神經網路(Neural Network簡稱NN)解決另外一個問題，分類且定位(Classification with localization)，就是將標的物，放入邊界框(bounding box)，把多個物件全部偵測(Detection)出來並且定位(localization)出它們；二、分類器(classifier)，透過特徵的線性組合來將具有相似特徵的對象聚集，做出分類決定。對象的特徵通常被描述為特徵值，而在向量中則描述為特徵向量。有生成模型與判別模型，前者運用模型化條件機率原理，後者判別模型(discriminative models)，這種方法是試圖去最大化一個訓練集(training set)的輸出值。

人工智慧(Artificial Intelligence，縮寫為AI)因為有深度學習，仿人類智能，利用上述方法，其優點是對環境的適應較佳，綜合整體得到正確率較高，缺點在於，若單純使用深度學習中的物件偵測方法，漏檢率無法像AOI一樣低，會導致瑕疵品流入市面的風險，而單純使用深度學習中的分類器，又無法定位瑕疵的位置，而且常因瑕疵部分佔整體圖像面積的比例過小而導致正確率不佳的情形，而因此有其必須克服的困難問題重重。

是以，本案發明人有鑒於習之技術之不足者，歷經多年嘔心瀝血研發而提出本案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置如下文所述。

鑒於上述習知技術所造成之缺憾，本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置之主要目的在於，應用傳統自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者個別的優勢與弱點，透過兩者組合的程序，來完成互補其缺點，使漏檢率仍然可以維持最低，同時具有誤檢率也是最低之完整效果需求。

本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置之另一目的在於，透過自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者搭配前後程序可複數可重複組合所建立的各種檢測方法，擁有更廣泛的應用性。

為達到上述及其他目的，本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，適用於光學檢測，尤指一種透過自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者其前後程序可複數可重複組合建立方法進行檢測之方法及其裝置。

本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，實施方法包含有，主要係先應用相機治具與可動式機構結合光源裝置施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能加以取像後，再藉由自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者個別的優勢與弱點，透過其前後程序可複數可重複組合建立方法進行檢測。

而當該檢測對象主要用於圖像背景相對單純例如智慧型手機邊框瑕疵之檢測時，則先對待測物進行取像，再以自動化光學檢測AOI模組針對物件取像後之資訊偵測並進行自動化光學檢測AOI演算法，以設定找出圈選之偵測範圍(Region of Interest，ROI)並加以輸出存入資料庫中，再從資料庫中讀取圈選之偵測範圍輸入人工智慧檢測AI分類器加以檢測，而該人工智慧AI檢測器則可將各種不應被歸類於瑕疵的類型如灰塵等加以篩選而出分類結果，並再將該分類結果輸出存入資料庫中。

而當該檢測對象主要用在圖像背景相對複雜，但是對於瑕疵面積需要精準定義例如木紋表面的檢測時，則先對待測物進行取像，再使用人工智慧AI檢測器對物件取像後施以物件偵測(object detection)演算法，找出瑕疵的邊界框(bounding box)，在瑕疵分類後加以輸出存入資料庫中，再從資料庫中讀取邊界框中的圖像以自動化光學檢測AOI模組進行物件分割，並再將該分割出之結果輸出存入資料庫中。

本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，該裝置主要係包括有裝載收集平台，以供待測物放置；光源裝置，該光源裝置係設於該裝載收集平台上方周緣，備具有同軸光源、線光源、背光源、環形光源、球形光源等各組燈源治具，並結合有可動式機構如機械手臂與光源攝影控制模組施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；相機單元，該相機單元係與該光源裝置交錯設於該裝載收集平台上方周緣，包含有面相機治具、線相機治具等應用相機治具並結合攝影機重複拍攝功能；可動式機構，該可動式機構可為升降式機構輸送機構或機械手臂等；自動化光學檢測AOI模組，係聯訊於該相機單元與資料庫以接收待測物進行取像後或再接續之資訊並加以進行自動化光學檢測AOI演算法等；人工智慧AI檢測器，係聯訊於該相機單元與資料庫以接收待測物進行取像後或再接續之資訊並施以物件偵測(object detection)演算法等；資料庫，係分別聯訊於該自動化光學檢測AOI模組與人工智慧AI檢測器，以將待測物進行取像檢測後的結果儲存入該資料庫，並提供資訊予接續檢測或其他應用端使用。

因此，本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，其主要係先藉由相機治具與可動式機構結合光源裝置施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能以達到快速收集資料功能後，再藉由自動化光學檢測(Automated Optical Inspection，簡稱AOI)與人工智慧(Artificial Intelligence，縮寫為AI)檢測器兩者個別的優勢與弱點，透過其前後程序組合建立方法進行檢測，來完成互補其缺點，使漏檢率仍然可以維持最低的前提下，同時具有誤檢率也維持最低之優勢，俾於該檢測對象主要用於圖像背景相對單純例如智慧型手機邊框瑕疵之檢測時，自動化光學檢測AOI模組所先進行的自動化光學檢測AOI演算法，可以確保擁有足夠低的漏檢率，避免瑕疵品流入市面，而檢測流程下一步驟的人工智慧檢測器AI則可以有效大幅降低誤檢率，避免不必要的損失，為一種兼顧兩者優點的檢測流程，可使整個產品的檢測流程同時兼具低漏檢率、以及低誤檢率的功能，而當該檢測對象主要用在圖像背景相對複雜但是對於瑕疵面積需要精準定義例如木紋表面的檢測時，則藉以透過該人工智慧AI檢測器檢測流程具較高背景適應性，將瑕疵的邊界框(bounding box)以及瑕疵分類輸出，這是自動化光學檢測AOI模組直接使用自動化光學檢測AOI模組演算法做不到的，讓該人工智慧AI檢測器找出瑕疵的邊界框(bounding box)後再輸出資料庫再由該自動化光學檢測AOI模組讀取資料後進行物件分割，因為自動化光學檢測AOI模組使用AOI演算法可以精準分割出瑕疵的範圍，並且計算瑕疵面積，也就補足了人工智慧AI檢測器所使用之AI演算法無法精準計算面積的缺失之優勢，因而成為本發明案之有效創意者。

1:裝載收集平台

2:光源裝置

20:同軸光源

21:線光源

3:相機單元

4:自動化光學檢測AOI模組

5:可動式機構

6:人工智慧AI檢測器

7:資料庫

第一圖係本發明實施方法之流程圖。

第二圖係本發明檢測對象主要用於圖像背景相對單純檢測時之流程圖。

第三圖係本發明檢測對象主要用於圖像背景相對複雜檢測時之流程圖。

第四圖係本發明裝置之側視結構圖。

第五圖係本發明之方塊圖。

以下係藉由特定的具體實例說明搭配本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明案之精神下進行各種修飾與變更。

首先請貴審查委員參閱如第一、第二，與第三圖，搭配餘圖所示者，本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，其實施方法主要係包含有：先取像，係指以相機單元3對待測物物進行取像，應用相機單元3或可動式機構5如機械手臂結合光源裝置2與光源攝影控制模組4，施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能以達到快速取像資料功能；調整檢測順序，根據需要檢測的對象，以及自動化光學檢測AOI模組4與人工智慧AI檢測器6兩者個別的優勢與弱點，選擇該自動化光學檢測AOI 模組4與人工智慧AI檢測器6檢測前後程序可複數可重複組合建立方法進行檢測；進行第一次檢測，根據調整檢測順序的排序進行第一次檢測。

第一次檢測資料輸入資料庫7，係指該自動化光學檢測AOI模組4或人工智慧AI檢測器6所做第一次檢測出之資料輸出並存入資料庫7，作為後續檢測使用或加以儲存；自資料庫7提存資料進行接續檢測，係指該自動化光學檢測AOI模組4或人工智慧AI檢測器6自資料庫7提取需要再加以檢測之資料以進行接續之資料檢測使用。

接續檢測後之資料再輸入資料庫7，係指該自動化光學檢測AOI模組4或人工智慧AI檢測器6所接續檢測出之資料輸出並存入資料庫7，作為後續檢測使用或加以儲存。

而其中(如第二圖所示)，當該檢測對象主要用於圖像背景相對單純例如智慧型手機邊框瑕疵之檢測時，則先對待測物進行取像；再以自動化光學檢測AOI模組4針對物件取像後之資訊偵測並進行自動化光學檢測AOI演算法，以設定找出圈選之偵測範圍(Region of Interest，ROI)並加以輸出存入資料庫7中；再從資料庫7中讀取圈選之偵測範圍輸入人工智慧AI檢測器6加以檢測，而該人工智慧AI檢測器6則可將各種不應被歸類於瑕疵的類型如灰塵等加以篩選而出分類結果，並再將該分類結果輸出存入資料庫7中。

而其中(如第三圖所示)，當該檢測對象主要用在圖像背景相對複雜，但是對於瑕疵面積需要精準定義例如木紋表面的檢測時，則先對待測物進行取像；再使用人工智慧AI檢測器6對物件取像後施以物件偵測(object detection)演算法，找出瑕疵的邊界框(bounding box)，在瑕疵分類後加以輸出存入資料庫7中；再從資料庫7中讀取邊界框中的圖像以自動化光學檢測AOI模組4進行物件分割，並再將該分割出之結果輸出存入資料庫7中。

再請貴審查委員參閱如第四、第五圖搭配餘圖；本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，係經此方法之構思以提供：裝載收集平台1，以供待測物放置；光源裝置2，該光源裝置2係設於該裝載收集平台1上方周緣，備具有同軸光源20、線光源21、背光源、環形光源、球形光源等各組燈源治具，並結合有可動式機構5如機械手臂與光源攝影控制模組4施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；相機單元3，該相機單元3係與該光源裝置2交錯設於該裝載收集平台1上方周緣，包含有相機治具、線相機治具等應用相機治具並結合攝影機重複拍攝功能與以達到快速收集資料之功能；可動式機構5，該可動式機構5可為升降式機構輸送機構或機械手臂等；自動化光學檢測AOI模組4，係聯訊於該相機單元3與資料庫7以接收待測物進行取像後或再接續之資訊並加以進行自動化光學檢測AOI演算法等；入工智慧AI檢測器6，係聯訊於該相機單元3與資料庫7以接收待測物進行取像後或再接續之資訊並施以偵測(object detection)演算法等；資料庫7，係分別聯訊於該自動化光學檢測AOI模組4與人工智慧AI檢測器6，以將待測物進行取像檢測後的結果儲存入該資料庫7，並提供資訊予接續檢測或其他應用端使用。

因此，本發明案一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置，主要係先藉由相機治具3與可動式機構5結合光源裝置2施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能以達到快速收集資料功能後，再經由自動化光學檢測AOI模組4與人工智慧AI檢測器6兩者個別的優勢與弱點，透過其前後程序組合建立方法進行檢測，來完成互補其缺點，使漏檢率仍然可以維持最低的前提下，同時具有誤檢率也維持最低之優勢，俾於該檢測對象主要用於圖像背景相對單純例如智慧型手機邊框瑕疵之檢測時，自動化光學檢測AOI模組4所先進行的自動化光學檢測AOI演算法，可以確保擁有足夠低的漏檢率，避免瑕疵品流入市面，而檢測流程下一步驟的人工智慧AI檢測器6則可以有效大幅降低誤檢率，避免不必要的損失，為一種兼顧兩者優點的檢測流程，可使整個產品的檢測流程同時兼具低漏檢率、以及低誤檢率的功能；而當該檢測對象主要用在圖像背景相對複雜但是對於瑕疵面積需要精準定義例如木紋表面的檢測時，則藉以透過該人工智慧AI檢測器6檢測流程具較高背景適應性，將瑕疵的邊界框(bounding box)以及瑕疵分類輸出，這是自動化光學檢測AOI模組4直接使用自動化光學檢測AOI模組演算法做不到的，讓該人工智慧AI檢測器6找出瑕疵的邊界框(bounding box)後再輸出資料庫7再由該自動化光學檢測AOI模組4讀取資料後進行物件分割，因為自動化光學檢測AOI模組4使用AOI演算法可以精準分割出瑕疵的範圍，並且計算瑕疵面積，也就補足了人工智慧AI檢測器6所使用之AI演算法無法精準計算面積的缺失之優勢，因而成為本發明案之有效創意者。

Claims

一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法，主要係：先取像，係指以相機單元對待測物進行取像，應用相機單元或可動式機構結合光源裝置與光源攝影控制模組，施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能；調整檢測順序，可根據需要選擇該自動化光學檢測AOI模組與人工智慧AI檢測器檢測之前後程序；進行第一次檢測，根據調整檢測順序的排序進行第一次檢測；第一次檢測資料輸入資料庫，係指該自動化光學檢測AOI模組或人工智慧AI檢測器所做第一次檢測出之資料輸出並存入資料庫，作為後續檢測使用或加以儲存；自資料庫提存資料進行接續檢測，係指該自動化光學檢測AOI模組或人工智慧AI檢測器自資料庫提取需要再加以檢測之資料以進行接續之資料檢測使用；接續檢測後之資料再輸入資料庫，係指該自動化光學檢測AOI模組或人工智慧AI檢測器所接續檢測出之資料輸出並存入資料庫，作為後續檢測使用或加以儲存。
如申請專利範圍1所述之兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法，其中，該檢測可包含有：先對待測物進行取像；再以自動化光學檢測AOI模組針對物件取像後之資訊偵測並進行自動化光學檢測AOI演算法，以設定找出圈選之偵測範圍(Region of Interest，ROI)並加以輸出存入資料庫中；再從資料庫中讀取圈選之偵測範圍輸入人工智慧AI檢測器加以檢測，而該人工智慧AI檢測器則可將各種不應被歸類於瑕疵的類型加以篩選而出分類結果，並再將該分類結果輸出存入資料庫中。
如申請專利範圍1所述之兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法，其中，該檢測可包含有：先對待測物進行取像；再使用人工智慧AI檢測器對物件取像後施以物件偵測(object detection)演算法，找出瑕疵的邊界框(bounding box)，在瑕疵分類後加以輸出存入資料庫中；再從資料庫中讀取邊界框中的圖像以自動化光學檢測AOI模組進行物件分割，並再將該分割出之結果輸出存入資料庫中。
一種兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測裝置，係包含有：裝載收集平台，以供待測物放置；光源裝置，該光源裝置係設於該裝載收集平台上方周緣，具備有同軸光源、線光源、背光源、環形光源、球形光源等五種各組燈源治具，並結合有可動式機構與光源攝影控制模組施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；相機單元，該相機單元係與該光源裝置交錯設於該裝載收集平台上方周緣，包含有相機治具、線相機治具等二種應用相機治具並結合攝影機重複拍攝功能；可動式機構，該可動式機構可為升降式輸送機構或機械手臂等二種可動式機構；自動化光學檢測AOI模組，係聯訊於該相機單元與資料庫以接收待測物進行取像後或再接續之資訊並加以進行自動化光學檢測AOI演算法；人工智慧AI檢測器，係聯訊於該相機單元與資料庫以接收待測物進行取像後或再接續之資訊並施以物件偵測(object detection)演算法；資料庫，係分別聯訊於該自動化光學檢測AOI模組與人工智慧AI檢測器，以將待測物進行取像檢測後的結果儲存入該資料庫單元，並提供資訊予接續檢測或其他應用端使用。