TWM596871U - 智慧型光學檢測ai資料蒐集系統 - Google Patents

Abstract

一種智慧型光學檢測AI資料蒐集系統，其包含一裝載收集平台、一光源裝置並結合有可動式機構與一光源攝影控制模組可施以多種數次打光方式以提供不同光源控制方法開關各組燈源及光源強度及角度。一相機單元可拍攝並收集資料。一智慧分類器可將初步取像結果通過深度學習、影像處理、邏輯運算等方式進行智慧分類。一智慧分類訓練更新與特徵瑕疵自動標記模組可對樣品中所欲標記的特徵或是瑕疵進行自動標記，並將結果儲存入該資料庫單元。並於後續深度學習訓練或是其他應用端使用時將儲存於該資料庫單元之資料輸出至智慧分類訓練更新與特徵瑕疵自動標記模組與該光源攝影控制模組以進行深度學習訓練或如生產等其他應用端使用。

Description

智慧型光學檢測AI資料蒐集系統

本創作係關於一種智慧型光學檢測AI資料蒐集系統；運用於光學檢測，可自動區分出影像上無瑕疵樣本以及含瑕疵樣本，之後針對取像與自動標記的結果進行人工調整篩選，將確定為瑕疵影像區塊存下留給後續AI瑕疵模型訓練器使用，最後將調整後的圖像與自動標記的結果儲存入資料庫單元，以便後續深度學習訓練或是其他應用端使用之效果需求，使本創作同時兼具自動化、智慧化以及數據化之優勢。

按；在自動化光學檢測結合深度學習的應用範疇中，資料的蒐集 是非常重要的環節，不論是光源與打光參數的選擇、瑕疵與特徵的標記都是必要卻非常長費時且仰賴經驗的，而光源的選取更是重要的議題，因為不同的樣品要透過不同的打光才能彰顯其特徵與瑕疵。

而目前一般市面光學檢測多是仰賴工程師的經驗為主已行之有 年，然而，即使是有經驗的工程師都要透過多次測試方能找到最佳的光源以及打光參數。

且，在自動化檢測的範疇中，常因無法獲得足夠的瑕疵樣品，導 致檢測效果有限，或是到實際產線後需要非常長時間的調整，才能使結果趨於穩定的基本缺憾存在。

再者，如果要運用在深度學習的範疇中時，特徵與瑕疵的標記會 花費非常多的人力資源情形而有其必須克服的困難問題重重。

經查，中華民國專利公報證書號M580178之「布料瑕疵線上自 動辨識系統」之專利旨在於進行布料瑕疵自動辨識，然，無法同時適用於布料以外之自動化光學檢測，且並無運用深度學習為分類之演算法，無法達到環境適應性以及抗噪性的要求，更是沒有因應不同的布料屬性自動選擇最適合的光源，使得影像品質更佳的技術方案。

又查，中華人民共和國專利申請號201020002123.6之「線照明 裝置」之光源調整功能卻也僅限於調整角度，但是光源僅以線光源為主，而無法靈動搭配。

是以，本案創作人有鑒於習之技術之不足者，歷經多年嘔心瀝血 研發而提出本案一種智慧型光學檢測AI資料蒐集系統如下文所述。

鑒於上述習知技術所造成之缺憾，本創作一種智慧型光學檢測 AI資料蒐集系統之主要目的在於，搭配深度學習分類器，因此而具有較高的環境適應性以及抗噪性，可切換不同光源，如同軸、背光、線光、環形光、球光…等，擁有更廣泛的應用性。

本創作一種智慧型光學檢測AI資料蒐集系統之另一目的在於， 使用AI技術做樣品自動分類、自動檢測、且方便將設備架構與訓練結果移轉至生產線等所需之完整效果需求。

本創作一種智慧型光學檢測AI資料蒐集系統主要係包括有裝載 收集平台，以供待測物放置；光源裝置，該光源裝置係設於該裝載收集平台上方周緣，備具有同軸光源、線光源、背光源、環形光源、球形光源等各組燈源治具，並結合有可動式機構如機械手臂與光源攝影控制模組施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；相機單元，該相機單元係與該光源裝置交錯設於該裝載收集平台上方周緣，包含有相機治具、線相機治具等應用相機治具並結合攝影機重複拍攝功能與以達到快速收集資料之功能；智慧分類器，係連訊有光源裝置與智慧分類訓練更新與特徵瑕疵自動標記模組，可將初步取像結果通過深度學習、影像處理、邏輯運算等方式進行智慧分類；光源攝影控制模組，係連訊有該智慧分類訓練更新與特徵瑕疵自動標記模組、智慧分類器、光源裝置與相機單元以及可動式機構，做為控制該光源裝置與相機單元進行智慧打光攝影流程；可動式機構，該可動式機構可為升降式機構輸送機構或機械手臂臂；智慧分類訓練更新與特徵瑕疵自動標記模組，該分別聯訊於該相機單元、智慧分類器與光源攝影控制模組以接收資料並進行生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路，結合影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型，再對樣品中所欲標記的特徵或是瑕疵進行自動標記；資料庫單元，該資料庫單元分別聯訊於該智慧分類訓練更新與特徵瑕疵自動標記模組與該光源攝影控制模組，以將調整後的圖像與自動標記的結果儲存入該資料庫單元，並於後續深度學習訓練或是其他應用端使用時將儲存於該資料庫單元之資料輸出該智慧分類訓練更新與特徵瑕疵自動標記模組與該光源攝影控制模組以進行深度學習訓練或如生產等其他應用端使用。

本創作一種智慧型光學檢測AI資料蒐集系統，其操作步驟則包 括有先初步取像，係指以相機單元對樣品進行初步取像，應用相機單元或機械手臂結合光源裝置與光源攝影控制模組，施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能以達到快速收集資料功能；自動打光，係指先利用智慧分類器以深度學習的分類器(Classifier)模型，針對初步取像結果進行智慧分類，再將智慧分類資訊傳輸至光源攝影控制模組後，利用光源攝影控制模組配合該相機單元或可動式機構如機械手臂結合光源裝置與光源攝影控制模組進行自動打光；二次取像，在自動打光的環境下該智慧分類訓練更新與特徵瑕疵自動標記模組自該相機單元中再次進行取像，以得到特徵更明顯的樣品圖；自動標記，係指以該智慧分類訓練更新與特徵瑕疵自動標記模組擷取良品影像並配合人工製造瑕疵影像訓練透過生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路搭配影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或是使用物件偵測的模型，以對樣品中所欲標記的特徵或是瑕疵進行自動標記；結果調整，係指工程師針對取像與自動標記的結果進行調整；資料儲存入資料庫單元，係指將調整後的圖像與自動標記的結果儲存入資料庫單元，以便後續深度學習訓練或是其他應用端使用。

而將樣品特徵與瑕疵智慧打光取像技術運用於本創作時，操作 步驟包含有樣品定位，係指將樣品以手動、機械手臂、輸送帶等方式使樣品與打光取像裝置的相對位置是正確的；初步取像，係指以相機單元對樣品進行取像；智慧分類，係指通過深度學習、影像處理、邏輯運算等方式對將初步取像結果進行智慧分類；智慧打光，係指以該智慧分類階段的分類結果，載入對應的光源與打光參數；二次取像，係指在該智慧打光階段後的環境下以相機進行樣品取像；效果是否良好判讀，係指判斷該智慧打光與取像之結果是否良好；匯出圖像，係指將效果良好的樣品圖匯出至資料庫或是其他應用端；最佳取像，係指將樣品以各種不同光源配合不同打光參數進行取像測試並找出效果最良好的光源與打光參數以及效果良好的樣品圖；匯出圖像與最佳智慧分類，係指將效果良好的樣品圖匯出至資料庫或是其他應用端，並將初步取像、最佳智慧分類一併匯出至資料庫，以供後續訓練與更新智慧打光模型使用。

而將樣品特徵與瑕疵智慧打光取像技術進行智慧分類模型訓練 或更新運用於本創作時，操作步驟包含有先輸入初步取像圖片與最佳分類，係指將在主流程蒐集的初步取像圖片與最佳分類如最佳光源與打光參數的資料引入；再進行智慧分類模型訓練或更新，係指根據初步取像圖片與最佳分類資料對智慧分類深度學習神經網路進行訓練或再訓練，並考慮進行更新影像處理、邏輯運算的標準；效果是否良好判讀，係指判別智慧分類模型訓練或更新之結果是否良好；係指若智慧分類模型訓練結果不佳，該智慧分類訓練更新與特徵瑕疵自動標記模組即針對智慧分類深度學習神經網路進行訓練或再訓練時之參數進行調整；匯出智慧分類模型，係指將效果良好的智慧分類模型匯出或儲存，以供往後主流程的使用或是供其他應用端使用。

而將樣品特徵或瑕疵智慧型自動標記技術運用於本創作時， 操作步驟包含有樣品取像，係指以相機對待測物進行取像；特徵或瑕疵智慧型自動標記，係指以深度學習的技術針對待測圖片中所欲標記的特徵或瑕疵進行自動標記；標記結果調整，係指操作員針對特徵或瑕疵智慧型自動標記之結果進行調整；匯出資料，係指將調整後之標記結果與樣品圖像匯出，供特徵或瑕疵智慧型自動標記模型訓練或再訓練或其他應用端使用。

而將該樣品特徵或瑕疵智慧型自動標記技術運用於本創作時， 操作步驟包含有輸入取像圖片與調整後標記結果，係指將蒐集取像圖片與調整後之標記結果資料引入；模型訓練，係指根據初步取像圖片與最佳分類資料對特徵或瑕疵智慧型自動標記模型進行訓練或再訓練；效果是否良好，係指判別模型訓練之結果是否良好；調整訓練參數，係指針對特徵或瑕疵智慧型自動標記模型進行訓練或再訓練時之參數進行調整；匯出智慧分類模型，係指將效果良好的模型匯出或儲存，以供往後本創作的使用或是供其他應用端使用。

而將樣品特徵或瑕疵初始AI模型自動產生技術運用於本創作 時，操作步驟包含有良品取像，係指以相機單元3對良品物進行取像；GAN生成良品影像，係指以生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路的技術根據輸入的良品影像資料生成大量的良品資料；訓練修復型GAN模型，係指以大量的良品資料經人工生成瑕疵影像之後影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型進行訓練，此模型可以透過學習認得良品，並且當未來有與良品不同的特徵出現時，即可將區域分割並標記為不良；匯出智慧檢測模型，將修復型GAN結合特徵強化算法模組或是物件偵測模型輸出儲存於該資料庫單元，作為樣品特徵瑕疵初始AI模型，以供後續使用。

而將樣品特徵或瑕疵初始AI模型自動產生技術運用於本創作 之輔助標記應用操作步驟時，則包含有樣品取像，係指以相機單元對待測物進行取像；智慧瑕疵偵測，係指以深度學習之修復型GAN配合特徵強化算法，如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型技術針對待測圖片中與良品不同、所欲標記的特徵或瑕疵進行自動標記；人工複檢，係指操作員針對特徵或瑕疵智慧型自動標記之結果進行調整；拓撲資料產生，係指透過旋轉、翻轉、平移、影像處理等方式產生更多訓練資料；匯出結果，係指將拓撲資料產生後之樣品圖像與標記結果匯出儲存於該資料庫單元，供後續訓練應用。

而將樣品特徵或瑕疵初始AI模型自動產生技術運用於本創作之 產線應用操作步驟時，則包含有樣品取像，係指以相機單元對待測物進行取像；智慧瑕疵偵測，係指以深度學習之修復型GAN配合特徵強化算法，如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型技術針對待測圖片中與良品不同、所欲標記的特徵或瑕疵進行自動標記；匯出結果，係指將檢測結果輸出儲存於該資料庫單元，以供後續使用。

因此，本創作一種智慧型光學檢測AI資料蒐集系統，主要係藉 由智慧分類訓練更新與特徵瑕疵自動標記模組，擷取極少量良品影像訓練透過生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路，結合影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型，以智慧分類器對樣品中所欲標記的特徵或是瑕疵進行自動標記，自動區分出影像上無瑕疵樣本以及含瑕疵樣本，以光源攝影控制模組控制光源裝置與相機單元進行智慧打光攝影流程之後，針對取像與自動標記的結果進行人工調整篩選，利用人工判定作法將確定為瑕疵影像區塊存下留給後續智慧分類訓練更新與特徵瑕疵自動標記模組使用，並將調整後的圖像與自動標記的結果儲存入資料庫單元，以便後續深度學習訓練或是其他應用端使用之效果需求，使本創作同時兼具自動化、智慧化以及數據化之優勢，因而成為本創作之有效創意者。

下係藉由特定的具體實例說明搭配本創作之操作步驟，熟悉此技 藝之人士可由本說明書所揭示之內容輕易地瞭解本創作之其他優點與功效。本創作亦可藉由其他不同的具體實例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本創作之精神下進行各種修飾與變更。

首先請貴  審查委員參閱如第一、第二圖搭配餘圖所示者，本創 作為一種智慧型光學檢測AI資料蒐集系統，其主要係包含：

裝載收集平台1，以供待測物放置；

光源裝置2，該光源裝置2係設於該裝載收集平台1上方周緣， 備具有同軸光源20、線光源21、背光源、環形光源、球形光源等各組燈源治具，並結合有可動式機構5如機械手臂與光源攝影控制模組4施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；

相機單元3，該相機單元3係與該光源裝置2交錯設於該裝載收 集平台1上方周緣，包含有相機治具、線相機治具等應用相機治具並結合攝影機重複拍攝功能與以達到快速收集資料之功能；

智慧分類器8，係連訊有光源裝置2與智慧分類訓練更新與特徵 瑕疵自動標記模組6，可將初步取像結果通過深度學習、影像處理、邏輯運算等方式進行智慧分類；；

光源攝影控制模組4，係連訊有該智慧分類訓練更新與特徵瑕疵 自動標記模組6、智慧分類器8、光源裝置2與相機單元3以及可動式機構5，做為控制該光源裝置2與相機單元3進行智慧打光攝影流程；

可動式機構5，該可動式機構5可為升降式機構輸送機構或機械 手臂等；

智慧分類訓練更新與特徵瑕疵自動標記模組6，分別聯訊於該相 機單元3、智慧分類器8與光源攝影控制模組4以接收資料並進行生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路，結合影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型，再對樣品中所欲標記的特徵或是瑕疵進行自動標記；

資料庫單元7分別聯訊於該智慧分類訓練更新與特徵瑕疵自動 標記模組6與該光源攝影控制模組4，以將調整後的圖像與自動標記的結果儲存入該資料庫單元7，並於後續深度學習訓練或是其他應用端使用時將儲存於該資料庫單元7之資料輸出該智慧分類訓練更新與特徵瑕疵自動標記模組6與該光源攝影控制模組4以進行深度學習訓練或如生產等其他應用端使用。

再請貴  審查委員參閱如第一、第二，與第三圖，搭配餘圖所示 者，本創作一種智慧型光學檢測AI資料蒐集系統，其操作步驟為：

先初步取像，係指以相機單元3對樣品進行初步取像，應用相機 單元3或可動式機構5如機械手臂結合光源裝置2與光源攝影控制模組4，施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度並結合攝影機重複拍攝功能以達到快速收集資料功能；

自動打光，係指先利用智慧分類器8以深度學習的分類器 (Classifier)模型，針對初步取像結果進行智慧分類，再將智慧分類資訊傳輸至光源攝影控制模組4後，利用光源攝影控制模組4配合該相機單元3或可動式機構5如機械手臂結合光源裝置2與光源攝影控制模組4進行自動打光；

二次取像，在自動打光的環境下該智慧分類訓練更新與特徵瑕疵 自動標記模組6自該相機單元3中再次進行取像，以得到特徵更明顯的樣品圖；

自動標記，係指以該智慧分類訓練更新與特徵瑕疵自動標記模組 6擷取良品影像並配合人工製造瑕疵影像訓練透過生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路搭配特徵強化算法，例如局部二值模式(Local Binary Patterns，LBP)或是使用物件偵測的模型，以對樣品中所欲標記的特徵或是瑕疵進行自動標記；

結果調整，係指工程師針對取像與自動標記的結果進行調整；

資料儲存入資料庫單元7，係指將調整後的圖像與自動標記的結 果儲存入資料庫單元7，以便後續深度學習訓練或是其他應用端使用。

而其中，本創作運用樣品特徵與瑕疵智慧打光取像技術之主要操 作步驟，如第四圖結合餘圖所示，則包含有樣品定位，係指將樣品以手動、可動式機構5如機械手臂輸送帶等方式使樣品與光源裝置2打光與相機單元3的相對位置是正確的；初步取像，係指以相機單元3對樣品進行取像；智慧分類，係指該智慧分類訓練更新與特徵瑕疵自動標記模組6通過深度學習、影像處理、邏輯運算等方式對將初步取像結果進行智慧分類；智慧打光，係指以該智慧分類訓練更新與特徵瑕疵自動標記模組6智慧分類階段的分類結果，載入該光源攝影控制模組4進行相對應的光源與打光參數；二次取像，係指在該智慧打光階段後的環境下以相機單元3進行樣品取像；效果是否良好判讀，係指判斷該智慧打光與取像之結果是否良好；匯出圖像，係指將效果良好的樣品圖匯出至該資料庫單元7或是其他應用端；最佳取像，係指將樣品以各種不同光源配合不同打光參數進行取像測試並找出效果最良好的光源與打光參數以及效果良好的樣品圖；匯出圖像與最佳智慧分類，係指將效果良好的樣品圖匯出至資料庫單元7或是其他應用端，並將初步取像、最佳智慧分類一併匯出至資料庫，以供後續訓練與更新智慧打光模型使用。

而其中，本創作運用樣品特徵與瑕疵智慧打光取像技術於智慧分 類模型訓練或更新運用於該主流程之操作步驟，如第五圖結合餘圖所示，則包含有有先輸入初步取像圖片與最佳分類，係指將在主流程蒐集的初步取像圖片與最佳分類如最佳光源與打光參數的資料引入該光源攝影控制模組4與智慧分類訓練更新與特徵瑕疵自動標記模組6；再進行智慧分類模型訓練或更新，係指智慧分類訓練更新與特徵瑕疵自動標記模組6根據初步取像圖片與最佳分類資料對智慧分類深度學習神經網路進行訓練或再訓練，並考慮進行更新影像處理、邏輯運算的標準；效果是否良好判讀，係指判別智慧分類模型訓練或更新之結果是否良好；調整訓練參數，係指若智慧分類模型訓練結果不佳，該智慧分類訓練更新與特徵瑕疵自動標記模組6即針對智慧分類深度學習神經網路進行訓練或再訓練時之參數進行調整；匯出智慧分類模型，係指將效果良好的智慧分類模型匯出或儲存於該資料庫單元7，以供往後主流程的使用或是供其他應用端使用。

而其中，本創作運用樣品特徵或瑕疵智慧型自動標記技術之主要 操作步驟，如第六圖結合餘圖所示，則包含有樣品取像，係指以相機單元3對待測物進行取像；特徵或瑕疵智慧型自動標記，係指該智慧分類訓練更新與特徵瑕疵自動標記模組6以深度學習的技術針對待測圖片中所欲標記的特徵或瑕疵進行自動標記；標記結果調整，係指操作員針對特徵或瑕疵智慧型自動標記之結果進行調整；匯出資料，係指將調整後之標記結果與樣品圖像匯出或儲存於該資料庫單元7，供特徵或瑕疵智慧型自動標記模型訓練或再訓練或其他應用端使用。

而其中，本創作運用樣品特徵或瑕疵智慧型自動標記技術於特徵 或瑕疵智慧型自動標記模型或再訓練流程之操作步驟，如第七圖結合餘圖所示，則包含有輸入取像圖片與調整後標記結果，係指將在主流程蒐集取像圖片與調整後之標記結果資料引入；模型訓練，係指根據初步取像圖片與最佳分類資料對特徵或瑕疵智慧型自動標記模型進行訓練或再訓練；效果是否良好，係指判別模型訓練之結果是否良好；調整訓練參數，係指針對特徵或瑕疵智慧型自動標記模型進行訓練或再訓練時之參數進行調整；匯出智慧分類模型，係指將效果良好的模型匯出或儲存於該資料庫單元7，以供往後主流程的使用或是供其他應用端使用。

而其中，本創作運用特徵或瑕疵初始AI模型自動產生技術之主 要操作步驟，如第八圖結合餘圖所示，則包含有良品取像，係指以相機單元3對良品物進行取像；GAN生成良品影像，係指以生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路的技術根據輸入的良品影像資料生成大量的良品資料；訓練修復型GAN模型，係指以大量的良品資料經人工生成瑕疵影像之後影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型進行訓練，此模型可以透過學習認得良品，並且當未來有與良品不同的特徵出現時，即可將區域分割並標記為不良；匯出智慧檢測模型，將修復型GAN結合特徵強化算法模組或是物件偵測模型輸出儲存於該資料庫單元7，作為樣品特徵瑕疵初始AI模型，以供後續使用。

而其中，本創作運用樣品特徵或瑕疵初始AI模型自動產生技術 於輔助標記應用流程時之操作步驟，如第九圖結合餘圖所示，則包含有樣品取像，係指以相機單元3對待測物進行取像；智慧瑕疵偵測，係指以深度學習之修復型GAN配合特徵強化算法，如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型技術針對待測圖片中與良品不同、所欲標記的特徵或瑕疵進行自動標記；人工複檢，係指操作員針對特徵或瑕疵智慧型自動標記之結果進行調整；拓撲資料產生，係指透過旋轉、翻轉、平移、影像處理等方式產生更多訓練資料；匯出結果，係指將拓撲資料產生後之樣品圖像與標記結果匯出儲存於該資料庫單元7，供後續訓練應用。

而其中，本創作運用樣品特徵或瑕疵初始AI模型自動產生技術 於產線應用流程時之操作步驟，如第十圖結合餘圖所示，則包含有樣品取像，係指以相機單元3對待測物進行取像；智慧瑕疵偵測，係指以深度學習之修復型GAN配合特徵強化算法，如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型技術針對待測圖片中與良品不同、所欲標記的特徵或瑕疵進行自動標記；人工複檢，係指操作員針對特徵或瑕疵智慧型自動標記之結果進行調整；拓撲資料產生，係指透過旋轉、翻轉、平移、影像處理等方式產生更多訓練資料；匯出結果，係指將檢測結果輸出儲存於該資料庫單元7，以供後續流程使用。

因此，本創作一種智慧型光學檢測AI資料蒐集系統，主要係藉 由智慧分類訓練更新與特徵瑕疵自動標記模組6，擷取極少量良品影像訓練透過生成式對抗網路(Generative Adversarial Network, GAN)為基礎之神經網路，結合影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型，以智慧分類器8對樣品中所欲標記的特徵或是瑕疵進行自動標記，自動區分出影像上無瑕疵樣本以及含瑕疵樣本，以光源攝影控制模組4控制光源裝置2與相機單元3進行智慧打光攝影流程之後，針對取像與自動標記的結果進行人工調整篩選，利用人工判定作法將確定為瑕疵影像區塊存下留給後續智慧分類訓練更新與特徵瑕疵自動標記模組6使用，並將調整後的圖像與自動標記的結果儲存入資料庫單元7，以便後續深度學習訓練或是其他應用端使用之效果需求，使本創作同時兼具自動化、智慧化以及數據化之優勢，因而成為本創作之有效創意者。

1:裝載收集平台

2:光源裝置

20:同軸光源

21:線光源

3:相機單元

4:光源攝影控制模組

5:可動式機構

6:智慧分類訓練更新與特徵瑕疵自動標記模組

7:資料庫單元

8:智慧分類器

第一圖係本創作之側視結構圖。

第二圖係本創作之方塊圖。

第三圖係本創作之操作步驟圖。

第四圖係本創作運用樣品特徵與瑕疵智慧打光取像技術時之主要操作步驟圖。

第五圖係本創作運用樣品特徵與瑕疵智慧打光取像技術於智慧分類模型訓練或更新運用於主流程之操作步驟圖

第六圖係本創作運用樣品特徵或瑕疵智慧型自動標記技術之主要操作步驟圖。

第七圖係本創作運用樣品特徵或瑕疵智慧型自動標記技術於特徵或瑕疵智慧型自動標記模型或再訓練之操作步驟圖。

第八圖係本創作運用樣品特徵或瑕疵初始AI模型自動產生技術之主要操作步驟圖。

第九圖係本創作運用樣品特徵或瑕疵初始AI模型自動產生技術於輔助標記之操作步驟圖。

第十圖係本創作運用樣品特徵或瑕疵初始AI模型自動產生技術於產線應用之操作步驟圖。

2:光源裝置

3:相機單元

4:光源攝影控制模組

5:可動式機構

6:智慧分類訓練更新與特徵瑕疵自動標記模組

7:資料庫單元

8:智慧分類器

Claims (1)

1. 一種智慧型光學檢測AI資料蒐集系統，係包含有：裝載收集平台，以供待測物放置；光源裝置，該光源裝置係設於該裝載收集平台上方周緣，備具有同軸光源、線光源、背光源、環形光源、球形光源等各組燈源治具，並結合有可動式機構如機械手臂與光源攝影控制模組施以多種數次打光方式以提供不同光源控制方法開關各組燈源、可編輯燈源強度、角度；相機單元，該相機單元係與該光源裝置交錯設於該裝載收集平台上方周緣，包含有相機治具、線相機治具等應用相機治具並結合攝影機重複拍攝功能與以達到快速收集資料之功能；智慧分類器，係連訊有光源裝置與智慧分類訓練更新與特徵瑕疵自動標記模組，可將初步取像結果通過深度學習、影像處理、邏輯運算等方式進行智慧分類；光源攝影控制模組，係連訊有該智慧分類訓練更新與特徵瑕疵自動標記模組、智慧分類器、光源裝置與相機單元以及可動式機構，做為控制該光源裝置與相機單元進行智慧打光攝影流程；可動式機構，該可動式機構可為升降式機構輸送機構或機械手臂等；智慧分類訓練更新與特徵瑕疵自動標記模組，分別聯訊於該相機單元、智慧分類器與光源攝影控制模組以接收資料並進行生成式對抗網路(Generative Adversarial Network,GAN)為基礎之神經網路，結合影像強化演算法，例如局部二值模式(Local Binary Patterns，LBP)或使用物件偵測的模型，再對樣品中所欲標記的特徵或是瑕疵進行自動標記；資料庫單元，分別聯訊於該智慧分類訓練更新與特徵瑕疵自動標記模組與 該光源攝影控制模組，以將調整後的圖像與自動標記的結果儲存入該資料庫單元，並於後續深度學習訓練或是其他應用端使用時將儲存於該資料庫單元之資料輸出該智慧分類訓練更新與特徵瑕疵自動標記模組與該光源攝影控制模組以進行深度學習訓練或如生產等其他應用端使用。

Images