TWI828544B - 應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 - Google Patents
應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 Download PDFInfo
- Publication number
- TWI828544B TWI828544B TW112106427A TW112106427A TWI828544B TW I828544 B TWI828544 B TW I828544B TW 112106427 A TW112106427 A TW 112106427A TW 112106427 A TW112106427 A TW 112106427A TW I828544 B TWI828544 B TW I828544B
- Authority
- TW
- Taiwan
- Prior art keywords
- electronic device
- continuous material
- defect
- user feedback
- interactive user
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 45
- 238000011179 visual inspection Methods 0.000 title claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 112
- 239000000109 continuous material Substances 0.000 claims description 65
- 230000007246 mechanism Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 239000002184 metal Substances 0.000 claims description 6
- 239000011888 foil Substances 0.000 claims description 3
- 230000032258 transport Effects 0.000 claims 4
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 239000004744 fabric Substances 0.000 description 51
- 230000002950 deficient Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本發明主要揭示一種用戶反饋系統，係利用一電子裝置實現，用以協助提升一自動視覺檢測(AVI)系統之檢測準確率。正常工作時，該AVI系統自被一傳送裝置運送的一連續材攝得一物品影像，並確定該物品影像之中是否含有至少一瑕疵。接著，本發明之用戶反饋系統在該電子裝置的顯示螢幕呈現出包含M×N個子區塊的一檢測報告區塊。如此，品檢員可以點擊一個子區塊，使顯示螢幕顯示該子區塊所對應的該物品影像的一個子影像區塊，並接著檢視該AVI系統對此子影像區塊所作出的一瑕疵缺陷判定結果是否正確。若否，則品檢員可以對所述瑕疵缺陷判定結果進行修正，實現用戶反饋。
Description
本發明係關於機器視覺的技術領域，尤指一種應用於協助提升自動視覺檢測系統之檢測準確率的用戶反饋系統。
已知，在紡織物(如：布疋)製成後，必須在出貨包裝之前先接收瑕疵檢查。目前，布疋的瑕疵檢查通常係由一品檢員透過操作一驗布機而完成。習知的驗布機的主要結構包括：一放料機構、一一驗布平台、以及一收料機構。進行布料檢查時，品檢員站在一操作平台前，透過操作一控制器的方式以控制該放料機構之釋放布料速度以及該收料機構之捲收布料速度。在控制布疋移動的過程中，品檢員以人眼檢驗攤開在該驗布平台上的一布疋區塊。如果品檢員發現所述布疋區塊含有瑕疵，則操作該控制器以停止布疋的移動。接著，品檢員判斷該瑕疵是否可修復，如果可修復就當下修復，如果不可修復便在該瑕疵位置打上標記。
習知的驗布機在實際使用上具有以下主要缺陷：由於品檢員係在布疋移動的過程中以其眼睛檢查攤開在驗布平台上的布疋區塊
是否存在瑕疵，可想而知，如此方式必然導致布疋存在未被人眼檢出的瑕疵。有鑑於此，台灣專利號I767828揭示一種具馬達控制功能的瑕疵檢測系統(或稱：自動視覺檢測系統)，其用於整合在前述之驗布機之中，且包括：一線光源、至少一攝影機以及一處理與控制模組。正常工作時，該線光源提供一檢測光投放至該攝影機的一攝影範圍內，且該處理與控制模組控制該放料機構和該收料機構的馬達運轉，以傳送布疋移動。當布疋移動而使其一受檢區塊位於該攝影範圍之中時，該攝影機拍攝該受檢區塊以獲得一布疋影像。接著，該處理與控制模組對該布疋影像執行一瑕疵檢測，從而確認該受檢區塊是否存在至少一瑕疵。若是，則該處理與控制模組接著控制該放料機構和該收料機構的馬達運轉，以傳送布疋移動，使該受檢區塊位於該驗布平台上。最終，品檢員判斷該瑕疵是否可修復，如果可修復就當下修復，如果不可修復便在該瑕疵位置打上標記。
更詳細地說明，該處理與控制模組具有一預訓練的瑕疵檢測模型，因此可利用該瑕疵檢測模型對該布疋影像執行所述瑕疵檢測。熟悉影像辨識技術的AI工程師必然知道，該瑕疵檢測模型係使用複數個訓練樣本對一圖像分類器進行一布料瑕疵檢測(或布料瑕疵識別)之機器學習訓練之後而產出的，其中該複數個訓練樣本包括：複數個正常布料影像(即，Golden Sample)以及複數個包含至少一個瑕疵布料影像，且這些的瑕疵布料影像被預分類為具有折痕、破洞、色汙、雞爪紋、水波紋、經疵、緯疵等複數個參考瑕疵特徵圖像。依此設置，該瑕疵檢測模型會先對該布疋影像進行一特徵萃取處理以獲得一布疋特徵圖像。接著，該瑕疵檢測模型對該布疋特徵圖像和儲存在該資料庫內的至少一個參考瑕疵特徵圖像進行一特
徵比對，從而確定該布疋的該受檢區塊是否含有檢測規定所定義的瑕疵。
然而，品檢員的使用經驗指出，由該瑕疵檢測模型所檢出並類的布疋瑕疵並非全然正確。請參考圖1，其為一瑕疵檢驗結果的交集圖。如圖1所示，區域A用以表示品檢員判定布疋具有瑕疵之統計數據和自動視覺檢測系統判定布疋不具有瑕疵之統計數據的一數據交集範圍(簡稱漏判範圍)。另一方面，區域B用以表示品檢員判定布疋不具有瑕疵之統計數據範圍和自動視覺檢測系統判定布疋具有瑕疵之統計數據的一數據交集範圍(簡稱補判範圍)。進一步地，區域A和區域B之間具有一區域C，該區域C為該區域A與該區域B之間的一交集區域。應可理解，區域C用以表示品檢員判定布疋具有瑕疵之統計數據和自動視覺檢測系統同樣判定布疋具有瑕疵之統計數據的一數據交集範圍(簡稱補判範圍)。因此，由圖1可知，現有的自動視覺檢測系統雖然可以自動檢出布疋所帶有的瑕疵，然而，這些檢出的瑕疵並非全然正確。主要原因在於，布疋瑕疵的分類項目眾多，因此，在資料庫所包含的瑕疵布料影像的數量不足的情況下，該瑕疵檢測模型因未受到足夠的訓練，故而經常會出現將瑕疵A誤判定為瑕疵B的情況。
有鑑於此，應考慮開發一種用戶反饋系統，其整合在一電子裝置(例如：平板電腦)之中，允許該處理與控制模組將所述布疋影像和相關瑕疵檢出(判定)結果顯示在該平板電腦的螢幕上，供品檢員覆核確認。因此，本發明之創作人係極力加以研究創作，而終於研發完成本發明之一種應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統。
本發明之主要目的提供一種互動式用戶反饋系統，係利用一電子裝置實現，用以協助提升一自動視覺檢測(AVI)系統之檢測準確率。正常工作時，該AVI系統自被一傳送裝置所運送的一連續材攝得一物品影像，並確定該物品影像之中是否含有至少一瑕疵。接著，本發明之互動式用戶反饋系統在該電子裝置的顯示螢幕呈現出包含M×N個子區塊的一檢測報告區塊。如此，品檢員可以點擊一個子區塊，使顯示螢幕顯示該子區塊所對應的該物品影像的一個子影像區塊，並接著檢視該AVI系統對此子影像區塊所作出的一瑕疵缺陷判定結果是否正確。若否，則品檢員可以對所述瑕疵缺陷判定結果進行修正，使得接受修正之後的該物品影像被儲存至訓練樣本資料庫，實現用戶反饋。
舉例而言，本發明之互動式用戶反饋系統可以為安裝在一平板電腦(即，前述電子裝置)的一應用程式，使製造廠的品檢員可以操作該平板電腦來對其廠內的任一AVI系統對於一連續材的一瑕疵檢測結果進行修正。進一步地，接受品檢員的瑕疵分類修正的物品影像可以被儲存至系統資料庫及/或上傳至一遠端電子裝置。如此，該遠端電子裝置便可以利用複數張正常物品影像和包含已接受所述瑕疵分類修正的至少一張物品影像的複數張瑕疵物品影像生成至少一更新模組之後，利用該更新模組對安裝在該主控電子裝置之內的一第一物品瑕疵識別模型進行一模型更新操作，或利用該更新模組在該主控電子裝置之內安裝一第二物品瑕疵識別模型。
為達成上述目的，本發明提出所述互動式用戶反饋系統的一實施例，其係用以協助提升一自動視覺檢測系統3之檢測準確率，其中，該自動視覺檢測系統係整合在具有至少一卷對卷設備的一連續材傳送裝置之中，且包括複數個攝像機以及一主控電子裝置；其中，在該連續材傳送裝置傳送一連續材(continuous flexible material)以使該連續材的一實體受檢區塊落在一拍攝區域內之時，該複數個攝像機攝得該連續材的一物品影像，且該主控電子裝置對該物品影像執行所述瑕疵檢測操作進而識別並分類存在於該物品影像內的K個瑕疵，K為正整數；所述互動式用戶反饋系統包括：一電子裝置，耦接該主控電子裝置，且包括一第一處理器、一第一記憶體與一第一顯示螢幕，其中該第一記憶體內儲存有一第一應用程式，使得該第一處理器透過存取該第一記憶體以執行所述第一應用程式，從而啟用以下功能：自該主控電子裝置接收該連續材的該實體受檢區塊的一長邊範圍與一短邊範圍；依據該長邊範圍和該短邊範圍產生對應該物品影像的一檢測報告區塊，且令該第一顯示螢幕顯示被分割為M×N個子區塊的該檢測報告區塊；其中，M、N為正整數；在由該第一顯示螢幕所顯示的M×N個所述子區塊之中的一個被點擊之後，該第一顯示螢幕顯示該子區塊所對應的該物品影像之中的一個子影像區塊、該子影像區塊的一瑕疵檢測報告以及一瑕疵類別選單；以及
在所述瑕疵類別選單被點擊從而對該子影像區塊的該瑕疵檢測報告進行一瑕疵分類修正之後，將修正後的該瑕疵檢測報告和該物品影像進行儲存。
在一實施例中，該電子裝置為選自於由智慧型手機、平板電腦、桌上型電腦、一體式(All-in-one)電腦和筆記型電腦所組成群組之中的任一者。
在一實施例中，該連續材為選自於由金屬箔、金屬薄板、軟性觸控面板、軟性電路板、和軟性太陽能電池所組成群組之中的一者。
在一可行實施例中，該第一處理器執行所述第一應用程式從而進一步地啟用以下功能：將至少一物品影像上傳至一遠端電子裝置，使該遠端電子裝置可以利用複數張正常物品影像和複數張所述物品影像生成至少一更新模組之後，並接著利用該更新模組對安裝在該主控電子裝置之內的一第一物品瑕疵識別模型進行一模型更新操作，或利用該更新模組在該主控電子裝置之內安裝一第二物品瑕疵識別模型。
在一實施例中，該自動視覺檢測系統係進一步包括耦接該主控電子裝置的一計米器，且該計米器在該連續材被運送的過程中持續記錄一物品移動距離，使該主控電子裝置在該連續材的該實體受檢區塊落在該拍攝區域之內之時能夠依據所述物品移動距離和一物品基本資訊計算獲得所述長邊範圍與所述短邊範圍。
在一實施例中，各所述子區塊皆具有一區塊座標，且該區塊座標由一長邊座標值和一短邊座標值組成。
在一實施例中，該卷對卷設備包括一放料機構、一收料機構以及一檢驗平台，且該主控電子裝置包括一主處理器以及一主記憶體，其中該主記憶體內儲存有一第二應用程式，使得該主處理器透過存取該主記憶體以執行所述第二應用程式，從而啟用以下功能：控制該放料機構和該收料機構運轉以運送該連續材；在該連續材被運送的過程中，控制該複數個攝像機於所述拍攝區域內拍攝得到該連續材的該實體受檢區塊的該物品影像；對該物品影像和複數個參考瑕疵特徵圖像執行一特徵比對操作，以確定該物品影像之中是否含有至少一瑕疵；在確定該物品影像含有至少一瑕疵的情況下，控制該放料機構和該收料機構運送該連續材，使該實體受檢區塊位於該檢驗平台之上，接著停止該放料機構和該收料機構的運轉；以及在所述瑕疵分類修正完成之後，控制該放料機構和該收料機構運轉以運送該連續材。
在一實施例中，該卷對卷設備更包括：一第一轉速感測器，連接該放料機構的一第一馬達，用以偵測該第一馬達的一第一轉速；以及一第二轉速感測器，連接該收料機構的一第二馬達，用以偵測該第二馬達的一第二轉速。
在一實施例中，該主控電子裝置進一步包括一人機介面，且操作該人機介面可發送一復運轉命令至該主處理器，使該主處理器在所述瑕疵分類修正完成之後驅動該第一馬達和該第二馬達，以使該放料機構和該收料機構運轉以繼續運送該連續材。
在一實施例中，各個所述攝像機32皆具有一攝像範圍，複數個所述攝像機32則具有一總攝像範圍，且該總攝像範圍的寬度大於或等於該連續材的寬度。
1:互動式用戶反饋系統
11:電子裝置
11P:第一處理器
11M:第一記憶體
11D:第一顯示螢幕
2:連續材傳送裝置
21:放料機構
210:第一馬達
211:第一轉速感測器
22:檢驗平台
23:收料機構
230:第二馬達
231:第二轉速感測器
3:自動視覺檢測
30:計米器
31:光源
32:攝像機
33:主控電子裝置
33P:主處理器
33M:主記憶體
4:遠端電子裝置
圖1為一瑕疵檢驗結果的交集圖；圖2為包含本發明之一種互動式用戶反饋系統的一自動視覺檢測系統的方塊圖；圖3A為包含一自動視覺檢測系統的一連續材傳送裝置的第一立體圖；圖3B為該連續材傳送裝置的第二立體圖；以及圖4為一檢測報告區塊的示圖。
為了能夠更清楚地描述本發明所提出之一種應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統，以下將配合圖式，詳盡說明本發明之較佳實施例。
圖2為包含本發明之一種互動式用戶反饋系統的一自動視覺檢測系統的方塊圖。如圖2所示，本發明之一種互動式用戶反饋系統1係利用一電子裝置11實現，用以協助提升一自動視覺檢測(Automated visual inspection)系統3的檢測準確率。進一步地，圖3A、圖3B為包含一自動視覺檢測系統的一連續材傳送裝置的第一、
第二立體圖。如圖2、圖3A和圖3B所示，該自動視覺檢測系統3係整合在包含至少一卷對卷設備的一連續材傳送裝置2之中，且包括一光源31、複數個攝像機32以及一主控電子裝置33。正常工作時，在該連續材傳送裝置2傳送一連續材(continuous flexible material)而使該連續材的一實體受檢區塊落在一拍攝區域內之時，該複數個攝像機32攝得該連續材的一物品影像，接著該主控電子裝置33對該物品影像執行一瑕疵檢測操作進而識別存在於該物品影像內的K個瑕疵，K為正整數。
必須強調的是，圖3A和圖3B繪示所述連續材傳送裝置2為一驗布機，因此所述連續材為布疋。然而，在可行的實施例中，該連續材傳送裝置2並不限定必須為驗布機，其亦可為用以運送金屬箔(metal foil)、金屬薄板(metal thin sheet)、軟性觸控面板(flexible touch panel)、軟性電路板(flexible printed circuit board)、和軟性太陽能電池(flexible solar cell)的其它類型之連續材傳送裝置2。
如圖3A和圖3B，該連續材傳送裝置2的主要機構包括一放料機構21、一收料機構23以及一檢驗平台22。另一方面，該主控電子裝置33包括一主處理器33P以及一主記憶體33M，其中該主記憶體33P內儲存有一自動視覺檢測應用程式，使得該主處理器33P透過存取該主記憶體33M以執行所述自動視覺檢測應用程式。依此設置，利用該自動視覺檢測系統3的對一卷連續材進行瑕疵檢測時，該主處理器33P執行該自動視覺檢測應用程式所包含的一裝置控制程式以控制該放料機構21和該收料機構23的運轉。另一方面，該主控電子裝置33還安裝有一物品瑕疵識別程式，用以將該複數個攝像機32所
拍攝獲得該連續材的一物品影像和複數個參考瑕疵特徵圖像執行一特徵比對操作，以確定該物品影像之中是否含有至少一瑕疵。
更詳細地說明，在該連續材被運送的過程中，該複數個攝像機32受控於該主處理器33P，從而在該連續材的一實體受檢區塊落在一拍攝區域內之時，拍攝該連續材以獲得一物品影像。應可理解，該連續材包括複數個連續的實體受檢區塊，因此當該收料機構23完整接收該放料機構21所饋放的一卷連續材之後，該複數個攝像機32會拍攝獲得對應複數個所述實體受檢區塊的複數張物品影像。另一方面，圖3A與圖3B還繪出一支撐機構35設置在所述拍攝區域內。實務應用中，該支撐機構35係用以支撐該連續材的該實體受檢區塊，使該實體受檢區塊在所述拍攝區域內是展平的。
如圖3A和圖3B所示，各所述攝影機32皆具有一攝像範圍，複數個所述攝影機32具有一總攝像範圍，且該總攝像範圍的寬度大於或等於該物件3的寬度。依此設置，利用該複數個攝影機32所拍攝到的一張物品影像會包含一個完整的實體受檢區塊。在獲得所述物品影像之後，該主控電子裝置33對該物品影像和複數個參考瑕疵特徵圖像執行一特徵比對操作，以確定該物品影像之中是否含有至少一瑕疵。在確定該物品影像含有至少一瑕疵的情況下，該主控電子裝置33控制該放料機構21和該收料機構23運送該連續材，使該實體受檢區塊位於該檢驗平台22之上，接著停止該放料機構21和該收料機構23的運轉。
依據本發明之設計，如圖2、圖3A與圖3B所示，所述互動式用戶反饋系統1包括一電子裝置11以及安裝在該電子裝置11之中的一用戶反饋程式。具體地，該電子裝置11可以是智慧型手機、平板
電腦、桌上型電腦、一體式(All-in-one)電腦、或筆記型電腦。並且，該電子裝置11耦接該主控電子裝置33，且包括一第一處理器11P、一第一記憶體11M與一第一顯示螢幕。在一實施例中，該第一記憶體11P內儲存有所述用戶反饋程式，使得該第一處理器11P透過存取該第一記憶體11M以執行該用戶反饋程式，從而在該電子裝置11的第一顯示螢幕之上呈現一用戶介面(User interface,UI)。
在該自動視覺檢測系統3完成一張物品影像的瑕疵檢測工作之後，該自動視覺檢測系統3會產生一瑕疵檢測報告。在該電子裝置11自該主控電子裝置33接收所述物品影像和所述瑕疵檢測報告之後，該第一處理器11P依據該連續材的該實體受檢區塊的一長邊範圍與一短邊範圍產生對應該物品影像的一檢測報告區塊。圖4即為該檢測報告區塊的示圖。如圖4所示，該檢測報告區塊顯示於該第一顯示螢幕11D的該用戶介面之中，且包括M×N個子區塊，其中M、N為正整數。
補充說明的是，該連續材傳送裝置2更包括：一第一轉速感測器211和一第二轉速感測器231，其中該第一轉速感測器211連接該放料機構21的一第一馬達210，用以偵測該第一馬達210的一第一轉速。另一方面，該第二轉速感測器231連接該收料機構23的一第二馬達230，用以偵測該第二馬達230的一第二轉速。因此，該主處理器33P通過執行該自動視覺檢測應用程式所包含的裝置控制程式可以控制該第一馬達210和該第二馬達230依一指定轉速運轉，藉此方式控制該連續材的移動速度。另一方面，該自動視覺檢測系統3還包括耦接該主控電子裝置33的一計米器30，且該計米器30用以在該連續材被運送的過程中持續記錄一物品移動距離。
補如圖3A、圖3B與圖4所示，在該連續材的該實體受檢區塊落在該拍攝區域之內之時，該主控電子裝置33係可依據所述物品移動距離和一物品基本資訊計算出該連續材落在該拍攝區域內的該實體受檢區塊的一長邊範圍與一短邊範圍，使得該第一電子裝置11的該第一處理器11P能夠接著依據該長邊範圍和該短邊範圍創建出包括M×N個子區塊的一檢測報告區塊。如圖4所示，各所述子區塊皆具有一區塊座標(如：A5、B4、C3、D2、E1、F0)，且該區塊座標由一長邊座標值(即，A、B、C、…、I、J)和一短邊座標值(即，5、4、3、2、1、1)組成。
依據本發明之設計，在該第一顯示螢幕11D顯示出所述檢測報告區塊之後，品檢員可以選擇M×N個所述子區塊的其中一個並進行點擊。進一步地，由該第一顯示螢幕11D所顯示的M×N個所述子區塊之中的一個被點擊之後，該第一顯示螢幕11D會顯示該子區塊所對應的該物品影像之中的一個子影像區塊。換句話說，該M×N個子區塊係分別對應該物品影像的M×N個子影像區塊。並且，在一個子影像區塊由該第一顯示螢幕11D所顯示的情況下，該第一顯示螢幕11D會同時顯示該子影像區塊的一瑕疵檢測報告，其中該瑕疵檢測報告包括所述子影像區塊所包含的瑕疵數量和種類。此外，該第一顯示螢幕11D還會顯示一瑕疵類別選單(或列表)。
此時，品檢員可以肉眼確認所述子影像區塊之中是否真的含有瑕疵特徵，若無，品檢員可以點擊該瑕疵類別選單之中的其它選項，從而對該子影像區塊的該瑕疵檢測報告進行一瑕疵分類修正操作。另一方面，若品檢員該瑕疵檢測報告所指出的所述子影像區塊的瑕疵種類之後和其肉眼實際確認者不同，品檢員可以點選該瑕疵
類別選單之中的正確的瑕疵類別，從而對該子影像區塊的該瑕疵檢測報告進行一瑕疵分類修正操作。最終，在品檢員逐一確認每個子區塊所對應的子影像區塊及其瑕疵檢測報告之後，可以操作該電子裝置11將修正後的該瑕疵檢測報告和該物品影像進行儲存，並接著操作該主控電子裝置33的一人機介面，從而發送一復運轉命令至該主處理器33P，使該主處理器33P驅動該第一馬達210和該第二馬達230，以使該放料機構21和該收料機構23運轉以繼續運送該連續材。
進一步地，操作該電子裝置11還可將對應該連續材的複數段實體受檢區塊的複數張物品影像及複數個該瑕疵檢測報告上傳至一遠端電子裝置4。如此，該遠端電子裝置4便可利用複數張正常物品影像和複數張所述物品影像生成至少一更新模組。接著，操作該電子裝置11可以該更新模組對安裝在該主控電子裝置33之內的物品瑕疵識別模型進行一模型更新操作，或利用該更新模組在該主控電子裝置33之內安裝另一套物品瑕疵識別模型。
綜上所述，本發明提供一種互動式用戶反饋系統，其係利用一電子裝置實現，用以協助提升一自動視覺檢測(AVI)系統之檢測準確率。正常工作時，該AVI系統自被一傳送裝置所運送的一連續材攝得一物品影像，並確定該物品影像之中是否含有至少一瑕疵。接著，本發明之互動式用戶反饋系統在該電子裝置的顯示螢幕呈現出包含M×N個子區塊的一檢測報告區塊。如此，品檢員可以點擊一個子區塊，使顯示螢幕顯示該子區塊所對應的該物品影像的一個子影像區塊，並接著檢視該AVI系統對此子影像區塊所作出的一瑕疵缺陷判定結果是否正確。若否，則品檢員可以對所述瑕疵缺陷判定結
果進行修正，使得接受修正之後的該物品影像被儲存至訓練樣本資料庫，實現用戶反饋。
如此，上述已完整且清楚地說明本發明之一種應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統。然而，必須加以強調的是，上述之詳細說明係針對本發明可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
1:用戶反饋系統
11:電子裝置
11P:第一處理器
11M:第一記憶體
11D:第一顯示螢幕
21:放料機構
210:第一馬達
211:第一轉速感測器
23:收料機構
230:第二馬達
231:第二轉速感測器
3:自動視覺檢測
30:計米器
31:光源
32:攝像機
33:主控電子裝置
33P:主處理器
33M:主記憶體
4:遠端電子裝置
Claims (11)
- 一種互動式用戶反饋系統，係用以協助提升一自動視覺檢測系統之檢測準確率，其中，該自動視覺檢測系統係整合在具有至少一卷對卷設備的一連續材傳送裝置之中，且包括複數個攝像機以及一主控電子裝置；其中，在該連續材傳送裝置傳送一連續材以使該連續材的一實體受檢區塊落在一拍攝區域內之時，該複數個攝像機攝得該連續材的一物品影像，且該主控電子裝置對該物品影像執行所述瑕疵檢測操作進而識別並分類存在於該物品影像內的K個瑕疵，K為正整數；所述互動式用戶反饋系統包括：一電子裝置，耦接該自動視覺檢測系統的該主控電子裝置，且包括一第一處理器、一第一記憶體與一第一顯示螢幕，其中該第一記憶體內儲存有一第一應用程式，使得該第一處理器透過存取該第一記憶體以執行所述第一應用程式，從而啟用以下功能：自該自動視覺檢測系統的該主控電子裝置接收該連續材的該實體受檢區塊的一長邊範圍與一短邊範圍；依據該長邊範圍和該短邊範圍產生對應該物品影像的一檢測報告區塊，且令該第一顯示螢幕的一顯示區域被分割為M×N個子區塊的該檢測報告區塊；其中，M、N為正整數；在由該第一顯示螢幕所顯示的M×N個所述子區塊之中的一個被點擊之後，該第一顯示螢幕除了顯示該子區塊所對應的該物品影像之中的一個子影像區塊以及該子影像區塊的一瑕疵檢測報告之外，還同時顯示一瑕疵類別選單；以及 在所述瑕疵類別選單被點擊從而對該子影像區塊的該瑕疵檢測報告進行一瑕疵分類修正之後，將修正後的該瑕疵檢測報告和該物品影像進行儲存。
- 如請求項1所述之互動式用戶反饋系統，其中，該電子裝置為選自於由智慧型手機、平板電腦、桌上型電腦、一體式(All-in-one)電腦和筆記型電腦所組成群組之中的任一者。
- 如請求項1所述之互動式用戶反饋系統，其中，該連續材為選自於由金屬箔、金屬薄板、軟性觸控面板、軟性電路板、和軟性太陽能電池所組成群組之中的一者。
- 如請求項1所述之互動式用戶反饋系統，其中，該第一處理器執行所述第一應用程式從而進一步地啟用以下功能：將至少一物品影像上傳至一遠端電子裝置，使該遠端電子裝置可以利用複數張正常物品影像和複數張所述物品影像生成至少一更新模組之後，並接著利用該更新模組對安裝在該主控電子裝置之內的一第一物品瑕疵識別模型進行一模型更新操作，或利用該更新模組在該主控電子裝置之內安裝一第二物品瑕疵識別模型。
- 如請求項1所述之互動式用戶反饋系統，其中，該自動視覺檢測系統係進一步包括耦接該主控電子裝置的一計米器，且該 計米器在該連續材被運送的過程中持續記錄一物品移動距離，使該主控電子裝置在該連續材的該實體受檢區塊落在該拍攝區域之內之時能夠依據所述物品移動距離和一物品基本資訊計算獲得所述長邊範圍與所述短邊範圍。
- 如請求項1所述之互動式用戶反饋系統，其中，各所述子區塊皆具有一區塊座標，且該區塊座標由一長邊座標值和一短邊座標值組成。
- 如請求項1所述之互動式用戶反饋系統，其中，該卷對卷設備包括一放料機構、一收料機構以及一檢驗平台。
- 如請求項7所述之互動式用戶反饋系統，其中，該主控電子裝置包括一主處理器以及一主記憶體，其中該主記憶體內儲存有一第二應用程式，使得該主處理器透過存取該主記憶體以執行所述第二應用程式，從而啟用以下功能：控制該放料機構和該收料機構運轉以運送該連續材；在該連續材被運送的過程中，控制該複數個攝像機於所述拍攝區域內拍攝得到該連續材的該實體受檢區塊的該物品影像；對該物品影像和複數個參考瑕疵特徵圖像執行一特徵比對操作，以確定該物品影像之中是否含有至少一瑕疵； 在確定該物品影像含有至少一瑕疵的情況下，控制該放料機構和該收料機構運送該連續材，使該實體受檢區塊位於該檢驗平台之上，接著停止該放料機構和該收料機構的運轉；以及在所述瑕疵分類修正完成之後，控制該放料機構和該收料機構運轉以運送該連續材。
- 如請求項8所述之互動式用戶反饋系統，其中，該連續材傳送裝置更包括：一第一轉速感測器，連接該放料機構的一第一馬達，用以偵測該第一馬達的一第一轉速；以及一第二轉速感測器，連接該收料機構的一第二馬達，用以偵測該第二馬達的一第二轉速。
- 如請求項9所述之互動式用戶反饋系統，其中，該主控電子裝置進一步包括一人機介面，且操作該人機介面可發送一復運轉命令至該主處理器，使該主處理器在所述瑕疵分類修正完成之後驅動該第一馬達和該第二馬達，以使該放料機構和該收料機構運轉以繼續運送該連續材。
- 如請求項10所述之互動式用戶反饋系統，其中，各個所述攝像機皆具有一攝像範圍，複數個所述攝像機則具有一總攝像範圍，且該總攝像範圍的寬度大於或等於該連續材的寬度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112106427A TWI828544B (zh) | 2023-02-22 | 2023-02-22 | 應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112106427A TWI828544B (zh) | 2023-02-22 | 2023-02-22 | 應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI828544B true TWI828544B (zh) | 2024-01-01 |
Family
ID=90459074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112106427A TWI828544B (zh) | 2023-02-22 | 2023-02-22 | 應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI828544B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200510710A (en) * | 2003-07-28 | 2005-03-16 | Nitto Denko Corp | Inspection method for sheet-shaped product and inspection system |
| CN111060514A (zh) * | 2019-12-02 | 2020-04-24 | 精锐视觉智能科技(上海)有限公司 | 缺陷检测方法、装置及终端设备 |
| TW202130991A (zh) * | 2018-05-22 | 2021-08-16 | 荷蘭商耐克創新有限合夥公司 | 皮料檢測設備及偵測皮坯的表面上的瑕疵的方法 |
| TWI767828B (zh) * | 2021-08-27 | 2022-06-11 | 開必拓數據股份有限公司 | 應用於具有卷對卷機構的設備的馬達控制系統 |
-
2023
- 2023-02-22 TW TW112106427A patent/TWI828544B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200510710A (en) * | 2003-07-28 | 2005-03-16 | Nitto Denko Corp | Inspection method for sheet-shaped product and inspection system |
| TW202130991A (zh) * | 2018-05-22 | 2021-08-16 | 荷蘭商耐克創新有限合夥公司 | 皮料檢測設備及偵測皮坯的表面上的瑕疵的方法 |
| CN111060514A (zh) * | 2019-12-02 | 2020-04-24 | 精锐视觉智能科技(上海)有限公司 | 缺陷检测方法、装置及终端设备 |
| TWI767828B (zh) * | 2021-08-27 | 2022-06-11 | 開必拓數據股份有限公司 | 應用於具有卷對卷機構的設備的馬達控制系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI689875B (zh) | 利用深度學習系統的自動光學檢測分類設備及其訓練設備 | |
| TWI225927B (en) | Defect inspection system | |
| CN110726724A (zh) | 缺陷检测方法、***和装置 | |
| Mahalingam et al. | Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis | |
| WO2022227424A1 (zh) | Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 | |
| TWI707137B (zh) | 智能產線監測系統及監測方法 | |
| CN112666182A (zh) | 柔性电路板用自动视觉检测方法及装置 | |
| CN108445010A (zh) | 自动光学检测方法及装置 | |
| TWI828544B (zh) | 應用於協助提升自動視覺檢測系統之檢測準確率的互動式用戶反饋系統 | |
| CN112368724A (zh) | 学习装置、学习***以及学习方法 | |
| CN108921642A (zh) | 一种基于计算机视觉的智能果蔬结算装置及方法 | |
| CN116067981A (zh) | 应用于提升自动视觉检测准确率的交互式用户反馈*** | |
| US20200143453A1 (en) | Automated Window Estimate Systems and Methods | |
| CN113807434B (zh) | 布匹的瑕疵识别方法及模型训练方法 | |
| CN111862196A (zh) | 检测平板物体的通孔的方法、装置和计算机可读存储介质 | |
| CN113473834B (zh) | 异型元件的插装方法、装置、***、电子设备和存储介质 | |
| CN115713491A (zh) | 液晶显示面板缺陷检测方法、装置及电子设备 | |
| TWM600842U (zh) | 片狀材料快速檢測瑕疵整合系統 | |
| TW202310553A (zh) | 應用於具有卷對卷機構的設備的馬達控制系統 | |
| CN109214242A (zh) | 传感器数据获取方法、装置、***及计算机可读存储介质 | |
| JP7211265B2 (ja) | 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム | |
| CN113658099A (zh) | 膜片瑕疵检测方法、***及存储介质 | |
| CN115769256A (zh) | 连续动态扫描的分割 | |
| TWI731565B (zh) | 片狀材料快速檢測瑕疵整合系統及其使用方法 | |
| TWI300842B (zh) |