TWI823159B - 具人機互動功能的瑕疵檢測系統 - Google Patents

具人機互動功能的瑕疵檢測系統 Download PDF

Info

Publication number
TWI823159B
TWI823159B TW110138856A TW110138856A TWI823159B TW I823159 B TWI823159 B TW I823159B TW 110138856 A TW110138856 A TW 110138856A TW 110138856 A TW110138856 A TW 110138856A TW I823159 B TWI823159 B TW I823159B
Authority
TW
Taiwan
Prior art keywords
image
human
defect detection
defect
unit
Prior art date
Application number
TW110138856A
Other languages
English (en)
Other versions
TW202317974A (zh
Inventor
孫逢佐
葉怡婷
孫逢佑
黃俊堂
沈孟澤
周博翰
張惠普
陳允毅
Original Assignee
開必拓數據股份有限公司
孫逢佐
葉怡婷
孫逢佑
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開必拓數據股份有限公司, 孫逢佐, 葉怡婷, 孫逢佑 filed Critical 開必拓數據股份有限公司
Priority to TW110138856A priority Critical patent/TWI823159B/zh
Priority to US17/887,871 priority patent/US20230117656A1/en
Publication of TW202317974A publication Critical patent/TW202317974A/zh
Application granted granted Critical
Publication of TWI823159B publication Critical patent/TWI823159B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/36—Textiles
    • G01N33/367—Fabric or woven textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898—Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983—Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Food Science & Technology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明主要揭示一種具人機互動功能的瑕疵檢測系統，其主要包括：一線光源、N個攝影機、具有一處理器與一標籤讀取器的一電子裝置、以及一顯示裝置。依據本發明之設計，該線光源、該N個攝影機與該處理器可用於實現對於一物件的瑕疵檢測。另一方面，該線光源、該N個攝影機、該處理器、該顯示裝置、與該標籤讀取器還可以用於該物件的複數個標籤化樣本的製作，使得該處理器能夠依據該複數個標籤化樣本對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型，或者更新該物件瑕疵檢測模型。

Description

具人機互動功能的瑕疵檢測系統
本發明係關於影像識別的技術領域，尤指一種具人機互動功能的瑕疵檢測系統。
已知，在紡織物(如：布料)製成後，必須在出貨包裝前先行進行瑕疵檢查。目前，布料的瑕疵檢查通常係由一操作人員透過操作一驗布機而完成。由台灣發明專利號217040的揭示內容可知，習知的驗布機的主要結構包括：一放料機構、一布料展開機構、以及一收料機構。通常，該布料展開機構具有一第一傳動筒、一驗布平台與一第二傳動筒，其中該第一傳動筒位於該放料機構與該驗布平台之間，且鄰近該驗布平台的頂側。另一方面，該第二傳動筒位於該收料機構與該驗布平台之間，且鄰近該驗布平台的底側。
進行布料檢查時，操作人員站在一操作平台前，透過操作一控制器的方式以控制該放料機構之釋放布料速度，該第一傳動筒和該第二傳動筒的轉動速度，以及該收料機構之捲收布料速度。接著，在控制布料傳動(移動)的過程中，操作人員以人眼檢驗攤開在驗布平台上的布料區塊。如果操作人員發現受檢的該布料區塊含有瑕疵，則操作所述控制器以停止布料的傳送，接著判斷該瑕疵是否可修復，如果可修復就當下修復，如果不可修復便在該瑕疵位置打上標記(即，貼標)。最終，完成瑕疵檢查的布料由該放料機構進行收料。
為了提高瑕疵檢查的速度，業者特別在每一台驗布機裝設一布料瑕疵檢測系統。依據台灣專利號M571486的揭示內容可知，現有的布料瑕疵檢測系統包括：至少一線光源、N個攝影機以及一影像處理器。其中，該線光源提供一檢測光照射受檢布料的一受檢區域，使該N個攝影機自該受檢區域擷取N個子布料影像。更詳細地說明，將該N個子布料影像拼接成一個布料影像之後，該影像處理器接著對該布料影像進行至少一影像處理(如：特徵點提取)，接著利用一預先訓練(pre-trained)布料瑕疵檢測模型以查驗出該布料影像所包含的至少一個布料瑕疵。
熟悉影像辨識技術的電腦科學(Computer science)工程師必然知道，前述之預訓練布料瑕疵檢測模型係使用複數個訓練樣本對一圖像分類器進行一布料瑕疵檢測(或布料瑕疵識別)之機器學習訓練之後而產出的。電腦科學工程師還知道，該複數個訓練樣本包括：複數個不包含瑕疵的布料影像以及複數個包含至少一個瑕疵布料影像，其中所述不包含瑕疵的布料影像以及所述包含至少一個瑕疵布料影像皆由人工進行標籤化。更詳細地說明，標籤化(labeling)的目的在於告訴檢測系統這個布料影像的狀態。舉例而言，布料瑕疵的種類繁多，包括：蛛網、破洞、油汙、走紗、跳紗、色差等，因此所述包含至少一個瑕疵布料影像指的是由人工標籤化之具有前述至少一種瑕疵的布料影像。進一步地，在利用預先訓練布料瑕疵檢測模型完成該布料影像的布料瑕疵檢驗之後，該影像處理器可依據4點扣分制，將布料瑕疵檢測的結果判定為嚴重、次要或輕微。
可以推測的出，檢測不同的種類的布料時，該影像處理器必須使用對應的布料瑕疵檢測模型才能夠高準確率地查驗出該布料所包含的至少一個布料瑕疵。換句話說，欲使布料瑕疵檢測系統能夠適用於多種不同類型的布料的瑕疵檢測，則必須先完成多種不同類型的布料瑕疵檢測模型之製作。然而，布料瑕疵檢測模型係使用大量的訓練樣本對一圖像分類器進行一布料瑕疵檢測(或布料瑕疵識別)之機器學習訓練之後而產出的，而所述訓練樣本又必須由人工進行標籤化，導致布料瑕疵檢測模型不易製作。
因此，由上述說明可知，習知技術之布料瑕疵檢測系統仍具有需要加以改良之處。有鑑於此，本案之發明人係極力加以研究發明，而終於研發完成一種具人機互動功能的瑕疵檢測系統。
本發明之主要目的在於提供一種具人機互動功能的瑕疵檢測系統，其主要包括：一線光源、N個攝影機、具有一處理器與一標籤讀取器的一電子裝置、以及一顯示裝置。依據本發明之設計，該線光源、該N個攝影機與該處理器可用於實現對於一物件的瑕疵檢測。另一方面，該線光源、該N個攝影機、該處理器、該顯示裝置、與該標籤讀取器還可以用於該物件的複數個標籤化樣本的製作，使得該處理器能夠依據該複數個標籤化樣本對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型，或者更新該物件瑕疵檢測模型。
為達成上述目的，本發明提出所述具人機互動功能的瑕疵檢測系統的一實施例，其包括： 一線光源，設置在一第一位置，從而面對一攝像位置； N個攝影機，設置在面對所述攝像位置的一第二位置，且N為至少為1的正整數； 一電子裝置，耦接該線光源與所述攝影機；以及 一顯示裝置，耦接該電子裝置； 其中，該電子裝置具有一處理器與一標籤讀取器，且該處理器具有：一影像比對單元、一馬達控制單元、一人機介面單元、以及一標籤單元； 其中，在一物件被饋送的過程中，該處理器控制該線光源持續提供一檢測光至所述攝像位置，且同時控制所述攝影機依一影像採集頻率對通過所述攝像位置的該物件進行攝影，從而獲得時間連續的複數幀物件影像； 其中，各個所述攝影機皆具有一攝像範圍，N個所述攝影機具有一總攝像範圍，且該顯示裝置的一顯示範圍大於或等於該總攝像範圍，使得每一幀所述物件影像由該顯示裝置完整顯示； 其中，該影像比對單元對每個所述物件影像與一參考物件影像進行一影像比對操作； 其中，在通過所述影像比對操作確定所述物件影像之中含有至少一差異區域的情況下，該馬達控制單元控制用以實現該物件之饋送的一動力系統的至少一馬達停止運轉，從而使該物件之對應所述差異區域之部分位於一人工查驗區； 其中，該標籤單元產生對應於所述差異區域的一標籤，並於該電子裝置的顯示螢幕或該顯示裝置的顯示螢幕之上顯示出至少一個所述標籤，從而操作該標籤讀取器讀取該標籤之後可完成包含所述差異區域的所述物件影像的標籤化； 其中，在該人機介面單元接收到一復運轉命令之後，該馬達控制單元控制該至少一馬達重啟運轉，從而恢復該物件的饋送。
在一實施例中，該標籤讀取器可為下列任一者：具有影像辨識功能的電子裝置、二維條碼讀取器、漢信碼讀取器、QR碼讀取器、或矩陣條碼讀取器。對應地，該標籤可為下列任一者：圖形、文字、字母、數字、二維條碼(2D barcode)、漢信碼(Chinese-sensible code)、QR碼、矩陣條碼(Maxicode)、RFID標籤、NFC標籤、上述任兩者之組合、或上述任兩者以上之組合。
在一實施例中，該總攝像範圍的寬度與該顯示範圍的寬度皆大於或等於該物件的寬度。
在一實施例中，該處理器更具有： 一影像拼接單元，其中，依據該處理器的控制，N個所述攝影機依所述影像採集頻率自該物件擷取N個子物件影像，該影像拼接單元將該N個子物件影像拼接成所述物件影像。
在一實施例中，該電子裝置更包括一記憶體，用以儲存完成標籤化之所述物件影像儲存在該記憶體與該參考物件影像。
在一實施例中，該處理器更具有： 一特徵處理單元，對每個所述物件影像進行一特徵萃取處理，以獲得一物件特徵圖像；以及 一瑕疵辨識單元，利用一物件瑕疵檢測模型確定所述物件特徵圖像之中是否含有至少一瑕疵。
在一實施例中，該處理器更具有： 一模型訓練單元，用以依據儲存在該記憶體內的已完成標籤化之複數個所述物件影像對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生所述物件瑕疵檢測模型。
為了能夠更清楚地描述本發明所提出之一種瑕疵檢測系統，以下將配合圖式，詳盡說明本發明之較佳實施例。
本發明主要揭示一種具人機互動功能的瑕疵檢測系統，其主要包括：一線光源、N個攝影機、具有一處理器與一標籤讀取器的一電子裝置、以及一顯示裝置。依據本發明之設計，該線光源、該N個攝影機與該處理器可用於實現對於一物件的瑕疵檢測。另一方面，該線光源、該N個攝影機、該處理器、該顯示裝置、與該標籤讀取器還可以用於該物件的複數個標籤化樣本的製作，使得該處理器能夠依據該複數個標籤化樣本對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型，或者更新該物件瑕疵檢測模型。舉例而言，本發明之具人機互動功能的瑕疵檢測系統可以應用在一驗布機之中，使該驗布機具有自動化的布料瑕疵檢測，且同時可在一操作人員的協助下操作該驗布機以進行一布料的複數個標籤化樣本的製作。簡單地說，本發明之瑕疵檢測系統運用其具人機互動功能，從而在domain expert(即，操作人員)的輔助下快速地完成任一物件(如：任一種布料)的標籤化樣本的製作，同時利用該複數個標籤化樣本對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型或者更新該物件瑕疵檢測模型。因此，透過特殊的人機互動設計，可以簡化學習過程並快速達到學習辨識瑕疵的成果。
請參閱圖1與圖2，其分別顯示應用有本發明之一種具人機互動功能的瑕疵檢測系統的一驗布機的第一立體圖與第二立體圖。如圖1與圖2所示，該驗布機2的主要構成包括：一機架20、一放料機構21、一處理機構22、一收料機構23、以及一操作平台24。必須特別說明的是，圖1與圖2所繪示之驗布機係用於輔助說明本發明之具人機互動功能的瑕疵檢測系統的應用形式，其並非為本發明之具人機互動功能的瑕疵檢測系統的限制應用例。
繼續地參閱圖1與圖2，並請同時參閱圖3，其顯示本發明之一種具人機互動功能的瑕疵檢測系統的方塊圖。如圖1、圖2與圖3所示，本發明之具人機互動功能的瑕疵檢測系統1包括：一線光源11、N個攝影機12、具有一處理器131、一記憶體132、一標籤讀取器133、與一通訊介面134的一電子裝置13、以及一顯示裝置14。其中，所述顯示裝置14與該電子裝置13作為一人機互動機構。
進一步地，圖4為繪示於圖3之中的處理器131的內部方塊圖，且圖5為顯示於圖1與圖2之中的放料機構、處理機構、收料機構、與操作平台的側視圖。依據本發明之設計，該線光源11設置在一第一位置，從而面對一攝像位置。並且，該N個攝影機12設置在面對所述攝像位置的一第二位置，且N為至少為1的正整數。更詳細地說明，該電子裝置13耦接該線光源11與所述攝影機12，且該顯示裝置14耦接該電子裝置13。如圖3與圖4所示，該處理器131具有：一影像拼接單元1310、一影像比對單元1311、一馬達控制單元1312、一人機介面單元1318、一標籤單元1313、一位移計算單元1314、一特徵處理單元1315、一瑕疵辨識單元1316、以及一模型訓練單元1317。
繼續地參閱圖1、圖2、圖3、圖4以及圖5，並請同時參閱圖6，其顯示該線光源11、該N個第一攝影機12、該電子裝置13、與該支撐機構15的立體圖。依據本發明之設計，在一物件3被饋送的過程中，該處理器131控制該線光源11持續提供一檢測光至所述攝像位置，且同時控制所述攝影機12依一影像採集頻率對通過所述攝像位置的該物件3進行攝影，從而獲得時間連續的複數幀物件影像。在一實施例中，所述影像採集頻率與該物件3的一饋送速度正相關。值得注意的是，如圖5與圖6所示，一支撐機構15係設置在所述攝像位置，用以支撐該物件3，使該物件3通過該所述攝像位置的一受攝部位(photographed portion)31係展平的。
依據本發明之設計，各個所述攝影機12皆具有一攝像範圍，N個所述攝影機12具有一總攝像範圍，且該總攝像範圍的寬度大於或等於該物件3的寬度。另一方面，該顯示裝置14的一顯示範圍大於或等於該總攝像範圍，使得每一幀所述物件影像由該顯示裝置14完整顯示。
在一瑕疵檢測模式下，該特徵處理單元1315對每個所述物件影像進行一特徵萃取處理，以獲得一物件特徵圖像。可以理解，在對時間上連續的複數幀物件影像進行所述特徵萃取處理之後，會對應產出複數個物件特徵圖像。接著，該瑕疵辨識單元1316將各個所述物件特徵圖像和一物件特徵模板進行一特徵匹配程序，從而確定所述物件影像之中是否含有至少一瑕疵。正常的情況下，在確定所述物件影像之中含有至少一瑕疵之時，該馬達控制單元1312控制用以實現該物件3之饋送的一動力系統的至少一馬達停止運轉，從而使該物件3之對應所述差異區域之部分位於一人工查驗區。如圖1、圖2、圖3、圖4、和圖5所示，該放料機構21具有一第一馬達210、該處理機構22包括：一第一傳動筒221、一處理平台222、一第二傳動筒223、以及用以驅動該第一傳動筒221和該第二傳動筒222的至少一第二馬達220，且該收料機構23具有一第三馬達230。因此，在確定所述物件影像之中含有至少一瑕疵之時，該馬達控制單元1312控制該第一馬達210、該至少一第二馬達220與該第三馬達230停止運轉，從而使該物件3之具有瑕疵的部位位於該處理平台222之上。
對位於處理平台222之上的物件3(即，布料)進行瑕疵確認時，操作人員可直接修復該瑕疵。然而，若該瑕疵是不可修復的，則操作人員在該瑕疵位置打上標記。完成前述動作後，操作人員可以透過操作該電子裝置13的該人機介面單元1318的方式，發送一復運轉命令至該處理器131。在接收到所述復運轉命令之後，該處理器131即以其所述馬達控制單元1312控制該至少一馬達重啟運轉，從而恢復該物件3的饋送。
如圖3與圖4所示，本發明之具人機互動功能的瑕疵檢測系統1還包括一第一轉速感測器S1、一第二轉速感測器S2與一第三轉速感測器S3。其中，該第一轉速感測器S1連接該第一馬達210以偵測該第一馬達210的一第一轉速，該第二轉速感測器S2連接該第二馬達220以偵測該第二馬達220的一第二轉速，且該第三轉速感測器S3連接該第三馬達230以偵測該第三馬達230的一第三轉速。如此設置，該處理器131才能夠以其所述位移計算單元1314依據所述第一轉速和所述第一轉速而計算該物件3在該放料機構21和該處理機構22之間的一第一移動距離。從而，在確定所述物件影像之中含有至少一瑕疵的情況下，該馬達控制單元1312控制該放料機構21的一第一馬達210、該處理機構22的至少一第二馬達220以及該收料機構23的一第三馬達230停止運轉，從而使該物件之具有瑕疵的部位位於該處理機構22的一處理平台222之上。
當然，該處理器131亦可以其所述位移計算單元1314依據所述第二轉速和所述第三轉速而計算該物件3在該處理機構22和該收料機構23之間的一第二移動距離。
補充說明的是，依據該處理器131的控制，N個所述攝影機12依所述影像採集頻率自該物件3擷取N個子物件影像，且該處理器131以其所述影像拼接單元1310將該N個子物件影像拼接成所述物件影像。接著，在一標籤化樣本製作模式中，該處理器131以其所述影像比對單元1311對每個所述物件影像與一參考物件影像進行一影像比對操作。如此，在通過所述影像比對操作確定所述物件影像之中含有至少一差異區域的情況下，該馬達控制單元1312控制用以實現該物件3之饋送的一動力系統的至少一馬達停止運轉，從而使該物件3之對應所述差異區域之部分位於一人工查驗區。當影像比對操作發現了所述物件影像包含了該參考物件影像所未具有的一區別性特徵時，會以一方框圍住該區別性特徵。因此，包含該方框與該區別性特徵者，即稱為所述差異區域。
依據本發明之設計，在至少一個所述差異區域被定義的情況下，該標籤單元1313會產生對應於所述差異區域的一標籤，接著該處理器131於該電子裝置13的顯示螢幕或於該顯示裝置14的顯示螢幕之上顯示出至少一個所述標籤。如圖7所示之實際操作的影像圖，此時，操作人員(即，domain expert)可以手持該標籤讀取器133讀取該標籤，藉此完成包含所述差異區域的所述物件影像的標籤化。更詳細地說明，產生所述標籤時，該標籤單元1313先將該區別性特徵與一參考瑕疵特徵進行一特徵匹配操作，從而確定該區別性特徵為何種物件瑕疵，接著才對應地產生一標籤。在可行的實施例中，該標籤可以是圖形、文字、字母、數字、二維條碼(2D barcode)、漢信碼(Chinese-sensible code)、QR碼、矩陣條碼(Maxicode)、RFID標籤、NFC標籤、上述任兩者之組合、或上述任兩者以上之組合。對應地，該標籤讀取器133可以是具有影像辨識功能的電子裝置、二維條碼讀取器、漢信碼讀取器、QR碼讀取器、或矩陣條碼讀取器。
進一步地，若完成所述特徵匹配操作之後無法確認該區別性特徵為何種物件瑕疵，該處理器131於該電子裝置13的顯示螢幕或該顯示裝置14的顯示螢幕之上顯示出一用戶操作介面，供該操作人員操作該用戶操作介面及/或該人機介面單元1318的方式自行定義該區別性特徵為何種物件瑕疵，從而完成包含所述差異區域的所述物件影像的標籤化。如此，在操作人員的協助下完成標籤化之複數個所述物件影像會被儲存在該記憶體132之中，且前述之參考物件影像同樣是儲存在該記憶體132之中。
在一模型訓練模式下，該處理器131以其所述模型訓練單元1317以依據儲存在該記憶體132內的已完成標籤化之複數個所述物件影像對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型。應可理解，所述瑕疵辨識單元1316利用該物件瑕疵檢測模型查驗所述物件影像之中是否含有至少一瑕疵，且所述標籤單元1313利用該物件瑕疵檢測模型完成所述特徵匹配操作。
應可理解，該電子裝置13可以其所述通訊單元134與一外部電子裝置進行資料傳輸，從而將完成標籤化之複數個所述物件影像傳送至該外部電子裝置。換句話說，在可行的實施例中，亦可利用外部電子裝置依據儲存在該記憶體132內的已完成標籤化之複數個所述物件影像對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生一物件瑕疵檢測模型。
在可行的實施例中，用以建置所述圖像分類器的演算法可以是卷積神經網路(Convolutional Neural Networks, CNN)、量子卷積神經網路( Quantum Neural Networks, QCNN)、貝氏分類法Naive Bayes Classification)或支持向量機(Support Vector Machine, SVM)。此外，常見可以用於建置圖像分類器的演算法還包括：全卷積網路演算法(Fully convolutional neural network, FCN)、基於區域的卷積網路演算法(Region-based convolutional neural network, R-CNN)、快速的基於區域的卷積網路演算法(Fast region-based convolutional neural network, fast R-CNN)、或更加快速的基於區域的卷積網路演算法(Faster region-based convolutional neural network, faster R-CNN)、使用遮罩的基於區域的卷積網路演算法(Mask R-CNN)、即時物體檢測演算法YOLOv1、物體檢測演算法YOLOv2、物體檢測演算法YOLOv3、即時物體檢測框架演算法(Single-shot multiBox detector, SSD)等諸多類型，本發明並無特別限制。
如此，上述係已完整且清楚地說明本發明之一種具人機互動功能的瑕疵檢測系統。必須加以強調的是，上述之詳細說明係針對本發明可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
＜本發明＞ 1:瑕疵檢測系統 11:線光源 12:攝影機 13:電子裝置 131:處理器 1310:影像拼接單元 1311:影像比對單元 1312:馬達控制單元 1313:標籤單元 1314:位移計算單元 1315:特徵處理單元 1316:瑕疵辨識單元 1317:模型訓練單元 1318:人機介面單元 132:記憶體 133:標籤讀取器 134:通訊介面 14:顯示裝置 15:支撐機構 2:驗布機 20:機架 21:放料機構 210:第一馬達 22:處理機構 220:第二馬達 221:第一傳動筒 222:處理平台 223:第二傳動筒 23:收料機構 230:第三馬達 24:操作平台 S1:第一轉速感測器 S2:第二轉速感測器 S3:第三轉速感測器 3:物件 31:受攝部位
圖1為應用有本發明之一種具人機互動功能的瑕疵檢測系統的一驗布機的第一立體圖； 圖2為應用有本發明之具人機互動功能的瑕疵檢測系統的驗布機的第二立體圖； 圖3為本發明之一種具人機互動功能的瑕疵檢測系統的方塊圖； 圖4為繪示於圖3之中的處理器的內部方塊圖； 圖5為顯示於圖1與圖2之中的放料機構、處理機構、收料機構、與操作平台的側視圖； 圖6為線光源、N個第一攝影機、電子裝置、與支撐機構的立體圖；以及 圖7顯示一實際操作的影像圖。
1:瑕疵檢測系統
11:線光源
12:攝影機
13:電子裝置
131:處理器
132:記憶體
133:標籤讀取器
134:通訊介面
14:顯示裝置
21:放料機構
210:第一馬達
22:處理機構
220:第二馬達
23:收料機構
230:第三馬達
S1:第一轉速感測器
S2:第二轉速感測器
S3:第三轉速感測器

Claims (12)

  1. 一種具人機互動功能的瑕疵檢測系統，包括：一線光源，設置在一第一位置，從而面對一攝像位置；N個攝影機，設置在面對所述攝像位置的一第二位置，且N為至少為1的正整數；一電子裝置，耦接該線光源與所述攝影機；以及一顯示裝置，耦接該電子裝置，且相對地位於一人工查驗區的上方處；其中，該電子裝置具有一處理器與一標籤讀取器，且該處理器具有：一影像比對單元、一馬達控制單元、一人機介面單元、以及一標籤單元；其中，在一物件被饋送的過程中，該處理器控制該線光源持續提供一檢測光至所述攝像位置，且同時控制所述攝影機依一影像採集頻率對通過所述攝像位置的該物件進行攝影，從而獲得時間連續的複數幀物件影像；其中，各個所述攝影機皆具有一攝像範圍，N個所述攝影機具有一總攝像範圍，且該顯示裝置的一顯示範圍大於或等於該總攝像範圍，使得每一幀所述物件影像由該顯示裝置完整顯示；其中，該影像比對單元對每個所述物件影像與一參考物件影像進行一影像比對操作；其中，在通過所述影像比對操作確定所述物件影像之中含有至少一差異區域的情況下，該馬達控制單元控制用以實現該物件之饋送的 一動力系統的至少一馬達停止運轉，從而使該物件之對應所述差異區域之部分位於該人工查驗區；其中，該標籤單元先將自所述差異區域提取的至少一區別性特徵與一參考瑕疵特徵進行一特徵匹配操作，從而確定該區別性特徵屬於何種物件瑕疵，接著對應地產生一第一標籤；其中，在所述特徵匹配操作無法確認該區別性特徵為何種物件瑕疵的情況下，該處理器於該電子裝置的顯示螢幕或該顯示裝置的顯示螢幕之上顯示出一用戶操作介面，供一操作人員操作該用戶操作介面及/或該人機介面單元的方式自行定義該區別性特徵為何種物件瑕疵；其中，在該操作人員完成該區別性特徵的一自定義物件瑕疵之後，該標籤單元產生對應於所述區別性特徵的一第二標籤，並通過該電子裝置的顯示螢幕或該顯示裝置的顯示螢幕在所述差異區域顯示出該第二標籤，完成包含所述差異區域的所述物件影像的標籤化；其中，在該人機介面單元接收到一復運轉命令之後，該馬達控制單元控制該至少一馬達重啟運轉，從而恢復該物件的饋送。
  2. 如請求項1所述之具人機互動功能的瑕疵檢測系統，其中，該標籤讀取器為下列任一者：具有影像辨識功能的電子裝置、二維條碼讀取器、漢信碼讀取器、QR碼讀取器、或矩陣條碼讀取器。
  3. 如請求項1所述之具人機互動功能的瑕疵檢測系統，其中，該第二標籤為下列任一者：圖形、文字、字母、數字、二維條碼(2D barcode)、漢信碼(Chinese-sensible code)、QR碼、矩陣條碼(Maxicode)、RFID標籤、NFC標籤、上述任兩者之組合、或上述任兩者以上之組合。
  4. 如請求項1所述之具人機互動功能的瑕疵檢測系統，其中，該總攝像範圍的寬度與該顯示範圍的寬度皆大於或等於該物件的寬度。
  5. 如請求項4所述之具人機互動功能的瑕疵檢測系統，其中，該處理器更具有：一影像拼接單元，其中，依據該處理器的控制，N個所述攝影機依所述影像採集頻率自該物件擷取N個子物件影像，該影像拼接單元將該N個子物件影像拼接成所述物件影像。
  6. 如請求項1所述之具人機互動功能的瑕疵檢測系統，其中，該電子裝置更包括一記憶體，用以儲存完成標籤化之所述物件影像儲存在該記憶體與該參考物件影像。
  7. 如請求項6所述之具人機互動功能的瑕疵檢測系統，其中，該處理器更具有：一特徵處理單元，對每個所述物件影像進行一特徵萃取處理，以對應地獲得一物件特徵圖像；以及一瑕疵辨識單元，利用一物件瑕疵檢測模型確定所述物件特徵圖像之中是否含有至少一瑕疵。
  8. 如請求項7所述之具人機互動功能的瑕疵檢測系統，其中，該處理器更具有：一模型訓練單元，用以依據儲存在該記憶體內的已完成標籤化之複數個所述物件影像對一圖像分類器進行一物件瑕疵檢測之機器學習訓練，從而產生所述物件瑕疵檢測模型。
  9. 如請求項1所述之具人機互動功能的瑕疵檢測系統，更包括：連接該至少一馬達的至少一轉速感測器，用以偵測該至少一馬達的一馬達轉速。
  10. 如請求項9所述之具人機互動功能的瑕疵檢測系統，其中，在該人機介面單元接收到所述復運轉命令之後，該馬達控制單元控制該至少一馬達依所述轉速感測器所偵測到的所馬達轉速控制該至少一馬達運轉。
  11. 如請求項9所述之具人機互動功能的瑕疵檢測系統，其中，所述影像採集頻率與該物件的一饋送速度正相關。
  12. 如請求項1所述之具人機互動功能的瑕疵檢測系統，其中，該處理器更包括：一位移計算單元，被配置以依據所述馬達轉速計算該物件的一移動距離。
TW110138856A 2021-10-20 2021-10-20 具人機互動功能的瑕疵檢測系統 TWI823159B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110138856A TWI823159B (zh) 2021-10-20 2021-10-20 具人機互動功能的瑕疵檢測系統
US17/887,871 US20230117656A1 (en) 2021-10-20 2022-08-15 Defect inspection system having human-machine interaction function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110138856A TWI823159B (zh) 2021-10-20 2021-10-20 具人機互動功能的瑕疵檢測系統

Publications (2)

Publication Number Publication Date
TW202317974A TW202317974A (zh) 2023-05-01
TWI823159B true TWI823159B (zh) 2023-11-21

Family

ID=85982612

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138856A TWI823159B (zh) 2021-10-20 2021-10-20 具人機互動功能的瑕疵檢測系統

Country Status (2)

Country Link
US (1) US20230117656A1 (zh)
TW (1) TWI823159B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116399873B (zh) * 2023-06-07 2023-09-26 杭州百子尖科技股份有限公司 基于机器视觉的片材缺陷贴标方法、装置、设备以及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM571486U (zh) * 2018-12-11 布料檢測裝置
CN110148106A (zh) * 2019-01-18 2019-08-20 华晨宝马汽车有限公司 一种利用深度学习模型检测物体表面缺陷的***及方法
CN111060514A (zh) * 2019-12-02 2020-04-24 精锐视觉智能科技(上海)有限公司 缺陷检测方法、装置及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM571486U (zh) * 2018-12-11 布料檢測裝置
CN110148106A (zh) * 2019-01-18 2019-08-20 华晨宝马汽车有限公司 一种利用深度学习模型检测物体表面缺陷的***及方法
CN111060514A (zh) * 2019-12-02 2020-04-24 精锐视觉智能科技(上海)有限公司 缺陷检测方法、装置及终端设备

Also Published As

Publication number Publication date
US20230117656A1 (en) 2023-04-20
TW202317974A (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
JP6955211B2 (ja) 識別装置、識別方法及びプログラム
EP3259068B1 (en) Detection of barcode tag conditions on sample tubes
CN104809437B (zh) 一种基于实时视频的车辆检测与跟踪方法
US11080843B2 (en) Image inspecting apparatus, image inspecting method and image inspecting program
JP2018512567A5 (zh)
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
TWI823159B (zh) 具人機互動功能的瑕疵檢測系統
JPWO2014050641A1 (ja) 容器検査システム
KR20200099977A (ko) 화상 생성 장치, 검사 장치 및 화상 생성 방법
CN113677971A (zh) 用于密封完整性的在线检查的***
CN110940670A (zh) 基于机器视觉的柔印标签印刷首稿检测***及其实现方法
Mahmud et al. Fabric defect detection system
TWI694250B (zh) 表面缺陷偵測系統及其方法
JP2024529949A (ja) デジタル画像の関心領域（ｒｏｉｓ）に基づいて１または複数の機械視覚ジョブを自動的に生成すること
CN108764105A (zh) 流水线工件识别方法、服务器及终端
CN107844516A (zh) 数码在线检测方法及***
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其***
CN109507201A (zh) 一种基于机器视觉的结构胶检测***和方法
TW201944289A (zh) 圖像識別裝置、及具有圖像識別裝置的物品製造裝置
CN116026845A (zh) 具人机互动功能的瑕疵检测***
Haik et al. A novel inspection system for variable data printing using deep learning
TWM580178U (zh) Cloth 瑕疵 line automatic identification system
US11811983B2 (en) Methods and system for imaging of moving printed materials by an optical device having plurality of cameras arranged in an array
CN113487598A (zh) 一种基于计算机视觉的图书装订错误检测***
KR20200103585A (ko) 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법