TWI707137B - 智能產線監測系統及監測方法 - Google Patents

智能產線監測系統及監測方法 Download PDF

Info

Publication number
TWI707137B
TWI707137B TW109101082A TW109101082A TWI707137B TW I707137 B TWI707137 B TW I707137B TW 109101082 A TW109101082 A TW 109101082A TW 109101082 A TW109101082 A TW 109101082A TW I707137 B TWI707137 B TW I707137B
Authority
TW
Taiwan
Prior art keywords
image
classification decision
training
subsystem
module
Prior art date
Application number
TW109101082A
Other languages
English (en)
Other versions
TW202127014A (zh
Inventor
蕭百亨
Original Assignee
憶象有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 憶象有限公司 filed Critical 憶象有限公司
Priority to TW109101082A priority Critical patent/TWI707137B/zh
Application granted granted Critical
Publication of TWI707137B publication Critical patent/TWI707137B/zh
Priority to CN202110009665.9A priority patent/CN113111903A/zh
Priority to US17/147,231 priority patent/US11947345B2/en
Priority to DE102021100496.9A priority patent/DE102021100496A1/de
Priority to JP2021003591A priority patent/JP2021119341A/ja
Priority to SG10202100377SA priority patent/SG10202100377SA/en
Publication of TW202127014A publication Critical patent/TW202127014A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種智能產線監測系統及監測方法，可監測一取像裝置所取像的一被檢物影像，主要讓一操作站主機提供一標記模組，以對分類器子系統的分類決定進行複判，而可基於人機協作達到驗證分類決定或檢查是否有漏判的目的；又，分類器子系統可自動篩選出可信度較低的分類決定，以有效減少複判次數；又，多張被檢物影像構成的一被檢物群組影像，可先經過分析而從中比對出差異圖像特徵，以適用於某些瑕疵訓練樣本較不足的情況；又，標記模組可同時對高度相關的歷史分類決定進行複判；另更可包含一第二取像裝置，以讓系統可基於修補前後的被檢物影像，自動標記瑕疵位置進而學習是否存在瑕疵之價值判斷。

Description

智能產線監測系統及監測方法
本發明涉及機器學習、影像辨識、影像處理與瑕疵檢測等技術，尤指一種可提高檢測效率與準確度、可複判分類器之判斷結果、可調整歷史判讀數據、可適用於訓練樣本數較少之被檢物、以及可避免漏判瑕疵的「智能產線監測系統及監測方法」。
隨著科技進步，電子零件的精密度要求日益趨高，為確保產品良率，在電子零件的製作過程通常會經過光學檢測與複判兩個階段，光學檢測階段主要以一自動外觀檢測裝置取得待檢物影像，並判斷待檢物是否存在瑕疵，複判階段是以人工方式對光學檢測階段所判定的瑕疵進一步檢查標記。
然而，雖自動外觀檢測裝置的檢測效率優於傳統的人工檢測方式，而可降低製作過程中所耗費的大量人力，但自動外觀檢測裝置的判讀結果若發生誤判與漏判，將可能讓有瑕疵的產品流向客戶端，並且，為了降低複判階段的工作量，作業員通常僅能針對自動外觀檢測裝置判斷為瑕疵品的影像進行檢查標記，並無法針對完整或其它部分的待檢物影像進行檢查標記。
再者，目前於複判階段，由於作業員仍須對自動外觀檢測裝置所判斷的每張瑕疵影像進行檢查標記，故仍有人力消耗大的缺點，且可能因為人的視覺疲勞等原因，而仍存在一定的漏檢機率，並且，若部分電子零件的瑕疵訓練樣本數不足，則複判階段的作業員將可能因為自動外觀檢測裝置難以判別是否有瑕疵，而導致其需要自行判斷每張待檢物影像是否有瑕疵與進行標記，故針對極少數瑕疵的情況，仍有複判階段人力消耗較大的缺點。
因此，由於習知的瑕疵監測系統，仍有上述缺點，故如何基於人機協作模式，而提出一種可改善工業流程、可提高瑕疵檢測效率與準確度、可適用於訓練樣本數較少之待檢物、以及可避免漏判瑕疵特徵的瑕疵監測技術，仍為有待解決之問題。
為達上述目的，本發明提出一種智能產線監測系統，可監測一取像裝置對一被檢物所取像的一被檢物影像，系統主要包含一訓練子系統、一操作站主機及一分類器子系統；訓練子系統儲存有對應於被檢物之類型的一訓練模組；操作站主機運行有一標記模組；分類器子系統可讀取訓練模組以解析被檢物影像的圖像特徵，並作出一分類決定以發送至操作站主機，其中，若分類決定若被視為異常，則分類決定可包含一完整影像及具有至少一複判標記的一異常影像；標記模組可輸入關聯於異常影像的一複判操作，以更新分類決定，並由操作站主機發送至訓練子系統，標記模組亦供以標記關聯於完整影像的一漏判標記，以輸入一第二複判操作而生成取代分類決定的一第二分類決定，並由操作站主機發送至訓練子系統，接著，訓練子系統可依據更新後的分類決定及第二分類決定，即時更新訓練模組及連接於訓練模組的一標記資料庫。
於另一實施例中，更可包含一影像相關性分析模組，其可對多張被檢物影像構成的一被檢物群組影像進行分析，若多張被檢物影像之間存在差異，則可從被檢物群組影像中比對出至少一差異圖像特徵，依此，分類器子系統係可解析影像相關性分析模組所生成的差異圖像特徵，以作出分類決定。
於再一實施例中，更可包含一第二取像裝置，其可對基於異常影像而完成修補的被檢物進行取像，以取得至少一修補後被檢物影像，並可標記被檢物影像與修補後被檢物影像之間的至少一圖像差異特徵，並將被標記的圖像差異特徵、及修補後被檢物影像即時發送至訓練子系統。
除了以上功能，分類器子系統可具有一標記篩選單元，其可篩選出可信度較低的分類決定，再由分類器子系統發送至操作站主機。
除了以上功能，操作站主機可運行有一歷史標記複判模組，其可顯示與分類決定形成高度相關的一歷史分類決定，歷史標記複判模組可輸入關聯於歷史分類決定的一第三複判操作，以更新儲存於訓練子系統的歷史分類決定。
為使 貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。
請參閱「第1圖」~「第2圖」，其皆為本發明第一實施例的方塊示意圖，並請搭配參閱「第3圖」，本實施例的智能產線監測系統10可監測一取像裝置101對一被檢物所取像的一被檢物影像I，主要包含一訓練子系統102、一操作站主機103及一分類器子系統104，分類器子系統104可分別通過一網路與取像裝置101、訓練子系統102及操作站主機103通訊連接，其中： (1)  取像裝置101可包含複數個影像感測單元(圖中未繪示)，該等影像感測單元可為一電荷耦合元件(CCD)或一互補式金屬氧化物半導體(CMOS)元件，取像裝置101還可包含至少一鏡頭(圖中未繪示)，其用於將被檢物影像I聚焦於影像感測單元； (2)  訓練子系統102可儲存對應於被檢物類型(例如對應於特定料號)的至少一訓練模組1021，訓練模組1021可為例如LeNet、AlexNet、VGGnet、NIN、GoogLeNet, MobileNet、SqueezeNet、ResNet、SiameseNet、NASNet、RNN或其它基於卷積神經網路的訓練模型，但不以此為限，且部分的訓練模型可對應至例如物件偵測(Detection)、物件切割、物件分類等任務的訓練模型，並且訓練模組1021可連接於一標記資料庫1022，標記資料庫1022本身可為一資料庫主機，或是儲存於訓練子系統102的多個資料表(Table)的集合，標記資料庫1022可儲存多筆預訓練資料集，例如包含預先標記的分類決定及對應的訓練樣本影像，標記資料庫1022亦可儲存隨時更新的多張被檢物影像I及多個對應的分類決定(更新自操作站主機103的回傳資料，分類決定可為更新後分類決定C1’及/或第二分類決定C2，細節詳述如後)； (3)  操作站主機103連接於訓練子系統，且操作站主機103運行有一標記模組1031，操作站主機103亦可讀取訓練子系統102，以通過網路即時調整各訓練模組1021之訓練模型的權重參數，或是通過網路即時調整訓練模組1021所使用的預訓練資料集等資訊； (4)  分類器子系統104可讀取訓練模組1021以解析被檢物影像I的圖像特徵，並作出一分類決定C1以發送至操作站主機103，分類決定C1若被視為異常，則分類決定C1可包含一完整影像及具有至少一複判標記T的一異常影像；較佳地，本實施例的分類決定C1更可包含一參考影像；較佳地，在分類器子系統104作出分類決定C1前，分類器子系統104或取像裝置101可先對被檢物影像I執行一影像處理程序，前述的影像處理程序可被定義為一影像預處理程序、一圖像分割程序(Region Segmentation)及一特徵提取程序之其中一種或其組合；較佳地，分類器子系統104從取像裝置101所接收的被檢物影像I，亦可為取像裝置101基於一自動光學檢測（Automated Optical Inspection，AOI）技術而過濾出的多張異常被檢物影像，並且，前述的異常被檢物影像更可包含對應於複判標記T的瑕疵位置資訊； (5)  標記模組1031可輸入關聯於異常影像的一複判操作OP1，以生成一更新後分類決定C1’，並由操作站主機103發送至訓練子系統102，標記模組1031亦可標記關聯於完整影像的一漏判標記(圖中未繪示)，以輸入一第二複判操作OP2，而生成取代分類決定C1的一第二分類決定C2，並由操作站主機103發送至訓練子系統102； (6)  其中，標記模組1031得以一圖形化使用者介面(GUI)的形式呈現於操作站主機103的顯示螢幕，即如「第3圖」所示，圖中例示了分類決定C1可包含完整影像、複判標記T、參考影像R及異常影像E，而複判操作OP1可透過例如觸發圖中所示的「GOOD」或「NG」按鈕元件(Button)而產生，而完整影像則可透過例如顯示模式的切換予以呈現，但並不以此為限； (7)  依此，訓練子系統102可依據更新後分類決定C1’及第二分類決定C2，即時更新訓練模組1021及連接於訓練模組1021的標記資料庫1022，意即可將更新後分類決定C1’及第二分類決定C2即時輸入至標記資料庫1022的預訓練資料集，以讓訓練模組1021依據更新後的預訓練資料集，即時訓練訓練模組1021的訓練模型； (8)  其中，作為示例，被檢物可為一印刷電路板(PCBA)、一緊固件(Fasteners)、一軟性印刷電路板(Flexible Print Circuit)、一橡膠品(Rubber)、一醫療影像(例如X光、超音波、CT、MRI等影像)、一數位病理影像或一影像感測器(Image Sensor)等，但均不以此為限；若檢測印刷電路板，則可監測其是否存在有短路、空焊、錫多、錫少、錫洞、異物等情形；若檢測緊固件，則可監測其是否存在有刮傷、異物、缺角等情形；若檢測軟性印刷電路板或橡膠品，則可監測其是存在有刮傷、毛邊、缺角、異物等情形；若檢測影像感測器，則可監測其是否存在有瑕疵、異物等情形，若檢測醫療影像，則可監測例如其病灶之處。
承上，本發明依第一實施例據以實施後，因操作站主機103不只可監測到具有複判標記T的異常影像，還可對完整的被檢物影像I進行檢查標記，故相較於作業員僅能對自動外觀檢測裝置所發出的瑕疵影像進行檢查標記的習知作法，本發明可讓操作站主機103於複判階段時，分別監測到完整影像、及分類器子系統104判斷為異常的異常影像，而能避免讓分類器子系統104漏判的異常被檢物輸送至產線的下一階段，而至少可達成降低瑕疵產品流向客戶端之機率的有利功效，並且，假設被檢物為一般螺絲，由於其修補成本(內部成本)可能普遍高於客戶端的退貨成本(外部成本)，故本實施例尤其適於此種不需即時修補的被檢物。
請接續參閱「第4圖」及「第5圖」，其分別為本發明第一實施例之一變化例的方塊示意圖及方法流程圖，作為進一步的改進，本實施例之智能產線監測系統10的分類器子系統104更具有可被調整為開啟或關閉狀態的一標記篩選單元1041，且本發明於此實施例提出一智能產線監測方法S1，當分類器子系統104對被檢物影像I解析圖像特徵與作出分類決定(步驟S110:解析圖像特徵與作出分類決定)後，標記篩選單元1041可例如依據各複判標記T所對應的一信心分數(confidence)，自動篩選出可信度較低的分類決定C1_LOW，其中，分類決定C1_LOW可包含複判標記T與異常影像，較佳地，本實施例的分類決定C1_LOW亦可包含參考影像，其後，分類器子系統104可將可信度較低的分類決定C1_LOW發送至操作站主機103(步驟S120:自動篩選標記)，以由標記模組1031依據可信度較低的分類決定C1_LOW接續生成更新後分類決定C1’及/或第二分類決定C2(步驟S130:輸入複判操作)，並更新訓練子系統102的標記資料庫1022與訓練模組1021(步驟S140:即時更新訓練模組)，藉此，可信度較高的複判標記T及其對應的異常影像將毋須再由操作站主機103進行複判，故操作站主機103的標記模組1031可毋須一一對各張異常影像進行複判標記T的驗證(或稱複判)，而可減少操作站主機103輸入複判操作的次數，進而能減少於複判階段的人力消耗。
請接續參閱「第6圖」，其為本發明第一實施例之另一變化例的方塊示意圖，並請參照「第2圖」，為讓操作站主機103的標記模組1031於當下輸入複判操作OP1及/或第二複判操作OP2的同時，有機會對先前誤判的分類決定進行修正，以避免下次操作站主機103再次從分類器子系統104接收不夠正確的分類決定C1，故作為進一步的改進，本實施例之智能產線監測系統10的操作站主機103可運行有一歷史標記複判模組1032，其可顯示與分類決定C1形成高度相關的一歷史分類決定HC，其中，歷史分類決定HC可包含具有至少一歷史標記的一歷史影像，更具體而言，例如當操作站主機103接收的分類決定C1若包含出現「短路」特徵的異常影像時，則歷史標記複判模組1032可從訓練子系統102的標記資料庫1022讀取出歷史分類決定HC同樣包含「短路」特徵，但該筆歷史分類決定HC卻未被歸類於「異常」(即先前複判為良品)的歷史影像，而本實施例的歷史標記複判模組1032可供輸入關聯於歷史分類決定HC的一第三複判操作OP3，以修改過去的歷史分類決定HC，進而將原先儲存於訓練子系統102的歷史分類決定HC，更新為一更新後歷史分類決定HC’，意即將更新後歷史分類決定HC’即時輸入至標記資料庫1022的預訓練資料集中，以讓訓練模組1021依據更新後的預訓練資料集，即時訓練訓練模組1021儲存的訓練模型。
請參閱「第7圖」及「第8圖」，其分別為本發明第二實施例的方塊示意圖與方法流程圖，本實施例與「第1圖」~「第3圖」所示實施例的技術類同，主要差異在於，本實施例的智能產線監測系統10更可包含連接於取像裝置101的一影像相關性分析模組105，故當智能產線監測方法S1中的取像裝置101對被檢物完成取像後，影像相關性分析模組105可先對多張被檢物影像I構成的一被檢物群組影像I_G進行分析(步驟S105:分析群組影像)，若多張被檢物影像I之間存在差異，則影像相關性分析模組105可從被檢物群組影像I_G中比對出至少一差異圖像特徵，例如抓取該些被檢物影像I中於特定影像位置的差異，而作出分類決定C1；反之，若多張被檢物影像I之間不存在差異，則影像相關性分析模組105可直接將多張被檢物影像I轉傳至分類器子系統104，以由分類器子系統104直接對多張被檢物影像I進行圖像特徵的解析，而作出分類決定C1，本實施例的分類器子系統104可分別連接於訓練子系統102、影像相關性分析模組105及操作站主機103，其中，本實施例的分類器子系統104可讀取訓練模組1021以解析被檢物群組影像I_G所發送的差異圖像特徵，並作出分類決定C1以發送至操作站主機103，另，分類決定C1可包含的資訊、標記模組1031所能輸入之資訊、以及操作站主機103發送至訓練子系統102的資訊，皆與第一實施例類同，於此不再贅述。
承上，本發明依第二實施例據以實施後，可讓影像相關性分析模組105將取像裝置101所獲取的多張被檢物影像I(即原始影像)、或取像裝置101基於自動光學檢測(AOI)技術而過濾出的多張異常被檢物影像，均視為被檢物群組影像I_G，並進行差異圖像特徵的比對，而可適用於某些被檢物的異常影像(即瑕疵影像的訓練樣本)普遍較少的情況，並且，前述的異常被檢物影像更可包含對應於複判標記T的瑕疵位置資訊。
請接續參閱「第9圖」，其為本發明第二實施例之一變化例的方塊示意圖，並請搭配參閱「第1圖」，作為進一步的改進，本實施例之智能產線監測系統10的分類器子系統104更可具有一標記篩選單元1041，其可例如依據各複判標記(T、…)所對應的一信心分數，篩選出可信度較低的分類決定C1，其中，此分類決定C1_LOW可包含複判標記T與異常影像，較佳地，本實施例的分類決定C1_LOW更可包含參考影像，其後，分類器子系統104可將可信度較低的分類決定C1_LOW發送至操作站主機103，進而由標記模組1031接續生成更新後分類決定C1’及/或第二分類決定C2，藉此，本實施例的標記模組1031可讓使用者毋須一一對各張異常影像均進行複判標記T的驗證(或稱複判)，而可減少操作站主機103輸入複判操作的次數，而能減少人力消耗。
請接續參閱「第10圖」，其為本發明第二實施例之另一變化例的方塊示意圖，作為進一步的改進，本實施例之智能產線監測系統10的操作站主機103可運行有一歷史標記複判模組1032，其可顯示與分類決定C1形成高度相關的一歷史分類決定HC，其中，歷史分類決定HC可包含具有至少一歷史標記的一歷史影像，歷史標記複判模組1032可供輸入關聯於歷史分類決定HC的一第三複判操作OP3，以修改過去的分類決定，而將儲存於訓練子系統102的歷史分類決定HC，更新為一更新後歷史分類決定HC’，意即將更新後歷史分類決定HC’即時輸入至標記資料庫1022的預訓練資料集中，以讓訓練模組1021依據更新後的預訓練資料集，即時訓練訓練模組1021儲存的訓練模型。
請參閱「第11圖」及「第12圖」，其分別為本發明第三實施例的方塊示意圖與方法流程圖，本實施例的智能產線監測系統10與「第1圖」所示實施例的技術類同，主要差異在於，本實施例之智能產線監測系統10更可包含分別連接於操作站主機103與訓練子系統102的一第二取像裝置106，且本發明於此實施例提出一智能產線監測方法S2，當分類器子系統104對被檢物影像I解析圖像特徵與作出分類決定C1後(步驟S210：解析圖像特徵與作出分類決定)，第二取像裝置106可對基於分類器子系統104所發送的異常影像(本實施例的分類決定C1可不具有複判標記)而完成修補的被檢物進行取像，以取得至少一修補後被檢物影像I’(步驟S220:擷取修補後影像與標記)，並可由第二取像裝置106標記（例如基於自動光學檢測(AOI)技術）被檢物影像I與修補後被檢物影像I’之間的至少一圖像差異特徵，以及將修補後被檢物影像I’視為一非異常影像，並由第二取像裝置106發送至訓練子系統102，以供訓練子系統102依據被標記的圖像差異特徵，以及修補後被檢物影像I’，即時更新訓練模組1021及連接於訓練模組1021的標記資料庫1022(步驟S230:即時更新訓練模組)；其中，作為示例，本實施例所提及的第二取像裝置106係可透過設置於操作站主機103的方式完成資訊連接，並且，操作站主機103本身亦可具備修補功能，且操作站主機103可為一工業用或消費用機器人；另，第二取像裝置106的元件組成可類同於第一或第二實施例的取像裝置101，於此不再贅述；另，操作站主機103或分類器子系統104亦可標記被檢物影像I與修補後被檢物影像I’之間的圖像差異特徵。
承上，本發明依第三實施例據以實施後，針對作廢成本高於修補成本、且人工修補成本普遍低於客戶端之退貨成本的被檢物，例如生產完即需出貨的PCBA插件(Dual in-line Package，DIP)，第三實施例尤其適於此種須即時修補的被檢物，並且，本實施例的操作站主機103藉此可毋須運行標記模組1031，以由訓練子系統102自行依據修補前後的被檢物影像，學習瑕疵位置之所在，以及學習是否存在瑕疵之價值判斷。
請接續參閱「第13圖」，其為本發明第三實施例之一變化例的方塊示意圖，作為進一步的改進，本實施例之智能產線監測系統10的第二取像裝置可為一擴增實境顯示器ARD，供以使分類決定C1包含的異常影像可呈現在擴增實境顯示器ARD，而本實施例的分類決定C1中的複判標記及參考影像亦可同步呈現在擴增實境顯示器ARD，且本實施例的第二取像裝置 (即擴增實境顯示器ARD)亦可記錄被檢物於修補時的一修補點資訊Fix，以指定修補點資訊Fix為一圖像差異特徵，並由第二取像裝置發送至訓練子系統102，以供訓練子系統102即時更新訓練模組1021及連接於訓練模組1021的標記資料庫1022，依此，本實施例由於可讓使用者通過擴增實境顯示器ARD一邊修補被檢物，一邊自動記錄被檢物的修補點資訊，故可達到替代「第1圖」所示標記模組1031的功能，而毋須讓使用者進行複判操作或第二複判操作之輸入。
其中，作為示例，本發明所稱的取像裝置、訓練子系統、操作站主機、分類器子系統、影像相關性分析模組及第二取像裝置若皆為實體裝置，則其皆可包含一處理器，其可具備邏輯運算、暫存運算結果、保存執行指令位置等功能，且處理器可以例如是一中央處理器(CPU)、一虛擬處理器(vCPU)、一微處理器(MPU)、一微控制器(MCU)、一應用處理器(AP)、一嵌入式處理器、一特殊應用積體電路(ASIC)、一張量處理器(TPU)或一圖形處理器(GPU)等，但均不以此為限。
其中，作為示例，本發明所稱的訓練子系統、分類器子系統及影像相關性分析模組可為一伺服器或一軟體模組，且前述的伺服器及操作站主機可為實體的伺服器、或以虛擬機器(VM)形式運行的伺服器、或以虛擬專屬主機(Virtual Private Server)形式運行的伺服器、或一公有雲、或一私有雲、或一邊緣終端裝置(edge device)、或一嵌入式系統(Embedded System)或一行動裝置(例如手機)，但均不以此為限。
其中，作為示例，本發明所稱的網路可為公眾或私人網路，如無線網路(例如3G、4G LTE、Wi-Fi、藍芽)、有線網路、區域網路(LAN)、廣域網路(WA)等，但均不以此為限。
綜上可知，本發明據以實施後，至少可達成改善工業流程、提高瑕疵檢測效率與準確度、適用於訓練樣本數較少之待檢物、可避免漏判瑕疵、可減少瑕疵複判次數、可修正歷史誤判決定、可自動記錄修補點而毋須複判分類器結果、以及可線上即時訓練模型的有益功效。
以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。
綜上所述，本發明係具有「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向　鈞局提起發明專利之申請。
10:智能產線監測系統
101:取像裝置
102:訓練子系統
1021:訓練模組
1022:標記資料庫
103:操作站主機
1031:標記模組
R:參考影像
E:異常影像
OP1:複判操作
C1’:更新後分類決定
OP2:第二複判操作
C2:第二分類決定
1032:歷史標記複判模組
HC:歷史分類決定
OP3:第三複判操作
HC’:更新後歷史分類決定
104:分類器子系統
1041:標記篩選單元
C1:分類決定
C1_LOW:分類決定
T:複判標記
105:影像相關性分析模組
106:第二取像裝置
ARD:擴增實境顯示器
Fix:修補點資訊
I:被檢物影像
I_G:被檢物群組影像
I’:修補後被檢物影像
S1:智能產線監測方法
S105:分析群組影像
S110:解析圖像特徵與作出分類決定
S120:自動篩選標記
S130:輸入複判操作
S140:即時更新訓練模組
S2:智能產線監測方法
S210:解析圖像特徵與作出分類決定
S220:擷取修補後影像與標記
S230:即時更新訓練模組
第1圖，為本發明第一實施例的方塊示意圖(一)。 第2圖，為本發明第一實施例的方塊示意圖(二)。 第3圖，為本發明第一實施例的複判操作示意圖。 第4圖，為本發明第一實施例之一變化例的方塊示意圖。 第5圖，為本發明第一實施例之一變化例的方法流程圖。 第6圖，為本發明第一實施例之另一變化例的方塊示意圖。 第7圖，為本發明第二實施例的方塊示意圖。 第8圖，為本發明第二實施例的方法流程圖。 第9圖，為本發明第二實施例之一變化例的方塊示意圖。 第10圖，為本發明第二實施例之另一變化例的方塊示意圖。 第11圖，為本發明第三實施例的方塊示意圖。 第12圖，為本發明第三實施例的方法流程圖。 第13圖，為本發明第三實施例之一變化例的方塊示意圖。
10:智能產線監測系統
I:被檢物影像
C1:分類決定
T:複判標記
OP1:複判操作
C1’:更新後分類決定
OP2:第二複判操作
C2:第二分類決定

Claims (21)

  1. 一種智能產線監測系統，供以監測一取像裝置對一被檢物所取像的至少一被檢物影像，包含：一訓練子系統，儲存有對應於該被檢物之類型的一訓練模組；一操作站主機，連接於該訓練子系統，該操作站主機運行有一標記模組；一分類器子系統，分別連接於該取像裝置、該訓練子系統及該操作站主機；該分類器子系統供以讀取該訓練模組以解析該被檢物影像的圖像特徵，並作出一分類決定以發送至該操作站主機，該分類決定若被視為異常，則該分類決定包含一完整影像及具有至少一複判標記的一異常影像；該標記模組供以輸入關聯於該異常影像的一複判操作，以更新該分類決定，並由該操作站主機發送至該訓練子系統，該標記模組亦供以標記關聯於該完整影像的一漏判標記，以輸入一第二複判操作，而生成取代該分類決定的一第二分類決定，並由該操作站主機發送至該訓練子系統；以及該訓練子系統依據更新後的該分類決定及該第二分類決定，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  2. 如申請專利範圍第1項的智能產線監測系統，其中，該分類器子系統具有一標記篩選單元，其供以篩選出可信度較低的該分類決定，再由該分類器子系統發送至該操作站主機。
  3. 如申請專利範圍第1項的智能產線監測系統，其中，該操作站主機運行有一歷史標記複判模組，其顯示與該分類決定形成高度相關的一歷史分類決定，該歷史分類決定包含具有至少一歷史標記的一歷史影像，該歷史標記複判模組供以輸入關聯於該歷史分類決定的一第三複判操作，以更新儲存於該訓練子系統的該歷史分類決定。
  4. 如申請專利範圍第1項、第2項或第3項的智能產線監測系統，其中，該分類器子系統從該取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
  5. 一種智能產線監測系統，供以監測一取像裝置對一被檢物所取像的至少一被檢物影像，包含：一訓練子系統，儲存有對應於該被檢物之類型的一訓練模組；一操作站主機，連接於該訓練子系統，該操作站主機運行有一標記模組； 一影像相關性分析模組，連接於該取像裝置，其供以對多張該被檢物影像構成的一被檢物群組影像進行分析，以從群組影像中比對出至少一差異圖像特徵；一分類器子系統，分別連接於該訓練子系統、該影像相關性分析模組及該操作站主機；該分類器子系統供以讀取該訓練模組以解析該差異圖像特徵，並作出一分類決定以發送至該操作站主機，該分類決定若被視為異常，則該分類決定包含一完整影像及具有至少一複判標記的一異常影像；該標記模組供以輸入關聯於該異常影像的一複判操作，以更新該分類決定，並由該操作站主機發送至該訓練子系統；以及該標記模組亦供以輸入關聯於該完整影像的一漏判標記，以生成取代該分類決定的一第二分類決定，並由該操作站主機發送至該訓練子系統，以供該訓練子系統依據更新後的該分類決定及該第二分類決定，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  6. 如申請專利範圍第5項的智能產線監測系統，其中，該分類器子系統具有一標記篩選單元，其供以篩選出可信度較低的該分類決定，再由該分類器子系統發送至該操作站主機。
  7. 如申請專利範圍第5項的智能產線監測系統，其中，該操作站主機運行有一歷史標記複判模組，其顯示與該分類決定形成高度相關的一歷史分類決定，該歷史分類決定包含具有至少一歷史標記的一歷史影像，該歷史標記複判模組供以輸入關聯於該歷史分類決定的一第三複判操作，以更新儲存於該訓練子系統的該歷史分類決定。
  8. 如申請專利範圍第5項、第6項或第7項的智能產線監測系統，其中，該分類器子系統從該取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
  9. 一種智能產線監測系統，供以監測一取像裝置對一被檢物所取像的至少一被檢物影像，包含：一訓練子系統，儲存有至少一訓練模組，且該訓練模組對應於該被檢物的類型；一操作站主機；一分類器子系統，分別連接於該取像裝置、該訓練子系統及該操作站主機；該分類器子系統供以讀取該訓練模組以解析該被檢物影像的圖像特徵，並作出一分類決定以發送至該操作站主機，該分類決定若被視為異常，則該分類決定至少包含一異常影像；以及 一第二取像裝置，分別連接於該操作站主機與該訓練子系統，供以對基於該異常影像而完成修補的該被檢物進行取像，以取得至少一修補後被檢物影像，並將該修補後被檢物影像視為一非異常影像，再由該第二取像裝置發送至該訓練子系統，以供該訓練子系統依據被標記的該圖像差異特徵、以及該修補後被檢物影像，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  10. 如申請專利範圍第9項的智能產線監測系統，其中，該第二取像裝置為一擴增實境顯示器，供以使該分類決定呈現在該擴增實境顯示器，且該第二取像裝置亦供以記錄該被檢物於修補時的一修補點資訊，以指定該修補點資訊為該被檢物影像、及該修補後被檢物影像之間的至少一圖像差異特徵，並由該第二取像裝置發送至該訓練子系統，以供該訓練子系統依據被標記的該圖像差異特徵、以及該修補後被檢物影像，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  11. 如申請專利範圍第9項或第10項的智能產線監測系統，其中，該分類器子系統從該取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
  12. 一種智能產線監測方法，包含： (A)一解析圖像特徵與作出分類決定步驟：一分類器子系統讀取一訓練模組以解析一取像裝置所獲取之一被檢物影像的圖像特徵，並作出至少一分類決定以發送至一操作站主機，該分類決定若被視為異常，則該分類決定包含一完整影像及具有一複判標記的一異常影像；(B)一自動篩選標記步驟：如該複判標記為多個，則該分類器子系統篩選出可信度較低的該分類決定，再由該分類器子系統發送至該操作站主機；(C)一輸入複判操作步驟：該操作站主機的一標記模組輸入關聯於該異常影像的一複判操作，以更新該分類決定，並由該操作站主機發送至一訓練子系統；以及(D)一即時更新訓練模組步驟：該訓練子系統依據更新後的該分類決定，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  13. 如申請專利範圍第12項的智能產線監測方法，其中，(C)步驟執行時，該標記模組亦標記關聯於該完整影像的一漏判標記，以輸入一第二複判操作而生成取代該分類決定的一第二分類決定，並由該操作站主機發送至該訓練子系統，其後，(D)步驟執行時，該訓練子系統亦依據該第二分類決定，即時更新該訓練模組及該標記資料庫。
  14. 如申請專利範圍第12項的智能產線監測方法，其中，(B)步驟執行時，該操作站主機顯示與該分類決定形成 高度相關的一歷史分類決定，該歷史分類決定包含具有至少一歷史標記的一歷史影像，並令一歷史標記複判模組輸入關聯於該歷史分類決定的一第三複判操作，以更新儲存於該訓練子系統的該歷史分類決定。
  15. 如申請專利範圍第12項、第13項或第14項的智能產線監測方法，其中，(A)步驟執行前，該分類器子系統從該取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
  16. 一種智能產線監測方法，包含：(A)一分析群組影像步驟：一影像相關性分析模組對多張被檢物影像構成的一被檢物群組影像進行分析，若多張該被檢物影像之間存在差異，則該影像相關性分析模組從群組影像中比對出至少一差異圖像特徵，若多張該被檢物影像之間不存在差異，則該影像相關性分析模組將該被檢物群組影像轉傳至一分類器子系統；(B)一解析圖像特徵與作出分類決定步驟：若多張該被檢物影像之間存在差異，則該分類器子系統讀取一訓練模組以解析該差異圖像特徵，並作出一分類決定；若多張該被檢物影像之間不存在差異，則該分類器子系統讀取該訓練模組以解析該多張該被檢物影像的圖像特徵，並作出該分類決定，該分類決定由該分類器子系統發送至一操作站主機，其 中，該分類決定若被視為異常，則該分類決定包含一完整影像及具有至少一複判標記的一異常影像；(C)一自動篩選標記步驟：如該複判標記為多個，則該分類器子系統篩選出可信度較低的該分類決定，再由該分類器子系統發送至該操作站主機；(D)一輸入複判操作步驟：該操作站主機的一標記模組輸入關聯於該異常影像的一複判操作，以更新該分類決定，並由該操作站主機發送至一訓練子系統；以及(E)一即時更新訓練模組步驟：該訓練子系統依據更新後的該分類決定，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  17. 如申請專利範圍第16項的智能產線監測方法，其中，(D)步驟執行時，該標記模組亦標記關聯於該完整影像的一漏判標記，以輸入一第二複判操作而生成取代該分類決定的一第二分類決定，並由該操作站主機發送至該訓練子系統，其後，(E)步驟執行時，該訓練子系統亦依據該第二分類決定，即時更新該訓練模組及該標記資料庫。
  18. 如申請專利範圍第16項的智能產線監測方法，其中，(C)步驟執行時，該操作站主機顯示與該分類決定形成高度相關的一歷史分類決定，該歷史分類決定包含具有至少一歷史標記的一歷史影像，並令一歷史標記複判模組輸入關 聯於該歷史分類決定的一第三複判操作，以更新儲存於該訓練子系統的該歷史分類決定。
  19. 如申請專利範圍第16項、第17項或第18項的智能產線監測方法，其中，(A)步驟執行前，該分類器子系統從一取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
  20. 一種智能產線監測方法，包含：(A)一解析圖像特徵與作出分類決定步驟：一分類器子系統讀取一訓練模組以解析一取像裝置所獲取之一被檢物影像的圖像特徵，並作出至少一分類決定以發送至一操作站主機，該分類決定若被視為異常，則該分類決定至少包含一異常影像；(B)一擷取修補後影像與標記步驟：一第二取像裝置對基於該異常影像而完成修補的一被檢物進行取像，以取得至少一修補後被檢物影像，並標記該被檢物影像與該修補後被檢物影像之間的至少一圖像差異特徵，並將該修補後被檢物影像視為一非異常影像，並由該第二取像裝置發送至一訓練子系統；以及(C)一即時更新訓練模組步驟：該訓練子系統依據被標記的該圖像差異特徵、以及該修補後被檢物影像，即時更新該訓練模組、及連接於該訓練模組的一標記資料庫。
  21. 如申請專利範圍第20項的智能產線監測方法，其中，(A)步驟執行前，該分類器子系統從該取像裝置取得的至少一該被檢物影像，為該取像裝置基於AOI技術而過濾出的至少一異常被檢物影像。
TW109101082A 2020-01-13 2020-01-13 智能產線監測系統及監測方法 TWI707137B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW109101082A TWI707137B (zh) 2020-01-13 2020-01-13 智能產線監測系統及監測方法
CN202110009665.9A CN113111903A (zh) 2020-01-13 2021-01-05 智能产线监测***及监测方法
US17/147,231 US11947345B2 (en) 2020-01-13 2021-01-12 System and method for intelligently monitoring a production line
DE102021100496.9A DE102021100496A1 (de) 2020-01-13 2021-01-13 Intelligentes Produktionslinienüberwachungssystem und Überwachungsverfahren
JP2021003591A JP2021119341A (ja) 2020-01-13 2021-01-13 生産ラインスマート監視システム及び監視方法
SG10202100377SA SG10202100377SA (en) 2020-01-13 2021-01-13 System and method for intelligently monitoring the production line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109101082A TWI707137B (zh) 2020-01-13 2020-01-13 智能產線監測系統及監測方法

Publications (2)

Publication Number Publication Date
TWI707137B true TWI707137B (zh) 2020-10-11
TW202127014A TW202127014A (zh) 2021-07-16

Family

ID=74103638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109101082A TWI707137B (zh) 2020-01-13 2020-01-13 智能產線監測系統及監測方法

Country Status (6)

Country Link
US (1) US11947345B2 (zh)
JP (1) JP2021119341A (zh)
CN (1) CN113111903A (zh)
DE (1) DE102021100496A1 (zh)
SG (1) SG10202100377SA (zh)
TW (1) TWI707137B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147329A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 一种柔性面板的修复方法、装置、设备及存储介质
IT202100025502A1 (it) * 2021-10-07 2023-04-07 Innoida S R L Metodo di automatizzazione dei processi di controllo qualita’ in ambito manifatturiero
CN116165220B (zh) * 2023-04-25 2023-07-04 苏州鑫信腾科技有限公司 一种基于人工智能的aoi内观检测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201622469A (zh) * 2014-09-02 2016-06-16 勤生 常 智能移動物聯網的綠色通信系統和方法
TW201921542A (zh) * 2017-08-30 2019-06-01 美商克萊譚克公司 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷
TW201945970A (zh) * 2018-04-30 2019-12-01 德商馬克專利公司 用於自動物件辨識及鑑認之方法及系統

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599894B2 (en) * 2005-03-04 2009-10-06 Hrl Laboratories, Llc Object recognition using a cognitive swarm vision framework with attention mechanisms
US8116575B1 (en) * 2008-02-26 2012-02-14 Hrl Laboratories, Llc System for anomaly detection using sub-space analysis
US10937168B2 (en) * 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
CN106203523B (zh) * 2016-07-17 2019-03-01 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类方法
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
TW202001795A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 瑕疵分類標記系統及瑕疵分類標記方法
US20200005422A1 (en) * 2018-06-29 2020-01-02 Photogauge, Inc. System and method for using images for automatic visual inspection with machine learning
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法
EP4046072A1 (en) * 2019-11-12 2022-08-24 Bright Machines, Inc. Image analysis system for testing in manufacturing
KR20220117126A (ko) * 2019-12-20 2022-08-23 보에 테크놀로지 그룹 컴퍼니 리미티드 분산형 제품 결함 분석 시스템 및 방법, 및 컴퓨터 판독가능 저장 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201622469A (zh) * 2014-09-02 2016-06-16 勤生 常 智能移動物聯網的綠色通信系統和方法
TW201921542A (zh) * 2017-08-30 2019-06-01 美商克萊譚克公司 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷
TW201945970A (zh) * 2018-04-30 2019-12-01 德商馬克專利公司 用於自動物件辨識及鑑認之方法及系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器

Also Published As

Publication number Publication date
DE102021100496A1 (de) 2021-08-12
TW202127014A (zh) 2021-07-16
JP2021119341A (ja) 2021-08-12
US20210216062A1 (en) 2021-07-15
US11947345B2 (en) 2024-04-02
SG10202100377SA (en) 2021-08-30
CN113111903A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
TWI707137B (zh) 智能產線監測系統及監測方法
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
US20190139212A1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
WO2019206209A1 (zh) 基于机器学习的眼底图像检测方法、装置及***
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN109946303A (zh) 检查装置和方法
CN104483320B (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
US20040247171A1 (en) Image processing method for appearance inspection
CN108830332A (zh) 一种视觉车辆检测方法及***
CN112088387A (zh) 检测成像物品缺陷的***和方法
Mahalingam et al. Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
TWI747686B (zh) 缺陷檢測方法及檢測裝置
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
WO2017107533A1 (zh) 一种电子元件样本标注方法及装置
CN109285140A (zh) 一种印刷电路板图像配准评估方法
JP2022507678A (ja) 自動目視検査プロセスにおけるセットアップ段階の最適化
CN113222938A (zh) 芯片缺陷检测方法及***与计算机可读存储介质
TWI694250B (zh) 表面缺陷偵測系統及其方法
CN109685756A (zh) 影像特征自动辨识装置、***及方法
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其***
CN105973910A (zh) 基于结构纹理特征的灯管质量检测与瑕疵分类方法及***
KR20210106038A (ko) 딥러닝 기반의 ai 기술을 활용한 2차전지 분리막 자동 검사장치