JP2021119341A - 生産ラインスマート監視システム及び監視方法 - Google Patents

生産ラインスマート監視システム及び監視方法 Download PDF

Info

Publication number
JP2021119341A
JP2021119341A JP2021003591A JP2021003591A JP2021119341A JP 2021119341 A JP2021119341 A JP 2021119341A JP 2021003591 A JP2021003591 A JP 2021003591A JP 2021003591 A JP2021003591 A JP 2021003591A JP 2021119341 A JP2021119341 A JP 2021119341A
Authority
JP
Japan
Prior art keywords
image
inspected
training
subsystem
classification decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021003591A
Other languages
English (en)
Other versions
JP2021119341A5 (ja
Inventor
蕭百亨
Pai-Heng Hsiao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Memorence Ai Ltd
Original Assignee
Memorence Ai Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Memorence Ai Ltd filed Critical Memorence Ai Ltd
Publication of JP2021119341A publication Critical patent/JP2021119341A/ja
Publication of JP2021119341A5 publication Critical patent/JP2021119341A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】機械学習、画像認識、画像処理や欠陥測定などの技術に関し、欠陥の判定漏れを回避することが可能な生産ラインスマート監視システム及び監視方法を提供する。【解決手段】操作ステーションにマーキングモジュールを提供させ、ヒューマン・ロボット・コラボレーションに基づき分類決定又は検査に判定漏れがあるか否かを検証し、分類器サブシステムは再判定の回数を減らすため、信頼度が比較的低い分類決定を自動で選別でき、複数の被検査対象物画像から構成される被検査対象物グループは欠陥トレーニングサンプルが不足している状況に適用するため、分析を通じその中から異なる画像特徴を抽出でき、マーキングモジュールは同時に関連性の高い過去分類決定の再判定を行う。【選択図】図２

Description

本発明は、機械学習、画像認識、画像処理や欠陥測定などの技術に関し、特に測定効率と精度を向上させること、分類器が出した判定結果を再判定すること、過去の判読データを調整すること、トレーニングサンプルが比較的少ない被検査対象物へ適用すること、欠陥の判定漏れを回避することが可能な「生産ラインスマート監視システム及び監視方法」に関する。
科学技術の進歩に伴い、電子部品の精度に対する要求は日に日に高まってきている。製品の歩留まり率を確保するため、通常電子部品の製造工程には光学測定と再判定の２つの段階が設けられている。光学測定段階では主に自動外観検査装置で検査対象物画像を取得し、検査対象物に欠陥が存在するか否かを判断する。再判定段階では光学測定段階が判断した欠陥に対して手動でマーキング検査を行う。
自動外観検査装置は従来の手動による測定と比べ、測定効率に優れ、製造工程で消耗される多くの労働力を削減できるものの、自動外観検査装置の判読結果に誤りや漏れがあった場合、欠陥品が顧客側に渡る可能性が出てくる。また、再判定段階の作業量を抑えるため、作業員は通常、自動外観検査装置が欠陥品と判断した画像に対してマーキング検査を行うだけで、検査対象物画像の全体又はその他の部分に対するマーキング検査は行わない。
その上、現在再判定段階において、作業員は自動外観検査装置が判断した欠陥画像を１枚ずつマーキング検査する必要があるため、労働力の消耗が大きいという欠点が存在し、且つ目の疲れなどによる一定の検査漏れ率が存在する。一部電子部品の欠陥トレーニングサンプルが不足している場合、自動外観検査装置では欠陥が存在するか否かの判別が難しいため、再判定段階の作業員が自ら検査対象物画像それぞれに欠陥が存在するか否かを見極め、マーキングをしなければならない。そのため、欠陥が極めて少ない状況であっても、再判定段階における労働力の消耗が大きいという欠点が存在する。
従来の欠陥監視システムには前記のような欠点が存在するため、ヒューマン・ロボット・コラボレーションに基づき、工業プロセスを改善でき、欠陥測定効率と精度を向上でき、トレーニングサンプル数が比較的少ない被検査対象物へ適用でき、欠陥特徴の判定漏れを回避できる欠陥監視技術をいかにして提案するかは、解決が待たれる問題である。
上記目的を達成するため、本発明は画像取得装置が被検査対象物から取得した被検査対象物画像を監視できる生産ラインスマート監視システムを提案する。当該システムは主にトレーニングサブシステム、操作ステーション、分類器サブシステムを含み、トレーニングサブシステムは被検査対象物のタイプに対応するトレーニングモジュールが記録され、操作ステーションはマーキングモジュールを実行し、分類器サブシステムは被検査対象物画像の画像特徴を解析するためにトレーニングモジュールを読み取り、分類決定を出して操作ステーションに送信することができ、分類決定が異常と見なされた場合、分類決定は完全な画像及び少なくとも１つの再判定マークを有する異常画像を含むことができる。マーキングモジュールは分類決定を更新するために異常画像に関連する再判定操作を入力し、操作ステーションからトレーニングサブシステムに送信することができる。またマーキングモジュールは、第２再判定操作を入力し分類決定に取って代わる第２分類決定を生成するために完全な画像に関連する判定漏れマークをマーキングし、操作ステーションからトレーニングサブシステムに送信することができる。その後、トレーニングサブシステムは更新後の分類決定及び第２分類決定に基づき、トレーニングモジュール及びトレーニングモジュールに接続されるマーキングデータベースを即時に更新することができる。
別の実施形態において、複数の被検査対象物画像から構成される被検査対象物グループ画像の分析を行うことができ、複数の被検査対象物画像間において差異がある場合、被検査対象物グループ画像の中から少なくとも１つの差異画像特徴を抽出することができる画像関連性分析モジュールを含むことができ、これにより、分類器サブシステムは画像関連性分析モジュールが生成する差異画像特徴を解析し、分類決定を出すことができる。
さらに別の実施形態において、異常画像に基づき修復された被検査対象物画像を取得することで少なくとも１つの修復後被検査対象物画像を取得し、被検査対象物画像と修復後被検査対象物画像間の少なくとも１つの画像差異特徴をマーキングし、マーキングされた画像差異特徴、及び修復後被検査対象物画像を即時にトレーニングサブシステムに送信することができる第２画像取得装置を含むことができる。
上記機能のほか、分類器サブシステムは信頼度が比較的低い分類決定を選別し、分類器サブシステムから操作ステーションに送信するマーキング選別ユニットを有することができる。
上記機能のほか、操作ステーションは分類決定と関連性の高い過去分類決定を表示できる過去マーキング再判定モジュールを実行することができる。過去マーキング再判断モジュールはトレーニングサブシステムに保存されている過去分類決定を更新するために過去分類決定に関連する第３再判定操作を入力することができる。
本発明の目的、技術的特徴及び実施後の効果がより理解されるよう、以下に図面を参照しながら説明を行う。
図１は本発明の第1実施形態に係る概略ブロック図（一）である。 図２は本発明の第1実施形態に係る概略ブロック図（二）である。 図３は本発明の第1実施形態の再判定操作に係る概略図である。 図４は本発明の第1実施形態の変化例に係る概略ブロック図である。 図５は本発明の第1実施形態の変化例に係る方法フローチャートである。 図６は本発明の第1実施形態の別の変化例に係る概略ブロック図である。 図７は本発明の第２実施形態に係る概略ブロック図である。 図８は本発明の第２実施形態に係る方法フローチャートである。 図９は本発明の第２実施形態の変化例に係る概略ブロック図である。 図１０は本発明の第２実施形態の別の変化例に係る概略ブロック図である。 図１１は本発明の第３実施形態に係る概略ブロック図である。 図１２は本発明の第３実施形態に係る方法フローチャートである。 図１３は本発明の第３実施形態の変化例に係る概略ブロック図である。
本発明の第１実施形態に係る概略ブロック図である「図１」〜「図２」、及び「図３」を参照されたい。本実施形態の生産ラインスマート監視システム１０は、画像取得装置１０１が被検査対象物から取得した被検査対象物影像Ｉを監視することができ、主にトレーニングサブシステム１０２、操作ステーション１０３及び分類器サブシステム１０４を含み、分類器サブシステム１０４はネットワークを通じ画像取得装置１０１、トレーニングサブシステム１０２及び操作ステーション１０３にそれぞれデータ接続することができる。
（１）画像取得装置１０１は、複数の画像感知ユニット（図示せず）を含むことができ、前記画像感知ユニットは電荷結合素子（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）素子であってよく、画像取得装置１０１は更に画像感知ユニットが被検査対象物体画像Ｉに焦点を合わせるために用いる少なくとも１つのレンズ（図示せず）を含むことができる。
（２）トレーニングサブシステム１０２には、被検査対象物のタイプに対応する（例えば特定の管理番号に対応する）少なくとも１つのトレーニングモジュール１０２１が記録されることができる。トレーニングモジュール１０２１は、例えば、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧｎｅｔ、ＮＩＮ、ＧｏｏｇＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＳｑｕｅｅｚｅＮｅｔ、ＲｅｓＮｅｔ、ＳｉａｍｅｓｅＮｅｔ、ＮＡＳＮｅｔ、ＲＮＮ又はその他の畳み込みニューラルネットワークに基づくトレーニングモデルであってよいが、これに限らない。一部のトレーニングモデルは、例えば、物体検出（Ｄｅｔｅｃｔｉｏｎ）、物体分割、物体分類などのタスクのトレーニングモデルに対応することができる。トレーニングモジュール１０２１はマーキングデータベース１０２２に接続でき、マーキングデータベース１０２２自体はデータベースホスト又はトレーニングサブシステム１０２に保存されている複数のデータテーブル（Ｔａｂｌｅ）の集合体であってよい。マーキングデータベース１０２２は、例えば事前マーキングを含む分類決定及び対応するトレーニングサンプル画像といった複数の事前トレーニングデータセットを保存することができ、また随時更新される複数の被検査対象物画像Ｉ及び複数の対応する分類決定（操作ステーション１０３から返送データを更新し、分類決定は更新後の分類決定Ｃ１’及び／又は第２分類決定Ｃ２であってよく、後に詳しく説明する）を保存することができる。
（３）操作ステーション１０３はトレーニングサブシステムに接続し、且つマーキングモジュール１０３１を実行する。またトレーニングサブシステム１０２を読み取ることで、ネットワークを通じ即時に各トレーニングモジュール１０２１のトレーニングモデルの重みパラメータを調整し、又はトレーニングモジュール１０２１が使用する事前トレーニングデータセットなどの情報を調整することができる。
（４）分類器サブシステム１０４は被検査対象物影像Ｉの画像特徴を解析するためにトレーニングモジュール１０２１を読み取り、分類決定Ｃ１を出して操作ステーション１０３に送信することができる。分類決定Ｃ１が異常と見なされた場合、分類決定Ｃ１は完全な画像及び少なくとも１つの再判定マークＴを有する異常画像を含むことができる。好ましくは、本実施形態の分類決定Ｃ１は参考画像を更に含む。好ましくは、分類器サブシステム１０４が分類決定Ｃ１を出す前に、分類器サブシステム１０４又は画像取得装置１０１が被検査対象物画像Ｉに画像処理プログラムを実行する。前記画像処理プログラムは画像事前処理プログラム、画像分割プログラム（Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ）及び特徴抽出プログラムの中の１種又はその組み合わせであると定義されてよい。分類器サブシステム１０４が画像取得装置１０１から受信した被検査対象物体画像Ｉは、画像取得装置１０１が自動光学検査（Ａｕｔｏｍａｔｅｄ Ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ、ＡＯＩ）技術に基づき選別した複数の異常被検査対象画像であってよく、前記異常被検査対象画像は更に再判定マークＴに対応する欠陥位置情報を含むことができる。
（５）マーキングモジュール１０３１は更新後の分類決定Ｃ１’を生成するために異常画像に関連する再判定操作ＯＰ１を入力し、操作ステーション１０３からトレーニングサブシステム１０２に送信することができる。またマーキングモジュール１０３１は第２再判定操作ＯＰ２を入力するために完全な画像に関連する判定漏れマーク（図示せず）をマーキングし、分類決定Ｃ１に取って代わる第２分類決定Ｃ２を生成し、操作ステーション１０３からトレーニングサブシステム１０２に送信することができる。
（６）マーキングモジュール１０３１はグラフィカルユーザーインターフェース（ＧＵＩ）形式で操作ステーション１０３の表示画面に表示することができる。「図３」に示すように、分類決定Ｃ１は完全な画像、再判定マークＴ、参考画像Ｒ及び異常画像Ｅを含むことができ、再判定操作ＯＰ１は例えば図中の「ＧＯＯＤ」又は「ＮＧ」ボタン素子（Ｂｕｔｔｏｎ）に触れることで生成でき、完全な画像は例えば表示モードの切り替えにより表示できるが、これに限らない。
（７）これにより、トレーニングサブシステム１０２は更新後の分類決定Ｃ１’及び第２分類決定Ｃ２に基づき、トレーニングモジュール１０２１及びトレーニングモジュール１０２１に接続されるマーキングデータベース１０２２を即時に更新することができる。即ち、更新後の分類決定Ｃ１’及び第２分類決定Ｃ２をマーキングデータベース１０２２の事前トレーニングデータセットに即時に入力することで、トレーニングモジュール１０２１は更新後の事前トレーニングデータセットに基づき、トレーニングモジュール１０２１のトレーニングモデルを即時に訓練することができる。
（８）例として、被検査対象物はプリント基板（ＰＣＢＡ）、ファスナー（Ｆａｓｔｅｎｅｒｓ）、フレキシブルプリント基板（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔ Ｃｉｒｃｕｉｔ）、ゴム製品（Ｒｕｂｂｅｒ）、医療画像（例えばレントゲン、超音波、ＣＴ、ＭＲＩなどの画像）、デジタル化された病理画像又は画像感知器（Ｉｍａｇｅ Ｓｅｎｓｏｒ）などであってもよいが、これに限らない。例えばプリント基板を測定する場合、短絡、空きパッド、はんだの量が多い・少ない、ピンホール、異物などの状況があるか否かを監視できる。ファスナーを測定する場合、スクラッチ、異物、角欠けなどの状況があるか否かを監視できる。フレキシブルプリント基板又はゴム製品を測定する場合、スクラッチ、バリ、角欠け、異物などの状況があるか否かを監視できる。画像感知器を測定する場合、欠陥、異物などの状況があるか否かを監視できる。医療画像を測定する場合、病気の場所などを監視することができる。
そして、本発明が第１実施形態に従って実施された後、操作ステーション１０３は再判定マークＴを有する異常画像を監視できるだけでなく、完全な被検査対象物画像Ｉのマーキング検査も行うことができる。よって、作業委員は自動外観検査装置から発された欠陥画像しかマーキング検査ができなかった従来の方法と比較すると、本発明では再判定段階時、操作ステーション１０３に完全な画像及び分類器サブシステム１０４が異常と判断した異常画像をそれぞれ監視させることで、分類器サブシステム１０４の判定から漏れた異常被検査対象物が生産ラインの次の段階に送られることを回避できるため、少なくとも欠陥品が顧客側に渡る確率を抑えるという有利な効果が得られる。仮に被検査対象物が一般的なねじの場合、修復コスト（内部コスト）の方が顧客側の返品コスト（外部コスト）よりも通常高いことから、本実施形態は特にこのような即時修復を必要としない被検査対象物に適している。
続いて、本発明第１実施形態の変化例に係る概略ブロック図及び方法フローチャートを示す「図４」及び「図５」を参照されたい。本発明の更なる改良形態として、本実施形態の生産ラインスマート監視システム１０の分類器サブシステム１０４はオン又はオフの状態へと調整が可能なマーキング選別ユニット１０４１を有する。且つ本発明はこの実施形態において、分類器サブシステム１０４が被検査対象物画像Ｉの画像特徴を解析し分類決定を出した後（ステップＳ１１０：画像特徴を解析し、分類決定を出す）、マーキング選別ユニット１０４１は例えば各再判定マークＴに対応する信頼性スコア（ｃｏｎｆｉｄｅｎｃｅ）に基づき、信頼度が比較的低い分類決定Ｃ１＿ＬＯＷを自動で選別することができ、分類決定Ｃ１＿ＬＯＷは再判定マークＴと異常画像を含むことができ、本実施例の分類決定Ｃ１＿ＬＯＷは好ましくは参考画像も含むことができ、その後、分類器サブシステム１０４は信頼度が比較的低い分類決定Ｃ１＿ＬＯＷを操作ステーション１０３に送信（ステップＳ１２０：自動でマークを選別する）することで、マーキングモジュール１０３１は信頼度が比較的低い分類決定Ｃ１＿ＬＯＷに基づき更新後の分類決定Ｃ１’及び／又は第２分類決定Ｃ２を生成し（ステップＳ１３０：再判定操作を入力する）、トレーニングサブシステム１０２のマーキングデータベース１０２２とトレーニングモジュール１０２１を更新する（ステップＳ１４０：トレーニングモジュールを即時更新する）、生産ラインスマート監視方法Ｓ１が示されている。これにより、信頼度が比較的高い再判定マークＴ及びそれに対応する異常画像は、操作ステーション１０３が再判定する必要がなくなることから、操作ステーション１０３のマーキングモジュール１０３１は各異常画像の再判定マークＴの検証（又は再判定と呼ぶ）をせずに済み、操作ステーション１０３が再判定操作を入力する回数を減らすことができ、結果として再判定段階の労働力の消耗を抑えることができる。
続いて、本発明第1実施形態の別の変化例に係る概略ブロック図を示す「図６」、並びに「図２」を参照されたい。操作ステーション１０３のマーキングモジュール１０３１に再判定操作ＯＰ１及び／又は第２再判定操作ＯＰ２を入力させると同時に、以前判定を誤った分類決定の修正を行わせ、操作ステーション１０３が再び分類器サブシステム１０４から不正確な分類決定Ｃ１を受信しないようにするため、本発明の更なる改良形態として、本実施形態の生産ラインスマート監視システム１０の操作ステーション１０３は、分類決定Ｃ１と関連性の高い過去分類決定ＨＣを表示できる過去マーキング再判定モジュール１０３２を実行することができる。ここで、過去分類決定ＨＣは少なくとも１つの過去マークを有する過去画像を含むことができる。更に具体的に言うと、例えば、操作ステーション１０３が受信した分類決定Ｃ１に「短絡」という特徴が現れた異常画像が含まれる時、過去マーキング再判定モジュール１０３２はトレーニングサブシステム１０２のマーキングデータベース１０２２から同様に「短絡」という特徴を含む過去分類決定ＨＣを読み取ることができる。ただし、この過去分類決定ＨＣは「異常」の過去画像に分類されておらず（即ち、以前の再判定では良品）、本実施形態の過去マーキング再判定モジュール１０３２は以前の過去分類決定ＨＣを修正するために過去分類決定ＨＣに関連する第３再判定操作ＯＰ３を入力し、トレーニングサブシステム１０２に保存されている過去分類決定ＨＣを更新後の過去分類決定ＨＣ’に更新することができる。即ち、更新後の過去分類決定ＨＣ’をマーキングデータベース１０２２の事前トレーニングデータセットに即時に入力することで、トレーニングモジュール１０２１は更新後の事前トレーニングデータセットに基づき、トレーニングモジュール１０２１に保存されているトレーニングモデルを即時に訓練する。
本発明第２実施形態の変化例に係る概略ブロック図及び方法フローチャートを示す「図７」及び「図８」を参照されたい。本実施形態と「図１」〜「図３」が示す実施形態の技術は類似するが、主な相違点は、本実施形態の生産ラインスマート監視システム１０が画像取得装置１０１に接続される画像関連性分析モジュール１０５を含むことができる部分にある。よって、生産ラインスマート監視方法Ｓ１中の画像取得装置１０１が被検査対象物を取得した後、画像関連性分析モジュール１０５はまず複数の被検査対象物画像Ｉから構成される被検物対象グループ画像Ｉ＿Ｇの分析を行うことができる（ステップＳ１０５：グループ画像を分析する）。複数の被検査対象物画像Ｉ間に差異がある場合、画像関連性分析モジュール１０５は被検査対象物グループ画像Ｉ＿Ｇの中から少なくとも１つの差異画像特徴、例えば、前記被検査対象物画像Ｉにおける特定の画像位置の差異を抽出し、分類決定Ｃ１を出すことができる。反対に、複数の被検査対象物画像Ｉ間に差異がない場合、画像関連性分析モジュール１０５は複数の被検査対象物画像Ｉを直接分類器サブシステム１０４に転送し、分類器サブシステム１０４によって直接複数の被検査対象物画像Ｉの画像特徴の解析が行われ、分類決定Ｃ１が出される。本実施形態の分類器サブシステム１０４はトレーニングサブシステム１０２、画像関連性分析モジュール１０５及び操作ステーション１０３にそれぞれ接続されることができ、本実施形態の分類器サブシステム１０４は被検物対象グループ画像Ｉ＿Ｇが送信した差異画像特徴を解析するためにトレーニングモジュール１０２１を読み取り、分類決定Ｃ１を出して操作ステーション１０３に送信することができる。また、分類決定Ｃ１が含むことのできる情報、マーキングモジュール１０３１が入力できる情報、及び操作ステーション１０３がトレーニングサブシステム１０２に送信する情報は、全て第１実施形態と同じであるため、ここでは改めて述べない。
本発明が第２実施形態に従って実施された後、画像関連性分析モジュール１０５に画像取得装置１０１が取得した複数の被検査対象物画像Ｉ（即ち原画像）、又は画像取得装置１０１が自動光学検査（ＡＯＩ）技術に基づき選別した複数の異常被検査対象物画像をいずれも被検査対象物グループ画像Ｉ＿Ｇと見なさせ、差異画像特徴の比較を行うことで、被検査対象物の異常画像（即ち欠陥画像のトレーニングサンプル）が比較的少ない状況に適用することが可能となる。また、前記異常被検査対象物画像は更に再判定マークＴに対応する欠陥位置情報を含むことができる。
続いて、本発明第２実施形態の変化例に係る概略ブロック図を示す「図９」、並びに「図１」を参照されたい。本発明の更なる改良形態として、本実施形態の生産ラインスマート監視システム１０の分類器サブシステム１０４は更に、例えば、各再判定マーク（Ｔ、…）に対応する信頼性スコアに基づき、信頼度が比較的低い分類決定Ｃ１を選別することが可能なマーキング選別ユニット１０４１を含むことができる。この分類決定Ｃ１＿ＬＯＷは再判定マークＴ及び異常画像を含むことができるが、好ましくは本実施例の分類決定Ｃ１＿ＬＯＷは参考画像も含むことができる。その後、分類器サブシステム１０４は信頼度が比較的低い分類決定Ｃ１＿ＬＯＷを操作ステーション１０３に送信し、マーキングモジュール１０３１は更新後の分類決定Ｃ１’及び／又は第２分類決定Ｃ２を生成する。これにより、本実施形態のマーキングモジュール１０３１では、使用者は各異常画像の再判定マークＴの検証（又は再判定と呼ぶ）を行う必要がなく、また、操作ステーション１０３が再判定操作を入力する回数を減らすことができ、結果として労働力の消耗を抑えることができる。
続いて、本発明第２実施形態の別の変化例に係る概略ブロック図を示す「図１０」を参照されたい。本発明の更なる改良形態として、本実施形態の生産ラインスマート監視システム１０の操作ステーション１０３は分類決定Ｃ１と関連性の高い過去分類決定ＨＣを表示できる過去マーキング再判定モジュール１０３２を実行することができる。ここで、過去分類決定ＨＣは少なくとも１つの過去マークを有する過去画像を含むことができる。過去マーキング再判定モジュール１０３２は以前の分類決定を修正するために過去分類決定ＨＣに関連する第３再判定操作ＯＰ３を入力し、トレーニングサブシステム１０２に保存されている過去分類決定ＨＣを更新後の過去分類決定ＨＣ’に更新することができる。即ち、更新後の過去分類決定ＨＣ’をマーキングデータベース１０２２の事前トレーニングデータセットに即時に入力することで、トレーニングモジュール１０２１は更新後の事前トレーニングデータセットを基づき、トレーニングモジュール１０２１に保存されているトレーニングモデルを即時に訓練する。
続いて、本発明第３実施形態に係る概略ブロック図及び方法フローチャートを示す「図１１」及び「図１２」を参照されたい。本実施形態の生産ラインスマート監視システム１０と「図１」が示す実施形態の技術は類似するが、主な相違点は、本実施形態の生産ラインスマート監視システム１０が操作ステーション１０３とトレーニングサブシステム１０２にそれぞれ接続される第２画像取得装置１０６を含むことができる部分にある。且つ本発明はこの実施形態において、分類器サブシステム１０４が被検査対象物画像Ｉの画像特徴を解析し分類決定Ｃ１を出した後（ステップＳ２１０：画像特徴を解析し、分類決定を出す）、第２画像取得装置１０６は分類器サブシステム１０４が送信した異常画像に基づき（本実施形態の分類決定Ｃ１は再判定マークを有さなくてもよい）修復された被検査対象物画像を取得することで、少なくとも１つの修復後被検査対象物画像Ｉ’を取得することができ（ステップＳ２２０：修復後の画像及びマークを取得する）、第２画像取得装置１０６は被検査対象物画像Ｉと修復後被検査対象物画像Ｉ’間の少なくとも１つの画像差異特徴をマーキングし（例えば自動光学検査（ＡＯＩ）技術に基づく）、また修復後被検査対象物画像Ｉ’を非異常画像と見なして、第２画像取得装置１０６からトレーニングサブシステム１０２に送信し、トレーニングサブシステム１０２はマーキングされた画像差異特徴及び修復後被検査対象物画像Ｉ’に基づき、トレーニングモジュール１０２１及びトレーニングモジュール１０２１に接続されるマーキングデータベース１０２２を即時に更新する（ステップＳ２３０：トレーニングモジュールを即時更新する）、生産ラインスマート監視方法Ｓ２が示されている。例として、本実施形態で示す第２画像取得装置１０６は操作ステーション１０３に設置する方法によりデータ接続を完成させることができ、操作ステーション１０３自体が修復機能を備えることもでき、操作ステーション１０３は産業用又は消費用ロボットであってもよい。そのほか、第２画像取得装置１０６の素子組成は第１又は第２実施形態の画像取得装置１０１と同じであってよい。そのほか、操作ステーション１０３又は分類器サブシステム１０４は被検査対象物画像Ｉと修復後被検査対象物画像Ｉ’間の画像差異特徴をマーキングすることもできる。
本発明が第３実施形態に従って実施された後、廃棄コストが修復コストより高く、且つ手作業による修復コストが顧客側の返品コストより一般的に低い被検査対象物、例えば製造終了してすぐに出荷が待たれるＰＣＢＡプラグイン（Ｄｕａｌ iｎ−ｌｉｎｅ Ｐａｃｋａｇｅ、ＤＩＰ）に対して、第３実施形態は特にこのような即時修復を必要とする被検査対象物に適している。トレーニングサブシステム１０２が自ら修復前後の被検査対象物画像に基づき、欠陥位置の場所や欠陥が存在するか否かの価値判断を学習できるよう、本実施形態の操作ステーション１０３はマーキングモジュール１０３１を実行する必要はない。
続いて、本発明第３実施形態の変化例に係る概略ブロック図を示す「図１３」を参照されたい。本発明の更なる改良形態として、本実施形態の生産ラインスマート監視システム１０の第２画像取得装置は拡張現実ディスプレイＡＲＤであってよく、分類決定Ｃ１に含まれる異常画像が拡張現実ディスプレイＡＲＤに表示され、本実施形態の分類決定Ｃ１中の再判定マーク及び参考画像も同時に拡張現実ディスプレイＡＲＤに表示される。また本実施形態の第２画像取得装置（即ち拡張現実ディスプレイＡＲＤ）は修復箇所情報Ｆｉｘを画像差異特徴として指定するために、被検査対象物の修復時における修復箇所情報Ｆｉｘを記録することができ、第２画像取得装置からトレーニングサブシステム１０２に送信し、トレーニングサブシステム１０２はトレーニングモジュール１０２１及びトレーニングモジュール１０２１に接続されるマーキングデータベース１０２２を即時に更新する。これにより、本実施形態では使用者は拡張現実ディスプレイＡＲＤを通して、被検査対象物を修復しながら被検査対象物の修復箇所情報を自動で記録することが可能となるため、「図１」が示すマーキングモジュール１０３１に取って代わる機能を達成することができ、使用者は再判定操作又は第２再判定操作の入力をする必要がなくなる。
例として、本発明にいう画像取得装置、トレーニングサブシステム、操作ステーション、分類器サブシステム、画像関連性解析モジュール及び第２画像取得装置がいずれも物理装置である場合、これらは論理演算、演算結果の一時保存、実行命令場所の保存といった機能を備える処理装置を含むことができる。処理装置は例えば中央処理装置（ＣＰＵ）、仮想プロセッサ（ｖＣＰＵ）、マイクロプロセッサ（ＭＰＵ）、マイクロコントローラ（ＭＣＵ）、アプリケーションプロセッサ（ＡＰ）、組み込み式処理装置、特定用途向け集積回路（ＡＳＩＣ）、テンソルプロセッサ（ＴＰＵ）又はグラフィックスプロセッサ（ＧＰＵ）等であってよいが、これに限らない。
例として、本発明にいうトレーニングサブシステム、分類器サブシステム及び画像関連性解析モジュールはサーバー又はソフトウェアモジュールであってよく、前記サーバー又は操作ステーションは物理サーバー、又は仮想マシン（ＶＭ）形式で実行されるサーバー、又は仮想専用サーバー（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）形式で実行されるサーバー、又はパブリッククラウド、又はプライベートクラウド、又はエッジデバイス（ｅｄｇｅ ｄｅｖｉｅ）、又は組み込みシステム（ＥｍｂｅｄｄｅｄＳｙｓｔｅｍ）又はモバイル端末（例えばスマートフォン）であってよいが、これに限らない。
例として、本発明にいうネットワークは無線ネットワーク（例えば３Ｇ、４ＧＬＴＥ、Ｗｉ-Ｆｉ、Ｂｌｕｅｔｏｏｔｈ）、有線ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡ）などのような公共又は個人のネットワークであってよいが、これに限らない。
以上より、本発明が実施された後、少なくとも、工業プロセスを改善すること、欠陥測定効率及び精度を向上させること、トレーニングサンプル数が比較的少ない被検査対象物へ適用すること、欠陥特徴の判定漏れを回避すること、欠陥の再判定回数を減らすこと、以前の誤った判定決定を修正すること、修復箇所を自動で記録し分類結果の再判定を不要とすること、及びインターネット上で即時にトレーニングモデルを訓練すること、といった有益な効果を達成できることが分かる。
以上述べたのは、本発明のより優れた実施形態に過ぎず、本発明の保護範囲を限定するためのものではない。当業者にとって、本発明で開示されている技術範囲内で容易に想到し得る変換又は置換は、いずれも本発明の範囲に含まれるべきである。
以上から、本発明は「産業利用性」、「新規性」及び「進歩性」等の特許要件を有し、法に従い貴庁に特許の出願を行う。
１０ 生産ラインモニタリングシステム
１０１ 画像取得装置
１０２ トレーニングサブシステム １０２１ トレーニングモジュール
１０２２ マーキングデータベース
１０３ 操作ステーション １０３１ マーキングモジュール
Ｒ 参考画像
Ｅ 異常画像
ＯＰ１ 再判定操作
Ｃ１’ 更新後の分類決定
ＯＰ２ 第２再判定操作
Ｃ２ 第２分類決定
１０３２ 過去マーキング再判定モジュール
ＨＣ 過去分類決定
ＯＰ３ 第３再判定操作
ＨＣ’ 更新後の過去分類決定
１０４ 分類サブシステム １０４１ マーキング選別ユニット
Ｃ１ 分類決定
Ｃ１＿ＬＯＷ 分類決定
Ｔ 再判定マーク
１０５ 画像関連性分析モジュール
１０６ 第２画像取得装置 ＡＲＤ 拡張現実ディスプレイ
Ｆｉｘ 修復箇所情報
Ｉ 被検査対象物画像
Ｉ＿Ｇ 被検査対象物グループ画像
Ｉ’ 修復後被検査対象物画像

Ｓ１ 生産ラインスマート監視方法
Ｓ１０５ グループ画像を分析する
Ｓ１１０ 画像特徴を解析し、分類決定を出す
Ｓ１２０ 自動でマークを選別する
Ｓ１３０ 再判定操作を入力する
Ｓ１４０ トレーニングモジュールを即時更新する

Ｓ２ 生産ラインスマート監視方法
Ｓ２１０ 画像特徴を解析し、分類決定を出す
Ｓ２２０ 修復後の画像及びマークを取得する
Ｓ２３０ トレーニングモジュールを即時更新する

Claims (21)

  1. 画像取得装置が被検査対象物から取得した少なくとも１つの被検査対象画像を監視するシステムであって、
    トレーニングサブシステムと、操作ステーションと、分類器サブシステムとを含み、
    前記トレーニングサブシステムは前記被検査対象物のタイプに対応するトレーニングモジュールが記録され、
    前記操作ステーションは前記トレーニングサブシステムに接続され、マーキングモジュールを実行し、
    前記分類器サブシステムは前記画像取得装置、前記トレーニングサブシステム及び前記操作ステーションにそれぞれ接続され、
    前記分類器サブシステムは前記被検査対象物画像の画像特徴を解析するために前記トレーニングモジュールを読み取り、分類決定を出して前記操作ステーションに送信し、前記分類決定が異常と見なされた場合、前記分類決定は完全な画像及び少なくとも１つの再判定マークを有する異常画像を含み、
    前記マーキングモジュールは前記分類決定を更新するために前記異常画像に関連する再判定操作を入力し、前記操作ステーションから前記トレーニングサブシステムに送信し、前記マーキングモジュールは第２再判定操作を入力するために前記完全な画像に関連する判定漏れマークをマーキングし、前記分類決定に取って代わる第２分類決定を生成し、前記操作ステーションから前記トレーニングサブシステムに送信し、
    前記トレーニングサブシステムは更新後の前記分類決定及び前記第２分類決定に基づき、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、生産ラインスマート監視システム。
  2. 前記分類器サブシステムは信頼度が比較的低い前記分類決定を選別し、前記分類器サブシステムから操作ステーションに送信するマーキング選別ユニットを有する、請求項１に記載の生産ラインスマート監視システム。
  3. 前記操作ステーションは前記分類決定と関連性の高い過去分類決定を表示し、前記過去分類決定は少なくとも１つの過去マークを有する過去画像を含む過去マーキング再判定モジュールを実行し、前記過去マーキング再判定モジュールは前記トレーニングサブシステムに保存されている前記過去分類決定を更新するために前記過去分類決定に関連する第３再判定操作を入力する、
    請求項１に記載の生産ラインスマート監視システム。
  4. 前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項１、請求項２又は請求項３に記載の生産ラインスマート監視システム。
  5. 画像取得装置が被検査対象物から取得した少なくとも１つの被検査対象画像を監視するシステムであって、
    トレーニングサブシステムと、操作ステーションと、画像関連性分析モジュールと、分類器サブシステムとを含み、
    前記トレーニングサブシステムは前記被検査対象物のタイプに対応するトレーニングモジュールが記録され、
    前記操作ステーションは前記トレーニングサブシステムに接続され、マーキングモジュールを実行し、
    前記画像関連性分析モジュールは前記画像取得装置に接続され、複数の前記被検査対象物画像から構成される被検査対象物グループ画像の分析を行い、グループ画像の中から少なくとも１つの差異画像特徴を抽出し、
    前記分類器サブシステムは前記画像取得装置、前記画像関連性分析モジュール及び前記操作ステーションにそれぞれ接続され、
    前記分類器サブシステムは前記差異画像特徴を解析するために前記トレーニングモジュールを読み取り、分類決定を出して前記操作ステーションに送信し、前記分類決定が異常と見なされた場合、前記分類決定は完全な画像及び少なくとも１つの再判定マークを有する異常画像を含み、
    前記マーキングモジュールは前記分類決定を更新するために前記異常画像に関連する再判定操作を入力し、前記操作ステーションから前記トレーニングサブシステムに送信し、
    また前記マーキングモジュールは前記完全な画像に関連する判定漏れマークをマーキングし、前記分類決定に取って代わる第２分類決定を生成し、前記操作ステーションから前記トレーニングサブシステムに送信し、前記トレーニングサブシステムは更新後の前記分類決定及び前記第２分類決定に基づき、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、生産ラインスマート監視システム。
  6. 前記分類器サブシステムは信頼度が比較的低い前記分類決定を選別し、前記分類器サブシステムから前記操作ステーションに送信するマーキング選別ユニットを有する、請求項５に記載の生産ラインスマート監視システム。
  7. 前記操作ステーションは前記分類決定と関連性の高い過去分類決定を表示し、前記過去分類決定は少なくとも１つの過去マークを有する過去画像を含む過去マーキング再判定モジュールを実行し、前記過去マーキング再判定モジュールは前記トレーニングサブシステムに保存されている前記過去分類決定を更新するために前記過去分類決定に関連する第３再判定操作を入力する、請求項５に記載の生産ラインスマート監視システム。
  8. 前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項５、請求項６又は請求項７に記載の生産ラインスマート監視システム。
  9. 画像取得装置が被検査対象物から取得した少なくとも１つの被検査対象画像を監視するシステムであって、
    トレーニングサブシステムと、操作ステーションと、分類器サブシステムと、第２画像取得装置とを含み、
    前記トレーニングサブシステムは被検査対象物のタイプに対応する少なくとも１つのトレーニングモジュールが記録され、
    前記分類器サブシステムは前記画像取得装置、前記トレーニングサブシステム及び前記操作ステーションにそれぞれ接続され、
    前記分類器サブシステムは前記被検査対象物画像の画像特徴を解析するために前記トレーニングモジュールを読み取り、分類決定を出して前記操作ステーションに送信し、前記分類決定が異常と見なされた場合、前記分類決定は少なくとも１つの異常画像を含み、
    前記第２画像取得装置は前記操作ステーション及び前記トレーニングサブシステムにそれぞれ接続され、前記異常画像を基に修復された前記被検査対象物画像を取得することで、少なくとも１つの修復後被検査対象物画像を取得し、前記修復後被検査対象物画像を非異常画像と見なして、前記第２画像取得装置から前記トレーニングサブシステムに送信し、前記トレーニングサブシステムはマーキングされた前記画像差異特徴、及び前記修復後被検査対象物画像を基に、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、生産ラインスマート監視システム。
  10. 前記第２画像取得装置は前記分類決定を拡張現実ディスプレイに表示させる拡張現実ディスプレイであって、修復箇所情報を前記被検査対象物画像、及び前記修復後被検査対象物間に存在する画像差異特徴として指定するために、前記被検査対象物の修復時における前記修復箇所情報を記録し、前記第２画像取得装置から前記トレーニングサブシステムに送信し、前記トレーニングサブシステムはマーキングされた前記画像差異特徴、及び前記修復後被検査対象物画像を基に、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、請求項９に記載の生産ラインスマート監視システム。
  11. 前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの前記被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項９又は請求項１０に記載の生産ラインスマート監視システム。
  12. 画像取得装置が被検査対象物画像を取得し、少なくとも１つの被検査対象物画像を取得した後、
    （Ａ）分類器サブシステムは前記被検査対象物画像の画像特徴を解析するためにトレーニングモジュールを読み取り、少なくとも１つの分類決定を出して操作ステーションに送信し、前記分類決定が異常と見なされた場合、前記分類決定は完全な画像及び再判定マークを有する異常画像を含む、画像特徴を解析し分類決定を出すステップと、
    （Ｂ）、前記再判定マークが複数ある場合、前記分類器サブシステムは信頼度が比較的低い前記分類決定を選別し、前記分類器サブシステムから前記操作ステーションに送信する、自動でマークを選別するステップと、
    （Ｃ）前記操作ステーションのマーキングモジュールは前記分類決定を更新するために前記異常画像に関連する再判定操作を入力し、前記操作ステーションから前記トレーニングサブシステムに送信する、再判定操作を入力するステップと、
    （Ｄ）前記トレーニングシステムは更新後の前記分類決定に基づき、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、トレーニングモジュールを即時に更新するステップ、
    を実行することができる、生産ラインスマート監視方法。
  13. ステップ（Ｃ）実行時、前記マーキングモジュールは第２再判定操作を入力し、前記分類決定に取って代わる第２分類決定を生成するために、前記完全な画像に関連する判定漏れマークをマーキングし、前記操作ステーションから前記トレーニングサブシステムに送信し、その後、ステップ（Ｄ）実行時、前記トレーニングサブシステムは前記第２分類決定に基づき、前記トレーニングモジュール及び前記マーキングデータべースを即時に更新する、請求項１２に記載の生産ラインスマート監視方法。
  14. ステップ（Ｂ）実行時、前記操作ステーションは前記分類決定と関連性の高い過去分類決定を表示し、前記過去分類決定は少なくとも１つの過去マークを有する過去画像を含み、過去マーキング再判定モジュールに前記過去分類決定に関連する第３再判定操作を入力させることで、前記トレーニングサブシステムに保存されている前記過去分類決定を更新する、請求項１２に記載の生産ラインスマート監視方法。
  15. ステップ（Ａ）実行前、前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの前記被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項１２、請求項１３又は請求項１４に記載の生産ラインスマート監視方法。
  16. 画像取得装置が被検査対象物画像を取得し、少なくとも１つの被検査対象物画像を取得した後、
    （Ａ）画像関連性分析モジュールが複数の前記被検査対象物画像から構成される被検査対象物グループ画像の分析を行い、複数の前記被検査対象物画像間に差異がある場合、前記画像関連性分析モジュールはグループ画像の中から少なくとも１つの差異画像特徴を抽出し、複数の前記被検査対象物画像の間に差異がない場合、前記画像関連性分析モジュールは前記被検査対象物グループ画像を前記分類器サブシステムに転送する、グループ画像を分析するステップと、
    （Ｂ）複数の前記被検査対象物画像の間に差異がある場合、分類器サブシステムは前記異なる画像特徴を解析するためにトレーニングモジュールを読み取り分類決定を出し、複数の前記被検査対象物画像の間に差異がない場合、前記分類器サブシステムは複数の前記被検査対象物画像の画像特徴を解析するために前記トレーニングモジュールを読み取り、前記分類決定を出し、前記分類決定は前記分類器サブシステムから操作ステーションに発信され、前記分類決定が異常と見なされた場合、前記分類決定は完璧な画像及び少なくとも１つの再判定マークを有する異常画像を含む、画像特徴を解析し分類決定を出すステップと、
    （Ｃ）、前記再判定マークが複数ある場合、前記分類器サブシステムは信頼度が比較的低い前記分類決定を選別し、前記分類器サブシステムから前記操作ステーションに送信する、自動でマークを選別するステップと、
    （Ｄ）前記操作ステーションのマーキングモジュールは前記分類決定を更新するために前記異常画像に関連する再判定操作を入力し、前記操作ステーションから前記トレーニングサブシステムに送信する、再判定操作を入力するステップと、
    （Ｅ）前記トレーニングシステムは更新後の前記分類決定に基づき、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、トレーニングモジュールを即時に更新するステップ、
    を実行することができる、生産ラインスマート監視方法。
  17. ステップ（Ｄ）実行時、前記マーキングモジュールは第２再判定操作を入力し前記分類決定に取って変わる第２分類決定を生成するために、前記完全な画像に関連する判定漏れマークをマーキングし、前記操作ステーションから前記トレーニングサブシステムに送信し、その後、ステップ（Ｅ）実行時、前記トレーニングサブシステムは前記第２分類決定に基づき、前記トレーニングモジュール及び前記マーキングデータベースを即時に更新する、請求項１６に記載の生産ラインスマート監視方法。
  18. ステップ（Ｃ）実行時、前記操作ステーションは前記分類決定と関連性の高い過去分類決定を表示し、前記過去分類決定は少なくとも１つの過去マークを有する過去画像を含み、過去マーキング再判定モジュールに前記過去分類決定に関連する第３再判定操作を入力させることで、前記トレーニングサブシステムに保存されている前記過去分類決定を更新する、請求項１６に記載の生産ラインスマート監視方法。
  19. ステップ（Ａ）実行前、前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの前記被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項１６、請求項１７又は請求項１８に記載の生産ラインスマート監視方法。
  20. 画像取得装置が被検査対象物画像を取得し、少なくとも１つの被検査対象物画像を取得した後、
    （Ａ）分類器サブシステムは前記被検査対象物画像の画像特徴を解析するためにトレーニングモジュールを読み取り、少なくとも１つの分類決定を出して操作ステーションに送信し、前記分類決定が異常と見なされた場合、前記分類決定は少なくとも異常画像を含む、画像特徴を解析し分類決定を出すステップと、
    （Ｂ）第２画像取得装置は前記異常画像に基づき修復された前記被検査対象物画像を取得することで、少なくとも１つの修復後被検査対象物画像を取得し、前記被検査対象物画像と前記修復後被検査対象物画像間の少なくとも１つの画像差異特徴をマーキングし、前記修復後被検査対象物画像を非異常画像と見なして、前記第２画像取得装置から前記トレーニングサブシステムに送信する、修復後の画像及びマークを取得するステップと、
    （Ｃ）前記トレーニングシステムはマーキングされた前記画像差異特徴、及び前記修復後被検査対象物画像に基づき、前記トレーニングモジュール、及び前記トレーニングモジュールに接続されるマーキングデータベースを即時に更新する、即時にトレーニングモジュールを更新するステップ、
    を実行することができる、
    生産ラインスマート監視方法。
  21. ステップ（Ａ）実行前、前記分類器サブシステムが前記画像取得装置から取得した少なくとも１つの前記被検査対象物画像は、前記画像取得装置がＡＯＩ技術に基づき選別した少なくとも１つの異常被検査対象物画像である、請求項２０に記載の生産ラインスマート監視方法。
JP2021003591A 2020-01-13 2021-01-13 生産ラインスマート監視システム及び監視方法 Pending JP2021119341A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109101082A TWI707137B (zh) 2020-01-13 2020-01-13 智能產線監測系統及監測方法
TW109101082 2020-01-13

Publications (2)

Publication Number Publication Date
JP2021119341A true JP2021119341A (ja) 2021-08-12
JP2021119341A5 JP2021119341A5 (ja) 2024-02-06

Family

ID=74103638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021003591A Pending JP2021119341A (ja) 2020-01-13 2021-01-13 生産ラインスマート監視システム及び監視方法

Country Status (6)

Country Link
US (1) US11947345B2 (ja)
JP (1) JP2021119341A (ja)
CN (1) CN113111903A (ja)
DE (1) DE102021100496A1 (ja)
SG (1) SG10202100377SA (ja)
TW (1) TWI707137B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器
CN115147329A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 一种柔性面板的修复方法、装置、设备及存储介质
IT202100025502A1 (it) * 2021-10-07 2023-04-07 Innoida S R L Metodo di automatizzazione dei processi di controllo qualita’ in ambito manifatturiero
CN116165220B (zh) * 2023-04-25 2023-07-04 苏州鑫信腾科技有限公司 一种基于人工智能的aoi内观检测装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599894B2 (en) * 2005-03-04 2009-10-06 Hrl Laboratories, Llc Object recognition using a cognitive swarm vision framework with attention mechanisms
US8116575B1 (en) * 2008-02-26 2012-02-14 Hrl Laboratories, Llc System for anomaly detection using sub-space analysis
US20160065306A1 (en) * 2014-09-02 2016-03-03 Chin Sheng Henry Chong System and method for green communication for intelligent mobile internet of things
US10937168B2 (en) * 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
CN106203523B (zh) * 2016-07-17 2019-03-01 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类方法
US10699926B2 (en) * 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
EP3564846A1 (en) * 2018-04-30 2019-11-06 Merck Patent GmbH Methods and systems for automatic object recognition and authentication
TW202001795A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 瑕疵分類標記系統及瑕疵分類標記方法
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法
US20200005422A1 (en) * 2018-06-29 2020-01-02 Photogauge, Inc. System and method for using images for automatic visual inspection with machine learning
CA3161159A1 (en) * 2019-11-12 2021-05-20 Bright Machines, Inc. Image analysis system for testing in manufacturing
WO2021120186A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 分布式产品缺陷分析***、方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN113111903A (zh) 2021-07-13
DE102021100496A1 (de) 2021-08-12
TW202127014A (zh) 2021-07-16
US11947345B2 (en) 2024-04-02
SG10202100377SA (en) 2021-08-30
TWI707137B (zh) 2020-10-11
US20210216062A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP2021119341A (ja) 生産ラインスマート監視システム及び監視方法
US11449980B2 (en) System and method for combined automatic and manual inspection
TWI689875B (zh) 利用深度學習系統的自動光學檢測分類設備及其訓練設備
CN110659662B (zh) 利用人工智能的瑕疵检测***及其方法
US20190197356A1 (en) Data generation apparatus, data generation method, and data generation program
JP3834041B2 (ja) 学習型分類装置及び学習型分類方法
CN110021005A (zh) 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
EP4009038A1 (en) Method and device for detecting mechanical equipment parts
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN115937101A (zh) 质量检测方法、装置、设备及存储介质
JP2012173017A (ja) 欠陥分類装置
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP7440823B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
CN104471539B (zh) 用于机器视觉分析的分布式处理***及方法
JP2006251561A (ja) 欠陥画素リペア方法
WO2010061771A1 (ja) 観察条件決定支援装置および観察条件決定支援方法
JP4813071B2 (ja) マクロ画像表示システム及びマクロ画像表示方法
CN114429441A (zh) 一种异常检测方法及装置、设备、存储介质
TWI786484B (zh) 用於影像標記標準化的方法、電子裝置及電腦程式產品
WO2024095721A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240618