JP7502448B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP7502448B2
JP7502448B2 JP2022540287A JP2022540287A JP7502448B2 JP 7502448 B2 JP7502448 B2 JP 7502448B2 JP 2022540287 A JP2022540287 A JP 2022540287A JP 2022540287 A JP2022540287 A JP 2022540287A JP 7502448 B2 JP7502448 B2 JP 7502448B2
Authority
JP
Japan
Prior art keywords
learning
data
unit
additional
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540287A
Other languages
English (en)
Other versions
JPWO2022024985A1 (ja
Inventor
直登 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of JPWO2022024985A1 publication Critical patent/JPWO2022024985A1/ja
Application granted granted Critical
Publication of JP7502448B2 publication Critical patent/JP7502448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • General Factory Administration (AREA)

Description

本発明は、検査装置に関し、特に機械学習器が記憶する学習済みの学習モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置に関する。
工場等の製造現場では、製造ラインにおいて製造される製品の外観検査を行っている(例えば、特許文献1)。製品の外観検査を行うためには、撮像装置により製品を撮像して得られた画像データに基づいて正常な製品の画像であるか、または異常な製品の画像であるかを分類する識別器を機械学習により作成しておく必要がある。
製品の外観を検査する方法として、撮像装置から得られた画像データを基に機械学習を行い、機械学習によって生成された識別器を用いて良否判定をする方法がある。識別器は、例えば産業機械により製造された製品の内で、良品を撮像して得られた画像データに対して良品であることを示すラベルを付与した教師データと、不良品を撮像して得られた画像データに対して不良品であることを示すラベルを付与した教師データとを用いて学習をすることで生成できる。このように生成された識別器は、学習に使用されたデータに対して良否を判定するように構築されるため、学習したデータ以外では誤判定する可能性がある。その対策として、従来の学習データに新たなデータを加えて学習させることで識別精度を向上させる追加学習・再学習がある。
追加学習・再学習を行う際、以下のような工程がある。
1.学習に用いたデータ以外の新規データに対して、人手でアノテーション(ラベルの付与)を実施
2.ユーザがデータを確認し、折を見て学習の実行を指示
3.学習データに上記新規データを追加して、機械学習を実施
特開2014-190821号公報
上記したように、追加学習・再学習を行うためには、人手でアノテーションを行う必要がある。しかしながら、一般的に大量の画像データに対して人手でアノテーションを行うには膨大な労力と時間がかかるという問題がある。
また、どの程度集まったら追加学習・再学習を行う必要があるのか、そのタイミングを見極めるためにはユーザの熟練が必要となる。更に、追加学習・再学習による識別器による識別精度を向上させるためには、適切なデータを用いる必要がある。しかしながら、どのようなデータを用いることで効果的な追加学習・再学習が行えるのかについては、機械学習に関する知識が無いと判断が難しい。
このように、追加学習・再学習を行うには人手による作業が不可欠である一方で、作業を行うユーザに対する負担が大きいという問題がある。
そこで、効果的な追加学習・再学習を行うタイミングを判定するための技術が望まれている。
本発明の一態様による検査装置は、機械学習により生成された識別器(モデル)を用いて検査を行っている際に、その検査対象のデータを、該データに対する擬似的なラベルと信頼度と共に記憶する。そして、所定水準の信頼度に係るデータがある程度集まったことを追加学習乃至再学習のトリガーとすることで、上記課題を解決する。追加学習乃至再学習には、所定水準の信頼度に係るデータと、その擬似ラベルを利用する。
そして、本発明の一態様は、機械学習器が記憶する学習済みの学習モデルである基本モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置であって、検査対象物の状態の推定結果及び該推定結果の信頼度を推定する推定部と、該推定部が推定した検査対象物の状態の推定結果の如何を問わず該推定結果毎に、該推定結果及び該推定結果の信頼度を、前記検査対象物に係るデータと関連付けて記憶した推定データ記憶部と、前記推定データ記憶部に記憶されたデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する学習契機判定部と、前記学習契機判定部が追加学習乃至再学習を実行するタイミングであると判定した場合に、前記推定データ記憶部に記憶されたデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成する学習データ作成部と、前記学習データ作成部が作成した前記学習データを用いて、追加学習乃至再学習を行うように前記機械学習器に指令する学習指令部と、を備えた検査装置である。
本発明の一態様により、ユーザがアノテーションやデータの吟味の作業を行うことなく、効果的な追加学習乃至再学習を行うタイミングを決定することができるため、効率的かつ学習を実行でき、また、ユーザの負担を軽減できることが期待される。
一実施形態による検査装置の概略的なハードウェア構成図。 一実施形態による検査装置の概略的な機能ブロック図。 信頼度の例を説明する図。 信頼度の他の例を説明する図。 推定データ記憶部に記憶されるデータの例を示す図。
以下、本発明の実施形態を図面と共に説明する。
図1は本発明の一実施形態による検査装置の要部を示す概略的なハードウェア構成図である。
本発明の検査装置1は、例えば、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置として実装することができるし、また、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置に併設されたパソコンや、有線/無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ6、クラウドサーバ7の上に実装することができる。本実施形態では、検査装置1を、ネットワークを介して制御装置と接続されたパソコンの上に実装している。
本実施形態による検査装置1が備えるCPU11は、検査装置1を全体的に制御するプロセッサである。CPU11は、バス22を介してROM12に格納されたシステムプログラムを読み出し、該システムプログラムに従って検査装置1全体を制御する。RAM13には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。
不揮発性メモリ14は、例えば図示しないバッテリでバックアップされたメモリやSSD(Solid State Drive)等で構成され、検査装置1の電源がオフされても記憶状態が保持される。不揮発性メモリ14には、インタフェース15を介して外部機器72から読み込まれたデータ、入力装置71を介して入力されたデータ、ネットワーク5を介して産業機械3から取得されたセンサ4により検出されたデータ等が記憶される。不揮発性メモリ14に記憶されたデータは、実行時/利用時にはRAM13に展開されても良い。また、ROM12には、公知の解析プログラムなどの各種システムプログラムがあらかじめ書き込まれている。
産業機械3には、検査対象物(検査対象となる製品)の外観等を検出するセンサ4が取り付けられている。産業機械3には、撮像装置としてのセンサ4が先端に取り付けられたロボット等が含まれる。
インタフェース15は、検査装置1のCPU11とUSB装置等の外部機器72と接続するためのインタフェースである。外部機器72側からは、例えば各産業機械の動作に係るデータ等を読み込むことができる。また、検査装置1内で編集したプログラムや設定データ等は、外部機器72を介して外部記憶手段に記憶させることができる。
インタフェース20は、検査装置1のCPUと有線乃至無線のネットワーク5とを接続するためのインタフェースである。ネットワーク5には、産業機械3やフォグコンピュータ6、クラウドサーバ7等が接続され、検査装置1との間で相互にデータのやり取りを行っている。
表示装置70には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、後述する機械学習器100から出力されたデータ等がインタフェース17を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置71は、作業者による操作に基づく指令,データ等をインタフェース18を介してCPU11に渡す。
インタフェース21は、CPU11と機械学習器100とを接続するためのインタフェースである。機械学習器100は、機械学習器100全体を統御するプロセッサ101と、システムプログラム等を記憶したROM102、機械学習に係る各処理における一時的な記憶を行うためのRAM103、及び学習モデル等の記憶に用いられる不揮発性メモリ104を備える。機械学習器100は、インタフェース21を介して検査装置1で取得可能な各情報(例えば、産業機械3の動作状態を示すデータ)を観測することができる。また、検査装置1は、機械学習器100から出力される処理結果をインタフェース21を介して取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク5等を介して送信する。
図2は、本発明の一実施形態による検査装置1が備える機能を概略的なブロック図として示したものである。本実施形態による検査装置1が備える各機能は、図1に示した検査装置1が備えるCPU11と、機械学習器100が備えるプロセッサ101とがシステムプログラムを実行し、検査装置1及び機械学習器100の各部の動作を制御することにより実現される。
本実施形態の検査装置1は、データ取得部110、学習契機判定部120、学習データ作成部130、及び学習指令部140を備える。また、検査装置1が備える機械学習器100は、学習部106及び推定部108を備える。更に、検査装置1のRAM13乃至不揮発性メモリ14には、機械学習器100が記憶している学習モデルを生成するために用いられた学習データ(以下、基本学習データとする)を記憶する基本データ記憶部200、データ取得部110が産業機械3等から取得したデータを記憶するための領域としての取得データ記憶部210、及び機械学習器100の推定部108による推定結果を記憶する推定データ記憶部220が予め用意されており、機械学習器100のRAM103乃至不揮発性メモリ104上には、学習モデルが記憶されている領域としての学習モデル記憶部109が予め用意されている。本実施形態による検査装置1では、学習モデル記憶部109には、予め基本データ記憶部200に記憶されている学習データを用いた機械学習により生成された学習済みの学習モデル(以下、基本モデルとする)が記憶されている。
データ取得部110は、図1に示した検査装置1が備えるCPU11がROM12から読み出したシステムプログラムを実行し、主としてCPU11によるRAM13、不揮発性メモリ14を用いた演算処理と、インタフェース15、18又は20による入力制御処理とが行われることで実現される。
データ取得部110は、産業機械3の正常動作時においてセンサ4により検出された検査対象物に係るデータを取得する。データ取得部110は、例えば産業機械3に取り付けられたセンサ4により検出された、検査対象物の外観を示す画像データや、検査対象物を所定の周波数で振動させることにより発生する音声データ等を取得する。データ取得部110が取得するデータは、ラスタ形式や該ラスタ形式のデータを加工した所定の画像形式の画像データであって良いし、また、動画データ等の時系列データであっても良い、また、データ取得部110は、ネットワーク5を介して産業機械3から直接データを取得しても良いし、外部機器72や、フォグコンピュータ6、クラウドサーバ7等が取得して記憶しているデータを取得しても良い。データ取得部110が取得したデータは取得データ記憶部210に記憶される。
機械学習器100が備える推定部108は、図1に示した機械学習器100が備えるプロセッサ101がROM102から読み出したシステムプログラムを実行し、主としてプロセッサ101によるRAM103、不揮発性メモリ104を用いた演算処理が行われることにより実現される。
推定部108は、データ取得部110が取得して取得データ記憶部210に記憶したデータに基づいて、学習モデル記憶部109に記憶された基本モデルを用いた検査対象物の状態の推定を行う。推定部108による推定結果は、少なくとも検査対象物について推定されたラベル(以下、擬似ラベルとする)と該擬似ラベルに係る信頼度とを含む。
ここで、擬似ラベルとは、基本モデルを用いて識別した推定結果を表すものであって良い。例えば、ある製品の画像データに基づいて、当該製品が良品であるか、或いは不良品であるかを推定する検査を考える。その検査のために予め学習を行い生成された基本モデルが学習モデル記憶部109に記憶されているとする。この時、当該基本モデルを用いて所定のデータに基づく推定を行い、該データに対し基本モデルが「良品」と識別した場合、そのデータに対する擬似ラベルを(良品,不良品)=(1,0)といったone-hotベクトルで定めるようにして良い。逆に、基本モデルが「不良品」と識別した場合には、そのデータに対する擬似ラベルを(良品,不良品)=(0,1)と定めてよい。
一方、信頼度は、上記した擬似ラベルに対する信頼度を表すデータであって良い。信頼度は、基本モデルによる推定の結果がどの程度確からしいかを示す数値であって良い。例えば上記した例において、所定のデータに対して基本モデルによる識別結果が「良品」であった場合であって、その時の推定のスコアが良品=0.9、不良品=0.1であった場合には、擬似ラベルが(良品,不良品)=(1,0)であることの信頼度を90%として良い。この信頼度は、例えば図3に例示されるように、所定の良品群と不良品群により分類境界が定められた基本モデルがある場合に、当該基本モデルが所定のデータAを良品と識別した時、その信頼度を、該所定のデータAと基本モデルとの距離に基づいて算出されるスコアとして定義しても良い。また、例えば図4に例示されるように、所定の良品群のクラスタと不良品群のクラスタに基づいて識別を行う基本モデルがある場合に、当該基本モデルが所定のデータBを不良品と識別した時、その信頼度を、該所定のデータBと不良品群のクラスタの中心からの距離(近さ)と、他のクラスタの中心からの距離(離れ具合)とに基づいて算出されるスコアとして定義しても良い。上記以外にも、信頼度は、学習データとの類似度から算出したり、基本モデルがニューラルネットワークである場合には、中間層での出力に対する類似度を採用したりしても良い。信頼度は、機械学習のモデルの種類に応じて、識別結果の確からしさを定義できる所定の数値を用いるようにして良い。
なお、擬似ラベルと信頼度のデータ形式については、上記に限定されない。例えば、擬似ラベルと信頼度を1つのベクトルデータとして表現しても良い。この場合、上記した例では擬似ラベルと信頼度を、(良品,不良品)=(0.9,0.1)等と表現することができる。
推定部108による推定結果は、インタフェース21を介してCPU11へと出力され、そして、表示装置70に表示出力されたり、ネットワーク5を介して産業機械3や、フォグコンピュータ6、クラウドサーバ7等のコンピュータに送信されたりする。また、推定部108による検査対象物の推定結果は、図5に例示されるように、推定に用いられたデータと関連付けて推定データ記憶部220に記憶される。
学習契機判定部120は、図1に示した検査装置1が備えるCPU11がROM12から読み出したシステムプログラムを実行し、主としてCPU11によるRAM13、不揮発性メモリ14を用いた演算処理が行われることで実現される。
学習契機判定部120は、予め定めた所定の条件に従って、追加学習乃至再学習を実行するタイミングを判定する。ここで前記の所定の条件としては、例えば推定データ記憶部220に記憶されるデータの信頼度や、データの個数等を用いた条件であって良い。所定の条件の例としては、信頼度が予め定めた所定の閾値Cth1%(例えば、80%)以下のデータが、予め定めた所定の閾値Nth1個(例えば、30個)以上存在した場合に追加学習を行う、といったものであって良い。基本モデルによる推定結果の中に信頼度が高くないデータが増えることは、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを意味する。上記した条件の例は、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを示す条件である。このような場合には、基本モデルに対して追加学習乃至再学習を行い現在の環境における検査対象により適応したモデルを作成する必要がある。このように、学習契機判定部120が用いる判定条件は、現在用いている基本モデルの現在の環境に対する適応性を改善する契機を定めるものである。
学習データ作成部130は、図1に示した検査装置1が備えるCPU11がROM12から読み出したシステムプログラムを実行し、主としてCPU11によるRAM13、不揮発性メモリ14を用いた演算処理が行われることで実現される。
学習データ作成部130は、学習契機判定部120が追加学習乃至再学習を実行するタイミングであると判定した場合に、追加学習乃至再学習に用いる学習データを作成する。学習データ作成部130は、現在の環境に対して基本モデルがより適切な識別が行えるようにするために必要なデータを、追加の学習データとして推定データ記憶部220の中から抽出する。追加の学習データのラベルについては、擬似ラベルをそのまま用いればよい。そして、抽出した追加の学習データと、基本データ記憶部200に記憶される基本学習データとから、追加学習乃至再学習に用いる学習データを作成する。例えば、学習データ作成部130は、学習契機判定部120が追加学習乃至再学習を実行すると判定するトリガーとなったデータの中から追加の学習データを抽出する。上記した例では、推定データ記憶部220に記憶されたデータの内で、信頼度が予め定めた所定の閾値Cth1%以下の予め定めた所定の閾値Nth1個以上のデータの中から、信頼度が高い予め定めた所定のnth1個(例えば、10個)のデータを追加の学習データとして抽出し、これと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。他にも、トリガーとなったデータの中から所定の数をランダムに抽出し、これら抽出したデータと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。また、この時、トリガーとなったデータの中から、擬似ラベルが偏らないように(良品の擬似ラベル、不良品の擬似ラベルが同数となるように等)抽出しても良い。
学習指令部140は、図1に示した検査装置1が備えるCPU11がROM12から読み出したシステムプログラムを実行し、主としてCPU11によるRAM13、不揮発性メモリ14を用いた演算処理と、インタフェース21を用いた入出力処理とが行われることで実現される。
学習指令部140は、機械学習器100が備える学習部106に、学習データ作成部130が作成した追加学習乃至再学習に用いる学習データを用いた追加学習乃至再学習をするように指令する。学習指令部140は、追加学習を指令する場合には、学習部106に、基本モデルに対して学習データ作成部130が作成した学習データを用いた追加学習を行うように指令する。また、学習指令部140は、再学習を指令する場合には、学習部106に、初期化されたモデルに対して学習データ作成部130が作成した学習データを用いた再学習を行うように指令する。追加学習乃至再学習の方法については、公値の追加学習乃至再学習の方法を適宜用いればよい。
学習指令部140は、学習部106による追加学習乃至再学習の結果として得られた新たなモデルについて、所定の検証を行い、追加学習乃至再学習を終了させるか否かを判定しても良い。例えば、学習指令部140は、検証動作として、推定データ記憶部220に記憶されたデータの内で、信頼度が予め定めた所定の閾値Cth3%以上のデータについて、新たなモデルを用いた推定を行うようにしても良い。そして、学習指令部140は、新たなモデルによる推定結果が基本モデルによる推定結果と一致し、且つ、新たなモデルによる推定結果の信頼度が、基本モデルを用いて推定した推定結果の信頼度よりもすべて向上していることを追加学習乃至再学習の終了条件としても良い。これは、新たなモデルは基本モデルよりも現在の環境に適応したことを意味する。この時、新たなモデルが基本モデルよりも現在の環境に適応していないと判断される場合や、新たなモデルの現在の環境への適応が十分ではないと判断される場合には、学習データ作成部130に対して追加学習乃至再学習に用いる学習データを再作成するように指令して、更なる追加学習乃至再学習を行うように学習部106に指令するようにしても良い。更なる追加学習乃至再学習を行う場合には、学習指令部140は、一部の追加の学習データを推定データ記憶部220に記憶される他のデータに入れ替えるように学習データ作成部130に指令すれば良い。そして、学習指令部140は、例えば所定の回数追加学習乃至再学習が繰り返されても新たなモデルが現在の環境に適応しない場合に、追加学習乃至再学習の繰り返し施行を中断し、その旨表示装置70に表示するようにしても良い。
学習指令部140は、追加学習乃至再学習が終了した場合に、新たなモデルが基本モデルと比較して問題なく同レベルの検査が行えるようになっているかを検証するようにしても良い。この時、学習指令部140は、例えば基本学習データの中から予め定めた所定の閾値Nth3個(例えば、100個)以上のデータをサンプルデータとして抽出し、サンプルデータに対して新たなモデルと基本モデルとの両方で推定処理を行うように推定部108に指令する。そして、新たなモデルによる推定結果と、基本モデルによる推定結果とが所定の条件を満足する場合に、新たなモデルが基本モデルと比較してより正しい検査が行えるようになっていると判定する。ここで前記の所定の条件としては、例えば、サンプルデータのすべてについて、新たなモデルによる推定結果と、基本モデルによる推定結果とが一致するという条件であって良いし、さらには上記した条件に加えて、サンプルデータのすべてについて、新たなモデルによる推定結果の信頼度が、基本モデルによる推定結果の信頼度を上回るか、または仮に新たなモデルによる推定結果の信頼度が下回ったとしても、その度合いが予め定めた所定の閾値Cth4以内であるという条件であっても良い。また前記所定の条件の他の例としては、良品を不良品と識別する割合が予め定めた所定の閾値Eth1以下であるといったような、製造現場の事情を勘案したものであっても良い。検証した結果、新たなモデルが基本モデルと比較して同レベルの検査が行えるようになっていない場合には、上記と同様に追加学習乃至再学習の繰り返し施行するようにしても良い。
そして、学習指令部140は、検証した結果、新たなモデルが基本モデルよりも現在の環境に適応していると判断した場合、また、新たなモデルが基本モデルと同レベルの検査が行えると判断した場合、新たなモデルを今後の検査に用いるモデルとして採用し、以降、新たなモデルを基本モデルとして取り扱うように、学習部106、推定部108へと指令する。
機械学習器100が備える学習部106は、図1に示した機械学習器100が備えるプロセッサ101がROM102から読み出したシステムプログラムを実行し、主としてプロセッサ101によるRAM103、不揮発性メモリ104を用いた演算処理が行われることにより実現される。
学習部106は、学習指令部140から受け取った指令に基づいて、学習データ作成部130が作成した学習データを用いた追加学習乃至再学習を行うことで学習モデルを作成し、作成した学習モデルを学習モデル記憶部109に記憶する。学習部106が行う機械学習は公知の教師なし学習や教師あり学習であって良い。
上記構成を備えた検査装置1は、ユーザがアノテーションやデータの吟味の作業を行うことなく、効果的な追加学習乃至再学習を行うタイミングを決定することができるため、効率的かつ学習を実行でき、また、ユーザの負担を軽減できることが期待される。
以上、本発明の一実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
1 検査装置
3 産業機械
4 センサ
5 ネットワーク
6 フォグコンピュータ
7 クラウドサーバ
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
15,17,18,20,21 インタフェース
22 バス
70 表示装置
71 入力装置
72 外部機器
110 データ取得部
120 学習契機判定部
130 学習データ作成部
140 学習指令部
200 基本データ記憶部
210 取得データ記憶部
220 推定データ記憶部
100 機械学習器
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
106 学習部
108 推定部
109 学習モデル記憶部

Claims (7)

  1. 機械学習器が記憶する学習済みの学習モデルである基本モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置であって、
    検査対象物の状態の推定結果及び該推定結果の信頼度を推定する推定部と、
    該推定部が推定した検査対象物の状態の推定結果の如何を問わず該推定結果毎に、該推定結果及び該推定結果の信頼度を、前記検査対象物に係るデータと関連付けて記憶した推定データ記憶部と、
    前記推定データ記憶部に記憶されたデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する学習契機判定部と、
    前記学習契機判定部が追加学習乃至再学習を実行するタイミングであると判定した場合に、前記推定データ記憶部に記憶されたデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成する学習データ作成部と、
    前記学習データ作成部が作成した前記学習データを用いて、追加学習乃至再学習を行うように前記機械学習器に指令する学習指令部と、
    を備えた検査装置。
  2. 前記検査対象物に係るデータは、前記検査対象物に係る画像データである、
    請求項1に記載の検査装置。
  3. 前記学習契機判定部は、前記推定データ記憶部に記憶されたデータの中に、前記信頼度が予め定めた第1の閾値以下のデータが、予め定めた第2の閾値以上存在する場合に、追加学習乃至再学習を実行するタイミングであると判定する、
    請求項1に記載の検査装置。
  4. 前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第1の閾値以下のデータの内の信頼度が高いデータを上位から予め定めた第3の閾値の個数のデータを追加の学習データとして抽出する、
    請求項3に記載の検査装置。
  5. 前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第1の閾値以下のデータの内、予め定めた第3の閾値の個数のデータをランダムに選択し、追加の学習データとして抽出する、
    請求項3に記載の検査装置。
  6. 前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記推定データ記憶部に記憶されたデータを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルよりも前記推定データ記憶部に記憶されたデータが取得された環境に適応してないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
    請求項1~5のいずれか一つに記載の検査装置。
  7. 前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記基本モデルを作成した際に用いた学習データを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルと同レベルの検査が行えないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
    請求項1~6のいずれか一つに記載の検査装置。
JP2022540287A 2020-07-27 2021-07-26 検査装置 Active JP7502448B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020126661 2020-07-27
JP2020126661 2020-07-27
PCT/JP2021/027522 WO2022024985A1 (ja) 2020-07-27 2021-07-26 検査装置

Publications (2)

Publication Number Publication Date
JPWO2022024985A1 JPWO2022024985A1 (ja) 2022-02-03
JP7502448B2 true JP7502448B2 (ja) 2024-06-18

Family

ID=80036224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540287A Active JP7502448B2 (ja) 2020-07-27 2021-07-26 検査装置

Country Status (5)

Country Link
US (1) US20230274408A1 (ja)
JP (1) JP7502448B2 (ja)
CN (1) CN116194952A (ja)
DE (1) DE112021003974T5 (ja)
WO (1) WO2022024985A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208594A (ja) 2002-01-10 2003-07-25 Mitsubishi Electric Corp 類識別装置及び類識別方法
JP2006293820A (ja) 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2016519807A (ja) 2013-03-15 2016-07-07 ザ クリーブランド クリニック ファウンデーションThe Cleveland ClinicFoundation 自己進化型予測モデル
JP2017138808A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
WO2019138655A1 (ja) 2018-01-09 2019-07-18 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US20190370686A1 (en) 2018-06-01 2019-12-05 Nami Ml Inc. Machine learning model re-training based on distributed feedback
JP2019211969A (ja) 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法
JP2019212073A (ja) 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
JP2019220116A (ja) 2018-06-22 2019-12-26 日立造船株式会社 情報処理装置、判定方法、および対象物判定プログラム
JP2020038579A (ja) 2018-09-05 2020-03-12 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190821A (ja) 2013-03-27 2014-10-06 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208594A (ja) 2002-01-10 2003-07-25 Mitsubishi Electric Corp 類識別装置及び類識別方法
JP2006293820A (ja) 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2016519807A (ja) 2013-03-15 2016-07-07 ザ クリーブランド クリニック ファウンデーションThe Cleveland ClinicFoundation 自己進化型予測モデル
JP2017138808A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
WO2019138655A1 (ja) 2018-01-09 2019-07-18 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US20190370686A1 (en) 2018-06-01 2019-12-05 Nami Ml Inc. Machine learning model re-training based on distributed feedback
JP2019211969A (ja) 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法
JP2019212073A (ja) 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
JP2019220116A (ja) 2018-06-22 2019-12-26 日立造船株式会社 情報処理装置、判定方法、および対象物判定プログラム
JP2020038579A (ja) 2018-09-05 2020-03-12 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
US20230274408A1 (en) 2023-08-31
WO2022024985A1 (ja) 2022-02-03
JPWO2022024985A1 (ja) 2022-02-03
DE112021003974T5 (de) 2023-05-25
CN116194952A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109816624B (zh) 外观检查装置
US10835930B2 (en) Sorting system
JP6680750B2 (ja) 制御装置及び機械学習装置
JP6903142B2 (ja) 異常検出装置、異常検出方法及びプログラム
CN111505424A (zh) 一种基于深度卷积神经网络的大型实验装置电力设备故障诊断方法
JP7331509B2 (ja) ボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラム
US20200193219A1 (en) Discrimination device and machine learning method
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
US10960550B2 (en) Identification code reading apparatus and machine learning device
US11138805B2 (en) Quantitative quality assurance for mixed reality
CN110895716A (zh) 检查装置以及机器学习方法
US11055047B2 (en) Waveform display device based on waveform extraction
US11562479B2 (en) Inspection apparatus, inspection method, and non-volatile storage medium
CN110895717A (zh) 检查装置以及机器学习方法
JP7502448B2 (ja) 検査装置
US11550305B2 (en) Diagnostic apparatus for generating verification data including at least one piece of abnormal data based on normal data
JP7251955B2 (ja) 検出装置及び機械学習方法
CN110895719A (zh) 验证装置
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
WO2023181277A1 (ja) 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体
CN113177452B (zh) 一种基于图像处理与射频技术的封样方法及装置
WO2022065273A1 (ja) 外観検査のためのモデル作成装置及び外観検査装置
CN117115783B (zh) 基于机器视觉的流水线工作行为识别方法
WO2022065272A1 (ja) 外観検査のためのモデル作成装置及び外観検査装置
JP2022075325A (ja) 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240606