JP6731603B1 - 検査システム - Google Patents

Abstract

対象物が所定の属性に属するか否かを判定する際に、判定の精度を向上させる。検査システムであって、機械学習器と、特徴データ取得部と、パラメータ更新部と、を含む。機械学習器は、複数の対象物のそれぞれの特徴データに基づいて、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する。特徴データ取得部は、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物について、それらの前記特徴データを取得する。パラメータ更新部は、前記特徴データ取得部により取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する。

Description

本発明は検査システムに関する。

工場等で製造された製品は、所定属性（例えば良品属性）に属するか否かの検査が行われた後、出荷される。近年では、こうした検査に産業機器が用いられることも多い。例えば、製品の検査工程において、製品の品質を判定する機械学習モデルを備えた産業機器が用いられる場合がある。また、品質の判定精度を向上させるために、まず検査装置によって検査が行われたあと、所定の検査結果（例えば不良品属性に属するとの判定結果）が得られた製品について、再度詳細な検査が行われるような運用がなされることもある。このような検査プロセスにおいては、所定属性に属すると判定されて出荷された製品が、実際には所定属性に属しなかった、という事態を避けることが重要である。

本発明が解決しようとする課題は、例えば工場の検査工程等において、実際には所定属性に属しない検査対象物を誤って所定属性に属すると判定するリスクを低減できる検査システム、検査方法、それに用いる端末装置及びプログラムを提供することにある。

本発明の一側面に係る検査システムは、複数の対象物のそれぞれの特徴データに基づいて、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する機械学習器と、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物について、それらの前記特徴データを取得する特徴データ取得部と、前記特徴データ取得部により取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新するパラメータ更新部と、を含む。

また、本発明の他の一側面に係る検査システムによれば、前記所定属性は、前記対象物が所定の品質を有することを表す良品属性である。

また、本発明の他の一側面に係る検査システムによれば、所与のテスト用の教師データ群に対して、前記所定属性に属さない前記対象物が前記機械学習器により前記所定属性に属すると判定される確率よりも、前記所定属性に属する前記対象物が前記機械学習器により前記所定属性に属さないと判定される確率の方が高い。

また、本発明の他の一側面に係る検査システムによれば、前記所与のテスト用の教師データ群に対して、前記所定属性に属さない前記対象物が前記機械学習器により前記所定属性に属すると判定される確率が実質的に０％である。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、所与のテスト用の教師データ群に対する、前記所定属性に属さない前記対象物が前記所定属性に属するとの判定結果が得られる確率の上昇を抑制するように、前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、更に、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属さないとの判定結果が得られた前記対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、前記機械学習器によらず前記所定属性に属さないとの判定結果が得られた前記対象物の前記特徴データの数が、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物の前記特徴データの数と実質的に同程度となるように抽出された前記特徴データを含む教師データに基づいて、前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、前記機械学習器によらず前記所定属性に属さないとの判定結果が得られた前記対象物のうち、該対象物が前記所定属性に属する度合いに基づいて選択された前記対象物の前記特徴データを含む教師データに基づいて、前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記機械学習器は、基本教師データに基づいて予め学習されており、前記パラメータ更新部は、更に、前記基本教師データの少なくとも一部に基づいて前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、更に、前記機械学習器によって前記所定属性に属するとの判定結果が得られた前記対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する。

また、本発明の他の一側面に係る検査システムによれば、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物について、該判定結果を判定者が入力する端末装置を更に含む。

また、本発明の他の一側面に係る検査システムによれば、前記端末装置は、前記所定属性に属さないと判定された前記対象物の前記特徴データを表示する表示部を含む。

また、本発明の他の一側面に係る検査システムによれば、前記対象物を搬送する搬送装置を更に含み、前記表示部は、搬送される前記対象物のうち、前記判定者に最も近接した１の前記対象物の特徴データを表示する。

また、本発明の他の一側面に係る検査システムによれば、前記搬送される対象物に処理を施す処理部と、前記処理の結果に基づいて前記特徴データを取得する特徴データ取得部と、を有するロボットと、前記特徴データ取得部が取得した前記特徴データを記憶する特徴データ記憶部と、を更に含む。

また、本発明の他の一側面に係る検査システムによれば、前記機械学習器は、前記所定属性に属する度合いを表すスコアを前記対象物ごとに算出し、前記スコアが所定の第１閾値より大きいか否かに基づいて、前記所定属性に属するか否かを判定する。

また、本発明の他の一側面に係る検査システムによれば、前記パラメータ更新部は、前記機械学習器によらず前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記スコアと所定の第２閾値とを比較して選択された前記対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する。

本発明の一側面に係る端末装置は、複数の対象物のそれぞれの特徴データに基づいて、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する機械学習器を含む検査装置において、前記所定属性に属さないとの判定結果が得られた前記対象物の前記特徴データを表示する表示部と、前記検査装置において前記所定属性に属さないとの判定結果が得られた前記対象物について、前記表示部により表示される前記特徴データに基づく、前記所定属性に属するか否かの判定者による判定結果を入力する入力部と、前記検査装置に入力される前記判定結果を送信する通信部と、を含む。

本発明の一側面に係る検査方法は、複数の対象物のそれぞれの特徴データに基づいて、機械学習器により、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する工程と、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物について、それらの前記特徴データを取得する工程と、取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する工程と、を含む。

本発明の一側面に係るプログラムは、複数の対象物のそれぞれの特徴データに基づいて、機械学習器により、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する判定ステップと、前記機械学習器により前記所定属性に属さないとの判定結果が得られた前記対象物のうち、前記機械学習器によらず前記所定属性に属するとの判定結果が得られた前記対象物について、それらの前記特徴データを取得する取得ステップと、取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する更新ステップと、をコンピュータに実行させる。

本発明によれば、例えば工場で行われる検査等において、実際には所定属性に属しない検査対象物を誤って所定属性に属すると判定するリスクを低減することができる。

本発明の実施形態に係る検査システムの物理的な構成例を示すブロック図である。 本発明の実施形態に係る検査システムの機能的な構成例を示すブロック図である。 機械学習部に入力される教師データ及び判定結果について説明するための図である。 第１学習が実行済である判定部によって算出された実施用対象物のスコアのヒストグラムである。 第２学習が実行済である判定部によって算出された実施用対象物のスコアのヒストグラムである。 第３学習が実行済である判定部によって算出された実施用対象物のスコアのヒストグラムである。 第２学習が実行済である判定部によって算出された実施用対象物のスコアのヒストグラムである。 本発明の実施形態に係る検査方法の例を示すフローチャートである。 工場で検査方法が実施される態様の一例を表す図である。

以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を説明する。

図１は、実施形態に係る検査システム１の全体構成を示す図である。図１に示すように、検査システム１は、検査装置１００、端末装置１２０、及び、ロボットシステム１４０を含む。検査装置１００、端末装置１２０、及び、ロボットシステム１４０の各々は、ＬＡＮ又はインターネット等のネットワーク１６０に接続される。なお、図１では、検査装置１００、端末装置１２０、及び、ロボットシステム１４０を１つずつ示しているが、これらは複数あってもよい。

検査装置１００は、パーソナルコンピュータ等の情報処理装置であって、第１ＣＰＵ１０２、第１記憶部１０４、及び、第１通信部１０６を含む。また、検査装置１００は、端末装置１２０及びロボットシステム１４０を制御するサーバコンピュータであってもよい。

第１ＣＰＵ１０２は、少なくとも１つのプロセッサを含む。第１記憶部１０４は、ＲＡＭ等の揮発性メモリと、ハードディスク等の不揮発性メモリと、を含み、各種プログラムやデータを記憶する。第１ＣＰＵ１０２は、これらプログラムやデータに基づいて各種処理を実行する。第１通信部１０６は、ネットワークカードや各種通信コネクタ等の通信インタフェースを含み、他の装置との通信を行う。

端末装置１２０は、ユーザが操作するコンピュータである。本実施形態では、ユーザは、ロボットシステム１４０の全体を管理する立場にあり、個々のコントローラ１４２及びロボット１４４の管理を担当する作業者とは異なるものとするが、個々の作業者がユーザに相当してもよい。例えば、端末装置１２０は、パーソナルコンピュータ、携帯電話（スマートフォンを含む）、又は携帯端末（タブレット型端末を含む）である。

例えば、端末装置１２０は、第２ＣＰＵ１２２、第２記憶部１２４、第２通信部１２６、入力部１３０、及び表示部１２８を含む。第２ＣＰＵ１２２、第２記憶部１２４、第２通信部１２６のハードウェア構成は、それぞれ第１ＣＰＵ１０２、第１記憶部１０４、第１通信部１０６と同様である。入力部１３０は、マウスやキーボード等の入力デバイスである。表示部１２８は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、第２ＣＰＵ１２２の指示により各種画面を表示する。

ロボットシステム１４０は、コントローラ１４２と、ロボット１４４と、カメラ１４６と、センサ１４８と、を含む。なお、図１では、コントローラ１４２、ロボット１４４、カメラ１４６及びセンサ１４８をそれぞれ１台ずつ示しているが、これらは複数台あってもよい。例えば、ロボットシステム１４０には、複数のコントローラ１４２が含まれていてもよいし、１台のコントローラ１４２が、複数台のロボット１４４を制御してもよい。また、ロボットシステム１４０には、複数のカメラ１４６と複数のセンサ１４８が含まれてもよい。

コントローラ１４２は、ロボット１４４を制御するコンピュータである。コントローラ１４２は、特定のロボット１４４に特化した専用機器であってもよいが、本実施形態では、汎用コンピュータであるものとする。コントローラ１４２は、ＣＰＵ、ＲＡＭ、ハードディスク、及び通信インタフェースといったハードウェアを有し、ロボット１４４に動作指示を送る。コントローラ１４２は、複数台のロボット１４４を制御してもよい。

ロボット１４４は、産業用ロボットである。ロボット１４４は、汎用の多関節ロボットであってよく、例えば、垂直多関節型、水平多関節型、又はガントリ型といった種々の形式のロボットを適用可能である。ロボット１４４のアーム数は、任意であってよく、１本のみのアームであってもよいし、複数本のアームであってもよい。また、ロボット１４４は、ロボット１４４による作業の対象となる物（以下、対象物）に対して処理を施す。ロボット１４４は、例えば、アーク溶接ロボットであって、対象物に溶接処理を施す。

なお、ロボット１４４は、産業機器の一例である。このため、本実施形態でロボット１４４と記載した箇所は、産業機器と読み替えることができる。任意のタイプの産業機器を検査システム１に適用可能であり、例えば、産業機器は、モータコントローラ、サーボモータ、インバータ、工作機械、又はＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）であってもよい。ロボット１４４は、工場において、製造工程や検査工程に用いられる。

カメラ１４６及びセンサ１４８は、対象物の特徴データを取得する。特徴データは、例えば、画像データ及び動作データを含む。

カメラ１４６は、対象物の画像を撮影し、画像データを取得する。具体的には、例えばロボット１４４が溶接ロボットである場合、カメラ１４６は、対象物の溶接が施された部分の画像を撮影する。

センサ１４８は、対象物に処理を実行する時の動作データを取得する。動作データは、振動データと時系列データを含む。具体的には、例えば、センサ１４８は、トルクセンサ、モータエンコーダ、近接センサ、把持センサ、感圧センサ、モーションセンサ、スパッタリングセンサ、又は温度センサである。ロボット１４４がアーク溶接ロボットである場合は、センサ１４８は、溶接処理中のロボット１４４の位置変化を表す振動データや、溶接電流波形や溶接電圧波形等の時系列データを取得する。動作データは、ロボット１４４の動作を示すデータであればよく、例えば、トルク信号、温度情報、速度フィードバック値、外力値、又はフィードバックパルス信号といった種々の情報が動作データに示されていてよい。

なお、検査装置１００、端末装置１２０、及び、コントローラ１４２の各々に記憶されるものとして説明するプログラム及びデータは、ネットワーク１６０を介して供給されてもよい。また、検査装置１００、端末装置１２０、及び、コントローラ１４２の各々のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器と直接的に接続するための入出力部（例えば、ＵＳＢ端子）が含まれていてもよい。この場合、情報記憶媒体に記憶されたプログラムやデータが読取部又は入出力部を介して供給されてもよい。

次に、検査システム１の機能について説明する。検査システム１は、ロボット１４４が計測した動作データや画像データを取得し、対象物の解析を行うアプリケーションを実行する。これらのアプリケーションは、メーカが作成してもよいし、ユーザが作成して検査装置１００にアドオンしてもよい。アプリケーションは、ロボット１４４の動作データや画像データを収集してハードディスクに蓄積するとともに、当該動作データや画像データを用いて対象物が所定属性に属するか否かを判定する。

図２は、本発明の実施形態に係る検査システム１の機能的な構成例を示すブロック図である。図２に示すように、検査システム１は、機械学習部２０２と、特徴データ記憶部２０４と、表示部１２８と、入力部１３０と、第２通信部１２６と、特徴データ取得部２０６と、を含む。

機械学習部２０２は、基本教師データに基づいて予め学習（以下、第１学習とする）された機械学習モデルである。例えば、機械学習部２０２は、畳み込みニューラルネットワーク（ＣＮＮ）により実装された機械学習モデルである。ニューラルネットワーク全体は、エンコーダネットワークとデコーダネットワークとからなる。機械学習部２０２は、ＣＮＮ以外の機械学習モデルであってもよい。

機械学習部２０２は、パラメータ更新部２０８、パラメータ記憶部２１０及び判定部２１２、を含む。パラメータ更新部２０８は、特徴データ取得部２０６により取得される特徴データを含む教師データに基づいて機械学習器の学習パラメータを更新する。学習パラメータの更新の詳細については後述する。

パラメータ記憶部２１０は、機械学習部２０２のパラメータの値を記憶する。学習実行時に、パラメータ記憶部２１０に記憶されるパラメータの値は随時更新される。なお、学習が繰り返し実行され、それ以上学習を実行しても判定精度が向上しない場合には、当該状態におけるパラメータが、固定の値としてパラメータ記憶部２１０に記憶されてもよい。

判定部２１２は、複数の対象物のそれぞれの特徴データに基づいて、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する。具体的には、例えば、判定部２１２は、カメラ１４６が取得した画像データまたはセンサ１４８が取得した動作データに基づいて、当該複数の対象物のそれぞれが所定属性に属するか否かを判定する。所定属性は、例えば、対象物が所定の品質を有することを表す良品属性である。

なお、所定属性は、対象物が属する階層を示す情報であってもよい。例えば、最も高品質である階層をＡランク、中程度の品質である階層をＢランク、低品質である階層をＣランクとした場合、所定属性は、Ａランク、Ｂランク及びＣランクのいずれかを表す情報であってもよい。この場合、判定部２１２は、動作データや画像データを用いて対象物がＡランク、Ｂランク及びＣランクのいずれかに属するか否かを判定する。以降、所定属性は、主に、良品属性を表す場合について説明する。

図３は、機械学習部２０２に入力される教師データ及び判定結果について説明するための図である。第１学習で用いられる基本教師データは、機械学習部２０２で第１学習が実行されるために予め準備された対象物（以下、試験用対象物）から取得されたデータである。基本教師データは、動作データ、画像データ及び所定属性に属するか否かを表す情報を含む。試験用対象物は、予め所定属性に属するか否かが判明している。所定属性に属するか否かを表す情報は、例えば、所定属性に属する場合は０という値で表され、所定属性に属さない場合は１という値で表される。

第１学習において、まず、基本教師データに含まれる動作データ及び画像データが、判定部２１２に入力されスコアが算出される。ここで、スコアは、所定属性に属する度合いを表す値であって、例えば、ＣＮＮの出力値である。そして、当該対象物が所定属性に属するか否かを表す情報と、スコアとの比較結果（以下、誤差）が特定される。誤差は、０以上１以下の値をとるデータであってもよい。誤差は、例えば、算出されたスコアと所定属性に属するか否かを表す情報が一致する場合に値として１をとり、一致しない場合に値として０をとるデータであってもよい。さらに、当該誤差に基づいて、例えば誤差逆伝搬法により、パラメータ更新部２０８は、パラメータ記憶部２１０に記憶されたパラメータの値を更新する。また、判定部２１２には、動作データ及び画像データと、所定属性に属するか否かを表す情報の複数の組み合わせが入力される。これにより、判定部２１２のパラメータの値の更新が、繰り返し実行される。以上のようにして、機械学習部２０２の第１学習が実行される。

第１学習が実行済である機械学習部２０２の判定部２１２は、複数の対象物が所定属性に属するか否かを判定（以下、第１判定とする）する。具体的には、例えば、まず、第１学習が実行済である機械学習部２０２は、所定の属性に属するか否か判定対象となる複数の対象物（以下、実施用対象物とする）ごとにスコアを算出する。判定部２１２は、実施用対象物ごとに、動作データや画像データをニューラルネットワークに入力し、対象物のスコアとして０以上１以下の数値を出力する。次に、判定部２１２は、スコアが所定の第１閾値より大きいか否かに基づいて、所定属性に属するか否かを判定する。例えば、判定部２１２は、対象物のスコアが所定の第１閾値より大きい場合に当該対象物が不良品属性に属すると判定し、所定の第１閾値以下である場合に当該対象物が良品属性に属すると判定する。

特徴データ記憶部２０４は、ロボットシステム１４０が取得した特徴データを記憶する。具体的には、特徴データ記憶部２０４は、カメラ１４６が取得した画像データまたはセンサ１４８が取得した動作データを記憶する。なお、図２では、特徴データ記憶部２０４がロボットシステム１４０に含まれる構成を記載しているが、特徴データ記憶部２０４は、検査装置１００または端末装置１２０に含まれる構成であってもよい。

表示部１２８は、対象物の特徴データを表示する。具体的には、例えば、表示部１２８は、検査装置１００において、所定属性に属さないとの判定結果が得られた対象物の特徴データを表示する。上記例では、表示部１２８は、第１判定において、不良品属性に属すると判定された実施用対象物の特徴データを表示する。

入力部１３０は、所定属性に属するか否かの作業者（以下、判定者とする）による判定結果が入力される。具体的には、入力部１３０は、検査装置１００において所定属性に属さないとの判定結果が得られた対象物について、表示部１２８により表示される特徴データに基づく、所定属性に属するか否かの判定者による判定結果が入力される。すなわち、第１判定において良品属性に属さないとの判定結果が得られた実施用対象物は、機械学習部２０２によらず再度良品属性に属するか否か判定者によって判定（以下、第２判定とする）される。入力部１３０は、判定者による当該判定結果の入力を受け付ける。

また、第２判定は、第１判定よりも精度の高い方法によって実行されることが望ましい。上記判定結果を取得する方法は、判定者が判定結果を入力部１３０に入力する以外の方法によって行われてもよい。例えば、第１判定で用いられた画像データや動作データよりもデータサイズの大きい（例えば、第１判定で用いられた画像データや動作データよりも解像度の高い画像データや動作データ）データを用いて、所定属性に属するか否か判定するプログラムが動作することによって、上記判定は実行されてもよい。

また、第２判定は、検査装置１００以外の機械学習モデルによって実行されてもよい。当該機械学習モデルは、第１判定と第２判定とで異なる判定結果が得られた対象物の特徴データを用いて学習が実行されることが望ましい。ここで、機械学習部２０２よりデータサイズの大きい特徴データを用いて学習が実行されることにより、第２判定の精度を向上できる。この場合、後述する判定者の判定よりも第２判定に要する処理を短くできる。これにより、工場における生産ラインのボトルネックとなることを回避できるため、工程作業時間を均一化できる。

第２通信部１２６は、検査装置１００に入力される判定結果を送信する。具体的には、第２通信部１２６は、入力部１３０に入力された良品属性に属するか否かを表す情報を、機械学習部２０２に送信する。

特徴データ取得部２０６は、機械学習部２０２により所定属性に属さないとの判定結果が得られた対象物のうち、機械学習部２０２によらず所定属性に属するとの判定結果が得られた対象物について、それらの特徴データを取得する。具体的には、まず、上記にように第１学習が実行済である機械学習部２０２は、実施用対象物が良品属性に属するか否か第１判定を行う。図３に示すように、第１判定において、一定の割合の実施用対象物は良品属性に属し、残りの実施用対象物は不良品属性に属すると判定される。次に、第１判定において不良品属性に属すると判定された実施用対象物に対して、第２判定が行われる。そして、特徴データ取得部２０６は、第２判定において不良品属性に属すると判定された実施用対象物の特徴データを取得する。例えば、特徴データ取得部２０６は、当該対象物に関して、カメラ１４６が取得した画像データまたはセンサ１４８が取得した動作データを、通信部を介して特徴データ記憶部２０４から取得する。

なお、本実施形態では特徴データ取得部２０６は検査装置１００に含まれるが、特徴データ取得部２０６は、ロボットシステム１４０から、カメラ１４６及びセンサ１４８が取得した全ての特徴データを取得してもよい。この場合、特徴データ取得部２０６は、教師データとして用いられる特徴データのみを機械学習部２０２に渡してもよい。

図４は、第１学習が実行済である判定部２１２によって算出された実施用対象物のスコアのヒストグラムである。図４の横軸はスコアを表し、縦軸は頻度を表す。良品属性に属する対象物を表す分布はスコアが低い方に、不良品を表す分布はスコアが高い方にピークを有している。なお、図４に表される良品または不良品の分布は、誤りのない判定方法によって対象物が良品属性に属するか不良品属性に属するか判定された結果に基づいて、良品と不良品の分布が分離されたものである。実際のヒストグラムは、良品と不良品の分布が合算されたものである。

上記にように第２判定では、図４の全体の分布のうち第１閾値より右側に分布する対象物について、当該対象物が良品属性に属するか不良品属性に属するか判定される。ここで、良品であるにも関わらず不良品属性に属すると判定される対象物、及び、不良品であるにも関わらず良品属性に属すると判定される対象物は存在しないことが望ましい。しかし、機械学習部２０２の判定の結果、良品と不良品の分布が重なりが生じることが通常である。当該重なりが存在する場合、良品である対象物の一部のスコアは、不良品である対象物の一部のスコアより大きくなる。

そこで、所与のテスト用の教師データ群に対して、所定属性に属さない対象物が機械学習部２０２により所定属性に属すると判定される確率よりも、所定属性に属する対象物が機械学習部２０２により所定属性に属さないと判定される確率の方が高くなることが望ましい。特に、所定の第１閾値は、所与のテスト用の教師データ群に対して、所定属性に属さない対象物が機械学習部２０２により所定属性に属すると判定される確率が実質的に０％となるように設定されることが望ましい。このような第１閾値の設定により、不良品が誤って良品属性に属すると判定されることを防止できる。

なお、実質的に０％とは、０％だけでなく、検査システム１に許容される誤差を含む概念である。具体的には、検査システム１に要求される精度として数％（例えば３％）の誤差が許容される場合、実質的に０％とは、数％以下（例えば３％以下）であることを表す。

例えば、所定の第１閾値として０．５が設定されている場合、判定部２１２は、スコアが０．５以下である場合に当該対象物が良品である確率が１００％であると判定することが望ましい。すなわち、判定部２１２は、対象物のスコアが０．５より大きい場合に当該対象物が不良品という属性に属すると判定し、対象物のスコアが０．５以下である場合に当該対象物が良品という属性に属すると判定することが望ましい。

しかしながら、上記のように第１閾値が設定されると、良品である対象物の一部（図４において、良品の分布のうち第１閾値より右側に分布する対象物）は、第１判定において不良品属性に属するという誤った判定がなされる。すなわち、第１判定の結果が必ず正しいわけではないため、第２判定において、一定の割合の実施用対象物は良品属性に属し、残りの実施用対象物は不良品属性に属すると判定される。従って、図４において、良品の分布のうち第１閾値より左側に分布する対象物は、良品属性に属すると判定される。

そこで、機械学習部２０２は、特徴データ取得部２０６により取得される特徴データを含む教師データに基づいて、繰り返し学習（以下、ｎ回目に行われる学習を第ｎ学習とする）が実行される。以下、２回目に行われる第２学習及び３回目に行われる第３学習について説明する。

第２学習は、図３に示す第１判定において不良品属性に属すると判定された対象物のうち、第２判定において良品属性に属すると判定された対象物に基づいて取得された教師データを用いて実行される。具体的には、第２学習は、図４において、良品の分布のうち第１閾値より右側に分布する対象物の特徴データに基づいて実行される。教師データは、第１学習と同様に、当該対象物の動作データ、画像データ、及び、当該対象物が所定属性に属するか否かを表す情報である。第２学習は、用いられるに教師データが異なる点を除いて、第１学習と同様に実行される。

図５は、第２学習が実行済である判定部２１２によって算出された実施用対象物のスコアのヒストグラムである。第２学習が実行済である判定部２１２は、当該スコアが所定の第１閾値より大きいか否かに基づいて、所定属性に属するか否かを判定（以下、第３判定とする）する。

第２学習は、第１判定において、良品であるにも関わらず不良品属性に属する旨の判定がなされた対象物の教師データを用いて実行されている。そのため、図５に示す良品の分布と不良品の分布は、図４に示す良品の分布と不良品の分布よりも離れている。これにより、図５に示すように、第２判定において、良品であるにも関わらず不良品属性に属すると判定される対象物の割合を、第１判定における割合よりも小さくすることができる。すなわち、第２学習によって、不良品が良品属性に属するとする誤った判定がなされることを防止しつつ、良品が良品属性に属すると判定される精度を向上することができる。

続いて、第３学習が実行される。第３学習は、機械学習器により所定属性に属さないとの判定結果が得られた対象物のうち、機械学習器によらず所定属性に属さないとの判定結果が得られた対象物の特徴データを含む教師データに基づいて実行される。具体的には、機械学習器によらず所定属性に属さないとの判定結果が得られた対象物は、該対象物が所定属性に属する度合いに基づいて、機械学習器により所定属性に属さないとの判定結果が得られた対象物から選択される。例えば、当該対象物は、スコアと所定の第２閾値とを比較して選択される。

具体的には、例えば、図５において、第３学習は、良品の分布のうち第１閾値より右側に分布する対象物と、不良品の分布のうち第２閾値より左側に分布する対象物と、の特徴データに基づいて実行される。教師データは、第１学習及び第２学習と同様に、当該対象物の動作データ、画像データ、及び、当該対象物が所定属性に属するか否かを表す情報である。第３学習は、用いられるに教師データが異なる点を除いて、第１学習及び第２学習と同様に実行される。

図６は、第３学習が実行済である判定部２１２によって算出された実施用対象物のスコアのヒストグラムである。第３学習は、図５の第１閾値と第２閾値の間のスコアである対象物の特徴データを教師データとして学習が実行される。第２閾値は不良品の分布のピーク位置に設定されているため、第３学習において、第１閾値から遠く離れたスコアを有する不良品属性に属する対象物の特徴データは、教師データとして用いられない。すなわち、明らかに不良品属性に属する対象物の特徴データが教師データから除外されつつ、不良品属性に属するものの比較的良品に近い対象物の特徴データが教師データに含まれる。これにより、図６に示すように、不良品が良品属性に属するとする誤った判定がなされることを防止しつつ、良品が良品属性に属すると判定される精度をさらに向上することができる。

第２閾値は、不良品の分布のピーク位置以外の位置に設定されてもよい。例えば、図７に示すように、第２閾値は、良品属性に属する対象物が機械学習部２０２により不良品属性に属すると判定される確率が実質的に０％となるように設定されてもよい。すなわち、第２閾値は、良品の分布の右裾の位置のスコアであってもよい。

また、第２閾値は、械学習器によらず所定属性に属さないとの判定結果が得られた対象物と、機械学習器によらず所定属性に属するとの判定結果が得られた対象物と、の数が実質的に同数となるように設定されてもよい。なお、実質的にという文言が表す意味は、上記と同様である。

この場合、パラメータ更新部２０８は、機械学習器によらず所定属性に属さないとの判定結果が得られた対象物の特徴データの数が、機械学習器によらず所定属性に属するとの判定結果が得られた対象物の特徴データの数と実質的に同程度となるように抽出された特徴データを含む教師データに基づいて、機械学習器の学習パラメータを更新する。

なお、第ｎ学習は、他の教師データをさらに用いて実行されてもよい。具体的には、例えば、パラメータ更新部２０８は、更に、機械学習部２０２によって所定属性に属するとの判定結果が得られた対象物の特徴データを含む教師データに基づいて機械学習部２０２の学習パラメータを更新してもよい。具体的には、第２学習は、上記第２判定において所定属性に属すると判定された対象物だけでなく、さらに、第１判定において所定属性に属すると判定された対象物に基づいて、実行されてもよい。具体的には、上記例では、第２学習は、図４において、良品の分布のうち第１閾値より右側に分布する対象物とともに、左側に分布する対象物の特徴データに基づいて実行されてもよい。

すなわち、第１判定及び第２判定において良品属性に属すると判定された全ての対象物の画像データ及び動作データを教師データとして、第２学習は実行されてもよい。これにより、第１判定において良品属性に属すると判定された対象物のスコアが第１閾値近傍の値である場合に、第２学習が実行された後の判定部２１２によって、当該対象物が不良品属性に属すると判定される可能性を低減することができる。これにより、さらに判定の精度を向上させることができる。

また、パラメータ更新部２０８は、更に、基本教師データの少なくとも一部に基づいて機械学習部２０２の学習パラメータを更新してもよい。具体的には、第２学習は、図４の良品の分布のうち第１閾値より右側に分布する対象物とともに、試験用対象物のうち良品属性に属する対象物の特徴データに基づいて実行されてもよい。これにより、さらに判定の精度を向上させることができる。

上記のように、繰り返し学習によって、機械学習部２０２の学習パラメータを更新する。ここで、パラメータ更新部２０８は、所与のテスト用の教師データ群に対する、所定属性に属さない対象物が所定属性に属するとの判定結果が得られる確率の上昇を抑制するように、機械学習部２０２の学習パラメータを更新されることが望ましい。

具体的には、まず、パラメータ更新部２０８は、１度の学習ごとに、複数種の教師データを用いて複数種のパラメータの候補を生成する。ここで、複数種の教師データは、上記説明した種々の特徴データを組み合わせたデータである。次に、判定部２１２は、複数種のパラメータの候補を用いて、当該学習の前に判定された複数の対象物が所定属性に属するか否かを判定する。これにより、パラメータの候補ごとに、所定属性に属さない対象物が所定属性に属するとの判定結果が得られる確率が得られる。そして、パラメータ更新部２０８は、所定属性に属さない対象物が所定属性に属するとの判定結果が得られる確率がもっとも低いパラメータを記憶部に記憶する。これにより、過学習による判定の精度の低下を防止できる。

続いて、検査システム１を用いて実行される検査方法について、図８及び図９を参照しながら説明する。ここでは、機械学習部２０２は、第１学習が実行済であるものとする。

まず、処理が実行される（Ｓ８０２）。具体的には、例えば、図９に示すように、工場の製造ラインには、対象物９００を搬送する搬送装置９０２が配置されている。搬送装置９０２は、例えばベルトコンベアである。搬送装置９０２の上には、第１ロットに含まれる複数の対象物９００が流れている。ロボットシステム１４０のロボット１４４は、当該複数の対象物９００に対して、溶接処理を実行する。この時、ロボットシステム１４０のカメラ１４６は、溶接処理後の対象物９００の接合部を撮影し、画像データを取得する。また、センサ１４８は、溶接処理中のロボット１４４の位置変化を表す振動データ等の動作データを取得する。そして、特徴データ記憶部２０４は、当該画像データ及び動作データを記憶する。

次に、複数の対象物９００のそれぞれの特徴データに基づいて、機械学習部２０２により、当該複数の対象物９００のそれぞれが所定属性に属するか否かを判定する（Ｓ８０４）。具体的には、特徴データ取得部２０６は、Ｓ８０２で取得した画像データ及び動作データをネットワーク１６０を介して、ロボットシステム１４０から取得する。そして、第１学習が実行済である機械学習部２０２は、当該画像データ及び動作データに基づいて、スコアを算出する。また、機械学習部２０２は、スコアが所定の第１閾値より大きいか否かに基づいて、各対象物９００が良品属性に属するか不良品属性に属するかそれぞれ判定する（第１判定）。

次に、Ｓ８０４において、機械学習部２０２により所定属性に属さないとの判定結果が得られた対象物９００について、機械学習部２０２によらず判定が行われる。（Ｓ８０６）。具体的には、Ｓ８０４の工程で不良品属性に属すると判定された全ての対象物９００について、表示部１２８に当該対象物９００の特徴データが表示される。ここで、表示部１２８は、搬送される対象物９００のうち、判定者に最も近接した１の対象物９００の特徴データを表示する。例えば、ＥＰＲ等のデータに基づいて判定者の位置に搬送された対象物９００が特定される。そして、特徴データ取得部２０６は、特定された対象物９００の特徴データをロボットシステム１４０から取得し、端末装置１２０に送信する。これにより、表示部１２８は、判定者に最も近接した１の対象物９００の特徴データを表示する。そして、判定者は、表示部１２８に表示された特徴データを目で見て当該対象物９００が良品属性に属するか不良品属性に属するか判定する。さらに、入力部１３０は、所定属性に属するか否かの判定者による判定結果の入力を受け付ける（第２判定）。

表示部１２８に特徴データが表示されるため、判定者は、判定を容易に行うことが出来る。また、判定者に最も近接した対象物９００の特徴データが表示部１２８に表示されるため、誤った対象物９００について判定を行うことを防止できる。従って、第２判定の結果、誤った対象物９００に関する特徴データが収集されることを防止できる。

なお、バーコードリーダやＲＳＦタグ読み取り装置が対象物９００を識別する情報を読み取ることによって、判定者に最も近接した１の対象物９００が特定されてもよい。

次に、特徴データ取得部２０６は、第２学習に用いる教師データを取得する（Ｓ８０８）。具体的には、特徴データ取得部２０６は、Ｓ８０６における判定結果が良品属性に属する対象物９００について、画像データ及び動作データを取得する。ここでは、例えば、ｍ（ｍは自然数）個の教師データ群が取得されることとする。１個の教師データ群は、１個の対象物９００から取得された動作データ及び画像データを含む。以下、ｉ（１≦ｉ≦ｍ）番目のデータ群を第ｉデータ群と呼ぶこととする。

次に、機械学習部２０２は、変数ｉの値に１を設定する（Ｓ８１０）。そして、機械学習部２０２は、第ｉデータ群に含まれる教師データを用いて、学習部の学習を実行する（Ｓ８１２）。

そして、機械学習部２０２は、変数ｉの値がｍであるか否かを確認する（Ｓ８１４）。値がｍでない場合は（Ｓ８１４：Ｎ）、機械学習部２０２は、変数ｉの値を１増加させて（Ｓ８１６）、Ｓ８１２に示す処理に戻る。値がｍである場合は（Ｓ８１４：Ｙ）、Ｓ８１８へ進む。Ｓ８１０からＳ８１６の工程によって、機械学習部２０２は、第２学習が実行される。

次に、Ｓ８０２で処理の対象となった対象物９００と異なる複数の対象物９００に対して処理が実行される（Ｓ８１８）。具体的には、工場の製造ラインを流れる第２ロットに含まれる複数の対象物９００に対して、ロボット１４４が対象物９００に溶接等の処理を実行する。そして、当該対象物９００に基づいて、画像データ及び動作データが取得される。

また、第２学習が実行済である判定部２１２によって、複数の対象物９００が所定属性に属するか否かを判定する第３判定が実行される（Ｓ８２０）。Ｓ８１８及びＳ８２０の工程は、学習部が第２学習を実行済である点、及び、対象物９００が異なる点を除いて、Ｓ８０２及びＳ８０４の工程と同様である。

以上のようにして、本実施形態によれば、選択された教師データを用いて学習することによって、高い精度で対象物９００が所定の属性に属するか否か判定できる。これにより、例えば判定者が判定する場合、判定者が良品属性に属するか不良品属性に属するか判定すべき対象となる対象物９００の数を削減することができる。これにより、判定者の人数を削減することができ、製造コストを削減できる。

なお、図８のフローでは、第３判定までが実行される実施形態について説明したが、Ｓ８２０の工程以降、Ｓ８０８からＳ８２０と同様の工程が繰り返し実行されてもよい。上記第２学習と同様の学習が繰り返し実行されることで、さらに判定の精度を向上させることができる。

以上、本発明に係る実施形態について説明したが、この実施形態に示した具体的な構成は一例として示したものであり、本発明の技術的範囲をこれに限定することは意図されていない。当業者は、これら開示された実施形態を適宜変形してもよく、本明細書にて開示される発明の技術的範囲は、そのようになされた変形をも含むものと理解すべきである。

例えば、本発明は、判定ステップ、取得ステップ及び更新ステップをコンピュータに実行させるプログラムが含まれる。ここで、判定ステップは、複数の対象物のそれぞれの特徴データに基づいて、機械学習部２０２により、当該複数の対象物のそれぞれが所定属性に属するか否かを判定するステップである。取得ステップは、機械学習部２０２により所定属性に属さないとの判定結果が得られた対象物のうち、機械学習部２０２によらず所定属性に属するとの判定結果が得られた対象物について、それらの特徴データを取得するステップである。更新ステップは、取得される特徴データを含む教師データに基づいて機械学習部２０２の学習パラメータを更新するステップである。

１ 検査システム、１００ 検査装置、１０２ 第１ＣＰＵ、１０４ 第１記憶部、１０６ 第１通信部、１２０ 端末装置、１２２ 第２ＣＰＵ、１２４ 第２記憶部、１２６ 第２通信部、１２８ 表示部、１３０ 入力部、１４０ ロボットシステム、１４２ コントローラ、１４４ ロボット、１４６ カメラ、１４８ センサ、１６０ ネットワーク、２０２ 機械学習部、２０４ 特徴データ記憶部、２０６ 特徴データ取得部、２０８ パラメータ更新部、２１０ パラメータ記憶部、２１２ 判定部、９００ 対象物、９０２ 搬送装置。

Claims (16)

1. 複数の実施用対象物のそれぞれの特徴データに基づいて、当該複数の実施用対象物のそれぞれが所定の品質を有することを表す良品であるか該品質を有さないことを表す不良品であるか第１判定を行う機械学習器と、
   前記第１判定により前記不良品であるとの判定結果が得られた前記実施用対象物に対して選択的に、前記機械学習器によらず前記良品であるか前記不良品であるか第２判定が行われた結果、前記複数の実施用対象物の中から、前記第１判定では不良品と判定され、前記第２判定では良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを取得する特徴データ取得部と、
   前記特徴データ取得部により取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新するパラメータ更新部と、
   を含み、
   前記第１判定を行う前の前記機械学習器は、予め前記良品であるか前記不良品であるか判明している試験用対象物に対して判定を行った場合に、前記不良品である前記試験用対象物が前記良品であると判定される確率が０％または許容される誤差以下となるように学習が実行済である検査システム。
2. 前記パラメータ更新部は、前記学習パラメータを更新する際に、前記第１判定では良品と判定され、前記第２判定では不良品であるとの判定結果が得られる前記実施用対象物の前記特徴データを用いない、
   請求項１に記載の検査システム。
3. 前記パラメータ更新部は、更に、前記第１判定により前記不良品であるとの判定結果が得られた前記実施用対象物のうち、前記第２判定により前記不良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する、
   請求項１に記載の検査システム。
4. 前記パラメータ更新部は、前記第２判定において前記不良品であるとの判定結果が得られた前記実施用対象物の前記特徴データの数が、前記第２判定において前記良品であるとの判定結果が得られた前記実施用対象物の前記特徴データの数と実質的に同程度となるように抽出された前記特徴データを含む教師データに基づいて、前記機械学習器の学習パラメータを更新する、
   請求項３に記載の検査システム。
5. 前記パラメータ更新部は、前記第２判定において前記不良品であるとの判定結果が得られた前記実施用対象物のうち、該実施用対象物が前記良品である度合いに基づいて選択された前記実施用対象物の前記特徴データを含む教師データに基づいて、前記機械学習器の学習パラメータを更新する、
   請求項３または４に記載の検査システム。
6. 前記機械学習器は、基本教師データに基づいて予め学習されており、
   前記パラメータ更新部は、更に、前記基本教師データの少なくとも一部に基づいて前記機械学習器の学習パラメータを更新する、
   請求項１に記載の検査システム。
7. 前記パラメータ更新部は、更に、前記第１判定において前記良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する、
   請求項１に記載の検査システム。
8. 前記第１判定において前記不良品であるとの判定結果が得られた前記実施用対象物のうち、前記第２判定において前記良品であるとの判定結果が得られた前記実施用対象物について、該判定結果を判定者が入力する端末装置を更に含む、
   請求項１〜７のいずれか１項に記載の検査システム。
9. 前記端末装置は、前記第１判定において前記不良品であると判定された前記実施用対象
   物の前記特徴データを選択的に表示する表示部を含む、
   請求項８に記載の検査システム。
10. 前記実施用対象物を搬送する搬送装置を更に含み、
    前記表示部は、搬送される前記実施用対象物のうち、前記判定者に最も近接した１の前記実施用対象物の特徴データを表示する、
    請求項９に記載の検査システム。
11. 前記搬送される実施用対象物に処理を施す処理部と、前記処理の結果に基づいて前記特徴データを取得する特徴データ取得部と、を有するロボットと、
    前記特徴データ取得部が取得した前記特徴データを記憶する特徴データ記憶部と、を更に含む、
    請求項１０に記載の検査システム。
12. 前記機械学習器は、前記良品である度合いを表すスコアを前記実施用対象物ごとに算出し、前記スコアが所定の第１閾値より大きいか否かに基づいて、前記良品であるか前記不良品であるかを判定する、
    請求項１〜１１のいずれか１項に記載の検査システム。
13. 前記パラメータ更新部は、前記第２判定において前記不良品であるとの判定結果が得られた前記実施用対象物のうち、前記スコアと所定の第２閾値とを比較して選択された前記実施用対象物の前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する、
    請求項１２に記載の検査システム。
14. 複数の実施用対象物のそれぞれの特徴データに基づいて、当該複数の実施用対象物のそれぞれが所定の品質を有することを表す良品であるか該品質を有さないことを表す不良品であるか第１判定を行う機械学習器を含む検査装置において、前記不良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを選択的に表示する表示部と、
    前記検査装置において前記不良品であるとの判定結果が得られた前記実施用対象物について、前記表示部により表示される前記特徴データに基づく、前記良品であるか前記不良品であるかの判定者による第２判定の判定結果を入力する入力部と、
    入力される前記判定結果を前記検査装置に送信する通信部と、
    を含み、
    前記第１判定を行う前の前記機械学習器は、予め前記良品であるか前記不良品であるか判明している試験用対象物に対して判定を行った場合に、前記不良品である前記試験用対象物が前記良品であると判定される確率が０％または許容される誤差以下となるように学習が実行済である端末装置。
15. 複数の実施用対象物のそれぞれの特徴データに基づいて、機械学習器により、当該複数の実施用対象物のそれぞれが所定の品質を有することを表す良品であるか該品質を有さないことを表す不良品であるか第１判定を行う工程と、
    前記第１判定により前記不良品であるとの判定結果が得られた前記実施用対象物に対して選択的に、前記機械学習器によらず前記良品であるか前記不良品であるか第２判定を行う工程と、
    前記複数の実施用対象物の中から、前記第１判定では不良品と判定され、前記第２判定では良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを取得する工程と、
    取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する工程と、
    を含み、
    前記第１判定を行う前の前記機械学習器は、予め前記良品であるか前記不良品であるか判明している試験用対象物に対して判定を行った場合に、前記不良品である前記試験用対象物が前記良品であると判定される確率が０％または許容される誤差以下となるように学習が実行済である検査方法。
16. 複数の実施用対象物のそれぞれの特徴データに基づいて、機械学習器により、当該複数の実施用対象物のそれぞれが所定の品質を有することを表す良品であるか該品質を有さないことを表す不良品であるか第１判定を行う判定ステップと、
    前記第１判定により前記不良品であるとの判定結果が得られた前記実施用対象物に対して選択的に、前記機械学習器によらず前記良品であるか前記不良品であるか第２判定を行う判定ステップと、
    前記複数の実施用対象物の中から、前記第１判定では不良品と判定され、前記第２判定では良品であるとの判定結果が得られた前記実施用対象物の前記特徴データを取得する取得ステップと、
    取得される前記特徴データを含む教師データに基づいて前記機械学習器の学習パラメータを更新する更新ステップと、
    をコンピュータに実行させ、
    前記第１判定を行う前の前記機械学習器は、予め前記良品であるか前記不良品であるか判明している試験用対象物に対して判定を行った場合に、前記不良品である前記試験用対象物が前記良品であると判定される確率が０％または許容される誤差以下となるように学習が実行済であるプログラム。

Images