JP6392908B2 - 視覚センサの異常原因推定システム - Google Patents

Description

本発明は、視覚センサの異常原因推定システムに関する。より詳しくは、生産システムに設けられた視覚センサの異常の原因を推定する視覚センサの異常原因推定システムに関する。

対象物を搬送したり加工したりするロボットや対象物の良否を判定する検査装置等、様々な生産装置には、対象物の視覚に関する情報を得るために視覚センサが設けられる。例えば対象物を所定の位置から所定の位置まで搬送する搬送ロボットは、視覚センサによって得られた視覚情報にテンプレートマッチング等の画像処理を施すことによって対象物の位置や姿勢等を把握し、対象物を適切な位置で把持し、所定の位置まで搬送する。このように視覚センサが組み込まれた生産システムでは、視覚センサに何らかの異常が生じ、視覚センサによって望ましい画像が得られなかった場合、この視覚センサによって得られた視覚情報を用いて制御される生産装置は、その機能を適切に発揮できなくなるおそれがある。

例えば特許文献１には、視覚センサに異常が生じたことを検出する装置が示されている。より具体的には、特許文献１には、外部同期信号を視覚センサに出力し、この外部同期信号と同期して視覚センサから出力された画像データを処理するシステムにおいて、視覚センサが外部同期信号に同期して動作しているか否かを判定することによって視覚センサの異常を検出する装置が示されている。特許文献１の装置によれば、検出された視覚センサの異常の原因が、外部同期信号を視覚センサに伝達する信号線の断線によるものか、あるいは視覚センサ自体が故障して外部同期信号と同期できなくなったことによるものかを特定することができる。

また例えば特許文献２には、視覚センサによって得られた画像から異常画像を検出する装置が示されている。より具体的には、特許文献２には、視覚センサが正常な時に撮像された画像を用いて算出した画像統計値を基準とし、現在の視覚センサで撮像された画像を用いて算出した画像統計値と基準とを比較することによって、視覚センサの異常画像を検出する装置が示されている。

特開２０１３−４６３５０号公報 特開２００６−３５２６４４号公報

ところで生産システムにおいて実際に視覚センサの異常が生じた場合、作業者は、生産装置を適切な状態に復帰させるために、センサの異常の原因を具体的に特定する必要がある。しかしながら、視覚センサの異常の原因は多岐にわたる。より具体的には、例えば、（Ａ）視覚センサそのものが故障しその機能を適切に発揮できなくなることに起因する場合、（Ｂ）視覚センサと他の装置とを接続するケーブルの不具合に起因する場合、（Ｃ）視覚センサの周囲の環境変化に起因する場合、等が原因として挙げられる。視覚センサの異常の原因が（Ａ）や（Ｂ）である場合には、作業者は例えば上記特許文献１のような装置を利用することによって異常の原因を特定することができる。

しかしながら、視覚センサの異常の原因が（Ｃ）である場合、すなわち視覚センサの周囲の環境変化に起因する場合、以下のような理由により、異常の原因を具体的に特定することは困難である。例えば、このような場合に起因する視覚センサの異常は、視覚センサが故障していなくても生じる場合があるため、視覚センサの状態だけを監視していても原因を特定することができない。またこのような場合に起因する視覚センサの異常は、特定の条件のみで発生する場合があるため、異常を生じさせた環境を再現することが困難である。また視覚センサに異常を生じさせる具体的な事象が発生した後、しばらく時間が経ってから視覚センサに異常を生じさせる場合もあり、この場合、具体的な事象と視覚センサの異常との因果関係を特定することも困難である。このため従来、作業者は、視覚センサに異常が生じた場合には、思い当たる原因を総当たりで確認せざるを得ず、生産装置を復帰させるのに時間がかかる場合がある。

本発明は、生産装置を制御するために視覚センサが設けられた生産システムにおいて、視覚センサの異常の原因を推定する視覚センサの異常原因推定システムを提供することを目的とする。

（１）生産システム（例えば、後述の生産システムＳ）は、生産装置（例えば、後述のロボット５）と、当該生産装置又はその周囲の視覚に関する情報を検出する視覚センサ（例えば、後述のカメラ６）と、前記視覚センサによって得られた視覚情報（例えば、後述の画像信号）に基づいて前記生産装置を制御する制御装置（例えば、後述の制御装置７）と、を備える。本発明の視覚センサの異常原因推定システム（例えば、後述の異常原因推定システム１，１Ａ）は、前記視覚センサの異常の原因を推定するものであって、前記視覚センサの環境に関する情報を取得する環境情報取得手段（例えば、後述の環境情報取得手段２）と、前記環境情報取得手段によって取得された環境情報を用いることによって、前記視覚センサの異常と予め定められた複数の異常原因項目の各々との相関の強さを推定し、推定された相関の強さを前記異常原因項目ごとに表示手段（例えば、後述の表示装置３３）に表示させる異常原因推定手段（例えば、後述の演算装置３２，３２Ａ、異常原因推定部３７，３７Ａ）と、を備える。

なお本発明において「視覚センサの異常」とは、視覚センサによって望ましい視覚情報が得られなくなることと定義する。また本発明において「望ましい視覚情報」とは、この情報に基づいて生産装置を制御した場合に、生産装置が適切な機能（例えば、適切な位置や姿勢で対象物を把持しこれを適切な位置まで搬送する搬送動作や、対象物の良否を正確に判断する判断機能等）を実現できる情報であると定義する。したがって本発明では、視覚センサそのものが故障したり視覚センサと他の装置とを接続するケーブルに不具合が生じたことによって望ましい視覚情報が得られなくなった場合だけでなく、視覚センサのレンズに強い光が入射したり視覚センサが振動したりすることによって望ましい視覚情報が得られなかった場合も、視覚センサの異常に該当するものとする。

（２） （１）に記載の視覚センサの異常原因推定システムにおいて、前記異常原因推定手段は、前記視覚センサの異常発生時刻から所定時間前までの間の環境情報を用いることによって前記相関の強さを推定してもよい。

（３） （２）に記載の視覚センサの異常原因推定システムにおいて、当該異常原因推定システムは、前記視覚情報に基づいて前記異常発生時刻を特定する異常発生時刻特定手段（例えば、後述の画像処理ユニット７１）を備えてもよい。

（４） （２）に記載の視覚センサの異常原因推定システムにおいて、当該異常原因推定システムは、前記視覚情報に所定の画像処理を施す画像処理手段（例えば、後述の画像処理ユニット７１）と、前記画像処理を経て得られた画像処理情報と前記生産装置において前記視覚情報に基づいて行った動作の結果に関する動作結果情報とを用いることによって前記異常発生時刻を特定する異常発生時刻特定手段（例えば、後述のロボット動作判定部３６，３６Ａ、カメラ異常検出部３８Ａ）と、を備えてもよい。

（５） （１）から（４）の何れかに記載の視覚センサの異常原因推定システムにおいて、前記環境情報取得手段は、前記視覚センサの環境を複数の環境項目に分け、前記各環境項目に属する環境情報を取得し、前記各異常原因項目は、それぞれ前記複数の環境項目の何れかと同じであるとしてもよい。

（６） （５）に記載の視覚センサの異常原因システムにおいて、前記環境項目は、前記視覚センサの周囲に設置された特定装置の振動と、前記特定装置の温度と、前記視覚センサの周囲の明るさと、を含んでもよい。

（７） （１）から（６）の何れかに記載の視覚センサの異常原因推定システムにおいて、前記異常原因推定手段は、前記環境情報とその時間変化に関する情報とを入力として用いることによって、前前記視覚センサの異常と前記複数の異常原因項目の各々との相関の強さを推定することとしてもよい。

生産システムにおいて、視覚センサは生産装置又はその周囲の視覚に関する情報を検出し、制御装置は視覚センサによって得られた視覚情報に基づいて生産装置を制御する。また環境情報取得手段は、上記のように生産装置の制御に組み込まれた視覚センサの環境に関する情報を取得し、異常原因推定手段は、環境情報取得手段によって取得された環境情報を用いることによって、視覚センサの異常と予め定められた複数の異常原因項目の各々との相関の強さを推定し、この相関の強さを異常原因項目ごとに表示手段に表示させる。これにより作業者は、例えば生産システムを稼働させている間に視覚センサの異常が生じた場合には、本発明の異常原因推定システムを用いることによって、表示手段に表示させた複数の異常原因項目のうち相関の強いものから順に異常の原因を確認することができる。このため作業者は、従来のように思い当たる原因を総当たりで確認していた場合よりも速やかに視覚センサの異常の原因を特定することができる。

本発明の第１実施形態に係る視覚センサの異常原因推定システムが組み込まれた生産システムの構成を示す図である。 カメラの異常の原因に関する演算の具体的な手順を示す図である。 表示装置に表示される異常原因推定部の推定結果の一例を示す図である。 本発明の第２実施形態に係る異常原因推定システムにおいてカメラの異常の原因に関する演算の具体的な手順を示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る視覚センサの異常原因推定システム１が組み込まれた生産システムＳの構成を示す図である。

生産システムＳは、生産装置としてのロボット５と、このロボット５又はその周囲の視覚に関する情報を検出する視覚センサとしてのカメラ６と、カメラ６の出力に基づいてロボット５を制御する制御装置７と、カメラ６の異常の原因を推定する異常原因推定システム１と、を備える。

ロボット５は、例えば、制御装置７から送信される制御信号に応じて、生産品の一部品であるワークＷを所定の位置で把持し、把持したワークＷを所定の位置まで搬送する一連の搬送動作を実行する搬送ロボットである。

カメラ６は、ロボット５又はその周囲に設けられたフレームに設けられる。カメラ６は、制御装置７からの要求に応じてロボット５又はワークＷを撮影し、その画像信号を所定の周期で制御装置７及び異常原因推定システム１へ送信する。

制御装置７は、画像処理ユニット７１と、ロボット制御ユニット７２と、を備える。画像処理ユニット７１は、カメラ６から送信される画像信号に複数の画像処理を施す。画像処理ユニット７１は、これら複数の画像処理を経ることによって得られた画像処理情報を、所定の周期でロボット制御ユニット７２及び異常原因推定システム１へ送信する。ここで画像処理ユニット７１から送信される画像処理情報には、例えば、ワークＷを含む画像、この画像に写るワークＷの輪郭のコントラスト、この画像の明るさ、この画像から検出されるワークＷの確からしさを表すスコア、画像から検出されるワークＷの検出位置及びその誤差、ワークＷの誤検出（すなわち、画像において実際とは異なった位置をワークＷの位置として検出すること）の有無、カメラ６の黒レベル、及びカメラ６から送信される画像信号のデータ誤り率、等に関する情報が含まれる。

ロボット制御ユニット７２は、画像処理ユニット７１における複数の画像処理を経て得られた上述の画像処理情報に基づいて、ロボット５において上述の搬送動作を実行させるための制御信号を生成し、この制御信号をロボット５へ送信する。またロボット制御ユニット７２は、ロボット５に設けられた図示しない力センサ等から送信される信号に基づいて、上述のようにカメラ６の画像信号に基づいて実行させた搬送動作の結果に関する情報を取得し、これを動作結果情報として所定の周期で異常原因推定システム１へ送信する。ここでロボット制御ユニット７２から送信される動作結果情報には、例えば、ロボット５が一連の搬送動作においてワークＷを把持することができたか否か、及びロボット５がワークＷを把持したときの所定の基準位置からの把持ずれ量、等に関する情報が含まれる。

異常原因推定システム１は、カメラ６の環境に関する情報を取得する環境情報取得手段２と、環境情報取得手段２、カメラ６、画像処理ユニット７１、及びロボット制御ユニット７２から送信される情報を用いてカメラ６の異常及びその原因に関する演算を行う情報処理装置３と、を備える。

環境情報取得手段２は、カメラ６の機能に影響を及ぼし得る環境に関する複数種類の環境情報を所定の周期毎に取得し、取得した環境情報を情報処理装置３へ送信する。ここで環境情報取得手段２によって取得される環境情報は、例えば以下で例示するように１３の環境項目に分類される。各項目に属する環境情報は、以下の通りである。

項目１には、カメラ６の振動に関する情報が分類される。環境情報取得手段２は、例えばカメラ６に設けられた振動センサの出力を用いることによって、項目１に属する環境情報を取得する。項目２には、カメラ６の温度に関する情報が分類される。環境情報取得手段２は、例えばカメラ６に設けられた温度センサの出力を用いることによって、項目２に属する環境情報を取得する。項目３には、カメラ６の周囲に設けられた周囲機器の温度に関する情報が分類される。環境情報取得手段２は、例えば周囲機器に設けられた温度センサの出力を用いることによって、項目３に属する環境情報を取得する。項目４には、カメラ６の周囲の明るさに関する情報が分類される。環境情報取得手段２は、例えばカメラ６又はその近傍に設けられた照度センサの出力を用いることによって、項目４に属する環境情報を取得する。項目５には、日付及び時刻に関する情報が分類される。環境情報取得手段２は、例えば時計を用いることによって、項目５に属する環境情報を取得する。

項目６には、天気に関する情報が分類される。環境情報取得手段２は、例えば天気情報配信サーバから配信される情報を用いることによって、項目６に属する環境情報を取得する。項目７には、カメラ６が設置された部屋の天井照明のオン／オフ状態に関する情報が分類される。環境情報取得手段２は、例えば天井照明のコントローラの出力を用いることによって項目７に属する環境情報を取得する。項目８には、カメラ６が設置された部屋の空調機の設定温度に関する情報が分類される。環境情報取得手段２は、例えば空調機のコントローラの出力を用いることによって項目８に属する環境情報を取得する。項目９には、ロボット５が作業対象とするワークＷの種類に関する情報が分類される。環境情報取得手段２は、例えば制御装置７から送信される信号を用いることによって項目９に属する環境情報を取得する。項目１０には、カメラ６の周囲に設けられた周囲機器の動作状態（より具体的には、周囲機器が稼働中であるか、停止中であるか、スタンバイ中であるか等）に関する情報が分類される。環境情報取得手段２は、周囲機器から送信される信号を用いることによって項目１０に属する環境情報を取得する。

項目１１には、生産システムＳに設けられる複数の装置の間で動作を同期させるために送受信する信号に関する情報が分類される。環境情報取得手段２は、例えば各装置から送信される信号を用いることによって項目１１に属する環境情報を取得する。項目１２には、カメラ６の電源電圧に関する情報が分類される。環境情報取得手段２は、例えば電圧センサの出力を用いることによって項目１２に属する環境情報を取得する。項目１３には、各装置から発せられるアラームに関する情報が分類される。環境情報取得手段２は、例えば各装置から送信されるアラーム信号を用いることによって項目１３に属する環境情報を取得する。

なお、環境情報取得手段２によって取得される環境情報の中には、例えば項目６の天気に関する情報や、項目７の天井照明のオン／オフ状態に関する情報等、数値化されていない情報も含まれている。環境情報取得手段２は、このような数値化されていない情報については、予め定めた規則に従って数値化し、情報処理装置３へ送信することが好ましい。具体的には、例えば天気に関する情報については、「晴れ」には“０”が割り当てられ、「曇り」には“１”が割り当てられる。また、例えば天井照明のオン／オフ状態に関する情報については、「オン」には“１”が割り当てられ、「オフ」には“０”が割り当てられる。

また以上のような環境情報取得手段２を用いて取得される環境情報の変化は、カメラ６から送信される画像信号や制御装置７から送信される画像処理情報及び動作結果情報等の変化と比較して緩やかである。そこで、環境情報取得手段２は、制御装置７において画像処理情報や動作結果情報を生成する周期よりも長い周期で環境情報を取得し、情報処理装置３へ送信することが好ましい。

情報処理装置３は、各種データやプログラム等を記憶する記憶装置３１と、記憶装置３１に記憶されたデータを用いることによってカメラ６の異常及びその原因に関する演算を実行する演算装置３２と、演算装置３２による演算結果を作業者が視認可能な態様で表示する表示装置３３と、を備えたコンピュータによって構成される。

記憶装置３１には、カメラ６から送信される画像信号、画像処理ユニット７１から送信される画像処理情報、ロボット制御ユニット７２から送信される動作結果情報、及び環境情報取得手段２から送信される環境情報等の各々の時系列データが記憶される。また記憶装置３１には、画像処理情報、動作結果情報、及び環境情報の時間変化に関する情報も記憶される。ここで時間変化とは、対象とする情報の各時刻における値とその所定時間前の時刻における値との差分値である。

図２は、演算装置３２の機能構成を示す機能ブロック図である。演算装置３２は、ロボット動作判定部３６と、異常原因推定部３７と、を備え、これらを用いることによってカメラ６の異常の原因を推定する。以下、演算装置３２における演算によって実現可能に構成された各モジュール３６〜３７の機能について順に説明する。

ロボット動作判定部３６は、記憶装置３１に記憶されたデータのうち動作結果情報を用いることによって、ロボット５が適切な機能を実現できたか否か、より具体的にはカメラ６から送信される画像信号に基づいてロボット５に実行させた搬送動作が適切であったか否かを判定する。上述のように動作結果情報は、カメラ６の画像信号に基づいてロボット５に実行させた一連の搬送動作の成否に関する情報、より具体的には、ロボット５がワークＷを把持できたか否かに関する情報や把持ずれ量に関する情報を含む。そこでロボット動作判定部３６は、ロボット５がワークＷを把持できかつ把持ずれ量が所定の基準値以下である場合にはロボットの搬送動作は適切であったと判定する。またロボット動作判定部３６は、ロボット５がワークＷを把持できなかった場合、又は、把持ずれ量が上記基準値より大きかった場合には、ロボットの搬送動作は不適切であったと判定する。

またロボット動作判定部３６は、ロボットの搬送動作が不適切であったと判定した場合には、記憶装置３１に記憶された過去の画像処理情報から不適切な搬送動作の実行の際にロボット制御ユニット７２への入力として用いられた画像処理情報を特定し、この画像処理情報を画像処理ユニット７１において生成するために用いられた画像信号が取得された時刻をカメラ６の異常発生時刻として異常原因推定部３７へ送信する。

なお図２には、カメラ６の異常発生時刻をロボット動作判定部３６においてロボットの搬送動作の結果から特定する場合を示すが、カメラ６の異常発生時刻を特定する手段はこれに限らない。カメラ６の異常発生時刻は、作業者が手動で設定し、異常原因推定部３７に入力してもよい。また、カメラ６に何らかの異常が生じ、カメラ６から送信される画像信号が異常なものであった場合、カメラ６に異常が生じたこと及びこの異常発生時刻は、画像処理ユニット７１においてカメラ６からの画像信号に画像処理を施すことによって特定することもできる。したがって、カメラ６の異常発生時刻は、カメラ６から送信される画像信号に基づいて画像処理ユニット７１において特定してもよい。

異常原因推定部３７は、以上のようにしてロボット動作判定部３６や画像処理ユニット７１等によって特定されたカメラ６の異常発生時刻と、記憶装置３１に記憶されたデータのうち環境情報及びその時間変化に関する情報と、画像処理情報及びその時間変化に関する情報と、動作結果情報及びその時間変化に関する情報と、画像信号と、を入力データ群として用いることによってカメラ６の異常の原因を推定し、その推定結果を表示装置４に表示させる。

異常原因推定部３７には、カメラ６の異常を生じさせる原因として可能性が有り得るものが、予め複数（例えば、１７）の異常原因項目に分けて定義されている。またこれら１７の異常原因項目は、カメラ６の異常の原因がその環境に由来する環境要因群に属する項目１〜１３と、それ以外の原因、すなわちカメラ６の異常の原因がカメラ６やカメラ６に接続される装置（ケーブルや画像処理ユニット等）の故障に由来する内部要因群に属する項目１４〜１７と、に分けられる。また環境要因群に属する項目１〜１３は、環境情報を分類するために定義された１３の環境項目と同じものが用いられる。すなわち、異常原因項目１〜１３は、それぞれ上述の環境項目１〜１３と同じである。また内部要因群に属する項目１４にはカメラ６の故障（より具体的には、例えばレンズの曇りや汚れ等による故障）が分類され、項目１５には画像処理ユニット７１の故障が分類され、項目１６にはカメラ６と画像処理ユニット７１とを接続するケーブルの故障（より具体的には、ケーブルの断線やケーブルに加わったノイズ等による故障）が分類され、項目１７にはロボット５の故障（より具体的には、ロボット５の位置決め精度の低下や、ロボット５とカメラ６の同期の乱れ等による故障）が分類される。

異常原因推定部３７は、異常発生時刻において発生したと推定されるカメラ６の異常と予め定められた各異常原因項目との相関の強さ、より具体的には各異常原因項目がカメラ６の異常の原因である可能性を百分率で表したものを、異常発生時刻よりも前の入力データ群を用いることによって算出する。

上記入力データ群には、カメラ６の機能と相関があるカメラ６の環境に関する情報が含まれていることから、入力データ群とカメラ６の異常との間には相関関係がある。例えば、何らかの理由によりカメラ６が過剰に振動することによってカメラ６に異常が発生した場合、このカメラ６の異常の発生と環境情報のうち項目１に属するカメラ６の振動に関する情報の変化との間には強い相関がある。また例えば、カメラ６の周囲機器の温度が上昇することによってカメラ６に異常が発生した場合、このカメラ６の異常の発生と環境情報のうち項目３に属する周囲機器の温度の変化との間には強い相関がある。また例えば、カメラ６の受光面に強い西日が差しこむことによってカメラ６に異常が発生した場合、このカメラ６の異常の発生と環境情報のうち項目５に属する日付及び時刻に関する情報との間には強い相関がある。異常原因推定部３７は、このような環境情報、環境変化情報、及び画像処理情報とカメラ６の異常との間の相関関係を、既知の機械学習アルゴリズムを利用して学習することによって、各異常原因項目がカメラ６の異常の原因である確率を算出する。

異常原因推定部３７において用いられる機械学習アルゴリズムの具体例としては、例えば、それぞれ所定の入出力特性を有する複数のニューロンを結合して構成される入力層と中間層と出力層とを備える階層型の多入力−多出力方式のニューラルネットワークが挙げられる。より具体的には、異常原因推定部３７は、カメラ６の異常発生時刻、並びにこの異常発生時刻から所定時間前までの間の複数の環境情報及びその時間変化に関する情報と、画像処理情報及びその時間変化に関する情報と、動作結果情報及びその時間変化に関する情報と、画像信号と、から成る入力データ群が入力層を構成する各ニューロンに入力されると、各異常原因項目がカメラ６の異常の原因である確率を出力する。

図３は、表示装置４のモニタに表示される異常原因推定部３７の推定結果の一例を示す図である。
図３に示すように、異常原因推定部３７は、上述のような機械学習アルゴリズムを利用することによってカメラ６の異常の原因である可能性を異常原因項目ごとに算出し、さらに可能性が高い項目から順に異常原因項目の番号とその可能性とを表示装置４に表示させる。作業者は、この表示装置４に表示された異常原因項目のうち可能性の高いものから順に（図３の例では、項目１、３、４の順に）異常の原因を確認することができるので、従来のように思い当たる原因を総当たりで確認していた場合よりも速やかにカメラ６の異常の原因を特定することができる。

＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照しながら説明する。本実施形態に係る異常原因推定システム１Ａは、カメラ６の異常発生時刻を特定する手段が第１実施形態に係る異常原因推定システム１と異なる。

図４は、本実施形態に係る異常原因推定システム１Ａの演算装置３２Ａの機能構成を示す機能ブロック図である。演算装置３２Ａは、ロボット動作判定部３６Ａと、異常原因推定部３７Ａと、カメラ異常判定部３８Ａをさらに備え、これらを用いることによってカメラ６の異常の原因を推定する。以下、演算装置３２Ａにおける演算によって実現可能に構成された各モジュール３６Ａ〜３８Ａの機能について順に説明する。

ロボット動作判定部３６Ａは、記憶装置３１に記憶されたデータのうち動作結果情報を用いることによって、ロボット５が適切な機能を実現できたか否か、より具体的にはカメラ６から送信される画像信号に基づいてロボット５に実行させた搬送動作が適切であったか否かを判定する。またロボット動作判定部３６Ａは、ロボットの搬送動作が不適切であったと判定した場合には、この不適切な動作が実行された時刻に関する情報をカメラ異常検出部３８Ａへ送信する。なお、ロボット動作判定部３６Ａにおいてロボットの搬送動作が適切であったか否かを判定する具体的な手順は、第１実施形態のロボット動作判定部３６と同じであるので、詳細な説明を省略する。

カメラ異常検出部３８Ａは、ロボット動作判定部３６Ａによる判定結果と、記憶装置３１に記憶されたデータのうち画像処理情報と、を用いることによって、カメラ６の異常を検出する。より具体的には、カメラ異常検出部３８Ａは、ロボット動作判定部３６Ａにおいてロボットの搬送動作が不適切であったと判定された場合に、この不適切な搬送動作を引き起こした原因がカメラ６の異常に起因するものであるか否かを、不適切な搬送動作が実行された時刻より前の画像処理情報を用いて判定するとともに、カメラ６の異常発生時刻を異常原因推定部３７Ａへ送信する。

上述のように画像処理情報には、ロボット制御ユニット７２においてロボット５の制御に直接的に用いられる情報が含まれていることから、画像処理情報とロボット５の搬送動作の異常との間には相関関係がある。より具体的には、例えば、画像処理情報に含まれるワークＷの輪郭のコントラストが過剰に低下した場合や、画像が過剰に明るくなった場合には、ロボット制御ユニット７２では適切な搬送動作を実現できない場合がある。カメラ異常検出部３８Ａは、このような画像処理情報とロボット５の搬送動作の異常との間の相関関係を、既知の機械学習アルゴリズムを利用して学習することにより、画像処理情報を入力としてカメラ６の異常を検出する。

カメラ異常検出部３８Ａにおいて用いられる機械学習アルゴリズムの具体例としては、例えば、それぞれ所定の入出力特性を有する複数のニューロンを結合して構成される入力層と中間層と出力層とを備える階層型の多入力−１出力方式のニューラルネットワークが挙げられる。より具体的には、カメラ異常検出部３８Ａは、ロボット動作判定部３６の出力（不適切な搬送動作が実行された時刻）、及びこの不適切な搬送動作が実行された時刻から所定時間前までの間の複数の画像処理情報から成る入力データ群が入力層を構成する各ニューロンに入力されると、カメラ６の異常発生時刻を出力層のニューロンから出力する。

異常原因推定部３７Ａは、カメラ異常検出部３８Ａにおいてカメラ６の異常が検出された場合には、カメラ異常検出部３８Ａによって特定された異常発生時刻と、記憶装置３１に記憶されたデータのうち環境情報及びその時間変化に関する情報と、画像処理情報及びその時間変化に関する情報と、動作結果情報及びその時間変化に関する情報と、画像信号と、を入力データ群として用いることによってカメラ６の異常の原因を推定し、その推定結果を表示装置４に表示させる。なお、異常原因推定部３７Ａにおいて、入力データ群を用いてカメラ６の異常の原因を推定する具体的な手順は、第１実施形態の異常原因推定部３７と同じであるので、以下では詳細な説明を省略する。

以上、本発明の一実施形態について説明したが、本発明はこれに限らない。

Ｓ…生産システム
１，１Ａ…異常原因推定システム
２…環境情報取得手段
３…情報処理装置
３１…記憶装置
３２，３２Ａ…演算装置
３３…表示装置（表示手段）
３６，３６Ａ…ロボット動作判定部（異常発生時刻特定手段）
３７，３７Ａ…異常原因推定部（異常原因推定手段）
３８Ａ…カメラ異常検出部（異常発生時刻特定手段）
５…ロボット（生産装置）
６…カメラ（視覚センサ）
７…制御装置
７１…画像処理ユニット（画像処理手段、異常発生時刻特定手段）
７２…ロボット制御ユニット

Claims (7)

1. 生産装置と、当該生産装置又はその周囲の視覚に関する情報を検出する視覚センサと、前記視覚センサによって得られた視覚情報に基づいて前記生産装置を制御する制御装置と、を備える生産システムにおいて、前記視覚センサの異常の原因を推定する視覚センサの異常原因推定システムであって、
   前記視覚センサの環境に関する情報を取得する環境情報取得手段と、
   前記環境情報取得手段によって取得された環境情報を用いることによって、前記視覚センサの異常と予め定められた複数の異常原因項目の各々との相関の強さを推定し、推定された相関の強さを前記異常原因項目ごとに表示手段に表示させる異常原因推定手段と、を備えることを特徴とする視覚センサの異常原因推定システム。
2. 前記異常原因推定手段は、前記視覚センサの異常発生時刻から所定時間前までの間の環境情報を用いることによって前記相関の強さを推定することを特徴とする請求項１に記載の視覚センサの異常原因推定システム。
3. 前記視覚情報に基づいて前記異常発生時刻を特定する異常発生時刻特定手段を備えることを特徴とする請求項２に記載の視覚センサの異常原因推定システム。
4. 前記視覚情報に所定の画像処理を施す画像処理手段と、
   前記画像処理を経て得られた画像処理情報と前記生産装置において前記視覚情報に基づいて行った動作の結果に関する動作結果情報とを用いることによって前記異常発生時刻を特定する異常発生時刻特定手段と、を備えることを特徴とする請求項２に記載の視覚センサの異常原因推定システム。
5. 前記環境情報取得手段は、前記視覚センサの環境を複数の環境項目に分け、前記各環境項目に属する環境情報を取得し、
   前記各異常原因項目は、それぞれ前記複数の環境項目の何れかと同じであることを特徴とする請求項１から４の何れかに記載の視覚センサの異常原因推定システム。
6. 前記環境項目は、前記視覚センサの周囲に設置された特定装置の振動と、前記特定装置の温度と、前記視覚センサの周囲の明るさと、を含むことを特徴とする請求項５に記載の視覚センサの異常原因推定システム。
7. 前記異常原因推定手段は、前記環境情報とその時間変化に関する情報とを入力として用いることによって、前前記視覚センサの異常と前記複数の異常原因項目の各々との相関の強さを推定することを特徴とする請求項１から６の何れかに記載の視覚センサの異常原因推定システム。

Images