JP6341022B2 - コントローラー、情報処理装置、及びロボットシステム - Google Patents

Description

この発明は、コントローラー、情報処理装置、及びロボットシステムに関する。

撮像部により撮像された撮像画像に基づいて作業対象の位置及び姿勢を算出し、算出された位置及び姿勢に基づいてロボットに所定の作業を行わせる方法が研究・開発が行われている。

これに関し、ロボットを制御する制御装置に接続され、撮像画像に基づく作業対象の位置及び姿勢の算出等の画像処理を行う制御装置とは別体の画像処理装置が知られている。ｗ（非特許文献１参照）。

http://robots.epson.com/admin/uploads/product_catalog/files/EPSON_CV1_Vision%20(RevB).pdf 「Vision Guidance for Epson Robots」

しかし、従来の制御装置は、画像処理装置のハードウェアに何らかの異常が生じた状態であっても、その状態を検出することができなかった。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、画像処理装置の状態を通知することを可能とするコントローラー、情報処理装置、及びロボットシステムを提供する。

本発明の一態様は、撮像画像を処理する画像処理装置から前記画像処理装置の状態情報を受け取る受取部と、前記状態情報に基づいて、前記画像処理装置の状態を判断する判断部と、前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、を含む、コントローラーである。
この構成により、コントローラーは、撮像画像を処理する画像処理装置から画像処理装置の状態情報を受け取り、状態情報に基づいて、画像処理装置の状態を判断し、その判断結果に基づいて、外部機器へ送信する送信信号を生成する。これにより、画像処理装置の状態を通知することを可能とする。

また、本発明の他の態様は、コントローラーにおいて、前記判断部は、正常な状態と、前記画像処理装置が故障している可能性が高い状態と、前記画像処理装置がこれから故障する可能性が高い状態とのうちいずれかを前記画像処理装置の状態として判断する、構成が用いられてもよい。
この構成により、コントローラーは、正常な状態と、画像処理装置が故障している可能性が高い状態と、画像処理装置がこれから故障する可能性が高い状態とのうちいずれかを画像処理装置の状態として判断する。これにより、コントローラーは、画像処理装置の状態を正常な状態と、画像処理装置が故障している可能性が高い状態と、画像処理装置がこれから故障する可能性が高い状態とのうちのいずれかであることを画像処理装置の状態として通知することを可能とする。

また、本発明の他の態様は、コントローラーにおいて、前記状態情報は、前記画像処理装置が備えるハードウェアの状態を示す１以上の物理量を示す情報を含み、前記１以上の前記物理量に基づいて前記画像処理装置の異常を示す事象を検出する事象検出部を備え、前記判断部は、前記事象検出部により検出された前記事象に基づいて前記画像処理装置の状態を判断する、構成が用いられてもよい。
この構成により、コントローラーは、画像処理装置が備えるハードウェアの状態を示す１以上の物理量に基づいて画像処理装置の異常を示す事象を検出し、検出された事象に基づいて画像処理装置の状態を判断する。これにより、コントローラーは、画像処理装置の異常を示す事象に基づいて判断した画像処理装置の状態に基づく送信信号を生成することができる。

また、本発明の他の態様は、コントローラーにおいて、前記状態情報は、前記画像処理装置の制御に係るエラーコードを含み、前記事象検出部は、前記画像処理装置の制御に係るエラーコードに基づいて前記画像処理装置の異常を示す事象を検出する、構成が用いられてもよい。
この構成により、コントローラーは、画像処理装置の制御に係るエラーコードに基づいて画像処理装置の異常を示す事象を検出する。これにより、コントローラーは、画像処理装置の状態として、画像処理装置の制御に係るエラーコードに基づいて画像処理装置の異常を示す事象に基づいて判断した画像処理装置の状態に基づく送信信号を生成することができる。

また、本発明の他の態様は、コントローラーにおいて、前記判断部は、前記事象に基づいて判断した前記画像処理装置の状態に、前記画像処理装置の状態を識別する情報を対応付け、前記生成部は、前記判断部により対応付けられた前記画像処理装置の状態を識別する情報を前記送信信号に含める、構成が用いられてもよい。
この構成により、コントローラーは、画像処理装置の異常を示す事象に基づいて判断した画像処理装置の状態に、画像処理装置の状態を識別する情報を対応付け、対応付けられた画像処理装置の状態を識別する情報を送信信号に含める。これにより、コントローラーは、画像処理装置の状態を識別する情報を含む送信信号を生成することができる。

また、本発明の他の態様は、コントローラーにおいて、通信部に前記生成部により生成された前記送信信号を前記外部機器へ送信させる通信制御部、を備える構成が用いられてもよい。
この構成により、コントローラーは、通信部に画像処理装置の状態の判断結果に基づいて生成された送信信号を外部機器へ送信させる。これにより、コントローラーは、画像処理装置の状態を外部機器のユーザーに通知することができる。

また、本発明の他の態様は、コントローラーにおいて、前記通信制御部は、前記外部機器からの要求に応じて前記通信部に前記１以上の前記物理量を示す情報を前記外部機器に送信させる、構成が用いられてもよい。
この構成により、コントローラーは、外部機器からの要求に応じて通信部に画像処理装置が備えるハードウェアの状態を示す１以上の物理量を示す情報を外部機器に送信させる。これにより、コントローラーは、画像処理装置が備えるハードウェアの状態を示す１以上の物理量をユーザーに通知することができる。

また、本発明の他の態様は、コントローラーにおいて、前記通信制御部は、前記判断部による前記判断結果に応じて前記通信部に、前記画像処理装置が備える出力部の出力状態の変更を要求する情報を前記画像処理装置へ送信させる、構成が用いられてもよい。
この構成により、コントローラーは、画像処理装置の状態の判断結果に応じて通信部に、画像処理装置が備える出力部の出力状態の変更を要求する情報を画像処理装置へ送信させる。これにより、コントローラーは、画像処理装置によって画像処理装置の状態をユーザーに確認させることができる。

また、本発明の他の態様は、上記に記載の前記コントローラーから取得された前記１以上の前記物理量を表示するためのＧＵＩを表示する、情報処理装置である。
この構成により、情報処理装置は、コントローラーから取得された画像処理装置が備えるハードウェアの状態を示す１以上の物理量を表示するためのＧＵＩを表示する。これにより、情報処理装置は、画像処理装置が備えるハードウェアの状態を示す１以上の物理量を表示するＧＵＩをユーザーに提供することによって、画像処理装置の状態の管理を容易にすることができる。

また、本発明の他の態様は、所定作業を行うロボットと、前記所定作業に係る範囲を撮像する撮像装置と、前記撮像装置が撮像した撮像画像を処理する画像処理装置と、前記画像処理装置が処理した結果に基づいて前記ロボットを制御するコントローラーと、を含み、前記コントローラーは、前記画像処理装置から前記画像処理装置の状態情報を受け取る受取部と、前記状態情報に基づいて、前記画像処理装置の状態を判断する判断部と、前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、を含む、ロボットシステムである。
この構成により、処理システムは、画像処理装置から画像処理装置の状態情報を受け取り、状態情報に基づいて、画像処理装置の状態を判断し、その判断結果に基づいて、外部機器へ送信する送信信号を生成する。これにより、ロボットシステムは、画像処理装置の状態を通知することを可能とする。
また、本発明の一態様は、１以上のハードウェアを機能部として備え、１以上のソフトウェアによって前記機能部を制御して撮像画像を処理する画像処理装置と接続され、前記機能部の状態を示す１以上の物理量の情報を状態情報として受け取る受取部と、前記状態情報に基づいて、前記機能部の状態を示す事象を検出する事象検出部と、前記事象検出部により検出された前記事象に基づいて、前記画像処理装置の状態を判断する判断部と、前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、を含み、前記判断部は、前記画像処理装置が正常な状態と、前記画像処理装置が故障している可能性が高い状態と、前記画像処理装置がこれから故障する可能性が高い状態のうちいずれかを前記画像処理装置の状態として判断する、コントローラーである。
また、本発明の一態様は、コントローラーにおいて、前記状態情報は、前記画像処理装置の１以上のソフトウェアによる制御に係るエラーコードを含み、前記事象検出部は、前記制御に係るエラーコードに基づいて前記画像処理装置の状態を示す前記事象を検出する、構成が用いられてもよい。
また、本発明の一態様は、コントローラーにおいて、前記判断部は、前記事象に基づいて判断した前記画像処理装置の状態に、前記画像処理装置の状態を識別する情報を対応付け、前記生成部は、前記判断部により対応付けられた前記画像処理装置の状態を識別する情報を前記送信信号に含める、構成が用いられてもよい。
また、本発明の一態様は、コントローラーにおいて、通信部に前記生成部により生成された前記送信信号を前記外部機器へ送信させる通信制御部、を備える、構成が用いられてもよい。
また、本発明の一態様は、コントローラーにおいて、前記通信制御部は、前記外部機器からの要求に応じて前記通信部に前記１以上の前記物理量を示す情報を前記外部機器に送信させる、構成が用いられてもよい。
また、本発明の一態様は、コントローラーにおいて、前記通信制御部は、前記判断部による前記判断結果に応じて前記通信部に、前記画像処理装置が備える出力部の出力状態の変更を要求する情報を前記画像処理装置へ送信させる、構成が用いられてもよい。
また、本発明の一態様は、上記に記載の前記コントローラーから取得された前記１以上の前記物理量を表示するためのＧＵＩを表示する、情報処理装置である。
また、本発明の一態様は、所定作業を行うロボットと、前記所定作業に係る範囲を撮像する撮像装置と、１以上のハードウェアを機能部として備え、１以上のソフトウェアによって前記機能部を制御して、前記撮像装置が撮像した撮像画像を処理する画像処理装置と、前記画像処理装置が処理した結果に基づいて前記ロボットを制御するコントローラーと、を含み、前記コントローラーは、前記機能部の状態を示す１以上の物理量の情報を状態情報として受け取る受取部と、前記状態情報に基づいて、前記機能部の状態を示す事象を検出する事象検出部と、前記事象検出部により検出された前記事象に基づいて、前記画像処理装置の状態を判断する判断部と、前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、を含み、前記判断部は、前記画像処理装置が正常な状態と、前記画像処理装置が故障している可能性が高い状態と、前記画像処理装置がこれから故障する可能性が高い状態のうちいずれかを前記画像処理装置の状態として判断する、ロボットシステムである。

以上により、コントローラー、及びロボットシステムは、画像処理装置から画像処理装置の状態情報を受け取り、状態情報に基づいて、画像処理装置の状態を判断し、その判断結果に基づいて、外部機器へ送信する送信信号を生成する。これにより、コントローラー、及びロボットシステムは、画像処理装置の状態を通知することを可能とする。
また、情報処理装置は、コントローラーから取得された画像処理装置が備えるハードウェアの状態を示す１以上の物理量を表示するためのＧＵＩを表示する。これにより、情報処理装置は、画像処理装置が備えるハードウェアの状態を示す１以上の物理量を表示するＧＵＩをユーザーに提供することによって、画像処理装置の状態の管理を容易にすることができる。

本実施形態に係るロボットシステム１の一例を示す構成図である。 制御装置３０のハードウェア構成の一例を示す図である。 画像処理装置４０のハードウェア構成の一例を示す図である。 制御装置３０の機能構成の一例を示す図である。 画像処理装置４０の機能構成の一例を示す図である。 制御装置３０の制御部３７が行う処理の流れの一例を示すフローチャートである。 画像処理装置４０の異常を示す事象と、画像処理装置４０の異常を示す事象が検出される条件と、画像処理装置４０の状態と、画像処理装置４０の状態を識別する状態コードとの対応関係の一例を示す図である。 出力制御部４７４が出力部４５の点灯状態を変更させる規則の一例を示す表である。 ステップＳ１３０で状態判断部３７３により判断された画像処理装置４０の状態を識別する状態コードと、状態コードとともにエラーヒストリーに記録するメッセージとの対応関係の一例を示す表である。 画像処理装置４０から取得された検出情報に含まれる各検出値を表示させるＧＵＩの一例を示す図である。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態に係るロボットシステム１の一例を示す構成図である。ロボットシステム１は、情報処理装置５と、撮像装置１０と、ロボット２０と、制御装置３０と、画像処理装置４０を具備する。

ロボットシステム１は、情報処理装置５によりユーザーからの操作を受け付け、受け付けられた操作に基づいてロボット２０に所定の作業を行わせる。所定の作業とは、例えば、図１に示したように、作業台ＴＢの上面に配置された作業対象Ｍを所定位置に再配置させる作業を示すが、他の作業であってもよい。作業台ＴＢは、例えば、テーブル等の台であるが、これに代えて、作業対象Ｍを配置することが可能であれば、床面や壁面等であってもよい。作業対象Ｍは、ロボット２０により把持可能な物体であり、例えば、ネジやボルト等の工業製品の部品であるが、他の物体であってもよい。図１において、作業対象Ｍは、直方体形状の物体として示す。

情報処理装置５は、例えば、ノートＰＣ（Personal Computer）やデスクトップＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）等、ロボット２０を制御するためのアプリケーションプログラムをインストールすることが可能な装置であり、更にディスプレイを備えた装置である。このアプリケーションプログラムは、ロボット２０を制御する制御プログラムを作成するためのＧＵＩ（Graphical User Interface）や、制御装置３０や画像処理装置４０それぞれの状態（例えば、各種のステータスや故障の有無等）を表示するためのＧＵＩ等、各種の機能を有するＧＵＩを情報処理装置５のディスプレイに表示させる。

情報処理装置５は、ディスプレイに表示されたＧＵＩを介してユーザーからの操作を受け付け、受け付けられた操作に基づいて前述の制御プログラムを作成し、それをコンパイルする。このコンパイルにより、制御プログラムは、制御装置３０により実行可能な形式のオブジェクトコードに変換される。情報処理装置５は、ディスプレイに表示されたＧＵＩを介してユーザーからの操作を受け付け、受け付けられた操作に基づいて、このオブジェクトコードを制御装置３０に出力する。

情報処理装置５は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、情報処理装置５と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。

撮像装置１０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。撮像装置１０は、ケーブルによって画像処理装置４０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、撮像装置１０と画像処理装置４０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。

撮像装置１０は、作業対象Ｍを含む範囲を撮像画像として撮像可能な位置に設置される。撮像装置１０は、静止画像を撮像画像として撮像する構成であるとするが、これに代えて、動画像を撮像画像として撮像する構成であってもよい。

ロボット２０は、作業対象Ｍの位置及び姿勢に基づいた制御信号を制御装置３０から取得し、取得した制御信号に基づいて所定の作業を行う。ロボット２０は、例えば、物体（この一例では、作業対象Ｍ）を把持可能な爪部を備えるエンドエフェクターＥＮＤと、マニピュレーターＭＮＰと、図示しない複数のアクチュエーターを備えた単腕のロボットである。単腕のロボットとは、エンドエフェクターＥＮＤとマニピュレーターＭＮＰ（又は、マニピュレーターＭＮＰのみ）により構成される１本の腕を有するロボットを示す。

なお、ロボット２０は、単腕のロボットである構成に代えて、スカラロボット（水平多関節ロボット）や双腕のロボット等であってもよい。スカラロボットとは、マニピュレーターが水平方向にのみ動き、マニピュレーターの先端のスライド軸のみが上下に動くロボットである。また、双腕のロボットとは、エンドエフェクターＥＮＤとマニピュレーターＭＮＰ（又は、マニピュレーターＭＮＰのみ）によりそれぞれ構成される２本の腕を有するロボットを示す。

ロボット２０の腕は、６軸垂直多関節型となっており、支持台とマニピュレーターＭＮＰとエンドエフェクターＥＮＤとがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができる。なお、ロボット２０の腕は、５自由度（５軸）以下で動作するものであってもよく、７自由度（７軸）以上で動作するものであってもよい。

ロボット２０は、例えばケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、ロボット２０と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。なお、ロボット２０は、図１に示したようにロボット２０の外部に設置された制御装置３０と接続される構成とするが、この構成に代えて、制御装置３０がロボット２０に内蔵される構成であってもよい。

制御装置３０は、情報処理装置５からオブジェクトコードを取得し、取得されたオブジェクトコードに基づいて、所定の作業を行うようにロボット２０を制御する。より具体的には、この一例において、制御装置３０は、オブジェクトコードに基づいて画像処理装置４０に対し、撮像装置１０により作業対象Ｍを含む範囲が撮像された撮像画像を取得し、取得された撮像画像に基づいて作業対象Ｍの位置及び姿勢を算出する画像処理を行うように要求する。

そして、制御装置３０は、画像処理装置４０による前述の画像処理が終了した後、作業対象Ｍの位置及び姿勢を示す情報を画像処理装置４０から取得する。制御装置３０は、取得された作業対象Ｍの位置及び姿勢に基づく制御信号を生成し、生成された制御信号をロボット２０に出力することでロボット２０が所定の作業を行うように制御する。

画像処理装置４０は、オブジェクトコードに基づく制御装置３０からの要求に応じて、撮像装置１０から作業対象Ｍを含む範囲が撮像された撮像画像を取得する。そして、画像処理装置４０は、撮像装置１０から撮像画像を取得した後、取得された撮像画像に基づいて作業対象Ｍの位置及び姿勢を算出する画像処理を行う。画像処理装置４０は、画像処理の結果として得られた作業対象Ｍの位置及び姿勢を示す情報を制御装置３０に出力する。

なお、画像処理装置４０は、オブジェクトコードに基づく制御装置３０からの要求に応じてこれらの処理を行う構成に代えて、撮像装置１０から周期的に撮像画像を取得し、撮像画像が取得される度に、取得された撮像画像に対して前述の画像処理を行うことで作業対象Ｍの位置及び姿勢を算出する構成であってもよい。この場合、画像処理装置４０は、制御装置３０から作業対象Ｍの位置及び姿勢を示す情報の取得の要求を取得するたびに、その時点で算出されている作業対象Ｍの位置及び姿勢を示す情報を制御装置３０に出力する。

以下では、このように構成されるロボットシステム１における制御装置３０が有する画像処理装置の異常状態通知機能について説明する。異常状態通知機能とは、例えば、画像処理装置４０が備えるＣＰＵの温度が過度に上昇している等、画像処理装置４０が備える１以上のハードウェアによる機能部又はソフトウェアによる制御処理の一部又は全部が、故障している可能性が高い状態又はこれから故障する可能性が高い状態であることを示す事象を検出し、検出された事象に基づく通知を行う機能である。

以下では、説明の便宜上、画像処理装置４０が備える１以上のハードウェアによる機能部又はソフトウェアによる制御処理の一部又は全部が、故障している可能性が高い状態又はこれから故障する可能性が高い状態であることを示す事象を、画像処理装置４０の異常を示す事象と称して説明する。これから故障する可能性が高い状態とは、この一例において、画像処理装置４０の使用状態を現在の状態のまま保持して使用し続けた時に、所定時間以内に故障する確率が所定値を超える状態を示すが、他の状態を示してもよい。

次に、図２を参照して、制御装置３０のハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。制御装置３０は、例えば、ＣＰＵ（Central Processing Unit）３１と、記憶部３２と、入力受付部３３と、通信部３４と、出力部３５を備え、通信部３４を介して情報処理装置５や画像処理装置４０、他の装置等と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。ＣＰＵ３１は、記憶部３２に格納された各種プログラムを実行する。

記憶部３２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御装置３０が処理する各種情報や画像、プログラム等を格納する。
なお、記憶部３２は、制御装置３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部３３は、例えば、キーボードやマウス、タッチパッドや、その他の入力装置であってもよい。また、入力受付部４３は、タッチパネルとしてディスプレイと一体に構成されてもよい。
通信部３４は、例えば、複数のイーサネット（登録商標）ポートや複数のＵＳＢ等のデジタル入出力ポート等を含んで構成される。
出力部４５は、例えば、液晶ディスプレイパネル、あるいは、有機ＥＬ（ElectroLuminescence）ディスプレイパネルを備える構成であってもよく、音声を出力するスピーカーを備える構成等であってもよい。

次に、図３を参照して、画像処理装置４０のハードウェア構成について説明する。図３は、画像処理装置４０のハードウェア構成の一例を示す図である。画像処理装置４０は、例えば、ＣＰＵ４１と、記憶部４２と、入力受付部４３と、通信部４４と、出力部４５と、検出部４６を備え、通信部４４を介して制御装置３０や他の画像処理装置４０、他の装置等と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。ＣＰＵ４１は、記憶部４２に格納された各種プログラムを実行する。

記憶部４２は、メモリー４２１と、ストレージ４２２を備える。
メモリー４２１は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等を含み、画像処理装置４０が備える機能部のうち主としてＣＰＵ４１等のプロセッサーが直接アクセス可能な記憶装置である。

ストレージ４２２は、例えば、ＨＤＤやＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどを含み、画像処理装置４０が処理する各種情報や画像、プログラム等を格納する。
なお、メモリー４２１やストレージ４２２はそれぞれ、画像処理装置４０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部４３は、例えば、押下や長押し等によって複数の要求を画像処理装置４０に入力することが可能な１以上のボタンであるが、これに代えて、キーボードやマウス、タッチパッドや、その他の入力装置であってもよい。その場合、入力受付部４３は、タッチパネルとして表示部と一体に構成されてもよい。この一例において、入力受付部４３は、１つのボタンであるとして説明する。
通信部４４は、外部通信部４４１と、第１撮像通信部４４２と、第２撮像通信部４４３を備える。

外部通信部４４１は、例えば、複数のイーサネット（登録商標）ポートや複数のＵＳＢ等のデジタル入出力ポート等を含んで構成される。この一例において、外部通信部４４１は、２個のイーサネット（登録商標）ポートを含む構成であるとして説明する。
第１撮像通信部４４２は、複数のイーサネット（登録商標）ポートや複数のＵＳＢ等のデジタル入出力ポート等を含んで構成され、それらのポートは、撮像装置１０と通信を行うための専用ポートである。なお、第１撮像通信部４４２は、音声を取得するための音声取得装置等の他の装置と通信を行うための専用ポートであってもよい。

第２撮像通信部４４３は、複数のイーサネット（登録商標）ポートや複数のＵＳＢ等のデジタル入出力ポート等を含んで構成され、それらのポートは、撮像装置１０と通信を行うための専用ポートである。なお、第２撮像通信部４４３は、音声を取得するための音声取得装置等の他の装置と通信を行うための専用ポートであってもよい。
第１撮像通信部４４２と第２撮像通信部４４３は、それぞれが備えるポートの通信規格が異なる。この一例において、第１撮像通信部４４２は、４つのイーサネット（登録商標）ポートを含んで構成され、第２撮像通信部４４３は、４つのＵＳＢポートを含んで構成されるとする。

出力部４５は、複数のＬＥＤを備え、それらのＬＥＤの点灯状態（例えば、消灯、点灯、点滅等）によって各種の情報を通知する。この一例において、出力部４５は、緑色のＬＥＤと、赤色のＬＥＤを１つずつ備えるとして説明するが、これらのＬＥＤの色は、それぞれ他の色であってもよく、同じ色であってもよい。なお、出力部４５は、これらのＬＥＤを備える構成に代えて、例えば、液晶ディスプレイパネル、あるいは、有機ＥＬディスプレイパネルを備える構成であってもよく、音声を出力するスピーカーを備える構成等であってもよい。

検出部４６は、画像処理装置４０が備える複数のハードウェアそれぞれの異常を示す事象が生じていることを示す指標となる物理量を検出するための複数のセンサーである。ハードウェアの異常を示す事象とは、前述の画像処理装置４０の異常を示す事象の定義において、画像処理装置４０をハードウェアに読み換えたものを示す。この一例において、画像処理装置４０が備える複数のハードウェアとは、図示しないＣＰＵ４１の冷却ファンと、図示しない画像処理装置４０の筐体内部を冷却するシステムファンと、ＣＰＵ４１と、図示しない画像処理装置４０に内蔵されるＢＩＯＳ（Basic Input Output System）バックアップ用の電池を示すが、これらのハードウェアの一部の組み合わせであってもよく、これらのハードウェアに他のハードウェアを含めた組み合わせであってもよく、１以上の他のハードウェアであってもよい。

また、この一例において、画像処理装置４０が備えるハードウェアの異常を示す事象が生じていることを示す指標となる物理量とは、ＣＰＵ４１の冷却ファンの回転数と、画像処理装置４０の筐体内部を冷却するシステムファンの回転数と、ＣＰＵ４１の温度と、画像処理装置４０に内蔵されるＢＩＯＳバックアップ用の電池の電圧値であるが、これらに代えて、これらの物理量の組み合わせであってもよく、これらの物理量に他の物理量を含めた組み合わせであってもよく、１以上の他の物理量であってもよい。なお、画像処理装置４０が備える複数のハードウェアそれぞれの異常を示す事象が生じていることを示す指標となる物理量は、自装置が備えるハードウェアの状態を示す１以上の物理量の一例である。

本実施形態において、検出部４６は、例えば、第１検出部４６１と、第２検出部４６２と、第３検出部４６３と、第４検出部４６４の４つのセンサーを備える。
第１検出部４６１は、例えば、ＣＰＵ４１の冷却ファンの回転数を検出する回転数センサーである。
第２検出部４６２は、例えば、画像処理装置４０の筐体内部を冷却するシステムファンの回転数を検出する回転数センサーである。
第３検出部４６３は、例えば、ＣＰＵ４１の温度を検出する温度センサーである。
第４検出部４６４は、例えば、画像処理装置４０に内蔵されるＢＩＯＳバックアップ用の電池の電圧値を検出する電圧センサーである。

次に、図４を参照して、制御装置３０の機能構成について説明する。図４は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、記憶部３２と、通信部３４と、出力部３５と、制御部３７を備える。
制御部３７は、検出情報取得部３７１と、異常事象検出部３７２と、状態判断部３７３と、出力制御部３７４と、通信制御部３７５と、ロボット制御部３７６を備える。制御部３７が備えるこれらの機能部のうち一部又は全部は、例えば、ＣＰＵ３１が、記憶部３２に記憶されたプログラムを実行することで実現される。また、これらの機能部のうち一部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

検出情報取得部３７１は、通信部３４を介して画像処理装置４０から検出情報を周期的（例えば、１分経過毎）に取得する。この一例において、検出情報は、画像処理装置４０の検出部４６が備える第１検出部４６１〜第４検出部４６４のそれぞれによって検出された物理量と、画像処理装置４０の記憶部４２が備えるメモリー４２１及びストレージ４２２のそれぞれの記憶領域の空き容量を示す情報と、画像処理装置４０の処理に係るエラーコードを示す情報とを含む。なお、検出情報取得部３７１は、画像処理装置４０から検出情報を周期的に取得する構成に代えて、常に取得し続ける構成であってもよく、予め決められた時刻に取得する構成であってもよい。なお、検出情報取得部３７１は、受取部の一例である。また、検出情報は、状態情報の一例である。

異常事象検出部３７２は、検出情報取得部３７１により画像処理装置４０から取得された画像処理装置４０の異常を示す事象を検出する。より具体的には、異常事象検出部３７２は、検出情報取得部３７１により取得された検出情報に基づいて、画像処理装置４０が備えるハードウェアの異常を示す事象を検出する。また、異常事象検出部３７２は、画像処理装置４０の処理に係るエラーコードに基づいて、画像処理装置４０の制御（前述のソフトウェアによる制御処理）に係る異常を示す事象を検出する。なお、異常事象検出部３７２は、事象検出部の一例である。

状態判断部３７３は、異常事象検出部３７２により画像処理装置４０の異常を示す事象が検出された場合、検出された画像処理装置４０の異常を示す事象に基づいて、後述する画像処理装置４０の状態を判断する。なお、状態判断部３７３は、判断部の一例である。
出力制御部３７４は、状態判断部３７３による画像処理装置４０の状態の判断結果を示す情報を出力部３５に表示させる。なお、例えば、出力部３５がスピーカーであった場合、出力制御部３７４は、状態判断部３７３による画像処理装置４０の状態の判断結果を示す情報を表す音声を出力部３５に出力させる。

通信制御部３７５は、異常事象検出部３７２により画像処理装置４０の異常を示す事象が検出された場合、又は情報処理装置５からの要求を取得した場合、状態判断部３７３により判断された画像処理装置４０の状態を示す情報を含む送信信号を生成し、生成された送信信号を、通信部３４を介して情報処理装置５に出力する。以下では、説明の便宜上、通信制御部３７５がある情報Ｐを含む送信信号を生成し、生成された送信信号を、通信部３４を介して外部機器（例えば、情報処理装置５）に出力することを、単に通信制御部３７５が情報Ｐを通信部３４に外部機器へ出力させると称して説明する。

また、画像処理装置４０の状態を示す情報とは、この一例において、画像処理装置４０の状態を識別する数値であるとするが、文字や記号等、画像処理装置４０の状態を識別する他の情報であってもよい。以下では、説明の便宜上、この数値を状態コードと称して説明する。状態コードは、画像処理装置の状態を識別する情報の一例である。また、通信制御部３７５は、画像処理装置４０が備える出力部４５の出力状態を、状態判断部３７３により判断された判断結果に応じた出力状態に変更させるための要求を通信部３４に画像処理装置４０へ出力させる。なお、通信制御部３７５は、生成部と通信制御部のそれぞれの一例である。

ロボット制御部３７６は、通信部３４を介して情報処理装置５からオブジェクトコードを取得し、取得されたオブジェクトコードに基づいてロボット２０に所定の作業を行わせる。この所定の作業を行わせる際、ロボット制御部３７６は、オブジェクトコードに基づいて画像処理装置４０に対し、撮像装置１０により作業対象Ｍを含む範囲が撮像された撮像画像を取得し、取得された撮像画像に基づいて作業対象Ｍの位置及び姿勢を算出する画像処理を行うように要求する。

そして、ロボット制御部３７６は、画像処理装置４０による前述の画像処理が終了した後、作業対象Ｍの位置及び姿勢を示す情報を画像処理装置４０から取得する。ロボット制御部３７６は、取得された作業対象Ｍの位置及び姿勢に基づく制御信号を生成し、生成された制御信号をロボット２０に出力することでロボット２０に所定の作業を行わせる。

次に、図５を参照して、画像処理装置４０の機能構成について説明する。図５は、画像処理装置４０の機能構成の一例を示す図である。画像処理装置４０は、記憶部４２と、通信部４４と、出力部４５と、検出部４６と、制御部４７を備える。なお、この一例において、撮像装置１０は、第１撮像通信部４４２に接続されているとし、第２撮像通信部４４３には、撮像装置が接続されていないとして説明する。

制御部４７は、画像処理装置４０の全体を制御する。制御部４７は、検出情報取得部４７１と、異常事象検出部４７２と、状態判断部４７３と、出力制御部４７４と、通信制御部４７５と、撮像制御部４７６と、画像取得部４７７と、画像処理部４７８を備える。制御部４７が備えるこれらの機能部のうち一部又は全部は、例えば、ＣＰＵ４１が、記憶部４２に記憶されたプログラムを実行することで実現される。また、これらの機能部のうち一部は、ＬＳＩやＡＳＩＣ等のハードウェア機能部であってもよい。

検出情報取得部４７１は、検出部４６が備える第１検出部４６１〜第４検出部４６４のそれぞれによって検出された物理量を周期的（例えば、１分経過毎）に取得する。また、検出情報取得部４７１は、記憶部４２が備えるメモリー４２１及びストレージ４２２のそれぞれから、記憶領域の空き容量を示す情報を周期的（例えば、１分経過毎）に取得する。以下、説明の便宜上、検出部４６から取得した複数の物理量と、記憶部４２から取得した２つの空き容量を示す情報とをまとめて、検出情報と称して説明する。なお、検出情報取得部４７１は、検出情報を周期的に取得する構成に代えて、常に取得し続ける構成であってもよく、予め決められた時刻に取得する構成であってもよい。

出力制御部４７４は、外部通信部４４１を介して制御装置３０からの取得される要求に応じて、出力部４５の出力状態（この一例において、点灯状態）を変更させる。
通信制御部４７５は、画像処理部４７８により算出される作業対象Ｍの位置及び姿勢を示す情報を外部通信部４４１に制御装置３０へ出力させる。

撮像制御部４７６は、第１撮像通信部４４２を介して、作業対象Ｍを含む範囲を撮像装置１０に撮像させる。また、撮像制御部４７６は、第２撮像通信部４４３に何らかの撮像装置Ｚが接続されている場合、第２撮像通信部４４３を介して、撮像装置Ｚが撮像可能な範囲を撮像装置Ｚに撮像させる。

画像取得部４７７は、第１撮像通信部４４２を介して、撮像装置１０から撮像画像を取得する。また、画像取得部４７７は、第２撮像通信部４４３に撮像装置Ｚが接続されている場合、第２撮像通信部４４３を介して、撮像装置Ｚから撮像画像を取得する。
画像処理部４７８は、画像取得部４７７により取得された撮像画像に基づいて、作業対象Ｍの位置及び姿勢を算出する画像処理を行う。

以下、図６を参照して、制御装置３０の制御部３７が行う処理について説明する。図６は、制御装置３０の制御部３７が行う処理の流れの一例を示すフローチャートである。本実施形態において、制御部３７は、図６に示した処理の流れを、制御装置３０に接続された画像処理装置４０の電源がオンになっている間、周期的（例えば、１分経過毎）に行うとするが、予め決められた時刻に行う構成であってもよく、常時行う構成等であってもよい。なお、制御装置３０は、図６に示した処理の流れを、情報処理装置５からの要求に応じて行う構成であってもよい。

まず、検出情報取得部３７１は、画像処理装置４０に検出情報取得の要求を、通信部３４を介して出力する。そして、検出情報取得部３７１は、通信部３４を介して、その要求に対する応答として画像処理装置４０から検出情報を取得する（ステップＳ１１０）。次に、異常事象検出部３７２は、ステップＳ１１０で検出情報取得部４７１により取得された検出情報に基づいて、画像処理装置４０の異常を示す事象を検出する。

この一例において、画像処理装置４０の異常を示す事象は、下記に示したＡ）〜Ｍ）までの１３の事象であるとする。なお、画像処理装置４０の異常を示す事象は、下記に示したＡ）〜Ｍ）までの１３の事象のうちの一部であってもよく、下記に示したＡ）〜Ｍ）に加えて他の事象を含んでもよく、その他の事象と下記に示したＡ）〜Ｍ）とを含む事象のうちの一部であってもよい。また、下記に示したＡ）〜Ｍ）には、画像処理装置４０の異常を示す事象とともに、それぞれが検出される条件を示した。

Ａ）検出情報に含まれるＣＰＵ４１の温度が所定範囲Ｘ１（例えば、９０℃以上１００℃未満）以内
Ｂ）検出情報に含まれるＣＰＵ４１の温度が所定閾値Ｙ１（例えば、１００℃）以上
Ｃ）検出情報に含まれるＣＰＵ４１の冷却ファンの回転数が所定範囲Ｘ２（例えば、０ＲＰＭ（Revolution Per Minutes）ではなく１０００ＲＰＭ未満）以内
Ｄ）検出情報に含まれるＣＰＵ４１の冷却ファンの回転数が所定閾値Ｙ２（例えば、０ＲＰＭ）以下
Ｅ）検出情報に含まれる回転数であって画像処理装置４０の筐体内部を冷却するシステムファンの回転数が所定範囲Ｘ３（例えば、０ＲＰＭ（Revolution Per Minutes）ではなく１０００ＲＰＭ未満）以内
Ｆ）検出情報に含まれる回転数であって画像処理装置４０の筐体内部を冷却するシステムファンの回転数が所定閾値Ｙ３（例えば、０ＲＰＭ）以下
Ｇ）検出情報に含まれる電圧値であって画像処理装置４０に内蔵されるＢＩＯＳバックアップ用の電池の電圧値が所定範囲Ｘ４（例えば、２Ｖ以上２．５Ｖ未満）以内
Ｈ）検出情報に含まれる電圧値であって画像処理装置４０に内蔵されるＢＩＯＳバックアップ用の電池の電圧値が所定閾値Ｙ４（例えば、２Ｖ）未満
Ｉ）検出情報に含まれるエラーコードにコマンドエラーを示すコードが含まれる
Ｊ）検出情報に含まれるメモリー４２１の空き領域が所定閾値Ｙ５（例えば、１０ＭＢｙｔｅ）未満
Ｋ）検出情報に含まれるストレージ４２２の空き領域が所定閾値Ｙ６（例えば、１０ＭＢｙｔｅ）未満
Ｌ）検出情報に含まれるエラーコードに検出情報取得部４７１による検出情報取得エラーを示すコードが含まれる
Ｍ）検出情報に含まれるエラーコードに出力制御部４７４による出力部４５の制御エラーを示すコードが含まれる

なお、以下では、説明の便宜上、ステップＳ１２０で、上記に示したＡ）〜Ｍ）の事象のうちのＡ）の事象が異常事象検出部３７２によって検出されたとして説明する。

次に、状態判断部３７３は、ステップＳ１３０で異常事象検出部３７２により検出された画像処理装置４０の異常を示す事象（この一例において、上記に示したＡ）の事象）に基づいて、画像処理装置４０の状態を判断する（ステップＳ１３０）。ここで、状態判断部３７３による画像処理装置４０の状態を判断する処理について説明する。状態判断部３７３は、ステップＳ１３０で異常事象検出部３７２により検出された画像処理装置４０の異常を示す事象に基づいて、図７に示したような対応関係から画像処理装置４０の状態を判断する。図７は、画像処理装置４０の異常を示す事象と、画像処理装置４０の異常を示す事象が検出される条件と、画像処理装置４０の状態と、画像処理装置４０の状態を識別する状態コードとの対応関係の一例を示す図である。

例えば、状態判断部３７３は、図７に示した対応関係に基づき、異常事象検出部３７２により画像処理装置４０の異常を示す事象が検出されなかった場合、画像処理装置４０の状態を正常状態（状態コードが０）であると判断する。正常状態は、正常な状態の一例である。また、状態判断部３７３は、異常事象検出部３７２により画像処理装置４０の異常を示す事象としてＣＰＵ温度異常（検出される条件が９０℃以上１００℃未満）が検出された場合、画像処理装置４０の状態を警告発生状態であると判断する。警告発生状態とは、画像処理装置４０が備える１以上のハードウェアによる機能部又はソフトウェアによる制御処理の一部又は全部が、これから故障する可能性が高い状態を示す。

また、状態判断部３７３は、異常事象検出部３７２により画像処理装置４０の異常を示す事象としてＣＰＵ温度異常（検出される条件が１００℃以上）が検出された場合、画像処理装置４０の状態をエラー発生状態であると判断する。エラー発生状態とは、画像処理装置４０が備える１以上のハードウェアによる機能部又はソフトウェアによる制御処理の一部又は全部が、故障している可能性が高い状態を示す。

なお、図７に示した対応関係はあくまで一例であり、画像処理装置４０の異常を示す事象に対して、他の画像処理装置４０の状態や状態コードを対応付けてもよい。また、画像処理装置４０の状態は、正常状態、警告発生状態、エラー発生状態の３つのいずれかに代えて、これら３つのうちの一部のいずれかであってもよく、これら３つとは異なる１以上の他の状態のいずれかであってもよく、これら３つ他の状態を加えた４つ以上のいずれかであってもよい。

この一例において、ステップＳ１３０で異常事象検出部３７２により検出された画像処理装置４０の異常を示す事象が、上記に示したＡ）の事象（すなわち、図７に示した状態コード１に対応付けられた画像処理装置４０の異常を示す事象）であるため、ステップＳ３０において状態判断部３７３は、画像処理装置４０の状態を警告発生状態であると判断する。

次に、通信制御部３７５は、画像処理装置４０が備える出力部４５の点灯状態を、ステップＳ１３０で状態判断部３７３により検出された画像処理装置４０の状態（状態判断部３７３により判断された判断結果）に応じた点灯状態に変更させるための要求を通信部３４に画像処理装置４０へ出力させる（ステップＳ１３０）。画像処理装置４０が備える出力制御部４７４は、この要求を取得すると、取得された要求に応じて出力部４５の点灯状態を変更する。ここで、出力制御部４７４による出力部４５の点灯状態を変更する処理について説明する。出力制御部４７４は、図８に示した対応関係に基づき、ステップＳ１３０で状態判断部３７３により検出された画像処理装置４０の状態に応じて出力部４５に点灯状態を変更させる。図８は、出力制御部４７４が出力部４５の点灯状態を変更させる規則の一例を示す表である。

出力制御部４７４は、状態判断部３７３により検出された画像処理装置４０の状態が警告発生状態である場合、出力部４５に出力部４５の点灯状態を点滅に変更させる。一方、出力制御部４７４は、状態判断部３７３により検出された画像処理装置４０の状態がエラー発生状態である場合、出力部４５に出力部４５の点灯状態を点灯に変更させる。この一例において、ステップＳ１３０で状態判断部３７３により検出された画像処理装置４０の状態が警告発生状態であるため、出力制御部４７４は、出力部４５に出力部４５の点灯状態を点滅に変更させる。

なお、この一例において、出力制御部４７４は、出力部４５に出力部４５が備える赤いＬＥＤの点灯状態を点滅又は点灯に変更させた後、状態判断部３７３により正常状態であると判断された場合（すなわち、画像処理装置４０の状態が警告発生状態又はエラー発生状態から正常な状態に復旧した場合）、出力部４５に出力部４５が備える赤いＬＥＤの点灯状態を消灯に変更させる構成であるとするが、点滅、点灯、消灯以外の他の点灯状態に変更させる構成であってもよい。

また、出力制御部４７４は、状態判断部３７３により、例えば、ＣＰＵ４１に係る警告発生状態と、システムファンに係るエラー発生状態とが同時に発生していると判断された場合のように、画像処理装置４０の異常を示す複数の事象が検出され、それ毎に画像処理装置４０の状態が判断された場合、例えば、以下に示す規則Ｒ１）、Ｒ２）に従って出力部４５に出力部４５の点灯状態を変更させる。
Ｒ１）エラー発生状態及び警告発生状態が同時に発生している場合、出力部４５の点灯状態を点灯に変更する
Ｒ２）エラー発生状態が発生せず、警告発生状態が発生している場合、出力部４５の点灯状態を点滅に変更する

次に、通信制御部３７５は、ステップＳ１３０で状態判断部４７３により判断された画像処理装置４０の状態を識別する状態コードを示す情報を、外部通信部４４１に情報処理装置５へ出力させる（ステップＳ１５０）。このように、制御部３７は、ステップＳ１１０からステップＳ１５０までの処理を繰り返すことで、画像処理装置４０の異常を示す事象を検出し、検出された画像処理装置４０の異常を示す事象に応じて出力部４５の点灯状態を変更する。これにより、制御装置３０は、画像処理装置４０の出力部の点灯状態によってユーザーに画像処理装置４０の状態を通知することができる。また、制御部３７は、ステップＳ１１０からステップＳ１５０までの処理を繰り返すことで、情報処理装置５に画像処理装置４０の状態を通知することができる。

ここで、ステップＳ１５０において画像処理装置４０から出力された状態コードを示す情報を取得した後に制御装置３０及び情報処理装置５が行う処理について説明する。制御装置３０は、ステップＳ１３０で状態判断部３７３により判断された画像処理装置４０の状態を識別する状態コードを、図９に示した状態コードに対応付けられたメッセージとともにエラーヒストリーに記録する。図９は、ステップＳ１３０で状態判断部３７３により判断された画像処理装置４０の状態を識別する状態コードと、状態コードとともにエラーヒストリーに記録するメッセージとの対応関係の一例を示す表である。

このように、制御装置３０は、画像処理装置４０の異常を示す事象が画像処理装置４０のどのハードウェアや制御に生じているのかをエラーヒストリーとして記録し、ユーザーの画像処理装置４０のメンテナンスや修理等に係る手間を軽減することができる。なお、図９に示した状態コードは、あくまで一例であり、他の数値や文字等であってもよい。

また、制御装置３０は、例えば、７セグメントＬＥＤ等の出力部３５とは異なる表示部Ｗを備え、出力制御部３７４により状態コードを表す数字を、表示部Ｗに表示させ、ユーザーに対して画像処理装置４０の異常を示す事象が生じたことを通知する構成であってもよい。この場合、制御装置３０は、画像処理装置４０の異常を示す事象が画像処理装置４０のどのハードウェアや制御に生じているのかをユーザーに向けて簡易に通知することができる。

また、制御装置３０の通信制御部３７５は、状態コードを示す情報を情報処理装置５に出力するように通信部３４を制御する。情報処理装置５は、制御装置３０から状態コードを示す情報を取得し、取得された状態コードに基づいて、画像処理装置４０に異常を示す事象が生じたことを示す情報をディスプレイ（又は、ディスプレイに表示されたＧＵＩ）に表示させる。これにより、情報処理装置５は、ユーザーに対してＧＵＩを介して画像処理装置４０の異常を示す事象が画像処理装置４０のどのハードウェアや制御に生じているのかをユーザーに向けて通知することができ、その結果、ユーザーが制御装置３０や画像処理装置４０を直接操作しなければならない手間を軽減することができる。

以下、画像処理装置４０がロボットシステム１（この一例において、制御装置３０）に接続された後に情報処理装置５と制御装置３０の間で行われる処理について説明する。情報処理装置５は、画像処理装置４０が制御装置３０に接続され、画像処理装置４０を認識した後、制御装置３０に対して画像処理装置４０から取得される検出情報の取得を周期的（例えば、１秒経過毎）に要求する。制御装置３０は、この要求を取得すると、この要求が取得された時点で制御装置３０に取得されている検出情報を情報処理装置５に出力する。

情報処理装置５は、制御装置３０から検出情報を取得する。情報処理装置５は、ディスプレイに表示されたＧＵＩを介してユーザーからの操作を受け付け、受け付けられた操作に基づいて、取得された検出情報に含まれる各検出値を表示させるＧＵＩをディスプレイに表示させる。図１０は、画像処理装置４０から取得された検出情報に含まれる各検出値を表示させるＧＵＩの一例を示す図である。

この一例において、このＧＵＩには、図１０に示したようにメモリー４２１の空き容量（図１０において、全容量ｂＭＢのうちのａＭＢと示した）と、ストレージ４２２の空き容量（図１０において、全容量ｄＭＢのうちのｃＭＢと示した）と、ＣＰＵ４１の冷却ファンの回転数（図１０において、ｅＲＰＭと示した）と、ＣＰＵ４１の温度（図１０において、ｆ℃と示した）と、画像処理装置４０の筐体内部を冷却するシステムファンの回転数（図１０において、ｇＲＰＭと示した）と、画像処理装置４０に内蔵されるＢＩＯＳバックアップ用の電池の電圧値（図１０において、ｈＶと示した）が表示される。これにより、ユーザーは、図１０に示したＧＵＩを情報処理装置５のディスプレイに表示させることで、画像処理装置４０の異常を示す事象が生じているか否かを確認することができる。

なお、この情報処理装置５と制御装置３０の間で行われる処理は、制御装置３０と画像処理装置４０の間で行われてもよく、情報処理装置５と画像処理装置４０の間で行われてもよく、情報処理装置５及び制御装置３０と画像処理装置４０の間で行われてもよい。

また、画像処理装置４０は、処理装置の一例に過ぎず、本実施形態において説明した異常状態通知機能は、例えば、音声データを処理する音声処理装置が有してもよく、ユーザーから受け付けた入力操作を処理してロボット２０をその入力操作に応じて動かす入力処理装置（例えば、ティーチングペンダント）が有してもよく、他の何らかのデータを処理するデータ処理装置が有してもよい。
また、上記で説明した制御装置３０は、コントローラーの一例である。

以上説明したように、本実施形態におけるロボットシステム１が具備する制御装置３０は、撮像画像を処理する画像処理装置４０から画像処理装置４０の検出情報を取得し（受け取り）、検出情報に基づいて、画像処理装置４０の状態を判断し、その判断結果に基づいて、外部機器（この一例において、情報処理装置５）へ送信する送信信号を生成する。これにより、制御装置３０は、画像処理装置の状態を通知することを可能とする。

また、制御装置３０は、画像処理装置４０の状態が正常な状態と、画像処理装置４０が故障している可能性が高い状態と、画像処理装置４０がこれから故障する可能性が高い状態とのうちいずれかを画像処理装置４０の状態として判断する。これにより、制御装置３０は、画像処理装置４０の状態を正常な状態と、画像処理装置４０が故障している可能性が高い状態と、画像処理装置４０がこれから故障する可能性が高い状態とのうちのいずれかであることを画像処理装置４０の状態として通知することを可能とする。

また、制御装置３０は、画像処理装置４０が備えるハードウェアの状態を示す１以上の物理量に基づいて画像処理装置４０の異常を示す事象を検出し、検出された事象に基づいて画像処理装置４０の状態を判断する。これにより、制御装置３０は、画像処理装置４０の異常を示す事象に基づいて判断した画像処理装置４０の状態に基づく送信信号を生成することができる。

また、制御装置３０は、画像処理装置４０の制御に係るエラーコードに基づいて画像処理装置４０の異常を示す事象を検出する。これにより、制御装置３０は、画像処理装置４０の状態として、画像処理装置４０の制御に係るエラーコードに基づいて画像処理装置４０の異常を示す事象に基づいて判断した画像処理装置４０の状態に基づく送信信号を生成することができる。

また、制御装置３０は、画像処理装置４０の異常を示す事象に基づいて判断した画像処理装置４０の状態に、画像処理装置４０の状態を識別する情報を対応付け、対応付けられた画像処理装置４０の状態を識別する情報を送信信号に含める。これにより、制御装置３０は、画像処理装置４０の状態を識別する情報を含む送信信号を生成することができる。

また、制御装置３０は、通信部３４に画像処理装置４０の状態の判断結果に基づいて生成された送信信号を外部機器へ送信させる。これにより、制御装置３０は、画像処理装置４０の状態を外部機器のユーザーに通知することができる。

また、制御装置３０は、外部機器からの要求に応じて通信部３４に画像処理装置４０が備えるハードウェアの状態を示す１以上の物理量を示す情報を外部機器に送信させる。これにより、制御装置３０は、画像処理装置４０が備えるハードウェアの状態を示す１以上の物理量をユーザーに通知することができる。

また、制御装置３０は、画像処理装置４０の状態の判断結果に応じて通信部３４に、画像処理装置４０が備える出力部４５の点灯状態の変更を要求する情報を画像処理装置４０へ送信させる。これにより、制御装置３０は、画像処理装置４０によって画像処理装置４０の状態をユーザーに確認させることができる。

また、情報処理装置５は、制御装置３０から取得された画像処理装置４０が備えるハードウェアの状態を示す１以上の物理量を表示するためのＧＵＩを表示する。これにより、情報処理装置５は、画像処理装置４０が備えるハードウェアの状態を示す１以上の物理量を表示するＧＵＩをユーザーに提供することによって、画像処理装置４０の状態の管理を容易にすることができる。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

また、以上に説明した装置（例えば、ロボットシステム１の情報処理装置５、制御装置３０、画像処理装置４０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ ロボットシステム、５ 情報処理装置、１０ 撮像装置、２０ ロボット、３０ 制御装置、４０ 画像処理装置、４１ ＣＰＵ、４２ 記憶部、４３ 入力受付部、４４ 通信部、４５ 出力部、４６ 検出部、４７ 制御部、４２１ メモリー、４２２ ストレージ、４４１ 外部通信部、４４２ 第１撮像通信部、４４３ 第２撮像通信部、４６１ 第１検出部、４６２ 第２検出部、４６３ 第３検出部、４６４ 第４検出部、４７１ 検出情報取得部、４７２ 異常事象検出部、４７３ 状態判断部、４７４ 出力制御部、４７５ 通信制御部、４７６ 撮像制御部、４７７ 画像取得部、４７８ 画像処理部

Claims (8)

1. １以上のハードウェアを機能部として備え、１以上のソフトウェアによって前記機能部を制御して撮像画像を処理する画像処理装置と接続され、
   前記機能部の状態を示す１以上の物理量の情報を状態情報として受け取る受取部と、
   前記状態情報に基づいて、前記機能部の状態を示す事象を検出する事象検出部と、
   前記事象検出部により検出された前記事象に基づいて、前記画像処理装置の状態を判断する判断部と、
   前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、
   を含み、
   前記判断部は、
   前記画像処理装置が正常な状態と、前記画像処理装置が故障している可能性が高い状態と、前記画像処理装置がこれから故障する可能性が高い状態のうちいずれかを前記画像処理装置の状態として判断する、
   コントローラー。
2. 請求項１に記載のコントローラーであって、
   前記状態情報は、前記画像処理装置の１以上のソフトウェアによる制御に係るエラーコードを含み、
   前記事象検出部は、前記制御に係るエラーコードに基づいて前記画像処理装置の状態を示す前記事象を検出する、
   コントローラー。
3. 請求項１又は２に記載のコントローラーであって、
   前記判断部は、前記事象に基づいて判断した前記画像処理装置の状態に、前記画像処理装置の状態を識別する情報を対応付け、
   前記生成部は、前記判断部により対応付けられた前記画像処理装置の状態を識別する情報を前記送信信号に含める、
   コントローラー。
4. 請求項１から３のうちいずれか一項に記載のコントローラーであって、
   通信部に前記生成部により生成された前記送信信号を前記外部機器へ送信させる通信制御部、
   を備えるコントローラー。
5. 請求項４に記載のコントローラーであって、
   前記通信制御部は、前記外部機器からの要求に応じて前記通信部に前記１以上の前記物理量を示す情報を前記外部機器に送信させる、
   コントローラー。
6. 請求項４又は５に記載のコントローラーであって、
   前記通信制御部は、前記判断部による前記判断結果に応じて前記通信部に、前記画像処理装置が備える出力部の出力状態の変更を要求する情報を前記画像処理装置へ送信させる、
   を備えるコントローラー。
7. 請求項６に記載の前記コントローラーから取得された前記１以上の前記物理量を表示するためのＧＵＩを表示する、
   情報処理装置。
8. 所定作業を行うロボットと、
   前記所定作業に係る範囲を撮像する撮像装置と、
   １以上のハードウェアを機能部として備え、１以上のソフトウェアによって前記機能部を制御して、前記撮像装置が撮像した撮像画像を処理する画像処理装置と、
   前記画像処理装置が処理した結果に基づいて前記ロボットを制御するコントローラーと、を含み、
   前記コントローラーは、
   前記機能部の状態を示す１以上の物理量の情報を状態情報として受け取る受取部と、
   前記状態情報に基づいて、前記機能部の状態を示す事象を検出する事象検出部と、
   前記事象検出部により検出された前記事象に基づいて、前記画像処理装置の状態を判断する判断部と、
   前記判断部による判断結果に基づいて、外部機器へ送信する送信信号を生成する生成部と、を含み、
   前記判断部は、
   前記画像処理装置が正常な状態と、前記画像処理装置が故障している可能性が高い状態と、前記画像処理装置がこれから故障する可能性が高い状態のうちいずれかを前記画像処理装置の状態として判断する、
   ロボットシステム。

Images