JP2016107379A - 拡張現実対応ディスプレイを備えたロボットシステム - Google Patents

Abstract

【課題】拡張現実対応ディスプレイを用いて、実映像又は実環境にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供し、使用者の操作の効率化を図ることを企図したロボットシステムの提供。【解決手段】ロボットシステム１０は、実ロボット１２と、実ロボット１２を制御する制御装置１４と、制御装置１４に有線又は無線で接続され、実ロボットを含むシーンを撮像して得た映像を取り込んでリアルタイムに表示する機能を備えた映像取り込み表示装置１６とを有する。使用者１８は、映像取り込み表示装置１６に設けられたカメラ２０を実ロボット１２に向けることにより、実ロボット１２を含むシーンを撮像し、該シーンを取り込んだ映像をリアルタイムで取得することができ、拡張現実化された画像２６を視認することができる。【選択図】図１

Description

本発明は、ロボットの状態に応じた情報や、ロボット操作におけるナビゲーション情報を付加した拡張現実対応のディスプレイを備えたロボットシステムに関する。

従来のロボットシステムには、仮想現実（Virtual Reality：ＶＲ）に関する技術を利用して、ロボットの状態や作業者の操作のナビゲーションを行うものがある。しかし仮想現実では、ロボット及びロボットの周りの環境は、現実の再現度が小さいほど、現実との差異が生じる。

そこで近年のロボットシステムには、拡張現実（Augmented Reality：ＡＲ）に関する技術（ＡＲ対応ディスプレイ等）を用いて、ロボットの状態表示や作業者の操作補助（ナビゲーション）を行うものがある。例えば特許文献１には、２足歩行型ロボットの歩行を、マスタスレーブ方式により操作者が遠隔操作するための方法及び装置が開示されており、操作者がＡＲ（拡張現実）映像を見ながら自身の足先を動かす旨が記載されている。

また特許文献２には、ロボットを動作プログラムに基づいて動作させるロボット制御部と、画像データを取得するロボット撮像部と、仮想空間データ保持部及び少なくとも画像データ及び仮想空間データを利用して拡張現実空間データを生成する拡張現実空間データ生成部を有するデータ処理部と、拡張現実空間の画像を表示する表示部と、を備えるロボット装置が開示されており、さらに、仮想空間データは、ロボットの実作業空間に存在する物体を仮想空間において模擬した仮想物体の情報を含む、と記載されている。

特開２０１４−０９７５３９号公報 特開２０１４−１８０７０７号公報

特許文献１に記載の発明では、ＡＲ映像を利用することにより、操作者が自身の足先の位置・姿勢を安定させることができると解される。また特許文献２に記載の発明では、実ロボットの画像データと仮想物体を含む仮想空間データとを利用して拡張現実空間データを生成することにより、ロボットと周辺物との干渉を生じさせることなく、ロボットの教示作業を安全かつ容易に実施できると解される。しかしながら、特許文献１及び２はいずれも、従来は数値や文字で表示することが通常であった、ロボットの状態やナビゲーション（操作ガイド）に関する情報を、拡張現実を利用して操作者に提供することについては言及していない。

そこで本発明は、拡張現実対応ディスプレイを用いて、実映像又は実環境にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供し、使用者の操作の効率化を図ることを企図したロボットシステムを提供することを目的とする。

上記目的を達成するために、本願第１の発明は、ロボットと、前記ロボットを制御する制御装置と、前記制御装置に接続され、前記ロボットを含むシーンの映像を取り込んでリアルタイムに表示する機能を有する映像取り込み表示装置と、前記ロボットを含むシーンの映像に基づいて、前記映像取り込み表示装置と前記ロボットとの間の相対位置角度を計測する計測部と、を備え、前記映像取り込み表示装置は、前記映像取り込み表示装置にリアルタイムに表示された映像に対し、前記計測部により計測された相対位置角度に基づいて、前記ロボットの状態又は操作ガイドを視覚的に示す付加情報を重畳して表示するディスプレイを有する、ロボットシステムを提供する。

第２の発明は、第１の発明において、前記映像取り込み表示装置は、現実のシーンのビデオ映像を表示するディスプレイを備え、前記ビデオ映像に含まれた前記ロボットの実映像に対して前記付加情報を重畳して表示する、ロボットシステムを提供する。

第３の発明は、第１の発明において、前記映像取り込み表示装置は、現実のシーンを透過して表示するディスプレイを備え、前記ディスプレイに透過表示された前記ロボットの実映像に対して付加情報を重畳して表示する、ロボットシステムを提供する。

第４の発明は、第１又は第２の発明において、前記映像取り込み表示装置は、前記制御装置に接続された教示操作盤である、ロボットシステムを提供する。

第５の発明は、第１〜第４のいずれか１つの発明において、前記付加情報は、手動操作によって前記ロボットが動作する可能性がある方向を表す画像である、ロボットシステムを提供する。

第６の発明は、第１〜第５のいずれか１つの発明において、前記付加情報は、前記ロボットの速度オーバライドの現在値に応じた発光強度で表示される発光表示である、ロボットシステムを提供する。

第７の発明は、第１〜第６のいずれか１つの発明において、前記付加情報は、前記ロボットに搭載されている機器のうち、異常が検出された機器の発光表示である、ロボットシステムを提供する。

従来のロボットシステムでは、ロボットの状態は数値や文字で表示することが通常であり、その情報を直観的に把握することが難しい場合があったが、本発明では拡張現実空間を使い、現実空間にビジュアル化されたロボットの状態や操作ガイドが表示されているかのように、使用者に実感させることができる。これにより使用者は、ロボットに対する教示操作をより簡易に行うことができるようになる。

本発明の第１の実施形態に係るロボットシステムの概略構成を示す図である。 本発明に係るロボットシステムにおける処理の一例を示すフローチャートである。 本発明の第２の実施形態に係るロボットシステムの概略構成を示す図である。 ＡＲ対応ディスプレイにおいて画像を重畳するための具体的手段の一例を示す図である。 ＡＲ対応ディスプレイにおいて画像を重畳するための具体的手段の他の例を示す図である。 本発明の第３の実施形態に係るロボットシステムの概略構成を示す図である。 拡張現実処理によって得られた画像の具体例を示す図である。 拡張現実処理によって得られた画像の他の具体例を示す図である。 拡張現実処理によって得られた画像のさらなる他の具体例を示す図である。

図１は、本発明の第１の実施形態に係るロボットシステム１０の概略構成を示す図である。ロボットシステム１０は、実機のロボット（実ロボット）１２と、実ロボット１２を制御するロボット制御装置（以降、単に制御装置とも称する）１４と、制御装置１４に有線又は無線で接続され、実ロボット１２を含むシーンを撮像して得た映像（画像）を取り込んでリアルタイムに表示する機能を備えた映像取り込み表示装置（拡張現実（ＡＲ）対応ディスプレイ）１６とを有する。なお以下に説明する実施形態では、本発明に係る映像取り込み表示装置及び計測部の機能は、ＡＲ対応ディスプレイ１６又は後述する教示操作盤４２が具備するものとするが、これらの機能の一部を他の手段に具備させることも可能である。

図１の例では、映像取り込み表示装置１６は、使用者１８が装着可能なヘッドマウントディスプレイとして図示されている。使用者１８は、ヘッドマウントディスプレイ１６に設けられたカメラ２０を実ロボット１２に向けることにより、実ロボット１２を含むシーンを撮像し、該シーンの映像をリアルタイムで取得（キャプチャ）することができ、表示部（ディスプレイ）２２を介して後述する拡張現実化された画像２６を視認することができる。

次に、ロボットシステム１０における処理について、図２のフローチャートを参照しつつ説明する。先ず、実ロボット１２を含む実環境（シーン）を、計算機及びメモリが内蔵されているＡＲ対応ディスプレイ１６で撮像（キャプチャ）する。実ロボット１２の画像が正しくキャプチャされている場合（ステップＳ１）は、ＡＲ対応ディスプレイ１６に予め記録されている複数のロボットの画像モデル２４（図１参照）から、ＡＲ対応ディスプレイ１６でキャプチャした実ロボット１２の画像と最も近い画像モデルの検出（マッチング）を行う。図１の例では、ＡＲ対応ディスプレイ１６に記憶されている複数の画像モデル２４ａ〜２４ｚのうち、実ロボット１２の撮像画像に最も近い画像モデル２４ａが検出（選択）されたものとする。

次に、ＡＲ対応ディスプレイ１６を用いて、ＡＲ対応ディスプレイ１６（のカメラ２０）に対する実ロボット１２の相対的な位置及び角度（以降、相対位置角度と称する）を計測する（ステップＳ２）。具体的には、図１に示すように、複数の画像モデルの各々には、ＡＲ対応ディスプレイ１６に対するロボットの代表点（例えばツール先端点）位置及び姿勢を表す値（相対位置角度）が予め関連付けられており、検出された画像モデル２４ａに関連付けられた相対位置角度が、ＡＲ対応ディスプレイ１６と実ロボット１２との相対位置角度として計測される。なお図示例では、実ロボット１２は６軸の多関節ロボットであり、該ロボットのツール先端点の相対位置角度が６つのパラメータ（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）で表現されている。

次に、ステップＳ３において、ＡＲ対応ディスプレイ１６で計測された相対位置角度を、制御装置１４に送信する。そして次のステップＳ４では、拡張現実化するために必要な実ロボット１２の内部情報を、制御装置１４からＡＲ対応ディスプレイ１６に送信する。

次にステップＳ５において、ＡＲ対応ディスプレイ１６において制御装置１４からの実ロボット１２の内部情報に基づいて所定の付加情報画像を作成し、キャプチャした実ロボット１２の画像に対して拡張現実処理を行い、拡張現実化したロボットを表示部２２に表示する。この例では、実ロボット１２の内部情報はツール先端点におけるロボット座標系の各軸（Ｘ，Ｙ，Ｚ）の方向であり、拡張現実化されたロボットの画像では、ツール先端点を原点とし、前記各軸の方向を基本軸とする直交座標系２８を表す画像が、付加情報画像（実ロボットの操作ガイド）として実ロボット１２の画像に重畳表示されている。

上述のステップＳ１〜Ｓ５を、所定の時間周期で繰り返すことにより、表示部２２には、拡張現実化されたロボットの画像がリアルタイムで表示され、使用者１８はこれを視認しながら実ロボット１２の教示操作等を効率的に行うことができる。

図３は、本発明の第２の実施形態に係るロボットシステム１０′の概略構成を示す図である。ロボットシステム１０′は、実機のロボット（実ロボット）１２と、実ロボット１２を制御する制御装置１４と、制御装置１４に有線又は無線で接続され、シーンを取り込んだ映像を取り込んでリアルタイムに表示する機能を備えた映像取り込み表示装置（拡張現実（ＡＲ）対応ディスプレイ）１６とを有する。

図３の例では、映像取り込み表示装置１６は、使用者１８が装着可能なヘッドマウントディスプレイとして図示されている。使用者１８は、ヘッドマウントディスプレイ１６に設けられたカメラ２０を実ロボット１２に向けることにより、実ロボット１２を含むシーンを撮像して得た映像（画像）をリアルタイムで取得（キャプチャ）することができ、表示部（ディスプレイ）２２を介して後述する拡張現実化された画像２６を視認することができる。

次に、ロボットシステム１０′における処理について、図２のフローチャートを参照しつつ説明する。先ず、実ロボット１２の所定部位（旋回胴、上腕、前腕等）に、少なくとも１つのマーカ３０を貼付又は形成しておき、実ロボット１２を含む実環境（シーン）を、画像処理機能を有する計算機が内蔵されているＡＲ対応ディスプレイ１６で撮像（キャプチャ）する。このとき、マーカ３０が撮像された画像に含まれるようにする。

マーカ３０を有する実ロボット１２の画像が正しくキャプチャされている場合（ステップＳ１）は、撮像されたマーカ３０の画像処理を行い、ＡＲ対応ディスプレイ１６（のカメラ２０）に対する実ロボット１２の相対的な位置及び角度（以降、相対位置角度と称する）を計測する（ステップＳ２）。なおマーカ３０は、図示例では略Ｌ字に配列された４つの円を含むが、通常の画像処理によって実ロボット１２（の代表点）の位置及び姿勢を検出できるものであれば、どのような形状を具備してもよい。

次に、ステップＳ３において、ＡＲ対応ディスプレイ１６で計測された相対位置角度を、制御装置１４に送信する。そして次のステップＳ４では、制御装置１４において拡張現実化するために必要な付加情報画像を生成し、生成した付加情報画像をＡＲ対応ディスプレイ１６に送信する。第２の実施形態では、生成された付加画像情報は、図１の第１の実施形態と同様、ツール先端点を原点とし、実ロボット１２の各軸の方向を基本軸とする直交座標系２８を表す画像である。

次にステップＳ５において、ＡＲ対応ディスプレイ１６において、キャプチャした実ロボット１２の画像に対して拡張現実処理を行い、直交座標系２８を表す画像を付加情報画像として実ロボット１２の画像に重畳し、拡張現実化したロボットを表示部２２に表示する。

上述のステップＳ１〜Ｓ５を、所定の時間周期で繰り返すことにより、表示部２２には、拡張現実化されたロボットの画像がリアルタイムで表示され、使用者１８はこれを視認しながら実ロボット１２の教示操作等を効率的に行うことができる。

なお第２の実施形態では、制御装置１４において直交座標系２８等の付加情報画像を生成したが、第１の実施形態のように、制御装置１４からＡＲ対応ディスプレイ１６に内部情報を送信し、ＡＲ対応ディスプレイ１６において付加情報画像を生成してもよい。逆に、第１の実施形態において、制御装置１４において直交座標系２８等の付加情報画像を生成し、制御装置１４からＡＲ対応ディスプレイ１６に該付加情報画像を送信するようにしてもよい。

図４及び図５は、図１又は図３に示したＡＲ対応ディスプレイ１６において画像を重畳するための手段の具体例を示す図である。先ず図４は、ＡＲ対応ディスプレイ１６が、現実のシーンのビデオ映像を表示するディスプレイを備えたビデオ透過型ヘッドマウントディスプレイである場合を示している。具体的には、ＡＲ対応ディスプレイ１６は、実ロボット１２を撮像するビデオカメラ３２と、制御装置１４からの付加情報画像２８とビデオカメラ３２が撮像した画像とを合成する画像合成部３４とを有し、ビデオ映像に含まれた実ロボット１２の実映像に対して付加情報を重畳して表示することができる。これにより使用者１８は、画像合成部３４が合成した画像２６を、拡張現実化されたロボットとして視認することができる。

一方、図５は、ＡＲ対応ディスプレイ１６が、現実のシーンを透過して表示するディスプレイを備えた光学透過型ヘッドマウントディスプレイである場合を示している。具体的には、ＡＲ対応ディスプレイ１６は、実ロボット１２の画像を透過する光学コンバイナ３６と、制御装置１４からの付加情報画像２８を光学コンバイナ３６に投影するプロジェクタ３８とを有し、透過表示された実ロボット１２の実映像に対して付加情報を重畳して表示することができる。これにより使用者１８は、光学コンバイナ３６が合成した画像２６を、拡張現実化されたロボットとして視認することができる。

図６は、本発明の第３の実施形態に係るロボットシステム１０″の概略構成を示す図である。第３の実施形態では、ビデオカメラ４０を搭載したロボット教示操作盤４２が、ＡＲ対応ディスプレイの機能を具備する。具体的には、ロボットシステム１０″は、実機のロボット（実ロボット）１２と、実ロボット１２を制御する制御装置１４と、制御装置１４に有線又は無線で接続され、使用者が操作可能なロボット教示操作盤４２とを有する。

教示操作盤４２は、ビデオカメラ４０を搭載しており、使用者は、ビデオカメラ４０を実ロボット１２に向けることにより、実ロボット１２を含むシーンを撮像し、該シーンを取り込んだ映像をリアルタイムで取得（キャプチャ）することができ、教示操作盤４２の表示画面（ディスプレイ）４４を介して拡張現実化された画像２６を視認することができる。なお付加情報画像（ここでは直交座標系２８）を実ロボット１２の画像に重畳表示することについては、上述の第１又は第２の実施形態と同様に行うことができる。

図７〜図９は、実ロボット１２の画像に重畳される付加情報画像の好適な具体例を示す。先ず図７は、実ロボットの操作ガイド（ここでは、ツール先端点における手動操作（ジョグ操作）の方向）を、実ロボット１２の画像に重畳表示した例を示す。具体的には、ツール先端点からの基本方向を示す矢印（図示例では＋Ｘ、＋Ｙ及び＋Ｚ方向をそれぞれ示す矢印４６、４８及び５０）が付加情報画像として上述の制御装置１４からＡＲ対応ディスプレイ１６又は教示操作盤４２に送信され、ＡＲ対応ディスプレイ１６又は教示操作盤４２は、この付加情報画像を実ロボット１２の画像に重畳表示することができる。なおこれらの基本方向は、手動操作によって実ロボット１２（の手先）が動作する可能性がある方向として設定されることが好ましい。これにより使用者は、実ロボット１２の教示等を手動で行う場合に、実ロボット１２の手先を所望の方向により正確に移動させることができるようになる。

図８は、実ロボットの状態を表す付加情報（ここでは、実ロボット１２の速度についてのオーバライド値（速度オーバライド））を拡張現実化によって視覚的に認識できるようにした例を示す。通常、ロボットには速度オーバライドが設定され、その値は種々の条件下で制御装置１４によって変化し得る。そこで、速度オーバライドを制御装置１４からＡＲ対応ディスプレイ１６又は教示操作盤４２に送信し、ＡＲ対応ディスプレイ１６又は教示操作盤４２は、発光表示領域５０を実ロボット１２の画像に重畳し、さらに速度オーバライドの現在値に応じて発光領域５０の発光強度（輝度）を変化させる（例えば、速度オーバライドが大きいほど発光強度を高くする）ことができる。これにより使用者は、現在の速度オーバライドを直観的に把握することができる。

なお図８の例では、実ロボット１２の画像を概ね包含する略楕円形の領域５０を発光表示させているが、実ロボット１２の画像の一部又は全体を発光させ、さらに速度オーバライドの現在値に応じてその発光強度を変化させるようにしてもよい。

図９は、実ロボットの状態を表す付加情報（ここでは、実ロボット１２の異常個所）を拡張現実化によって視覚的に認識できるようにした例を示す。実ロボット１２の各軸を駆動するモータや各軸の位置を検出するエンコーダ等の機器には、何らかの原因によって異常が発生する場合があり、その異常は通常、制御装置１４によって検出することができる。そこで、異常が発生した機器に関する情報を制御装置１４からＡＲ対応ディスプレイ１６又は教示操作盤４２に送信し、ＡＲ対応ディスプレイ１６又は教示操作盤４２は、図９に示すように、実ロボット１２において異常が発生した箇所（機器）を発光表示させ、他の部分と視覚的に識別できるようにする。これにより使用者は、異常が発生した機器を迅速かつ容易に特定することができる。

なお図９の例では、実ロボット１２の旋回胴を駆動するモータ（例えばサーボモータ）に異常が発生した場合を示しており、該モータを概ね包含する略円形の領域５２を発光表示させているが、該モータの一部又は全体を発光させ、さらに速度オーバライドの現在値に応じてその発光強度を変化させるようにしてもよい。

なお図７〜図９等に例示した種々の付加情報は、適宜組み合わせて重畳表示してもよい。また、これらの付加情報の重畳表示は、図１、図３及び図６に例示したいずれの実施形態にも適用可能であるし、また図４及び図５に例示したいずれのタイプのディスプレイにも適用可能である。

１０、１０′、１０″ ロボットシステム
１２ 実ロボット
１４ ロボット制御装置
１６ ＡＲ対応ディスプレイ
１８ 使用者
２０ カメラ
２２ 表示部
３０ マーカ
３２、４０ ビデオカメラ
３４ 画像合成部
３６ 光学コンバイナ
３８ プロジェクタ
４２ 教示操作盤
４４ 表示画面

Claims (7)

1. ロボットと、
   前記ロボットを制御する制御装置と、
   前記制御装置に接続され、前記ロボットを含むシーンの映像を取り込んでリアルタイムに表示する機能を有する映像取り込み表示装置と、
   前記ロボットを含むシーンの映像に基づいて、前記映像取り込み表示装置と前記ロボットとの間の相対位置角度を計測する計測部と、を備え、
   前記映像取り込み表示装置は、前記映像取り込み表示装置にリアルタイムに表示された映像に対し、前記計測部により計測された相対位置角度に基づいて、前記ロボットの状態又は操作ガイドを視覚的に示す付加情報を重畳して表示するディスプレイを有する、ロボットシステム。
2. 前記映像取り込み表示装置は、現実のシーンのビデオ映像を表示するディスプレイを備え、前記ビデオ映像に含まれた前記ロボットの実映像に対して前記付加情報を重畳して表示する、請求項１に記載のロボットシステム。
3. 前記映像取り込み表示装置は、現実のシーンを透過して表示するディスプレイを備え、前記ディスプレイに透過表示された前記ロボットの実映像に対して付加情報を重畳して表示する、請求項１に記載のロボットシステム。
4. 前記映像取り込み表示装置は、前記制御装置に接続された教示操作盤である、請求項１又は２に記載のロボットシステム。
5. 前記付加情報は、手動操作によって前記ロボットが動作する可能性がある方向を表す画像である、請求項１〜４のいずれか１項に記載のロボットシステム。
6. 前記付加情報は、前記ロボットの速度オーバライドの現在値に応じた発光強度で表示される発光表示である、請求項１〜５のいずれか１項に記載のロボットシステム。
7. 前記付加情報は、前記ロボットに搭載されている機器のうち、異常が検出された機器の発光表示である、請求項１〜６のいずれか１項に記載のロボットシステム。

Images