JP6538760B2

JP6538760B2 - 複合現実シミュレーション装置及び複合現実シミュレーションプログラム

Info

Publication number: JP6538760B2
Application number: JP2017122450A
Authority: JP
Inventors: 愼山田; 健司郎大野
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2017-06-22
Filing date: 2017-06-22
Publication date: 2019-07-03
Anticipated expiration: 2037-06-22
Also published as: JP2019008473A; CN109116807A; US20180374265A1; CN109116807B; DE102018207962A1

Description

本発明は、複合現実技術を用いてシミュレーションを行うための、複合現実シミュレーション装置及び複合現実シミュレーションプログラムに関する。

工場設備においてロボットの導入を検討する際には、ロボットと既存の周辺機器との干渉を確認する必要がある。この確認を行うためには、例えば、実際のロボットと、当該ロボットを動作させる動作プログラムとを用いて、ロボットの周辺機器とロボットとの干渉をチェックする技術が知られている（例えば、特許文献１参照）。
また、周辺機器のサイズや周辺機器の設置情報を３次元データとして計測し、ＲＯＢＯＧＵＩＤＥ（登録商標）のようなシミュレータに取込んでシミュレーションをしたり、工場の機器などのリソースを動作データおよび３次元形状データによってモデル化した仮想工場の機器モデルを用いてシミュレーションしたりする技術が知られている（例えば、特許文献２参照）。
また、構成する部品が大型で大重量のプレス機械のような大型機械の大型部品を分解組立するシミュレーション方法が知られている（例えば、特許文献３参照）。

特開２０１４−１８０７０７号公報特開２０００−０８１９０６号公報特開２００３−１７８３３２号公報

しかし、上記特許文献１に記載されているような、実際のロボットと、当該ロボットを動作させる動作プログラムとを用いて、ロボットの周辺機器とロボットとの干渉をチェックする技術では、ロボットと既存の周辺機器との干渉を確認するために、実際にロボットを設置してロボットを動作させる必要がある。このため、ロボットと既存の周辺機器との干渉を確認することは容易ではない。

また、上記特許文献２に記載されているような、周辺機器のサイズや周辺機器の設置情報を３次元データとして計測してシミュレータに取込んでシミュレーションをする方法では、３次元データの計測に熟練を要する。即ち、３次元データの計測は、計測を行うオペレータによって計測の結果が変わるため、より正確なデータを得るためには、熟練したオペレータであることが要求される。また、３次元データの計測は、人手による手動のものであるため、計測ミスが発生するおそれもある。このため、計測ミスや計測したデータの入力ミスにより、干渉していないものが干渉してしまったりするといった計測結果になるおそれがある。更に、ロボットと周辺機器との干渉の確認に時間がかかってしまうという問題がある。

また、上記特許公報３に記載されているように、大型機械の大型部品を分解組立するシミュレーション方法は、ロボットの周辺機器とロボットとの干渉のチェックにそのまま用いることは困難である。

本発明は、複合現実技術を適切に利用してシミュレーションを行うことが可能な、複合現実シミュレーション装置及び複合現実シミュレーションプログラムを提供することを目的とする。

本発明に係る複合現実シミュレーション装置（例えば、後述の複合現実シミュレーション装置１）は、仮想オブジェクト（例えば、後述の仮想３ＤオブジェクトＩ）を、現実の被配置物（例えば、後述の現実の被配置物Ｒ）に立体的に重ね合わせて表示する複合情報表示部（例えば、後述のＨＭＤ３００）と、前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部（例えば、後述の距離画像センサ２００）と、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させる仮想オブジェクト相対移動部（例えば、後述のコントローラ４００）と、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部（例えば、後述の制御装置１００）と、を備える。

上記本発明に係る複合現実シミュレーション装置を、前記仮想オブジェクトが、ロボット（例えば、後述の仮想ロボットＩ１）と、前記ロボットの動作範囲を示す領域表示（例えば、後述の領域表示Ｉ２）とを含むようにしてもよい。

上記本発明に係る複合現実シミュレーション装置を、前記複合情報表示部に前記現実の被配置物と立体的に重ね合わせられて表示された前記仮想オブジェクトと、前記現実の被配置物と、の相対的な位置関係を示す情報を出力可能にしてもよい。

上記本発明に係る複合現実シミュレーション装置を、前記複合情報表示部が、ヘッドマウントディスプレイにより構成されるようにしてもよい。

上記本発明に係る複合現実シミュレーション装置は、タブレット型の端末により構成されてもよい。

本発明に係る、コンピュータを複合現実シミュレーション装置として機能させるための複合現実シミュレーションプログラムは、前記コンピュータを、仮想オブジェクトを現実の被配置物に立体的に重ね合わせて表示する複合情報表示部と、前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部と、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示する仮想オブジェクト相対移動部と、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部と、を備える複合現実シミュレーション装置として機能させる。

本発明によれば、複合現実技術を適切に利用してシミュレーションを行うことが可能な、複合現実シミュレーション装置及び複合現実シミュレーションプログラムを提供することが可能となる。

本発明の第１実施形態による複合現実シミュレーション装置１の全体の構成を示す概略図である。本発明の第１実施形態による複合現実シミュレーション装置１による複合現実シミュレーションの方法を示すフローチャートである。本発明の第１実施形態による複合現実シミュレーション装置１のＨＭＤ３００において、仮想３ＤオブジェクトＩの仮想ロボットＩ１が現実の被配置物Ｒに立体的に重ね合わせられて表示されている像を一の方向から視た概念図である。

次に、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の第１実施形態による複合現実シミュレーション装置１の全体の構成を示す概略図である。図３は、本発明の第１実施形態による複合現実シミュレーション装置１のＨＭＤ３００において、仮想３ＤオブジェクトＩの仮想ロボットＩ１が現実の被配置物Ｒに立体的に重ね合わせられて表示されている像を一の方向から視た概念図である。

本実施形態による複合現実シミュレーション装置１は、工場へのロボットの導入を検討する際に、ロボットと、工場内における既存の周辺機器等の現実の被配置物Ｒ（図３参照）との干渉を確認するためのシミュレーション装置であり、制御部としての制御装置１００と、距離計測部としての距離画像センサ２００と、複合情報表示部としてのヘッドマウントディスプレイ３００（以下、「ＨＭＤ３００」という）と、仮想オブジェクト相対移動部としてのコントローラ４００と、を備える。

制御装置１００は、後述の仮想３ＤオブジェクトＩ（図３参照）の仮想ロボットＩ１を、ＨＭＤ３００において現実の被配置物Ｒに立体的に重ね合わせて表示するように、ＨＭＤ３００に対して制御を行い、仮想ロボットＩ１を、ＨＭＤ３００において現実の被配置物Ｒに対して相対的に移動させて表示させるように、コントローラ４００に対して制御を行う。

具体的には、制御装置１００は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、制御装置１００は、各種のプログラムを格納したＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置を備える。また、制御装置１００においては、演算処理装置が補助記憶装置から各種のプログラムを読み込み、読み込んだ各種のプログラムを主記憶装置に展開させながら、これら各種のプログラムに基づいた演算処理を行う。そして、この演算結果に基づいて、制御装置１００に接続されているハードウェアを制御することにより、複合現実シミュレーション装置１として機能するように構成される。

また、制御装置１００は、ＨＭＤ３００、距離画像センサ２００、及び、コントローラ４００と通信を行う機能を備えており、制御装置１００は、ＨＭＤ３００、距離画像センサ２００、及び、コントローラ４００と通信可能に接続されている。

そして、制御装置１００は、ＨＭＤ３００に現実の被配置物Ｒと立体的に重ね合わせられて表示された、実際には存在していないロボット（以下、「仮想ロボットＩ１」という）と、現実の被配置物Ｒと、の相対的な位置関係を示す情報を出力可能である。具体的には、仮想ロボットＩ１が現実の被配置物Ｒと干渉しない適切な場所に設置されたときの、２次元図面（水平面上において仮想ロボットＩ１と現実の被配置物Ｒとが配置されたそれぞれの位置関係が分かる図面）のデータや、現実の被配置物Ｒに対する仮想ロボットＩ１の相対的な位置関係を示すデータ、即ち、「壁から１ｍ５０ｃｍ離れた位置」というような位置関係を示すデータを出力することが可能である。

距離画像センサ２００は、ＨＭＤ３００の上部に固定されており、３次元カメラを有し、作業者の位置・姿勢の変化量を捉えるために使用される。即ち、距離画像センサ２００は、ＨＭＤ３００から現実の被配置物Ｒまでの距離を計測することにより、ＨＭＤ３００の現在位置を３次元計測により計測する。より具体的には、例えば、タイムオブフライト（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ））法により、現実の被配置物Ｒに対して距離画像センサ２００に設けられた光源から光を照射し、反射して距離画像センサ２００に戻ってくるまでの時間を計測することにより、ＨＭＤ３００から現実の被配置物Ｒまでの距離を計測する。

ここで、現実の被配置物Ｒとは、工場内においてロボットを設置させようとする場所の近傍に現実に配置されている周辺機器のみならず、工場の床面やフェンス等、ロボットと干渉する可能性があるもの全てを含むことを意味する。従って、距離画像センサ２００は、ＨＭＤ３００の正面に存在しているもの全ての外面であって、ＨＭＤ３００に対向している外面の部分の全域に対して、ＨＭＤ３００から当該外面までの距離を、まんべんなく計測する。

ＨＭＤ３００は、一般的なヘッドマウントディスプレイである。ＨＭＤ３００は、仮想ロボットＩ１を、現実の被配置物Ｒに立体的に重ね合わせて表示し、仮想ロボットＩ１が、実空間内にあたかも存在しているか（設置されているか）のような複合現実画像を表示する。例えば、仮想ロボットＩ１が大きい場合には、縮小されて表示される仮想ロボットＩ１の大きさのスケールを基準として、同一のスケールにて現実の被配置物Ｒについても表示される。

具体的には、ＨＭＤ３００は、制御装置１００が出力する仮想ロボットＩ１と、その表示位置及び表示角度を取得する。そして、ＨＭＤ３００は、取得した情報に基づいて、ＨＭＤ３００が備えているディスプレイに仮想ロボットＩ１を表示する。仮想ロボットＩ１は、距離画像センサ２００が検出した距離データに基づいて、現実の被配置物Ｒに対して、実空間における相対的な位置関係が維持されるように表示される。

即ち、距離画像センサ２００によって、常にＨＭＤ３００から現実の被配置物Ｒまでの距離が計測され、現実の被配置物Ｒに対するＨＭＤ３００の位置が算出されるため、例えば、所定の位置（角度）で、現実の被配置物Ｒを視ている場合と、他の位置（角度）で、現実の被配置物Ｒを視ている場合とでは、ＨＭＤ３００を介して現実の被配置物Ｒを視る位置（視る角度）が変わるので、これに追従して仮想ロボットＩ１の見える角度が変わるように、ＨＭＤ３００のディスプレイ上に仮想ロボットＩ１が表示される。

また、仮想３ＤオブジェクトＩは、仮想ロボットＩ１のみならず、仮想ロボットＩ１の動作範囲を示す領域表示Ｉ２をも含む。即ち、設置しようとするロボットの一部であるロボットの動作する部分は、ロボットの外郭のみならず外郭よりも外側の所定の領域内（所定の空間内）において動作する。そのような所定の領域に対して、現実の被配置物Ｒが干渉しているか否かについても、ロボットを工場内に設置する際には、確認する必要があるが、そのような所定の領域については、仮想３ＤオブジェクトＩの一部として表示される。領域表示Ｉ２は、仮想ロボットＩ１の周囲において、半球状に表示されており、領域表示Ｉ２であることが容易に視認できるように、例えば、半透明な赤色で表示される。

コントローラ４００は、作業者によって操作されることによって、ＨＭＤ３００のディスプレイ上に表示された仮想３ＤオブジェクトＩを、現実の被配置物Ｒに対して相対的に移動させて表示させる。

具体的には、図１に示すようにコントローラ４００は、十字キー４０１と、Ａボタン４０２と、Ｂボタン４０３とを備えている。Ａボタン４０２は、作業者によって押されることにより、仮想３ＤオブジェクトＩを現実の被配置物Ｒに対して相対的に移動可能なモード（以下「移動可能なモード」という）になる。十字キー４０１は、移動可能なモードになっているときに、ＨＭＤ３００のディスプレイ上に表示された仮想３ＤオブジェクトＩを、前後又は左右に移動させる際に、作業者によって、十字の４つの部分のうちのいずれかが押されることにより、当該押された部分に相当する方向へ、仮想３ＤオブジェクトＩが現実の被配置物Ｒに対して相対的に移動する。Ｂボタン４０３は、ＨＭＤ３００のディスプレイ上に表示された仮想３ＤオブジェクトＩが、現実の被配置物Ｒに対して所定の位置に配置された後に、作業者によって押されることにより、現実の被配置物Ｒに対する仮想３ＤオブジェクトＩの相対的な位置が固定される。

次に、複合現実シミュレーション装置１を用いた複合現実シミュレーションの方法について説明する。図２は、本発明の第１実施形態による複合現実シミュレーション装置１による複合現実シミュレーションの方法を示すフローチャートである。

先ず、ステップＳ１０１において、作業者は、両目を覆うようにしてＨＭＤ３００を頭部に装着し、ＨＭＤ３００を介して視ることができる現実の被配置物Ｒを視認しながら、自ら歩行することにより移動する。そして、作業者がロボットを設置したい位置の近傍で立ち止まる。

次に、ステップＳ１０２において、コントローラ４００を用いて、ＨＭＤ３００に表示される仮想的な空間上にロボットを設置する。設置するロボットの位置・姿勢は、距離画像センサ２００によって得られる現実の被配置物Ｒの位置についての座標系と同一の座標系で表現され、ＨＭＤ３００内に保持される。
具体的には、作業者は、コントローラ４００のＡボタン４０２を押して、仮想３ＤオブジェクトＩを現実の被配置物Ｒに対して移動可能なモードにする。そして作業者は、十字キー４０１の４つのキーのうちのいずれかを押すことにより、そのキーに対応する方向へ仮想３ＤオブジェクトＩを移動させて、ロボットを設置させたい位置にロボットの仮想３ＤオブジェクトＩを配置させる。そして作業者は、コントローラ４００のＢボタン４０３を押して、仮想３ＤオブジェクトＩを現実の被配置物Ｒに対して固定する。

次に、ステップＳ１０３において、作業者は、自ら歩行することにより移動して、様々な角度から仮想３ＤオブジェクトＩの仮想ロボットＩ１及び所定の領域表示Ｉ２と、現実の被配置物Ｒとの位置関係を確認し、干渉していないか否かを判断する。この際、作業者の移動量を距離画像センサ２００によって計測し、ＨＭＤ３００に出力する。そして、ステップＳ１０２において保持されている仮想ロボットＩ１の位置・姿勢を、ＨＭＤ３００から出力された移動量を用いて補正を行い、ＨＭＤ３００において表示する。即ち、この補正により、作業者の物理的な移動量に応じてＨＭＤ３００における仮想ロボットＩ１の表示位置や表示される角度も変化する。このため、実空間上における仮想ロボットＩ１の位置・姿勢は変わらない。

そして、ステップＳ１０３において、作業者がＨＭＤ３００を介して、仮想３ＤオブジェクトＩの仮想ロボットＩ１及び所定の領域と、現実の被配置物Ｒとを視たときに、仮想３ＤオブジェクトＩの仮想ロボットＩ１及び所定の領域表示Ｉ２と、現実の被配置物Ｒとが、いずれの角度から視た場合であっても干渉していないと判断した場合には（ＹＥＳ）、複合現実シミュレーションの方法における動作を終了する。ステップＳ１０３において、仮想３ＤオブジェクトＩの仮想ロボットＩ１及び所定の領域表示Ｉ２と、現実の被配置物Ｒとが、いずれか角度から視た場合に干渉していると判断した場合には（ＮＯ）、ステップＳ１０２に戻り、仮想ロボットＩ１の設置位置を変更する。

なお、上記の複合情報表示部、距離計測部、仮想オブジェクト相対移動部、及び、制御部のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の複合情報表示部、距離計測部、仮想オブジェクト相対移動部、及び、制御部の協働により行われる複合現実シミュレーションの方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)が用いられて格納され、コンピュータに供給される。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体には、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体には、電気信号、光信号、及び電磁波が含まれる。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上説明した本実施形態は、以下のような効果を奏する。
本実施形態では、複合現実シミュレーション装置１は、仮想３ＤオブジェクトＩを、現実の被配置物Ｒに立体的に重ね合わせて表示するＨＭＤ３００と、ＨＭＤ３００から現実の被配置物Ｒまでの距離を計測する距離画像センサ２００と、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに対して相対的に移動させて表示させるコントローラ４００と、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに立体的に重ね合わせて表示するように、ＨＭＤ３００に対して制御を行い、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに対して相対的に移動させて表示させるように、コントローラ４００に対して制御を行う制御装置１００と、を備える。

これにより距離画像センサ２００を備える複合現実シミュレーション装置１のＨＭＤ３００において、実空間上に仮想的に仮想ロボットＩ１を配置して表示することができる。このため、実空間内に配置された仮想３ＤオブジェクトＩと現実の被配置物Ｒとの位置関係を確認するために、様々な方向から視点を変えて仮想３ＤオブジェクトＩと現実の被配置物Ｒとを視認することができる。この結果、その仮想３ＤオブジェクトＩが実空間内に設置された周辺装置などに干渉しているかどうかや、その仮想３ＤオブジェクトＩの動作範囲等を、ロボット等を設置したい場所において、その場で作業者が目視にて容易に確認することが可能である。

このため、周辺装置などの３次元データを測定して、それをシミュレータに取り込むといった作業の必要はなく、現場でリアルタイムに仮想３ＤオブジェクトＩと、既存の周辺装置等の現実の被配置物Ｒとの干渉を確認できる。また、干渉チェックはあくまでも作業者による目視で行い、ＰＣ等は使わないため、安価に実現することができる。

また、本実施形態では、仮想３ＤオブジェクトＩは、仮想ロボットＩ１と、仮想ロボットＩ１の動作範囲を示す領域表示Ｉ２とを含む。これにより、実際にロボットが設置されて動作したときにロボットに干渉するものがあるか否かについても、作業者が目視にて、その場で容易に確認することが可能である。

また、本実施形態では、ＨＭＤ３００に現実の被配置物Ｒと立体的に重ね合わせられて表示された仮想３ＤオブジェクトＩと、現実の被配置物Ｒと、の相対的な位置関係を示す情報を出力可能である。これにより、ロボット等を設置したい場所において、複合現実シミュレーションにより得られた、ロボットを設置可能な位置についての情報を保存しておくことが可能となる。そしてその情報に基づき、ロボットを工場に設置する作業者が、容易にロボットを工場の所定の設置位置へ、高い精度で設置することが可能となる。

また、本実施形態では、複合情報表示部は、ＨＭＤ３００により構成される。これにより、ロボットを設置しようとする場所において、ＨＭＤ３００を介して、作業者は、あたかも実空間内にロボットが実際に設置されたようなイメージで、仮想ロボットＩ１と現実の被配置物Ｒとが干渉するか否かについて、確認することが可能となる。

また、本実施形態では、ＨＭＤ３００、距離画像センサ２００、コントローラ４００に接続された制御装置１００により構成されるコンピュータを複合現実シミュレーション装置１として機能させるための複合現実シミュレーションプログラムは、コンピュータを、仮想３ＤオブジェクトＩを、現実の被配置物Ｒに立体的に重ね合わせて表示するＨＭＤ３００と、ＨＭＤ３００から現実の被配置物Ｒまでの距離を計測する距離画像センサ２００と、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに対して相対的に移動させて表示するコントローラ４００と、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに立体的に重ね合わせて表示するように、ＨＭＤ３００に対して制御を行い、仮想３ＤオブジェクトＩを、ＨＭＤ３００において現実の被配置物Ｒに対して相対的に移動させて表示させるように、コントローラ４００に対して制御を行う制御装置１００を備える複合現実シミュレーション装置１として機能させる。

これにより、複合現実シミュレーションプログラムを、ＨＭＤ３００、距離画像センサ２００、コントローラ４００に接続された制御装置１００により構成されるコンピュータにおいて実行することにより、複合現実シミュレーション装置１を容易に実現することが可能となる。

次に、本発明の第２実施形態について説明する。

第２実施形態においては、複合情報表示部、距離計測部、仮想オブジェクト相対移動部、及び、制御部を有する複合現実シミュレーション装置は、タブレット型の端末により構成される点で、第１実施形態とは異なる。これ以外の構成については、第１実施形態の構成と同様であるため、第１実施形態における各構成と同様の構成については、説明を省略する。

タブレット型の端末は、複合現実シミュレーション装置を構成する。具体的にはタブレット型の端末のモニタは、複合情報表示部を構成する。タブレット型の端末のモニタは、タブレット型の端末に設けられているカメラにより撮像された現実の被配置物と、仮想ロボット及び仮想ロボットの動作範囲を示す所定の領域と、を立体的に重ね合わせて表示する。

タブレット型の端末に設けられたカメラは、距離計測部を構成する。タブレット型の端末から現実の被配置物までの距離を、カメラにより撮像される現実の被配置物により計測する。

タッチパネルは、仮想オブジェクト相対移動部を構成する。タブレット型の端末のモニタに表示された仮想３Ｄオブジェクトをドラッグしてタッチパネル上で移動させることにより、仮想３Ｄオブジェクトを、タブレット型の端末のモニタにおいて、現実の被配置物に対して相対的に移動させて表示させる。

タブレット型の端末のＣＰＵ等の演算処理装置は、制御部を構成する。タブレット型の端末の演算処理装置は、仮想３Ｄオブジェクトを、モニタにおいて現実の被配置物に立体的に重ね合わせて表示するように、モニタに対して制御を行い、仮想３Ｄオブジェクトを、モニタにおいて現実の被配置物に対して相対的に移動させて表示させるように、モニタのタッチパネルに対して制御を行う。

以上のように、複合現実シミュレーション装置は、タブレット型の端末により構成される。このため、携帯性が高められ、様々な場所において容易に複合現実シミュレーションを行うことが可能となる。

以上本実施形態について説明をした。上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、以下に説明する変形例のように変形をして実施することが可能である。

例えば、本実施形態では、複合現実シミュレーション装置は、ＨＭＤ３００やタブレット型の端末により構成されたが、これらに限定されない。また、複合情報表示部、距離計測部、仮想オブジェクト相対移動部、制御部等の各部の構成は、本実施形態におけるＨＭＤ３００、距離画像センサ２００、コントローラ４００、制御装置１００等に限定されない。

同様に、仮想オブジェクトは、仮想ロボットと、ロボットの動作範囲を示す領域表示とを含んでいたが、これらに限定されない。例えば、現実の被配置物は工作機械であってもよく、この場合には仮想オブジェクトは、例えば、工作機械により加工される被加工物としてのワークであってもよい。

また、距離画像センサ２００は、タイムオブフライト（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ））法により、ＨＭＤ３００から現実の被配置物までの距離を計測したが、この方法に限定されない。例えば、レーザにより複合情報表示部から現実の被配置物までの距離を計測してもよい。また、ＨＭＤ等の複合情報表示部が、複合情報表示部から現実の被配置物までの距離を計測する計測装置を備えている場合には、当該計測装置が距離計測部を構成すればよい。

また、コントローラ４００により構成される仮想オブジェクト相対移動部は、複合情報表示部が操作装置を備えている場合には、当該複合情報表示部に設けられた操作装置が仮想オブジェクト相対移動部を構成すればよい。

また、本実施形態では、仮想ロボットは１つのみ表示されたが、これに限定されない。例えば、複数の仮想ロボットが表示され、それぞれ独立して仮想オブジェクト相対移動部により移動可能とされ、一方の仮想ロボットと他方の仮想ロボットとが干渉しないか否かについての複合現実シミュレーションが行なわれてもよい。

１…複合現実シミュレーション装置１００…制御装置（制御部）２００…距離画像センサ（距離計測部）３００…ＨＭＤ（複合情報表示部）４００…コントローラ（仮想オブジェクト相対移動部）Ｉ…仮想３ＤオブジェクトＩ１…仮想ロボットＩ２…領域表示Ｒ…現実の被配置物

Claims

仮想オブジェクトを、現実の被配置物に立体的に重ね合わせて表示する複合情報表示部と、
前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させる仮想オブジェクト相対移動部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部と、
を備え、
前記仮想オブジェクトは、ロボットと、前記ロボットの動作範囲を示す領域表示とを含む複合現実シミュレーション装置。
前記複合情報表示部に前記現実の被配置物と立体的に重ね合わせられて表示された前記仮想オブジェクトと、前記現実の被配置物と、の相対的な位置関係を示す情報を出力可能である請求項１に記載の複合現実シミュレーション装置。
前記複合情報表示部は、ヘッドマウントディスプレイにより構成される請求項１又は請求項２に記載の複合現実シミュレーション装置。
タブレット型の端末により構成される請求項１〜請求項２のいずれかに記載の複合現実シミュレーション装置。
コンピュータを複合現実シミュレーション装置として機能させるための複合現実シミュレーションプログラムであって、
前記コンピュータを、
ロボットの動作範囲を示す領域表示を含む仮想オブジェクトを、現実の被配置物に立体的に重ね合わせて表示する複合情報表示部と、
前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示する仮想オブジェクト相対移動部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部と、
を備える複合現実シミュレーション装置として機能させる複合現実シミュレーションプログラム。