JP7042380B1 - 表示装置、プログラムおよび表示方法 - Google Patents

Abstract

【課題】簡便に仮想物体の作成を可能とする。【解決手段】表示装置（仮想物体表示装置１００）は、カメラ１５１と、物体の位置および向きを計測する空間センサ（デプスセンサ１５３）と、仮想空間における仮想マーカの位置および向きを含む仮想マーカ情報（マーカ情報１３３）を記憶する記憶部１３０を備える。さらに表示装置は、空間センサの計測結果から物体の空間形状データを生成する空間認識部１１５と、カメラ１５１が撮像した実マーカの位置および向きを認識するマーカ認識部１１３と、仮想空間内にあり、形状が空間形状データに一致する仮想物体であって、仮想マーカに対する位置および向きが実マーカに対する物体の位置および向きと一致する仮想物体を生成する仮想物体生成部１１６と、カメラ１５１の撮像映像を表示する表示制御部１１７とを備える。【選択図】図１

Description

本発明は、表示装置、プログラムおよび表示方法に関する。

仮想空間（仮想３次元空間）にある仮想物体を実空間の映像に重畳して表示する複合現実（Mixed Reality）に関する技術が普及しており、ゲームの他に設計や試作における完成イメージの確認などに用いられている。重畳して表示するときには、仮想物体と実空間との位置合わせ、換言すれば仮想空間の座標系と実空間の座標系とが一致することが必要となる。このために例えば、マーカを用いて座標系を一致させる手法がある。詳しくは、先ず、仮想空間の原点に対応する実空間の位置にマーカ（実マーカ）を設置する。次に、仮想物体の表示装置がマーカを認識して実空間の原点の位置と座標軸の向きとを特定し、仮想空間の座標系と合致するように仮想物体を表示する。

表示装置には加速度センサや角速度センサが備わり、表示装置が移動して姿勢を変えても、センサの測定値から実空間における自身の位置と姿勢とを算出することができる。しかしながら、マーカの位置から離れるほど算出した位置・姿勢と、実際の位置・姿勢とに誤差が生じる。

誤差を修正するために特許文献１に記載の映像表示システムは、実空間において基準マーカに対応する第１サブマーカを検出し、座標軸（仮想物体）に予め対応付けられた複数の第１仮想位置のうち第１サブマーカと最も近い第１仮想位置と第１サブマーカの位置関係を演算する第１位置関係演算部と、実空間において基準マーカに対して予め決められた位置に配置された第２サブマーカを検出し、複数の第１仮想位置の間隔よりも狭い間隔で座標軸に予め対応付けられた複数の第２仮想位置と第２サブマーカとの位置関係を演算する第２位置関係演算部と、座標軸と撮像装置の位置及び姿勢との関係を修正する修正部と、を備える。
このような映像表示システムでは、間隔が所定距離内になるように第１サブマーカおよび第２サブマーカを設置することにより、誤差を小さく保つことができるようになる。

特開２０１９－０６６２９２号公報

特許文献１に記載の技術では、実空間の物体上の第１サブマーカおよび第２サブマーカに対応して、仮想物体上に第１仮想位置および第２仮想位置を設定する必要がある。このため、マーカに対応する仮想位置には仮想物体があり、この仮想物体上に仮想位置を設定することになる。

しかしながら、サブマーカが設置される物体に対応した仮想物体が存在する（仮想空間内の物体モデルが作成されている）とは限らない。例えばプラントなどの建設現場において仮設の足場にマーカを置くことがあるが、プラントの設備や配管に対応した仮想空間のモデル（仮想物体）は作成されても、仮設の足場のモデルまでは作成されない。このため、基準マーカや第１サブマーカ、第２サブマーカの設置位置は現場の床ないしは壁などに限定され、誤差を十分に抑えるほどの間隔で設置するのが困難である。

仮設の足場をモデル化して足場の仮想物体を準備するにしても、事前に足場の高さや位置が決まっているとは限らない。また、表示装置（映像表示システム）を使用する直前に足場を組み立てることもある。このため、足場の仮想物体（仮想位置が設定される仮想物体）を事前に準備するのは実用的ではない。
本発明は、このような背景を鑑みてなされたものであり、簡便に仮想物体の作成を可能とする表示装置、プログラムおよび表示方法を提供することを課題とする。

上記した課題を解決するため、本発明に係る表示装置は、カメラと、実空間における物体の位置および向きを計測する空間センサと、仮想空間における仮想マーカの位置および向きを含む仮想マーカ情報を記憶する記憶部と、前記空間センサの計測結果から前記物体の空間形状データを生成する空間認識部と、前記カメラが撮像した実マーカの位置および向きを認識するマーカ認識部と、前記仮想空間内に前記空間センサの計測値に基づく計測仮想物体を生成する仮想物体生成部と、前記カメラの撮像映像を表示する表示制御部とを備え、前記仮想物体生成部は、前記仮想空間における前記計測仮想物体の形状が前記物体の前記空間形状データに一致するように、かつ、前記仮想空間における前記仮想マーカに対する前記計測仮想物体の位置および向きが、前記実空間における前記実マーカに対する前記物体の位置および向きと一致するように、前記仮想空間内に前記計測仮想物体を生成することを特徴とする。

本発明によれば、簡便に仮想物体の作成を可能とする表示装置、プログラムおよび表示方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係る仮想物体表示装置の機能ブロック図である。 本実施形態に係る仮想物体を説明するための図である。 本実施形態に係る仮想物体表示装置を使用する作業者の手順（利用手順）を示すフローチャートである。 本実施形態に係る仮想物体表示装置が実行する仮想物体表示処理のフローチャートである。

≪仮想物体表示装置の概要≫
次に、本発明を実施するための形態（実施形態）における仮想物体表示装置（表示装置）について説明する。仮想物体表示装置は、実空間の映像（撮影映像、撮影画像）に仮想物体の画像を重ねて表示する。例えば、プラントなどの建設現場において、設置予定である設備の仮想物体の画像が、設置予定場所に設置場所の映像と重ねられて表示される。

仮想物体表示装置は、デプスセンサを用いて設置予定場所周辺に存在する、例えば配管や仮設物などの既設の物体（物体表面）を計測（スキャン）して形状データを取得し、新たな仮想物体として仮想空間に取り込む。仮想物体表示装置は、既設の物体に対応する新たな仮想物体の画像と、設置予定の仮想物体の画像と、設置予定場所の映像とを重ねて表示することができる。このような映像（画像）を見ることで作業者は、設置予定設備と既存の物体とが接触しないか、必要な間隔を得られるかを確認することができる。

仮想物体の画像と現場の映像とを重ねて表示するには、仮想物体が存在する仮想空間の座標系と、現場の空間の座標系とを合わせる（一致させる）必要がある。このために仮想物体表示装置は、現場に設置された実マーカの位置・向き（姿勢）をカメラで取得して、仮想空間の仮想マーカの位置・向きと合わせることで、２つの座標系を合わせる。

仮想物体表示装置は慣性センサを備え、自身の移動距離や姿勢の変化が検知できるため、実マーカの近傍（例えば数ｍ以内）ならば、一定の精度で仮想物体の画像と現場空間の映像を重ねて表示できる。しかしながら、実マーカから離れるほど慣性センサの測定誤差が累積して、表示がずれる。このため移動して誤差が大きくなる前に、改めて実マーカと仮想マーカとを用いて座標系を合わせることが望まれる。

仮想物体表示装置は、仮想空間に取り込まれた既設の物体に対応する仮想物体に設定した第２仮想マーカと、この第２仮想マーカに対応して当該既設の物体に設置した第２実マーカとを基準として座標系を合わせて、仮想物体の画像と実空間の撮影映像とを高精度に重ねて表示できるようになる。

このように仮想物体表示装置は、デプスセンサで物体を計測して仮想空間に取り込み、取り込んだ仮想物体（計測仮想物体）に設定された仮想マーカと、物体に設置されてカメラで取得された実マーカとを合わせることを繰り返すことで、基準となるマーカを次々に替えながら仮想物体と実空間の撮影映像とを重ねて表示できる。実マーカと仮想マーカとを次々に替えることで、実空間と仮想空間とのずれがなくなり、仮想物体表示装置は高精度に仮想物体と実空間の撮影映像とを重ねて表示できるようになる。

≪仮想物体表示装置の構成≫
図１は、本実施形態に係る仮想物体表示装置１００の機能ブロック図である。仮想物体表示装置１００はコンピュータであり、制御部１１０、記憶部１３０、入出力部１４０、カメラ１５１、タッチパネルディスプレイ１５２、デプスセンサ１５３、および慣性センサ１５４を備える。入出力部１４０が通信デバイスを備え、他の装置とのデータ送受信が可能であってもよい。また入出力部１４０にメディアドライブが接続され、記録媒体を用いたデータのやり取りが可能であってもよい。

カメラ１５１は、実マーカを含む現場を撮像するカメラである。タッチパネルディスプレイ１５２は、利用者の操作を受け付けるタッチパネル付きのディスプレイである。デプスセンサ１５３は、例えばＴｏＦ（Time-of-Flight）深度センサであって、壁や床、機材、設置物など空間にある物体（物体表面）までの距離を計測して、空間内の物体形状を取得することができる。慣性センサ１５４は、３方向の加速度センサやジャイロスコープ（角速度センサ）などを含む。慣性センサ１５４の測定値から仮想物体表示装置１００の姿勢や移動距離、移動方向を算出することができる。

≪仮想物体表示装置：記憶部≫
記憶部１３０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、フラッシュメモリなどの記憶機器を含んで構成される。記憶部１３０には、モデル情報１３１、空間形状情報１３２、マーカ情報１３３、およびプログラム１３４が記憶される。プログラム１３４には、後記する仮想物体表示処理（図４参照）の記述が含まれる。

モデル情報１３１は、仮想空間にある仮想物体の情報であり、例えば仮想物体の表面を構成するポリゴンに係る形状や仮想空間における位置・向きなどのデータを含む。後記するように仮想物体には、製作済み仮想物体と計測仮想物体とがある。空間形状情報１３２は、デプスセンサ１５３の計測値であって、実空間における物体の表面を構成する点群の情報であり、実空間における各点の位置を示す。マーカ情報１３３は、仮想物体上に設定された仮想マーカの位置・向きを含む情報である。

≪仮想物体表示装置：制御部≫
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、モデル情報取得部１１１、マーカ設定部１１２、マーカ認識部１１３、位置姿勢算出部１１４、空間認識部１１５、仮想物体生成部１１６、および表示制御部１１７が備わる。
モデル情報取得部１１１は、入出力部１４０を介して仮想物体の情報を取得してモデル情報１３１に格納する。モデル情報取得部１１１が取得する仮想物体は、設計されて製作されたモデルであるので、以下では製作済み仮想物体とも記す。

マーカ設定部１１２は、仮想物体表示装置１００の利用者である作業者の指示により、仮想空間内の仮想物体上に仮想マーカを設定する。仮想マーカは、例えば仮想物体近くの仮想空間内の床に設定されたり、仮想物体の表面に設定されたりする。なお、仮想物体の情報はモデル情報１３１に格納されている。
マーカ認識部１１３は、マーカ認識モードにおいてカメラ１５１の撮影映像に含まれる実マーカを認識し、実マーカの位置および向きを取得する。

位置姿勢算出部１１４は、マーカ認識部１１３が取得した実マーカの位置・向きを基準にし、慣性センサ１５４の測定値から算出した位置・向きの変化を加えて、仮想物体表示装置１００の位置・向き（姿勢）を算出する。換言すれば、位置姿勢算出部１１４は、実マーカを基準とした仮想物体表示装置１００の位置・向きを算出する。
空間認識部１１５は、空間認識モードにおいてデプスセンサ１５３の計測値に基づいて実空間にある物体（物体表面）を示す点群の位置を算出して、空間形状情報１３２に格納する。なお点群（各点）の位置とは実空間における位置であり、実空間における仮想物体表示装置１００の位置・向き（姿勢）に基づいて算出可能である。

仮想物体生成部１１６は、空間形状情報１３２にある点群の位置情報に基づいて物体の形状・位置・向きを算出し、仮想物体の情報を生成してモデル情報１３１に格納する。換言すれば仮想物体生成部１１６は、仮想空間における仮想物体の形状が物体の空間形状情報１３２にある物体を示す点群の位置データに一致するように仮想物体を生成する。さらに仮想物体生成部１１６は、仮想空間における仮想マーカに対する仮想物体の位置・向きが、実空間における実マーカに対する物体の位置・向きと一致するように、仮想物体を生成する。仮想物体生成部１１６が生成した仮想物体は、デプスセンサ１５３の計測値に基づいて生成された仮想物体であり、以下では計測仮想物体とも記す。

表示制御部１１７は、カメラ１５１が撮影映像に仮想物体の画像を重畳して表示する。表示制御部１１７は、仮想空間における仮想物体の位置・向きと合致するように、撮影映像内に仮想物体の画像を重畳して表示する。詳しくは、表示制御部１１７は実マーカと仮想物体の画像との位置・向きの関係が、仮想空間における仮想マーカと仮想物体との位置・向きの関係と一致するように仮想物体の画像を表示する。なお以下では、撮影映像に重ねて表示される仮想物体の画像を単に仮想物体とも記す。例えば、表示制御部１１７はカメラ１５１が撮影映像に仮想物体を重畳して表示する、と記す。
また、複数の仮想物体（の位置）が重なっている場合、表示制御部１１７は重なっている部分を表示しない。例えば、製作済み仮想物体と計測仮想物体とが重なっている場合、表示制御部１１７は何れか一方または双方の重なっている部分を表示しない。

≪仮想物体≫
図２は、本実施形態に係る仮想物体３００を説明するための図である。仮想物体３００は、発電プラントに設置されるタービンを跨ぐ歩廊をモデル化した仮想物体である。仮想物体３００は、現場に設置される予定の歩廊の３次元モデルであり、製作済み仮想物体である。仮想マーカ３５０は、歩廊が設置されるフロアに置かれる実マーカに対応する仮想マーカであって、仮想空間にある仮想フロア３３０上に設定されている。歩廊と実マーカとの位置・向きの関係、および仮想物体３００と仮想マーカ３５０との位置・向きの関係は一致するように、実マーカは歩廊が設置される現場のフロアに設置される。なお実マーカは、仮想マーカ３５０と同等の２つの矢印と１つの矩形が印（記）された板状のものであるが、仮想マーカも実マーカもこのような図形に限定されるものではない。
以下では仮想物体３００を例にした仮想物体表示装置１００の利用手順（図３参照）、および仮想物体表示装置１００の仮想物体表示処理（図４参照）を説明する。

≪仮想物体表示装置の利用手順≫
図３は、本実施形態に係る仮想物体表示装置１００を使用する作業者の手順（利用手順）を示すフローチャートである。
ステップＳ１１において作業者は、仮想物体の情報を仮想物体表示装置１００に取り込む。この例では製作済み仮想物体である仮想物体３００および仮想フロア３３０の情報が、ネットワークまたは記憶媒体を用いて仮想物体表示装置１００に取り込まれる。

ステップＳ１２において作業者は、仮想物体（製作済み仮想物体または計測仮想物体）に仮想マーカを設定する。ステップＳ１１に続くステップＳ１２において作業者は、仮想マーカ３５０を仮想フロア３３０上に図２に示したように設定する。
ステップＳ１３において作業者は、ステップＳ１２で設定した仮想マーカの位置・向きに対応するように、現場に実マーカを設置する。例えば作業者は、仮想フロア３３０における仮想マーカ３５０の位置・向きに対応するように、歩廊を設置する現場のフロアの位置・向きに実マーカを設置する。

ステップＳ１４において作業者は、仮想物体表示装置１００をマーカ認識モードにして、カメラ１５１で実マーカを撮影する。続いて作業者が現場（フロアや空間）をカメラ１５１で撮影すると、仮想物体表示装置１００は現場の映像に重ねて仮想物体（の画像）を表示する。例えば作業者が、歩廊が設置される予定の場所を撮影すると、仮想物体表示装置１００は歩廊をモデル化した製作済み仮想物体である仮想物体３００（の画像）を表示する。また、後記するステップＳ１８で計測仮想物体となる物体を読み込み（計測）済みであれば、現場の映像に重ねて当該計測仮想物体も表示される。
作業者は、製作済み仮想物体である仮想物体３００の位置・向きが正しいかを確認（判断）し、結果を仮想物体表示装置１００に入力する。現場には仮想物体３００の実物である歩廊は存在しないが、作業者は周辺の物体との位置関係を基に確認する。周辺の物体としては、歩廊が跨ぐタービンや配管などがある。

ステップＳ１５において作業者は、表示された仮想物体３００の位置・向きが正しいならば（ステップＳ１５→ＯＫ）ステップＳ１６に進み、ずれていれば（ステップＳ１５→ＮＧ）ステップＳ１３に戻る。ステップＳ１３に戻ると作業者は、ステップＳ１２で設定した仮想マーカと合うように実マーカを設置し直す。

ステップＳ１６において作業者は、移動したり干渉を確認したりする。この例では、歩廊の手摺りが既設の配管と干渉しないかを確認するために、作業者は歩廊を設置するフロアの１つ上のフロアに移動する。このフロアは歩廊（仮想物体３００）の右側の階段を下りた位置にあるフロアである。以下ではこのフロアを２階フロア（後記する仮想物体３４０参照）と記す。また作業者は、現場の映像と重ねて表示される仮想物体３００を見て、歩廊と現場にある物体（配管など）が干渉しなかを確認する。

ステップＳ１７において作業者は、作業を継続する場合にはステップＳ１８に進む。
ステップＳ１８において作業者は、仮想物体表示装置１００を空間認識モードにして、計測仮想物体とする物体をスキャン（デプスセンサ１５３で読み取る）してステップＳ１２に戻る。計測仮想物体とする物体は、仮想マーカを設定する物体や歩廊（仮想物体３００）との干渉を確認する物体である。作業者は２階フロアや歩廊の手摺り付近の配管をスキャンする（デプスセンサ１５３で読み取る）。

作業者が２階フロアをスキャンすると、仮想物体表示装置１００は２階フロアの計測仮想物体を生成して表示する。図２記載の仮想物体３４０は、スキャンされて計測仮想物体にモデル化された２階フロアである。ステップＳ１２に戻って作業者は、２階フロアである仮想物体３４０に仮想マーカ３６０を設定し、ステップＳ１３，Ｓ１４で２階フロアに実マーカを設置して読み込むことできる。すると仮想物体表示装置１００は、この仮想マーカ３６０と実マーカを基準に、仮想物体を現場の映像に重ねて表示する。

また、作業者が配管をスキャンすると、仮想物体表示装置１００は、仮想物体３００の他にスキャンされた配管をモデル化した計測仮想物体を表示する。仮想物体表示装置１００は、複数の仮想物体が重なっている場合に一方の仮想物体の重なっている部分を表示しない。作業者は、干渉する可能性がある手摺りがあるはずの空間（手摺りの画像として表示されている空間）を様々な位置や向きから撮影することで、干渉（表示されない仮想物体）の有無を確認する。

≪仮想物体表示処理≫
図４は、本実施形態に係る仮想物体表示装置１００が実行する仮想物体表示処理のフローチャートである。
ステップＳ３１においてモデル情報取得部１１１は、作業者の指示（図３記載のステップＳ１１参照）に従って製作済み仮想物体である仮想物体３００の情報を取得してモデル情報１３１に格納する。
ステップＳ３２においてマーカ設定部１１２は、作業者が指示（ステップＳ１２参照）した仮想マーカの位置・向きを取得して設定する（マーカ情報１３３に格納する）。

ステップＳ３３においてマーカ認識部１１３は、カメラ１５１の撮影映像に含まれる実マーカを認識し、実マーカの位置および向きを取得する。以後、位置姿勢算出部１１４は、実マーカを基準とした仮想物体表示装置１００の位置・向きを算出する。なおマーカ認識部１１３は、作業者がマーカ認識モードに切り替えたことを契機に撮影映像に含まれる実マーカの検出処理を開始して実マーカを認識する。

ステップＳ３４において表示制御部１１７は、カメラ１５１が撮影映像に仮想物体の画像を重畳して表示する。仮想物体がステップＳ３１で取得した製作済み仮想物体である仮想物体３００のみであれば、表示制御部１１７は撮影映像に仮想物体３００の画像を重畳して表示する。後記するステップＳ３７，Ｓ３８で計測仮想物体（例えば２階フロアである仮想物体３４０）が取得されていれば、表示制御部１１７は仮想物体３００の他に当該計測仮想物体も撮影画像に重畳して表示する。

ステップＳ３５において表示制御部１１７は、作業者による仮想物体の位置・向きが正しいかずれているかの判断結果（ステップＳ１４，Ｓ１５参照）を取得する。表示制御部１１７は、正しいならば（ステップＳ３５→ＯＫ）ステップＳ３６に進み、ずれているならば（ステップＳ３５→ＮＧ）ステップＳ３３に戻る。
ステップＳ３６において表示制御部１１７は、作業者による終了の指示（ステップＳ１７参照）があれば（ステップＳ３６→ＹＥＳ）仮想物体表示処理を終了し、終了の指示がなければ（ステップＳ３６→ＮＯ）ステップＳ３７に進む。

ステップＳ３７において空間認識部１１５は、デプスセンサ１５３の計測値に基づいて実空間にある物体（物体表面）を示す点群の位置を算出して、空間形状情報１３２に格納する。なお物体は、２階フロアや配管である（ステップＳ１８参照）。また空間認識部１１５は、作業者が空間認識モードに切り替えたことを契機にデプスセンサ１５３を起動して、計測する。

ステップＳ３８において仮想物体生成部１１６は、空間形状情報１３２にある点群の位置情報に基づいて物体の形状・位置・向きを算出し、算出結果を計測仮想物体の情報に変換してモデル情報１３１に格納する。この変換された計測仮想物体には仮想物体３４０（図２参照）が含まれる。

ステップＳ３９において表示制御部１１７は、カメラ１５１が撮影映像に仮想物体の画像を重畳して表示する。この仮想物体とは、歩廊や２階フロア、配管の仮想物体である。なお、複数の物体（の位置）が重なっている場合、表示制御部１１７は重なっている部分を表示しない。例えば、歩廊の仮想物体３００と配管の仮想物体が重なっている場合、表示制御部１１７は仮想物体３００の重なっている部分を表示しない。このように重なっている部分を表示しない処理は、ステップＳ３４でも同様である。

≪仮想物体表示処理の特徴≫
仮想物体表示装置１００は、仮想マーカおよび実マーカを基準にして位置や向きが一致するように仮想物体を撮影画像に重畳して表示する。表示される仮想物体は予め準備された製作済み仮想物体（ステップＳ３１で取得された仮想物体）に限らず、現場で取得された計測仮想物体（ステップＳ３７～Ｓ３８参照）も含む。

仮想マーカが設定可能な仮想物体は、製作済み仮想物体限らず、計測仮想物体にも設定可能である（ステップＳ３２参照）。このため作業者は、現場を移動して移動先の物体に対応する計測仮想物体に仮想マーカを設定可能となる。移動先において仮想マーカと実マーカとによる位置・向きの基準が設けられることになり、仮想物体表示装置１００は、高精度に仮想物体を撮影画像に重畳して表示することができる。延いては、作業者は正確に設置予定の物体（例えば歩廊などの設備）と既設の物体（例えば配管）とが干渉するか否かを確認できるようになる。

≪変形例：位置合わせ≫
上記した実施形態において仮想物体の位置がずれている場合には（ステップＳ１５，Ｓ３５→ＮＧ参照）実マーカを設置し直して（ステップＳ１３参照）、読み込み直している（ステップＳ１４，Ｓ３３参照）。実マーカの設置し直しではなく、仮想マーカの設定し直し、または仮想物体の位置調整であってもよい。例えば仮想物体表示装置１００が、実空間に設置した実マーカに合うように、仮想空間にある仮想物体上の仮想マーカを設定し直しや、現場の映像に表示される仮想物体の位置調整が行えるようにしてもよい。このようにすることで、作業者は仮想空間の座標系と実空間の座標系との一致が短時間で行えるようになる。

≪変形例：干渉確認≫
上記した実施形態において複数の仮想物体（の位置）が重なっている場合に、表示制御部１１７は重なっている部分を表示しない（ステップＳ３９参照）。表示制御部１１７は、重なっている部分、または複数の物体で距離が所定値以下の部分を強調するように表示してもよい。表示制御部１１７は、このような部分を、例えば色を変える、物体間の距離が表示されたポップアップウィンドウを表示するなどして、強調してもよい。

≪その他変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 仮想物体表示装置（表示装置）
１１１ モデル情報取得部
１１２ マーカ設定部
１１３ マーカ認識部
１１４ 位置姿勢算出部
１１５ 空間認識部
１１６ 仮想物体生成部
１１７ 表示制御部
１３２ 空間形状情報（空間形状データ）
１３３ マーカ情報（仮想マーカ情報）
１５１ カメラ
１５３ デプスセンサ（空間センサ）
１５４ 慣性センサ
３００ 仮想物体（製作済み仮想物体）
３４０ 仮想物体（計測仮想物体）
３５０，３６０ 仮想マーカ

Claims (9)

1. カメラと、
   実空間における物体の位置および向きを計測する空間センサと、
   仮想空間における仮想マーカの位置および向きを含む仮想マーカ情報を記憶する記憶部と、
   前記空間センサの計測結果から前記物体の空間形状データを生成する空間認識部と、
   前記カメラが撮像した実マーカの位置および向きを認識するマーカ認識部と、
   前記仮想空間内に前記空間センサの計測値に基づく計測仮想物体を生成する仮想物体生成部と、
   前記カメラの撮像映像を表示する表示制御部とを備え、
   前記仮想物体生成部は、
   前記仮想空間における前記計測仮想物体の形状が前記物体の前記空間形状データに一致するように、
   かつ、前記仮想空間における前記仮想マーカに対する前記計測仮想物体の位置および向きが、前記実空間における前記実マーカに対する前記物体の位置および向きと一致するように、前記仮想空間内に前記計測仮想物体を生成する
   ことを特徴とする表示装置。
2. 前記記憶部には、前記仮想空間に存在する製作済み仮想物体に係る情報が記憶され、
   前記表示制御部は、前記実マーカに対する位置および向きが、前記仮想マーカに対する前記製作済み仮想物体の位置および向きと一致する前記製作済み仮想物体の画像を、前記カメラの撮影画像に重畳して表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記記憶部には、前記仮想空間に存在する製作済み仮想物体に係る情報が記憶され、
   前記計測仮想物体に第２仮想マーカを設定するマーカ設定部をさらに備え、
   前記マーカ認識部は、前記計測仮想物体に対する前記第２仮想マーカの位置および向きに対応する前記物体の位置および向きに設置された第２実マーカの位置および向きを認識し、
   前記表示制御部は、前記第２実マーカに対する位置および向きが、前記第２仮想マーカに対する前記製作済み仮想物体の位置および向きと一致する前記製作済み仮想物体の画像を、前記カメラの撮影画像に重畳して表示する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記表示制御部は、前記実マーカに対する位置および向きが、前記仮想マーカに対する前記計測仮想物体の位置および向きと一致する仮想物体の画像を、前記カメラの撮影画像に重畳して表示する
   ことを特徴とする請求項２～３の何れか１項に記載の表示装置。
5. 前記表示制御部は、前記仮想空間において前記計測仮想物体と前記製作済み仮想物体とが重なる場合に、重なる前記計測仮想物体の部分または重なる前記製作済み仮想物体の部分の画像を表示しない
   ことを特徴とする請求項４に記載の表示装置。
6. 前記表示制御部は、前記仮想空間において前記計測仮想物体と前記製作済み仮想物体とが重なる部分、または、前記計測仮想物体の部分と前記製作済み仮想物体の部分であって２つの部分の距離が所定値以下の部分を強調して表示する
   ことを特徴とする請求項４に記載の表示装置。
7. 前記空間認識部は、前記空間センサの計測結果から第２物体の空間形状データを生成し、
   前記仮想物体生成部は、前記仮想空間内にあり、形状が当該空間形状データに一致する仮想物体であって、前記第２仮想マーカに対する位置および向きが前記第２実マーカに対する前記第２物体の位置および向きと一致する第２計測仮想物体を生成し、
   前記表示制御部は、前記第２実マーカに対する位置および向きが、前記第２仮想マーカに対する前記第２計測仮想物体の位置および向きと一致する前記第２計測仮想物体の画像を、前記カメラの撮影画像に重畳して表示する
   ことを特徴とする請求項３に記載の表示装置。
8. カメラと、
   実空間における物体の位置および向きを計測する空間センサと、
   仮想空間における仮想マーカの位置および向きを含む仮想マーカ情報を記憶する記憶部とを備えるコンピュータを、
   前記空間センサの計測結果から前記物体の空間形状データを生成する空間認識部と、
   前記カメラが撮像した実マーカの位置および向きを認識するマーカ認識部と、
   前記仮想空間内に前記空間センサの計測値に基づく計測仮想物体を生成する仮想物体生成部と、
   前記カメラの撮像映像を表示する表示制御部とを備え、
   前記仮想物体生成部は、
   前記仮想空間における前記計測仮想物体の形状が前記物体の前記空間形状データに一致するように、
   かつ、前記仮想空間における前記仮想マーカに対する前記計測仮想物体の位置および向きが、前記実空間における前記実マーカに対する前記物体の位置および向きと一致するように、前記仮想空間内に前記計測仮想物体を生成する
   表示装置として機能させるためのプログラム。
9. カメラと、
   実空間における物体の位置および向きを計測する空間センサと、
   仮想空間における仮想マーカの位置および向きを含む仮想マーカ情報を記憶する記憶部とを備える表示装置が、
   前記空間センサの計測結果から前記物体の空間形状データを生成するステップと、
   前記カメラが撮像した実マーカの位置および向きを認識するステップと、
   前記仮想空間内に前記空間センサの計測値に基づく計測仮想物体を生成するステップと、
   前記カメラの撮像映像を表示するステップとを実行し、
   前記仮想空間における前記計測仮想物体の形状は、前記物体の前記空間形状データに一致し、
   前記仮想空間における前記仮想マーカに対する前記計測仮想物体の位置および向きが、前記実空間における前記実マーカに対する前記物体の位置および向きと一致する
   表示方法。

Images