JP2020194214A - 画像表示装置 - Google Patents

Abstract

【課題】 撮像された画像に、画像に係る位置に応じた表示を重畳する際に簡易に位置合わせを行う。【解決手段】 画像表示装置であるスマートデバイス１０は、現実空間においてカメラ１１によって撮像された画像を入力する画像入力部１４と、現実空間に対応する仮想空間において位置決めされた仮想物を記憶しておき、画像が撮像された際のカメラ１１の位置及び姿勢に応じて仮想物を当該画像に重ね合わせて表示させる表示部１５と、カメラ１１の移動状態を示す移動状態情報を入力する移動状態入力部１６とを備え、表示部１５は、移動状態情報に応じてカメラ１１の位置及び姿勢を修正し、表示部１５は、予め仮想空間における複数の仮想位置を記憶しておき、画像からマーカを検出して、マーカの仮想空間における位置と、当該位置に応じた仮想位置とが一致するようにカメラ１１の位置及び姿勢を修正する。【選択図】 図１

Description

本発明は、現実空間において撮像された画像に仮想物を重ね合わせて表示させる画像表示装置に関する。

従来から、建設又は土木等の建設現場において撮像された画像に、例えば、設置される部材等のＣＡＤ（Computer Aided Design）データに基づくＣＧ（コンピュータグラフィックス）モデルを重畳して表示させる技術が提案されている（例えば、特許文献１参照）。

特開２０１０−１０８３８４号公報

上述した技術等に基づいて、ＡＲ（拡張現実）よって、これから設置される部材等を表示させることが考えられる。表示されるＣＧモデルとしては、建物全体の完成形、設備配管、及び内装（ウレタン吹付範囲、天井段差、仕上げ）等に係るものが考えられる。このような表示を行うことで、図面の読み間違い又は知識不足による施工管理ミス、並びに顧客要求事項の齟齬による意匠変更等を防止することができる。

上記のＣＧモデルの表示をカメラの移動に追従させる場合、建設現場ではＧＰＳ（グローバル・ポジショニング・システム）による位置の特定が困難な場合があるため、カメラに設けられる加速度センサ、ジャイロセンサ等によってカメラの移動を検出して、検出した移動に応じて追従を行うことが考えられる。しかしながら、移動の検出のみでは、撮像される画像と表示するＣＧモデルとの間に位置ずれが生じてしまう。それを防止するため、建設現場に位置決めされたＡＲマーカを設けておき、ＡＲマーカに基づく位置合わせを行うことが考えられる。適切に位置合わせを行うためには、建設現場になるべく多くのＡＲマーカを設ける必要がある。

通常、ＡＲマーカは一意に位置合わせを行うためのものであるため、複数のＡＲマーカは互いに異なるものである必要がある。複数の異なるＡＲマーカを用意して建設現場にそれらのＡＲマーカを設けることは、大きな手間である。また、表示側の装置にもそれぞれのＡＲマーカの設定を行う必要があり、この点でも手間が発生する。

本発明は、上記に鑑みてなされたものであり、撮像された画像に当該画像に係る位置に応じた表示を重畳する際に簡易に位置合わせを行うことができる画像表示装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像表示装置は、現実空間においてカメラによって撮像された画像を入力する画像入力手段と、現実空間に対応する仮想空間において位置決めされた仮想物を記憶しておき、画像入力手段によって入力された画像が撮像された際のカメラの位置及び姿勢に応じて仮想物を当該画像に重ね合わせて表示させる表示手段と、カメラの移動状態を示す移動状態情報を入力する移動状態入力手段と、を備え、表示手段は、移動状態入力手段によって入力された移動状態情報に応じて、自身が把握するカメラの位置及び姿勢を修正し、表示手段は、予め現実空間に位置決めされて設けられる複数のマーカに対応する仮想空間における複数の仮想位置を記憶しておき、画像入力手段によって入力された画像から複数のマーカのうちの１つを検出して、検出したマーカの仮想空間における位置と、複数の仮想位置のうち、当該検出したマーカの仮想空間における位置に応じた仮想位置とが一致するように、自身が把握するカメラの位置及び姿勢を修正する。

本発明に係る画像表示装置によれば、複数の同一のマーカを用いて撮像された画像に仮想物を重ね合わせて表示させる際の位置合わせを行うことができる。従って、本発明に係る画像表示装置によれば、簡易に当該位置合わせを行うことができる。

表示手段は、検出したマーカの仮想空間における位置と、複数の仮想位置のうち、検出したマーカの仮想空間における位置に最も近い仮想位置とが一致するように、自身が把握するカメラの位置及び姿勢を修正することとしてもよい。この構成によれば、確実かつ適切に位置合わせを行うことができる。

表示手段は、画像入力手段によって入力された画像から複数のマーカのうちの１つを検出すると共に当該検出したマーカに対応する仮想位置の指定を受け付けて、検出したマーカの仮想空間における位置と、指定された仮想位置とが一致するように、自身が把握するカメラの位置及び姿勢を設定することとしてもよい。この構成によれば、複数の同一のマーカを用いて、自身が把握するカメラの位置及び姿勢の初期設定を行うことができる。従って、初期設定のための上記のマーカとは異なるマーカを設ける必要がない。

表示手段は、現実空間に引かれた複数の線の交点部分をマーカとして検出することとしてもよい。この構成によれば、建設現場等に設けられる通り芯墨、通り芯逃げ墨等の線を用いて位置合わせを行うことができる。従って、位置合わせ用のみに用いられるマーカを設けずに位置合わせを行うことができる。

本発明によれば、複数の同一のマーカを用いて撮像された画像に仮想物を重ね合わせて表示させる際の位置合わせを行うことができる。従って、本発明によれば、簡易に当該位置合わせを行うことができる。

本発明の実施形態に係る画像表示装置であるスマートデバイスの構成を示す図である。 ＣＧモデルが重畳されて表示される画像の例である。 建設現場に引かれる基準線の例を示す図である。 本発明の実施形態に係る画像表示装置であるスマートデバイスで実行される処理を示すフローチャートである。

以下、図面と共に本発明に係る画像表示装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る画像表示装置であるスマートデバイス１０を示す。スマートデバイス１０は、現実空間において撮像された画像に仮想物を重ね合わせて表示させる装置（システム）である。ＣＧモデルの重ね合わせは、１分の１スケールで行われる。即ち、スマートデバイス１０は、ＡＲによる表示を行う装置である。

例えば、スマートデバイス１０は、建築（工事）現場又は土木（工事）現場等の建設現場においてユーザに携帯されて用いられる。スマートデバイス１０は、建設現場において撮像された画像に、これから設置される部材等を、画像中の設置される場所に重ね合わせて表示させる。表示される画像Ｉの例を図２に示す。図２に示すように、例えば、撮像された建設現場Ｓの部材Ｍが設置される場所に部材ＭのＣＧモデル（ＡＲモデル）が表示される。重ね合わせて表示されるＣＧモデルは、具体的には、建物全体の完成形、設備配管、内装（ウレタン吹付範囲、天井段差、仕上げ）、杭、鉄筋、天井内設備、仮設足場、敷地内の埋設物ライン（例えば、地下鉄）、改修工事時の新築部分等のＣＧモデルである。建設現場の作業員等が上記の画像を参照することで、図面の読み間違い及び施工管理ミス等による手戻りを防止することができる他、顧客要求を具体的に把握することによる作業後の意匠変更の防止、改修工事時の新築部分の既存部分との干渉確認、作業時の現地の安全確認、顧客との合意形成等を行うことも可能となる。

スマートデバイス１０は、例えば、タブレット端末又はスマートフォン等の端末である。スマートデバイス１０は、ＣＰＵ（Central Processing Unit）及びメモリ等のハードウェアを含んで構成されている。スマートデバイス１０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。プログラムは、本実施形態の機能を発揮するための専用のアプリケーションであってもよく、スマートデバイス１０が当該アプリケーションをダウンロードしてインストールしてもよい。また、スマートデバイス１０は、後述するように、本実施形態に係るハードウェアとして、上記以外にもカメラ、ディスプレイ、センサを備える。また、スマートデバイス１０は、それ以外にも、通常のスマートデバイスが備える機能及びハードウェアを備えていてもよい。

引き続いて、本実施形態に係るスマートデバイス１０の構成について説明する。図１に示すように、スマートデバイス１０は、カメラ１１と、ディスプレイ１２と、センサ１３と、画像入力部１４と、表示部１５と、移動状態入力部１６とを備えて構成される。

カメラ１１は、現実空間である建設現場を撮像して、仮想物であるＣＧモデルが重畳されて表示される画像を取得する撮像装置である。カメラ１１は、スマートデバイス１０本体に対して位置決めされて固定的に設けられている。カメラ１１としては、従来のスマートデバイスに備えられるものを用いることができる。カメラ１１は、連続的に撮像を行う。カメラ１１は、撮像によって得られた画像を撮像の度に画像入力部１４に出力する。

ディスプレイ１２は、画像を入力して表示する表示装置である。ディスプレイ１２は、後述するようにカメラ１１によって撮像されてＣＧモデルが重畳された画像を表示部１５から入力して表示する。ディスプレイ１２としては、従来のスマートデバイスに備えられるものを用いることができる。

センサ１３は、スマートデバイス１０の移動状態を検出するセンサである。上述したようにカメラ１１は、スマートデバイス１０本体に対して固定的に設けられている。そのため、スマートデバイス１０の移動状態の検出は、カメラ１１の移動状態の検出に相当する。例えば、センサ１３は、ＩＭＵ（慣性計測装置）（加速度センサ、ジャイロセンサ、マグネットメータ）であり、カメラ１１の移動状態として三次元の加速度及び角速度を検出する。センサ１３としては、従来のスマートデバイスに備えられるものを用いることができる。センサ１３は、連続的（例えば、カメラ１１の撮像のタイミングと同じタイミングで）にカメラ１１の移動状態を検出する。センサ１３は、検出したカメラ１１の移動状態を示す移動状態情報を検出の度に移動状態入力部１６に出力する。なお、移動状態情報は、上述した加速度及び角速度以外であってもよい。例えば、カメラ１１の速度を移動状態情報としてもよい。

画像入力部１４、表示部１５及び移動状態入力部１６の機能は、ＣＰＵ及びメモリ等のハードウェア、即ち、スマートデバイス１０のコンピュータ部分によって実現される。

画像入力部１４は、現実空間である建設現場においてカメラ１１によって撮像された画像を入力する画像入力手段である。画像入力部１４は、カメラ１１から当該画像を入力する。画像入力部１４は、入力した画像を表示部１５に出力する。

表示部１５は、画像入力部１４によって入力された画像に仮想物であるＣＧモデルを重ね合わせて表示させる表示手段である。即ち、表示部１５は、ＡＲの画像を表示させる。表示部１５は、ＣＧモデルが重ね合わされた画像をディスプレイ１２に出力して表示させる。

表示部１５は、予め現実空間である建設現場に対応する三次元の仮想空間（ＡＲ空間）を記憶しておく。建設現場における位置と仮想空間における位置（座標）とが予め対応付けられている。表示部１５は、予め当該仮想空間において位置決めされたＣＧモデルを記憶しておく。具体的には、表示部１５は、ＣＧモデルの仮想空間上の形状及び位置を示す情報を記憶しておく。ＣＧモデルの仮想空間上の形状及び位置は、例えば、ＣＧモデルに係る部材等が実際の建設現場に設けられる形状及び位置に対応している。

ＣＧモデルは、例えば、表示する対象物を三次元形状で表したもの、即ち、３Ｄモデルである。ＣＧモデルは、例えば、対象物のＣＡＤデータ、あるいはＢＩＭ（Building Information Modeling）データから従来の方法で作成することができる。また、仮想空間の設定、及びＣＧモデルの配置は、例えば、ＢＩＭデータといった建設に係る設計データに基づいて予め行われる。また、ＣＧモデルは、平面図（例えば、２Ｄの施工図又は平面詳細図）に基づくものであってもよい。ＣＧモデルの生成は、専用クラウドサーバで行われてもよい。その場合、スマートデバイス１０は、予め専用クラウドサーバからＣＧモデルをダウンロードしておく。

表示部１５は、画像入力部１４から画像を入力する。表示部１５は、入力した画像が撮像された際のカメラ１１の位置（撮像位置）及び姿勢（撮像方向）に応じてＣＧモデルを当該画像に重ね合わせて表示させる。表示部１５は、カメラ１１が仮想空間にあり、入力された画像を撮像した際の位置及び姿勢と同じ条件で（即ち、仮想カメラで）ＣＧモデルを撮像した場合のＣＧモデルを画像に重畳する。この画像は、図２に示すように、実際の建設現場において、ＣＧモデルに係る部材等が設けられる部分に当該ＣＧモデルが写ったものとなる。ＣＧモデルを画像に重畳する際には、カメラ１１の位置及び姿勢だけではなく、カメラ１１の撮像を行う際のパラメータ（例えば、画角）等を考慮してもよい。また、ＣＧモデルを表示する際には、ＣＧモデルを半透明にして、画像のＣＧモデルが重畳される部分も認識できるようにしてもよい。なお、表示部１５は、自身が把握するカメラ１１の位置及び姿勢について後述するように設定、修正する。

移動状態入力部１６は、カメラ１１の移動状態を示す移動状態情報を入力する移動状態入力手段である。移動状態入力部１６は、センサ１３から、カメラ１１の移動状態を示す移動状態情報を入力する。移動状態入力部１６は、入力した移動状態情報を表示部１５に出力する。

表示部１５は、移動状態入力部１６から移動状態情報を入力する。表示部１５は、移動状態入力部１６によって入力された移動状態情報に応じて、自身が把握する仮想空間におけるカメラ１１の位置及び姿勢（カメラ１１が仮想空間にあるとした場合の位置及び姿勢）を修正（算出）する。表示部１５は、修正した位置及び姿勢に基づいて画像に対するＣＧモデルの重ね合わせを行う。表示部１５は、画像入力部１４から画像を入力する度、及び移動状態入力部１６から移動状態を示す情報を入力する度に上記の画像の重ね合わせ（表示される画像の生成）及びディスプレイ１２への出力を行う。即ち、表示部１５は、カメラの移動状態に追従するように画像にＣＧモデルを重ね合わせる。上述した表示部１５の機能は、従来のＡＲの方法（例えば、ＡＲＴｏｏｌＫｉｔのトラッキングアルゴリズム、ＳＬＡＭ（Simultaneous Localization and Mapping）機能）によって実現することができる。

上述したように表示部１５において重ね合わせに用いられるカメラ１１の位置及び姿勢は、センサ１３によって検出されたカメラ１１の移動状態を用いて修正される。しかしながら、このように算出されたカメラ１１の位置及び姿勢は、実際のカメラ１１の位置及び姿勢との間でずれが生じ得る。カメラ１１の移動状態を用いて繰り返し修正が行われた場合には、そのずれが大きくなる。それらの間にずれがあると、画像に重ね合わされるＣＧモデルの画像上の位置がずれ、適切な表示が行えなくなる。本実施形態では、以下のようにそのずれを解消する。

表示部１５は、まず、何らかの方法で、自身が把握するカメラ１１の位置及び姿勢の初期設定を行う。初期設定は、従来のＡＲの方法と同様に行われてもよい。例えば、建設現場に予め位置決めした一意に特定できる１つの初期設定用マーカを設けておく。初期設定用マーカは、例えば、二次元コード等の二次元の画像を用いたものである。ユーザは、カメラ１１を初期設定用マーカに向けて、カメラ１１で初期設定用マーカを撮像できるようにする。表示部１５は、予め仮想空間上の初期設定用マーカの位置を記憶しておき、当該位置とカメラ１１によって初期設定用マーカを撮像した画像とに基づいて初期設定を行う。なお、初期設定は、必ずしも上記のように行われる必要はなく、後述するように本実施形態に係るマーカを用いて行われてもよい。

上記のずれを解消するために、建設現場に予め位置決めした複数のマーカ（ＡＲマーカ）を設けておく。それぞれのマーカは、上記の初期設定用マーカのように一意に特定できる必要はなく、複数のマーカのいずれかであることを識別できるものであればよい。

図３は、建設現場に設けられる部材Ｍを上方から示す図である。図３に示すように建設現場の敷地又は床面等には、作業の基準線Ｌとなる通り芯墨又は通り芯逃げ墨が引かれる。当該基準線Ｌは、通常、縦方向及び横方向等の互いに垂直な方向にそれぞれ複数引かれる。この基準線Ｌを用いて、例えば、縦方向の基準線Ｌと横方向の基準線Ｌとのそれぞれの交点Ｐ部分をマーカとする。このようにマーカを設定することで建設現場にまんべんなくマーカを設定することができる。なお、マーカとして用いる基準線Ｌとしては、通り芯墨及び通り芯逃げ墨以外のものが用いられてもよい。ユーザは、ずれを解消する際にカメラ１１をマーカに向けて、カメラ１１でマーカを撮像できるようにする。

表示部１５は、予め複数のマーカに対応する仮想空間における複数の仮想位置を記憶しておく。表示部１５は、画像入力部１４から入力した画像から複数のマーカのうちの１つ、即ち、基準線Ｌの交点Ｐを検出（認識）する。マーカの検出は、従来の画像認識の手法によって行うことができる。表示部１５は、画像からマーカを検出できなかった場合、マーカに基づく位置合わせを行わない。

表示部１５は、画像からマーカを検出できた場合、検出したマーカの仮想空間における位置と、複数の仮想位置のうち、当該検出したマーカの仮想空間における位置に応じた仮想位置とが一致するようにカメラ１１の位置及び姿勢を修正する。例えば、表示部１５は、検出したマーカの仮想空間における位置と、複数の仮想位置のうち、検出したマーカの仮想空間における位置に最も近い仮想位置とが一致するようにカメラ１１の位置及び姿勢を修正する。また、マーカの位置と仮想位置との一致（即ち、点の一致）だけでなく、仮想空間上に基準線Ｌに対応する仮想線を設定しておき、検出した基準線Ｌの仮想空間における位置（向き）と仮想線の位置（向き）とが一致するよう（即ち、線の一致）にカメラ１１の位置及び姿勢を修正してもよい（以下についても同様である）。また、交点Ｐの部分ではない、基準線Ｌの部分をマーカとして用いてもよい。

上記のずれが生じている場合であっても、検出したマーカの仮想空間における位置に最も近い仮想位置が、検出したマーカに対応するものであると考えられるため、上記によってずれを解消することができる。なお、複数の仮想位置のうち、マーカの位置と一致させる仮想位置（即ち、ずれの解消に用いる仮想位置）が特定されれば、カメラ１１の位置及び姿勢の修正（算出）自体は、従来のＡＲの方法と同様に行うことができる。また、上述した移動状態に応じたカメラ１１の位置及び姿勢の修正は、画像からマーカの検出が行えなかった場合（例えば、画像にマーカが写っていなかった場合）のみに行われてもよい。また、カメラ１１の位置及び姿勢の初期設定及び修正の際に、カメラ１１からマーカまでの距離を取得して当該距離を用いることとしてもよい。以上が、上記のずれを解消するための表示部１５の機能である。

表示部１５は、上記のマーカ、即ち、基準線Ｌの交点Ｐを用いて、カメラ１１の位置及び姿勢の初期設定を行うこととしてもよい。表示部１５は、ずれの解消時と同様に画像入力部１４から入力した画像から複数のマーカのうちの１つ、即ち、基準線Ｌの交点Ｐを検出する。また、表示部１５は、検出したマーカに対応する仮想位置（ＡＲポイント）の指定を受け付ける。即ち、表示部１５は、複数の仮想位置のうち、何れの仮想位置を初期設定に用いるかの指定を受け付ける。指定は、例えば、スマートデバイス１０が使用される時点でユーザのスマートデバイス１０に対する操作によって行われてもよいし、予め表示部１５に設定されていてもよい。指定は、例えば、各仮想位置に番号等の識別子を付与しておき、識別子を指定するものであってもよいし、仮想位置の座標を指定するものであってもよい。なお、当該指定は、マーカが検出される前に行われてもよいし、後に行われてもよい。

表示部１５は、検出したマーカの仮想空間における位置と、指定された仮想位置とが一致するようにカメラ１１の位置及び姿勢を設定する。なお、本実施形態のようにマーカとして、基準線Ｌの交点Ｐを用いる場合には、マーカの位置を特定できても向きを特定できない。それに対処するため、初期設定を行う場合には、予め特定の方向から（例えば、図３における上向きに）カメラ１１によるマーカの撮像を行うようにしておき、当該方向を前提として初期設定を行うこととすればよい。

なお、上述したようにマーカは、マーカであることを認識できればよいため、必ずしも上記の基準線Ｌを用いたものでなくてもよい。例えば、建設現場に位置決めして設けた複数の同一の二次元コードをマーカとして用いることとしてもよい。この場合も上述した初期設定を行うことができるが、上記の初期設定の際に特定の方向から撮像を行う必要がない。以上が、本実施形態に係るスマートデバイス１０の構成である。

引き続いて、図４のフローチャートを用いて、本実施形態に係るスマートデバイス１０で実行される処理を説明する。本処理では、まず、カメラ１１によって建設現場の撮像が行われて画像が取得される（Ｓ０１）。取得された画像は、カメラ１１から画像入力部１４に入力される。続いて、表示部１５によって当該画像から、マーカである、基準線Ｌの交点Ｐが検出される（Ｓ０２）。また、表示部１５によって、検出されたマーカに対応する仮想位置（ＡＲポイント）の指定が受け付けられる（Ｓ０３）。続いて、表示部１５によって、検出されたマーカの仮想空間における位置と、指定された仮想位置とが一致するように、自身が把握するカメラ１１の位置及び姿勢が初期設定される（Ｓ０４）。なお、カメラ１１の位置及び姿勢の初期設定は、上述したように初期設定用マーカによって行われてもよい。続いて、表示部１５によって、設定されたカメラ１１の位置及び姿勢に応じてＣＧモデルが当該画像に重ね合わせられてディスプレイ１２に表示される（Ｓ０５）。

続いて、カメラ１１によって建設現場の撮像が行われて画像が取得される（Ｓ０６）。取得された画像は、カメラ１１から画像入力部１４に入力される。また、センサ１３によってカメラ１１の移動状態が検出される。検出されたカメラ１１の移動状態を示す移動状態情報は、センサ１３から移動状態入力部１６に入力される。続いて、表示部１５によって当該画像から、マーカである、基準線Ｌの交点Ｐが検出される（Ｓ０８）。

この際に画像からマーカが検出されなかった場合（Ｓ０８のＮＯ）、表示部１５によって、移動状態情報に応じて、自身が把握する仮想空間におけるカメラ１１の位置及び姿勢が修正される（Ｓ０９）。また、この際（Ｓ０８）に画像からマーカが検出された場合（Ｓ０８のＹＥＳ）、表示部１５によって、検出されたマーカの仮想空間における位置と、複数の仮想位置のうち、当該検出されたマーカの仮想空間における位置に応じた仮想位置とが一致するようにカメラ１１の位置及び姿勢が修正される（Ｓ１０）。カメラ１１の位置及び姿勢の修正に用いられる仮想位置は、検出されたマーカの仮想空間における位置に最も近い仮想位置である。

Ｓ０９又はＳ１０の処理に続いて、表示部１５によって、修正されたカメラ１１の位置及び姿勢に応じてＣＧモデルが当該画像に重ね合わせられてディスプレイ１２に表示される（Ｓ１１）。上記のＳ０６〜Ｓ１１の処理は、繰り返し行われる。これによって、マーカが検出されない場合にはカメラの移動状態に追従してＣＧモデルが画像に表示され、マーカが検出された場合にはマーカに基づく位置合わせが行われた上でＣＧモデルが画像に表示される。以上が、本実施形態に係るスマートデバイス１０で実行される処理である。

本実施形態によれば、複数の同一のマーカを用いて撮像された画像に仮想物を重ね合わせて表示させる際の位置合わせを行うことができる。そのため、複数のマーカをそれぞれ異なるものにせずに位置合わせを行うことができる。また、スマートデバイス１０における予めの仮想位置の設定も、それぞれ異なる複数のマーカへの対応付けをせずに行うことができる。従って、本実施形態によれば、簡易に当該位置合わせを行うことができる。その結果、仮想物を適切に画像に表示することができ、ユーザが画像に重ね合わせられた仮想物を適切に認識することができる。

また、本実施形態のように位置合わせに用いる仮想位置は、検出したマーカの仮想空間における位置に最も近いものを用いることしてもよい。この構成によれば、確実かつ適切に位置合わせを行うことができる。

また、本実施形態のように複数の同一のマーカの何れかを用いてカメラの位置及び姿勢の初期設定をすることとしてもよい。この構成によれば、複数の同一のマーカを用いて、自身が把握するカメラの位置及び姿勢の初期設定を行うことができる。従って、初期設定のための上記のマーカとは異なるマーカを設ける必要がない。但し、上述したように１つの初期設定用マーカを用いて初期設定を行ってもよい。

また、本実施形態のように建設現場に引かれた基準線Ｌの交点Ｐ部分をマーカとして利用することとしてもよい。この構成によれば、建設現場に設けられる通り芯墨、通り芯逃げ墨等の線を用いて位置合わせを行うことができる。従って、位置合わせ用のみに用いられるマーカを特別に設けずに位置合わせを行うことができる。但し、マーカとして、必ずしも基準線Ｌを利用したものを利用する必要はなく、任意のマーカを利用してもよい。

なお、本実施形態は、建設現場において撮像された画像に仮想物を重ね合わせて表示させるものであった。しかしながら、必ずしも撮像される場所は建設現場である必要はなく、任意の場所で撮像された画像に対して本発明が適用されてもよい。

また、本実施形態に係る画像表示装置は、スマートデバイス１０であることとしたが、同様のハードウェア及び機能を有するものであれば、スマートデバイス１０以外の装置であってもよい。例えば、ウェアラブルデバイスであってもよい。また、本実施形態に係る機能は、全てスマートデバイス１０に備えられていなくてもよい。例えば、画像入力部１４、表示部１５及び移動状態入力部１６の少なくとも一部の機能が、スマートデバイス１０と通信可能なサーバ装置に備えられていてもよい。その場合、スマートデバイス１０とサーバ装置とが、本発明に係る画像表示装置を構成する。また、本発明に係る画像表示装置は、画像入力部１４、表示部１５及び移動状態入力部１６を備えていればよいため、サーバ装置が、画像入力部１４、表示部１５及び移動状態入力部１６の全ての機能を備えている場合には、サーバ装置のみが、本発明に係る画像表示装置を構成する。

１０…スマートデバイス、１１…カメラ、１２…ディスプレイ、１３…センサ、１４…画像入力部、１５…表示部、１６…移動状態入力部。

Claims (4)

1. 現実空間においてカメラによって撮像された画像を入力する画像入力手段と、
   前記現実空間に対応する仮想空間において位置決めされた仮想物を記憶しておき、前記画像入力手段によって入力された画像が撮像された際のカメラの位置及び姿勢に応じて仮想物を当該画像に重ね合わせて表示させる表示手段と、
   前記カメラの移動状態を示す移動状態情報を入力する移動状態入力手段と、を備え、
   前記表示手段は、前記移動状態入力手段によって入力された移動状態情報に応じて、自身が把握する前記カメラの位置及び姿勢を修正し、
   前記表示手段は、予め前記現実空間に位置決めされて設けられる複数のマーカに対応する前記仮想空間における複数の仮想位置を記憶しておき、前記画像入力手段によって入力された画像から前記複数のマーカのうちの１つを検出して、検出したマーカの前記仮想空間における位置と、前記複数の仮想位置のうち、当該検出したマーカの前記仮想空間における位置に応じた仮想位置とが一致するように、自身が把握する前記カメラの位置及び姿勢を修正する、画像表示装置。
2. 前記表示手段は、検出したマーカの前記仮想空間における位置と、前記複数の仮想位置のうち、検出したマーカの前記仮想空間における位置に最も近い仮想位置とが一致するように、自身が把握する前記カメラの位置及び姿勢を修正する請求項１に記載の画像表示装置。
3. 前記表示手段は、前記画像入力手段によって入力された画像から前記複数のマーカのうちの１つを検出すると共に当該検出したマーカに対応する仮想位置の指定を受け付けて、検出したマーカの前記仮想空間における位置と、指定された仮想位置とが一致するように、自身が把握する前記カメラの位置及び姿勢を設定する請求項１又は２に記載の画像表示装置。
4. 前記表示手段は、前記現実空間に引かれた複数の線の交点部分を前記マーカとして検出する請求項１〜３の何れか一項に記載の画像表示装置。

Images