JP4724476B2

JP4724476B2 - 情報処理方法及び装置

Info

Publication number: JP4724476B2
Application number: JP2005177964A
Authority: JP
Inventors: 太一松井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-09-07
Filing date: 2005-06-17
Publication date: 2011-07-13
Anticipated expiration: 2025-06-17
Also published as: JP2006107437A

Description

本発明は、情報処理方法及び装置に関し、特に、現実世界に仮想画像を合成した画像をユーザに提示する情報処理装置及び方法に関する。

バーチャルリアリティ（ＶＲ）システムは、コンピュータの作り出す三次元ＣＧ（コンピュータグラフィックス）をユーザに提示することで、仮想の空間をあたかも現実であるかのように感じさせるシステムである。また、近年現実世界の映像に三次元ＣＧを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，拡張現実感）システムや特許文献１に記載されているようなＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ，複合現実感）システムと呼ばれている。

ＭＲシステムでは、現実の物体に三次元ＣＧを重ねて見ることが可能であり、現実物体に仮想物体を重畳することで、ユーザが自由に仮想物体を操ることができるシステムが提案されている（例えば、特許文献１を参照）。
特開平１１−１３６７０６号公報

通常、ＭＲシステムにおいては現実画像よりもＣＧを画面の前面に表示するために、ユーザの視点からは自らの手元や足元がＣＧによって隠されてしまうことがあった。例えば、バーチャル建造物の屋内を体験するＭＲシステムでは、ユーザがバーチャル建造物の屋内に移動した場合は、ユーザの周りが全てバーチャルの床や壁で覆われてしまう。従って、このようなシステムにおいては、ユーザの手元がＣＧで隠れてしまい、何かを操作するときに不便を感じる。

また、ユーザの足元が隠されてしまうと、ユーザは、不安感を感じてしまう。

本発明は、この点に鑑みてなされたものであり、ユーザの足元がＣＧによって隠されてしまうことにより体験者であるユーザが不安感を感じることを抑制することを目的とする。

また、ＭＲの特徴を生かし、ユーザの足元の現実空間を見ることが出来るようにすることを目的とする。

上記目的を達成するために、本発明の情報処理方法は、仮想世界の画像を生成し、現実空間に前記仮想世界の画像が合成された画像をユーザに提示する情報処理装置が行う情報処理方法であって、前記情報処理装置が有する取得手段が、ユーザの位置姿勢を取得する取得工程と、前記情報処理装置が有する生成手段が、前記ユーザの位置姿勢と仮想世界のＣＧデータから、前記ユーザの位置姿勢に応じた仮想世界の画像を生成する生成工程とを有し、前記生成工程は、前記ユーザの足元に対しては現実空間画像が表示されるように前記仮想世界の画像を生成し、前記仮想世界のＣＧデータには、ユーザの足元に描画するための透明オブジェクトが含まれ、前記情報処理装置は、前記情報処理装置が有する設定手段が、前記透明オブジェクトの位置を、前記位置姿勢に応じて設定する設定工程を更に有し、前記設定工程により設定された前記透明オブジェクトが前記仮想世界の画像を透明にすることで現実空間画像が表示されることを特徴とする。

また、本発明の情報処理装置は、仮想世界の画像を生成し、現実空間に前記仮想世界の画像が合成された画像をユーザに提示する情報処理装置であって、ユーザの位置姿勢を取得する取得手段と、前記ユーザの位置姿勢と仮想世界のＣＧデータから、前記ユーザの位置姿勢に応じた仮想世界の画像を生成する生成手段とを有し、前記生成手段は、前記ユーザの足元に対しては現実空間画像が表示されるように前記仮想世界の画像を生成し、前記仮想世界のＣＧデータには、ユーザの足元に描画するための透明オブジェクトが含まれ、前記情報処理装置は、前記透明オブジェクトの位置を、前記位置姿勢に応じて設定する設定手段を更に有し、前記設定手段により設定された前記透明オブジェクトが前記仮想世界の画像を透明にすることで現実空間画像が表示されることを特徴とする。

本発明によれば、ユーザの足元の現実世界の画像が表示されることにより、ユーザの足元の現実世界の画像が見えないというユーザの不安感をなくすことができる。

以下、本発明の一実施の形態を、図面を用いて詳細に説明する。

（実施の形態１）
本実施の形態では、バーチャル建造物の屋内を体験可能であるＭＲシステムについて説明する。

まず、システムの構成全体を説明する。

図１は、本実施の形態のシステム構成を表した図である。図１において、システム制御部１０１は、本システム全体をコントロールするユニットであり、画像入力部１０２、画像合成部１０３、画像出力部１０４、カメラ位置姿勢計測部１０５、仮想世界生成部１０６を備えている。

ビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２は、カメラ１３３、画像出力部１３４、画像入力部１３５、画像表示部１３６を備えている。カメラ１３３は、ユーザの右眼と左眼のそれぞれに対応するように２台設置されている。また、画像表示部１２６は、ユーザの右眼用と左眼用の表示部を備えている。

次に、上述の構成の本システムのデータの流れについて説明する。

ユーザの頭部に装着されたＨＭＤ１３２のカメラ１３３は、ユーザの右眼及び左眼から見えるそれぞれの現実空間を画像として撮像する。画像出力部１３４は、カメラ１３３により撮像された現実空間の画像をシステム制御部１０１の画像入力部１０２に送信する。

カメラ位置姿勢計測部１０５は、例えば、不図示の磁気式位置姿勢センサーの利用やカメラ１３３からの入力画像によるカメラ位置姿勢の推定等によりカメラ１３３の位置（即ち、ユーザの位置）と、カメラの姿勢（即ち、ユーザの姿勢（視線方向））を計測する。仮想世界生成部１０６は、カメラ位置姿勢計測部１０５により計測された位置姿勢情報および予め保持されているシーングラフに基づき、カメラ１３３の位置姿勢から見た三次元ＣＧ画像を生成する。

ここで、シーングラフとは仮想空間の構造を示すものであり、例えば、ＣＧオブジェクト間の位置関係、幾何情報などを定義するものである。本実施の形態では、ユーザが体験する仮想世界を定義するオブジェクトに加えて、足元に現実空間画像を表示するために透明床オブジェクトが記述されている。

画像合成部１０３は、画像入力部１０２により受信した現実空間の画像と、仮想世界生成部１０６により生成された仮想空間画像（三次元ＣＧ画像）を合成することにより複合現実空間画像を生成し、画像出力部１０４に送信する。画像出力部１０４は、画像合成部１０３により合成された複合現実空間画像をＨＭＤ１３２の画像入力部１３５に送信する。画像入力部１３５は、画像出力部１０４より送信された複合現実空間画像を受信する。画像表示部１３６は、画像入力部１０５により受信した複合現実空間画像を、右眼用と左眼用の表示部にそれぞれ表示する。その複合現実空間画像を、ユーザが観察することができる。

このようなシステムによれば、ＨＭＤを装着したユーザの位置姿勢に応じた複合現実空間画像を表示することができる。したがって、ユーザは、ＭＲ空間を自由に体験することができる。

図２に、本実施の形態で用いるシーングラフのツリー構造を示す。

本実施の形態は、バーチャル建造物を体験可能なＭＲシステムであるので、バーチャル建造物に関するオブジェクトを示す仮想世界のシーン２０２、およびＣＧの床を透過させ現実空間画像を表示するためのオブジェクトである透過床２０１を有する。

仮想世界のシーン２０２は、床、壁、屋根などのバーチャル建造物の屋内に関するオブジェクト２０３〜２０５と外観等に関するオブジェクトを示すその他オブジェクト２０６が含まれる。よって、ユーザがバーチャル建造物の屋内に入った場合は、壁や屋根だけでなく、ユーザの足元にも床のＣＧが存在することになる。

透明床２０１のオブジェクトは、その属性が透明のオブジェクトであり、仮想世界のシーン２０２より先に検索されるパス上に存在する。オブジェクトの平面の大きさは、ユーザの足元において、仮想世界の画像を透過させ現実世界を表示させたいサイズが設定されている。そして、オブジェクトの平面の高さは、シーンの床と同一の厚さかもしくは多少厚い程度の厚さが設定されている。

例えば、床２０３のオブジェクトの厚さが１０ｍｍのときに、半径１ｍの円の領域について現実画像を表示させたい場合は、透明床２０１のオブジェクトとして高さ１２ｍｍで半径１ｍの円柱を設定する。

このようなシーングラフを有することにより、床２０３よりも透明床が優先的に描画される。よって、画像合成部１０３において、現実画像と透明画像を合成することになり、結果的に、透明床２０１の領域に現実画像が表示されるようになる。

また、透明オブジェクトは、カメラ１３３の水平移動（即ち、ユーザの移動）に追従する。カメラ位置姿勢計測部１０５から出力された位置情報に基づき、透明オブジェクトの水平位置を設定し、高さ（垂直位置）は仮想世界の床面と同一平面上の高さを設定する。このように、仮想世界の床面と同一平面上にして、水平位置だけカメラ１３３の水平移動に追従させることができ、常に透明オブジェクトがユーザの鉛直下方部に配置されることになり、ユーザの足元において現実空間を透過させることができる。仮想世界の床面の高さが変化するときは、透明オブジェクトの高さも連動して変化する。これによって、床面の高さを変化させるようなアプリケーションにおいても、常に仮想の床面が透過される。

透明オブジェクトは仮想床面に位置する床面と同程度の厚みしかないので、透明オブジェクトの鉛直上方向にある仮想物体を透過させて見えなくさせることはない。

なお、グラフィックライブラリによっては自動的に透明オブジェクトの順序を入れ替えて、透明オブジェクトの先にあるオブジェクトを表示しようとするものがある。このようなグラフィックライブラリの場合には順序を入れ替えずにそのまま合成表示するモードを選択するようにする。

ここで、本実施の形態のＭＲシステムを体験する空間について、説明する。図３は、本実施の形態のＭＲシステムを体験することができる空間を示す図である。

図３における空間は、現実世界の床、壁、及び、天井により囲われており、領域３０１にバーチャル建物が表示される。ユーザが領域３０１の外側に位置するとき（例えば、３０２で示す位置）は、バーチャル建造物の外観を見ることができ、領域３０１の内側に位置するとき（例えば、３０３で示す位置）は、バーチャル建造物の内部を見ることができる。

次に、本実施の形態の処理を図４に示すフローチャートに従って、説明する。

まず、ステップＳ１００において、カメラ位置姿勢計測部１０５が、カメラ１３３の位置姿勢（即ち、ユーザの位置及び姿勢）を計測する。

次に、ステップＳ１１０において、仮想世界生成部１０６は、計測された位置姿勢に基づき、バーチャル建造物内である否かを判断する。建造物内であると判断した場合、仮想世界生成部１０６は、透明オブジェクトと建造物の内部のオブジェクトに基づき、仮想空間画像を生成する（ステップＳ１２０）。また、建造物でないと判断した場合、仮想世界生成部１０６は、建造物の外部のオブジェクトに基づき、仮想空間画像を生成する（ステップＳ１３０）。

次に、画像合成部１０３は、ステップＳ１２０又はステップＳ１３０において生成された仮想空間画像と、画像入力部１０２により受信した現実空間の画像とを合成する（ステップＳ１４０）。画像出力部１０４は、合成された画像をＨＭＤ１３２に出力する（ステップＳ１５０）。そして、ＨＭＤ１３２において、画像表示部１３６の右眼用と左眼用のそれぞれの表示部に画像が表示される（ステップＳ１６０）。

ここで、図３、図５〜図８を用いて、本実施の形態における表示結果およびその効果を説明する。

まず、従来のＭＲシステムすなわち透明オブジェクトを配置しない場合を説明する。

図３の３０１は、現実世界におけるバーチャル建造物が表示される床の領域を表している。図５は、現実世界の床の領域３０１に仮想世界の床が重畳され、さらにそこにユーザが立っている様子を表している。この状態からユーザがＨＭＤを通して鉛直下方向を見ると、従来は、図６のように床のＣＧしか見えなくなってしまう。これは床のＣＧが現実空間の画像を覆い隠してしまうためである。このように、足元がＣＧによって隠されてしまうと体験者は不安感を感じることになる。

次に、本実施の形態のＭＲシステム、すなわち透明オブジェクトを配置した場合を説明する。本実施の形態では、透明オブジェクトを仮想世界の床と同一平面上に配置している。よって、ユーザの鉛直下方部には円柱の透明オブジェクトが置かれ、現実世界の画像が透過して見える。図７は、現実世界の床に仮想世界の床および透明オブジェクト５０１を重畳し、さらにそこにユーザが立っている様子を表している。この状態でユーザがＨＭＤを通して鉛直下方向を見ると、図８のように透明オブジェクトの形状だけユーザの足を含む現実空間が透過して見える。したがって、足元がＣＧによって隠されてしまうことにより体験者が不安感を感じることを抑制することができる。

また、この現実世界の画像領域であれば手元も確認することができるので、手元での操作を現実世界の画像を確認しながら行うことができる。よって、ＣＧによって手元が隠れてしまう場合に比べて、手元での操作を簡単に行うことができる。

ここで、足元とは、上述の如くユーザの位置を中心とする所定範囲を指すが、次に述べるようにユーザの位置からユーザの進行方向の所定範囲又は、ユーザの位置から所定の距離だけ離れた所定の範囲を示すものである。

（他の実施の形態−透明オブジェクトの変形例）
上記実施の形態では、透明オブジェクトとして円柱を用いているが、直方体などの他の形状を用いても構わない。

また、ユーザの移動速度に応じて透明オブジェクトが変形するようにしても良い。例えば、透明オブジェクトの形状として図９に示すような楕円柱を用いる（楕円柱を、上から見た状態を示す）。その楕円柱の長径の方向とユーザの進行方向を一致させ（図に示す矢印の方向がユーザの進行方向と一致する）、ユーザの進行方向の指標となるようにする。そして長径／短径は移動速度に比例して変化させ、ユーザに現在の移動速度を伝える指標とする。

また、楕円柱の長径の方向とユーザの視線方向を一致させる（図に示す矢印の方向がユーザの視線方向と一致する）ようにしてもよい。

ここで、図中の破線の円は、ユーザの位置を示している。このように、楕円柱の中心位置から進行方向、または、視線方向へずらすようにしても良い。

更に、円柱、楕円柱の他に、図１０、図１１に示す形状の透明オブジェクトを用いても良い（両図とも、上から見た状態を示す）。

図１０における形状は、ユーザの位置から見て進行方向（又は、視線方向）が拡がっている形状の図形である。このような形状にすることにより、確実に足元を確認することができる。

図１１における形状は、ドーナッツ状の透明オブジェクトであり、ユーザの位置そのものは、仮想の床が描画されるが、その周囲のドーナツ状の範囲は、現実世界の床が描画されることになる。透明オブジェクトをドーナツ形状とすることにより、ユーザの位置の画像を確認することができると共に、ユーザの不安を解消することができる。

また、バーチャル建造物の屋内を体験可能であるＭＲシステムではなく、他の仮想世界を体験するＭＲシステムでも構わない。体験者の足元にＣＧが重畳されるものであれば構わない。

また、透過床の配置位置は、仮想世界の床と大略同一平面上に配置されれば構わない。つまり、カメラの位置姿勢情報および仮想世界の床の配置情報に基づき、動的に設定されれば構わない。例えば、多少、透過床の配置位置が仮想世界の床よりも視点位置に近い位置に設定されても構わない。

また、透明オブジェクトの境界においてαブレンディングを制御することにより、透明オブジェクトと床オブジェクトの境界がぼけるような処理を追加しても構わない。

また、前述した実施例の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能（例えば、画像合成部１０３および仮想世界生成部１０６の機能）を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

この場合、前記ソフトウエアのプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施例の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

実施の形態のシステムの構成を示した図である。実施の形態における仮想世界のシーングラフを表した図である。実施の形態におけるＭＲシステムを体験することができる空間を表した図である。実施の形態の処理動作を示すフローチャートである。複合現実空間上にユーザが立っている様子を表した図である。複合現実空間上のユーザが鉛直下方部を見たときの図である。透明オブジェクトを配置した複合現実空間上にユーザが立っている様子を表した図である。透明オブジェクトを配置した複合現実空間上のユーザが鉛直下方部を見た図である。透明オブジェクトの他の形状を示す図である。透明オブジェクトの他の形状を示す図である。透明オブジェクトの他の形状を示す図である。

符号の説明

１０１システム制御部
１０２画像入力部
１０３画像合成部
１０４画像出力部
１０５カメラ位置姿勢計測部
１０６仮想世界生成部
１３２ＨＭＤ
１３３カメラ
１３４画像出力部
１３５画像入力部
１３６画像表示部

Claims

仮想世界の画像を生成し、現実空間に前記仮想世界の画像が合成された画像をユーザに提示する情報処理装置が行う情報処理方法であって、
前記情報処理装置が有する取得手段が、ユーザの位置姿勢を取得する取得工程と、
前記情報処理装置が有する生成手段が、前記ユーザの位置姿勢と仮想世界のＣＧデータから、前記ユーザの位置姿勢に応じた仮想世界の画像を生成する生成工程とを有し、
前記生成工程は、前記ユーザの足元に対しては現実空間画像が表示されるように前記仮想世界の画像を生成し、
前記仮想世界のＣＧデータには、ユーザの足元に描画するための透明オブジェクトが含まれ、
前記情報処理方法は、
前記情報処理装置が有する設定手段が、前記透明オブジェクトの位置を、前記位置姿勢に応じて設定する設定工程を更に有し、
前記設定工程により設定された前記透明オブジェクトが前記仮想世界の画像を透明にすることで現実空間画像が表示されることを特徴とする情報処理方法。
前記仮想世界はバーチャル建造物の屋内であり、
前記仮想世界のＣＧデータは床オブジェクトを含み、
前記設定工程は、前記透明オブジェクトの位置姿勢を前記床オブジェクトと同一平面上に位置するように設定することを特徴とする請求項１に記載の情報処理方法。
前記設定工程は、床オブジェクトの鉛直方向の位置に応じて、透明オブジェクトの鉛直方向の位置を設定することを特徴とする請求項１に記載の情報処理方法。
ユーザの水平方向の移動に応じて、透明オブジェクトを水平移動させることにより、常にユーザの鉛直下方向に前記透明オブジェクトを配置することを特徴とする請求項１に記載の情報処理方法。
ユーザの位置の移動に応じて、前記透明オブジェクトの大きさが変化することを特徴とする請求項１に記載の情報処理方法。
ユーザの位置に応じて、ユーザの位置の前方と後方とで前記透明オブジェクトの大きさが異なることを特徴とする請求項１に記載の情報処理方法。
請求項１乃至６のいずれか１項に記載の情報処理方法をコンピュータにて実現するためのプログラム。
仮想世界の画像を生成し、現実空間に前記仮想世界の画像が合成された画像をユーザに提示する情報処理装置であって、
ユーザの位置姿勢を取得する取得手段と、
前記ユーザの位置姿勢と仮想世界のＣＧデータから、前記ユーザの位置姿勢に応じた仮想世界の画像を生成する生成手段とを有し、
前記生成手段は、前記ユーザの足元に対しては現実空間画像が表示されるように前記仮想世界の画像を生成し、
前記仮想世界のＣＧデータには、ユーザの足元に描画するための透明オブジェクトが含まれ、
前記情報処理装置は、
前記透明オブジェクトの位置を、前記位置姿勢に応じて設定する設定手段を更に有し、
前記設定手段により設定された前記透明オブジェクトが前記仮想世界の画像を透明にすることで現実空間画像が表示されることを特徴とする情報処理装置。