JP2006146584A - 画像提示方法及び情報処理装置 - Google Patents

Abstract

【課題】操作デバイスと仮想物体とを関連付けた際に、両者の位置姿勢の関係が適切になるように仮想物体を配置可能とし、より自然な仮想物体の操作を実現する。
【解決手段】検出された観察者の位置、姿勢に基づいて、該観察者が観察する現実空間に仮想物体を描画するにおいて、現実空間に実在する操作用デバイスの位置、姿勢を検出する。ＣＧ配置特徴抽出部４１０は、仮想物体と操作用デバイスの位置、姿勢を算出し、配置条件算出部４１２は配置ルール４０８で設定されている各条件の成立、不成立を算出する。配置条件算出部４１２の算出結果に基づいて配置判断部４０９が仮想物体と操作用デバイスとを関連付けるか否かを判定し、関連付けると判定した場合には、仮想物体と操作用デバイスとの間の位置姿勢の関係が配置ルール４０８に規定された関係となるように、仮想物体の位置姿勢を決定する。座標変換部４１３はこの決定に従って仮想物体の座標を変換し、ＣＧレンダリング部４０７が座標変換後の仮想物体を描画する。
【選択図】 図３

Description

本発明は複合現実感システムにおける仮想物体の提示制御に関する。

複合現実感システムとは、現実空間映像と、ユーザの視点位置及び視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である。

複合現実空間内のＣＧ（コンピュータグラフィックス）物体を操作する方法として、現実空間内での位置及び姿勢の６自由度を計測あるいは推定するシステム（ここでは６自由度センサと呼ぶ）を用いて、計測或いは推定された６自由度をＣＧ物体座標系に対応付ける方法がある。このような、計測を実現する６自由度センサとしては、例えばPolhemus社のFastrakシステムを用いることができる。Fastrakシステムは、数センチ角ほどの大きさのレシーバの位置及び姿勢の６自由度を計測できる。この計測値をＣＧ物体の物体座標系に対応付けることにより、当該レシーバの移動や回転につれてＣＧ物体が移動、回転することになる。

このレシーバを操作デバイスに取り付けることにより、操作デバイスによってＣＧ物体を移動する等の操作が可能になる。例えば、指示棒のような操作デバイスにＣＧ物体を関連付けることにより、ＣＧ物体を移動させることができる。
特開２００４−６２７５８号公報

しかしながら、従来はＣＧ物体と操作デバイスを関連付ける際には、ＣＧ物体の姿勢は関連付けが行なわれた時点の状態が維持される。このため、例えば、ＣＧ物体をトレイ状の操作デバイスに載せて移動させようとした場合、当該トレイの上でも関連付けした時点のＣＧ物体の姿勢が保たれることになる。従って、例えば、ペンたてに入れてあったペンをトレイに載せても、トレイの上でペンが起立したままとなってしまう。このため、ＣＧ物体を現実の物体のように操作、観察することが困難であった。

本発明は上記の課題に鑑みてなされたものであり、操作デバイスと仮想物体とを関連付けた際に、両者の位置姿勢の関係が適切になるように仮想物体を配置可能とし、より自然な仮想物体の操作を実現することを目的とする。

上記の目的を達成するための本発明による画像提示方法は、
検出された観察者の位置、姿勢に基づいて、該観察者が観察する現実空間に仮想物体を描画する画像提示方法であって、
現実空間に実在する操作用デバイスの位置、姿勢を検出する検出工程と、
仮想物体と前記操作用デバイスの位置、姿勢に基づいて、該仮想物体と該操作用デバイスとを関連付けるか否かを判定する判定工程と、
前記判定工程で関連付けると判定された場合に、前記仮想物体と前記操作用デバイスとの間の位置姿勢の関係が予め設定された関係となるように、前記検出工程で検出された位置姿勢に対して該仮想物体の位置姿勢を決定する決定工程と、
前記決定工程で決定された位置姿勢でもって前記仮想物体を描画する描画工程とを備える。

また、上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
検出された観察者の位置、姿勢に基づいて、該観察者が観察する現実空間に仮想物体を描画する情報処理装置であって、
現実空間に実在する操作用デバイスの位置、姿勢を検出する検出手段と、
仮想物体と前記操作用デバイスの位置、姿勢に基づいて、該仮想物体と該操作用デバイスとを関連付けるか否かを判定する判定手段と、
前記判定手段で関連付けると判定された場合に、前記仮想物体と前記操作用デバイスとの間の位置姿勢の関係が予め設定された関係となるように、前記検出手段で検出された位置姿勢に対して該仮想物体の位置姿勢を決定する決定手段と、
前記決定手段で決定された位置姿勢でもって前記仮想物体を描画する描画手段とを備える。

本発明によれば、操作デバイスと仮想物体とを関連付けた際に、両者の位置姿勢の関係が適切になるように仮想物体が配置されるので、より自然な仮想物体の操作を実現することを目的とする。

以下の実施形態では、下敷き状の操作デバイスに６自由度センサを取り付けることにより、ＣＧ物体をあたかも下敷きの上に載せているかのように操作、観察することを可能にする例を説明する。またねじ回し状の操作デバイスに６自由度センサを取り付けることにより、ＣＧのねじを操作することを可能とする例を説明する。

なお、操作デバイスそのものが下敷き状であったり、ねじ回し状である必要は、必ずしもない。例えば単なるレシーバをそのまま操作デバイスとして用い、下敷き状のものはＣＧで表示すれば、操作者は下敷き状の操作デバイスとして使用できる。またねじ回しのグリップの部分だけの操作デバイスに軸の部分をＣＧで表示させれば、操作者にとってはねじ回し状の操作デバイスとして使用できる（図５（ａ）により後述する）。以下、操作者が操作していると考えているもの−下敷き状の操作デバイスやねじ回し状の操作デバイス−を操作アイテムと呼ぶ。すなわち、操作アイテムは実体としての操作デバイスと視覚的に不足している部分を補うＣＧとからなるように構成してもよい。

また、以下の実施形態では、所望のタイミングでＣＧ物体を操作アイテムに関連付けたり、その関連を解いたりすることを可能とし、さらに現実味を帯びた体験を実現可能にしている。例えば、棚に入れてあるりんごのＣＧを下敷き状の操作アイテムに関連付けることにより、りんごを下敷きの上に載せているかのように移動させることができ、さらに机の上でりんごのＣＧと下敷き状の操作アイテムとの関連を解くことにより、机の上にりんごを置く−すなわち、下敷きを用いてりんごを棚から机まで移動する−ことが実現できる。また部品トレイに載っているねじのＣＧをねじ回し状の操作アイテムに関連付けることにより、ねじをねじ穴まで移動させることができ、さらにそこで関連を解くことにより、部品トレイに載っているねじをねじ穴に入れる（ねじ締め）という動作を実現できる。

以下、添付の図面を参照して本発明の好適な実施形態について詳細に説明する。

図１は本実施形態による仮想現実感提示システムの構成例を示す図である。１００は、頭部装着型映像入出力装置（頭部装着型ディスプレイ、ＨＭＤ：Head Mounted Displayなどと呼ばれるものであり、以下、ＨＭＤと記載する）である。観察者はＨＭＤ１００を頭部に装着することにより、現実空間と仮想空間を合成した映像を観察することができる。磁気トランスミッタ２００は磁場を発生させ、磁気レシーバ２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測する。位置・姿勢計測装置２０５は、磁気トランスミッタ２００を制御するとともに、磁気レシーバ２０１、２０２からの計測結果に基づいて各磁気レシーバの位置・姿勢を計測する。ＨＭＤ１００には、磁気レシーバ２０１が取り付けられており、観察者の視点位置、視線方向を算出する。

操作デバイス３００は観察者が操作可能な操作アイテムを形成するために用いられるものであり、磁気レシーバ２０２が組み込まれている。磁気レシーバ２０２の計測結果に基づいて、位置・姿勢計測装置２０５は、操作デバイス３００の位置・姿勢、すなわち操作アイテムの位置・姿勢を算出することができる。ここでは操作デバイス３００には下敷き状の部分が設けられており、ＣＧによる補充を行なうことなく操作アイテムが形成されているものとする。ＨＭＤ１００には、映像表示装置１０１、映像入力装置１０２が、それぞれ右目、左目用に１セットづつ、計２セット組み込まれている。

情報処理装置４００は、位置・姿勢計測装置２０５により算出された位置・姿勢情報に基づいてＣＧ映像を生成し、これをＨＭＤ１００の映像入力装置１０２より入力した映像に重畳して合成映像を生成し、得られた合成映像を映像表示装置１０１に向けて出力する。

なお、本実施形態において、６自由度センサとは磁気レシーバ２０１、２０２を指し、６自由度センサシステムとは、磁気トランスミッタ２００、磁気レシーバ２０１、２０２、位置・姿勢計測装置２０５、および情報処理装置４００内部で動作し磁気レシーバ２０１及び２０２の位置及び姿勢を得るための不図示のソフトウェア一式を指す。また６自由度センサを区別するため、磁気レシーバ２０１を視点検出用６自由度センサ、磁気レシーバ２０２を物体操作用６自由度センサと呼ぶことにする。

次に、本実施形態のＨＭＤ１００の具体的な構成について図２を参照して説明する。図１にも示されている映像表示装置１０１は、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。自由曲面プリズム１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先の９０インチ相当の映像として提示されることになる。

図１にも示されている映像入力装置１０２は、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。撮像系プリズム１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目を果たす。この撮像系プリズム１０４を自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能となる。

次に、図１における情報処理装置４００の具体的な構成について、図３を参照して説明する。なお、情報処理装置４００は一般的なパーソナルコンピュータやワークステーションにより実現可能であり、図３に示される各部の機能は不図示のＣＰＵが所定の制御プログラムを実行することにより実現されるものである。

映像キャプチャ部４０１Ｒ，Ｌは、映像入力装置１０２より入力した映像データを処理装置内にデジタル信号として取り込む。位置・姿勢情報入力部４０４は位置・姿勢計測装置２０５より送られるＨＭＤ１００と物体操作デバイス３００の位置・姿勢のデータを情報処理装置４００内に取り込む。位置・姿勢算出部４０５は位置・姿勢入力部４０４からのデータをもとに、ＨＭＤ１００と物体操作デバイス３００の位置を算出する。この算出結果は３ＤＣＧデータ４０６に反映される。なお、３ＤＣＧデータ４０６は例えば情報処理装置４００が有するハードディスク或いはＲＡＭ等に格納される。３ＤＣＧデータ４０６には、物体操作デバイス３００によって直接操作される操作アイテムの３ＤＣＧデータ、及び当該操作アイテムによって操作を行おうとするＣＧ物体の３ＤＣＧデータが含まれる。更に３ＤＣＧデータ４０６は、操作アイテムの世界座標系での位置・姿勢、ＨＭＤ１００の位置・姿勢等のＣＧ描画に必要なデータも含んでいる。ＣＧレンダリング部４０７は、３ＤＣＧデータ４０６に基づいて、ＣＧデータを描画すべき位置、大きさ、角度（パース）などを計算し、ＣＧ物体等の３ＤＣＧデータをレンダリングする。

映像合成部４０２Ｒ，Ｌは、映像キャプチャ部４０１Ｒ，Ｌからの映像データと、ＣＧレンダリング部４０７でレンダリングされたＣＧを合成し、右目用、左目用の合成画像を生成する。映像生成部４０３Ｒ，Ｌは、映像合成部４０２Ｒ，Ｌで生成された右目用、左目用の合成画像を映像信号として映像表示装置１０１へ送る。

配置ルール４０８は、ＣＧ物体の操作アイテムに対する固定・解放を、「どのタイミングで」「どのように」実行するのかを定めた情報である。配置ルール４０８は例えば情報処理装置４００内のハードディスクやＲＡＭ等に格納される。配置判断部４０９は、配置ルール４０８に従って、ＣＧ物体の配置の判断を行う。配置判断部４０９による判断結果は座標変換部４１３に渡される。座標変換部４１３は、配置判断部４０９の判断結果、即ち配置ルール４０８に基づいて３ＤＣＧデータ４０６に対して変更を行う。

配置ルールの条件には、様々な条件が記述される。配置条件算出部４１２はそれらの条件を満足するか否かを計算する。配置条件算出部４１２は、条件に応じてシステムに１つ以上存在する。配置条件算出部４１２の結果が配置判断部４０９に渡される。配置条件算出部４１２の入力としては、ＣＧ物体の特徴を用いる場合とそれ以外の場合とがある。ＣＧ物体の特徴を用いる場合は、ＣＧ配置特徴抽出部４１０を用い、それ以外の場合は配置特徴抽出部４１１を用いる。

ＣＧ配置特徴抽出部４１０は３ＤＣＧデータから特定の特徴を抽出する。なお、複雑な特徴の場合は他のＣＧ配置特徴抽出部４１０の出力も入力として用いることがある。例えば、所定形状の部品を扱う場合に、当該部品のサイズが必要な場合がある。そこで、「当該部品のサイズ」を算出するＣＧ配置特徴抽出部が必要となる。その部品のサイズがプロパティになっていればそれを読み出すだけで済むが、そうではない場合、面情報からサイズを取得する必要があり、その処理の全て或いはいくつかのステップをまとめて、ＣＧ配置特徴抽出部とすることになる。ＣＧ配置特徴抽出部４１０は配置ルール４０８で宣言されている特徴（例えば、ＣＧ物体に対して設定された複数の面の各々の位置姿勢）によりシステムに１つ以上存在する。本実施形態では、ＣＧ配置特徴抽出部４１０は、ＣＧ物体のバウンディングボックスの各面の位置、姿勢を算出するとともに、操作デバイス３００の下敷き状の面の位置、姿勢も算出する。もちろん、操作アイテムの下敷き状の面はＣＧで補充されていてもよく、その場合は３ＤＣＧデータと操作デバイス３００の位置姿勢情報から面の位置姿勢が算出されることになる。配置特徴抽出部４１１は例えば押しボタンが押されたかどうかといった外部デバイスからの入力や、映像キャプチャ部４０１で取得した映像に対して画像処理を施した結果といったような情報処理装置４００の内部状態を入力とするような場合に用いる。配置特徴抽出部４１１は配置ルール４０８の条件により、システムに存在しない場合、１つ存在する場合、あるいは複数存在する場合がある。なお、映像キャプチャ部４０１で取得した映像に対して画像処理を施した結果といったような情報処理装置４００の内部状態を入力とするような場合とは、例えば、以下のような場合である。ＺＩＦソケット（Zero Insertion Force Socket;ＩＣソケットの一種で、ＲＯＭライター等の抜き差しが多い機器、最近の多ピンＣＰＵ／ＭＰＵ等の抜き差しに力のかかるもの、力に弱く破損してしまうものを扱う場合に使われる）にＩＣを抜き差しするような場合、レバーがリリース状態でなければＩＣの抜き差しはできまない。従って、ＩＣをＣＧ、ＺＩＦソケットを実物体とする場合、ＺＩＦソケットのレバーがリリース状態なのかロック状態なのかを画像処理によって求め、この結果を用いてＣＧのＩＣの抜き差しの可否を決定する。

上記構成によるシステムの処理の流れを、図４を使って説明する。磁気トランスミッタ２００と磁気レシーバ２０２のデータを使って、位置・姿勢計測装置２０５は物体操作デバイス３００の現実空間中における位置・姿勢を計測する（ステップＳ２０１０）。同様に、磁気トランスミッタ２００と磁気レシーバ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（Ｓ２０２０）。計測により得られたデータは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５において各ＣＧオブジェクトがどのような位置および姿勢で描画されるかが計算され、その結果が３ＤＣＧデータ４０６に反映される（Ｓ２０３０）。

これらの処理と並行して、配置ルールに応じた処理を行い、３ＤＣＧデータに反映させる。ここでは例として、下敷き状の操作アイテム（操作デバイス３００）を用いて、これをＣＧ物体に近づけた状態で当該操作デバイス３００に設けられた押しボタン（不図示）を押すことにより、該ＣＧ物体が下敷きの面にぴったりと載るようにすることを考える。まず、以下で説明する処理に使用される面を説明する。
・下敷き面１：下敷き状操作アイテムの表の面
・下敷き面２：下敷き状操作アイテムの裏の面
・物体面１〜６：ＣＧ物体の物体座標系における６面体のバウンディングボックスを構成する各面。

本実施形態では、配置ルール４０８が例えば以下のように設定されているとする（∧は論理積を、¬は否定を表す）。
条件１：押しボタンが押された。
条件２：ＣＧ物体の物体座標系が世界座標系内に静止している。
条件３：下敷き面１と物体面１の同一度が他の組み合わせの同一度より高い。
条件４：下敷き面１と物体面２の同一度が他の組み合わせの同一度より高い。
条件５：下敷き面１と物体面３の同一度が他の組み合わせの同一度より高い。
条件６：下敷き面１と物体面４の同一度が他の組み合わせの同一度より高い。
条件７：下敷き面１と物体面５の同一度が他の組み合わせの同一度より高い。
条件８：下敷き面１と物体面６の同一度が他の組み合わせの同一度より高い。
条件９：下敷き面２と物体面１の同一度が他の組み合わせの同一度より高い。
条件１０：下敷き面２と物体面２の同一度が他の組み合わせの同一度より高い。
条件１１：下敷き面２と物体面３の同一度が他の組み合わせの同一度より高い。
条件１２：下敷き面２と物体面４の同一度が他の組み合わせの同一度より高い。
条件１３：下敷き面２と物体面５の同一度が他の組み合わせの同一度より高い。
条件１４：下敷き面２と物体面６の同一度が他の組み合わせの同一度より高い。
指示１：ＣＧ物体の物体座標系を操作アイテムの物体座標系内に静止。
指示２：ＣＧ物体の物体座標系を世界座標系内に静止。
指示３：物体面１を下敷き面１上に移動・回転。
指示４：物体面２を下敷き面１上に移動・回転。
指示５：物体面３を下敷き面１上に移動・回転。
指示６：物体面４を下敷き面１上に移動・回転。
指示７：物体面５を下敷き面１上に移動・回転。
指示８：物体面６を下敷き面１上に移動・回転。
指示９：物体面１を下敷き面２上に移動・回転。
指示１０：物体面２を下敷き面２上に移動・回転。
指示１１：物体面３を下敷き面２上に移動・回転。
指示１２：物体面４を下敷き面２上に移動・回転。
指示１３：物体面５を下敷き面２上に移動・回転。
指示１４：物体面６を下敷き面２上に移動・回転。
（条件１）∧（条件２）∧（条件３）⇒（指示１）∧（指示３）。
（条件１）∧（条件２）∧（条件４）⇒（指示１）∧（指示４）。
（条件１）∧（条件２）∧（条件５）⇒（指示１）∧（指示５）。
（条件１）∧（条件２）∧（条件６）⇒（指示１）∧（指示６）。
（条件１）∧（条件２）∧（条件７）⇒（指示１）∧（指示７）。
（条件１）∧（条件２）∧（条件８）⇒（指示１）∧（指示８）。
（条件１）∧（条件２）∧（条件９）⇒（指示１）∧（指示９）。
（条件１）∧（条件２）∧（条件１０）⇒（指示１）∧（指示１０）。
（条件１）∧（条件２）∧（条件１１）⇒（指示１）∧（指示１１）。
（条件１）∧（条件２）∧（条件１２）⇒（指示１）∧（指示１２）。
（条件１）∧（条件２）∧（条件１３）⇒（指示１）∧（指示１３）。
（条件１）∧（条件２）∧（条件１４）⇒（指示１）∧（指示１４）。
（条件１）∧¬（条件２）∧（条件３）⇒（指示２）∧（指示３）。
（条件１）∧¬（条件２）∧（条件４）⇒（指示２）∧（指示４）。
（条件１）∧¬（条件２）∧（条件５）⇒（指示２）∧（指示５）。
（条件１）∧¬（条件２）∧（条件６）⇒（指示２）∧（指示６）。
（条件１）∧¬（条件２）∧（条件７）⇒（指示２）∧（指示７）。
（条件１）∧¬（条件２）∧（条件８）⇒（指示２）∧（指示８）。
（条件１）∧¬（条件２）∧（条件９）⇒（指示２）∧（指示９）。
（条件１）∧¬（条件２）∧（条件１０）⇒（指示２）∧（指示１０）。
（条件１）∧¬（条件２）∧（条件１１）⇒（指示２）∧（指示１１）。
（条件１）∧¬（条件２）∧（条件１２）⇒（指示２）∧（指示１２）。
（条件１）∧¬（条件２）∧（条件１３）⇒（指示２）∧（指示１３）。
（条件１）∧¬（条件２）∧（条件１４）⇒（指示２）∧（指示１４）。

ここで面Ａと面Ｂの同一度は、本実施形態ではたとえば以下のように定義される。
・面Ａの法線ベクトルと面Ｂの法線ベクトルの内積≧０の場合⇒同一度を０とする、
・上記以外の場合⇒面Ａと面Ｂの距離の逆数を同一度する。
なお、面Ａと面Ｂの距離とは、例えば面Ａと面Ｂの重心間の距離を用いればよい。

以下、前提条件として条件２が成立している、すなわちＣＧ物体の物体座標系が世界座標系内に静止している場合を例にとって説明する。

ＣＧ配置特徴抽出部では３ＤＣＧデータ４０６からＣＧ配置特徴の抽出を行う（Ｓ３０１０）。具体的にはＣＧ物体の物体座標系と世界座標系との関係、下敷き面１、下敷き面２、物体面１、物体面２、物体面３、物体面４、物体面５、物体面６の抽出である。また配置特徴抽出部４１１では操作アイテムの押しボタンがされたか否かという配置特徴の抽出を行う（Ｓ３０２０）。ＣＧ配置特徴抽出部４１０、配置特徴抽出部４１１で抽出された特徴は配置条件算出部４１２によって、条件１の成否、条件２の成否、…、条件１４の成否というように配置条件の値（成否を表す）が算出される（Ｓ３０３０）。これら配置条件の値を元に配置判断部４０９では配置判断を行う（Ｓ３０４０）。その結果、例えば（条件１）∧（条件２）∧（条件３）が成立した場合は、上記のように（指示１）∧（指示３）という指示が配置判断部４０９から座標変換部４１３に送られる。そして、３ＤＣＧデータ４０６に対して、指示１、指示３が実行される（Ｓ３０５０）。こうして、ＣＧ物体に設定された物体面１と操作アイテムに設定された下敷き面１とを近づけた状態で押しボタンが押されると、座標変換部４１３は、物体面１と下敷き面１の位置及びそれらの法線方向が一致するように（より厳密には、それらの法線が正反対の向き（法線ベクトルの内積が−１）となるように）ＣＧ物体を移動、回転し、その状態で当該ＣＧ物体の物体座標系を操作アイテムの物体座標系に内に静止させることにより、両者の関連付けを行なう。

さらに上記の動作と並行して、ＨＭＤ１００の映像入力装置１０１より現実空間の映像が映像キャプチャ部４０１を通して情報処理装置４００に取り込まれる（Ｓ４０１０）。ＣＧレンダリング部４０７では３ＤＣＧデータ４０６を使ってＣＧを描画し、ビデオバッファなどのメモリに展開する（Ｓ２０４０）。この結果、ＣＧ物体の物体面１と操作アイテムの下敷き面１（表面）とが一致するようにＣＧ物体が描画される。一方Ｓ４０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開し（Ｓ４０２０）、映像合成部４０２において上記Ｓ２０４０で生成したＣＧ映像を重畳する（Ｓ５０１０）。合成された映像は、映像生成部４０３を経由して、ＨＭＤ１００の映像表示装置１０１に表示される（Ｓ５０２０）。

上記Ｓ２０１０、Ｓ２０２０、Ｓ２０３０、Ｓ２０４０、Ｓ４０１０、Ｓ４０２０、Ｓ５０１０、Ｓ５０２０の処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。

なお、上記配置ルールの変更により、例えばトレイの面とＣＧオブジェクトのバウンディングボックスの上面とがいくら近づいても関連付けが実行されないようにしたりするなど、所望の設定を行なうことができる。また、配置ルールとして記述可能としたことにより、そのような設定、変更を容易に行なうことができる。また、６面体で構成されるバウンディングボックスを用いたが、６面体に限らず、任意の多面体を用いることが可能である。なお、上記では、操作アイテムの面とＣＧ物体の面との関連付けにおいて、選択された面と面を一致させることにより両者の姿勢の関係が決定される点を説明した。ここで、操作アイテムの面上のどの位置にＣＧ物体を配置するかは、配置ルールによって決定される。上記実施形態（下敷きの上にＣＧ物体を載せる）において、下敷き面１側にＣＧ物体が配置される場合は、例えば（ａ）ＣＧ物体の重心から下敷き面１に下ろした垂線の足が、下敷き面１の中心点と一致するようにする、（ｂ）ＣＧ物体の重心から下敷き面１に下ろした垂線の足の位置は配置後も変化しない、といったような方法が考えられる。また、以下に説明するねじ回しとねじのような場合は、配置位置は１箇所が指定されている。

次に、操作アイテムとしてねじ回し状のものと、ＣＧ物体としてねじ状のＣＧとを用いて、ねじ締めの仮想体験を可能とするＭＲの提示を説明する。なお、以下では、ねじのＣＧが３つあり、そのうちの１つを使ってねじ締めを行う仮想体験の場合を例に挙げて説明する。

図５の（ａ）において、物体操作デバイス５０１はねじ回しの「にぎり」の部分のみであり、内部に磁気センサ２０２が内蔵されている。また、物体操作デバイス５０１には押しボタン５０２が装備されている。観察者から見るとこの物体操作デバイス５０１に「軸５０３」がＣＧで表示され、ねじ回しの操作アイテムとして扱える。

まず本例における用語の定義を行う。図５の（ｂ）に示されるように、「ねじ」のＣＧは３つあるものとし、「ねじ１」「ねじ２」「ねじ３」としてそれらを区別する。「ねじ回しの軸」とは操作アイテムのＣＧの「軸５０３」、「ねじ回しの先」とはねじ回しの軸５０３の先端５０４、「ねじ頭」とはねじのＣＧ５１０の頭５１１のことであり、「ねじ回しとねじの距離」とはねじ回しの先とねじ頭の間の距離５２３である。さらに「ねじ回しの向き」とはねじ回しの軸５０３に沿って操作デバイス側からねじ回しの先の方に向かう向き５２１、「ねじの向き」とはねじのＣＧの軸に沿ってねじ頭から反対側へ向かう向き５２２である。

本例の配置ルールは例えば以下のように設定されているとする。
条件１：押しボタンが押されている。
条件２：ねじ１の物体座標系は世界座標系内に静止している。、
条件３：ねじ２の物体座標系は世界座標系内に静止している。
条件４：ねじ３の物体座標系は世界座標系内に静止している。
条件５：（条件２）∧（条件３）∧（条件４）。
条件６：ねじ回しとねじ１の距離＜一定値。
条件７：ねじ回しとねじ２の距離＜一定値。
条件８：ねじ回しとねじ３の距離＜一定値。
条件９：ねじ回しとねじ１の距離＜ねじ回しとねじ２の距離。
条件１０：ねじ回しとねじ２の距離＜ねじ回しとねじ３の距離。
条件１１：ねじ回しとねじ３の距離＜ねじ回しとねじ１の距離。
条件１２：（条件６）∧（条件９）∧¬（条件１１）。
条件１３：（条件７）∧¬（条件９）∧（条件１０）。
条件１４：（条件８）∧¬（条件１０）∧（条件１１）。
指示１：ねじ１の物体座標系を操作アイテムの物体座標系内に静止。
指示２：ねじ１の物体座標系を世界座標系内に静止。
指示３：ねじ２の物体座標系を操作アイテムの物体座標系内に静止。
指示４：ねじ２の物体座標系を世界座標系内に静止。
指示５：ねじ３の物体座標系を操作アイテムの物体座標系内に静止。
指示６：ねじ３の物体座標系を世界座標系内に静止。
指示７：ねじ１の向きをねじ回しの向きと一致するように回転。
指示８：ねじ２の向きをねじ回しの向きと一致するように回転。
指示９：ねじ３の向きをねじ回しの向きと一致するように回転。
指示１０：ねじ１のねじ頭をねじ回しの先に一致するように移動。
指示１１：ねじ２のねじ頭をねじ回しの先に一致するように移動。
指示１２：ねじ３のねじ頭をねじ回しの先に一致するように移動。
（条件１）∧（条件５）∧（条件１２）⇒（指示１）∧（指示７）∧（指示１０）。
（条件１）∧（条件５）∧（条件１３）⇒（指示３）∧（指示８）∧（指示１１）。
（条件１）∧（条件５）∧（条件１４）⇒（指示５）∧（指示９）∧（指示１２）。
¬（条件１）⇒（指示２）∧（指示４）∧（指示６）。

上記のような配置ルールを用いると、図６（ａ）に示すように、操作者はねじ回しの先端５０４をねじの近くに持っていき、押しボタン５０２を押すと、図６（ｂ）に示すように、先端５０４にねじ頭５１１が最も近い位置にあるねじが、指示１０〜１２の実行によりねじ回しの先端５０４にくっつく。このとき、指示７〜９のいずれかの実行により、くっついたねじの向き５２２がねじ回しの向き５２１と一致するようにＣＧが回転する。その後、押しボタン５０２を押したまま、ねじを締める場所に持っていき、押しボタンを離すことで一連のねじ締め作業の仮想体験ができる（図６の（ｃ）、（ｄ））。

以上のように、上記実施形態によれば、ＣＧ物体を下敷き状の操作アイテム上にあたかも現実物体が載っているかのように置いたり、ねじ回し状の操作アイテムにあたかも本物のねじのようにねじのＣＧを配置したりすることができるという効果があり、現実世界であれば起こりうることを事前に体験すること（仮想体験）が可能となる。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

実施形態によるシステムの構成例を示す図である。 頭部装着型映像入出力装置の具体的構成を示す図である。 実施形態による情報処理装置の具体的構成を示す図である。 実施形態による画像提示処理の流れを示す図である。 実施形態による操作アイテム及び操作対象に関わる用語を説明する図である。 実施形態による仮想体験を説明する図である。

Claims (11)

1. 検出された観察者の位置、姿勢に基づいて、該観察者が観察する現実空間に仮想物体を描画する画像提示方法であって、
   現実空間に実在する操作用デバイスの位置、姿勢を検出する検出工程と、
   仮想物体と前記操作用デバイスの位置、姿勢に基づいて、該仮想物体と該操作用デバイスとを関連付けるか否かを判定する判定工程と、
   前記判定工程で関連付けると判定された場合に、前記仮想物体と前記操作用デバイスとの間の位置姿勢の関係が予め設定された関係となるように、前記検出工程で検出された位置姿勢に対して該仮想物体の位置姿勢を決定する決定工程と、
   前記決定工程で決定された位置姿勢でもって前記仮想物体を描画する描画工程とを備えることを特徴とする画像提示方法。
2. 前記決定工程は、前記仮想物体に関して設定された面と、前記操作用デバイスに関して設定された面とを一致させるように該仮想物体と該操作用デバイスの位置姿勢の関係を決定することを特徴とする請求項１に記載の画像提示方法。
3. 前記決定工程は、前記仮想物体と前記操作用デバイスとの位置姿勢関係に基づいて、該仮想物体に設定された複数の面と、該操作用デバイスに設定された複数の面のいずれを一致させかを決定することを特徴とする請求項２に記載の画像提示方法。
4. 前記判定工程は、前記仮想物体に設定された複数の面と前記操作用デバイスに設定された複数の面との位置姿勢関係に基づいて該仮想物体と該操作用デバイスとを関連付けるか否かを判定することを特徴とする請求項１に記載の画像提示方法。
5. 前記決定工程は、前記仮想物体に関して設定された軸の方向と、前記操作用デバイスに関して設定された軸の方向とを一致させるように該仮想物体と該操作用デバイスの位置姿勢を決定することを特徴とする請求項１に記載の画像提示方法。
6. 前記決定工程は、前記仮想物体の所定の部位と前記操作用デバイスの所定の部位が一致するように位置関係を決定することを特徴とする請求項５に記載の画像提示方法。
7. 前記操作用デバイスは、一部が現実物体で構成され、残りの部分がＣＧによって構成されていることを特徴とする請求項１乃至５のいずれかに記載の画像提示方法。
8. 前記仮想物体と前記操作用デバイスを関連付ける際の両者の位置姿勢の関係を規定するルールの記述を記憶する記憶手段を用意し、
   前記判定工程は、前記仮想物体と前記操作用デバイスとの間の位置姿勢の関係が前記記憶手段に記憶されたルールの記述によって規定された関係となるように、該操作用デバイスの位置姿勢に対して該仮想物体の位置姿勢を決定することを特徴とする請求項１に記載の画像提示方法。
9. 検出された観察者の位置、姿勢に基づいて、該観察者が観察する現実空間に仮想物体を描画する情報処理装置であって、
   現実空間に実在する操作用デバイスの位置、姿勢を検出する検出手段と、
   仮想物体と前記操作用デバイスの位置、姿勢に基づいて、該仮想物体と該操作用デバイスとを関連付けるか否かを判定する判定手段と、
   前記判定手段で関連付けると判定された場合に、前記仮想物体と前記操作用デバイスとの間の位置姿勢の関係が予め設定された関係となるように、前記検出手段で検出された位置姿勢に対して該仮想物体の位置姿勢を決定する決定手段と、
   前記決定手段で決定された位置姿勢でもって前記仮想物体を描画する描画手段とを備えることを特徴とする情報処理装置。
10. 請求項１乃至８のいずれかに記載の画像提示方法をコンピュータに実行させるための制御プログラム。
11. 請求項１乃至８のいずれかに記載の画像提示方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。

Images