JP2013218535A - 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置 - Google Patents

Abstract

【課題】三次元モデリングされたＣＧ画像による仮想空間の中で、現実空間の手や指の動きを正確に表現できる方法及び装置を提供する。更には、その三次元モデリングされたＣＧ画像を鮮明に表示する為の広視野角ヘッドマウントディスプレイ装置を提供する。
【解決手段】三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する際、背景や各指の干渉が少ない手袋を用い、予め計測されたデータベースと同手袋の形状を照合することで、現実空間の手や指の動きを正確に表現する。
【選択図】図１

Description

本発明は、仮想空間で三次元モデリングされたＣＧ（コンピュータグラフィックス）画像と、それを評価する手及び指を三次元モデリングしたＣＧ画像とを重畳し、混在させて表示する評価システム、及び三次元モデリングされたＣＧを仮想空間像として表示する広視野角ヘッドマウントディスプレイ装置に関する。

世の中には高付加価値の大型特注品、自動車等の大型装置を開発・製造する技術が数多くある。その殆どは大規模試作により検証を行う為、開発のコスト・期間が増加する等の問題を抱える。この様な付加価値の高い製品を開発する企業にとって、上記問題の改善は不可欠である。これを解決する為の手段として、バーチャルリアリティを用いた試作レスシステムに注目が集まっている。この試作レスシステムとして有名なのが、リアプロジェクターのスクリーンを立方体の面に沿って配置していく「Ｃａｖｅ」というシステムである。コスト面から３面のスクリーンで構成されるものが多く、この３面のスクリーンに継ぎ目が目立たない様に仮想空間で三次元モデリングされたＣＧ画像を表示し、専用メガネによりＣＡＤでデザインした製品が、あたかも浮かび出ている様に３Ｄで見せるシステムである。

しかし、このＣａｖｅは実際の手で評価を行う。その為、仮想空間で三次元モデリングされたＣＧ画像の奥に手を入れることができず、混在させることができない。その為、大きさや部品配置を手で検証することが難しいという問題を有している。仮想空間の中では、仮想空間に自分の存在（例えば手など）を混在させ表示することにより、高い臨場感、没入感で仮想空間内での作業を効率良く進めることが重要となる。

この問題を解決できるのは、仮想空間で三次元モデリングされたＣＧ画像に、それを評価する手段（例えば手）もＣＧ画像として重畳し、混在させ表示する評価システムである。

この評価システムの第１の方法として、仮想空間の現実世界の映像と、三次元モデリングされたＣＧ画像とを重畳して表示し、あたかも現実の世界にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができる複合現実感技術が知られている。これは、現実世界の映像を撮影するための現実映像撮影手段（例えばビデオカメラ）と、現実世界の映像を撮影している位置から見たようにＣＧ画像を作り出すＣＧ画像生成手段と、両者を合成して表示することのできる映像表示手段（例えばヘッドマウントディスプレイやモニタ）とからなる装置である。

しかしながら、観察者が操作しようとしている現実空間上のオブジェクトの前に仮想空間上のＣＧオブジェクトが存在する場合、単純に現実世界の映像の上に仮想空間上のＣＧオブジェクトを重畳してしまうと、観察者が操作しようとする現実空間上のオブジェクトは仮想空間上のＣＧオブジェクトに隠れて見えなくなってしまう。
そこで、これを解決する為に、特許文献１では、複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して、現実空間上のオブジェクトを隠している場合に、仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する方法が提案されている。

また、複合現実感技術を使わない第２の方法として、三次元モデリングされたＣＧ画像で手のモデルを作成する方法がある。モーションキャプチャー技術を用いて現実空間での手の位置を検出し、三次元モデリングされたＣＧ画像による仮想空間の中で、三次元モデリングされたＣＧ画像の手も表示することにより、複合現実感技術と同様に仮想空間内での作業を効率良く進めることが可能である。

しかし、モーションキャプチャーで動きを確認できるのは手の動きだけであり、指の細かい動きを広い空間で検出し、画像表示手段に表示するのは技術的に難しい。

一方、別の分野で、人間の手指と類似した形状の多指型のロボットハンドが開発されている。その多指型のロボットハンドは、人間の手と同様に関節が動く構成とすることにより、人間の手と同様に物を掴むなどの作業が可能となり、高度な作業が行える。

このロボットハンドの動作を制御する手法の１つとして、操作者の手指をカメラで撮影して、そのカメラで撮影した手指の画像から推定した手指の形状と同じ形状を、ロボットハンドで再現させることが提案されている。特許文献２には、手指の画像から手指の形状を推定して、ロボットハンドを制御する手法についての記載がある。特許文献２に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。

しかし、その輪郭からの推定では、手の平が見えているのか、あるいは手の甲が見えているのか、判別するのが困難な場合がある。さらに、指を曲げた状態の画像から、１つ１つの指の関節の角度を正確に判断するのが困難な場合がある。そこで特許文献３では、手指の種々の形状に対応した画像データと、その画像データで示される形状のときの爪の位置を示す爪位置データを用いる方法が提案されている。これにより、手指画像を高速、高精度で最類似画像を推定することができ、且つデータベースの構築を簡単にできる。

更に、データベースの構築を簡単にする方法として、特許文献４では、形状推定すべき手指画像の前腕部の延在方向が所定方向に向いていない場合でも、すなわちユーザが上肢を自由に動かした場合でも、手指形状と前腕部の傾きとの推定を可能にする手指形状推定を行う処理が考案されている。これは第１推定処理で手指画像の全体形状の特徴で類似画像検索を行い、類似画像候補となる照合画像データの数（データセット数）をある程度の数に絞りこみ、その結果、第２推定処理で詳細な類似度照合を行う際の探索量（処理量）を減らすことができるというものである。

また特許文献５には、手首に装着したカラーリストバンドをカメラで撮影し、このカラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された回旋角度の色データと照合し、前腕回旋角度を決定する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定することで、照合時間を短縮する方法も提案されている。

一方、仮想空間で三次元モデリングされたＣＧ画像を表示する為の表示装置として、ヘッドマウントディスプレイがある。中でも、視野角６０°を超す装置は、バーチャルリアリティを用いた試作レスシステムとして産業用に採用されている。しかし、視野角が６０°以上になると、その光学設計が極端に困難となり、市販されているヘッドマウントディスプレイの様に、画像表示パネル自体を、接眼レンズを介して直接見ることが出来なくなってくる。特許文献６ではこれを解決する為に、画像表示パネルの映像をリレー光学系により拡大し、拡散板に投影し、その拡散板からの透過像を、接眼光学系を介して見る方法をとっている。

特開２００５−１２８８７７号公報 特開２００６−２９４０１８号公報 特開２００９−３８１３号公報 ＷＯ２００９／１４７９０４号公報 特開２００９−１０４５６９号公報 特許第４４１３０６５号公報

上記の複合現実感技術を用いた第１の方法に於いては、その現実世界の映像の上に仮想空間上のＣＧオブジェクトが重畳した場合、現実世界の映像には座標が無い為、どちらを透明化するかを正確に判断することが難しいという問題がある。

一方、上記の第２の方法に於いては、三次元モデリングされたＣＧ画像による仮想空間の中で、三次元モデリングされたＣＧ画像の手を表示する際、手指の動きについては、前述の人間の手指と類似した形状の多指型のロボットハンドの技術を融合する方法が考えられる。
操作者の手指をカメラで撮影して、そのカメラで撮影した手指の画像から推定した手指の形状と同じ形状になる様に、ＣＧ画像の手指を操作する方法を組み合わせることで、三次元モデリングされたＣＧ画像による仮想空間の中で、三次元モデリングされたＣＧ画像の手を混在させることができる。この方法では、手指を操作する際に、手指の関節情報に基づき動かす為、手指の座標が明確になるので、前記の複合現実感技術の様な重畳問題は発生しない。

しかし、従来の手指の形状推定技術では、手の肌色とバックの黒を分離して、データを手指のシルエットとそれ以外の背景で２値化することが前提である。手指の画像を撮る位置は、背景が肌色と分離し易い色（例えば黒）である条件が無いと、手の肌色に関する２値化は難しく手を動かす範囲が限定されるという問題がある。更に、手と指とを合わせたシルエットは、各指の細かい動きに対して、全ての手指形状のシルエットデータベースが必要であり、膨大な照合作業が必要で、照合時間がかかる欠点を有する。その上、手と指を合わせたシルエットでは、指と手の甲、掌が重なったときの分離が難しく、２台以上のカメラが必要という問題がある。

本発明はかかる点に鑑みてなされたものであり、三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、第２のＣＧ画像の指の動きについては、現実空間での操作者の指をカメラで撮影して、そのカメラで撮影した指の画像から推定した指の形状と同じ形状になる様に、第２のＣＧ画像の指を制御することを目的とする。

一方、ヘッドマウントディスプレイ装置については、画像表示パネルの映像をリレー光学系により拡大し、拡散板に投影し、その拡散板からの透過像を、接眼光学系を介して見る方法を用いることで、広視野角が得られる。しかし、プロジェクター等に用いられるスクリーン（拡散板）は裸眼で見るが、ヘッドマウントディスプレイに用いる拡散板は接眼光学系を介して見るので、その拡散面が拡大されるという問題がある。

その為、拡散板としては図３９の様な拡散構造を有するものを利用している。図３９は下側から拡散板１０１、１０４、１０５に向けて投影した像面１０２の透過、反射の様子を示している。

図３９（ａ）は白濁色のフィルムで作られた拡散板１０１である。拡散板１０１の幅を厚くすることにより、拡散面のムラを抑えることが可能である。しかし、厚くすることで拡散板１０１に入射した像面１０２がフィルム１０１内でも拡散するので、その射出時には拡散幅が大きくなることにより、その像面自体が像面１０３の様にぼけてしまうという問題がある。

図３９（ｂ）では透明フィルムの片面にミクロングレードの細かい粒子を蒸着または塗布し、像面１０２の射出光を拡散させる拡散板１０４を用いている。しかし、その細かい粒子が均一に蒸着、塗布されないので、像面１０２がそのムラにより磨りガラスの上に投影されている様に見えてしまうという欠点がある。蒸着、塗布が行われない部分等があると、その部分のみ強い光が透過する為、光点として見えてしまう欠点もある。

図３９（ｃ）ではそのムラを改善する為に、透明フィルムの片面に球形の透明ビーズを敷き詰めた拡散板１０５を用いている。しかし、両目で見るスクリーンの大きさは、左右のスクリーンが干渉しない様に眼福よりも小さくするので、大きくても幅８０ｍｍ程度である。フルハイビジョンの場合、走査線の本数は１９２０であるから、４０μｍの直径の球形ビーズを敷き詰めなければ、画像のドットよりもビーズが大きくなってしまい、画質を落とす原因となる。現時点では、ビーズの成形及び、ビーズを均一に敷き詰めることは非常に難しい。

更に、図４０では図３９で説明した拡散板に関する問題以外の不具合を説明する。図４０（ａ）は白濁色のフィルム１０１が薄い場合、透明フィルム１０４の拡散角が小さい場合、透明フィルム１０５の球面ビーズが１列のみの場合を示す。透過光は０次の直進する光強度が強い為、接眼レンズを介して見る画像は下図に示す様に視線の中心付近にホットスポット（明るい部分）が見える映像となる。

一方、図４０（ｂ）は、白濁色のフィルム１０１が厚い場合、透明フィルム１０４の拡散角が大きい場合、透明フィルム１０５の球面ビーズが多数列重ねてある場合を示す。拡散が大きいと、あらゆる方向に均一に拡散が行われるので、ホットスポットは発生しない。しかし、透過だけでなく、反射光も多くなってしまうので、接眼レンズを介して見る画像は下図に示す様に全体が暗くなる。

本発明はかかる点に鑑みてなされたものであり、画像表示パネルの映像をリレー光学系により拡大し、拡散板に投影し、その拡散板からの透過像を、接眼光学系を介して見る方法を用いても、像面のボケ、磨りガラスの様な像面の見え、ホットスポット、画面が暗くなる等の問題が発生しない装置を提供することを目的とする。

上記問題点を解決するため、本発明の１つの実施態様は、三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する方法であって、
手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、
各指に対応した前記部分の第１の特徴を検出し、前記第１の特徴とその際の指毎の状態をデータベースとして記憶するステップと、
被験者の手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、各指に対応した前記部分の第２の特徴を検出し、前記データベースの第１の特徴と照合するステップと、
照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御するステップと、を有することを特徴とする、三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法である。

本発明のその他の実施態様は、三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する装置であって、
手の各指を背景の映像と分離容易な単色で覆った手袋と、同手袋を撮影するカメラと、
前記単色で覆われた部分の第１の特徴とその際の指毎の状態をデータベースとして記憶する記憶装置と、
前記単色で覆われた部分とそれ以外の部分に分離し、前記単色で覆われた部分の第２の特徴を検出し、前記データベースの第１の特徴と照合する演算装置と、
照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御する制御装置を有することを特徴とする、三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する装置である。

本発明のその他の実施態様は、２次元型画像形成装置から射出された三次元モデリングされたＣＧによる仮想空間画像を、それぞれ第１（右眼用）、及び第２（左目用）のスクリーンに投影する第１（右眼用）、及び第２（左目用）の拡大リレー光学系と、前記第１及び第２のスクリーンの透過像を、それぞれ、第１（右眼用）、第２（左目用）の接眼光学系を介して左右両目に対し視野角±６０°以上の広域像で眼球内の網膜上に投影する広視野角ヘッドマウントディスプレイ装置であって、
前記スクリーンは多角形のマイクロアレイレンズを敷き詰めて構成され、スクリーン上の任意の位置で、前記拡大リレー光学系からの入射光と前記スクリーンと直交する方向のなす角をθ１、前記視野角に必要な前記接眼光学系への射出光と前記スクリーンと直交する方向のなす角をθ２としたとき、前記マイクロアレイレンズからの発散角をθ１＋θ２以上にすることを特徴とする広視野角ヘッドマウントディスプレイ装置である。

本発明による装置の構成図を示す。 手の指が動かせないときのＣＧ映像と、手の指を動かしたときのＣＧ映像を示す。 肌色のまま２値化処理を行った場合と、緑色手袋を付け２値化処理を行った場合の手の検出図を示す。 本発明による手袋の外観図を示す。 本発明による親指認識線の効果を示す説明図である。 （ａ）は、手をヘッドマウントディスプレイに設置したカメラで見ている様子を示し、（ｂ）は、カメラで撮像された両手のシルエット像を示した図を示し、（ｃ）は、モーションキャプチャー装置の設置図を示し、（ｄ）は、三次元モデリングされたＣＧ画像による仮想空間の中で、三次元モデリングされたＣＧ画像の手を表示したときの映像を示す。 （ａ）は、被験者がヘッドマウントディスプレイを装着したときの斜視図を示し、（ｂ）は、カメラで撮像された両手のシルエット像の切り取り範囲を示した画像を示し、（ｃ）は、切り取られた範囲の回転補正を行った後の画像を示し、（ｄ）は、回転補正後に倍率補正を行った後の画像を示す。 （ａ）は、手首にカメラを固定し、手の甲を観察している様子を示し、（ｂ）は、手の甲を撮像したときの画像データを示し、（ｃ）では、手首にカメラを固定し、手の平を観察している様子を示し、（ｄ）は、手の平を撮像したときの画像データを示す。 （ａ）は、手袋のベースラインと基準点、指の特徴点の関係を示す図を示し、（ｂ）は、指の特徴点と４角形との関係を説明する図を示し、（ｃ）色々な指形状に対する特徴点と４角形の関連図を示す。 （ａ）は、指の４角形形状と、ベータベースの指の４角形形状の比較に関するイメージ図を示し。（ｂ）は、データベースを作成している様子を示す。 指の２次元画像データの緑手袋部分を２値化したデータを示す。 （ａ）は、図１１を白黒反転して、画像処理を行ったときのスロープ信号を示した図を示し、（ｂ）は、親指を例とした、スロープ信号による特徴点の検出結果を示す。 親指を動かしたときの各特徴点の移動範囲を示す図を示す。 （ａ）は、親指の移動範囲に人指し指が入って来た場合の説明図を示し、（ｂ）は、親指と人指し指が完全に重なった場合を示す図を示す。 人指し指の移動範囲内に、親指が入った場合の説明図を示す。 Ｘ軸周りの回転Ｘθ（０〜１００°）とＺ軸周りの回転Ｚθ（−９０〜９０°）のデータベースを示した図を示す。 Ｙ軸周りの回転Ｙθについて１つのデータで良いことを示した図を示す。 左手に親指とベースライン１２のみ緑色部で塗られた黒い手袋を着け、右手にはデータグローブを着け、データベースを構築している様子を示す。 （ａ）は、親指の移動範囲の輪郭を検出した親ｌｅｆｔｂｎ（ｘ、ｙ）の座標マップを示し、（ｂ）は、親指の移動範囲のＸ全体を検出した親ｌｅｆｔｂｎ（ｘ、ｙ）の座標マップを示す。 データベースの特徴点に関連した構成図を示す。 データベースの関節情報と画像データの構成図を示す。 （ａ）は、画像データから特徴点と信号強度（ピーク値）を検出した結果を示す図を示し、（ｂ）は、検出座標が親指の移動領域内の特徴点であるかを照合している様子を示す。 各指が干渉無く離れているときの画像データとデータベースを照合し、特徴点を表にしたときの特徴点分布図を示す。 親指と人指し指が干渉しているときの画像データとデータベースを照合し、特徴点を表にしたときの特徴点分布図を示す。 Ａは、人差し指を伸ばしているときの図と特徴点の関連図を示し、Ｂは、中指を伸ばしているときの図と特徴点の関連図を示す。 Ａは、工具を持っているときの特徴点の検出結果を示した図を示し、Ｂは、封筒を持っているときの特徴点の検出結果を示した図を示す。 （ａ）は、手首を固定し、指の先をもう一方の指で固定しているときの図を示し、（ｂ）は、指を動かしたときの特徴点がどの部分の影響を受けているかを示した図を示す。 （ａ）は、人差し指、中指、薬指が重なっているときで、人差し指と薬指が前にある場合の図を示し、（ｂ）は、人差し指、中指、薬指が重なっているときで、中指が前にある場合の図を示す。 被験者３０が広視野角ヘッドマウントディスプレイ装置１を装着しているときの側面図を示す。 被験者３０が広視野角ヘッドマウントディスプレイ装置１を装着しているときの上面図を示す。 （ａ）は、網膜に投影像を広角で映し出すのに必要なスクリーン５０の拡散角の説明図を示し、（ｂ）は、瞳Ｈを動かしたときのなす角θ２の変化を表した図を示す。 （ａ）は、色収差補正を行っている接眼光学系の例を示し、（ｂ）は、は前記なす角θ２の傾きが小さくなる様に設計した接眼光学系の例を示し、（ｃ）は、レンズ枚数を少なくして軽量化した接眼光学系の例を示し、（ｄ）は、は拡大リレー光学系の例を示す。 （ａ）は、正六角形のマイクロレンズアレイの上面図を示し、（ｂ）は、正六角形のマイクロレンズアレイの側面図を示し、（ｃ）は、正六角形のマイクロレンズアレイの斜視図を示し、（ｄ）は、マイクロレンズアレイの拡散の様子を示した図を示し、（ｅ）は、凸レンズに入った光を均等に所定の角度に広げている様子を示し、（ｆ）は、凸レンズの代わりに凹レンズを用いた場合の例を示す。 （ａ）は、正四角形形状のマイクロアレイレンズの上面図と斜視図を示し、（ｂ）は、正三角形形状のマイクロレンズアレイの上面図と斜視図を示す。 （ａ）は、正六角形のマイクロレンズの入射角と射出角の説明図を示し、（ｂ）は、θｉｎを変数として横軸とし、Ｓ偏光透過率、Ｐ偏光透過率、平均透過率を縦軸として表にした図を示す。 （ａ）は、左上に進む光軸のなす角θ１を、凸レンズにより右上に進む光軸のなす角θ２に偏向している様子を示し、（ｂ）は、なす角θ１＝０のときの様子を示し、（ｃ）は、右上に進む光軸のなす角θ１を、凸レンズにより左上に進む光軸のなす角θ２に偏向している様子を示す。 （ａ）は、臨界角の説明で、縦軸に照度比（％）と補正射出角(°)、横軸にマイクロアレイレンズの曲率Ｒを示した表を示し、（ｂ）は、必要ななす角θ２の説明で、縦軸になす角θ２(°)と補正発散角(°)、横軸にマイクロアレイレンズの曲率Ｒを示した表を示す。 （ａ）は、ブリュースター角の説明で、縦軸になす角θ２(°)と補正発散角(°)、横軸にマイクロアレイレンズの曲率Ｒを示した表を示し、（ｂ）は、図３７（ａ）、（ｂ）、図３８（ａ）の各値を縦軸、マイクロレンズアレイの曲率Ｒを横軸にしてまとめた図を示す。 （ａ）は、白濁色のフィルムで作られた拡散板１０１の拡散の説明図を示し、（ｂ）は、透明フィルムの片面にミクロングレードの細かい粒子を蒸着若しくは塗布した拡散板１０４の拡散の説明図を示し、（ｃ）は、透明フィルムの片面に球形の透明ビーズを敷き詰めた拡散板の拡散の説明図を示す。 （ａ）は、視線の中心付近にホットスポット（明るい部分）が見える条件の説明図を示し、（ｂ）は、表示画像が暗くなってしまう場合の説明図を示す。 （ａ）は、本発明による応用例で、マイクロレンズアレイの平面部を蒸着により非透過とした例を示し、（ｂ）は、本発明による応用例で、マイクロレンズアレイの平面部に急峻な構造体５４を配置することにより非透過とした例を示し、（ｃ）は、発明による応用例で、マイクロレンズアレイの平面部に急峻な複数の構造体５５を配置することにより非透過とした例を示す。

本発明の１つの実施形態では、三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する方法であって、手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、各指に対応した前記部分の第１の特徴を検出し、前記第１の特徴とその際の指毎の状態をデータベースとして記憶するステップと、被験者の手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、各指に対応した前記部分の第２の特徴を検出し、前記データベースの第１の特徴と照合するステップと、照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御するステップを有する。

ここで、モーションキャプチャーは手にマーカを設置し、その位置や回転を非接触で検出するシステムである。よって、その位置、回転計測精度は数ｍｍ、数ｍｒａｄという性能を有している。この結果に基づき三次元モデリングされたＣＧ画像の手を表示する方法を用いれば、産業用途として十分な信頼性を有する。

しかし、狭い範囲に関節が密集する指にマーカを取り付けるのは容易では無く、誤検出が多くなってしまう為、本発明ではその部分を画像処理で担う方法を採用している。これにより、産業用途の性能で手のＣＧ画像を立体的に取り扱えるだけでなく、指の動きもＣＧ画像として表示することが可能となる。

しかし、画像処理の２値化作業は、手の肌色を背景と分離するのが非常に難しい。これを実現する為には、モーションキャプチャースタジオと同様、緑色等の単色で部屋を構成する必要がある。そこで本発明では、手に単色（例えば緑色）の手袋を付け、その手袋の手の甲側にモーションキャプチャー用マーカを設置している。図３に示す様に、緑の手袋は背景とも簡単に識別が可能であり、大規模な部屋が無くても画像処理が簡単に行えるという利点がある。

但し、このままでは従来技術の手指推定のデメリットが改善できない。そこで本発明では単色の手袋を指に対してのみ緑色に着色する様な処理を行っている。この処理により、指と手の平や手の甲の識別が可能となる。

その技術を発展させ、本発明の第２の実施形態としては、前記手の各指を背景の映像と分離容易な単色で覆う手段は、指毎にその覆う範囲を識別可能な様に異ならせている。

図４に示す様に、それぞれの指毎に緑色の着色を行い、更にその大きさを異ならせている手袋の形状を示す。この例では人差し指と薬指が第３関節まで、中指と小指が第２関節まで、親指は図５の様に、第一関節部にラインを設けて、他の指と識別できる様な形状としている。ラインは形状を識別する方法でも良いし、色を僅かに変えて判別する方法を取っても良い。この方法により、複数の指が重なった映像に関しても、どの指であるかを容易に識別可能となる。

本発明の第３の実施形態として、前記手の各指を背景の映像と分離容易な単色で覆う手段は、指毎にその覆う単色を識別可能な様に複数色とすることとしている。

ＰＣ上の着色はデジタル的に［α，Ｒ，Ｇ，Ｂ］の数値で設定されている。αは透過の係数であり、透過しない場合は階調２５５の場合、α＝２５５である。完全な緑は［２５５，０，２５５，０］で表される。これに対し、青みがかった緑は例えば［２５５，０，２５５，１２０］、黄色がかった緑は［２５５，１２０，２５５，０］の様な数値となる。両方が混ざった［２５５，１２０，２５５，１２０］の様なものも考えられる。画像処理の際、これらの緑色の差異により各指の識別を行うことで、より確実に指形状の推定が可能となる。無論、色は緑だけでなく、赤や青等の単色でも良い。画像処理範囲の色環境に応じてできるだけデジタル的に判別し易い単色を採択する方が望ましい。

本発明の第４の実施形態として、前記仮想空間を表示する映像表示手段はヘッドマウントディスプレイであり、前記指を撮影するカメラは前記ヘッドマウントディスプレイに設置することとしている。

更に、本発明の第５の実施形態として、モーションキャプチャー技術により手の甲に取り付けられたマーカ及び、前記ヘッドマウントディスプレイに取り付けられたマーカを検出し、前記カメラから得られる映像の中の手の座標及び回転角を推定し、その結果に基づき、前記映像の中から手の映像を抽出することとしている。

図６の（ａ）は、ヘッドマウントディスプレイ１を装着した被験者が手に取り付けた緑色の手袋２Ｒ、２Ｌを見ている様子を示す。同ヘッドマウントディスプレイ１の先端には同ヘッドマウントディスプレイ１とほぼ同等の視野角を有するカメラ３が図７（ａ）の様に設置されている。図６（ｂ）は、同カメラ３により撮像されたマーカ５及び手袋２Ｌ、２Ｒの単色部分を強調した映像の見えを示す。

尚、図６（ｃ）に示す通り、被験者の周りには複数のモーションキャプチャー装置６を設置しており、前記ヘッドマウントディスプレイ１に設置されたマーカ４の位置及び、同手袋２Ｌ，２Ｒに設置されたマーカ５の位置を非接触でモニタしている。このモニタした結果に基づき、三次元モデリングされたＣＧ画像による仮想空間７の中に、あたかも実際に被験者が自分の手を見ているかの様に、三次元モデリングされたＣＧ画像の手８を３次元表示用ソフトウェアにより表示している（図６（ｄ）参照）。

具体的には、前記モーションキャプチャー装置６は、そのマーカ４の位置からヘッドマウントディスプレイ１の位置及び回転量を検出すると共に、そのマーカ５の位置から、手袋２Ｌ，２Ｒの位置及び回転量を正確に計測する。ヘッドマウントディスプレイ１に設置されたカメラ３と同マーカ４の相対位置が求まると、ヘッドマウントディスプレイ１と被験者の目の相対位置は予め分かっているので、被験者の目から見た三次元モデリングされたＣＧ画像の手８を、三次元モデリングされたＣＧ画像による仮想空間７の中に３次元表示用ソフトウェアにより正確に表示できる。

同カメラ３の画像は１９２０×１０８０のフルハイビジョンで撮像するので、この領域全てに対して画像処理を行うのは時間がかかる。本発明では前記カメラ３と前記手袋２Ｌ，２Ｒの相対位置と相対回転角をモーションキャプチャー装置から受け取り、同カメラ３で得られた画像の中で、手袋２Ｒ，２Ｌがどの位置に表示されているかを予め算出し、図７（ｂ）の様に白いカーソルで切り取り境域を決定している。図７（ｃ）の様に、切り取った画像領域の回転補正を行い、図７（ｄ）の様に、倍率補正を行った上で、その領域内のみで指の位置検出を行なう。画像処理の範囲が少なく、高速で各指の検出を行えるという利点がある。

カメラの設置方法として本発明の第６の実施形態の様に、前記指を撮影するカメラを前腕に固定する方法もある。図８は、例として手首に固定する場合を示している。カメラ１１は手首固定部９からアーム１０により所定の位置から手全体をモニタできる様に配置されている。図８（ａ）が手の甲側から見る方法であり、図８（ｂ）の様な画像が得られる。図８（ｃ）が手の平側から見る方法であり、図８（ｄ）の様な画像が得られる。ヘッドマウントディスプレイ１にカメラを設置する方法に比べて、手の画像が手の甲と平に限定されるので、画像処理が簡単になり高速化できるという利点がある。但し、カメラ１１の固定位置と手の甲が手首の回転により一体に動かないので、手首及び手の甲の2ヶ所にマーカを設置するか、カメラ１１にマーカを設置し、カメラの画像処理でベースライン１２の傾きを検出、画像の回転補正を行う等の処置により、手首と手の甲の回転を補正することでデータベースの照合量を少なくするのが望ましい。

次に、本発明の第７の実施形態として、単色で覆われた前記部分の第１及び第２の特徴は、手の一部に設置された、単色で覆われた部分の検出位置に基づき決定された基準点からの座標情報を含むこと、本発明の第８の実施形態として、単色で覆われた前記部分の第１及び第２の特徴は、前記部分のそれぞれの輪郭が内接または外接すし、多角形の頂点または辺の座標を含むこと、本発明の第９の実施形態として、前記データベースの指毎の状態は単色で覆われた前記部分の第１及び第２の特徴部分の移動領域情報と、各関節情報を含むことについて説明する。

図９（ａ）は各指の緑色部の任意の動きに対して重ならない様に、手首の上に設置された緑色のベースライン１２を示している。ベースライン１２は高さがＢＬｈｅｉｇｈｔ、幅がＢＬｗｉｄｔｈであり、画像の中でこの特徴を検出することで、容易にその位置が確定される。この手の向きの場合、ベースライン１２の親指側は、親指の動きによりその位置が変わるが、反対側は指の動きに依存しない。そこで、この向きではベースライン１２の左側が基準点ＢＰ（ｘ、ｙ）となる。尚、手の向きによりベースライン１２のどの部分が指の動きに依存せず安定しているかは異なるので、手の向きに応じて基準点ＢＰ（ｘ、ｙ）の求め方はデータベース上に定められている。

図９（ｂ）には、図９（ａ）の親指を例とした多角形検出の拡大図が例として紹介されている。基準点ＢＰ（ｘ、ｙ）を（０，０）とした相対座標として、親指の緑部の最上点：親ｔｏｐ（ｘ、ｙ）、最下点：親ｂｏｔｔｏｍ（ｘ、ｙ）、最左点：親ｌｅｆｔ（ｘ、ｙ）、最右点：親ｒｉｇｈｔ（ｘ、ｙ）という４つの特徴点を算出すると、その値から親指四角形を求めることができる。この四角形は親指の形状の特徴を簡略して示したものである。図９（ｃ）を見ると判る様に、人間の各指は動きに制約があり、それぞれの関節角度で所定の四角形形状となる。即ち、所定の関節状態と所定の四角形形状・位置は１対１で対応するので、指の複雑な形状を記憶しなくても良い。四角形の形状を特徴としてデータベースに記憶していけば、データベースが簡略化されるので、照合の時間が短縮するという利点がある。

この様に、データベースには基準点（ｘ、ｙ）を（０，０）とした所定の関節状態と所定の四角形形状・位置が格納されるが、ベータベースを作る際の手は標準的な手の大きさが用いられている。その為、手の細い人、手の大きい人、指の長い人、短い人に対する照合が難しいことが考えられる。そこで本発明では、前記手袋は伸縮性のある素材を用い、被験者が最初に手を思いっきり広げた状態で、全指の特徴点を計測し、データベース内の手を思いっきり広げた状態の全指の特徴点と比較、それぞれの特徴点に対する伸縮量をＸ，Ｙ軸独立で計測する。それ以降の照合は、この伸縮量を用いて補正するので、手、指の大きさ、太さ等に依存しない精度の高い照合が可能となる。

無論、三次元モデリングされたＣＧ画像の手８の指を動かす為には、個々の関節角度情報が必須となる。そこで、１対１で対応する所定の四角形形状・位置と所定の関節状態とをリンクしてデータベースに格納していく。

検出結果の四角形がデータベースの四角形形状・位置と照合されると、それにより、指の形状が特定できる。指の形状が特定できれば、指の関節情報も分かり、その情報を３次元表示用ソフトウェアに送れば、三次元モデリングされたＣＧ画像の手の指の動きを正確に高速で表示することが可能となる利点がある。

尚、この特徴点は４点の四角形で説明したが、輪郭の３点が内接した三角形でも良いし、五角形もしくはそれ以上の多角形でも良いし、外接点でも良い。いずれも指の複雑な関節情報を簡単な形状に変換してデータベース化、照合作業を行うという目的は同じで、照合時間の短縮及び、アルゴリズムの簡略化が実現できる。

更に、本発明では、指毎の動きを独立にデータベースと照合する。その為、一本の指のデータベースが１００ずつあるとすると、その手指のパターンは１００の５乗通りの手形状を照合できることになる。しかし、従来技術である手指のシルエットをデータベースと照合する方法では、同様のデータベース量では５００通りの手指形状しか照合できない。即ち、本発明は従来よりも細かい指の動きまで再現できるという効果もある。

次に、本発明の第１０の実施形態として、三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する装置に於いて、手の各指を背景の映像と分離容易な単色で覆った手袋と、同手袋を撮影するカメラと、前記単色で覆われた部分の第１の特徴とその際の指毎の状態をデータベースとして記憶する記憶装置と、前記単色で覆われた部分とそれ以外の部分に分離し、前記単色で覆われた部分の第２の特徴を検出し、前記データベースの第１の特徴と照合する演算装置と、照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御する制御装置を有することとしている。

ここで、モーションキャプチャー装置は手にマーカを設置し、その位置や回転を非接触で検出する装置である。よって、その位置、回転計測精度は数ｍｍ、数ｍｒａｄという性能を有している。この結果に基づき三次元モデリングされたＣＧ画像の手を表示するソフトウェアを用いれば、産業用途として十分な信頼性を有する。

しかし、指の細かい位置を計測するのは困難な為、本発明ではその部分を画像処理で担う装置を採用している。これにより、産業用途の性能で手のＣＧ画像を立体的に取り扱えるだけでなく、指の動きもＣＧ画像として表示することが可能となる。しかし、画像処理の２値化作業は、手の肌色を背景と分離するのが非常に難しい。これを実現する為には、モーションキャプチャースタジオと同様、緑色等の単色で部屋を構成する必要がある。

そこで本発明では、手に単色（例えば緑色）の手袋を付け、その手袋の手の甲側にモーションキャプチャー用マーカを設置している。図３に示す様に、緑の手袋は背景とも簡単に識別が可能であり、大規模な部屋が無くても画像処理が簡単に行えるという利点がある。

更に、本発明では、指毎の動きを独立にデータベースと照合する。その為、一本の指のデータベースが１００ずつあるとすると、その手指のパターンは１００の５乗通りの手形状を照合できることになる。しかし、従来技術である手指のシルエットをデータベースと照合する方法では、同様のデータベース量では５００通りの手指形状しか照合できない。即ち、本発明は従来よりも細かい指の動きまで再現できるという効果もある。

次に、本発明の第１１の実施形態として、２次元型画像形成装置から射出された三次元モデリングされたＣＧによる仮想空間画像を、それぞれ第１（右眼用）、及び第２（左目用）のスクリーンに投影する第１（右眼用）、及び第２（左目用）の拡大リレー光学系と、前記第１及び第２のスクリーンの透過像を、それぞれ、第１（右眼用）、第２（左目用）の接眼光学系を介して左右両目に対し視野角±６０°以上の広域像で眼球内の網膜上に投影する広視野角ヘッドマウントディスプレイ装置に於いて、
前記スクリーンは多角形のマイクロアレイレンズを敷き詰めて構成され、スクリーン上の任意の位置で、前記拡大リレー光学系からの入射光と前記スクリーンと直交する方向のなす角をθ１、前記視野角に必要な前記接眼光学系への射出光と前記スクリーンと直交する方向のなす角をθ２としたとき、前記マイクロアレイレンズからの発散角をθ１＋θ２以上にする構成とした。

ヘッドマウントディスプレイ装置は被験者が装着するものであり、できるだけ軽い方が望ましい。軽量化する為に、画像を出力する２次元型画像形成装置としては、画角が０．５〜１インチ以下のものが用いられる場合が多い。しかし広視野角用のスクリーンは２〜３インチ程度の幅が必要な為、２次元型画像形成装置からの射出光を前記スクリーンまで拡大投影する必要がある。その拡大リレー光学系としては、やはり軽量化の為、片テレセントリック光学系（２次元型画像形成装置側はテレセントリック、スクリーン側は広がりを持つ非テレセントリック）が採用される。

図３１は、図３０で示す拡大光学系４７からのスクリーン５０への入射光がスクリーン５０と直交する方向とのなす角をθ１とし、眼球５２の瞳Ｈを図３１（ａ）から（ｂ）の様に動かした場合を含め、接眼光学系４９により、網膜に投影像を広角で映し出すのに必要なスクリーン５０からの射出光とスクリーン５０と直交する方向とのなす角をθ２とした場合の図である。ヘッドマウントディスプレイに用いるスクリーン５０の必要な拡散角は±（θ１＋θ２）であることが分かる。

但し、視野角６０°を超す接眼レンズは色々なタイプがある。図３２（ａ）は色収差補正を行っている例であり、網膜に投影像を広角で映し出すのに必要なスクリーン５０からの射出光とスクリーン５０と直交する方向とのなす角θ２はレンズ外径付近に近づく程、傾きが大きくなっている。

図３２（ｂ）は、前記なす角θ２の傾きが小さくなる様に設計したものである。図３２（ｃ）はレンズ枚数を少なくして軽量化したものであるが、前記なす角θ２の傾きは非線形であることが分かる。一方、図３２（ｄ）は、２次元型画像形成装置４４からの射出光をＸプリズム４５、拡大リレー光学系４７を介してスクリーン５０に投影した例である。なす角θ１はレンズ外径付近に近づく程、傾きが大きくなっている。

以上の様に、前記なす角θ１と前記なす角θ２は接眼レンズ４９の特徴、任意のスクリーン５０の位置や目の動かし方で条件が異なることが分かる。そこで、スクリーン上の任意の位置で、前記拡大リレー光学系からの入射光と前記スクリーンと直交する方向のなす角をθ１、前記視野角に必要な前記接眼光学系への射出光と前記スクリーンと直交する方向のなす角をθ２としたとき、前記スクリーンとしてマイクロアレイレンズを用い、前記マイクロアレイレンズからの発散角をθ１＋θ２以上にする構成を取れば、視線を動かしても２次元型画像形成装置４４からの射出光を目で見ることができる。

尚、マイクロアレイレンズはＬＥＤアレイの照明の光量ロスをできるだけ抑え、均一にする照明均一化手段として採用されている。反対に指向性の無いＬＥＤアレイ照明に対し、所定の指向性を持たせる手段としても採用されている。本発明ではこの指向性の特徴を生かし、広視野角ヘッドマウントディスプレイのスクリーンとしてマイクアレイレンズを応用している。

図３３（ａ）は正六角形のマイクロレンズアレイの上面図を示し、図３３（ｂ）は側面図を示し、図３３（ｃ）は斜視図を示す。マイクロアレイレンズはｆθレンズが最も好ましく、図３３（ｄ）、図３３（ｅ）で示す様に、レンズに入った光を均等に所定の角度に広げることが可能である。図３３（ｆ）は、凸レンズの代わりに凹レンズを用いた場合の例である。集光点がレンズ内に移動するだけであり、曲率がＲでも、−Ｒでも同様の効果がある。尚、球面レンズであっても、所定の角度に広げるときのムラは１０％程度であり、ホットスポットが見える様な大きな角度に依存したムラは発生しない。

それ以外の構造で、図３４（ａ）は正四角形形状、図３４（ｂ）は正三角形形状のマイクロレンズアレイの例である。これらは全てレンズの各辺を合わせた構造であり、多角形に内接する円の直径がマイクロアレイレンズの隣接するレンズ間の距離になっている。曲率のある部分のみでスクリーンの表面が形成されているので、フラット部分が無く、０次の透過光が強く透過することは無い。よって、ホットスポットも発生しない。

次に図３５より、前記マイクロアレイレンズからの発散角をθ１＋θ２以上にする具体的な方法について述べる。図３５（ａ）は例として正六角形のマイクロレンズであり、屈折率がｎ＝１．５のプラスチック素材を用いている。内接円の直径がＷ＝１０μｍ、レンズの曲率がＲ＝６μｍの例で、上図が側面図、下図が上面図となっている。側面図には所定の平行光を下から照射した場合のレンズ部での屈折する様子を示している。

マイクロアレイレンズの場合、安価で作るにはマイクロアレイレンズの型をホトリソグラフィック技術で形成し、その型を用いてＰＥＴやアクリルに代表されるプラスチック素材で射出成形法により製造するのが一般的である。その為、一般の大きなレンズと異なり、レンズ表面に反射防止膜等の処理を行うことができない。よって、レンズ面での反射率、透過率等の計算は以下の式により決まってくる（＊：乗算、Ａｓｉｎ：アークサイン）。

レンズ内からの入射角°θｉｎ＝Ａｓｉｎ（Ｗ／２／Ｒ）＊１８０／π
θｉｎとθｏｕｔの関係式θｏｕｔ＝Ａｓｉｎ（ｎ＊Ｓｉｎ（θｉｎ））
レンズ外への射出角°θｏｕｔ＝Ａｓｉｎ（ｎ＊Ｗ／２／Ｒ）＊１８０／π
レンズ外での拡散角°＝θｏｕｔ−θｉｎ
臨界角°θｒ＝Ａｓｉｎ（１／ｎ）＊１８０／π
ブリュースター角θｂ＝Ａｔａｎ（１／ｎ）＊１８０／π
Ｓ偏光透過率＝１−ＡＢＳ(Ｓｉｎ((θｏｕｔ−θｉｎ)＊π／１８０)／Ｓｉｎ((θｏｕｔ＋θｉｎ)*π／１８０))
Ｐ偏光透過率＝１−ＡＢＳ(Ｔａｎ((θｏｕｔ−θｉｎ)＊π／１８０)／Ｔａｎ((θｏｕｔ＋θｉｎ)*π／１８０))
平均透過率＝（Ｓ偏光透過率＋Ｐ偏光透過率）／２
・・・・・式１

式１に、ｎ＝１．５、Ｗ＝１０μｍ、Ｒ＝６μｍをそれぞれ入力すると、臨界角θｒ＝４１．８１°、ブリュースター角θｂ＝３３．６９°、内接円上入射角５６．４４°が求まる。θｉｎを変数として横軸とし、Ｓ偏光透過率、Ｐ偏光透過率、平均透過率を縦軸として表にしたのが図３５（ｂ）である。図３５（ａ）に記載したθin:０〜θｂにより決まる円内からの射出光は８０％の透過率でほぼ一定であり、θｂ〜θｒの範囲からの射出光は徐々に透過率が下がり、θｒ〜５６．４４°の範囲では内面での全反射により、光が出てこないことが、図３５（ｂ）より確認できる。よって、θ１＋θ２の発散角を効率良く均一にマイクロアレイレンズで得る為には、上記要因を加味する必要があることが分かる。

次に、前記拡大リレー光学系４７からの入射光と前記スクリーン５０と直交する方向のなす角をθ１、前記視野角に必要な前記接眼光学系への射出光と前記スクリーン５０と直交する方向のなす角をθ２として、マイクロアレイレンズの側面図を用いて図３６にて詳しく説明していく。図３６は図３１（ａ）の図面を右から見たときのマイクロアレイレンズ部を拡大した図である。２次元型画像形成装置４４の投影像はマイクロアレイレンズ部に投影されている。マイクロアレイレンズはフィールドレンズの役割を果たす。図３６（ａ）は、左上に進む光軸のなす角θ１を、凸レンズにより右上に進む光軸のなす角θ２に偏向している。図３６（ｂ）は、なす角θ１＝０のとき、図３６（ｃ）は、右上に進む光軸のなす角θ１を、凸レンズにより左上に進む光軸のなす角θ２に偏向している。

この様に、発散角がθ１＋θ２となる様にすれば、なす角θ１をなす角θ２に偏向するＳｐｏｔは内接円の中に一か所だけ存在する。もし、目を動かしてなす角θ２の角度がθ２‘に変わった場合でも、図３６（ａ）に示す様に、なす角θ１の位置が横に移動するだけで、変化したなす角θ２’に対応するＳｐｏｔが内接円の中に存在する。

もし、２次元型画像形成装置４４のスクリーン上の画素の大きさＰと内接円の直径Ｗが等しければ、画素は各ｓｐｏｔとして被験者に認識される。Ｐ＝２＊Ｗならば、２＊２＝４つのｓｐｏｔとして画素は表される。Ｐ＝３＊Ｗならば、３＊３＝９つのｓｐｏｔとして画素は表される。画素が分割されることで、画素が目立たなくなるという効果がある。

一方、Ｐ＜Ｗでマイクロアレイレンズの大きさＷがスクリーン上の画素の大きさＰを上回ると、図３６（ｃ）に示す様に、画素Ｐの中にｓｐｏｔが含まれない。画素Ｐの光が被験者の目に届かないので、その画素は黒点となり、情報が欠落してしまう。そこで第１２の形態として、Ｐ＞＝Ｗとなる様に、マイクロアレイレンズの内接円の直径Ｗを決定する必要がある。尚、ＰとＷの大きさによっては、モアレを引き起こし、スクリーンに模様が発生してしまう可能性がある。その場合は、マイクロアレイレンズを僅かに傾けることで、モアレが発生しない様に工夫する。

上記の一連の説明に引き続き、θ１＋θ２の発散角を効率良く均一にマイクロアレイレンズで得る為の条件を説明する。最初の条件は図３５で説明した臨界角についてである。図３６の（ａ）の様にマイクロアレイレンズの厚さをＴ、屈折率をｎとした場合、なす角θ１は下の平面を透過した材質内で
θ３＝Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１））＊１８０／π・・・式２
の傾きを持つ。この式２によりθ３で補正した補正入射角は、
θ４＝Ａｓｉｎ（Ｗ／２／Ｒ）＊１８０／π-θ３・・・式３
式３より補正した補正射出角θ５は
θ５＝Ａｓｉｎ（ｎ＊Ｓｉｎ（θ４＊π／１８０））＊１８０／π・・・式４
となる。補正射出角θ５が９０°を越えなければ、内接円の臨界角には達しない。
即ち、
θ５＜＝９０°・・・式５
となる。

式２〜式５をまとめると、第１３の形態として、補正射出角θ５が臨界角に達しない条件は
ｎ＊Ｓｉｎ（Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１））＜＝１
・・・式６
となる。臨界角に達すると、それ以上、補正射出角を上げることができず、全反射によりレンズアレイに達する光を効率良く使うことができなくなってくる。

元々、拡大リレー光学系４７で得られるスクリーン上でのＳｐｏｔの広がり角をθｉとすると、補正射出角θ５と合わせて光の広がりが分かる。よって、基本となる補正射出角をθ５ｂａｓｅとすると、式６を満たす範囲の照度比は以下の式で表せる。
照度比＝（Ｓｉｎ（（θ５＋θｉ／２）＊π／１８０））^２／（Ｓｉｎ（（θ５ｂａｓｅ＋θｉ／２）＊π／１８０））^２・・・式７
但し、式６を満たさなくなったとき点で、補正射出角θ５は変化しなくなり、全反射で見かけ上の内接円の直径Ｗが小さくなっていく。よって、それ以降の照度は以下の式で表される。
照度＝（Ｓｉｎ（（θ５＋θｉ／２）＊π／１８０））^２＊（２＊Ｒ／ｎ）^２／（Ｗ）^２・・・式８

式４、式７、式８の結果をまとめ、縦軸に照度比（％）と補正射出角(°)、横軸にマイクロアレイレンズの曲率Ｒを示した表が図３７（ａ）である。式６を満たす条件では、照度は減るが補正射出角θ５を増やすことができる。しかし、式６を満たさない条件では、補正射出角θ５は変化せず、照度のみ落ちていくのが確認できる。よって、効率良く拡散を行うには、式６を満足する条件で、マイクロアレイレンズを製造することが望ましい。

尚、今回のマイクロアレイレンズをスクリーン５０として使用する目的は発散角をなす角θ２以上にすることである。式２、式３、式４から補正発散角は
Ａｓｉｎ（ｎ＊Ｓｉｎ（Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１）））−Ａｓｉｎ（Ｗ／２／Ｒ）・・・式９
で表せる。よって、本発明の第１４の実施形態として、以下の条件
Ａｓｉｎ（ｎ＊Ｓｉｎ（Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１）））−Ａｓｉｎ（Ｗ／２／Ｒ）＞＝θ２・・・式１０
が導き出せる。

本例では、なす角θ２を２０°に設定しており、縦軸になす角θ２(°)と補正発散角(°)、横軸にマイクロアレイレンズの曲率Ｒを示したときの関係は図３７（ｂ）の様になる。式１０の条件を満たしていれば、接眼レンズ内の何処を見ても、マイクロレンズアレイを介して２次元型画像形成装置４４の投影像を見ることができる。これを満たしていない場合、なす角θ２の傾きが大きい位置ではマイクロレンズアレイを透過した光が目の瞳に到達せず、黒点となってしまう不具合がある。

次に式１のブリュースター角について考える。図３５（ｂ）で示した様に、ブリュースター角を超えると、マイクロレンズアレイの平均透過率が悪化していく。なす角θ１となす角θ２による補正後を考えると、補正後平均透過率は、式１、式３、式４より、
補正後Ｓ偏光透過率＝１−ＡＢＳ(Ｓｉｎ((θ５−θ４)＊π／１８０)／Ｓｉｎ((θ５＋θ４)*π／１８０))
補正後Ｐ偏光透過率＝１−ＡＢＳ(Ｔａｎ((θ５−θ４)＊π／１８０)／Ｔａｎ((θ５＋θ４)*π／１８０))
補正後平均透過率＝（補正後Ｓ偏光透過率＋補正後Ｐ偏光透過率）／２
・・・式１１
で表せる。

ブリュースター角が最も透過率が高いので、全体でその部分がどの程度、照度ムラになるかは式１１を用いて
照度ムラ＝補正後平均透過率／ブリュースター角での補正後透過率・・・式１２
で表せる。照度ムラを縦軸、マイクロレンズアレイの曲率Ｒを横軸に取ったときの関係を図３８（ａ）に示す。面内の照度ムラを抑えるには第１５の形態として、以下の条件
Ａｔａｎ（１／ｎ）＞＝Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１））
・・・式１３
を満たす必要がある。これはマイクロレンズアレイのレンズをｆθレンズで設計した場合であるが、式１３を満たしていれば、接眼光学系４９から、どの場所を見ても、殆ど照度ムラは無くなることが分かる。

以上、式５、式１０、式１３を用いた各値を縦軸、マイクロレンズアレイの曲率Ｒを横軸にしてまとめたのが図３８（ｂ）である。前記拡大リレー光学系４７からの入射光と前記スクリーン５０と直交する方向のなす角θ１、前記視野角に必要な前記接眼光学系４９への射出光と前記スクリーン５０と直交する方向のなす角θ２がある広視野角ヘッドマウントディスプレイに於いては、マイクロアレイレンズをスクリーン５０として用いる場合、効率良く照度ムラなく、全ての目の視線に対して映像情報を確実に提供する必要がある。その為には、この様な設計上の制約があり、本発明では、その制約を満たす条件を提供することで、性能の高いヘッドマウントディスプレイを開発できることを示している。尚、この３式から導き出された理想的なマイクロアレイレンズの曲率Ｒは８．５μｍであるが、製造公差、装置として必要な仕様、被験者とヘッドマウントディスプレイ設置誤差により、条件が異なる。よって、その条件に応じてマイクロアレイレンズの曲率Ｒを設定するのが望ましい。

以下においては、本発明の構成を図１で説明する。図１に於いて、被験者３０は頭部に広視野角ヘッドマウントディスプレイ１を装着し、左手に手袋２Ｌ、右手に手袋２Ｒを着けている。同ヘッドマウントディスプレイ１にはモーションキャプチャー用マーカ４、手袋２Ｌ、２Ｒにはマーカ５が所定の配置で取り付けられている。ヘッドマウントディスプレイ１には、ヘッドマウントディスプレイとほぼ同じ視野角を有する広視野角カメラ３も中央部に１台取り付けられており、目の前にある手袋２Ｌ、２Ｒの画像が取り込める様になっている。尚、このカメラには、緑を基調としたＬＥＤ照明部もあり、緑色の手袋２Ｌ、２Ｒを照明することで、暗い場所や照明のムラがある場所でも、影等に影響されずに、手袋２Ｌ，２Ｒの緑部分の画像がきちんと取り込める様に画像処理装置２８で制御されている。

頭部の上に配置されている４つのモーションキャプチャー用センサー部６には赤外のＬＥＤ照明があり、マーカ４、マーカ５を照明することで、同センサー部６のＣＭＯＳ部で２次元のマーカ画像を取り込める様にモーションキャプチャー制御装置２９で制御されている。このモーションキャプチャー制御装置２９は、４つのモーションキャプチャー用センサー部６から取り込んだマーカをステレオ画像処理法により解析し、それぞれのマーカの位置座標を正確に計測できる。マーカ４、マーカ５共に、数か所にマーカが配置されており、その配置形状からヘッドマウントディスプレイ１の位置、手袋２Ｌ、手袋２Ｒの３次元座標（ｘ、ｙ、ｚ）と、３軸回転（θｘ、θｙ、θｚ）を数ｍｍ、数ｍｒａｄという精度でモーションキャプチャー制御装置２９によりそれぞれ計測できる構成となっている。

尚、モーションキャプチャー制御装置２９には、予めヘッドマウントディスプレイ装置１と被験者３０の両目の相対距離がオフセットとして記憶されている。更に、手袋２Ｌ、２Ｒの位置と両手の平の基準位置についても、相対距離がオフセットとして記憶されている。よって、モーションキャプチャー制御装置２９からの出力は、同オフセットが加味された、仮想空間内の、被験者の両目の３次元座標と３軸回転、両手の手の平の基準位置の３次元座標と３軸回転となる。

具体的には、３次元仮想空間表示制御装置２７は、被験者の両目の３次元座標（Ｘｅｙｅ、Ｙｅｙｅ、Ｚｅｙｅ）と、３軸回転（θｘｅｙｅ、θｙｅｙｅ、θｚｅｙｅ）に基づき、ソフトウェア内に記憶されている仮想空間内で被験者からの視線であたかも仮想空間を見ている様に被験者に錯覚させる為、３次元空間に観測位置を設定する。また、左手の平の基準位置の３次元座標（Ｘｌ、Ｙｌ、Ｚｌ）と、３軸回転（θｘｌ、θｙｌ、θｚｌ）、右手の平の基準位置の３次元座標（Ｘｒ、Ｙｒ、Ｚｒ）と、３軸回転（θｘｒ、θｙｒ、θｚｒ）は、前記三次元モデリングされたＣＧ画像による仮想空間上に表示される、三次元モデリングされたＣＧ画像の左右の手を独立に動かす為のデータである。仮想空間内に両手の３次元座標、回転座標に応じた位置に両手のモデルを配置する。

本発明では更に指の動きを三次元モデリングされたＣＧの左右の指に反映させる。同画像処理装置２８は、モーションキャプチャー制御装置２９から、被験者の両目の３次元座標（Ｘｅｙｅ、Ｙｅｙｅ、Ｚｅｙｅ）と、３軸回転（θｘｅｙｅ、θｙｅｙｅ、θｚｅｙｅ）、左手の平の基準位置の３次元座標（Ｘｌ、Ｙｌ、Ｚｌ）と、３軸回転（θｘｌ、θｙｌ、θｚｌ）、右手の平の基準位置の３次元座標（Ｘｒ、Ｙｒ、Ｚｒ）と、３軸回転（θｘｒ、θｙｒ、θｚｒ）の情報を受け取る。予め記憶されているカメラ３の視野角とカメラ３と両目のオフセット量を考慮した上で、カメラ３上に表示される両手の位置と回転量を推測し、その部分を切り取った上で回転・倍率補正して規格化する。

この規格化の意味は、画像を回転補正後、倍率補正も画像を加工する方法を取っても良いし、倍率補正値を記憶し、その補正値で検出結果を補正する方法でも良い。規格化された手袋２Ｌ、２Ｒの画像は、画像処理装置２８により手袋上の単色部（ここでは緑色）とそれ以外の映像で２値化される。更に、画像処理装置２８のデータベース部に格納されている各指の特徴点と検出された各指の特徴点を照合することで、各指の形状を推測する。その各指の形状に対応した関節情報をベータベース部より取り出し、３次元仮想空間表示制御装置２７に各指の関節情報を送信する。３次元仮想空間表示制御装置２７は各指の関節情報に基づき、三次元モデリングされたＣＧの左右の指を駆動する。

最終的には、三次元モデリングされた仮想空間ＣＧ内で、三次元モデリングされたＣＧの左右の手及び指が観測位置から見て正確に混在した画像としてヘッドマウント画像表示制御装置２６に送信される。ヘッドマウント画像表示制御装置２６は、被験者３０の目で見て不自然な部分が無い様に、ディストーション補正や画像処理を行った上で、ヘッドマウントディスプレイ１の左右の２次元画像表示部上に画像を表示することで、仮想空間を３次元画像として被験者３０に見せることが可能となる。

次に、データベース部に格納されている各指の特徴点と、検出された特徴点の照合について詳しく説明していく。
図１０（ａ）はデータベースｂｎ（ｎ＝１、２、３、・・・・、Ｎ）の特徴点（親指の緑部の最上点：親ｔｏｐｂｎ（ｘ、ｙ）、最下点：親ｂｏｔｔｏｍｂｎ（ｘ、ｙ）、最左点：親ｌｅｆｔｂｎ（ｘ、ｙ）、最右点：親ｒｉｇｈｔｂｎ（ｘ、ｙ））と、計測された指の特徴点（親指の緑部の最上点：親ｔｏｐ（ｘ、ｙ）、最下点：親ｂｏｔｔｏｍ（ｘ、ｙ）、最左点：親ｌｅｆｔ（ｘ、ｙ）、最右点：親ｒｉｇｈｔ（ｘ、ｙ））との比較に関するイメージ図を示している。

親ｔｏｐｂｎ（ｘ、ｙ）＝（親ｔｏｐ値ｂｎｘ、親ｔｏｐ値ｂｎｙ）と定義し、他の値も同様に表す。親指を例とすると、各値を見つける最初の条件式１が、成り立つ必要がある。

親ｌｅｆｔ値ｘ＜＝親ｔｏｐ値ｘ、親ｂｏｔｔｏｍ値ｘ＜＝親ｒｉｇｈｔ値ｘ
親ｂｏｔｔｏｍ値ｙ＜＝親ｌｅｆｔ値ｙ、親ｒｉｇｈｔ値ｙ＜＝親ｔｏｐ値ｙ
・・・・・・式1４

式１４を満たした特徴値に対し、式１５がデータベースの四角形データと計測された四角形値の比較式となる。この条件を満たした場合、最終的な判断は式１６のＣＯＭＰｎの値が許容値以内のものとなる。
親ｔｏｐ許容値＞＝Ａｂｓ(親ｔｏｐ値ｙ−親ｔｏｐ値ｂｎｙ)
親ｂｏｔｔｏｍ許容値＞＝ Ａｂｓ(親ｂｏｔｔｏｍ値ｙ−親ｂｏｔｔｏｍ値ｂｎｙ)
親ｌｅｆｔ値許容値＞＝ Ａｂｓ(親ｌｅｆｔ値ｘ−親ｌｅｆｔ値ｂｎｘ)
親ｒｉｇｈｔ値許容値＞＝ Ａｂｓ(親ｒｉｇｈｔ値ｘ−親ｒｉｇｈｔ値ｂｎｘ)
・・・・・・式１５

ＣＯＭＰｎ＝√（(親ｔｏｐ値y−親ｔｏｐ値ｂｎｙ) ^2＋(親ｂｏｔｔｏｍy−親ｂｏｔｔｏｍｂｎｘ) ^2+(親ｌｅｆｔ値x−親ｌｅｆｔ値ｂｎｙ) ^2＋(親ｒｉｇｈｔ値x−親ｒｉｇｈｔ値ｂｎｘ) ^2・・・・・・式１６

但し、画像は全ての指のデータが入っているので、それぞれ検出された特徴点のどれがどの指かの識別を行う必要がある。その識別は各指が移動できる領域をデータベースで保持しておき、その領域内で特徴点が検出されるか否かで判断される。図１０（ｂ）は緑色でベースラインと親指部を着色している白い手袋を用いて、ＰＣの前でデータベースを作成している様子を示す。基準点を求め、親指の各特徴点の位置を校正し、基準点からの相対座標として規格化してから４角形で表示している。その為、データベースを取る際に、手が動いても問題無く４角形を算出できているのが分かる。尚、データベースについてはより詳しく後述する。

図１１は、２次元画像データの緑手袋部分を２値化したデータである。ｘ軸、ｙ軸共に、２値化データ（１：白、０：黒）の１の部分の最大値、最小値をプロットした１次元データを作り、微分法にてスロープ信号を作成する。判り難いので、白黒反転して説明しているのが図１２（ａ）であり、図１２（ａ）ではその特徴点の検出と移動領域を示している。

スロープ信号は傾きがプラスの場合ピーク信号、マイナスの場合ボトム信号となる。ｘ軸上の１次元データからは親ｌｅｆｔ（ｘ、ｙ）、親ｒｉｇｈｔ（ｘ、ｙ）が検出され、ｙ軸上の１次元データからは親ｔｏｐ（ｘ、ｙ）、親ｂｏｔｔｏｍ（ｘ、ｙ）が検出される。それぞれピーク信号１３，１４とボトム信号１２，１５の違いにより、親ｌｅｆｔ値と親ｒｉｇｈｔ値、親ｔｏｐ（ｘ、ｙ）と親ｂｏｔｔｏｍ（ｘ、ｙ）の区別も可能である。

それぞれ信号強度は異なるが、所定の大きさの信号を検出すると、図１２（ｂ）に示す様な特徴点が指の輪郭上で算出される。○は信号強度が強いもので、×が信号強度の弱いものである。○がある場合は○を優先して特徴点を検出していくが、有効なものが無い場合は、×も候補として特徴点の検出を行なう。

図１２（ａ）には親ｔｏｐ（ｘ、ｙ）が移動可能な範囲を親ｔｏｐ境域１７、人指ｔｏｐ値が移動可能な範囲を人指ｔｏｐ境域２１、中ｔｏｐ（ｘ、ｙ）が移動可能な範囲を中ｔｏｐ境域２２、薬ｔｏｐ（ｘ、ｙ）が移動可能な範囲を薬ｔｏｐ境域２３、小ｔｏｐ（ｘ、ｙ）が移動可能な範囲を小ｔｏｐ境域２４で示している。親指の特徴点の検出はこの移動範囲から行われるので、移動範囲が重なる十字印２５の中に親指ｔｏｐ（ｘ、ｙ）と人指ｔｏｐ（ｘ、ｙ）が存在する様な指の動かし方以外は、それぞれの特徴点が誤認識されることは無い。

図１３には、親指を例として、親ｔｏｐ境域１７の計測と同時に計測する、親ｂｏｔｔｏｍ境域１８、親ｌｅｆｔ境域１９、親ｒｉｇｈｔ境域２０が示されている。親指の移動領域内で、式１の条件を満足するものが、親ｔｏｐ（ｘ、ｙ）、最下点：親ｂｏｔｔｏｍ（ｘ、ｙ）、最左点：親ｌｅｆｔ（ｘ、ｙ）、最右点：親ｒｉｇｈｔ（ｘ、ｙ）として検出される。その他の指についても同様の方法で特徴点が決定される。

しかし、前述の移動範囲が重なる十字印２５の中に親指ｔｏｐ（ｘ、ｙ）と人指ｔｏｐ（ｘ、ｙ）が存在する様な指の動かし方では、それぞれの移動領域内に複数の特徴点が発生する。図１４（ａ）は、人差し指の形状が親指の移動範囲に入ってきたときを示している。本来の親指の特徴点は十字印であるが、人指し指の特徴点によって決まる四角形の形状が、図１４（ｂ）の親指の特徴点で決まる四角形に似ていることが分かる。よって、親指のみデータベースと照合していくと、図１４（ａ）のシルエットに対し、２通りの親指の形状が得られることになる。

次に同様の照合を人差し指に対して行うと、図１４（ａ）では人差し指の移動領域には１通りの人差し指の形状しか無いことが確認できる。この場合は、○印で表される特徴点が人差し指であることが認定されるので、親指の形状は十字印の特徴点（図１４（ａ））であることが認定できる。一方、図１４（ｂ）では、親指も人差し指も選択は一通りしかなく、共通であると認定される。この場合は図１４（ｂ）の様に、親指と人差し指が重なっていると認定されることになる。

次に、図１４（ｂ）の状態から、人指し指を伸ばした場合を図１５では示している。人指し指を伸ばすと、親指ｔｏｐ（ｘ、ｙ）と人指ｂｏｔｔｏｍ（ｘ、ｙ）の位置が重なるので、共にその特徴点を見つけられない可能性がある。但し、他の特徴点は検出できているので、残りの３点の特徴から指の形状を推定していく。親指の移動領域には１通りの親指の形状しか無く、親指の形状と認定できる。一方、人差し指の移動領域には２通りの人差し指形状が検出されている。但し、十字印で示された特徴点は親指の特徴点と共通なので、丸印で示された方が人差し指の形状であると認定することができる。この様に、各指の移動領域と特徴点を用いると、指のシルエットが重なったときでも誤認識無く、指形状の認定が可能となる。

図１６より、データベースの構成とその構築方法、指画像から検出された内容とベータベースの照合方法に関して詳しく説明していく。指の検出データは、カメラ３で撮像された手の映像をモーションキャプチャー制御装置２９から送られてきた情報に基づき、左右の手の画像データとして切り取られ、回転・倍率した後の規格化された画像に対し、特徴点算出を行う。もちろん、データベースも同様の規格化された画像データより特徴点を算出している。図１７はＹ軸周りの回転Ｙθについて示しているが、これは前述のカメラ３から切り取る画像の回転補正を行えば、同じ指形状となる為、１つのデータベースで良いことを示している。

また、データベースを作る際の手は標準的な手の大きさが用いられている。その為、手の細い人、手の大きい人、指の長い人、短い人に対する照合が難しいことが考えられる。そこで本発明では、上記の手袋は伸縮性のある素材を用い、被験者が最初に手を思いっきり広げた状態で、全指の特徴点を計測し、データベース内の手を思いっきり広げた状態の全指の特徴点と比較、それぞれの特徴点に対する伸縮量をＸ、Ｙ軸独立で計測する。それ以降の照合は、この伸縮量を用いて補正する。これにより、手の大きさや指の長さ、細さによるデータベースと検出結果の誤差は最小限に抑えられていることを前提とする。

図１６はＸ軸周りの回転Ｘθ（０〜１００°）とＺ軸周りの回転Ｚθ（−９０〜９０°）のデータベースを示している。
手の動きについては、前述のモーションキャプチャー制御装置２９の結果に基づき行われる為、データベースは指先形状の推定のみである。よって、５°または１０°程度の間隔でデータベースを構成する。もちろん、細かい間隔でデータベースを構築しても良い。

図１８からは、図１５のデータベースの中でＸθ＝９０°、Ｚθ＝−９０°、Ｙθ回転補正後の場合を例として説明していく。図１８は、左の親指のデータベースを構築していく様子を示している。左手に親指とベースライン１２のみ緑色部で塗られた黒い手袋を着け、右手にはデータグローブを着けている。右の親指と左の親指をＹＺ面対称に同じ動きをさせながら、カメラ３で手の画像データを連続して取り込んでいる。

カメラ３からの画像データからベースライン１２を検出、基準点十字印の位置を決定、親ｔｏｐ（ｘ、ｙ）、親ｂｏｔｔｏｍ（ｘ、ｙ）、親ｌｅｆｔ（ｘ、ｙ）、親ｒｉｇｈｔ（ｘ、ｙ）を順次求め、記憶していく。それと同時に右手のデータグローブからは、親指の関節情報を同時に記憶していく。

図１９（ａ）の様に、親ｌｅｆｔ（ｘ、ｙ）の検出を例とすると、最初に親指を大きく旋回させ、その輪郭上の結果を記憶していく。検出結果はコンピュータ上に逐次結果が更新されるので、その後、その内部を埋める様に親指を細かく動かしていく。図１９（ｂ）の様に、全ての内部が埋め尽くされるまで、親指の動きを繰り返す。

実際には並行して、親ｔｏｐ（ｘ、ｙ）、親ｂｏｔｔｏｍ（ｘ、ｙ）、親ｒｉｇｈｔ（ｘ、ｙ）の結果も同時にコンピュータ上に表示されるので、全ての指で内部が埋め尽くされた時点で親指の検出は終了する。最終的にデータベースの中で、同じ内容の結果を除いたものが、親ｔｏｐｂｎ（ｘ、ｙ）、親ｂｏｔｔｏｍｂｎ（ｘ、ｙ）、親ｌｅｆｔｂｎ（ｘ、ｙ）、親ｒｉｇｈｔｂｎ（ｘ、ｙ）となり、データベースの構築が終了する。この作業を全ての指で行うことで、Ｘθ＝９０°、Ｚθ＝−９０°の手の向きに関するデータベースが確定する。

これと同じ作業を、Ｘ軸周りの回転Ｘθ（０〜１００°）とＺ軸周りの回転Ｚθ（−９０〜９０°）の様に、手の向きを変えて全て実施する。この作業で全てのデータベースが確定する。

図２０、図２１には、データベースの構成が示されている。この例ではデータベースはｎ＝１〜１００の１００通りあり、各指の４角形を表す辺の座標データと親指認識線の角度情報、照合時に使用するＣＯＭＰ、更には各指の関節情報、各指の画像データアレイがデータベース上に記憶されている。

次に図２２を用いて、本データベースと指の画像取り込みによる結果の照合の方法について説明する。図１１及び図１２（ａ）で説明した通り、２次元画像データの緑手袋部分を２値化したデータに対し、ｘ軸、ｙ軸共に、２値化データ（１：白、０：黒）の１の部分の最大値、最小値をプロットした１次元データを作り、微分法にてスロープ信号を取る。画像データのスロープ信号は、傾きがプラスの場合ピーク信号、マイナスの場合ボトム信号となる。ｘ軸上の１次元データからはｌｅｆｔ（ｘ、ｙ）、ｒｉｇｈｔ（ｘ、ｙ）が検出され、ｙ軸上の１次元データからはｔｏｐ（ｘ、ｙ）、ｂｏｔｔｏｍ（ｘ、ｙ）が検出される。その特徴点と信号強度（ピーク値、ボトム値）を順次表に書き込んだものが図２２（ａ）である。但し、この時点ではどの指の特徴点かの区別はつかない。

次に親指を例にとると、データベース親ｌｅｆｔｂｎ（ｘ、ｙ）と検出値ｌｅｆｔ（ｘ、ｙ）を比較し、親指の移動領域内の特徴点であるかを照合する。図２２（ｂ）はその照合結果であり、内部の２点が親ｌｅｆｔ（ｘ、ｙ）として認定される。この作業を、検出結果ｒｉｇｈｔ（ｘ、ｙ）に対してはデータベース親ｒｉｇｈｔｂｎ（ｘ、ｙ）、検出結果ｔｏｐ（ｘ、ｙ）に対してはデータベース親ｔｏｐｂｎ（ｘ、ｙ）、検出結果ｒｉｇｈｔ（ｘ、ｙ）に対してはデータベース親ｒｉｇｈｔｂｎ（ｘ、ｙ）、検出結果ｂｏｔｔｏｍ（ｘ、ｙ）に対してはデータベース親ｂｏｔｔｏｍｂｎ（ｘ、ｙ）と照合していく。

他の指についても同様の照合を実施し、照合された特徴点を表にしたのが図２３である。これは図１２に示した様な、各指が干渉無く離れている場合の例であり、特徴点による４角形が全て検出されているときの結果である。親指はｎ＝２，３、人差し指はｎ＝６、７、８、中指はｎ＝１３，１４，１５、薬指はｎ＝３，４、小指はｎ＝１７，１８のデータベースに格納された指形状であることが推定される。式１、式２をそれぞれ満たしている指形状の候補となる。

但し、指関節の特定には、１つの指形状に特定する必要があり、そこで照合されたものに対し式３を行い、ＣＯＭＰの最も小さい親指はｎ＝２、人差し指はｎ＝７、中指はｎ＝１４、薬指はｎ＝３、小指はｎ＝１８が最終的に照合された指形状となる。特定された指形状と一緒に格納された指の関節情報を３次元仮想空間表示制御装置２７に送ることで、一連のシーケンスが終了する。

図２４には、図１５で示した様な、指が干渉している場合の照合結果を示す。親ｔｏｐｂｎｙの欄を見ると判る様に、親ｔｏｐｎｙと照合された検出結果が無く、特徴点による４角形が検出できていないことが分かる。この場合は、３辺の検出ができているｎ＝８９，９０，９１が指形状の候補となる。親指については、データベースの中に、親指認識線という欄があり、その線の傾きがデータベース内に格納されている。ここでは候補の中で、親指認識線角度が検出結果と近いｎ＝９０の親指形状が選択されている。

一方、人差し指も４角形が検出できているものは無く、中ｂｏｔｔｏｍｂｎ（ｘ、ｙ）以外の３辺が検出されているｎ＝６，７，８と、中ｔｏｐｂｎ（ｘ、ｙ）以外の３辺が検出されているｎ＝９０，９１がその候補となっている。しかし、既に照合が終わっている親指の形状と、ｎ＝９０，９１は同一の場所であり、中指はｎ＝６，７，８の別の指情報も検出されているので、ｎ＝９０，９１は中指の候補から外される。ｎ＝６，７，８については、検出できていない中ｂｏｔｔｏｍｂｎ（ｘ、ｙ）以外の辺を用いて式３の計算が行われ、ＣＯＭＰの最も小さいｎ＝７が最終的に照合された指形状となる。

次に、図２９及び図３０を用いて、２次元型画像形成装置から射出された三次元モデリングされたＣＧによる仮想空間画像を、被験者３０の左右両目に対し視野角±６０°以上の広域像で眼球内の網膜上に投影する広視野角ヘッドマウントディスプレイ装置１の構造を説明する。
図２９は、被験者３０が広視野角ヘッドマウントディスプレイ装置１を装着しているときの側面図を示す。

広視野角ヘッドマウントディスプレイ装置１は、照明系、２次元型画像形成装置及びその制御基板、画像をスクリーンに投影する拡大光学系を有し、スクリーンの透過像を、接眼レンズを介して両目に独立に表示する機能を有する装置である。画像を光軸がずれない様に被験者３０の両目に表示する為、骨格は軽量でしっかりした剛性のアルミ素材が使われている。そのアルミフレームを被験者３０にしっかりと固定する為に、固定用マジックテープ（登録商標）３２、３４、３７、４０が被験者のかぶる帽子３１とフレーム部を所定の位置関係になる様に連結している。

また、十字印３６は、広視野角ヘッドマウントディスプレイ装置１の重心位置を示す。その重心位置から、帽子３１に対して斜め方向から固定用マジックテープ（登録商標）３３、３５で連結している。これは被験者３０が上を向いても、下を向いても重心支持となる様に工夫されている為である。また、マジックテープ（登録商標）３７には連結環３８があり、帽子３１とフレームの間をアゴパット３９の方向からマジックテープ（登録商標）を引っ張ることで、締めることができる構成である。顔の左右からのマジックテープ（登録商標）３７をアゴパット３９の位置で連結することで、顔の動きに依存せず、フレームが被験者３０にしっかりと固定される。通常のヘルメットとほぼ同じ頭上の延長線上に重心位置がある為、長時間装着しても疲れない構造となっている。

図３０は被験者３０が広視野角ヘッドマウントディスプレイ装置１を装着しているときの上面図であり、前述のフレームを除いた光学系を示している。照明光学系４６Ｌ、４６Ｒは外部に設置された光源またはＬＥＤの射出光を所定の条件とし、均一化する役割を果たす。光はＲＧＢの３色であり、Ｘプリズム系４５Ｌ、４５Ｒの中にあるＰＢＳ部（偏光ビームスプリッタ）で偏向され、ＲＧＢのＬＣＯＳ４４Ｌ、４４Ｒ（Ｒ、Ｇ、Ｂは独立のＬＣＯＳであるが、紙面と直交方向なので図示せず）を照明する。２次元型画像形成基板４２Ｌ、４２Ｒは電源基板４３から電気を供給され、ＬＣＯＳ４４Ｌ、４４Ｒから映像が射出される様にＬＣＯＳ４４Ｌ、４４Ｒを制御する。

ＬＣＯＳ４４Ｌ、４４Ｒからの映像情報を有する射出光は、Ｘプリズム系４５Ｌ、４５Ｒの中にあるＰＢＳ部を介してＸプリズム部でＲＧＢが合成された後、片テレセントリックタイプの拡大リレー光学系４７Ｌ，４７Ｒを介し、偏向ミラー４８Ｌ、４８Ｒにより偏向され、スクリーン５０Ｌ、５０Ｒ上にＬＣＯＳ４４Ｌ、４４Ｒで形成された映像を拡大投影する。このときのスクリーン５０Ｌ、５０Ｒの片面には、図３３、図３４で説明した様なマイクロアレイレンズが形成されている。カメラ３は本発明の第１〜第１０の実施形態において、本ヘッドマウントディスプレイを利用する場合に、偏向ミラー４８Ｌ、４８Ｒの間に設置される。

スクリーン５０Ｌ，５０Ｒを透過した透過像は、視野角が６０〜１４０°の接眼光学系４９Ｌ、４９Ｒを介して、被験者３０の左右の眼球内の網膜上にＬＣＯＳ４４Ｌ、４４Ｒの画像情報を再投影する。この接眼光学系４４Ｌ、４４Ｒの視野角に必要な前記接眼光学系への射出光と、前述のスクリーンと直交する方向のなす角θ２はスクリーン上の点Ｐが最も大きい。その点Ｐでの拡大リレー光学系４７Ｌ，４７Ｒからの入射光と前記スクリーンと直交する方向のなす角はθ１であり、マイクロアレイレンズの発散角はθ１＋θ２以上となる様に、マイクロアレイレンズのピッチ及び曲率が設計されている。

［発明の効果］
以上の様に本発明の第１から第１０実施形態に於いては、手の各指を背景の映像と分離容易な単色で覆うと共に、単色で覆われた各指に対応した部分とそれ以外の部分に分離して、前述の各指に対応した部分の特徴を検出し、各特徴とその際の指毎の状態をデータベースとして記憶すると共に、検出対象の各指の状態に対して前記特徴を検出し、前記データベースと照合しているので、誤認識無く、正確に指の形状を推測することができる。

特に、図２５の様に、手が横向きであり指の特定が困難な場合、各指の単色で覆う部分を第２関節と第３関節に分けることで、認識が簡単になる。図２５Ａは人差し指を伸ばしているときの図であり、図２５Ｂは中指を伸ばしているときである。上の図が本来検出したい特徴点（十字印）であるが、目で見ればその場所を特定できる。しかし、指のシルエットが重なる場合、上の様に簡単に分離できず、実際には丸印の様に検出できない部分が発生する。しかし、人差し指は第３関節まで単色で覆っているのに対し、中指は第２関節までしか覆っていない。この差によって下図の様に、人差し指と中指の識別が容易となり、特徴点を検出し易くしている。

図２６は、手に何かものを持っている場合の指形状検出である。図２６Ａの下図は工具を持っているときの特徴点（十字印）の検出であり、図２６Ｂの下図は封筒を持っているときの特徴点の検出結果を示している。本来、図２６Ａ，Ｂの上図の様に、各指４角形の特徴点を検出できるはずが、物を持っている為に、丸印の部分で誤検出や検出できない特徴点が存在しているのが分かる。しかし、各指とも指の先の特徴点の検出が少なくとも２点でできていることが分かる。

図２７ではこの点について実験を行った様子を示している。図２７（ａ）は、手首を固定し、指の先をもう一方の指で固定している。指先を固定しているだけなのに、第１、第２、第３関節も動かせないことが分かる。これは指先近傍の特徴点の検出ができれば、指の形状も推測できることを意味する。

図２７（ｂ）は、指を動かしたときの特徴点がどの部分の影響を受けているかを示している。第３関節及び第２関節で決められた特徴点（丸印）はあまり大きく動いていないが、指先を動かすことで、指先及び第１関節で決められた特徴点（十字印）は大きく動き、４角形も大きく変化することが分かる。即ち、図２６Ａ、Ｂの下図の様な物を持っている場合でも、指先若しくは第１関節近傍で決まる特徴点を検出できれば第２、第３関節の情報が無くても、指の形状を推測できるという効果がある。

特に図２７（ｂ）は基準点も隠れているが、ベースライン１２は高さがＢＬｈｅｉｇｈｔ、ＢＬｗｉｄｔｈと決まっており、モーションキャプチャー制御装置２９からの情報で回転補正が行われているので、基準点位置の推定も可能である。

尚、今回説明したデータベースについては、お互いの指が干渉しない条件で特徴点を計測しているが、各指の検出領域が決定されれば、本シーケンスが実行できるので、お互いの指が干渉した状態でデータを取り、算出された特徴点をデータベースとして格納しても良い。図２８は人差し指、中指、薬指が重なっているときの様子を示す。図２８（ａ）は人差し指と薬指が前にある場合であり、（ｂ）は中指が前にある場合である。第２、第３関節近傍の特徴点の間隔が狭くなるという特徴で区別できるが、指先付近の特徴点は複雑であり、誤検出する可能性も高い。データベースにこの２つの指形状の特徴点があれば、誤検出無く、指形状を再現できる。この様に、検出が難しいと思われる指形状については、データベースに登録することで、更に難しい指形状の推定が可能となる。

また、指の検出領域は殆どの場合、隣り合う指と親指の干渉である。よって、本発明の第３の実施形態を利用して、親指を指毎にその覆う単色を分離可能な様に複数色とする。例えば、完全な緑［２５５、０、２５５、０］で親指を覆い、青みがかった緑［２５５，０、２５５、１２０］で人指し指と薬指を覆い、黄色がかった緑［２５５、１２０、２５５、０］で中指と小指を覆う様にする。それぞれの色に近い色で２値化すると、簡単に各指を分離した状態で特徴点が検出でき、誤検出が殆ど無くなるという効果も発生する。
また、両手が重なることも考えられる。この場合も、右と左の単色を変えることで、容易に分離できるという効果がある。

一方、本発明の第１１から第１５の実施形態に於いては、スクリーン５０上のマイクロアレイレンズの拡散角がθ１＋θ２以上になる様に設計されているので、きれいな映像を高い照度で見ることが可能となっている。尚、本発明はヘッドマウントディスプレイに適用するものであるが、広視野角で三次元モデリングされたＣＧによる仮想空間画像を見る方法としては、被験者ではなく、地面設置型の画像表示装置を除く方法もある。更には両目では無く、片目で覗き込む場合も接眼光学系とマイクロアレイレンズによるスクリーンを使用することで、同様の効果が期待できる。よって、本発明の範囲に含むものである。

更には、本発明は拡大リレー光学系として片テレセントリックのものを利用しているが、拡大リレー光学系にはＬＣＯＳ側がテレセントリックではない両非テレセントリック光学系もある。これはθ１がある以上、当然本発明に含まれる。また、視野角が６０°程度の場合、両テレセントリック光学系で拡大光学系を設計できることもある。この場合も、θ１＝０とすれば、本発明の数値条件を満たすので、同様の効果が期待できる。よって、本発明に含まれるものである。

尚、本発明では図３３（ｅ）、（ｆ）の様に、凸レンズと凹レンズを例として説明している。基本的には凸レンズのみのマイクロレンズアレイ、凹レンズのみのマイクロレンズアレイの方が、接触する辺部の効率が良いが、無論、交互に設置しても本発明の効果は得ることができる。更には本発明ではｆθレンズと球面レンズのみの説明しかしていないが、コーニック定数や高次の制御を行う非球面レンズについても、ほぼ同等の効果が得られるものであれば、本発明に含まれるものである。

また、本発明ではマイクロレンズアレイに多角形形状を用いているが、図４１（ａ）に示す様な方法で、球面でθ１＋θ２の発散角を得る構成も可能である。図４１（ａ）は、球面以外の平面部５３に光を透過しない金属面を蒸着している例である。この場合は、曲面のみしか持たないマイクロアレイレンズ部のみしか光が透過しないので、正六角形形状の本発明と同等の効果がある。また、図４１（ｂ）に示すように、その平面部５３に急な傾斜を持つ（Ｃ線の断面の側面図を下図に示している）構造５４にすると、光は全反射により外に光が出てこないので、同様に正六角形形状の本発明と同等の効果がある。図４１（ｃ）は、その平面部５３に急な傾斜を持つ（Ｃ線の断面の側面図を下図に示している）構造５５を複数配置している。この配列はランダムでも配列化されていても良い。光は全反射により外に光が殆ど出てこないので、同様に正六角形形状の本発明と同等の効果がある。よって、これらも本発明を応用した技術として本発明に含まれるものである。

更に、平行四辺形形状、ひし形形状等も同等の効果があるので、多角形として本発明に含まれる。この様に、本発明ではレンズ部以外の部分から光が殆ど漏れないか、拡散する方法も含めて多角形と定義している。

１・・・ヘッドマウントディスプレイ、２Ｒ，２Ｌ・・・緑色の手袋、３・・・カメラ、４，５・・・マーカ、６・・・モーションキャプチャー装置、７・・・ＣＧ画像による仮想空間、８・・・モデリングされたＣＧ画像の手、９・・・手首固定部、１０・・・アーム、１１・・・カメラ、１２・・・緑色のベースライン、２６・・・ヘッドマウント画像表示制御装置、２７・・・３次元仮想空間表示制御装置、２８・・・画像処理装置、２９・・・モーションキャプチャー制御装置、３０・・・被験者、３１・・・帽子、３２、３３、３４，３５、３７、４０・・・固定用マジックテープ（登録商標）、３８・・・連結環、３９・・・アゴパット、４２Ｌ、４２Ｒ・・・２次元型画像形成基板、４３・・・電源基板、４４Ｌ、４４Ｒ・・・ＬＣＯＳ、４５Ｌ、４５Ｒ・・・Ｘプリズム系、４６Ｌ、４６Ｒ・・・照明光学系、４７Ｌ，４７Ｒ・・・片テレセントリックタイプの拡大リレー光学系、４８Ｌ、４８Ｒ・・・偏向ミラー、４９Ｌ、４９Ｒ・・・接眼光学系、５０Ｌ，５０Ｒ・・・スクリーン

Claims (15)

1. 三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する方法であって、
   手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、
   各指に対応した前記部分の第１の特徴を検出し、前記第１の特徴とその際の指毎の状態をデータベースとして記憶するステップと、
   被験者の手の各指を背景の映像と分離容易な単色で覆うと共に、前記単色で覆われた各指に対応した部分とそれ以外の部分に分離するステップと、各指に対応した前記部分の第２の特徴を検出し、前記データベースの第１の特徴と照合するステップと、
   照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御するステップと、を有することを特徴とする、三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
2. 前記手の各指を背景の映像と分離容易な単色で覆うステップは、指毎にその覆う範囲を識別可能な様に異ならせることを特徴とする請求項１に記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
3. 前記手の各指を背景の映像と分離容易な単色で覆うステップは、指毎にその覆う単色を識別可能な様に複数色とすることを特徴とする請求項１に記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
4. 前記仮想空間を表示する映像表示手段はヘッドマウントディスプレイであり、前記指を撮影するカメラは前記ヘッドマウントディスプレイに設置することを特徴とする請求項１に記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
5. モーションキャプチャー技術により手の甲に取り付けられたマーカ及び、前記ヘッドマウントディスプレイに取り付けられたマーカを検出し、前記カメラから得られる映像の中の手の座標及び回転角を推定し、その結果に基づき、前記映像の中から手の映像を抽出することを特徴とする請求項４に記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
6. 前記指を撮影するカメラは前腕に固定されていることを特徴とする請求項１記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
7. 単色で覆われた前記部分の第１及び第２の特徴は、手の一部に設置された、単色で覆われた部分の検出位置に基づき決定された基準点からの座標情報を含むことを特徴とする請求項１に記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
8. 単色で覆われた前記部分の第１及び第２の特徴は、前記部分のそれぞれの輪郭が内接若しくは外接する多角形の頂点または辺の座標を含むことを特徴とする請求項１記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
9. 前記データベースの指毎の状態は単色で覆われた前記部分の第１及び第２の特徴部分の移動領域情報と、各関節情報を含むことを特徴とする請求項１記載の三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する方法。
10. 三次元モデリングされた第１のＣＧ画像による仮想空間の中に、モーションキャプチャー技術を用いて現実空間での手の位置を検出し、その結果に基づき三次元モデリングされた第２のＣＧ画像の手を表示すると共に、前記第２のＣＧ画像の各指の動きについては、現実空間での被験者の指をカメラで撮影して、前記カメラで撮影した各指の画像から推定した各指の形状と同じ形状になる様に、前記第２のＣＧ画像の各指の動きを制御する装置であって、
    手の各指を背景の映像と分離容易な単色で覆った手袋と、同手袋を撮影するカメラと、
    前記単色で覆われた部分の第１の特徴とその際の指毎の状態をデータベースとして記憶する記憶装置と、
    前記単色で覆われた部分とそれ以外の部分に分離し、前記単色で覆われた部分の第２の特徴を検出し、前記データベースの第１の特徴と照合する演算装置と、
    照合した結果に基づき、前記データベースより指毎の状態を求め、前記第２のＣＧ画像の各指の動きを制御する制御装置を有することを特徴とする、三次元モデリングされた第１のＣＧ画像内に第２のＣＧ画像の手指を表示する装置。
11. ２次元型画像形成装置から射出された三次元モデリングされたＣＧによる仮想空間画像を、それぞれ第１（右眼用）、及び第２（左目用）のスクリーンに投影する第１（右眼用）、及び第２（左目用）の拡大リレー光学系と、前記第１及び第２のスクリーンの透過像を、それぞれ、第１（右眼用）、第２（左目用）の接眼光学系を介して左右両目に対し視野角±６０°以上の広域像で眼球内の網膜上に投影する広視野角ヘッドマウントディスプレイ装置であって、
    前記スクリーンは多角形のマイクロアレイレンズを敷き詰めて構成され、スクリーン上の任意の位置で、前記拡大リレー光学系からの入射光と前記スクリーンと直交する方向のなす角をθ１、前記視野角に必要な前記接眼光学系への射出光と前記スクリーンと直交する方向のなす角をθ２としたとき、前記マイクロアレイレンズからの発散角をθ１＋θ２以上にすることを特徴とする広視野角ヘッドマウントディスプレイ装置。
12. スクリーン上での前記仮想空間画像の画素の大きさをＰ、前記マイクロアレイレンズの内接円の直径をＷとしたとき、以下の条件
    Ｐ＞＝Ｗ
    を満たすことを特徴とする請求項１１記載の広視野角ヘッドマウントディスプレイ装置。
13. 前記マイクロアレイレンズの内接円の直径をＷ、レンズ部の屈折率をｎ、レンズ曲率の絶対値をＲとしたとき、以下の条件
    ｎ＊Ｓｉｎ（Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１））＜＝１
    を満たすことを特徴とする請求項１１記載の広視野角ヘッドマウントディスプレイ装置。
14. 以下の条件
    Ａｓｉｎ（ｎ＊Ｓｉｎ（Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１）））＞＝Ａｓｉｎ（Ｗ／２／Ｒ）＋θ２
    を満たすことを特徴とする請求項１３記載の広視野角ヘッドマウントディスプレイ装置。
15. 以下の条件
    Ａｔａｎ（１／ｎ）＞＝Ａｓｉｎ（Ｗ／２／Ｒ）−Ａｓｉｎ（１／ｎ＊Ｓｉｎ（θ１））
    を満たすことを特徴とする請求項１４記載の広視野角ヘッドマウントディスプレイ装置。