JP6676785B2 - バーチャル環境表示における視方向の設定方法 - Google Patents

Description

一連の実施例は当該バーチャル環境表示に関する。特に、一連の実施例は、バーチャル環境表示における視方向の設定方法に関する。

バーチャルリアリティー（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）と称されるものは、コンピュータ生成された対話型バーチャル環境とその物理的特性の当該表示と同時に知覚することである。没入感を生成するために、当該バーチャル環境表示を、ユーザに対し、例えば、ユーザの頭部に固定された表示装置を介して行うことができる。この種の装置は、ヘッドマウンテッドディスプレー（ＨＭＤ）、ヘッドマウンテッドディスプレーユニット又はヘッドマウンテッドユニット（ＨＭＵ）として知られている。当該表示装置は、当該バーチャル環境を、例えば、ニアアイ・スクリーンに表示し、又はそれを直接に当該ユーザの当該網膜上に投影する。その際、当該バーチャル環境表示における当該方向すなわち当該視方向は、横軸（ピッチ軸、ｐｉｔｃｈ ａｘｉｓ）を中心とした当該バーチャル環境表示の回転、長軸（ロール軸、ｒｏｌｌ ａｘｉｓ）を中心とした当該バーチャル環境表示の回転及び／又はヨー軸（垂直軸、正常軸、ｙａｗ ａｘｉｓ）を中心とした当該バーチャル環境表示の回転によって設定される。その際、当該横軸、当該長軸及び当該ヨー軸は互いに垂直をなしている。

当該バーチャル環境表示を当該ユーザの動きに合わせるために、つまり、当該ユーザの動きに応じて当該バーチャル環境を通過移動するために、当該ユーザの頭部の当該位置を検出することが可能である。例えば、当該バーチャル環境表示を適合させるために、当該実環境つまり当該実世界における当該ユーザの頭部の位置並びに方向を決定することができる。これに応じて、当該実世界における当該本人の当該知覚を減少させて、当該バーチャル環境との当該同一化を増大させることができる。当該ユーザの頭部の当該位置を検出するために、例えば、当該ユーザの頭部の個々の送信機から複数の遠隔受信機までの無線信号の当該伝搬時間を利用することが可能である。かくて、例えば、Ｔｉｍｅ−Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ａｒｒｉｖａｌ（ＴＤｏＡ）［到達時間差］法によって、当該送信機による当該無線信号の当該送信とそれぞれの当該受信機による当該無線信号の当該受信との間の異なった当該時間差から、一桁のセンチメートルレベルの精度で、当該ユーザの頭部の位置を決定することが可能である。その際、当該送信機は、例えば、当該ユーザの頭部に固定された表示装置に組み込まれているか若しくは当該ユーザの頭部に固定された表示装置とは別個に当該ユーザの頭部に取り付けられていてもよい。こうして、ユーザは、例えば、当該実環境中の自由な動きによって、当該バーチャル環境において表示された当該位置を変えることが可能である。別法として、例えば、カメラをベースとした方法、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴｏＦ）［飛行時間法］法、Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ（ＲＴＴ）［往復時間］法ないし慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ，ＩＭＵ）によって、当該ユーザの頭部の当該位置を検出することが可能である。

当該ユーザの頭部の当該方向は、当該ユーザの頭部に固定された当該表示装置の当該センサ機構（例えば、ジャイロスコープ、マグネトメータ、アクセレロメータ）を介して決定することができる。当該ユーザの頭部に固定された当該表示装置が、例えば、モバイル通信装置例えばスマートフォン並びに当該ユーザの頭部に当該モバイル通信装置を固定するための固定装置を有していれば、当該モバイル通信装置中に既に存在するセンサ機構を、当該ユーザの頭部の当該方向を決定するために利用することができる。したがって、ユーザは、例えば、当該実環境における当該頭部の回転又は傾倒によって、当該バーチャル環境における当該視方向を変化させることができる。当該実環境において当該頭部を回転させる際に、例えば、当該バーチャル環境における当該視方向は、当該ヨー軸を中心とした当該バーチャル環境表示の回転によって変化させられる。例えば、当該実環境における当該方向を十分安定的に決定するために、マグネトメータを使用することができる。当該実環境における一つの閉じた領域につき、例えば、一つの磁場マップを作成することができるため、相応してキャリブレーションされたマグネトメータを用いて、当該実環境における当該ユーザの頭部の当該方向を決定することが可能である。

ただし、上記のセンサ機構による当該ユーザの頭部の当該方向の当該決定は、方向エラーを結果することがある。例えば、時としてマグネトメータが誤った測定値を供給するために、測定された当該頭部方向は当該実環境における当該頭部の真の当該方向と一致しない。ジャイロスコープ及びアクセレロメータの当該測定値の結合による当該頭部の近似的な方向決定も、個々の当該センサ素子の測定エラーによって、測定ないし決定された当該頭部の当該方向と当該実環境における当該頭部の真の当該方向との間の食い違いを結果することがある。したがって、例えば、やや長期にわたる誤った測定値のコンビネーション及びインテグレーションが、決定された当該頭部の当該方向と当該実環境における当該頭部の真の当該方向との間の食い違いを結果することがある。また、当該センサ機構の当該回転速度の頻繁かつ激しい変化（例えば、当該頭部の緩慢な回転運動と迅速な回転運動との転換）も、決定された当該頭部の当該方向と当該実環境における当該頭部の真の当該方向との間の、時として、かなりの食い違いを結果することがあり、その際、当該エラーは当該回転速度変化の当該程度と共に高まる。相応して、当該測定値に基づく当該バーチャル環境表示の当該方向も偽化されている。

その際、当該バーチャル環境表示の当該ヨー軸を中心とした約±１５°までの、当該バーチャル環境表示における当該視方向の回転オフセットは、通常はユーザによって知覚されない。ユーザが、例えば、当該実環境において直進運動する際に、同人は、それゆえ、当該バーチャル環境表示における当該視方向がそれから約±１５°までずれていても（つまり、当該視方向が当該ヨー軸を中心として左ないし右に約１５°まで回転していても）、それを自覚しない。換言すれば、当該ユーザは、同人が、実環境とは相違して当該バーチャル環境において直進ではなく、斜めに動いているとのことをある程度までは知覚しない、ということである。ただし、それ以上の相違は当該ユーザによって知覚されることとなり、当該没入感を減ずることとなる。したがって、当該センサ機構の当該測定エラーによって、当該バーチャル環境表示における当該視方向の、こうした所望されない大きな回転シフトが招来されることがある。特に、やや長期にわたる当該ユーザによる当該バーチャル環境表示の利用に際し、誤った当該測定値の当該集積によって、当該バーチャル環境表示における当該視方向の顕著なオフセットが招来されることがある。それゆえ、当該バーチャル環境表示における当該視方向の当該食い違いが知覚可能となる場合には、当該ユーザに不快感をもたらすこともある。

それゆえ、当該バーチャル環境表示における当該視方向を補正する可能性を供する必要性が存在する。

上記は、バーチャル環境表示における視方向の設定方法の一連の実施例によって達成可能とされる。その際、本方法は、記録装置による実環境における既知のオブジェクトの記録（例えば、画像、ビデオ又は録音）を含む。さらに、本方法は、当該オブジェクトの当該記録、当該実環境における当該記録装置の既知の位置及び当該バーチャル環境表示における目下の視方向をベースとした、当該バーチャル環境表示のヨー軸を中心とした当該バーチャル環境表示における当該視方向の回転オフセットの決定を含む。本方法はさらに、当該バーチャル環境表示における当該回転オフセット分だけの当該視方向の回転を含む。

当該記録装置は、当該ユーザに対して空間的に直近に配置されていてよい。例えば、当該記録装置は、当該ユーザの身体（例えば頭部）に固定することが可能である。当該オブジェクトの当該記録及び当該実環境における当該記録装置の既知の当該位置から、当該実環境における当該記録装置の当該方向を決定することが可能であり、該方向は、したがって近似的に、当該実環境における当該ユーザの頭部の方向と見なすことができる。これから、当該バーチャル環境表示における目下の当該視方向に関する当該情報を援用して、当該バーチャル環境表示のヨー軸を中心とした当該バーチャル環境表示における当該視方向の当該回転オフセットを決定し、当該バーチャル環境表示を相応して修正することが可能である。こうして、当該バーチャル環境表示を、当該実環境における当該ユーザの頭部の実際の当該位置及び方向に適合させることができる。それゆえ、提案された本方法の一連の実施例によって、当該バーチャル環境表示における当該視方向のキャリブレーションが可能とされる。それゆえ、ユーザの没入感の向上を達成することが可能である。

その他の一連の実施例は、バーチャル環境表示における視方向の第二の設定方法に関する。本方法は、その際、記録装置による実環境における既知のオブジェクトの記録（例えば、画像、ビデオ又は録音）を含む。さらに、本方法は、当該オブジェクトの当該記録及び当該バーチャル環境表示における目下の視方向をベースとした、当該バーチャル環境表示のヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットの決定を含む。加えてさらに、本方法は、当該バーチャル環境表示における当該視方向の当該回転オフセット分だけの回転を含む。

当該オブジェクトの当該記録から、当該実環境における当該記録装置の当該方向を決定することができる。当該記録装置が空間的に当該ユーザの直近（例えば、当該ユーザの頭部）に配置されていれば、当該実環境における当該記録装置の当該方向は、近似的に、当該実環境における当該ユーザの頭部の方向と見なすことが可能である。これから、当該バーチャル環境表示における目下の当該視方向に関する当該情報を共に利用して、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットを決定し、当該バーチャル環境表示を相応して修正することが可能である。こうして、当該バーチャル環境表示を、当該実環境における当該ユーザの頭部の実際の当該位置及び方向に適合させることができる。それゆえ、提案された本方法の一連の実施例によって、当該バーチャル環境表示における当該視方向のキャリブレーションが可能となる。こうして、ユーザの没入感の向上を達成することが可能である。

さらにその他の一連の実施例は、バーチャル環境表示における視方向の第三の設定方法に関する。本方法は、その際、実環境においてユーザの身体に配置されたオブジェクトの、当該ユーザの頭部に配置された記録装置による第一の時点及び爾後の第二の時点における記録（例えば、画像、ビデオ又は録音）を含む。さらに、本方法は、当該第一の時点及び当該第二の時点における当該オブジェクトの当該記録並びに当該ユーザの頭部に固定された少なくとも一つのさらに別のセンサの測定値をベースとした、当該バーチャル環境表示のヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットの決定を含む。本方法はさらに、当該バーチャル環境表示における当該視方向の当該回転オフセット分だけの回転を含む。

当該第一の時点及び当該第二の時点における当該オブジェクトの当該記録並びに当該ユーザの頭部に固定されたさらに別の少なくとも一つのセンサの当該測定値からそれぞれ、当該第一の時点と当該第二の時点との間の、当該ユーザの頭部の当該ヨー軸を中心とした、当該記録装置の実効回転を決定することができる。当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の当該回転に関する二つの当該決定値間の当該差は、近似的に、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットと見なすことが可能である。これにより、当該バーチャル環境表示を相応して修正することが可能である。こうして、当該バーチャル環境表示を、当該実環境における当該ユーザの頭部の実際の当該位置及び方向に適合させることができる。それゆえ、提案された本方法の一連の実施例によって、当該バーチャル環境表示における当該視方向のキャリブレーションが可能となる。こうして、ユーザの没入感の向上を達成することが可能である。

一連の実施例は、さらに別の一態様において、当該プログラムコードがコンピュータ、プロセッサ又はプログラマブルハードウェアコンポーネントで実行される場合、提案された当該方法のいずれか一つを実施するためのプログラムコードを有するプログラムを含んでいる。

以下、添付図面を参照して、一連の実施例を詳細に説明する。各図は以下を示している。

バーチャル環境表示における視方向の設定方法の一例を示す図である。 当該実環境におけるオブジェクトと当該オブジェクトの記録との間の関連の一例を示す図である。 オブジェクトの第一の例を示す図である。 オブジェクトの第二の例を示す図である。 オブジェクトの第三の例を示す図である。 オブジェクトの第四の例を示す図である。 オブジェクト中の例示的特徴を示す図である。 当該実環境におけるオブジェクトの特徴の当該位置と当該オブジェクトの記録におけるそれぞれの当該特徴の当該位置との対応関係の一例を示す図である。 当該実環境における当該記録装置の決定された方向のヒストグラムの一例を示す図である。 同一オブジェクトの互いに連続した回転記録を示す図である。 バーチャル環境表示における視方向のさらに別の設定方法の一例を示す図である。 オブジェクトの第五の例の記録を示す図である。 図９ａに示した当該記録に対応する二値記録を示す図である。 オブジェクトの第六の例の記録を示す図である。 図９ｃに示した当該記録に対応する二値記録を示す図である。 バーチャル環境表示における視方向のさらに別の設定方法の一例を示す図である。 ユーザの運動ベクトルと、当該ユーザの実際の視方向と、当該ユーザの頭部に配置されたさらに別の少なくとも一つのセンサの測定値から決定された、第一の時点における当該バーチャル環境表示における視方向との間の関連の一例を示す図である。 ユーザの運動ベクトルと、当該ユーザの実際の視方向と、当該ユーザの頭部に配置されたさらに別の少なくとも一つのセンサの測定値から決定された、第二の時点における当該バーチャル環境表示における視方向との間の関連の一例を示す図である。

若干の実施例を表す当該添付図面を参照して、今や、さまざまな実施例を詳細に説明する。当該図面中において、線、層及び／又は領域の当該厚さ寸法は、明瞭さを優先させて、誇張して表されていることがある。

単に若干の代表的な実施例を示すにすぎない当該添付図面の当該下記の説明に際し、同一の符号で同一又は同等な構成要素を表していることがある。さらに、一つの実施例又は一つの図面中に何度も現れるが、一つ又は複数の特徴に関して共通の説明が行われる一連の構成要素及びオブジェクトについては、概括的な符号を使用することがある。同一又は概括的な符号で表される一連の構成要素又はオブジェクトは、当該説明から明示的又は含意的に別段の事項が判明しない限り、個々の、複数の又はすべての特徴―例えば、それらの寸法―に関して等しく、ただし場合により、異なって述べられていることがある。

一連の実施例はさまざまな方途で改良及び修正が可能であるが、一連の実施例は図面中に例として表されており、本願明細書において詳細に説明が行われる。ただし、一連の実施例をそれぞれ開示された当該実施形態に限定することは意図されていず、一連の実施例はむしろ本発明の範囲に含まれるいっさいの機能的及び／又は構造的改良、等価物及び別途態様を含むものである旨明確にしておくこととする。同一の符号は、すべての当該図面説明において、同一又は類似の要素を表している。

他の要素と“結合”又は“連結”されていると称される要素は、当該の他の要素と直接に結合又は連結されていてよく、又は、中間介在要素が存在していてもよい旨に注意されたい。他方、他の要素と“直接に結合”又は“直接に連結”されていると称される要素については、中間介在要素は存在しない。要素間の当該関係を説明するために使用されるその他の用語も同様に解釈されることとする（例えば、“間に”と“直接その間に”、“隣接して”と“直接に隣接して”等である）。

本願明細書において使用される術語は一定の実施例の説明にのみ資するものであり、当該実施例を制限するものではない。本願明細書に使用されているように、当該単数形“ｅｉｎｅｒ”、“ｅｉｎｅ”、“ｅｉｎｅｓ”及び“ｄｅｒ，ｄｉｅ，ｄａｓ”は、当該文脈から一義的に別段の事項が判明しない限り、当該複数形も含むものとする。さらに、当該表現例えば“ｂｅｉｎｈａｌｔｅｔ［含む］”、“ｂｅｉｎｈａｌｔｅｎｄ［含んで］”、“ａｕｆｗｅｉｓｔ［有する］”及び／又は“ａｕｆｗｅｉｓｅｎｄ［有して］”は、本願明細書で使用されているように、挙示された特徴、整数、ステップ、プロセス、要素及び／又は構成要素の当該存在を示しているが、ただし、一つないし一つ又は複数の特徴、整数、ステップ、プロセス、要素、構成要素及び／又はそれらのグループの当該存在又は当該付加を排除するものではない旨明確にしておくこととする。

別段の定義が行われていない限り、本願明細書で使用されるいっさいの用語（技術用語及び学術用語を含む）は、当該一連の実施例が属する当該分野における通常の当業者がそれら用語に付するのと同一の意味を有する。さらに、例えば、一般に使用される辞書に定義されている類の表現は、本願明細書において明確に別段の定義が行われていない限り、当該関連技術の脈絡中でその意味が一貫している当該意味を有するように、解釈されなければならない旨明確にしておくこととする。

図１は、バーチャル環境表示における視方向を設定するための方法１００を示している。当該バーチャル環境とは、例えば、ユーザに対して出力され得る、所定の物理的特性を具えた、コンピュータ生成された対話型の世界である。その際、当該バーチャル環境表示における当該視方向は、当該バーチャル環境表示に示された、当該バーチャル環境中の当該バーチャル環境区域の当該方向（配向）に一致している。当該バーチャル環境表示は、例えば、自己視点又は一人称視点から当該バーチャル環境を再現することが可能であり、つまり、当該バーチャル環境は、ユーザが実際に当該バーチャル環境中を動くときに当該バーチャル環境が同人にそう映ずるようにして、再現される。したがって、ユーザが実際に当該バーチャル環境中を動くときに、当該バーチャル環境における当該視方向は当該ユーザの当該視方向に一致している。その際、当該バーチャル環境表示における当該視方向は、当該バーチャル環境表示の当該横軸を中心とした回転、当該バーチャル環境表示の当該長軸を中心とした回転及び／又は当該バーチャル環境表示の当該ヨー軸を中心とした回転によって設定される。

その際、上記方法１００は、記録装置による、実環境（つまり、現実の当該真世界）における既知のオブジェクトの記録１０２を含む。当該既知のオブジェクトとは、提案された当該方法のために特別に配置された当該実環境中のオブジェクトであっても、既に当該実環境中に存在するオブジェクトであってもよい。例えば、当該オブジェクトは、当該ユーザが動き回る当該実環境の一領域内に配置されていても、当該領域の既存の要素であってもよい。当該オブジェクトは、基本的に二次元（面状）のオブジェクト、すなわち、基本的に二つの空間方向のみに延びるオブジェクトであっても、三次元のオブジェクト、すなわち、同様な規模で、三つの空間方向すべての方向に延びるオブジェクトであってもよい。当該ユーザが当該実環境内例えば室内又はホール内を動く場合には、当該既知のオブジェクトとは、例えば、当該室内ないしホール内のオブジェクト例えば窓、照明装置、ドア、柱、梁、備品又は当該室内又はホール内のその他の要素であってよい。これらに代えて、当該オブジェクトは、例えば、ポスター、投影図、音源又は、提案された当該方法のために当該室内ないしホール内に特別に配置されたその他の要素であってもよい。

当該記録とは、例えば、静止画像（つまり、単一記録）、ビデオ（つまり、連続画像）又は録音つまり音の記録（例えば、雑音、音調、音楽又は言葉）であってよい。したがって、当該記録装置とは、静止画像カメラ、ビデオカメラ、（ステレオ）録音機又はそれらの組み合わせを含んでいてよい。

さらに、上記方法１００は、当該オブジェクトの当該記録、当該実環境における当該記録装置の既知の位置及び当該バーチャル環境表示における目下の視方向をベースとした、当該バーチャル環境表示の当該ヨー軸を中心とした当該バーチャル環境表示における当該視方向の回転オフセットの決定１０４を含む。当該記録装置は、空間的に、当該ユーザの直近に配置されていてよい。この場合、当該記録装置の位置として、例えば、ＶＲシステムの正規作動中に測定された、当該実環境における当該ユーザの位置を使用することが可能である。当該ユーザの当該位置が、上述したように、例えば、飛行時間測定によって決定される場合には、当該送信機は、例えば、当該ユーザの頭部に配置されてよく、当該記録装置は、当該実環境における当該記録装置の当該位置をできるだけ正確に知るために、空間的に当該送信機の近傍に配置されてよい。当該バーチャル環境表示における目下の当該視方向は、例えば、当該バーチャル環境表示を当該ユーザに対して出力し（及びオプショナルに演算も行う）表示装置（例えば、ＨＭＤ、ＨＭＵ）又は当該バーチャル環境を演算する計算機（例えば、ＶＲシステムのバックエンド）から受理することができる。

当該オブジェクトの当該記録及び当該実環境における当該記録装置の既知の当該位置から、近似的に当該実環境における当該ユーザないし当該ユーザの頭部の方向として見なすことのできる、当該実環境における当該記録装置の当該方向を決定することが可能である。これから、当該バーチャル環境表示における目下の当該視方向に関する当該情報を援用して、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットを決定することができる。当該実環境における当該記録装置の当該方向の当該決定並びに当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定に関する若干の例を、以下の当該説明において、詳細に説明する。

上記方法１００はさらに、当該回転オフセット分だけの当該バーチャル環境表示における当該視方向の回転１０６を含む。換言すれば、当該バーチャル環境表示における当該視方向は、当該バーチャル環境表示の当該ヨー軸を中心とした回転によって補正され、その際、当該回転の当該方向及び当該量は当該回転オフセットによって決定されている、ということである。したがって、当該バーチャル環境表示は当該回転オフセット分だけ補正される。これによって、当該バーチャル環境表示は、当該実環境における当該ユーザの頭部の実際の当該位置及び当該方向に適合されることができる。それゆえ、上記方法１００は、当該バーチャル環境表示における当該視方向のキャリブレーションを可能とする。特に、本方法１００により、誤って決定された当該実環境における方向ないし、ユーザ（頭部）の当該位置及び配向を決定するために通常使用される当該センサ機構の測定エラーに由来する、当該バーチャル環境表示における当該視方向の逸れを補正することができる。

既に上記において示唆したように、上記方法１００は、若干の実施例において、さらに、ユーザに対する当該バーチャル環境表示の出力を含むことができる。その際、当該ユーザに対する当該バーチャル環境表示の当該出力は、例えば、当該ユーザの頭部に固定された、さらに当該記録装置を含んだ表示装置を介して行われることができる。こうした配置が行われる場合には、当該実環境における当該記録装置の当該方向は、近似的に、当該実環境における当該ユーザの頭部の方向と見なすことができる。

若干の実施例において、当該ユーザの頭部に固定された当該表示装置はモバイル通信装置（例えば、スマートフォン）を含んでいる。上記において示唆したように、当該ＶＲシステムの通常作動中に、既に当該モバイル通信装置内に存在するセンサ機構（例えば、ジャイロスコープ、マグネトメータ、アクセレロメータ）を、当該実環境における当該ユーザの頭部の当該方向を決定するために使用することができる。当該モバイル通信装置の当該カメラを記録装置として使用することにより、当該モバイル通信装置の当該センサ機構の測定エラーに基づく、当該バーチャル環境表示の当該ヨー軸を中心とした当該バーチャル環境表示における当該視方向の回転オフセットを補正することが可能である。したがって、当該バーチャル環境表示の当該キャリブレーションのために、既に当該モバイル通信装置によって供されたリソースに依拠することが可能である。換言すれば、上記方法１００は、直接に（つまり、オンラインで）、当該モバイル通信装置上で実施することができる、ということである。それゆえ、上記方法１００は、付加的なハードウェアコンポーネントなしで、当該バーチャル環境表示のキャリブレーションを可能とする。別法として、例えば、上記方法１００の一部を当該モバイル通信装置によって実施すると共に、上記方法１００の他の一部例えば当該バーチャル環境表示の当該ヨー軸を中心とした当該バーチャル表示における当該視方向の当該回転オフセットの当該決定１０４を当該ユーザが使用する当該ＶＲシステムの既存の当該バックエンドによって（つまり、オフラインで）実施することが可能である。この場合、決定された当該回転オフセットは、例えば、当該バックエンドから当該モバイル通信装置へ送信されることができるために、当該モバイル通信装置は、当該バーチャル環境のアクチャルな当該表示における当該視方向を当該回転オフセット分だけ回転させることができる。上述した当該機能は、例えば、当該ＶＲシステムの一つ又は複数の既存のソフトウェアコンポーネント（例えば、当該モバイル通信装置用のソフトウェア又は当該バックエンド用のソフトウェア）のアップデートによって達成可能である。

若干の実施例において、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定１０４は、当該オブジェクトの当該記録と当該実環境における当該記録装置の当該既知の位置とをベースとした、当該実環境における当該記録装置の方向の決定を含むことができる（これに関する例示的方法を以下に説明する）。さらに、当該回転オフセットの当該決定１０４は、当該実環境における当該記録装置の当該方向をベースとした、当該バーチャル環境表示における基準視方向の決定を含むことができる。例えば、当該実環境における当該記録装置の決定された当該方向は、当該バーチャル環境表示の当該演算用のアルゴリズムに提供可能であり、該アルゴリズムは、それに基づいて、当該バーチャル環境の表示を演算する。とりわけ、当該記録装置が当該ユーザの頭部に配置されている場合には、当該バーチャル環境における当該基準視方向は、当該実環境における当該ユーザの頭部の実際の当該位置及び当該方向に対応する、当該バーチャル環境における当該視方向である。例えば、当該記録装置は、当該実環境における当該ユーザの真っ直ぐな視方向又はそれに対して垂直な視方向に配向されていてよい。したがって、演算された当該バーチャル環境表示における当該視方向は、基準視方向と見なすことができる。

当該バーチャル環境表示における当該基準視方向と当該バーチャル環境表示における目下の当該視方向から、実施例に基づいて、今や、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットが決定される。これは、例えば、当該基準視方向と当該バーチャル環境表示における目下の当該視方向の比較によって行うことができる。換言すれば、当該バーチャル環境表示における目下の当該視方向が、当該バーチャル環境表示における当該基準視方向に対して、当該バーチャル環境表示の当該ヨー軸を中心としてどれだけ回転しているかが決定される、ということである。

当該バーチャル環境表示は、例えば、当該ユーザの頭部に固定された（例えば、モバイル通信装置を含んだ）当該表示装置によって表示可能である。

時点ｔ_０に関する当該基準視方向の当該決定は、例えば、当該ＶＲシステムのバックエンドによって実施され、続いて、当該ユーザの頭部に固定されたモバイル通信装置に送信可能である。かくて、当該時点ｔ_０に関する当該バーチャル環境表示における当該基準視方向と当該時点ｔ_０における当該バーチャル環境表示における目下の当該視方向から、当該モバイル通信装置は、時点ｔ_０における、当該バーチャル環境表示の当該ヨー軸を中心とした、当該視方向の当該回転オフセットを決定することができる。当該時点ｔ_０と爾後の時点ｔ_１との間の当該バーチャル環境表示における当該視方向のさらなるドリフトを無視することができると仮定すれば、当該モバイル通信装置は、例えば、当該時点ｔ_１に関する当該バーチャル環境表示における当該視方向を、当該時点ｔ_０における当該視方向の当該回転オフセット分だけ回転させあるいは補正することができる。したがって、補正された視方向による当該バーチャル環境表示を、当該ユーザに対して出力することができる。

上述した当該方法は、当該ＶＲシステムの当該利用中、繰り返して実施することができる。したがって、例えば、当該時点ｔ_０と当該爾後の時点ｔ_１との間の当該バーチャル環境表示における当該視方向のさらなるドリフトを補正することが可能である。また、本方法は、補正が行われた後、先行する当該補正を検証するために、少なくとも部分的に新ためて実施することが可能である。

図２には、例示的に、当該実環境における記録装置の当該方向を、既知のオブジェクト２２０の記録２１０と当該実環境における当該記録装置の既知の位置Ｃに基づいて、いかにして決定し得るかが示されている。当該オブジェクト２２０は、世界点Ｍの量として解することができる。当該記録２１０は、画素ｍの量として解することができる。

当該記録装置の当該方向と共に当該記録２１０における当該視角は、一般に、当該オブジェクト２２０の当該世界点Ｍを当該記録２１０の対応する画素ｍに転換する変換式から決定することができる。一般に、当該変換式は以下のように表すことができる。

式中、Ｉは単位行列を表し、Ｋ及びＲは当該記録装置の当該カメラ行列の解剖を表しており、その際、Ｋは、当該焦点距離、当該カメラの当該主点及び、想定された当該直交性からの当該画像座標系の当該軸の当該ずれ（アクシススキュー）を示す当該内部行列を表し、Ｒは一般的な回転行列を表している。Ｒは、その際、互いに直交する単位方向Ｘ、Ｙ及びＺを中心とした三つの回転行列Ｒｘ、Ｒｙ及びＲｚの積として表すことができる。例えば、Ｘは、当該実環境における定義された原点から、右の方向を示し、Ｙは上方（つまり、天の方向）を示し、Ｚは奥行き（つまり、前方）を示すことができる。したがって、当該単位方向Ｙは当該ヨー軸（垂直軸）に等しく、つまり、この軸を中心とした回転は、記録を水平方向にずらす。当該バーチャル環境の当該座標系の当該軸は、互いに直交する当該単位方向Ｘ、Ｙ及びＺとは相違して選択されていてよい。かくて、当該実環境における一つの位置は、座標変換を介して、当該バーチャル環境における一つの位置に移すことができる。したがって、式（Ｉ）は次のように変形することができる。

その際、三つの当該回転行列Ｒｘ、Ｒｙ及びＲｚは、当該実環境における当該記録装置の求められた当該水平配向を示す角度αに依存し得る。換言すれば、角度αは、Ｘ及びＺによって張られた当該面内における当該記録装置の方向（配向）を定義する、ということである。当該回転行列Ｒｘ、Ｒｙ及びＲｚは通例のように定義されている。

Ｒｘ（α）、Ｒｚ（α）、Ｋ及びＣが既知であると仮定すれば、Ｒｙ（α）は対応する一つのＭ←→ｍペアから決定することができる。Ｒｘ（α）及びＲｚ（α）は、例えば、既に当該モバイル通信装置中に存在する当該センサ機構によって（例えば、当該重力ベクトルを介して）決定することができる。その際、当該係数は、式（３）から以下のようにまとめることができる。

したがって、式（３）は以下のように表すことができる。

ないし

ここで、式中、Ｙ＝Ｃ_ｑｍ及びＸ＝Ｃ_ｐＭである。

したがって、式（１０）は次のように変形することかできる。

式（１１）の拡張から、以下の連立方程式が得られる。

上記連立方程式は、当該角度αに応じて、次のように解くことができる。

（−ｕ´・ｕ−１）＝ａ及び（ｕ´−ｕ）＝ｂから、以下が得られる。

式（２１）から、以下が得られる。

ｕ´及びｕは、いずれの対応するＭ←→ｍペアについても、決定することができるため、いずれのペアについても、角度αを決定することができる。

以下、図３ａ〜３ｄには、考えられ得るオブジェクトの若干の例が示されている。その際、図３ａは、さまざまなグレースケールを有する無定形パターン３１０を表し、図３ｂは、さまざまなサイズとグレースケールを有する円のパターン３２０を表し、図３ｃは、樹木の画像３３０を表し、図３ｄは、文字列（例えば、ワード又は数字）のコラージュ３４０を表している。図３ａ〜３ｄから明らかとなるように、当該オブジェクトは多様であってよい。当該図３ａ〜３ｄに示されている当該パターンは、例えば、当該実環境において一つの垂直な面上に（例えば、ポスター又は投影によって）付されていてよい。例えば、当該図３ａ〜３ｄに示されたパターンは、ポスターの形又は投影図として、部屋又はホールの側壁に表示可能である。ただし、当該オブジェクトは当該図３ａ〜３ｄの当該例に限定されてはいない。以下の当該説明中では、思量可能なオブジェクトとしてさらにその他の例が示される。

一連の実施例において、当該実環境における当該記録装置の当該方向の当該決定は、当該既知のオブジェクトの当該記録の少なくとも一部を比較記録の少なくとも一部と合致させる変換の決定を含んでいる。当該比較記録は、当該実環境における当該既知のオブジェクトの当該位置に関する情報を提供することができる。例えば、さまざまなオブジェクトないしさまざまな視点からの一つのオブジェクトを示す比較記録を有するデータバンクを挙げることができる。その際、いずれの比較記録についても、さらに、当該実世界におけるそこに示された当該オブジェクトの当該位置に関する情報が蓄えられている（保持されている）。図２に示した当該例において当該世界点Ｍに対応するこれらの情報は、図２の当該例において示された原理に従って、当該実環境における当該記録装置の当該方向を決定するために使用することが可能である。以下の当該図４〜７において、当該既知のオブジェクトの当該記録の少なくとも一部を比較記録の少なくとも一部と合致させる変換の当該決定に基づいて、当該実環境における当該記録装置の当該方向を決定するための二つの異なった手法を、例示的に説明することとする。

当該第一の手法を説明するために、図４には、当該実環境の一つの壁面に付されたポスター４００の形で、さまざまなサイズとグレースケールを有する円のパターンがオブジェクトの一例として示されている。当該パターンは、多数の特徴４１０−１、４１０−２，．．．，４１０−ｎを含んでいる。当該特徴４１０−１、４１０−２，．．．，４１０−ｎは、特徴抽出法を介して、決定することができる。特徴抽出法の例は、例えば、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）アルゴリズム、Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）アルゴリズム又はＢｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ（ＢＲＩＥＦ）アルゴリズムである。これらの特徴は、比較特徴として、データバンクに記憶されることができ、つまり、当該データバンクの当該多数の比較特徴は当該オブジェクトのさまざまな特徴を含むことができる。同じく、当該データバンクの当該比較特徴は、当該特徴が当該比較記録における視方向に応じて相違し得るために、同一オブジェクトのさまざまな記録に由来することが可能である。時として、特徴は、当該記録の一定の視角でのみ、当該特徴抽出法によって認識される。さて、当該パターンの付された一例としての当該ポスター４００において、当該ポスター４００の当該実環境における当該四つの隅４０１、４０２、４０３、４０４の当該位置が既知であれば、当該データバンクの当該個々の比較特徴にも、当該実環境におけるそれぞれ一つの位置を対応させることができる。図４において、当該ポスター４００の当該四隅４０１、４０２、４０３、４０４のいずれにも、当該実環境を基準として、それぞれ一つの、一例としての三次元座標が対応しているために（例えば、当該四隅の一つ４０１につき、Ｘ＝１６．５８、Ｙ＝３．１９、Ｚ＝３０．３５）、いずれの特徴４１０−１、４１０−２，．．．，４１０−ｎにもそれぞれ実環境における一つの位置を決定することができる。したがって、比較特徴のいずれもが、それに対応した位置と共に、当該データバンクに記憶可能である。

今や、これらの比較特徴を利用して、当該実環境における当該記録装置の当該方向を、オブジェクトの当該記録と当該実環境における当該記録装置の当該既知の位置に基づいて決定することが可能である。当該記録装置により、今や先ず最初に、既知の位置から、当該オブジェクトの一つの記録―したがって、図４の例において、当該パターンを有する当該ポスター４００の記録―が作られる。例えば、当該記録装置は、当該バーチャル環境表示を出力するために当該ユーザの頭部に固定された表示装置の構成要素であることから、当該ＶＲシステム作動中の当該ユーザの頭部の当該位置の当該測定によって、当該記録装置の当該位置も（基本的に）近似的に既知である。

当該記録において、当該オブジェクトの少なくとも一つの特徴が認識される。そのために、一つの特徴抽出法（例えば、上述した一連のアルゴリズムのうちの一つ）が当該記録に適用される。さらに、当該オブジェクトの当該記録自体において、当該特徴の位置が決定される。したがって、当該記録の当該座標系における当該特徴の当該座標が決定される。さらに、当該データバンクの当該多数の比較特徴のうちから、当該記録における当該オブジェクトの当該特徴に一致する一つの比較特徴が同定される。上述したように、その際、多数の比較特徴に、それぞれ、当該実環境における一つの位置が対応させられている。上記同定のために、例えば、公知の画像登録法を使用することができる。当該データバンクの多数の当該比較特徴のうちから当該比較特徴をできるだけ迅速かつ効率的に同定するために、例えば、当該オブジェクトの当該記録における当該特徴の当該位置、多数の比較特徴の当該実環境における当該位置及び、初期値としての、当該実環境における当該記録装置の当該既知の位置を保持する最近傍（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｕｒ）法を使用することができる。

当該実環境における当該記録装置の当該既知の位置、当該記録における当該特徴の当該位置及び、同定された当該比較特徴に対応した当該実環境における当該位置から、今や、図２に示された原理に従って、当該実環境における当該記録装置の当該方向を決定することができる。図２に示された、当該実環境における当該記録装置の当該方向を決定するための方法に基づき、当該ポスター４００が記録される当該既知の位置は、当該実環境における当該記録装置の当該既知の位置Ｃに一致している。当該記録における当該特徴の当該位置は画素ｍに一致し、同定された当該特徴に対応する当該実環境における当該位置は世界点Ｍに一致している。したがって、図２に示された原理に従って、当該記録における当該特徴の当該位置を、同定された当該比較特徴に対応する当該実環境における当該位置と合致させる変換を決定することができる。相応して、当該実環境における当該記録装置の当該方向を決定することが可能である。

既に図４から看取し得るように、オブジェクトの記録において複数の特徴が認識可能である。換言すれば、当該実環境における当該記録装置の当該方向の当該決定に際して、当該オブジェクトの複数の特徴が認識され得る、ということである。したがって、当該オブジェクトの当該多数の認識された特徴につき、当該データバンクから多数の比較特徴を同定することができる。当該オブジェクトの当該複数の認識された特徴につき、それぞれ、当該実環境における当該記録装置の一つの方向を決定することが可能である。

図５には、当該記録における当該オブジェクトの特徴と比較特徴との例示的対応関係５００が示されている。図５には、それぞれ、当該オブジェクトの当該記録において認識された当該オブジェクトの一つの特徴の当該位置（画素）及び、それぞれの同定された当該比較特徴に対応する当該実環境における当該位置（世界点）が示されている。その際、一連の当該位置はそれぞれ、任意の単位（ａｒｂｉｔｒａｒｙ ｕｎｉｔｓ）で記載されている。対応する画素と世界点とは、図５において、一本の直線で結ばれている。図５から看取されるように、当該それぞれの直線の当該勾配は―当該直線５０１〜５０７を例外として―おおよそ類似している。当該画素と当該世界点との当該対応関係には、例えば、力まかせの探索又は近似最近傍のための高速ライブラリー（ＦＬＡＮＮ）をベースとしたアルゴリズムを使用することができる。したがって、図５に示した基本的に平行な一連の当該直線から既に看取し得るように、当該オブジェクトの当該複数の認識された特徴につき、当該実環境における当該記録装置の基本的に同一ないし類似した方向が決定された。

このことは、図６に示した、当該オブジェクトの当該複数の認識された特徴について決定された、当該実環境における当該記録装置の当該方向が記入された当該ヒストグラム６００から一層顕著となる。当該方向は、当該記録のヨー軸を中心とした当該回転を表す当該角度αの形でプロットされている。したがって、当該空間方向Ｘ、Ｙ、Ｚを有する上述した当該例を基準とすれば、当該角度αは、Ｘ及びＺで張られた当該面内における当該記録装置の方向（配向）、つまり、Ｙを中心とした回転に等しい。当該頻度は対数で記入されている。

図６から看取されるように、当該角度αは、当該オブジェクトの若干の認識された特徴については約−６５°、当該オブジェクトの若干の認識された特徴については約６０°、当該オブジェクトの若干の認識された特徴については約６４°当該オブジェクトのさらに多くの認識された特徴については約９０°、当該オブジェクトのもっと多くの認識された特徴については約９１°と決定された。

一連の実施例に基づき、今や、当該実環境における当該記録装置の方向として、当該オブジェクトの当該複数の認識された当該特徴について決定された当該実環境における当該記録装置の当該方向のうち、一つの品質基準を満たすものが決定される。図６に示した当該例を基準として、例えば、当該最大数の記入頻度を有する当該ヒストグラムの度の広いインタバル（Ｂｉｎ）を選択することができる。したがって、当該品質基準は、例えば、当該実環境における当該記録装置の当該方向は最も高い頻度で決定された当該方向である、ということであってよい。その他になお、さらに別の品質基準を援用することが可能である。例えば、選択された当該インタバルは最少数の記入頻度を有さなければならない、とのことを求めることが可能であり、あるいは、選択された当該Ｂｉｎは当該オブジェクトの当該複数の認識された特徴の、前以て決定された少なくとも一定の割合を表していなければならない（つまり、当該Ｂｉｎは、当該オブジェクトの当該複数の認識された特徴の少なくとも前以て決定された当該割合につき、それぞれそのために決定された当該方向を表していなければならない）、とのことを求めることが可能である。

図６の例において、９０°及び９１°に関する当該頻度は、一つの類似の範囲において支配的かつ絶対的であることから、双方の方向が一つの選択された品質基準を満たすことができる。したがって、隣接ないし類似の方向の場合（つまり、隣接したＢｉｎ又は、中間にある僅かな数のＢｉｎによって切り離されているにすぎないＢｉｎの場合）には、当該双方の方向の当該平均値も、当該実環境における当該記録装置の方向として決定することができる。オプショナルに、隣接ないし類似の当該方向の（例えば、それらの頻度に基づく）重み付けも行うことが可能である。

以下、図７の当該説明の範囲において、当該既知のオブジェクトの当該記録の少なくとも一部を比較記録の少なくとも一部と合致させる変換の当該決定に基づいて、当該実環境における当該記録装置の当該方向を決定するための当該第二の手法を説明する。

当該第二の手法において、当該実環境における当該記録装置の当該方向の当該決定は、データバンクの多数の比較特徴のうちから一つの比較特徴を決定することを含んでいる。その際、当該データバンクの当該多数の比較記録のうちからの当該比較記録の当該決定は、当該実環境における当該記録装置の当該既知の位置に基づいている。換言すれば、当該データバンクから、当該記録装置の当該位置に基づいて、そもそもそれが当該オブジェクトを示すあるいは類似又は同一の視点から当該オブジェクトを示す高い確率を有する一つの比較記録が選択される、ということである。その際、少なくとも選択された当該比較記録の当該実環境における一つの方向は既知である。当該データバンクには、言うまでもなく、当該多数の比較記録のいずれについてもそれぞれ当該実環境における当該方向が格納されていてよい。

さらに、当該実環境における当該記録装置の当該方向の当該決定は、当該比較記録に対する当該オブジェクトの当該記録の相対回転の決定を含んでいる。つまり、当該オブジェクトの当該記録の、当該比較記録に対する画像登録が実施される。そのために、公知に属する画像登録法例えば改良された相関係数（ＥＣＣ）アルゴリズムを使用することが可能である。そのため、当該オブジェクトの当該記録は、例えば、図７の当該記録７０１〜７１０の当該順序によって示唆されているように、当該比較記録に対して段階的に回転させることができる。当該記録７０１〜７１０には、それぞれ一つの天窓の画像が、当該ユーザがその中を動く当該実環境におけるオブジェクトの例として示されている。その際、当該一連の記録は、左から右へ向かって、反時計回りに互いにそれぞれ１°ずつ回転させられている。上記ＥＣＣアルゴリズムは、いずれの回転についても、当該比較画像との相関を決定する。続いて、当該最良相関が選択されて、対応する変換行列が決定される。当該変換行列から、またも、当該方向―つまり、当該比較記録に対する当該オブジェクトの当該記録の当該相対回転―を決定することができる。

当該実環境における当該比較記録の当該方向及び当該比較記録に対する当該オブジェクトの当該記録の当該相対回転から、さらに、当該実環境における当該記録装置の当該方向が（当該双方の情報の組み合わせによって）決定される。

図７が示唆しているように、当該第二の手法は、例えば、当該ユーザのもっぱら垂直方向上方に延びるオブジェクトに対して使用することができる。例えば、当該バーチャル環境表示が当該ユーザに対して出力される間、当該記録装置は当該実環境において当該ユーザの真っ直ぐの視方向に対して垂直に配向されていてよい。換言すれば、当該記録装置は、当該実環境において、天の方向ないし当該ユーザがその中を動く室内又はホールの当該天井の方向に配向されていてよい、ということである。したがって、当該オブジェクトは、例えば、当該室内ないし当該ホールの当該天井の照明装置、（天）窓、梁、桁であってよい。したがって、当該データバンクの当該多数の比較記録は、例えば、当該室内ないし当該ホールの天井のさまざまな記録を含んでいてよい。別法として、当該実環境における当該記録装置は、当該ユーザがその中を動く室内又はホールの当該フロアの方向に配向されていてもよい。かくて、当該オブジェクトは、例えば、当該フロアに嵌め込まれた光源（レーザ、ＬＥＤ）又は（緊急標識の）標識例えば矢印（例えば、発光矢印）であってよい。一般に、本願明細書開示によるオブジェクトは、特別に指定されたオブジェクト例えば特別に配色されたオブジェクト（ｃｈｒｏｍａ ｋｅｙｉｎｇ）であってもよい。

当該ユーザに対する当該バーチャル環境表示の当該出力がまたも当該ユーザの頭部に固定された表示装置を介して行われる場合には、当該表示装置はさらに当該記録装置を含んでいてよい。その際、当該表示装置はまたも、当該ユーザの頭部に当該モバイル通信装置を固定するための固定装置と共にモバイル通信装置を含んでいてよい。これによって、当該モバイル通信装置のカメラを記録装置として使用することができる。したがって、付加的なハードウェアコンポーネントなしでも、当該バーチャル環境表示のキャリブレーションを可能とすることができる。当該モバイル通信装置の当該カメラで当該室内ないし当該ホールの当該天井又は当該フロアの記録を行うことができるようにすべく、例えば、一方の開口が当該天井又は当該フロアに向かって配向され、他方の開口が当該モバイル通信装置の当該カメラの当該レンズに向かって配向された潜望鏡タイプの装置を使用することができる。当該潜望鏡タイプの装置の内部の鏡又はプリズムを介して、当該入射光線を（当該第一の開口に対して垂直な）本来の入射方向から（当該第二の開口に対して垂直な）当該所望の出射方向へ偏向させることができる。

当該画像登録を簡易化すると共に、必要なコンピュータ計算能力を減ずるために、当該多数の比較記録は二値記録であってよい。これに応じ、当該比較記録に対する当該オブジェクトの当該記録の当該相対回転の当該決定は、当該オブジェクトの二値記録への当該オブジェクトの当該記録の変換並びに当該比較記録に対する当該オブジェクトの当該二値記録の当該相対回転の決定を含んでいる。当該比較記録に対する当該オブジェクトの当該二値記録の当該相対回転の当該決定のため、またも、上述した当該画像登録法を使用することができる。

さらに、当該多数の比較記録の当該解像度は、コンピュータ処理能力を節減するために、（例えば３２０×２４０ピクセルに）制限されていてよい。したがって、本方法は当該オブジェクトの当該記録のスケーリングを含むことができ、つまり、当該本来の解像度が目標解像度に合わせてスケーリングされる（例えば、１９２０×１０８０ピクセルから３２０×２４０ピクセルへ）。示唆されているように、当該目標解像度は当該本来の解像度よりも低くてよい。当該オブジェクトの当該記録における当該ピクセル数の節減により、計算時間を節約することが可能である。

当該実環境における当該記録装置の当該方向を決定するために、当該記録全体を基準記録と比較する代わりに、当該記録における当該オブジェクトの当該方向を決定し、（例えば、図９ａ〜９ｄに関連して説明される当該方法に従って）基準方向と比較することも可能である。

以下、図８において、本願明細書開示の第二の手法に基づく、バーチャル環境表示における視方向の設定方法８００を示す。

その際、上記方法８００は、上述したように、記録装置による実環境における既知のオブジェクトの記録８０２を含んでいる。つまり、当該記録とは、例えば、静止画像、ビデオ又は録音であってよい。したがって、当該記録装置とは、静止画像カメラ、ビデオカメラ、録音機又はそれらの組み合わせを含んでいてよい。

さらに、上記方法８００は、当該オブジェクトの当該記録及び当該バーチャル環境表示における目下の視方向をベースとした、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットの決定８０４を含む。当該バーチャル環境表示における目下の当該視方向は、例えば、当該バーチャル環境表示を当該ユーザに対して出力し（及びオプショナルに演算も行う）表示装置（例えば、ＨＭＤ、ＨＭＵ）又は当該バーチャル環境を演算する計算機（例えば、ＶＲシステムのバックエンド）から受理することができる。

その際、当該記録装置は―上述したように―空間的に当該ユーザの直近（例えば、当該ユーザの頭部）に配置されていてよい。当該オブジェクトの当該記録から、近似的に当該実環境における当該ユーザの頭部の方向と見なすことのできる、当該実環境における当該記録装置の当該方向を決定することができる。これから、当該バーチャル環境表示における目下の当該視方向に関する情報を援用して、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットを決定することができる。当該実環境における当該記録装置の当該方向の当該決定並びに当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定に関する若干の例を、以下の当該説明において、詳細に説明する。

上記方法８００はさらに、当該バーチャル環境表示における当該視方向の、当該回転オフセット分だけの回転８０６を含んでいる。換言すれば、当該バーチャル環境表示における当該視方向は、当該バーチャル環境表示の当該ヨー軸を中心とした回転によって補正され、その際、当該回転の当該方向及び当該量は当該回転オフセットによって決定されている、ということである。したがって、当該バーチャル環境表示は当該回転オフセット分だけ補正される。これによって、当該バーチャル環境表示は、当該実環境における当該ユーザの頭部の実際の当該位置及び当該方向に適合されることができる。それゆえ、上記方法８００はまた、当該バーチャル環境表示における当該視方向のキャリブレーションも可能とする。特にまた、上記方法８００により、誤って決定された当該実環境における方向ないし、ユーザ（頭部）の当該位置及び配向を決定するために通常使用される当該センサ機構の測定エラーに由来する、当該バーチャル環境表示における当該視方向の逸れを補正することも可能である。

また上記方法１００と同様に、上記方法８００は、若干の実施例において、さらに、ユーザに対する当該バーチャル環境表示の出力を含むことができる。その際、当該ユーザに対する当該バーチャル環境表示の当該出力は、例えば、当該ユーザの頭部に固定された、さらに当該記録装置も含んだ表示装置を介して行われることができる。こうした配置が行われる場合には、当該実環境における当該記録装置の当該方向は、近似的に、当該実環境における当該ユーザの頭部の方向と見なすことができる。

若干の実施例において、当該ユーザの頭部に固定された当該表示装置はモバイル通信装置（例えば、スマートフォン）を含んでいる。上記において示唆したように、当該ＶＲシステムの通常作動中に、既に当該モバイル通信装置内に存在するセンサ機構（例えば、ジャイロスコープ、マグネトメータ、アクセレロメータ）を、当該実環境における当該ユーザの頭部の当該方向を決定するために使用することができる。当該モバイル通信装置の当該カメラを記録装置として使用することにより、当該モバイル通信装置の当該センサ機構の測定エラーに基づく、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットを補正することが可能である。したがって、当該バーチャル環境表示の当該キャリブレーションのために、既に当該モバイル通信装置によって供されたリソースに依拠することが可能である。換言すれば、上記方法８００は、直接に（つまり、オンラインで）、当該モバイル通信装置上で実施することができる、ということである。それゆえ、上記方法８００は、付加的なハードウェアコンポーネントなしで、当該バーチャル環境表示のキャリブレーションを可能とする。別法として、例えば、上記方法８００の一部を当該モバイル通信装置によって実施すると共に、上記方法８００の他の一部例えば当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル表示における当該視方向の当該回転オフセットの当該決定８０４を当該ユーザが使用する当該ＶＲシステムの既存の当該バックエンドによって（つまり、オフラインで）実施することが可能である。この場合、決定された当該回転オフセットは、例えば、当該バックエンドから当該モバイル通信装置へ送信されることができるために、当該モバイル通信装置は、当該バーチャル環境のアクチャルな当該表示における当該視方向を当該回転オフセット分だけ回転させることができる。上述した当該機能は、例えば、当該ＶＲシステムの一つ又は複数の既存のソフトウェアコンポーネント（例えば、当該モバイル通信装置用のソフトウェア又は当該バックエンド用のソフトウェア）のアップデートによって達成可能である。

若干の実施例において、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定８０４は、当該オブジェクトの当該記録と一基準方向とをベースとした、当該実環境における当該記録装置の方向の決定を含むことができる（これに関する例示的方法を以下に説明する）。当該基準方向とは、当該オブジェクトに対するその相対方向が既知である、当該実環境における一方向である。換言すれば、当該基準方向に対する当該オブジェクトの当該相対方向に関する知識が、当該実環境における当該記録装置の当該方向の当該決定に利用される、ということである。さらに、当該回転オフセットの当該決定８０４は、当該実環境における当該記録装置の当該方向をベースとした、当該バーチャル環境表示における基準視方向の決定を含むことができる。例えば、当該実環境における当該記録装置の決定された当該方向は、当該バーチャル環境表示の当該演算用のアルゴリズムに提供可能であり、該アルゴリズムは、それに基づいて、当該バーチャル環境の表示を演算する。とりわけ、当該記録装置が当該ユーザの頭部に配置されている場合には、当該バーチャル環境における当該基準視方向は、当該実環境における当該ユーザの頭部の実際の当該位置及び当該方向に対応する、当該バーチャル環境における当該視方向であってよい。例えば、当該記録装置は、当該実環境における当該ユーザの真っ直ぐな視方向に対して垂直な視方向に配向されていてよい。したがって、演算された当該バーチャル環境表示における当該視方向は、基準視方向と見なすことができる。

当該バーチャル環境表示における当該基準視方向及び当該バーチャル環境表示における目下の当該視方向から、一連の実施例に従って、今や、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットが決定される。これは、例えば、当該基準視方向と当該バーチャル環境表示における目下の当該視方向の比較によって行うことができる。換言すれば、当該バーチャル環境表示における目下の当該視方向が当該バーチャル環境表示における当該基準視方向に対して当該バーチャル環境表示の当該ヨー軸を中心としてどの程度回転させられているかが決定される、ということである。

以下の当該図９ａ〜９ｄにおいて、例えば、当該記録における当該オブジェクトの方向と一基準方向に基づいて当該実環境における当該記録装置の当該方向を決定するための二つの異なった手法が説明される。

当該第一の手法を説明するために、図９ａには、当該ユーザが当該実環境においてその中を動くホールの屋根の記録９００が示されている。その際、当該記録９００は、一例としてのオブジェクトを表す縦長の照明装置９１０の一部を示している。ただし、その際、当該オブジェクトは縦長の照明装置に限定されるものではない。当該オブジェクトは、例えば、当該ユーザがその中を動く当該実環境における当該ホールないし一般に室内の当該天井の窓、梁又はパターンであってもよい。当該オブジェクトは、一般に、もっぱら当該ユーザの垂直方向上方に延びるオブジェクトであってよい。したがって、当該記録装置は当該実環境における当該ユーザの真っ直ぐの視方向に対して垂直に配向されていてよく、つまり、当該記録装置は天の方向ないし天井の方向に配向されていてよい。別法として、当該実環境における当該記録装置は、当該ユーザがその中を動く室内又はホールの当該フロアの方向に配向されていてもよい。かくて、当該オブジェクトは、例えば、当該フロアに嵌め込まれた光源（レーザ、ＬＥＤ）又は（緊急標識の）標識例えば矢印（例えば、発光矢印）であってよい。当該ユーザに対する当該バーチャル環境表示の当該出力が、当該ユーザの頭部に固定された―その際またも当該ユーザの頭部に当該モバイル通信装置を固定するための固定装置と共にモバイル通信装置を含んだ―表示装置を介して行われる場合には、当該モバイル通信装置のカメラを記録装置として使用することができる。それゆえ、付加的なハードウェアコンポーネントなしでも、当該バーチャル環境表示のキャリブレーションを可能とすることができる。当該モバイル通信装置の当該カメラで当該室内ないし当該ホールの当該天井又は当該フロアの記録を行うことができるようにすべく、例えば、一方の開口が当該天井又は当該フロアに向かって配向され、他方の開口が当該モバイル通信装置の当該カメラの当該レンズに向かって配向された潜望鏡タイプの装置を使用することができる。

当該実環境における当該記録装置の当該方向の当該決定は、当該第一の手法に従って、当該オブジェクトの当該記録の当該オブジェクトの二値記録への変換を含んでいる。当該記録９００に対応する当該二値記録９００´は図９ｂに示されている。当該二値記録を生成するために、オプショナルに、例えば、当該二値記録における生じ得る当該二つの状態間の当該分離のための環境に依存した閾値を求めあるいは決定することができる。さらに、上記方法は、当該オブジェクトの当該二値記録における当該オブジェクトの候補の認識を含んでいる。これは、当該二値記録９００´において、当該縦長の照明装置９１０に対応する領域９１０´である。図９ｂに示した当該二値記録９００´には当該オブジェクトの一つの候補９１０´のみしか示されていないが、ただし、行われた当該記録に応じ、当該オブジェクトの二つ、三つ、四つ又はそれを上回る候補も当該記録ないし対応する当該二値記録において認識可能である。そのために、オプショナルに、さしあたり、それぞれの大ないし小の当該主軸も、候補の当該重心も決定することができる。

上記方法はさらに、当該オブジェクトの当該候補のそれぞれの（直線）偏心ｅの決定を含んでいる。つまり、認識された当該候補のいずれについても偏心が決定される。決定された当該直線偏心によって、生じ得る当該候補がむしろ円形（ｅ?０）のオブジェクトであるか又はむしろ縦長（ｅ?１）のオブジェクトであるか否かの評価が可能とされる。したがって、当該二値記録９００´につき、当該画像における当該単独の候補である当該領域９１０´の当該偏心が決定される。当該領域９１０´は縦長であることから、それについては約１という偏心値が決定される。

さらに、上記方法は、当該記録における当該オブジェクトの方向として、その偏心が閾値を上回ると共に、その主軸が、当該閾値を上回る偏心を有する、当該オブジェクトのその他の当該候補の主軸よりも長い、当該候補の主軸の方向を決定することを含んでいる。したがって、一つの縦長のオブジェクトを表す一連の候補を決定するために、すべての候補につき、それらの決定された偏心が閾値と比較される。したがって、例えば、当該閾値は０．５、０．５５、０．６、０．６５、０．７、０．７５、０．８、０．８５又は０．９であってよい。当該オブジェクトの残った当該候補のうちから、最長の当該主軸を有する候補が選択される。当該記録におけるこの候補の当該方向が、当該記録における当該オブジェクトの方向として決定される。

当該記録における当該候補の当該方向は、例えば、ヘルパーベクトル９２０に基づいて決定することができ、その際、当該ヘルパーベクトル９２０は当該ユーザの真っ直ぐな当該視方向を示している。当該ユーザの真っ直ぐな視方向において当該ヘルパーベクトル９２０を決定することにより、当該記録装置の当該方向を当該実環境における当該ユーザの当該方向と基本的に同一であると見なすことを可能とすることができる。したがって、当該記録装置の決定された当該方向から、当該実環境における当該ユーザの頭部の実際の当該位置と当該方向に対応する当該バーチャル環境表示における当該視方向を当該バーチャル環境表示における基準視方向として決定することができる。したがって、当該領域９１０´につき、その主軸の当該方向９３０は当該ヘルパーベクトル９２０に対して８９°の角度を張っていると決定することができる。つまり、当該領域９１０´の当該主軸は当該ヘルパーベクトルに対して８９°回転させられている。これにより、当該領域９１０´の当該主軸の当該方向９３０が当該記録における当該オブジェクトの方向として決定される。

当該基準方向に関する当該情報と連携して、当該記録における当該オブジェクトの当該方向から、当該記録装置の当該方向を決定することができる。上記に示唆したように、当該基準方向とは、当該オブジェクトの当該方向に対するその相対方向が知られている、当該実環境における一方向である。換言すれば、当該基準方向に対する当該オブジェクトの当該相対方向（配向）が既知である、ということである。当該基準方向は、例えば、既知の環境について定められるか又は基準記録から決定することができる。当該ユーザが当該実環境において、例えば、基本的に長方形の底面を有するホール内を動く場合には、当該底面の隅を原点として決定することができる。当該原点から出発して（図２の当該例と同様に）、三本の直交する空間軸Ｘ、Ｙ及びＺを定めることができる。当該底面の当該隅の定められた当該原点から見て、例えば、Ｘは右方向を示し（つまり、基本的に当該底面の第一の境界に沿って延びる方向）、Ｙは上方（つまり、天の方向）を示し（つまり、基本的に当該底面上の垂直な方向）、Ｚは奥行き（つまり、前方）（つまり、基本的に、当該底面の第一の境界に対して直交する、当該底面の第二の境界に沿って延びる方向）を示している。したがって、当該単位方向Ｙは当該ヨー軸に等しく、つまり、この軸を中心とした回転は記録を水平方向に移動させる。かくて、基準方向として、例えば、基本的に当該底面の当該第二の境界に沿って延びる当該空間軸Ｚを選択することができる。したがって、図９ａの当該例における当該縦長の照明装置９１０の、当該基準方向に対する当該オブジェクトの当該相対方向は既知である。例えば、当該縦長の照明装置９１０は当該基準方向Ｚとは直交して、つまり、逆に言えば、当該空間軸Ｘと平行に延びる。

当該記録における当該オブジェクトの決定された当該方向及び当該基準方向に対する当該オブジェクトの既知の当該相対方向から、今や、当該記録装置の当該方向を決定することができる。したがって、当該上記の例において、当該実環境における当該ヘルパーベクトル９２０の当該方向が決定される。これにより、当該空間方向ＸとＺによって張られた当該面内における当該記録装置の方向を決定することが可能である。

コンピュータ処理能力を節減するために、評価さるべき当該記録の当該解像度は（例えば、３２０×２４０ピクセルに）制限されていてよい。同様に、上記方法は当該オブジェクトの当該記録のスケーリングを含むことができ、つまり、当該本来の解像度が目標解像度に合わせてスケーリングされる（例えば、１９２０×１０８０ピクセルから３２０×２４０ピクセルへ）。示唆されているように、当該目標解像度は当該本来の解像度よりも低くてよい。当該オブジェクトの当該記録における当該ピクセル数の節減により、計算時間を節約することが可能である。

以下、図９ｃ及び９ｄの当該説明の範囲で、当該記録における当該オブジェクトの方向と基準方向をベースとした、当該実環境における当該記録装置の当該方向を決定するための当該第二の手法を説明する。

当該第二の手法を説明するために、図９ｃには、当該実環境において当該ユーザがその中を動き回るホールの当該屋根の記録９４０が示されている。その際、当該記録９００は、一例としてのオブジェクトを表す円形の照明装置９５１、９５２、９５３の（直線状の）配置を示している。ただし、その際、当該オブジェクトは円形の照明装置の一つの配置に限定されるものではない。当該オブジェクトは、一般に、当該ユーザがその中を動く当該実環境における当該ホールないし一般に室内の当該天井における円形の照明装置のいかなる配置であってもよい。当該オブジェクトは、一般に、もっぱら当該ユーザの垂直方向上方に延びるオブジェクトであってよい。別法として、当該実環境における当該記録装置は、当該ユーザがその中を動く室内又はホールの当該フロアの方向に配向されていてもよい。かくて、当該オブジェクトは、例えば、当該フロアに嵌め込まれた光源（レーザ、ＬＥＤ）又は標識例えば矢印であってよい。したがって、当該記録装置は、当該実環境における当該ユーザの真っ直ぐな視方向に対して垂直に配向されていてよく、つまり、当該記録装置は天の方向に向かって（つまり、当該天井の方向に向かって）又はフロアの方向に向かって配向されていてよい。当該ユーザに対する当該バーチャル環境表示の当該出力が、当該ユーザの頭部に固定された―その際またも当該ユーザの頭部に当該モバイル通信装置を固定するための固定装置と共にモバイル通信装置を含んだ―表示装置を介して行われる場合には、当該モバイル通信装置のカメラを記録装置として使用することができる。それゆえ、付加的なハードウェアコンポーネントなしでも、当該バーチャル環境表示のキャリブレーションを可能とすることができる。当該モバイル通信装置の当該カメラで当該室内ないし当該ホールの当該天井又は当該フロアの記録を行うことができるようにすべく、例えば、一方の開口が当該天井又は当該フロアに向かって配向され、他方の開口が当該モバイル通信装置の当該カメラの当該レンズに向かって配向された潜望鏡タイプの装置を使用することができる。

当該実環境における当該記録装置の当該方向の当該決定は、当該第二の手法に基づき、またも、当該オブジェクトの当該記録を当該オブジェクトの二値記録に変換することを含んでいる。当該記録９４０に対応する当該二値記録９４０´は図９ｄに示されている。当該二値記録を生成するために、オプショナルに、例えば、当該二値記録における生じ得る当該二つの状態間の当該分離のための環境に依存した閾値を求めあるいは決定することができる。

さらに、上記方法は、当該オブジェクトの当該二値記録における円形オブジェクトの認識を含んでいる。その際、当該円形オブジェクトのそれぞれの半径は、あらかじめ定められた値の範囲に含まれている。換言すれば、当該半径の値が第一の閾値よりも大きくかつ第二の閾値よりも小さい、円形のオブジェクトのみが認識される、ということである。その際、当該閾値は、当該ユーザがその中を動く当該実環境に関する情報に基づいて選択することができる（例えば、当該屋根の高さないし当該フロアからの当該照明装置の距離、当該照明装置の寸法）。当該二値記録における円形オブジェクトの当該認識には、例えば、サークルハフ変換（ＣＨＴ）ベースのアルゴリズムを使用することができる。これに応じて、当該二値記録において、当該記録９４０における円形照明装置９５１、９５２、９５３の当該配置に対応する当該円形オブジェクト９５１´、９５２´及び９５３´が認識される。他方、当該二値記録９４０´において当該９５２´及び９５３´に隣接する明るい当該領域９５２"及び９５３"は円形オブジェクトとして認識されないが、それはこれらが当該半径基準を満たしていないからである。当該二値記録９４０´において当該９５２´及び９５３´に隣接する明るい当該領域は当該記録９４０における当該光学効果９５４、９５５に対応しており、したがって、当該実環境におけるオブジェクトを表すものではない。これにより、当該半径基準を用いて、当該記録装置の当該方向を当該決定するためのその他の方法から、光学的妨害効果を効果的に排除することができる。

さらに、上記方法は、当該円形オブジェクト相互の間隔の決定を含んでいる。そのために、例えば、当該円形オブジェクト９５１´、９５２´及び９５３´の当該中心点を決定し、当該中心点相互の当該間隔を決定することができる。当該間隔決定には、それぞれの当該円形オブジェクトの当該半径も組み入れることができる。

加えてさらに、当該第二の手法に基づく、当該実環境における当該記録装置の当該方向の当該決定は、当該円形オブジェクトの当該相互間隔をベースとした、当該記録における当該オブジェクトの当該方向の当該決定を含んでいる。当該円形オブジェクトの当該間隔から、個々の当該円形オブジェクト相互間の関係を決定することができる。その際、例えば、またも、当該ユーザがその中を動く当該実環境に関する情報を使用することができる。当該図９ｃ及び９ｄに示した当該例において、例えば、当該実環境における円形照明装置９５１、９５２、９５３の当該直線状配置の当該個々の照明装置間の間隔並びに円形照明装置９５１、９５２、９５３の当該直線状配置の当該距離を、（図９ｃには不図示で使用される）円形照明装置のさらに別の直線状配置に援用することができる。一般に、当該実環境における当該記録装置によって検出可能な当該領域の当該形状寸法及び当該性状（例えば、室内又はホールの天井）に関する情報は、当該個々のオブジェクト相互の当該関係の当該決定に援用することが可能である。

図９ｄにおいて、当該円形オブジェクト９５１´、９５２´及び９５３´相互の当該間隔につき、それらが当該実環境における照明装置の直線状配置の当該間隔に一致しており、したがって、当該円形オブジェクト９５１´、９５２´及び９５３´は当該実環境における既知のオブジェクトを表していると決定される。したがって、当該二値記録における当該円形オブジェクト９５１´、９５２´及び９５３´のそれぞれの当該位置から、当該円形オブジェクト９５１´、９５２´及び９５３´によって表された当該記録における当該オブジェクトの方向ベクトル９７０が決定される。そのために、例えば、一つの直線を、当該円形オブジェクト９５１´、９５２´及び９５３´の当該中心点に適合（フィット）させることができる。

当該記録における（つまり、当該オブジェクトの）当該方向ベクトル９７０の当該方向は、例えば、またも、例えば当該ユーザの真っ直ぐの当該視方向を示すヘルパーベクトル９６０に基づいて決定することができる。したがって、当該方向ベクトル９７０につき、当該オブジェクトの当該方向は当該ヘルパーベクトル９６０に対して３５°の角度を張っていると決定することができる。つまり、当該方向ベクトル９７０によって表された、円形照明装置９５１、９５２、９５３の当該直線状配置は、当該ヘルパーベクトル９６０に対して３５°回転させられている、ということである。したがって、当該方向ベクトル９７０の当該方向が当該記録における当該オブジェクトの方向として決定されている。

当該基準方向に関する当該情報と連携して、当該記録における当該オブジェクトの当該方向から、当該記録装置の当該方向を決定することができる。上記において示唆したように、当該基準方向とは、当該オブジェクトの当該方向に対するその相対方向が既知である、当該実環境における一方向のことである。図９ｂに関する当該説明において一例として導入された当該座標系ＸＹＺを基準として、基準方向として、例えば、またも、基本的に当該底面の当該第二の境界に沿って延びる当該空間軸Ｚを選択することができる。したがって、図９ｃの当該例における円形照明装置９５１、９５２、９５３の当該直線状配置の、当該基準方向に対する当該オブジェクトの当該相対方向は既知である。例えば、円形照明装置９５１、９５２、９５３の当該直線状配置は当該基準方向Ｚとは直交して、つまり、逆に言えば、当該空間軸Ｘと平行に延びる。

当該記録における当該オブジェクトの決定された当該方向及び当該基準方向に対する当該オブジェクトの既知の当該相対方向から、今や、当該記録装置の当該方向を決定することができる。したがって、当該上記の例において、当該実環境における当該ヘルパーベクトル９６０の当該方向が決定される。これにより、当該空間方向ＸとＺによって張られた当該面内における当該記録装置の方向を決定することが可能である。

コンピュータ処理能力を節減するために、評価さるべき当該記録の当該解像度は（例えば、３２０×２４０ピクセルに）制限されていてよい。同様に、上記方法は当該オブジェクトの当該記録のスケーリングを含むことができ、つまり、当該本来の解像度が目標解像度に合わせてスケーリングされる（例えば、１９２０×１０８０ピクセルから３２０×２４０ピクセルへ）。示唆されているように、当該目標解像度は当該本来の解像度よりも低くてよい。当該オブジェクトの当該記録における当該ピクセル数の節減により、計算時間を節約することが可能である。

当該図９ｃ及び９ｄに関連して説明された当該手法において、当該記録装置は、当該ユーザがその中を動く一つの面に対して基本的に直交する一つの面内で記録を行うとのことが出発点とされた。例えば、ユーザがホール内を動き、当該記録装置が当該ホールの当該天井に対して基本的に９０°の角度で同人の記録を行う、ということである。ただし、当該記録装置も、（例えば、当該記録装置が当該ユーザの頭部に固定され、同人が当該頭部で上下又は左右首振り運動を行う場合には）、当該天井に対して傾いていることがある。こうした状況にあっても、当該二値記録における当該円形オブジェクトの当該間隔を正確に決定し得るようにすべく、当該実環境における当該記録装置の既知の位置（例えば、ＶＲシステムによって決定された当該実環境における当該ユーザの位置）に加えてさらに、例えば、当該バーチャル環境用の表示装置並びに記録装置として利用されるモバイル通信装置の例えばジャイロスコープ及び／又はアクセレロメータの目下の測定値も使用することが可能である。

また、当該バーチャル環境用の表示装置並びに記録装置として利用されるモバイル通信装置のジャイロスコープ及び／又はアクセレロメータの目下の測定値も、記録を行うための適切な瞬間が存在するか否かを決定するために、全く一般的に（つまり、本願明細書開示のすべての実施例において）利用することが可能である。例えば、当該記録装置が当該測定値の一定の値の範囲内でのみ記録を行うように決定することが可能である。これによって、当該実環境における当該記録装置の当該方向に起因する不鮮明又はその他の画像の歪みを有する記録が評価されることを防止することができる。こうして、当該実環境における当該記録装置の不完全な方向が決定され、それによって、当該バーチャル環境における当該視方向が誤った回転オフセット分だけ回転させられるということを回避することができる。

若干の実施例において、当該ユーザの頭部に固定された―当該記録装置を含んだ―当該表示装置を介して、当該ユーザの身体（例えば、腹部、ズボンのバンド）に固定された光源の記録が行われる。例えば、当該ユーザの胴体部に、当該ユーザの直線運動の方向に（つまり、基本的に、当該ユーザの真っ直ぐな視方向に沿って）一本のレーザ光線を発するレーザを配置することができる。したがって、当該光源ないし当該レーザ光線は、当該記録装置によって記録が行われる当該既知のオブジェクトである。当該記録装置の目下の当該位置及び先行する少なくとも一つの時点における当該記録装置の当該既知の位置から、当該実環境における当該身体の方向が決定される（つまり、当該記録の時点における当該運動ベクトルが当該身体の方向と見なされる）。換言すれば、当該実環境における当該身体の当該方向が基準方向として資する、ということである。当該記録における当該レーザ光線の当該方向から、今や、当該レーザ光線に対する当該記録装置の当該相対方向が決定される。当該記録における当該レーザ光線の当該方向は、例えば、図９ａ及び９ｂに関連して説明された当該方法に従って決定することができる。当該レーザ光線の当該方向は当該基準方向と一致していることから、当該レーザ光線の当該記録から、当該実環境における当該記録装置の当該絶対方向を決定することができる。したがって、当該実環境における当該絶対方向から当該バーチャル環境表示における基準視方向を決定することができるため、当該バーチャル環境表示における目下の当該視方向との比較によって、またも、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットを決定することが可能である。かくて、当該バーチャル環境表示における当該視方向を当該回転オフセット分だけ回転させ、つまり、補正することができる。

図１０には、バーチャル環境表示における視方向のさらに別な設定方法１０００が示されている。

その際、上記方法１０００は、第一の時点ｔ_０及び爾後の第二の時点ｔ_１における、当該ユーザの頭部に固定された記録装置による、実環境において当該ユーザの身体に配置されたオブジェクトの記録１００２を含んでいる。当該オブジェクトとは、例えば、当該ユーザの身体（例えば、腹部又はズボンのバンド）に固定された光源であってよい。例えば、当該ユーザの胴体部に、当該ユーザの直線運動の方向に（つまり、基本的に、当該ユーザの真っ直ぐな視方向に沿って）一本のレーザ光線を発するレーザを配置することができる。

ユーザは同人頭部を、当該頭部の横軸を中心とした回転、当該頭部の長軸を中心とした回転及び／又は当該頭部のヨー軸を中心とした回転によって動かすことができる。その際、当該頭部の当該横軸、当該長軸及び当該ヨー軸は互いに垂直をなしている。当該記録装置は当該ユーザの頭部に配置されているために、それもまた当該頭部の当該横軸、当該長軸及び当該ヨー軸を中心として回転することが可能である。

上記に説明したように、当該バーチャル環境表示は当該ユーザに対し、当該ユーザの頭部に固定された表示装置を介して出力されることができる。かくて、当該ＶＲシステムの通常作動中に、例えば当該表示装置（ＨＭＤ）内に存在するセンサ機構（例えば、ジャイロスコープ、マグネトメータ、アクセレロメータ）を、当該実環境における当該ユーザの頭部の当該方向を決定するために使用することができる。これによって、特に、そのヨー軸を中心とした当該頭部の回転位置を決定することができる。ただし、当該既存のセンサ機構による当該頭部の当該方向の当該決定は―上述したように―誤っていることがある。上記の当該センサ機構つまり少なくとも一つのセンサに加えて、当該表示装置はさらに、当該記録装置を含んでいてよい。したがって、上記方法１０００はさらに、当該第一の時点ｔ_０及び当該第二の時点ｔ_１における当該オブジェクトの当該記録並びに当該ユーザの頭部に固定された少なくとも一つのさらに別のセンサの測定値をベースとした、当該バーチャル環境表示のヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットの決定１００４を含む。

その際、当該バーチャル環境表示のヨー軸を中心とした、当該バーチャル環境表示におけ当該視方向の当該回転オフセットは、当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の回転オフセットに等しい。これは、当該時点ｔ_０及びｔ_１における当該オブジェクトの当該記録から決定された、当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の当該回転と、当該ユーザの頭部に固定された少なくとも一つのさらに別の当該センサの当該時点ｔ_０とｔ_１の間の当該測定値から決定された、当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の当該回転との比較によって決定される。これにより、当該バーチャル環境表示の当該ヨー軸を中心とした当該バーチャル環境表示における当該視方向の当該回転オフセットを、当該実環境における当該記録装置ないし当該ユーザの頭部の当該絶対方向を決定する必要なしに、決定することができる。むしろ、当該頭部の当該ヨー軸を中心とした、当該記録装置ないし当該ＨＭＤの当該相対回転オフセットを決定すれば十分である。

したがって、上記方法１０００はさらに、当該バーチャル環境表示における当該視方向の当該回転オフセット分だけの回転１００６を含む。換言すれば、当該バーチャル環境表示における当該視方向は、当該バーチャル環境表示の当該ヨー軸を中心とした回転によって補正され、その際、当該回転の当該方向及び当該量は当該回転オフセットによって決定されている、ということである。したがって、当該バーチャル環境表示は当該回転オフセット分だけ補正される。これによって、当該バーチャル環境表示は、当該実環境における当該ユーザの頭部の実際の当該位置及び当該方向に適合されることができる。それゆえ、上記方法１０００は、当該バーチャル環境表示における当該視方向のキャリブレーションを可能とする。特に、本方法１０００により、誤って決定された当該実環境における方向ないし、ユーザ（頭部）の当該位置及び配向を決定するために通常使用される当該センサ機構の測定エラーに由来する、当該バーチャル環境表示における当該視方向の逸れを補正することができる。

若干の実施例によれば、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定１００４は、当該第一の時点ｔ_０と当該第二の時点ｔ_１における当該オブジェクトの当該記録をベースとした、当該第一の時点ｔ_０と当該第二の時点ｔ_１との間における当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の第一の回転の決定を含んでいる。その際、当該第一の時点ｔ_０については、当該第一の時点ｔ_０における当該レーザ光線の当該記録から、当該レーザ光線に対する当該記録装置の当該相対方向が決定される。例えば、当該レーザ光線は当該ユーザの直進運動の方向に向けられていてよく、かつ、当該ユーザの視方向は真っ直ぐであることから、当該レーザ光線に対する当該頭部の当該ヨー軸を中心とした当該記録装置の相対回転０°が第一の方向として決定される。当該第二の時点ｔ_１については、当該レーザ光線に対する当該記録装置の当該相対方向は、当該第二の時点ｔ_１における当該レーザ光線の当該記録から決定される。当該ユーザが当該時点ｔ_１に同人頭部を例えば側方に回転させたとすれば、当該第一の方向とは異なる当該レーザ光線の第二の方向が当該記録において決定され、つまり、当該レーザ光線に対する当該頭部の当該ヨー軸を中心とした当該記録装置の、０°とは異なる相対回転が決定される。当該記録における当該レーザ光線の当該方向は、例えば、図９ａ及び９ｂに関連して説明された当該方法に従って、決定することができる。したがって、当該第一の時点ｔ_０における当該頭部の当該方向と当該第二の時点ｔ_１における当該頭部の当該方向との間の、当該頭部の当該ヨー軸を中心とした当該相対回転角度は、当該双方の記録から決定される。

さらに、これらの実施例において、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定１００４は、当該ユーザの頭部に固定された少なくとも一つのさらに別の当該センサの当該測定値をベースとした、当該第一の時点ｔ_０と当該第二の時点ｔ_１との間の当該ユーザの頭部の当該ヨー軸を中心とした当該記録装置の第二の回転の決定を含んでいる。換言すれば、当該時点ｔ_０とｔ_１との間の、当該ユーザの頭部に固定された少なくとも一つのさらに別の当該センサの当該測定値から、比較値として、またも、当該頭部の当該ヨー軸を中心とした当該実効（つまり、トータルの）回転が決定される、ということである。したがって、当該第一の時点ｔ_０における当該頭部の当該方向と当該第二の時点ｔ_１における当該頭部の当該方向との間の、当該頭部の当該ヨー軸を中心とした当該相対回転角度が、当該測定値から決定される。ただし、当該表示装置の当該センサ機構の測定エラーによって、当該測定値から決定された、当該頭部の当該ヨー軸を中心とした当該回転は誤っていることがある。これが、当該ＶＲシステムにおいて、当該バーチャル環境表示における当該視方向の当該決定に使用されることから、当該バーチャル環境表示における視方向も誤っていることがあり、つまり、当該バーチャル環境表示の当該ヨー軸を中心として誤って回転させられていることがある。

したがって、これらの実施例において、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の当該回転オフセットの当該決定１００４はさらに、当該バーチャル環境表示の当該ヨー軸を中心とした当該バーチャル環境表示における当該視方向の回転オフセットとしての、当該第一の回転と当該第二の回転との間の当該頭部の当該ヨー軸を中心とした当該回転オフセットの決定を含んでいる。換言すれば、当該第一の回転と当該第二の回転との間の当該頭部の当該ヨー軸を中心とした当該回転オフセットは、当該オブジェクトの当該記録から決定される当該第一の回転と少なくとも一つのさらに別な当該センサの当該測定値から決定される当該第二の回転との間の当該差（つまり、当該相違）を表している、ということである。したがって、それゆえ、当該表示装置（つまり、当該ＨＭＤ）の当該センサ機構の当該測定エラーに起因して生ずる当該ユーザの頭部の当該ヨー軸を中心とした当該回転オフセットは、当該ユーザの頭部における当該オブジェクト（例えば、当該レーザ光線）に対する当該表示装置の当該相対回転の正確な当該決定によって決定される。したがって、当該頭部の当該ヨー軸を中心とした当該記録装置ないしＨＭＤの当該相対回転オフセットは、当該バーチャル環境表示の当該ヨー軸を中心とした、当該バーチャル環境表示における当該視方向の回転オフセットと見なすことができるため、それは、相応して、当該頭部の当該ヨー軸を中心とした当該記録装置ないし当該ＨＭＤの当該回転オフセット分だけ補正されることができる。

以下の当該図１１ａ及び１１ｂには、一例として、当該実環境におけるユーザ１１００の運動ベクトルと、当該実環境における当該ユーザ１１００の実際の視方向ｖ_ｒｅａｌと、当該ユーザ１１００の当該頭部１１０２に配置された少なくとも一つのさらに別のセンサの当該測定値から決定された当該バーチャル環境表示における視方向ｖ_ｖｒとの間の関連が示されている。当該図１１ａ及び１１ｂにおいて、当該ユーザ１１００は、当該第一の時点ｔ_０と爾後の当該第二の時点ｔ_１との間に、例えば、当該双方の時点ｔ_０及びｔ_１における位置測定ｍ（ｔ_０）及びｍ（ｔ_１）によって決定可能な運動ベクトルｐに沿って動く。

その際、図１１ａは、当該第一の時点ｔ_０における当該状況を示している。この時点において、当該ユーザ１１００の視方向は真っ直ぐに、つまり、同人の運動ベクトルｐの方向に向けられている。当該ユーザの頭部の実際の当該方向は、当該第一の時点ｔ_０につき、当該ユーザ１１００の当該頭部１１０２に配置されたＨＭＤ１１０４を含んだ記録装置によって決定される。上述したように、当該記録装置により、当該ユーザ１１００の当該身体１１０６に配置されたオブジェクト（例えば、光源つまりレーザ光線を発するレーザ光源）の第一の記録が行われ、それから、当該第一の時点ｔ_０に関する、当該オブジェクトに対する当該頭部の相対方向が決定される。その際、当該ユーザ１１００の当該身体１１０６（例えば、胴体部）に対する当該オブジェクトの当該相対配向は既知である。例えば、レーザ光線は当該ユーザ１１００の直進運動方向に向けられていてよいことから、当該頭部の当該ヨー軸を中心とした、当該レーザ光線に対して０°という当該記録装置の相対回転が第一の方向として決定される。当該レーザ光線は当該ユーザ１１００の当該直進運動方向に向けられているために、当該レーザ光線の当該方向は基本的に当該ユーザ１１００の当該運動ベクトルｐに一致しており、そのため、当該ユーザ１１００の当該運動ベクトルｐに対する、当該頭部の当該ヨー軸を中心とした当該記録装置の当該相対回転θも既知であり、したがってこの場合、０°の回転である。それゆえ、当該運動ベクトルが既知であることから、当該記録装置の当該絶対方向と共に、当該実環境における当該ユーザ１１００の当該頭部１１０２のそれも既知である。

ＶＲシステムの通常作動中に、ＨＭＤ１１０４の内に含まれた少なくとも一つのさらに別のセンサ（例えば、ジャイロスコープ、マグネトメータ、アクセレロメータ）によって、同じく、当該実環境における当該ユーザ１１００の当該頭部１１０２の当該方向が決定され、それから、当該バーチャル環境表示における当該視方向ｖ_ｖｒが決定される。当該第一の時点ｔ_０につき、今や、当該ユーザ１１００の当該頭部１１０２に配置された少なくとも一つのさらに別の当該センサの当該測定値から決定された、当該実環境における当該ユーザ１１００の当該視方向は、当該記録から決定された、当該実環境における当該ユーザ１１００の実際の当該視方向ｖ_ｒｅａｌと同一であるとする。それゆえ、当該バーチャル環境表示における当該視方向も、基本的に、当該ユーザ１１００の当該運動ベクトルｐに一致することとなるために、当該実環境における当該ユーザ１１００の実際の当該視方向ｖ_ｒｅａｌと当該バーチャル環境表示における当該視方向ｖ_ｖｒとの間には、基本的に０°の回転∂を想定することができる。換言すれば、当該バーチャル環境表示の当該ヨー軸を中心とした当該回転オフセットは基本的に０°である、ということである。

図１１ｂには、今や、当該第二の時点ｔ_１における当該状況が示されている。当該第二の時点ｔ_１においても、当該ユーザ１１００の視方向は真っ直ぐに、つまり、同人の運動ベクトルｐの方向に向けられている。したがって、当該ユーザの当該身体１１０６に配置された当該オブジェクト（例えば、レーザ）の当該第二の時点ｔ_１における当該第二の記録から、またも、例えば当該レーザ光線に対する、当該頭部の当該ヨー軸を中心とした当該記録装置の相対回転０°が第二の方向として決定され、つまり、当該ユーザ１１００の当該運動ベクトルｐに対する、当該頭部の当該ヨー軸を中心とした当該記録装置の当該相対回転θはまたも０°である。当該第二の時点ｔ_１につき、今や、当該ユーザ１１００の当該頭部１１０２に配置された少なくとも一つのさらに別の当該センサの当該測定値から決定された、当該実環境における当該ユーザ１１００の当該視方向は、測定エラーに起因して、当該第二の記録から決定された、当該実環境における当該ユーザ１１００の実際の当該視方向ｖ_ｒｅａｌとは一致していない。したがって、当該バーチャル環境表示における当該視方向ｖ_ｖｒも、誤りによって、当該ユーザ１１００の当該運動ベクトルｐとは基本的に一致していないため、当該実環境における当該ユーザ１１００の実際の当該視方向ｖ_ｒｅａｌと当該バーチャル環境表示における当該視方向ｖ_ｖｒとの間には、０°とは異なる回転∂が存在する。換言すれば、当該バーチャル環境表示の当該ヨー軸を中心とした当該回転オフセットは０°とは異なっている、ということである。当該バーチャル環境表示の当該ヨー軸を中心とした当該回転オフセットが０°とは相異しているということの帰結は、当該ユーザが当該バーチャル環境内で基本的に当該運動ベクトルｐに沿っては動かずに、それに対して斜めに動くということである。もしも当該ユーザが、例えば、当該バーチャル環境において真っ直ぐ前方に動くとすれば、同人は当該実環境において斜め前方に動くことになろう。

今や、当該バーチャル環境表示における当該視方向を補正するために、上述したように（当該図１１の説明、参照のこと）、当該双方の記録から決定された当該回転と少なくとも一つのさらに別の当該センサの当該測定値から決定された当該回転との間の、当該ユーザ１１００の当該頭部１１０２の当該ヨー軸を中心とした当該相対回転オフセットを使用することができる。別法として、当該バーチャル環境表示における基準視方向を決定すると共に、当該バーチャル環境表示における当該視方向を、当該基準視方向と当該バーチャル環境表示における目下の当該視方向との間の当該回転オフセット分だけ補正する（つまり、当該バーチャル環境表示の当該ヨー軸を中心として回転させる）ために、当該既知の運動ベクトルに対する当該記録装置の当該相対配向の知識に基づいて決定可能な、当該バーチャル環境における当該記録装置（と共に、当該頭部１１０２）の当該絶対方向を使用することが可能である。これにより、当該バーチャル環境表示における当該視方向のキャリブレーションを可能とすることができる。

上記の当該説明、以下に述べる当該請求項及び当該添付図面においてそれぞれ開示された当該特徴は、単独であっても、任意の組み合わせであっても、さまざまな態様による一実施例の実現にとって重要であると共に、それに組み入れることが可能である。

多くの実施態様が一つの装置との関連で説明されたが、これらの実施態様は対応する当該方法の説明をも表していることから、一つの装置の一ブロック又は一構造要素は対応する一方法ステップとして、又は一方法ステップの一特徴として理解さるべきことは自明である。それと同様に、一方法ステップと関連して、又は一方法ステップとして説明された実施態様は、対応する装置の対応するブロック又はその詳細又はその特徴の説明をも表すものである。

定められた実施要件に応じ、本発明の実施例は、ハードウェア又はソフトウェアで実現されていてよい。当該実施は、プログラマブルハードウェアコンポーネントと次のように―つまり、当該それぞれの方法が実行されるように―連携し得るか又はそのように連携する電子読取り可能な制御信号がメモリされているディジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＦＬＡＳＨメモリ、ハードディスク又はその他の磁気若しくは光学メモリを使用して実行することができる。

プログラマブルハードウェアコンポーネントは、プロセッサ、コンピュータプロセッサ（ＣＰＵ＝Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックプロセッサ（ＧＰＵ＝Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コンピュータ、コンピュータシステム、特定用途向け集積回路（ＡＳＩＣＳ＝Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、集積回路（ＩＣ＝Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システム・オン・チップ（ＳＯＣ＝Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、プログラマブル論理素子又はマイクロプロセッサを有するフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ＝Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって形成されていてよい。

したがって、当該ディジタル記憶媒体は、機械可読又はコンピュータ読取り可能であってよい。したがって、多くの実施例は、プログラマブルコンピュータシステム又はプログラマブルハードウェアコンポーネントと次のように―つまり、本願明細書にて説明された当該方法のいずれか一つが実行されるように―連携することのできる電子式読取り可能な制御信号を有するデータ記憶媒体を含んでいる。それゆえ、一実施例は、本願明細書にて説明された方法のいずれか一つを実行する当該プログラムが記録されたデータ記憶媒体（又は、ディジタル記憶媒体又はコンピュータ読取り可能な媒体）である。

一般に、本発明の実施例は、プログラム、ファームウェア、コンピュータプログラム又はプログラムコードを具えたコンピュータプログラムプロダクト又はデータとして実現されていてよく、その際、当該プログラムコード又は当該データは、当該プログラムがプロセッサ上又はプログラマブルハードウェアコンポーネント上をランする場合に当該方法のいずれか一つを実行することができるように構成されている。当該プログラムコード又は当該データは、例えば、機械可読式媒体又はデータ記憶媒体に格納されていてよい。当該プログラムコード又は当該データは、とりわけ、ソースコード、マシンコード又はバイトコード並びにその他の中間コードとして存在してよい。

さらに別の実施例はさらに、本願明細書にて説明された当該方法のいずれか一つを実行するためのプログラムを表すデータストリーム、シグナル配列又はシグナル列である。当該データストリーム、当該シグナル配列又は当該シグナル列は、データ通信接続例えばインターネット又はその他のネットワークを介して伝送されるように構成されていてよい。実施例は、ネットワーク又はデータ通信接続を介した伝送に適したデータを表すシグナル配列もそうであり、その際、当該データは当該プログラムを表している。

一実施例によるプログラムは、その実行中に、格納先を読み出し又は同所に一つ又は複数のデータを書き込み、それによって、必要に応じ、トランジスタ構造、増幅器構造又はその他の電気式、光学式、磁気式のデバイス又はその他のいずれかの機能原理に基づいて作動するデバイスにスイッチング動作又はその他の動作が招来されることにより、当該方法のいずれか一つを実現することができる。したがって、格納先の読み出しにより、データ、値、センサ値又はその他の情報をプログラムによって検出し、決定し、又は測定することが可能である。したがって、プログラムは、一つ又は複数の格納先の読み出しによって、数量、値、測定量及びその他の情報を検出し、決定し、又は測定することができると共に、一つ又は複数の格納先に書き込みを行うことによって、アクションをもたらし、惹き起こし又は実行し、また、その他の機器、マシン及びコンポーネントを制御することが可能である。

上述した当該実施例は、単に、本発明の当該原理の具体的実例を表しているだけではない。本願明細書に述べた当該システム配置並びに当該詳細の改良及び修正は他の当業者にとって自明なものになることは自ずと明らかである。それゆえ、本発明を単に当該下記の特許請求項の当該保護範囲によって限定することのみならず、当該実施例の当該記述及び当該説明によって本願明細書に開示された当該個別の詳細によって限定することも意図されていない。

Claims (23)

1. バーチャル環境表示における視方向の設定方法（１００）であって、
   以下すなわち、
   実環境における既知のオブジェクトを記録装置によって記録（１０２）すること、
   時点ｔ _０ に関する前記オブジェクトの前記記録、前記実環境における前記記録装置の既知の位置及び前記バーチャル環境表示における目下の視方向に基づいて、前記バーチャル環境表示のヨー軸を中心とした、前記バーチャル環境表示における前記視方向の回転オフセットを決定（１０４）すること、及び
   前記バーチャル環境表示における前記視方向を前記回転オフセット分だけ回転（１０６）させること、
   その際、当該時点ｔ _０ に関する当該バーチャル環境表示における目下の当該視方向は、ャイロスコープ、マグネトメータ、及び／又はアクセレロメータの測定値に基づいており、
   その際、前記バーチャル環境表示の前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の前記回転オフセットの決定（１０４）は、
   以下すなわち、
   前記オブジェクトの前記記録及び前記実環境における前記記録装置の前記既知の位置に基づいて、前記実環境における前記記録装置の定位を決定すること、
   前記実環境における前記記録装置の前記定位に基づいて、時点ｔ _０ に関する前記バーチャル環境表示における基準視方向を決定すること、及び
   時点ｔ _０ に関する前記バーチャル環境表示における前記基準視方向、及び、時点ｔ _０ に関する前記バーチャル環境表示における目下の前記視方向から、前記バーチャル環境表示の前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の当該回転オフセットを決定すること
   を含む方法。
2. 前記実環境における前記記録装置の前記定位の前記決定は、前記オブジェクトの前記記録の少なくとも一部を比較記録の少なくとも一部と合致させる変換の決定を含むように構成されている、請求項１に記載の方法。
3. 前記実環境における前記記録装置の前記定位の前記決定は、
   以下すなわち、
   前記記録における前記オブジェクトの一つの特徴を認識すること、
   前記記録における前記特徴の位置を決定すること、
   当該多数の比較特徴に前記実環境におけるそれぞれ一つの位置が対応させられているデータバンクの多数の比較特徴のうちから、前記記録における前記オブジェクトの前記特徴に一致する一つの比較特徴を同定すること、
   前記実環境における前記記録装置の前記既知の位置、前記記録における前記特徴の前記位置及び同定された前記比較特徴に対応させられている、前記実環境における前記位置に基づいて、前記実環境における前記記録装置の前記定位を決定すること
   を含む、請求項１に記載の方法。
4. 前記実環境における前記記録装置の前記定位の前記決定に際し、前記オブジェクトの複数の特徴が認識され、
   その際、前記オブジェクトの前記認識された複数の特徴につき、前記実環境における前記記録装置のそれぞれ一つの定位が決定されると共に、
   その際、前記オブジェクトの前記認識された複数の特徴について決定された、前記実環境における前記記録装置の当該定位が、一つの品質基準を満たす、前記実環境における前記記録装置の定位として決定されるように構成されている、
   請求項３に記載の方法。
5. 前記多数の比較特徴は前記オブジェクトのさまざまな特徴を含んでいるように構成されている、請求項３又は４に記載の方法。
6. 前記オブジェクトは一つの垂直な面に付されたパターンであるように構成されている、請求項１から５のいずれか一項に記載の方法。
7. 当該方法はユーザに対する前記バーチャル環境表示の出力を含み、
   前記記録装置は前記実環境における前記ユーザの真っ直ぐな視方向に配向されているように構成されている、請求項１から６のいずれか一項に記載の方法。
8. 前記実環境における前記記録装置の前記定位の前記決定は、
   以下すなわち、
   前記実環境における前記記録装置の前記既知の位置に基づいて、データバンクの多数の比較記録のうちから、前記実環境における当該比較記録の定位が既知である一つの比較記録を決定すること、
   前記比較記録に対する、前記オブジェクトの前記記録の相対回転を決定すること、
   前記実環境における前記比較記録の前記定位及び前記比較記録に対する前記オブジェクトの前記記録の前記相対回転に基づいて、前記実環境における前記記録装置の前記定位を決定すること
   を含む、請求項１に記載の方法。
9. 前記多数の比較記録は二値記録であり、
   前記比較記録に対する、前記オブジェクトの前記記録の前記相対回転の前記決定は、
   以下すなわち、
   前記オブジェクトの前記記録を前記オブジェクトの二値記録に変換すること、及び
   前記比較記録に対する、前記オブジェクトの前記二値記録の前記相対回転を決定すること
   を含む、請求項８に記載の方法。
10. 当該方法はさらに、ユーザに対する前記バーチャル環境表示の出力を含み、
    その際、前記記録装置は前記実環境における前記ユーザの真っ直ぐな視方向に対して垂直に配向されているように構成されている、請求項８又は９に記載の方法。
11. 前記オブジェクトはもっぱら前記ユーザの垂直方向上方又はもっぱら垂直方向下方に延びるように構成されている、請求項１０に記載の方法。
12. 前記ユーザに対する前記バーチャル環境表示の前記出力は、前記ユーザの頭部に固定された表示装置を介して行われ、その際、前記表示装置はさらに前記記録装置を含んでいるように構成されている、請求項７、１０又は１１に記載の方法。
13. 前記表示装置はモバイル通信装置を含み、
    その際、前記記録装置は前記モバイル通信装置のカメラであるように構成されている、請求項１２に記載の方法。
14. バーチャル環境表示における視方向の設定方法（８００）であって、
    以下すなわち、
    実環境における既知のオブジェクトを記録装置によって記録（８０２）すること、
    時点ｔ _０ に関する前記オブジェクトの前記記録及び前記バーチャル環境表示における目下の視方向に基づいて、前記バーチャル環境表示のヨー軸を中心とした、前記バーチャル環境表示における前記視方向の回転オフセットを決定（８０４）すること、
    前記バーチャル環境表示における前記視方向を前記回転オフセット分だけ回転（１０６）させ、
    その際、当該時点ｔ _０ に関する当該バーチャル環境表示における目下の当該視方向は、ャイロスコープ、マグネトメータ、及び／又はアクセレロメータの測定値に基づいており、
    その際、前記バーチャル環境表示における前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の前記回転オフセットの決定（８０４）は、
    以下すなわち、
    前記記録における前記オブジェクトの定位及び基準方向に基づいて、前記実環境における前記記録装置の定位を決定すること、
    前記実環境における前記記録装置の前記定位に基づいて、時点ｔ _０ に関する前記バーチャル環境表示における基準視方向を決定すること、及び
    時点ｔ _０ に関する前記バーチャル環境表示における前記基準視方向、及び、時点ｔ _０ に関する前記バーチャル環境表示における目下の前記視方向から、前記バーチャル環境表示の前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の当該回転オフセットを決定すること
    を含む方法。
15. 前記実環境における前記記録装置の前記定位の前記決定は、
    以下すなわち、
    前記オブジェクトの前記記録を前記オブジェクトの二値記録（９００´）に変換すること、
    前記オブジェクトの前記二値記録（９００´）における前記オブジェクトの候補（９１０´）を認識すること、
    前記オブジェクトの前記候補（９１０´）のそれぞれの偏心を決定すること、
    前記記録における前記オブジェクトの定位として、その偏心が閾値を上回ると共に、その主軸が、前記閾値を上回る偏心を有する、前記オブジェクトのその他の前記候補の主軸よりも長い、当該候補（９１０´）の主軸の定位を決定すること
    を含む、請求項１４に記載の方法。
16. 前記実環境における前記記録装置の前記定位の前記決定は、
    以下すなわち、
    前記オブジェクトの前記記録を前記オブジェクトの二値記録（９４０´）に変換すること、
    前記オブジェクトの前記二値記録（９００´）における、円形オブジェクトのそれぞれの半径があらかじめ定められた値の範囲に含まれている当該円形オブジェクト（９５１´、９５２´、９５３´）を認識すること、
    前記円形オブジェクト（９５１´、９５２´、９５３´）相互の間隔を決定すること、
    前記円形オブジェクト（９５１´、９５２´、９５３´）相互の間隔に基づいて、前記記録における前記オブジェクトの前記定位を決定すること
    を含む、請求項１４に記載の方法。
17. 当該方法はさらに、ユーザに対する前記バーチャル環境表示の出力を含み、
    その際、前記記録装置は前記実環境における前記ユーザの真っ直ぐな視方向に対して垂直に配向されているように構成されている、請求項１４から１６のいずれか一項に記載の方法。
18. 前記オブジェクトはもっぱら前記ユーザの垂直方向上方又はもっぱら垂直方向下方に延びるように構成されている、請求項１７に記載の方法。
19. 前記ユーザに対する前記バーチャル環境表示の前記出力は、前記ユーザの頭部に固定された表示装置を介して行われ、その際、前記表示装置はさらに前記記録装置を含んでいるように構成されている、請求項１７又は１８に記載の方法。
20. 前記表示装置はモバイル通信装置を含み、前記記録装置は前記モバイル通信装置のカメラであるように構成されている、請求項１９に記載の方法。
21. バーチャル環境表示における視方向の設定方法（１０００）であって、
    実環境においてユーザの身体に配置されたオブジェクトを前記ユーザの頭部に配置された記録装置によって第一の時点及び爾後の第二の時点に記録（１００２）すること、
    前記第一の時点及び前記第二の時点における前記オブジェクトの前記記録（１００４）並びに前記ユーザの頭部に固定された少なくとも一つのさらに別のセンサの測定値に基づいて、前記バーチャル環境表示のヨー軸を中心とした、前記バーチャル環境表示における前記視方向の回転オフセットを決定すること、及び
    前記バーチャル環境表示における前記視方向を前記回転オフセット分だけ回転（１００６）させること
    を含む方法。
22. 前記バーチャル環境表示の前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の前記回転オフセットの前記決定（１００４）は、
    以下すなわち、
    前記第一の時点及び前記第二の時点における前記オブジェクトの前記記録に基づいて、前記第一の時点と前記第二の時点との間における、前記ユーザの頭部のヨー軸を中心とした、前記記録装置の第一の回転を決定すること、
    前記ユーザの頭部に固定された少なくとも一つのさらに別の前記センサの前記測定値に基づいて、前記第一の時点と前記第二の時点との間における、前記ユーザの頭部の前記ヨー軸を中心とした、前記記録装置の第二の回転を決定すること、
    前記バーチャル環境表示の前記ヨー軸を中心とした、前記バーチャル環境表示における前記視方向の回転オフセットとして、前記第一の回転と前記第二の回転との間の前記回転オフセットを決定すること
    を含む、請求項２１に記載の方法。
23. 当該方法はさらに、前記ユーザの頭部に固定された表示装置を介した、前記ユーザに対する前記バーチャル環境表示の出力を含み、
    その際、前記表示装置はさらに、前記記録装置並びに少なくとも一つのさらに別の前記センサを含んでいるように構成されている、請求項２１又は２２に記載の方法。

Images