JP2020098381A - 測位方法及び現実感提示装置 - Google Patents

Abstract

【課題】 現実感提示装置に適用される測位方法を提供する【解決手段】 現実感提示装置に適用される測位方法が、現実環境の複数の第１の画像を収集し、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップと、現実感提示装置により、現実環境の第２の画像を取得するステップと、複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算するステップと、現実感提示装置により、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するステップとを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。【選択図】 図１

Description

本開示は、測位方法及び現実感提示装置に関し、より詳細には、現実の場所に対応する初期仮想位置を計算できる測位方法及び現実感提示装置に関する。

技術の進化及び発展により、コンピュータゲーム及びユーザの間の対話の需要は増加している。人間‐コンピュータ対話技術、例えば、体性感覚ゲーム、仮想現実（ＶＲ）環境、拡張現実（ＡＲ）環境、複合現実（ＭＲ）環境、及び拡大現実（ＸＲ）環境は、その生理学的及び娯楽的機能のため人気となっている。

ユーザ又はプレーヤは、仮想環境においてゲームをプレーすることがあり、仮想環境は、現実環境をエミュレートするように構築されることがある。従来技術では、現実環境をエミュレートする仮想環境を伴うゲームについて、ユーザ／プレーヤは、ゲームを開始するために予め定義された場所にとどまる必要があり、これは、ユーザ／プレーヤに対して不便をもたらす。すなわち、ユーザ／プレーヤは、現実環境において任意の現実の場所でゲームを開始することができず、ユーザ／プレーヤは、自分が望む任意の場所でゲームを開始する自分の自由を失っている。

ゆえに、本開示の目的は、測位（positioning）方法及び現実感提示装置を提供することである。

本開示の実施例は、測位方法を開示する。測位方法は、現実環境の複数の第１の画像を収集し、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップと、現実感提示装置により、現実環境の第２の画像を取得するステップと、複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算するステップと、現実感提示装置により、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するステップとを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。

本開示の別の実施例は、ユーザに対する仮想環境を表示できる現実感提示装置を開示し、仮想環境は、現実環境、現実感提示装置から捕捉された複数の第１の画像に基づいて構築される。当該現実感提示装置は、現実環境から第２の画像を捕捉するように構成された画像捕捉モジュールと、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップ、及び複数の第１の画像及び第２の画像に従って第２の画像に対応する仮想環境における初期仮想位置を計算するステップを実行するように構成された処理ユニットと、当該現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するように構成された表示画面とを含み、初期仮想位置は、当該現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。

本開示の別の実施例は、ユーザに対する仮想環境を表示できるシステムを開示し、仮想環境は、現実環境、現実感提示装置から捕捉された複数の第１の画像に基づいて構築される。当該システムは、現実感提示装置であって、現実環境から第２の画像を捕捉するように構成された画像捕捉モジュール、及び、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するように構成された表示画面、を含む現実感提示装置と、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップ、及び、複数の第１の画像及び第２の画像に従って第２の画像に対応する仮想環境における初期仮想位置を計算するステップを実行するように構成されたリモートコンピューティング装置とを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。

本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。

本開示の実施例による現実感提示装置の概略図である。 図１に示される現実感提示装置の外観図である。 本開示の実施例による処理の概略図である。 本開示の実施例によるシステムの概略図である。

図１は、本開示の実施例による現実感提示装置（reality presenting device）１０の機能ブロック図である。図２は、現実感提示装置１０の例示的な外観図である。現実感提示装置１０は、仮想現実（virtual reality；ＶＲ）装置、拡張現実（augmented reality；ＡＲ）装置、複合現実（mixed reality；ＭＲ）装置、又は拡大現実（extended reality；ＸＲ）装置でもよい。従来技術における現実感提示装置と異なり、現実感提示装置１０は、仮想環境を単に構築することに追加で、現実の環境における現実の場所に対応する仮想環境における仮想位置を計算することができる。現実感提示装置１０は、画像捕捉モジュール１２、処理ユニット１４、及び表示画面１６を含む。画像捕捉モジュール１２は、レンズ及び光感知画素アレイを含んでもよく、画像を捕捉するように構成される。画像捕捉モジュール１２により生成される画像は、２次元（２Ｄ）画像、例えばＲＧＢ画像、及び／又は、赤外線（ＩＲ）を介して取得できる深度情報を含む３次元（３Ｄ）画像を含んでもよい。処理ユニット１４は、例えば、アプリケーションプロセッサ、マイクロコントローラ、又は特定用途向け集積回路（ＡＳＩＣ）でもよく、これらに限定されない。表示画面は、ユーザ／プレーヤに対する現実感又は仮想環境を表示するように構成される。

図３は、本発明の実施例による処理３０の概略図である。処理３０は以下のステップを含む。

ステップ３０２：現実環境の複数の第１の画像を捕捉する。

ステップ３０４：複数の第１の画像に従って現実環境に対応する仮想環境を構築する。

ステップ３０６：現実環境の第２の画像を捕捉する。

ステップ３０８：複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算する。

ステップ３１０：現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示する。

ステップ３０２及びステップ３０４（これらはオフライン段階でもよい）において、画像捕捉モジュール１２は、現実環境ＲＥＮから複数の第１の画像ＩＭＧ_１を捕捉し、現実環境ＲＥＮに対応する仮想環境ＶＥＮが、複数の第１の画像ＩＭＧ_１に基づいて構築される。実施例において、仮想環境ＶＥＮは、処理ユニット１４により構築されてもよい。現実環境ＲＥＮは、例えば、現実の生活におけるオフィス、リビングルーム、会議室などでもよい。仮想環境ＶＥＮは、現実感提示装置１０により表示される複数のＶＲ画像、例えば、ＶＲ３６０°画像を含んでもよく、それにより、ユーザ／プレーヤが図２に示される現実感提示装置１０を装着したとき、ユーザ／プレーヤは複数のＶＲ画像を知覚し、自分が仮想環境ＶＥＮに没入しているように感じることになる。別の実施例において、複数の第１の画像ＩＭＧ_１のうち全部又は一部が、画像捕捉モジュール１２とは別のソース、例えば、クラウドデータベース又はインターネットから収集できる。

実施例において、ユーザ／プレーヤは、現実環境ＲＥＮを歩き回ってもよく、画像捕捉装置１２は、様々なピクチャ、すなわち複数の第１の画像ＩＭＧ_１を撮影し、それにより、処理ユニット１４は、複数の第１の画像ＩＭＧ_１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築することができる。実施例において、ユーザ／プレーヤは、現実環境ＲＥＮにおける複数の予め定義された場所に立ってもよく、画像捕捉装置１２は、異なる視点でピクチャを撮影してもよく、それにより、複数の第１の画像ＩＭＧ_１が捕捉される。そして、処理ユニット１４は、複数の第１の画像ＩＭＧ_１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築することができる。現実環境ＲＥＮから捕捉された複数の第１の画像ＩＭＧ_１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築する詳細は当該分野で知られており、これは簡潔さのため述べられない。

ステップ３０６において、仮想環境ＶＥＮが構築された後、画像捕捉モジュール１２は現実環境ＲＥＮの第２の画像ＩＭＧ_２を捕捉し、これはリアルタイム段階であり得る。ステップ３０６は、ユーザ／プレーヤが仮想環境ＶＥＮに入るのを開始するとき／前、例えば、ユーザ／プレーヤが現実感提示装置１０をオンにする（電源オンする）とき、あるいは、特定のソフトウェアアプリケーション、例えば、仮想現実を伴うゲームが開始されるとき／前に実行されてもよい。

ステップ３０８において、第２の画像ＩＭＧ_２に対応する仮想環境ＶＥＮにおける初期仮想位置ＶＰ_Ｉが、複数の第１の画像ＩＭＧ_１及び第２の画像ＩＭＧ_２に従って計算される。

実施例において、ステップ３０８は処理ユニット１４により実行されてもよい。

ステップ３０８の詳細は当該分野で知られている。例えば、第２の画像ＩＭＧ_２を複数の第１の画像ＩＭＧ_１と比較することが実行されてもよく、複数の第１の画像ＩＭＧ_１の、第２の画像ＩＭＧ_２に対する複数の相関係数ｃが取得されてもよい。

例えば、複数の第１の画像ＩＭＧ_１は、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎを含んでもよく、複数の相関係数ｃは、相関係数ｃ_１、・・・、ｃ_Ｎを含んでもよい。各相関係数ｃ_ｎは、第２の画像ＩＭＧ_２及び／に対する第１の画像ＩＭＧ_１,ｎの、定量化された相関を表す。相関係数ｃ_ｎがより高いほど、第１の画像ＩＭＧ_１,ｎと第２の画像ＩＭＧ_２との間の相関がより大きい。すなわち、相関係数ｃ_ｎがより高いことは、第１の画像ＩＭＧ_１,ｎと第２の画像ＩＭＧ_２とがより相関していることを示す。

複数の相関係数ｃを取得する詳細は限定されない。例えば、複数の第１の画像ＩＭＧ_１に対しての、及び同様に第２の画像ＩＭＧ_２に対しての特徴抽出演算（feature extraction operation）が実行されてもよい。当該分野で知られる特徴抽出演算には特徴識別及び出現数累算を含む。特定の特徴について、特定の特徴が、特定の幾何学形状に従っているとして識別されてもよい。特定の特徴が画像内に出現するかどうか（すなわち、特徴識別）が決定されてもよく、さらに、特定の特徴が画像内に何回出現するか（すなわち、出現数累算）が累算されてもよい。累算結果は、特定の特徴の出現回数又は出現数である。具体的に、特定の特徴が画像内に出現するかどうかを決定することは、画像内の画像の一部又は画像オブジェクトが特定の幾何学形状に従うかどうかを決定することでもよく、これは、何らかの機械学習又はコンピュータビジョン方法を使用することにより達成されてもよい。これらがする場合、特定の特徴が１回出現したと認識される。

別の視点において、複数の特徴に関しての特徴識別（すなわち、或る特徴が画像内に出現するかどうかを決定するための）及び出現数累算（すなわち、或る特徴が画像内に何回出現するかを累算するための）が、定量化ベクトルを取得するために実行されてもよい。定量化ベクトルは、複数の特徴に対応する複数の出現数を含む。例えば、画像上の第１の特徴、第２の特徴、及び第３の特徴に対する特徴識別及び出現数累算を実行した後、画像に対応する定量化ベクトルが取得されてもよい。定量化ベクトルは、例えば、［２，３，１］であり得る。これは、第１の特徴が画像内に２回出現し、第２の特徴が画像内に３回出現し、第１の特徴が画像内に１回出現することを意味する。例示的に、第１の特徴は円形形状に従ってもよく、第２の特徴は三角形形状に従ってもよく、第３の特徴は長方形形状に従ってもよい。

特徴抽出演算の詳細は当該分野で知られており、これは簡潔さのためここで述べられない。

手短に言えば、複数の特徴、例えばＫ個の特徴に関して、特徴抽出演算が複数の第１の画像ＩＭＧ_１に対して実行されて複数の第１の定量化ベクトルＱＶ_１を取得してもよく、これはオフラインで行うことができ、さらに、第２の画像ＩＭＧ_２に対して特徴抽出演算を実行して第２の定量化ベクトルＱＶ_２を取得し、これはリアルタイムで行うことができる。

具体的に、複数の第１の定量化ベクトルＱＶ_１は、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎに対応する第１の定量化ベクトルＱＶ_１,１、・・・、ＱＶ_１,ｎを含んでもよく、各々の第１の定量化ベクトルＱＶ_１,ｎは、Ｋ個の特徴に対応する複数の出現数ａｐｐｎ_ｎ,１、・・・、ａｐｐｎ_ｎ,Ｋを含み、出現数ａｐｐｎ_ｎ,ｋは、特徴ｋが第１の画像ＩＭＧ_１,ｎ内にａｐｐｎ_ｎ,ｋ回出現することを示す。数学的に、第１の定量化ベクトルＱＶ_１は、ＱＶ_１,ｎ＝［ａｐｐｎ_ｎ,１，・・・，ａｐｐｎ_ｎ,Ｋ］として表されてもよい。

同様に、第２の定量化ベクトルＱＶ_２は、Ｋ個の特徴に対応する複数の出現数ａｐｎ_１、・・・、ａｐｎ_Ｋを含み、ＱＶ_２＝［ａｐｎ_１，・・・，ａｐｎ_Ｋ］と表すことができ、出現数ａｐｎ_ｋは、特徴ｋが第２の画像ＩＭＧ_２内にａｐｎ_ｋ回出現することを示す。

実施例において、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎに対応する相関係数ｃ_１、・・・、ｃ_Ｎが計算されてもよい。実施例において、第２の画像ＩＭＧ_２及び／に対する第１の画像ＩＭＧ_１,ｎの間の相関係数ｃ_ｎは、ｃ_ｎ＝（ＱＶ_１,ｎ ^Ｔ・ＱＶ_２）／（｜ＱＶ_１,ｎ｜・｜ＱＶ_２｜）として計算されてもよく、（・）^Ｔは転置演算であり、｜・｜はノルム演算である。相関係数ｃ_ｎがより大きいほど、第１の画像ＩＭＧ_１,ｎと第２の画像ＩＭＧ_２とはより相関している。

実施例において、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎ内の少なくとも一のフィルタされた画像ＩＭＧ_ｋが選択される。フィルタされた画像ＩＭＧ_ｋは、フィルタされた画像ＩＭＧ_ｋに対応する少なくとも一のフィルタされた相関係数ｃ_ｋが特定の閾ＴＨ値より大きい（例えば、相関係数ｃ_ｋが０．８より大きい）ように選択され、フィルタされた画像ＩＭＧ_ｋは、仮想環境ＶＥＮにおける少なくとも一の仮想位置ＶＰ_ｋに対応し、仮想位置ＶＰ_ｋは、現実感提示装置１０がフィルタされた画像ＩＭＧ_ｋを捕捉する現実環境ＲＥＮにおける少なくとも一の現実場所に対応する。

さらに、１つの特定のフィルタされた画像ＩＭＧ_ｋ ^＊がフィルタされた画像ＩＭＧ_ｋの中から選択され、特定のフィルタされた画像ＩＭＧ_ｋ ^＊に対応する特定の仮想位置ＶＰ_ｋ ^＊が計算される。仮想位置ＶＰ_ｋ ^＊は、現実感提示装置１０又は画像捕捉モジュール１２が第１の画像ＩＭＧ_ｋ ^＊を捕捉する現実環境ＲＥＮにおける現実場所ＲＬ_ｋ ^＊に対応する。さらに、（仮想位置ＶＰ^＊内の）仮想位置ＶＰ_ｋ ^＊に相対する相対仮想位置ＲＶＰ_ｋ ^＊が、（フィルタされた画像ＩＭＧ^＊内の）特定のフィルタされた画像ＩＭＧ_ｋ ^＊及び第２の画像ＩＭＧ_２に従って計算される。特定のフィルタされた画像ＩＭＧ_ｋ ^＊及び第２の画像ＩＭＧ_２に従い、特定のフィルタされた画像ＩＭＧ_ｋ ^＊に対応する相対仮想位置ＲＶＰ_ｋ ^＊が計算される。フィルタされた画像ＩＭＧ_ｋから特定のフィルタされた画像ＩＭＧ_ｋ ^＊を選択することは、インライア（inliers）の数及びアウトライア（outlier）の数を数え、比較することにより達成でき、これに限定されない。相対仮想位置ＲＶＰ_ｋ ^＊を計算することは当該分野で知られており、これは簡潔さのためここで述べられない。ゆえに、初期仮想位置ＶＰ_Iは、ＶＰ_I＝ＶＰ_ｋ ^＊＋ＲＶＰ_ｋ ^＊として計算されてもよい。

別の実施例において、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎ内のフィルタされた画像ＩＭＧ_ｎ ^＊を取得してもよく、フィルタされた画像ＩＭＧ_ｎ ^＊に対応する相関係数ｃ_ｎ ^＊が相関係数ｃ_１、・・・、ｃ_Ｎの中の最大相関係数であるように、取得されてもよい。具体的に、相関係数ｃ_１、・・・、ｃ_Ｎが計算された後、処理ユニット１４は、相関係数ｃ_１、・・・、ｃ_Ｎに対してソート演算を実行し、相関係数ｃ_ｎ ^＊が相関係数ｃ_１、・・・、ｃ_Ｎの最大値であるように相関係数ｃ_ｎ ^＊を選択してもよく、すなわち、相関係数ｃ_ｎ ^＊は、ｃ_ｎ ^＊＝ｍａｘ（ｃ_１，・・・，ｃ_Ｎ）として表されてもよい。手短に言えば、相関係数ｃ_ｎ ^＊に対応するフィルタされた画像ＩＭＧ_ｎ ^＊が取得でき、フィルタされた画像ＩＭＧ_ｎ ^＊は、第１の画像ＩＭＧ_１,１、・・・、ＩＭＧ_１,Ｎの中で第２の画像ＩＭＧ_２に対して最も相関している第１の画像である。

別の視点において、第１の画像ＩＭＧ_ｎ ^＊に対応する／従った仮想環境ＶＥＮにおける仮想位置ＶＰ_ｎ ^＊が取得されてもよい。仮想位置ＶＰ_ｎ ^＊は、現実感提示装置１０又は画像捕捉モジュール１２が第１の画像ＩＭＧ_ｎ ^＊を捕捉する現実環境ＲＥＮにおける現実場所ＲＬ_ｎ ^＊に対応する。処理ユニット１４が仮想位置ＶＰ_ｎ ^＊を取得する方法は限定されない。実施例において、ユーザ／プレーヤは予め定義された現実場所ＲＬ’に立ってもよく、現実場所ＲＬ’に対応する仮想位置ＶＰ’が計算されてもよい。現実場所ＲＬ’で捕捉された第１の画像ＩＭＧ_ｎ ^＊が最も第２の画像ＩＭＧ_２に相関した第１の画像である場合、仮想位置ＶＰ_ｎ ^＊が仮想位置ＶＰ’として取得される。

第２の画像ＩＭＧ_２に対応する仮想環境ＶＥＮにおける初期仮想位置ＶＰ_Ｉが、第１の画像ＩＭＧ_ｎ ^＊及び第２の画像ＩＭＧ_２に従って計算されてもよい。初期仮想位置ＶＰ_Ｉを計算する方法は限定されない。実施例において、仮想位置ＶＰ_ｎ ^＊に関連した相対仮想位置ＲＶＰが、第１の画像ＩＭＧ_ｎ ^＊及び第２の画像ＩＭＧ_２に従って計算されてもよく、さらに、仮想位置ＶＰ_ｎ ^＊及び相対仮想位置ＲＶＰに従って初期仮想位置ＶＰ_Ｉを計算する。仮想位置ＶＰ_ｎ ^＊、相対仮想位置ＲＶＰ、及び初期仮想位置ＶＰ_Ｉがベクトル形式で表され、２Ｄ空間における座標を表すと仮定し、初期仮想位置ＶＰ_Ｉは、ＶＰ_Ｉ＝ＶＰ_ｎ ^＊＋ＲＶＰとして表されてもよい。

換言すると、ユーザ／プレーヤが現実環境ＲＥＮにおいてどこに位置するとしても、現実感提示装置１０は、現実環境ＲＥＮにおける現実場所に対応する仮想環境ＶＥＮにおける仮想位置を取得することができる。

ユーザ／プレーヤが現実環境ＲＥＮに対応する仮想環境ＶＥＮを伴うゲームをプレーする実施例において、ユーザ／プレーヤは、現実環境ＲＥＮにおいて任意の所で現実感提示装置１０を電源オンすることができ、処理ユニット１４は、ユーザ／プレーヤ及び現実感提示装置１０が位置する現実場所ＲＬに対応する初期仮想位置ＶＰ_Ｉを計算することになる。現実感提示装置１０は、初期仮想位置ＶＰ_Ｉに従ってＶＲ３６０°画像を生成してもよく、それにより、ユーザ／プレーヤは、仮想環境ＶＥＮにおける初期仮想位置ＶＰ_Ｉからの視点を見ることになり、これは、現実環境ＲＥＮにおける現実場所ＲＬからの視点と同様（又は同一）である。

ステップ３１０において、表示画面１６は、ユーザ／プレーヤが特定のソフトウェアアプリケーションを開始したときに、初期仮想位置ＶＰ_Ｉからの視点で、仮想環境ＶＥＮを表示する。特定のソフトウェアアプリケーションは、仮想現実を伴うゲームでもよい。換言すると、表示画面１６は、初期仮想位置ＶＰ_Ｉの視点における仮想環境ＶＥＮに対応する複数のＶＲ画像を表示してもよい。初期仮想位置ＶＰ_Ｉは、現実感提示装置１０又は画像捕捉モジュール１２が第２の画像ＩＭＧ_２を捕捉する現実環境ＲＥＮにおける現実場所ＲＬ_Ｉに対応する。ユーザ／プレーヤが特定のソフトウェアアプリケーションを開始したとき、ユーザ／プレーヤは仮想環境ＶＥＮの複数のＶＲ画像を知覚することになり、ユーザ／プレーヤは仮想環境ＶＥＮに没入し、ちょうど自分が現実環境ＲＥＮにおける現実場所ＲＬ_Ｉにいるように仮想環境ＶＥＮを体験する。

処理３０を実行することにより、ユーザ／プレーヤにより体験される仮想環境ＶＥＮと現実環境ＲＥＮとの間に有意な差が存在しない。ゆえに、ユーザ／プレーヤにより体験される没入感がさらに強化される。

上記で述べられた実施例は、とりわけ、本発明の概念を例示するために利用される。当業者は、このことに応じて及び本明細書で限定されない修正及び変更を行うことができる。例えば、処理３０は、現実感提示装置１０により単に実行されてもよい。すなわち、ステップ３０４及びステップ３０８は、現実感提示装置１０の処理ユニット１４により実行されてもよく、これはここで限定されない。処理３０は、システムにより実行されてもよい。

図４は、本開示の実施例によるシステム４１の概略図である。システム４１は、現実感提示装置４０及びリモートコンピューティング装置４３を含む。現実感提示装置４０及びリモートコンピューティング装置４３は、無線接続又は無線インターフェースを通して接続されてもよい。現実感提示装置４０は、画像捕捉モジュール４２及び表示画面４６を含む。リモートコンピューティング装置４３は、クラウドコンピューティング装置、エッジコンピューティング装置、又はクラウドコンピューティング装置及びエッジコンピューティング装置の組み合わせでもよく、これらは、コンピュータ又はサーバでもよい。処理３０はシステム４１により実行されてもよく、その場合、ステップ３０２及びステップ３０６は画像捕捉モジュール４２により実行されてもよく、ステップ３０４及びステップ３０８はリモートコンピューティング装置４３により実行されてもよく、ステップ３１０は表示画面４６により実行されてもよく、このこともまた本開示の範囲内である。

要約すると、本開示は、ユーザ／プレーヤ及び現実感提示装置が位置する現実の場所に対応する初期仮想位置を計算することができる。従来技術と比較して、ユーザ／プレーヤは、現実の環境における任意の現実の場所で仮想環境を伴うゲームを開始することができる。ユーザ／プレーヤにより体験される仮想環境ＶＥＮと現実環境ＲＥＮとの間に有意な差がない。ゆえに、ユーザ／プレーヤにより体験される没入感がさらに強化される。

当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

Claims (18)

1. 現実環境の複数の第１の画像を収集し、前記複数の第１の画像に従って前記現実環境に対応する仮想環境を構築するステップと、
   現実感提示装置により、前記現実環境の第２の画像を取得するステップと、
   前記複数の第１の画像及び前記第２の画像に従って、前記第２の画像に対応する前記仮想環境における初期仮想位置を計算するステップと、
   前記現実感提示装置により、前記現実感提示装置の特定アプリケーションが開始されるときに前記初期仮想位置からの視点で前記仮想環境を表示するステップと、
   を含み、
   前記初期仮想位置は、前記現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、測位方法。
2. 前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
   前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
   前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
   をさらに含む請求項１に記載の測位方法。
3. 前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップは、
   前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
   前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
   前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
   前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
   を含む、請求項２に記載の測位方法。
4. 前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップは、
   前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を含み、
   前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項３に記載の測位方法。
5. 前記第２の画像に対応する第２の定量化ベクトルを取得するステップは、
   前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を含み、
   前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項３に記載の測位方法。
6. 前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するステップは、
   前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
   前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
   を含む、請求項２に記載の測位方法。
7. ユーザに対する仮想環境を表示できる現実感提示装置であって、前記仮想環境は、現実環境から捕捉された複数の第１の画像に基づいて構築され、当該現実感提示装置は、
   前記現実環境から第２の画像を捕捉するように構成された画像捕捉モジュールと、
   前記複数の第１の画像に従って前記現実環境に対応する前記仮想環境を構築するステップ、及び
   前記複数の第１の画像及び前記第２の画像に従って前記第２の画像に対応する前記仮想環境における初期仮想位置を計算するステップ
   を実行するように構成された処理ユニットと、
   当該現実感提示装置の特定アプリケーションが開始されるときに前記初期仮想位置からの視点で前記仮想環境を表示するように構成された表示画面と、を含み、
   前記初期仮想位置は、当該現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、現実感提示装置。
8. 前記処理ユニットは、
   前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
   前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
   前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
   を実行するようにさらに構成される、請求項７に記載の現実感提示装置。
9. 前記処理ユニットは、前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するために、
   前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
   前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
   前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
   前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
   を実行するようにさらに構成される、請求項８に記載の現実感提示装置。
10. 前記処理ユニットは、前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するために、
    前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
    前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項９に記載の現実感提示装置。
11. 前記処理ユニットは、前記第２の画像に対応する第２の定量化ベクトルを取得するために、
    前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
    前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項９に記載の現実感提示装置。
12. 前記処理ユニットは、前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するために、
    前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
    前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
    を実行するようにさらに構成される、請求項８に記載の現実感提示装置。
13. ユーザに対する仮想環境を表示できるシステムであって、前記仮想環境は、現実環境から捕捉された複数の第１の画像に基づいて構築され、当該システムは、
    現実感提示装置であって、
    前記現実環境から第２の画像を捕捉するように構成された画像捕捉モジュール、及び、
    前記現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で前記仮想環境を表示するように構成された表示画面、
    を含む現実感提示装置と、
    前記複数の第１の画像に従って前記現実環境に対応する前記仮想環境を構築するステップ、及び、
    前記複数の第１の画像及び前記第２の画像に従って前記第２の画像に対応する前記仮想環境における前記初期仮想位置を計算するステップ
    を実行するように構成されたリモートコンピューティング装置と、を含み、
    前記初期仮想位置は、前記現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、システム。
14. 前記リモートコンピューティング装置は、
    前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
    前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
    前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
    を実行するようにさらに構成される、請求項１３に記載のシステム。
15. 前記リモートコンピューティング装置は、前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するために、
    前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
    前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
    前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
    前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
    を実行するようにさらに構成される、請求項１４に記載のシステム。
16. 前記リモートコンピューティング装置は、前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するために、
    前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
    前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項１５に記載のシステム。
17. 前記リモートコンピューティング装置は、前記第２の画像に対応する第２の定量化ベクトルを取得するために、
    前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
    前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項１５に記載のシステム。
18. 前記リモートコンピューティング装置は、前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するために、
    前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
    前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
    を実行するようにさらに構成される、請求項１４に記載のシステム。

Images