JP7491926B2 - 拡張現実ヘッドセットの動的収束調整 - Google Patents

Description

（関連出願に対する相互参照）
本出願は、２０１８年１２月１０日に出願された「拡張現実ヘッドセットにおける動的収束調整」と題された米国仮出願第６２／７７７，５４５号の利益を主張し、当該仮出願は、あらゆる目的で引用により全体が本明細書に組み込まれる。

（技術分野）
本開示は、一般に、拡張現実、仮想現実、複合現実、又はシミュレートされた環境内で行われる他の何れかの好適な対話型コンピュータ生成体験に関する。より具体的には、本開示の特定の実施形態は、対話型コンピュータ生成体験を提供するヘッドセットの動作特徴に関する。

一例として、拡張現実システムの人気が高まっている。拡張現実ヘッドセットなどの拡張現実システムを提供する従来の技術は、システム構成要素及び機能の改善から恩恵を受けることが現在認識されている。詳細には、拡張現実の視覚効果を提供するための特定の従来のシステム及び技術は、感覚の不一致を引き起こす可能性があることが現在認識されている。従って、このようなセンサの感覚の不一致を制限又は阻止するように構成された改善された拡張現実システムを提供する必要がある。

このセクションは、以下に記載及び／又は特許請求される本技術の様々な態様に関連することができる技術の様々な態様を読み手に紹介することを意図している。この議論は、本開示の様々な態様のより良い理解を容易にするための背景情報を読み手に提供するのに役立つと考えられる。従って、これらの記載は、先行技術を認めるものとしてではなく、上記の観点から読まれるべきであることを理解されたい。

最初に請求項に記載された本発明の範囲内にある一部の実施形態について以下で要約する。これらの実施形態は、本開示の範囲を限定することを意図するものではなく、むしろ、これらの実施形態は、特定の開示された実施形態の概要を提供することのみを意図する。実際に、本開示は、以下に記載される実施形態と類似した又は異なる可能性がある様々な形態を包含することができる。

詳細には、一実施形態では、拡張現実システムは、ユーザの左眼に左仮想イメージを表示する左ディスプレイを有する拡張現実ヘッドセットを含む。拡張現実ヘッドセットはまた、ユーザの右眼に右仮想イメージを表示する右ディスプレイを含む。左仮想イメージ及び右仮想イメージを見るときに、左仮想イメージ及び右仮想イメージは、ユーザには単一の仮想イメージとして見える。拡張現実ヘッドセットは更に、ユーザの瞳孔位置を検出してその指標を提示する瞳孔追跡センサを含む。拡張現実システムはまた、瞳孔位置の指標を受信することに基づいてユーザの瞳孔間距離を決定する瞳孔間距離決定エンジンを有する収束調整システムを含む。収束調整システムはまた、瞳孔間距離及び仮想オブジェクトが仮想深度を変化させていることの指標に基づいて、仮想イメージの仮想オブジェクトの表示の調整をもたらす表示調整エンジンを含む。収束調整システムは更に、ディスプレイ調整エンジンからの調整に基づいて仮想オブジェクトを表示するプロセッサを含む。

別の実施形態では、有形の非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、それぞれの第１の仮想深度からそれぞれの第２の仮想深度に移動するように仮想オブジェクトが表示されることになる指標をプロセッサに受け取らせる、仮想オブジェクトの表示を調整するための命令を有する。この命令はまた、プロセッサに、瞳孔間距離を決定させ、瞳孔間距離に基づいて、それぞれの第１の仮想深度にて各仮想オブジェクトに関連付けられたそれぞれの第１の視線と、それぞれの第２の仮想深度にて仮想オブジェクトに関連付けられたそれぞれの第２の視線との間のそれぞれの横方向距離を動的に決定させる。命令は更に、プロセッサに、それぞれの横方向距離に基づいて、それぞれの第１の仮想深度からそれぞれの第２の仮想深度に移動するように各仮想オブジェクトを表示させる。

更に別の実施形態では、仮想オブジェクトの表示を調整する方法は、１又は２以上の表示されたオブジェクトが第１の仮想深度から第２の仮想深度に移動するように表示されるという指標を受け取ることを含む。本方法はまた、瞳孔間距離を決定すること、及び瞳孔間距離に基づいて、第１の仮想深度にて表示されたオブジェクトに関連する第１の収束ベクトルと、第２の仮想深度にて表示されたオブジェクトに関連する第２の収束ベクトルとの間の横方向距離を決定することを含む。本方法は更に、横方向距離に基づいて、第１の仮想深度から第２の仮想深度に移動するように表示されたオブジェクトを表示することを含む。

本開示のこれら及び他の特徴、態様、並びに利点は、図面全体を通じて同様の参照符号が同様の要素を示す添付図面を参照しながら以下の詳細な説明を読むと更に理解できるであろう。

本開示の実施形態による、拡張現実ヘッドセットを装着しているユーザの斜視図である。 本開示の実施形態による、ユーザの視点からの図１の拡張現実ヘッドセットの斜視図である。 本開示の実施形態による、図１の拡張現実ヘッドセットを組み込んだ拡張現実システムのブロック図である。 図１の拡張現実ヘッドセットを通して仮想オブジェクトを見ているユーザの概略平面図である。 本開示の実施形態による、拡張現実ヘッドセットを通して見た図４の仮想オブジェクトのユーザの視点の概略図である。 本開示の実施形態による、仮想深度を変更する際の拡張現実ヘッドセットを通して図４の仮想オブジェクトを見ているユーザの概略平面図である。 本開示の実施形態による、仮想オブジェクトが仮想深度を変更する際の拡張現実ヘッドセットを通して見た図６の仮想オブジェクトのユーザの視点の概略図である。 本開示の実施形態による、仮想オブジェクトの表示を調整するプロセスのフローチャートである。

現実の世界では、人が自分の真正面にあるオブジェクトを見るとき、人は、眼を互いに反対方向に同時に移動させ、各眼の視線がオブジェクトに収束し、又は各眼の瞳孔がオブジェクトと一直線に並び（両眼転導と呼ばれるプロセス）、眼の屈折力を変更してオブジェクトの鮮明な画像を維持し、又はオブジェクトの焦点を合わせる（調節と呼ばれるプロセス）ようにする。このように、人は、鮮明な画像を維持するために同時に眼の焦点を合わせている同じ固定点に視線を向けることに慣れている。人が接近するときにオブジェクトを見る場合、各眼の視線が更に共に収束し、眼の屈折力が変化してオブジェクトの鮮明な画像が維持される。人が離れるときにオブジェクトを見る場合、各眼の視線が発散し、眼の屈折力が変化して、オブジェクトの鮮明な画像が維持される。拡張現実ヘッドセットは通常、被写界深度をシミュレートするディスプレイを使用する。詳細には、ディスプレイは、右眼が見るための右ディスプレイと、左眼が見るための左ディスプレイとに分割することができる。ディスプレイが略矩形であると仮定すると、拡張現実ヘッドセットは、左右のディスプレイの各々に仮想オブジェクトを有する仮想イメージ（例えば、右仮想オブジェクトを有する右仮想イメージ及び左仮想オブジェクトを有する左仮想イメージ）を表示することによって、ユーザの真正面に仮想オブジェクトを有する仮想イメージを表示することができ、それぞれの仮想オブジェクトのそれぞれの基準点（例えば、中心又は略中心）が各ディスプレイの外側縁部よりも内側縁部に近い。更に、仮想オブジェクトのそれぞれの基準点は、各ディスプレイの内側縁部から等距離に存在することができる。これは、現実世界のオブジェクトを見たときに、各人の眼の視線が、その人が見ているオブジェクトに収束することになることに起因する。

仮想オブジェクトがユーザにより接近して見えるようにするために、拡張現実ヘッドセットは、仮想オブジェクトのそれぞれの基準点から各ディスプレイの内側縁部までの等距離を維持しながら、ディスプレイ上の仮想オブジェクトを拡大することができる。仮想オブジェクトをユーザからより離れて見えるようにするために、拡張現実ヘッドセットは、仮想オブジェクトのそれぞれの基準点から各ディスプレイの内側縁部までの等距離を維持しながら、ディスプレイ上の仮想オブジェクトを縮小することができる。しかしながら、仮想オブジェクトのそれぞれの基準点は、ユーザに接近しているとき又は遠ざかっているように見えるときに、各ディスプレイの内側縁部まで等距離を維持するので、ユーザの眼が収束する点は、仮想オブジェクトが存在するように見える場所ではない可能性があることが認識されている。すなわち、ユーザの眼が収束する点は、仮想オブジェクトが存在するように見える場所の前方又は後方にある可能性がある。これは、仮想オブジェクトを見るときにぼけ又は二重像効果を引き起こす可能性があり、ユーザ体験が低下する結果となる。

同時に、ユーザの焦点は、仮想オブジェクトが存在するように見える場所に向けることができる。このため、ユーザは、鮮明な画像を維持するために、眼の焦点を合わせる場所とは異なる場所に視線を向けることができる。これは、両眼転導と調節の競合を生じる可能性があり、不快感、疲労感、持続性頭痛、及び／又は吐き気につながる可能性がある。

本実施形態によれば、仮想現実ヘッドセットのディスプレイは、仮想オブジェクトを提示／表示することができる。このようなオブジェクトの基準点（例えば、オブジェクトの特定の寸法に沿った幾何学的中心点）を利用して、本実施形態の動作上の特徴を説明することができる。詳細には、このような基準点と拡張現実ヘッドセットの特徴との間の距離は、ユーザ体験を改善するために、本実施形態に従って制御される。例えば、仮想オブジェクトが第１の仮想深度から第２の仮想深度に変化するものとして提示されるときに、仮想オブジェクトの中心から拡張現実ヘッドセットのディスプレイの内側縁部までの距離を維持するのではなく、本実施形態は、それぞれの仮想オブジェクトが第１の仮想深度から第２の仮想深度へと変化するものとして提示されるときにそれぞれの距離だけ各仮想オブジェクトを動的且つ横方向にシフトする。それぞれの距離は、ディスプレイに沿って、第１の仮想深度にあるそれぞれの仮想オブジェクトとのユーザの眼の第１の収束ベクトルと、第２の仮想深度にあるそれぞれの仮想オブジェクトとのユーザの眼の第２の収束ベクトルとの間の横方向距離に基づいて動的に決定することができ、また、瞳孔間距離に基づくことができる。このようにして、仮想オブジェクトの表示は、仮想オブジェクトが存在するように見える場所にユーザの眼の視線が収束することができるように調整することができる。このため、ユーザは、鮮明な画像を維持するために眼の焦点を合わせる場所と同じ点に視線を向けることができる。従って、現在開示されているシステム及び方法は、仮想オブジェクトの仮想深度の変化を表示するときの両眼転導と調節の競合を低減又は排除し、仮想オブジェクトを見るときに起こり得るぼけ又は二重像効果、不快感、疲労感、持続する頭痛、及び／又は吐き気を低減又は回避し、より良いユーザ体験をもたらすことができる。

本開示は、拡張現実及び拡張現実ヘッドセットの使用について論じているが、開示された技術はまた、仮想現実、複合現実、又はシミュレートされた環境内で行われる他の何れかの好適な対話型コンピュータ生成体験に適用できることを理解されたい。更に、仮想オブジェクトに関連する「深度」という用語の使用は、仮想オブジェクトの仮想深度を指すと理解されるべきである。すなわち、「深度」及び「仮想深度」という用語は、拡張現実ヘッドセットを通して仮想オブジェクトを見ることに基づいて、仮想オブジェクトが（例えば、ユーザの視点から）位置又は配置されるように見える深度を指す。

これを念頭に置いて、図１は、本開示の実施形態による、拡張現実ヘッドセット１２を装着しているユーザ１０の斜視図である。拡張現実ヘッドセット１２は、現実世界環境に重ねて又は組み合わせて、シミュレートされた視覚環境を提供することができる。図示のように、拡張現実ヘッドセット１２は、現実世界環境の表示をユーザ１０に提供する正面カメラ１４を含むことができる。追加の又は代替の実施形態では、拡張現実ヘッドセット１２は、代わりにレンズ又は透明ディスプレイを含むことができ、ユーザ１０は、現実世界環境を直接視認する。すなわち、拡張現実ヘッドセット１２は、ディスプレイを介して現実世界環境を再現することなく、ユーザ１０に提供することができる。

図２は、本開示の実施形態による、ユーザ１０の視点からの拡張現実ヘッドセット１２の斜視図である。図示のように、拡張現実ヘッドセット１２は、ディスプレイ２０を含み、ディスプレイ２０は、２つの別個のディスプレイ２２、２４に分割することができる。詳細には、左ディスプレイ２２は、ユーザの左眼で見ることができ、右ディスプレイ２４は、ユーザの右眼で見ることができる。幾つかの実施形態では、左ディスプレイ２２及び右ディスプレイ２４は、２つの異なる物理的ディスプレイであり、単一のディスプレイ２０の一部ではないものとすることができる。ディスプレイ２０は、図１に示される前面カメラ１４を介して受信した画像を介してユーザ１０に現実世界環境を再現する、不透明スクリーンを含むことができる。例えば、ディスプレイ２０は、拡張現実ヘッドセット１２に挿入されるか、又は取り外し可能に結合することができる（例えば、取り外し可能で繰り返し結合することが可能）スマートフォン又はタブレットとすることができる。幾つかの実施形態では、ディスプレイ２０は、拡張現実ヘッドセットの固定構成要素とすることができる。更に、追加の又は代替の実施形態では、ディスプレイ２０は、透明又は半透明のスクリーン又はレンズを含み、これにより、ユーザ１０は、スクリーン又はレンズを通して実際の環境を直接見ることができる。次いで、シミュレートされた視覚環境は、可視の現実世界環境に重ね合わせるか、又は共に表示することができる。幾つかの実施形態では、拡張現実ヘッドセット１２は、ユーザの眼又は瞳孔の位置を決定する、及び／又はユーザの眼又は瞳孔の位置を示す１又は２以上の信号を送信する、眼又は瞳孔追跡センサ２６を含むことができる。

図３は、本開示の実施形態による、拡張現実システム３８のブロック図である。図示のように、拡張現実システム３８は、１又は２以上のプロセッサ４４及び１又は２以上のメモリデバイス４６を含むコントローラ４２を有する収束調整システム４０を含む。プロセッサ４４は、仮想オブジェクトの表示を調整するためのソフトウェアプログラム及び／又は命令を実行することができる。更に、プロセッサ４４は、複数のマイクロプロセッサ、１又は２以上の「汎用」マイクロプロセッサ、１又は２以上の専用マイクロプロセッサ、及び／又は１又は２以上の特定用途向け集積回路（ＡＳＩＣＳ）、及び／又は１又は２以上の縮小命令セット（ＲＩＳＣ）プロセッサを含むことができる。メモリデバイス４６は、１又は２以上の記憶装置を含むことができ、仮想オブジェクトの表示の調整に関連する命令など、プロセッサ４４が実行するための機械可読及び／又はプロセッサ実行可能命令（例えば、ファームウェア又はソフトウェア）を格納することができる。このため、メモリデバイス４６は、例えば、制御ソフトウェア、ルックアップテーブル、構成データ及びその他を格納して、仮想オブジェクトの表示の調整を容易にすることができる。幾つかの実施形態では、プロセッサ４４及びメモリデバイス４６は、コントローラ４２の外部にあることができる。メモリデバイス４６は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）））などの有形の非一時的な機械可読媒体、及び／又は揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、及び／又は他の何れかの好適な光、磁気、又はソリッドステート記憶媒体）を含むことができる。

収束調整システム４０はまた、ユーザ１０の瞳孔間距離を動的に決定する瞳孔間距離決定エンジン４８を含むことができる。瞳孔間距離は、ユーザの瞳孔間の距離とすることができる。幾つかの実施形態では、瞳孔間距離決定エンジン４８は、瞳孔間距離を示す拡張現実ヘッドセット１２の瞳孔追跡センサ２６から信号を受信することができる。次に、瞳孔間距離決定エンジン４８は、受信信号に基づいて瞳孔間距離を決定することができる。

追加の又は代替の実施形態では、瞳孔間距離決定エンジン４８は、較正プロセスに基づいて瞳孔間距離を推定することができる。すなわち、ユーザ１０が最初に拡張現実ヘッドセット１２を装備するとき、収束調整システム４０のコントローラ４２は、較正プロセスを実行することができる。較正プロセスは、異なる仮想深度にある複数の仮想オブジェクトを示すこと、及びユーザ１０がそれぞれの仮想オブジェクトの単一像対二重像を見たときに応答するようにユーザ１０にプロンプトすることを含むことができる。単一像を見ることに対応するユーザの応答を使用して、仮想オブジェクトが表示される様々な仮想深度でのユーザの眼の推定位置を三角測量することにより、ユーザの眼の位置を推定することができる。瞳孔間距離決定エンジン４８は、ユーザの眼の推定位置に基づいて、様々な仮想深度での瞳孔間距離のセットを決定することができる。このようにして、瞳孔間距離の決定を保存することができ、瞳孔間距離決定エンジン４８は、回帰分析又は他の何れかの好適な形式の推定分析を実行して、保存された瞳孔間距離の決定のセットに基づく仮想オブジェクトの仮想深度に応じて瞳孔間距離を予測する数学モデル又は数式を生成することができる。瞳孔間距離決定エンジン４８は、ユーザ１０が様々なオブジェクト（仮想又は実在）を見るときに瞳孔間距離が変化する可能性があるので、ユーザ１０の瞳孔間距離を動的に決定又は推定することができる。このため、ユーザ１０の瞳孔間距離を更新することは、常に、定期的に、又は特定の時間又は関心のあるポイント（例えば、異なる仮想オブジェクトが表示されたとき、又は実在オブジェクトが見えてきたとき）に役立つことができる。本開示で使用される場合の「エンジン」という用語は、ハードウェア（回路など）、ソフトウェア（プロセッサ４４によって実行するためにメモリデバイス４６に格納された命令など）、又はこの２つの組み合わせを含むことができることを理解されたい。例えば、瞳孔間距離決定エンジン４８は、瞳孔追跡センサ２６と、瞳孔追跡センサ２６に結合された回路とを含むことができ、瞳孔追跡センサ２６は、瞳孔追跡センサ２６からの瞳孔追跡情報を受信し、瞳孔追跡情報に基づいてユーザ１０の瞳孔間距離を決定する。

収束調整システム４０は更に、仮想オブジェクトの表示を調整する、及び／又はユーザ１０の瞳孔間距離に基づいて仮想オブジェクトの表示に対する調整を提供する表示調整エンジン５０を含むことができる。詳細には、ディスプレイ調整エンジン５０は、入力画像データ５２を受信することができ、これは、１又は２以上の仮想オブジェクト５４を含むことができる。各仮想オブジェクト５４は、それぞれの仮想深度にて表示することができる。ディスプレイ調整エンジン５０はまた、瞳孔間距離決定エンジン４８によって決定される瞳孔間距離を受け取ることができる。次に、ディスプレイ調整エンジン５０は、瞳孔間距離に基づいて各仮想オブジェクト５４の表示を調整することができる。

場合によっては、収束調整システム４０は、拡張現実ヘッドセット１２の一部とすることができる。追加の又は代替の実施形態では、収束調整システム４０は、拡張現実ヘッドセット１２の外部にあり、何れかの好適な通信ネットワーク及び／又はプロトコルを介して拡張現実ヘッドセット１２と通信することができる。例えば、拡張現実ヘッドセット１２及び収束調整システム４０の各々は、通信インターフェースを含むことができ、通信インターフェースは、通信ネットワークに接続することができる。通信ネットワークは、モバイルネットワーク、ＷｉＦｉ、ＬＡＮ、ＷＡＮ、インターネット及び／又は同様のものなどの有線及び／又は無線とすることができ、拡張現実ヘッドセット１２及び収束調整システム４０が互いに通信することを可能にすることができる。

一例として、図４は、本開示の実施形態による、拡張現実ヘッドセット１２を介して仮想オブジェクト５４を見るユーザ１０の概略平面図である。仮想オブジェクト５４は、仮想位置６８と、ユーザの瞳孔７２、７４と仮想オブジェクト５４の基準点（例えば、中心）７１との間の中心点Ｃを通過する中心線７０に沿った仮想距離ＤＯＢＪ１をシミュレートする仮想深度にて表示される。中心点Ｃは、ユーザの瞳孔７２、７４との間の点など、ユーザ１０が視界源として経験する何れかの好適な点とすることができ、点Ｃと第１のユーザの瞳孔７２との間の距離が、点Ｃと第２のユーザの瞳孔７４との間の距離にほぼ等しいようになる。本開示は、仮想オブジェクトの中心として仮想オブジェクトの基準点を示しているが、仮想オブジェクトの中心以外の基準点は、仮想オブジェクトが不規則又は非対称の形状とすることができる場合に特に使用することができる（例えば、仮想オブジェクトの表面、内部、本体、又は縁部に沿った何れかの好適な点など）ことを理解されたい。

ユーザの瞳孔７２、７４間の瞳孔間距離は、図４のＩＰＤとしてユーザの瞳孔７２、７４を通過する瞳孔間線７６に沿って示され、中心点Ｃと瞳孔間線７６に沿ったユーザの瞳孔７０、７２の何れかとの間の距離は、図４においてＩＰＤ／２として示されている。更に、図４に示されるように、ユーザの瞳孔７２、７４の何れかと仮想オブジェクト５４との間の視線又は収束ベクトル７８は、中心線７０と角度θ１をなす。図４はまた、拡張現実ヘッドセット１２のディスプレイ２２、２４を通過する（例えば、一般にその中心を通過する）ディスプレイライン８０を示す。ユーザの瞳孔７２、７４の何れかとディスプレイライン８０との間のディスプレイ距離ＤＤＩＳＰは、ディスプレイライン８０と交差するディスプレイ距離ライン８２に沿って示される。ディスプレイ距離ライン８２と中心線７０は平行であるので、図４に示されるように、ディスプレイ距離ライン８２と視線７８もまた角度θ１で交差する。ディスプレイライン８０に沿ったディスプレイ距離ライン８２と視線７８との間の距離は、Ｘ１として示され（これは、位置６８で仮想オブジェクト５４を見るための横方向瞳孔距離と呼ぶことができる）、相似三角形のルールに基づいて決定することができる。詳細には、Ｘ１は次式を使用して決定することができる。
Ｘ１＝（（ＩＰＤ／２）／ＤＯＢＪ１）＊ＤＤＩＳＰ （式１）

図５は、本開示の実施形態による、拡張現実ヘッドセット１２を通して見られている、図４の仮想オブジェクト５４のユーザの視点の概略図である。収束調整システム４０のコントローラ４２は、仮想オブジェクト５４を、ユーザの左眼が見るための左ディスプレイ２２上の左位置１０１に左仮想オブジェクト１００として表示し、ユーザの右眼が見るための右ディスプレイ２４上の右位置１０３に右仮想オブジェクト１０２として表示する。拡張現実ヘッドセット１２は、仮想オブジェクト５４を、ユーザ１０の真正面に（例えば、図４の中心線７０に沿って）見えるように表示する。このため、コントローラ４２は、左仮想オブジェクト１００の基準点（例えば、中心）１０４を、外側（例えば、最左）縁部１０８よりも左ディスプレイ２２の内側（例えば、最右）縁部１０６に近接して表示することができ、右仮想オブジェクト１０２の基準点（例えば、中央）１１０を、外側（例えば、最右）縁部１１４よりも右ディスプレイ２４の内側（例えば、最左）縁部１１２に近接して表示することができる。更に、仮想オブジェクト１００、１０２の基準点１０４、１１０は、各ディスプレイ２２の内側縁部１０６、１１２から離れて等距離Ｙ１にあることができる。これは、視線の収束点又はユーザの眼の収束ベクトル７８にて仮想オブジェクト１００、１０２を表示し、従って、仮想オブジェクト１００、１０２を単一の仮想オブジェクト（図４において仮想オブジェクト５４として識別される）として見えるようにすることである。従って、コントローラ４２は、仮想オブジェクト１００、１０２を、各ディスプレイ２２、２４の内側縁部１０６、１１２から距離Ｙ１離れて表示して、仮想オブジェクト５４が、ユーザの瞳孔７２、７４の視線７８の収束点にて仮想位置６８にあるように見せることができる。

更なる例として、図６は、本開示の実施形態による、深度が変化したときの拡張現実ヘッドセット１２を介して図４の仮想オブジェクト５４を見ているユーザ１０の概略平面図である。詳細には、収束調整システム４０のコントローラ４２は、中心線７０に沿った第１の仮想距離ＤＯＢＪ１をシミュレートする第１の深度での当初の位置６８から、第２の仮想距離ＤＯＢＪ２をシミュレートする第２の深度での第２の位置１２８に仮想オブジェクト５４の深度を変更するように見える場合がある。仮想オブジェクト５４が深度を変更するように見えるようにするために、コントローラ４２は、仮想オブジェクト５４のサイズを変更することができる。この場合、コントローラ４２は、仮想オブジェクト５４を縮小して、仮想オブジェクト５４が当初の位置６８にあったときよりも仮想オブジェクトが遠くに見えるようにする。コントローラ４２が仮想オブジェクト５４をより深い深度からより近い深度に移動させるように見える場合、コントローラ４２は、代わりに、仮想オブジェクト５４が当初の位置６８にあったときから仮想オブジェクト５４を拡大することができる。

中心線７０と角度θ１をなす第１の仮想距離ＤＯＢＪ１における、ユーザの瞳孔７２、７４の何れかと仮想オブジェクト５４の基準点７１との間の第１の視線又は収束ベクトル７８は、仮想オブジェクト５４の深度が変化するにつれて、中心線７０と角度θ２をなす第２の仮想距離ＤＯＢＪ２におけるユーザの瞳孔７２、７４の何れかと仮想オブジェクト５４の基準点１３２との間の第２の視線又は収束ベクトル１３０に変化する。ディスプレイライン８０に沿ったディスプレイ距離ライン８２と第２の視線１３０との間の距離は、Ｘ２として示され（これは、位置１２８にて仮想オブジェクト５４を見るための第２の横方向瞳孔距離と呼ぶことができる）、相似三角形のルールに基づいて決定することができる。詳細には、Ｘ２は、次式を使用して決定することができる。
Ｘ２＝（（ＩＰＤ／２）／ＤＯＢＪ２）＊ＤＤＩＳＰ （式２）

このようにして、仮想オブジェクト５４の深度の変化に起因して瞳孔がディスプレイライン８０にて移動する距離は、ディスプレイライン８０（例えば、Ｘ１）に沿ったディスプレイ距離ライン８２と視線７８との間の距離と、ディスプレイ距離ライン８２と、ディスプレイライン８０（例えば、Ｘ２）に沿った第２の視線１３０との間の距離との差として表すことができ、これは、以下の式を使用してＸＤＩＦＦと呼ぶことができる。
ＸＤＩＦＦ＝｜Ｘ１－Ｘ２｜ （式３）

図６の深度を変化させる例示の実施例は、仮想オブジェクト５４をより近い深度からより深い深度に移動させるので、ディスプレイライン８０に沿ったディスプレイ距離ライン８２とより近い深度に対応する視線７８との間の距離（例えば、Ｘ１）は、ディスプレイライン８０に沿ったディスプレイ距離ライン８２と更なる深度に対応する第２の視線１３０（例えば、Ｘ２）との間の距離よりも大きいとすることができる。このため、２つの間の差異（例えば、ＸＤＩＦＦ）は正の値とすることができる。しかしながら、仮想オブジェクト５４がより深い深度からより近い深度に移動するときには、２つの間の差異（例えば、ＸＤＩＦＦ）は負とすることができる。このため、式３に示すように、正の値を取得するよう、絶対値を取ることができる。

図７は、本開示の実施形態による、仮想オブジェクトが深度を変化させるときに拡張現実ヘッドセット１２を通して見たときの図６の仮想オブジェクト５４のユーザの視点の概略図である。収束調整システム４０のコントローラ４２は、ユーザの左眼が見るため左ディスプレイ２２上で当初の左位置１０１から第２の左位置１４０に移動する左仮想オブジェクト１００を表示し、ユーザの右眼が観るため右ディスプレイ上の当初の右位置１０３から第２の右位置１４２まで移動する右仮想オブジェクト１０２を表示する。拡張現実ヘッドセット１２は、ユーザ１０の真正面に（例えば、図６の中心線７０に沿って）見えるように仮想オブジェクト５４を表示する。従って、コントローラ４２は、外側（例えば、最左）の縁部１０８よりも左ディスプレイ２２の内側（例えば、最右）縁部１０６に近接して、左仮想オブジェクト１００（例えば、第２の左位置１４０にて）の基準点（例えば、中心）１４４を表示することができ、外側（例えば、最右）の縁部１１４よりも右ディスプレイ２４の内側（例えば、最右）の縁部１１２に近接して、右仮想オブジェクト１０２（第２の右位置１４２）の基準点（例えば、中央）１４６を表示することができる。更に、仮想オブジェクト１００、１０２の基準点１４４、１４６（第２の左及び右位置１４０、１４２にて）は、各ディスプレイ２２、２４の内側縁部１０６から等距離Ｙ２に存在することができる。これは、ユーザの眼の視線又は収束ベクトル７８の収束点にて仮想オブジェクト１００、１０２を表示し、従って、仮想オブジェクト１００、１０２を単一の仮想オブジェクト（図４では仮想オブジェクト５４として識別される）として表示可能にすることである。従って、コントローラ４２は、仮想オブジェクト１０４を、各ディスプレイ２２、２４の内側縁部１０６、１１２から距離Ｙ２離れて表示して、仮想オブジェクト５４がユーザの瞳孔７２、７４の視線１３０の収束点の第２の仮想位置１２８にあるように見せることができる。

各ディスプレイ２２、２４の内側縁部１０６、１１２から左右の仮想オブジェクト１００、１０２の基準点１４４、１４６までの距離Ｙ２を決定するために、コントローラ４２は、各ディスプレイ２２、２４の内側縁部１０６、１１２からの仮想オブジェクト１００、１０２の基準点１０４、１１０からの距離Ｙ１を決定することができる。コントローラ４２はまた、ディスプレイライン８０に沿ったディスプレイ距離線８２と視線７８との間の距離Ｘ１と、ディスプレイラインに沿ったディスプレイ距離ライン８２と第２の視線１３０との間の距離Ｘ２との間の差異ＸＤＩＦＦを決定することができる。詳細には、この場合、コントローラ４２は、仮想オブジェクト５４が当初の位置６８にあったときよりも仮想オブジェクト５４を遠くに見えるようにする場合、コントローラ４２は、各ディスプレイ２２、２４の外縁１０８、１１４に向けて左右の仮想オブジェクト１００、１０２の各々を移動させることができる。このようにして、コントローラ４２は、差異ＸＤＩＦＦを距離Ｙ１に追加して、距離Ｙ２を決定することができる。コントローラ４２が、仮想オブジェクト５４が当初の位置６８にあったときよりも仮想オブジェクト５４をより近くに見えるようにする場合、コントローラ４２は、各ディスプレイ２２、２４の内縁１０６、１１２に向かって左右の仮想オブジェクト１００、１０２の各々を移動させることができる。従って、コントローラ４２は、距離Ｙ１から差異ＸＤＩＦＦを差し引いて、距離Ｙ２を決定することができる。

従って、コントローラ４２は、各ディスプレイ２２、２４の内側縁部１０６、１１２から離れた距離Ｙ１から離れた差異ＸＤＩＦＦで仮想オブジェクト１００、１０２を表示して、仮想オブジェクト５４がユーザの瞳孔７２、７４の視線又は収束ベクトル１３０の収束点での第２の仮想位置１２８にあるように見えるようにすることができる。

コントローラ４２は、ディスプレイライン８０（例えば、Ｘ１）に沿ったより近い深度に対応するディスプレイ距離ライン８２と視線７８との間の距離と、複数の仮想オブジェクト５４のディスプレイライン８０（例えば、Ｘ２）に沿った更なる深度に対応するディスプレイ距離ライン８２と第２の視線１３０との間の距離との間の差異ＸＤＩＦＦを決定し、各々それぞれの差異ＸＤＩＦＦに基づく複数の仮想オブジェクト５４の深度の変化を表示することができる。実際に、状況によっては、異なる深度の複数の仮想オブジェクト５４がそれぞれの深度を変更し、それぞれの差異ＸＤＩＦＦが決定されず、各仮想オブジェクト５４に適用されない場合（例えば、同じ差異ＸＤＩＦＦが各仮想オブジェクト５４に適用される）、ユーザ１０は、複数の仮想オブジェクト５４の少なくとも幾つかの仮想オブジェクトの不自然で非現実的なシフトに起因して、複数の仮想オブジェクト５４の少なくとも幾つかの仮想オブジェクトの「ジャンプ」効果を経験する可能性がある。従って、コントローラ４２が、それぞれの仮想オブジェクト５４が深度を変更しているという指標を受信すると、コントローラ４２は、仮想オブジェクト５４毎に別々に差分ＸＤＩＦＦを動的に決定することができる。

更に、図示のように、コントローラ４２は、仮想オブジェクト１００、１０２を第２の位置１４０、１４２で収縮させて、仮想オブジェクト１００、１０２がそれぞれの当初の位置１０１、１０３にあったときよりも、仮想オブジェクト１００、１０２をより遠くに見えるようにする。コントローラ４２が仮想オブジェクト１００、１０２をより深い深度からより近い深度に移動させるように見える場合、コントローラ４２は、代わりに、仮想オブジェクト１００、１０２がそれぞれの当初の位置１０１、１０３にあったときから仮想オブジェクト１００、１０２を拡大することができる。

ユーザ１０が仮想オブジェクト５４を見るのを主として期待していると想定することができるので、横方向距離ＸＤＩＦＦの決定は、中心線７０及びディスプレイライン８０が瞳孔間線７６に垂直であることに依存することができる。他の物体を見るために眼を移動させるのでなく、ユーザ１０は、他の物体を見るために頭を転回させることができると想定できる。従って、同じ深度の全ての仮想オブジェクトは、同じ横方向距離ＸＤＩＦＦを同じ方向に向けて横方向にシフトすることができる。ユーザ１０が主に仮想オブジェクト５４を見ることを期待していると想定されない場合、コントローラ４２は、仮想オブジェクト５４の異なる焦点距離に基づいて、及び／又はこれを補償するために、仮想オブジェクト５４の表示をシフト変形する、又は漸進的に調整することができる。

図８は、本開示の実施形態による、仮想オブジェクト５４の表示を調整するためのプロセス１６０のフローチャートである。詳細には、収束調整システム４０は、仮想オブジェクト５４の表示を調整するプロセス１６０を実装することができる。プロセス１６０は、瞳孔間距離決定エンジン４８及び／又はディスプレイ調整エンジン５０を介してコントローラ４２のプロセッサ４４などの少なくとも１つの好適なプロセッサによって実行される命令を含む１又は２以上のソフトウェアアプリケーションの形態とすることができる。図示のプロセス１６０は、単に例として提供され、他の実施形態では、プロセス１６０の特定の図示のステップは、本開示に従って他の順序で実行され、スキップされ、繰り返され、又は示されないようにすることができる。

図示のように、プロセスブロック１６２において、プロセッサ４４は、１又は２以上の表示されたオブジェクトが、第１の深度から第２の深度に移動するものとして表示されるという指標を受け取る。例えば、プロセッサ４４は、ディスプレイ２０が１又は２以上の仮想オブジェクト５４を表示していると決定することができる。プロセッサ４４は、深度を変える１又は２以上の仮想オブジェクト５４を含むことができる入力イメージデータ５２を受信することができる。結果として、プロセッサ４４は、１又は２以上の仮想オブジェクト５４が、それぞれの深度をそれぞれの第１の深度からそれぞれの第２の深度に変更していると決定することができる。追加の又は代替の実施形態では、プロセッサ４４は、１又は２以上の仮想オブジェクト５４がそれぞれの深度を変更していることを直接示す１又は２以上の入力信号（例えば、１又は２以上の深度変更指標信号）を受信することができる。図６を参照すると、プロセッサ４４は、仮想オブジェクト５４が第１の深度の第１の位置６８から第２の深度の第２の位置１２８に深度を変更しているという指標を受信することができる。

プロセスブロック１６４において、プロセッサ４４は、ユーザの瞳孔間距離を決定する。例えば、プロセッサ４４は、図３に示される瞳孔追跡センサ２６から瞳孔位置情報を受信し、瞳孔間距離決定エンジン４８に、瞳孔位置情報に基づいて瞳孔間距離（例えば、図４に示されるようなＩＰＤ）を決定するように指示することができる。追加の又は代替の実施形態では、プロセッサ４４は、瞳孔間距離決定エンジン４８に、較正プロセスに基づいて、及び／又は回帰分析又は他の何れかの好適な形式の推定分析を実行することに基づいて、瞳孔間距離を推定するように指示することができる。すなわち、プロセッサ４４は、ディスプレイ２０上で異なる仮想深度にて幾つかの仮想オブジェクトを示し、ユーザ１０がそれぞれの仮想オブジェクトの単一像対二重像を見たときに応答するようにユーザ１０にプロンプトすることができる。単一像を見ることに対応するユーザの応答を使用して、仮想オブジェクトが表示される様々な仮想深度にてユーザの眼の推定位置を三角測量することにより、ユーザの眼の位置を推定することができる。プロセッサ４４は、ユーザの眼の推定位置に基づいて、異なる仮想深度にて瞳孔間距離のセットを決定することができる。瞳孔間距離の決定は保存することができ、プロセッサ４４は、回帰分析又は他の何れかの好適な形式の推定分析を実行して、保存された瞳孔間距離決定に基づいて、仮想オブジェクトの仮想深度に応じて瞳孔間距離を予測する数学モデル又は数式を生成することができる。瞳孔間距離決定エンジン４８は、ユーザ１０が様々なオブジェクト（仮想又は実在）を見るときに瞳孔間距離が変化する可能性があるので、ユーザ１０の瞳孔間距離を動的に決定又は推定することができる。このため、ユーザ１０の瞳孔間距離を更新することは、常に、定期的に、又は特定の時間又は関心のあるポイント（例えば、異なる仮想オブジェクトが表示されたとき、又は実在オブジェクトが見えてきたとき）に役立つことができる。

プロセスブロック１６６において、プロセッサ４４は、瞳孔間距離に基づいて、ディスプレイに沿って、第１の深度で表示されたオブジェクトに関連付けられた第１の収束ベクトルと、第２の深度で表示されたオブジェクトに関連付けられた第２の収束ベクトルとの間の横方向距離を決定する。図６を参照すると、第１の収束ベクトル又は視線７８は、第１の深度の第１の位置６８で仮想オブジェクト５４に関連付けられている。第２の収束ベクトル又は視線１３０は、第２の深度の第２の位置１２８で仮想オブジェクト５４に関連付けられている。

横方向距離ＸＤＩＦＦは、ディスプレイライン８０に沿った第１の収束ベクトル７８と第２の収束ベクトル１３０との間の差異である。プロセッサ４４は、ディスプレイライン８０に沿ったディスプレイ距離ライン８２と第１の収束ベクトル７８との間の距離を決定することによって横方向距離ＸＤＩＦＦを決定することができる。詳細には、プロセッサ４４は、上記の式１で表されるように、瞳孔間距離（ＩＰＤ／２）の半分をユーザの瞳孔７２、７４間の中心点Ｃと第１の位置６８にある仮想オブジェクト５４の基準点（例えば、中心）７１との間の第１の仮想距離（ＤＯＢＪ１）で除算し、その結果をユーザの瞳孔７２、７４の何れかとディスプレイライン８０との間のディスプレイ距離ＤＤＩＳＰと乗算することによってＸ１を決定することができる。プロセッサ４４は、上記の式２で表されるように、瞳孔間距離（ＩＰＤ／２）の半分を、ユーザの瞳孔７２、７４間の中心点Ｃと第２の位置１２８にある仮想オブジェクト５４の基準点（例えば、中心）１３２との間の第２の仮想距離（ＤＯＢＪ２）で除算し、その結果をユーザの瞳孔７２、７４の何れかとディスプレイライン８０との間のディスプレイ距離ＤＤＩＳＰと乗算することによってＸ２を決定することができる。幾つかの実施形態では、上記の式３に示されるように、Ｘ１とＸ２との間の差異の絶対値を取り、正の値を確実にすることができる。プロセッサ４４は、メモリデバイス４６などの何れかの好適なメモリ又はストレージデバイスに横方向距離ＸＤＩＦＦを保存することができる。

決定ブロック１６８において、プロセッサ４４は、それぞれの第１の深度からそれぞれの第２の深度へ移動するものとして表示される別の表示されたオブジェクトがあるかどうかを決定する。オブジェクトがある場合、プロセッサ４４は、プロセスブロック１６６を繰り返して、瞳孔間距離に基づいてディスプレイ２０に沿って、それぞれの第１の深度で追加の仮想オブジェクトに関連付けられた第１の収束ベクトルと、それぞれの第２の深度で追加の仮想オブジェクトに関連付けられた第２の収束ベクトルとの間の横方向距離ＸＤＩＦＦを決定する。このようにして、プロセッサ４４は、各仮想オブジェクト５４が様々な横方向差異ＸＤＩＦＦ値に対応することができるように、各仮想オブジェクト５４の差異ＸＤＩＦＦを個別に動的に決定することができる。

プロセッサ４４が、それぞれの第１の深度からそれぞれの第２の深度へ移動するものとして表示される別の表示されたオブジェクトがないと判断した場合、プロセッサ４４は、プロセスブロック１７０において、それぞれの横方向の距離に基づくそれぞれの第１の深度からそれぞれの第２の深度まで移動するものとして各表示されたオブジェクトを表示する。詳細には、プロセッサ４４は、ディスプレイ２２、２４に表示された各仮想オブジェクト１００、１０２の基準点１４４、１４６を横方向の距離ＸＤＩＦＦだけシフトすることができる。例えば、図７に示されるように、第１の深度が第２の深度よりもユーザ１０に近接している場合、プロセッサ４４は、左右の仮想オブジェクト１００、１０２の各々を、横方向差異ＸＤＩＦＦによって各ディスプレイ２２、２４の外縁１０８、１１４に向かって移動させることができる（従って、距離Ｙ１に横方向の差異ＸＤＩＦＦを追加して、距離Ｙ２を決定する）。第１の深度が第２の深度よりもユーザ１０から離れている場合、プロセッサ４４は、左右の仮想オブジェクト１００、１０２の各々を、横方向差異ＸＤＩＦＦ（従って、距離Ｙ１から横方向の差異ＸＤＩＦＦを差し引いて、距離Ｙ２を決定します）によって各ディスプレイ２２、２４の内側縁部１０６、１１２に向かって移動させることができる。このようにして、プロセッサ４４は、プロセス１６０を実装して、仮想オブジェクト５４の表示を調整して、仮想オブジェクト５４がユーザの瞳孔７２、７４の収束ベクトル１３０の収束点に現れるようにし、仮想オブジェクト５４を見るときの起こり得るぼけ又は二重像効果、不快感、疲労感、持続する頭痛、及び／又は吐き気を低減又は回避し、より良いユーザ体験をもたらすことができる。

本明細書で提示され請求項に記載された手法は、本発明の技術分野を明らかに改善する実際的な性質の実質的な目的及び具体的な実施例に参照及び適用され、このため、抽象的、無形、又は真に理論的でもない。更に、本明細書の終わりに添付した何れかの請求項が「機能」を「実行」する手段」又は「機能」を「実行」するステップ」として指定された１又は２以上の要素を含む場合、このような要素は、米国特許法第１１２条（ｆ）に従って解釈されるものとする。しかしながら、任意の他の方法で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第１１２条（ｆ）に従って解釈されないものとする。

１０ ユーザ
１２ 拡張現実ヘッドセット
５４ 仮想オブジェクト
６８ 仮想位置
７１ 基準点
７２、７４ ユーザの瞳孔
７６ 瞳孔間線
７８ 視線
８０ ディスプレイライン
８２ ディスプレイ距離ライン

Claims (21)

1. 拡張現実システムであって、
   拡張現実ヘッドセットを備え、
   前記拡張現実ヘッドセットが、
   ユーザの左眼に左仮想イメージ及び左仮想オブジェクトを表示するように構成された左ディスプレイと、
   前記ユーザの右眼に右仮想イメージ及び右仮想オブジェクトを表示するように構成された右ディスプレイであって、前記左仮想イメージ及び前記右仮想イメージを見たときに、前記左仮想イメージ及び前記右仮想イメージが、前記ユーザに第１の仮想イメージとして見えるようになり、前記左仮想オブジェクト及び前記右仮想オブジェクトを見たときに、前記左仮想オブジェクト及び前記右仮想オブジェクトが、前記ユーザに前記第１の仮想イメージの第１の仮想オブジェクトとして見えるようになる、右ディスプレイと、
   前記ユーザの瞳孔位置の指標を検出及び提供するように構成された瞳孔追跡センサと、
   を含み、
   前記拡張現実システムが更に、
   プロセッサ及びメモリを備え、
   前記メモリが、前記プロセッサによって実行されたときに、前記プロセッサに、
   前記瞳孔位置の指標に基づいて、前記ユーザの瞳孔間距離を決定し、
   前記瞳孔間距離に基づいて前記第１の仮想イメージから第２の仮想イメージに仮想深度を変化させるものとして前記第１の仮想イメージを表示するための第１の調整を提供し、前記第１の調整が、前記左ディスプレイの第１の内側縁部又は第１の外側縁部に向かって前記左ディスプレイ上に表示される前記左仮想オブジェクトの左横方向調整と、前記右ディスプレイの第２の内側縁部又は第２の外側縁部に向かって前記右ディスプレイ上に表示される前記右仮想オブジェクトの右横方向調整とを含むようにし、
   前記瞳孔間距離に基づいて前記第１の仮想イメージから前記第２の仮想イメージに仮想深度を変更するように第２の仮想オブジェクトを表示するための第２の調整を提供し、
   前記拡張現実ヘッドセットに、前記第１の調整に基づいて前記第２の仮想イメージにおける前記第１の仮想オブジェクトを表示させ、
   前記拡張現実ヘッドセットに、前記第２の調整に基づいて前記第２の仮想イメージにおける前記第２の仮想オブジェクトを表示させ、前記第１の仮想オブジェクトに対する前記第１の調整は、前記第２の仮想オブジェクトに対する前記第２の調整とは異なるようにする、
   ようにさせる命令を含む、拡張現実システム。
2. 前記第１の仮想オブジェクトは、前記仮想深度を第１の仮想深度から第２の仮想深度に変更するように構成され、前記左横方向調整及び前記右横方向調整が距離を含み、前記プロセッサが、前記左仮想オブジェクト及び前記右仮想オブジェクトを前記距離だけ横方向にシフトすることにより、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成されている、請求項１に記載の拡張現実システム。
3. 前記プロセッサは、前記第２の仮想深度が前記第１の仮想深度よりも大きい場合に、前記左仮想オブジェクトを前記左ディスプレイの前記第１の外側縁部に向かって前記距離だけ横方向にシフトすることによって、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成される、請求項２に記載の拡張現実システム。
4. 前記プロセッサは、前記第２の仮想深度が前記第１の仮想深度よりも小さい場合に、前記左仮想オブジェクトを前記左ディスプレイの前記第１の内側縁部に向かって前記距離だけ横方向にシフトすることによって、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成される、請求項２に記載の拡張現実システム。
5. 前記プロセッサは、前記第２の仮想深度が前記第１の仮想深度よりも大きい場合に、前記右仮想オブジェクトを前記右ディスプレイの第２の外側縁部に向かって前記距離だけ横方向にシフトすることによって、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成される、請求項２に記載の拡張現実システム。
6. 前記プロセッサは、前記第２の仮想深度が前記第１の仮想深度よりも小さい場合に、前記右仮想オブジェクトを前記右ディスプレイの前記第２の内側縁部に向かって前記距離だけ横方向にシフトすることによって、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成される、請求項２に記載の拡張現実システム。
7. 前記プロセッサは、前記左仮想オブジェクトの第１の中心を横方向にシフトすることによって、前記右仮想オブジェクトの第２の中心を横方向にシフトすることによって、又はこれらの両方によって、前記拡張現実ヘッドセットに前記第１の仮想オブジェクトを表示させるように構成される、請求項１に記載の拡張現実システム。
8. 前記左ディスプレイ及び前記右ディスプレイが透明ディスプレイを含み、前記左ディスプレイは、現実世界環境に重ね合わせて前記左仮想イメージ及び前記左仮想オブジェクトを表示するように構成され、前記右ディスプレイは、前記現実世界環境に重ね合わせて前記右仮想イメージ及び前記右仮想オブジェクトを表示するように構成される、請求項１に記載の拡張現実システム。
9. 複数の仮想オブジェクトの表示を調整するための命令を含む、有形の非一時的なコンピュータ可読媒体であって、
   前記命令が、プロセッサによって実行されたときに、前記プロセッサに、
   前記複数の仮想オブジェクトの各仮想オブジェクトが、それぞれの第１の仮想深度からそれぞれの第２の仮想深度に移動するように表示されるべきであるという指標を受け取り、
   瞳孔間距離を決定し、
   前記瞳孔間距離に基づいて、それぞれの前記第１の仮想深度での前記複数の仮想オブジェクトの各仮想オブジェクトに関連付けられたそれぞれの第１の視線と、それぞれの前記第２の仮想深度での前記仮想オブジェクトに関連付けられたそれぞれの第２の視線との間のそれぞれの横方向距離を動的に決定し、
   拡張現実ヘッドセットの複数のディスプレイを通過するディスプレイラインに沿った前記それぞれの横方向距離だけ前記複数の仮想オブジェクトの各仮想オブジェクトを横方向に調整することにより、前記それぞれの横方向距離に基づいて前記それぞれの第１の仮想深度から前記それぞれの第２の仮想深度に移動するように前記複数の仮想オブジェクトの各仮想オブジェクトを前記拡張現実ヘッドセットに表示させる、
   ようにし、
   前記複数の仮想オブジェクトが、第１の仮想オブジェクト及び第２の仮想オブジェクトを含み、前記第１の仮想オブジェクトに対する前記それぞれの横方向距離が、第１の横方向距離を含み、前記第２の仮想オブジェクトに対する前記それぞれの横方向距離が、第２の横方向距離を含み、前記第１の横方向距離は、前記第２の横方向距離とは異なる、有形の非一時的なコンピュータ可読媒体。
10. 前記プロセッサに前記それぞれの横方向距離を動的に決定させる命令は、前記プロセッサに、
    前記瞳孔間距離の半分を、ユーザの瞳孔間の中心点と前記第１のそれぞれの仮想深度での各仮想オブジェクトの基準点との間のそれぞれの第１の仮想距離で除算して、それぞれの第１の商を決定し、
    前記それぞれの第１の商に、前記ユーザの瞳孔と前記複数のディスプレイのうちのディスプレイとの間のそれぞれの第１のディスプレイ距離を乗算して、それぞれの第１の横方向の瞳孔間距離を決定する、
    ようにさせることを含む、請求項９に記載の有形の非一時的なコンピュータ可読媒体。
11. 前記基準点は、前記それぞれの仮想オブジェクトの略中心点である、請求項１０に記載の有形の非一時的なコンピュータ可読媒体。
12. 前記プロセッサに前記それぞれの横方向距離を動的に決定させる命令は、前記プロセッサに、
    前記瞳孔間距離の半分を、前記ユーザの瞳孔間の中心点と前記第２のそれぞれの仮想深度での各仮想オブジェクトの基準点との間のそれぞれの第２の仮想距離で除算して、それぞれの第２の商を決定し、
    前記それぞれの第２の商に、前記ユーザの瞳孔と前記複数のディスプレイとの間のそれぞれの第２のディスプレイ距離を乗算して、それぞれの第２の横方向の瞳孔間距離を決定する、
    ようにさせることを含む、請求項１０に記載の有形の非一時的なコンピュータ可読媒体。
13. 前記それぞれの横方向距離は、前記それぞれの第１の横方向瞳孔距離と前記それぞれの第２の横方向瞳孔距離との間の差異を含む、請求項１２に記載の有形の非一時的なコンピュータ可読媒体。
14. 前記ディスプレイラインは、前記拡張現実ヘッドセットの前記複数のディスプレイのそれぞれの中心を通過する、請求項９に記載の有形の非一時的なコンピュータ可読媒体。
15. 仮想オブジェクトの表示を調整するための方法であって、
    第１の表示されたオブジェクトが、第１の仮想イメージにおける第１の仮想深度から第２の仮想イメージにおける第２の仮想深度に移動するように表示されるべきであるという第１の指標を受信するステップと、
    第２の表示されたオブジェクトが、前記第１の仮想イメージにおける第３の仮想深度から前記第２の仮想イメージにおける第４の仮想深度に移動するように表示されるべきであるという第２の指標を受け取るステップと、
    瞳孔間距離を決定するステップと、
    前記瞳孔間距離に基づいて、前記第１の仮想深度にて前記第１の表示されたオブジェクトに関連付けられた第１の収束ベクトルと、前記第２の仮想深度にて前記第１の表示されたオブジェクトに関連付けられた第２の収束ベクトルとの間の第１の横方向距離を決定するステップと、
    前記瞳孔間距離に基づいて、前記第３の仮想深度にて前記第２の表示されたオブジェクトに関連付けられた第３の収束ベクトルと、前記第４の仮想深度にて前記第２の表示されたオブジェクトに関連付けられた第４の収束ベクトルとの間の、前記第１の横方向距離とは異なる第２の横方向距離を決定するステップと、
    拡張現実ヘッドセットのディスプレイの内側縁部に向かって前記第１の横方向距離だけ、又は前記ディスプレイの外側縁部に向かって前記第１の横方向距離だけ前記第１の表示されたオブジェクトを横方向に調整することによって、前記第１の横方向距離に基づいて前記第１の仮想イメージにおける前記第１の仮想深度から前記第２の仮想イメージにおける前記第２の仮想深度に移動するように前記第１の表示されたオブジェクトを表示するステップと、
    前記ディスプレイの内側縁部に向かって前記第２の横方向距離だけ又は前記ディスプレイの外側縁部に向かって前記第２の横方向距離だけ前記第２の表示されたオブジェクトを横方向に調整することによって、前記第１の仮想イメージにおける前記第３の仮想深度から前記第２の仮想イメージにおける前記第４の仮想深度に移動するように前記第２の表示されたオブジェクトを表示するステップと、
    を含む、方法。
16. 前記第１の収束ベクトルは、ユーザの眼と、前記第１の仮想深度にて前記第１の表示されたオブジェクトの基準点を通過し、前記第２の収束ベクトルは、前記ユーザの眼を通り、前記第２の仮想深度にて前記第１の表示されたオブジェクトの前記基準点まで通過する、請求項１５に記載の方法。
17. 前記第１の横方向距離が、前記ディスプレイ上の距離として決定される、請求項１５に記載の方法。
18. 前記第１の表示されたオブジェクトは、拡張現実ヘッドセットの左ディスプレイ上に表示された左オブジェクトとして部分的に表示され、前記拡張現実ヘッドセットの右ディスプレイ上に表示された右オブジェクトとして部分的に表示される、請求項１５に記載の方法。
19. 前記第１の表示された物体を前記第１の仮想深度から前記第２の仮想深度に移動するように表示する前記ステップは、前記第２の仮想深度が前記第１の仮想深度よりも大きい場合に、前記表示された左オブジェクトを前記左ディスプレイの外側縁部に向かって前記第１の横方向距離だけ横方向にシフトするステップを含む、請求項１８に記載の方法。
20. 前記第１の表示された物体を前記第１の仮想深度から前記第２の仮想深度に移動するように表示する前記ステップは、前記第２の仮想深度が前記第１の仮想深度よりも小さいと決定されたことに応答して、前記表示された左オブジェクトを前記左ディスプレイの内側縁部に向かって前記第１の横方向距離だけ横方向にシフトするステップを含む、請求項１８に記載の方法。
21. 前記第１の表示された物体を前記第１の仮想深度から前記第２の仮想深度に移動するように表示する前記ステップは、前記第２の仮想深度が前記第１の仮想深度よりも大きいと決定されたことに応答して、前記表示された右オブジェクトを前記右ディスプレイの外側縁部に向かって前記第１の横方向距離だけ横方向にシフトするステップを含む、請求項１８に記載の方法。

Images