JP7155291B2 - 環境の動き回り - Google Patents

環境の動き回り Download PDF

Info

Publication number
JP7155291B2
JP7155291B2 JP2020560953A JP2020560953A JP7155291B2 JP 7155291 B2 JP7155291 B2 JP 7155291B2 JP 2020560953 A JP2020560953 A JP 2020560953A JP 2020560953 A JP2020560953 A JP 2020560953A JP 7155291 B2 JP7155291 B2 JP 7155291B2
Authority
JP
Japan
Prior art keywords
view
user interface
interface element
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020560953A
Other languages
English (en)
Other versions
JP2021520573A (ja
Inventor
センテノ ルイス アール デリツ
アヴィ バー-ゼーヴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2021520573A publication Critical patent/JP2021520573A/ja
Application granted granted Critical
Publication of JP7155291B2 publication Critical patent/JP7155291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

(関連出願の相互参照)
この出願は、2018年5月2日に出願された「TELEPORTATION」と題する米国特許出願第62/666,015号、及び2019年4月8日に出願された「MOVING ABOUT A COMPUTER SIMULATED REALITY SETTING」と題する米国特許出願第62/831,012号に対する優先権を主張する。これらの出願のそれぞれの内容は、全体が、参照により本明細書に組み込まれる。
本開示は、コンピュータ模擬現実におけるデバイス上でのデジタルコンテンツの表示に関する。
従来の電子デバイスは、コンピュータ模擬現実(computer simulated reality、CSR)環境のビューを表示し、ユーザ入力を受信するための入力機構を含む、画面を備える。ユーザ入力の受信に応じて、CSR環境の表示されたビューは変化する。電子デバイスのユーザが知覚するように、そのような変化は、CSR環境の動き回りを表すことができる。
本開示は、CSR環境を動き回るための技術を記載する。CSRアプリケーションがよりユビキタスになるにつれて、CSR環境を迅速かつ効率的に動き回るための技術が必要とされている。例えば、仮想現実環境(例えば、家)に投入されたユーザは、環境の異なる部分、又は全く異なる仮想環境(例えば、水中環境)に移動することを望む場合がある。動きエクスペリエンスを向上させるために、本開示は、CSR環境における位置間の効率的で、自然な、シームレスの、及び/又は快適性を維持する動きを可能にする技術を提示する。このように、改善されたCSRエクスペリエンスがユーザに提供される。
いくつかの実施形態によれば、CSR環境の現在ビューが表示される。現在ビューは、第1の判定方向に対応する第1の視点からのCSR環境の現在位置を示す。ユーザインタフェース要素が表示される。ユーザインタフェース要素は、現在位置から見えない目的地位置を示す。ユーザインタフェース要素の選択を表す入力を受信したことに応じて、現在ビューの表示を修正して目的地位置を示す目的地ビューを表示する。いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、ユーザインタフェース要素を拡大することを含む。
いくつかの実施形態によれば、CSR環境の現在ビューが表示される。現在ビューは、第1の判定方向に対応する第1の視点からのCSR環境の現在位置を示す。ユーザインタフェース要素が表示される。ユーザインタフェース要素は、CSR環境の目的地位置を示す。目的地位置は、ユーザインタフェース要素内に表示されるときに、現在ビュー内の現在位置の表示に対してより大きなスケールで表示される。ユーザインタフェース要素の選択を表す入力を受信したことに応じて、現在ビューの表示を修正してCSR環境の目的地ビューを表示し、目的地ビューは、ユーザインタフェース要素内に表示された目的地位置を示す。いくつかの実施形態では、目的地位置は、目的地ビュー内に表示されるときに、ユーザインタフェース要素内の目的地位置の表示と同じスケールで表示される。
仮想現実及び複合現実を含む、様々なコンピュータ模擬現実技術で使用するための例示的なシステムを示す。 仮想現実及び複合現実を含む、様々なコンピュータ模擬現実技術で使用するための例示的なシステムを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 ユーザインタフェース要素の選択を表す入力を受信したことに応じて、CSR環境のビューが変化する方法を表す例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境の例示的なビューを示す。 CSR環境を動き回るためのプロセスを示す。 CSR環境を動き回るためのプロセスを示す。
様々な模擬現実技術に関連したそのようなシステムを使用するための電子システム及び技術の様々な例が記載されている。
物理的環境とは、電子システムの支援なしに個人が感知、及び/又は対話することができる世界を意味する。物理的環境(例えば、物理的森林)は、物理的要素(例えば、物理的木、物理的構造、及び物理的動物)を含む。個人は、接触、視覚、嗅覚、聴覚、及び味覚などを介して、物理的環境と直接対話、及び/又は物理的環境を直接感知することができる。
対照的に、模擬現実(simulated reality、SR)環境は、電子システムを介して個人が感知及び/又は対話することができる、完全又は部分的にコンピュータ生成された環境を指す。SRにおいて、個々の動きのサブセットが監視され、それに応答して、SR環境における1つ以上の仮想オブジェクトの1つ以上の属性が、1つ以上の物理的法則と一致する様式で変更される。例えば、SRシステムは、前方に数歩歩く個人を検出し、それに応答して、そのような景色及び音が物理的環境において変化する方法と同様の様式で、個人に提示されるグラフィック及び音声を調整してもよい。SR環境における仮想オブジェクト(単数又は複数)の属性(単数又は複数)に対する修正はまた、動きの表現に応じて行われてもよい(例えば、音声命令)。
個人は、接触、嗅覚、視覚、味覚、及び音声を含む、自分の感覚のうちのいずれか1つを使用して、SRオブジェクトと対話する及び/又はそれを感知することができる。例えば、個人は、多次元(例えば、3次元)若しくは空間的音声環境を作成する、及び/又は音音声透過性を可能にする音声オブジェクトと対話することができるか、及び/又は音声オブジェクトを感知することができる。多次元又は空間的音声環境は、多次元空間内の別個の音声源の知覚を個人に提供する。音声透過性は、コンピュータ生成された音声を用いて又は用いることなく、物理的環境からの音声を選択的に組み込む。いくつかのSR環境において、個人は音声オブジェクトのみと対話してもよく、及び/又は音声オブジェクトのみを感知してもよい。
SRの一例は、仮想現実(VR)である。VR環境とは、感知のうちの少なくとも1つのコンピュータ生成された感覚入力のみを含むように設計された模擬環境を指す。VR環境は、個人が対話及び/又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ生成された環境内の個々のアクションのサブセットの模擬を通じて、及び/又はコンピュータ生成された環境内の個々若しくは自分の存在の模擬を通じて、VR環境内の仮想オブジェクトと対話する及び/又は仮想オブジェクトを感知することができる。
SRの別の例は、複合現実(mixed reality、MR)である。MR環境とは、コンピュータ生成された感覚入力(例えば、仮想オブジェクト)を、物理的環境又はその表現からの感覚入力と統合するように設計された模擬環境を指す。現実スペクトルでは、複合現実環境は、一方の端部でのVR環境と他方の端部での完全な物理的環境との間にあり、これらを含まない。
いくつかのMR環境において、コンピュータ生成された感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的要素又はその表現)と対話することを可能にするために、物理的環境に対する向き及び/又は位置を監視することができる。例えば、システムは、仮想植物が物理的な建物に対して静止して見えるように、動きを監視することができる。
複合現実の一例は、拡張現実(augmented reality、AR)である。AR環境は、少なくとも1つの仮想オブジェクトが物理的環境上か又はその表現上に重ねられた模擬環境を指す。例えば、電子システムは、不透明なディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする少なくとも1つの撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に表示する。個人は、システムを使用して、物理的環境の画像又はビデオによって間接的に物理的環境を見て、物理的環境上に重ねられた仮想オブジェクトを観察する。システムが画像センサ(単数又は複数)を使用して物理的環境の画像をキャプチャし、それらの画像を使用して不透明なディスプレイ上にAR環境を提示する場合、表示された画像は、ビデオパススルーと呼ばれる。あるいは、AR環境を表示するための電子システムは、個人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示し、それによって、個人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを観察してもよい。別の例において、システムは、仮想オブジェクトを物理的環境に投影する投影システムを含んでもよい。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察してもよい。
拡張現実環境はまた、物理的環境の表現がコンピュータ生成された感覚情報によって変換される模擬環境を指してもよい。例えば、物理的環境の表現の一部分は、変更された部分が依然として元々キャプチャされた画像(単数又は複数)の表現であり得るが、忠実に再現されたバージョンではないように、グラフィカルに変換(例えば、拡大)されてもよい。別の例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも1つを変更して、画像センサ(単数又は複数)によってキャプチャされた視点とは異なる特定の視点を課すことができる。更なる実施例として、物理的環境の表現は、その一部分をグラフィカルに不明瞭にするか、又は除外することによって変更されてもよい。
複合現実の別の例は、拡張仮想現実(augmented virtuality、AV)である。AV環境とは、コンピュータ生成された環境又は仮想環境が物理的環境からの少なくとも1つの感覚入力を組み込む、模擬環境を指す。物理的環境からの感覚入力(単数又は複数)は、物理的環境の少なくとも1つの特性の表現であってもよい。例えば、仮想オブジェクトは、撮像センサ(単数又は複数)によってキャプチャされた物理的要素の色を想定してもよい。別の実施例では、仮想オブジェクトは、撮像、気象関連センサ、及び/又はオンライン気象データを介して識別されるように、物理的環境における実際の気象条件と一致する特性を示し得る。更に別の実施例では、拡張現実の森林は、仮想的な木及び構造を有してもよいが、動物は、物理的な動物の画像から正確に再現される特徴を有してもよい。
多くの電子システムは、個人が様々なSR環境と相互作用及び/又は感知することを可能にする。一実施例は、ヘッドマウントシステムを含む。ヘッドマウントシステムは、不透明なディスプレイ及びスピーカ(単数又は複数)を有してもよい。あるいは、ヘッドマウントシステムは、外部ディスプレイ(例えば、スマートフォン)を受け入れるように設計されてもよい。ヘッドマウントシステムは、それぞれ、画像/ビデオを撮影するため、及び/又は物理的環境の音声をキャプチャするために、画像センサ(単数又は複数)及び/又はマイクロフォンを有してもよい。ヘッドマウントシステムはまた、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイには、基板を組み込んでもよく、基板を通して画像を表す光が個人の目に向けられる。ディスプレイは、LED、OLED、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基板の任意の組み合わせであってもよい。一実施例において、透明又は半透明のディスプレイは、不透明状態と、透明又は半透明状態との間で選択的に遷移してもよい。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムは、網膜投影を使用して、個人の網膜上に画像を投影することができる。あるいは、投影システムはまた、仮想オブジェクトを物理的環境に(例えば、物理的表面上に、又はホログラフとして)投影することができる。SRシステムの他の例としては、ヘッドアップディスプレイ、グラフィックを表示する能力を備える自動車用フロントガラス、グラフィックスを表示する能力を備える窓、グラフィックを表示する能力を備えるレンズ、ヘッドフォン又はイヤホン、スピーカ配置、入力機構(例えば、触知フィードバックを有する又は有さないコントローラ)、タブレット、スマートフォン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。
図1A及び図1Bは、様々な模擬現実技術で使用するための例示的なシステム100を示す。
いくつかの実施例において、図1Aに示すように、システム100は、デバイス100aを含む。デバイス100aは、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、メモリ(単数又は複数)106、画像センサ(単数又は複数)108、向きセンサ(単数又は複数)110、マイクロフォン(単数又は複数)112、位置センサ(単数又は複数)116、スピーカ(単数又は複数)118、ディスプレイ(単数又は複数)120、及びタッチ感知面122などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス100aの通信バス(単数又は複数)150を介して通信する。
いくつかの実施例において、システム100の要素は、基地局デバイス(例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス)内に実装され、システム100の他の要素は、第2のデバイス(例えば、ヘッドマウントデバイス)内に実装される。いくつかの例において、デバイス100aは、基地局デバイス又は第2のデバイス内に実装される。
図1Bに示すように、いくつかの実施例において、システム100は、有線接続又は無線接続などを介して通信する2つ(又はそれ以上)のデバイスを含む。第1のデバイス100b(例えば、基地局デバイス)は、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、及びメモリ(単数又は複数)106を含む。これらの構成要素は、任意選択的に、デバイス100bの通信バス(単数又は複数)150を介して通信する。第2のデバイス100c(例えば、ヘッドマウントデバイス)は、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、メモリ(単数又は複数)106、画像センサ(単数又は複数)108、向きセンサ(単数又は複数)110、マイクロフォン(単数又は複数)112、位置センサ(単数又は複数)116、スピーカ(単数又は複数)118、ディスプレイ(単数又は複数)120、及びタッチ感知面122などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス100cの通信バス(単数又は複数)150を介して通信する。
システム100は、プロセッサ(単数又は複数)102及びメモリ(単数又は複数)106を含む。プロセッサ(単数又は複数)102は、1つ以上の汎用プロセッサ、1つ以上のグラフィックプロセッサ、及び/又は1つ以上のデジタル信号プロセッサを含む。いくつかの実施例において、メモリ(単数又は複数)106は、後述する技術を実行するためにプロセッサ(単数又は複数)102によって実行されるように構成されているコンピュータ可読命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体(例えば、フラッシュメモリ、ランダムアクセスメモリ)である。
システム100は、RF回路(単数又は複数)104を含む。RF回路(単数又は複数)104は、任意選択的に、電子デバイス、インターネット、イントラネット並びに/又は、セルラーネットワーク及び無線ローカルエリアネットワーク(LAN)などの無線ネットワークなどのネットワークと通信するための回路を含む。RF回路(単数又は複数)104は、任意選択的に、近距離通信及び/又はBluetooth(登録商標)などの短距離通信を使用して通信するための回路を含む。
システム100は、ディスプレイ(単数又は複数)120を含む。ディスプレイ(単数又は複数)120は、不透明なディスプレイを有してもよい。ディスプレイ(単数又は複数)120は、画像を表す光が個人の目に向けられる基板を組み込んでもよい透明又は半透明のディスプレイを有してもよい。ディスプレイ(単数又は複数)120は、LED、OLED、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基板の任意の組み合わせであってもよい。一実施例において、透明又は半透明のディスプレイは、不透明状態と、透明又は半透明状態との間で選択的に遷移してもよい。ディスプレイ(単数又は複数)120の他の例としては、ヘッドアップディスプレイ、グラフィックを表示する機能を有する自動車フロントガラス、グラフィックを表示する機能を有する窓、グラフィックを表示する機能を有するレンズ、タブレット、スマートフォン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。あるいは、システム100は、外部ディスプレイ(例えば、スマートフォン)を受け入れるように設計されてもよい。いくつかの実施例において、システム100は、網膜投影を使用して画像を個人の網膜上に投影するか、又は仮想オブジェクトを物理的環境に(例えば、物理的表面上に又はホログラフとして)投影する、投影ベースのシステムである。
いくつかの実施例において、システム100は、タップ入力及びスワイプ入力などのユーザ入力を受信するためのタッチ感知面(単数又は複数)122を含む。いくつかの例において、ディスプレイ(単数又は複数)120及びタッチ感知面(単数又は複数)122は、タッチ感知ディスプレイ(単数又は複数)を形成する。
システム100は画像センサ(単数又は複数)108を含む。画像センサ(単数又は複数)108は、任意選択的に、電荷結合デバイス(charged coupled device、CCD)センサなどの1つ以上の可視光画像センサ、及び/又は物理的環境から物理的要素の画像を取得するように動作可能な相補型金属酸化膜半導体(complementary metal-oxide-semiconductor、CMOS)センサを含む。画像センサ(単数又は複数)はまた、任意選択的に、物理的環境からの赤外光を検出するための、パッシブIRセンサ又はアクティブIRセンサなどの1つ以上の赤外線(IR)センサ(単数又は複数)を含む。例えば、アクティブIRセンサは、赤外光を物理的環境に放射するためのIRドットエミッタなどのIRエミッタを含む。画像センサ(単数又は複数)108はまた、任意選択的に、物理的環境における物理的要素の動きをキャプチャするように構成されている1つ以上のイベントカメラを含む。画像センサ(単数又は複数)108はまた、任意選択的に、システム100からの物理的要素の距離を検出するように構成された1つ以上の深度センサ(単数又は複数)を含む。いくつかの例において、システム100は、CCDセンサ、イベントカメラ、及び深度センサを組み合わせて使用して、システム100の周囲の物理的環境を検出する。いくつかの例において、画像センサ(単数又は複数)108は、第1の画像センサ及び第2の画像センサを含む。第1の画像センサ及び第2の画像センサは、任意選択的に、2つの異なる視点から、物理的環境内の物理的要素の画像をキャプチャするように構成されている。いくつかの例において、システム100は、画像センサ(単数又は複数)108を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの例において、システム100は、画像センサ(単数又は複数)108を使用して、物理的環境におけるシステム100及び/又はディスプレイ(単数又は複数)120の位置並びに向きを検出する。例えば、システム100は、画像センサ(単数又は複数)108を使用して、物理的環境内の1つ以上の固定要素に対するディスプレイ(単数又は複数)120の位置及び向きを追跡する。
いくつかの実施例において、システム100は、マイクロフォン(単数又は複数)112を含む。システム100は、マイクロフォン(単数又は複数)112を使用して、ユーザ及び/又はユーザの物理的環境からの音声を検出する。いくつかの例において、マイクロフォン(単数又は複数)112は、周囲ノイズを特定するか、又は物理的環境の空間内の音源の位置を特定するために、任意選択的に並んで動作するマイクロフォンのアレイ(複数のマイクロフォンを含む)を含む。
システム100は、システム100及び/若しくはディスプレイ(単数又は複数)120の向き並びに/又は動きを検出するための向きセンサ(単数又は複数)110を含む。例えば、システム100は、向きセンサ(単数又は複数)110を使用して、システム100及び/若しくはディスプレイ(単数又は複数)120の位置並びに/又は向きの変化を、物理的環境内の物理的要素などに対して追跡する。向きセンサ(単数又は複数)110は、1つ以上のジャイロスコープ及び/又は1つ以上の加速度計を含む。
ここで図2A~図2H及び図3A~図3Bを参照すると、コンピュータ模擬現実(CSR)環境を動き回るための例示的な技術が記載されている。
図2Aは、ユーザに関連付けられたデバイス200上に表示されたCSR環境(例えば、家)の現在ビュー202(例えば、視野)を示す。いくつかの実施形態では、デバイス200は、上述のデバイス100a、100b、若しくは100cと同じであるか、又は同様である。ユーザは、CSR環境内に存在しているとみなされ、したがって、CSR環境のビュー202が提供されている。ビュー202は、ユーザインタフェース要素204を含む。ユーザインタフェース要素204は、目的地ビュー206(例えば、埋め込まれたビュー)を示す。
いくつかの実施形態では、ユーザは、アバターに関連付けられる。アバターは、CSR環境におけるユーザの存在を表すことができる仮想オブジェクトである。したがって、いくつかの実施形態では、CSR環境のユーザのビューは、ユーザに関連付けられたアバターのビューとすることができる。例えば、ビュー202は、ユーザに関連付けられたアバターのビューであり得る。
いくつかの実施形態では、CSR環境の1つ以上のビューは、CSR環境のそれぞれの位置を示す。例えば、図2Aに示すように、ビュー202は、ユーザが位置するCSR環境内の現在位置(例えば、椅子214を有する家のリビングルーム内の位置)を示し、CSR環境の目的地ビュー206は、CSR環境内の目的地位置(例えば、家のバックヤード内の位置)を示す。現在位置(例えば、リビングルーム位置)及び目的地位置(例えば、バックヤード位置)は、同じCSR環境内の2つの位置として説明されているが、いくつかの実施形態では、現在位置及び目的地位置は、異なるCSR環境内のそれぞれの位置である。換言すれば、いくつかの実施形態では、家のリビングルームは、家のバックヤードとは異なるCSR環境に関連付けられる。
いくつかの実施形態では、ユーザインタフェース要素204は、CSR環境の現在位置から見えない(例えば、ユーザインタフェース要素204がない場合は見えない)CSR環境の目的地位置を示す。例えば、ビュー206によって示された家のバックヤードの目的地位置は、ユーザインタフェース要素204が存在しない場合、ビュー202によって示される現在場所からは見えない。
いくつかの実施形態では、CSR環境の各ビューは、それぞれの視点からのCSR環境の位置を示す。例えば、ビュー202は、第1の視点からの現在位置を示し、ビュー206は、第2の視点からの目的地位置を示す。
いくつかの実施形態では、各視点は、それぞれの判定方向に対応する。判定方向は、ユーザの視野に関連付けられた方向を表す。いくつかの実施形態では、ユーザの視野に関連付けられた方向は、ユーザの姿勢(例えば、デバイス200を使用して判定されたユーザの頭部の位置及び向き)に基づいて判定される。いくつかの実施形態では、デバイス200によって判定された位置及び向きは、例えば、デバイス200の1つ以上のセンサ(例えば、カメラ)によって判定されるように、物理的環境におけるオブジェクトに対して判定される。いくつかの実施形態では、位置及び向きは、例えば、デバイス200の1つ以上のセンサ(例えば、加速度計、カメラ)によって判定されるように、デバイス200の動きに基づいて判定される。いくつかの実施形態では、ユーザの視野に関連付けられた方向は、ユーザの視線方向に基づいて、追加的に又は代替的に判定される(例えば、デバイス200を使用して判定される)。
いくつかの実施形態では、視線方向は、頭部対向センサを使用して取得された視線データを使用して判定される。特に、いくつかの実施形態では、デバイス200は、ヘッドマウントディスプレイを含み、かつ、デバイス200のユーザに向けられた頭部対向センサを含み、デバイス200は、頭部対向センサを使用して視線データを取得する。デバイス200は、視線データを使用して、ユーザの視線方向及び/又は視線深度(例えば、判定された視線方向に関連付けられた視線深度)を判定する。いくつかの実施形態では、視線データを使用してユーザの視線方向及び/又は視線深度を判定することは、視線データから、ユーザの瞳孔及び/若しくは角膜位置並びに/又はユーザの眼の回転を判定することを含む。当業者であれば、視線データを使用してユーザの視線方向及び/又は視線深度を判定するための任意の好適な技術が使用され得ることを理解するであろう。
いくつかの実施形態では、各ビューは、判定方向に対応するそれぞれの視点からのCSR環境のそれぞれの位置を示す。例えば、ビュー202は、第1の判定方向に対応する第1の視点からの現在位置を示す。ビュー206は、第2の(例えば、第1の判定方向と同じ又は異なる)判定方向に対応する第2の視点からの目的地位置を示す。したがって、ビュー206は、ユーザが目的地位置に位置していた場合のユーザの視点の一部分を表す。
いくつかの実施形態では、デバイス200は、それぞれのCSR位置を示すビューを判定し表示するために、判定方向及びCSR位置を使用するように構成されている。例えば、CSR環境の第1の方向及び現在位置を使用して、デバイス200は、第1の方向に対応する第1の視点からのリビングルーム位置を示す現在ビュー202を判定する。いくつかの実施形態では、判定方向及び目的地位置(例えば、バックヤード位置)を使用して、デバイス200は、バックヤード位置を示すビュー206を判定する。
いくつかの実施形態では、ユーザインタフェース要素204は、CSR環境(又は別のCSR環境)内の目的地位置へのポータルとして使用されてもよい。したがって、ユーザインタフェース要素を使用して、ユーザをビューによって示された目的地位置に運ぶことができる。例として、ユーザは、ユーザインタフェース要素204と対話して、ビュー202によって示されるリビングルーム位置からビュー206によって示されるバックヤード位置へとユーザをテレポートすることができる。いくつかの実施形態では、CSR環境内の位置間でユーザをテレポートすることは、その位置間でユーザに関連付けられたアバターをテレポートすることを含む。
いくつかの実施形態では、ユーザインタフェース要素によって示されたビューは、目的地位置のライブプレビューを含み、ユーザが目的地位置をリアルタイムで見ることを可能にする。ビューは、例えば、目的地位置に位置する1つ以上の仮想オブジェクトの動き(例えば、ビュー206内の花208が風になびいている)を示すことができる。
図2Aに示すように、いくつかの実施形態では、ユーザインタフェース要素204は、球状(例えば、気泡)である。しかしながら、他の実施形態では、ユーザインタフェース要素204は、任意の2次元又は3次元形状(例えば、立方体、円板、多角形、多面体など)であり得ることを理解されたい。いくつかの実施形態では、ユーザインタフェース要素204の境界、及び/又はユーザインタフェース要素内に表示されたビューは、ユーザインタフェース要素204が3次元的に見えるように、及び/又はより容易に目立つように、光沢を有し、及び/又はホログラフィックである。
図2B~図2Hは、ビュー(例えば、ビューの表示)を修正できる様々な方法を示す。ビューは、例えば、ビューを縮小すること、ビューを拡大すること、ビューを移動すること、及び/又はビューを別のビューと置き換えることによって、修正することができる。いくつかの実施形態では、ビューの置き換えは、例えば、デバイスのユーザによって知覚されるように、CSR環境における2つの位置間のユーザのテレポーテーションを構成する。
いくつかの実施例では、ビューを修正することは、ビューに関連付けられたユーザインタフェース要素を修正することを含む。例として、ユーザインタフェース要素を拡大、縮小、又は移動(例えば、変位)することは、ユーザインタフェース要素によって示されるビューを、対応する方法でそれぞれ、拡大、縮小、又は移動することであってもよい。
いくつかの実施形態では、ビューは、例えば、ユーザから受信したユーザインタフェース要素の選択を表す入力に応じて修正される。そのような入力を提供することにより、ユーザは、CSR環境を探索するために、ユーザインタフェース要素と対話することができる。いくつかの実施形態では、入力は、ハンドジェスチャ入力、周辺デバイス入力(例えば、キーボード入力、マウス入力)、音声入力、視線入力、(例えば、1つ以上の加速度計によって検出された)動き入力、又はこれらの任意の組み合わせである。いくつかの実施形態では、デバイス200のディスプレイはタッチ感知式であり、入力はタッチ入力である。いくつかの実施形態では、入力は、デバイス200に向かう、及び/又はデバイス200から離れるオブジェクト(例えば、ユーザの手、外部電子デバイス)の動きを表し、デバイス200は、入力がそのような動きを表すと判定する。いくつかの実施形態では、デバイス200は、そのような動きの大きさ(例えば、距離、速度、加速度)を判定する。
いくつかの実施形態では、ビューのサイズを増大させることができる。例えば、図2A及び図2Bを参照すると、ユーザインタフェース要素204は、例えば、ユーザインタフェース要素204のサイズを増大させる要求を示すユーザ入力に応じて、拡大されてもよい。いくつかの実施形態では、ユーザインタフェース要素204は、デバイス200へ向かうオブジェクトの動きの大きさに従って比例的に拡大する。例えば、デバイス200に向かう比較的短い距離のオブジェクトの動きは、ユーザインタフェース要素204の比較的小さい拡大を引き起こし得る(図2B)一方で、デバイス200に向かう比較的大きな距離のオブジェクトの動きは、ユーザインタフェース要素204の比較的大きな拡大を引き起こし得る(図2F)。
ユーザインタフェース要素204を拡大ながら、ビュー206も拡大することができる(例えば、比例的に拡大する)。ユーザインタフェース要素及びビューのサイズは、少なくともいくつかの実施例では、ユーザインタフェース要素及びビューの表示されたサイズを指すことが理解されるであろう。したがって、より大きなユーザインタフェース要素を提供することによって、ユーザに、別のCSR位置(例えば、目的地位置)のより大きなビューを提供する。いくつかの実施形態では、ユーザインタフェース要素を拡大することにより、ビューの表示を拡大するが、ビューは変更しない。むしろ、ビューのより大きな部分が、拡大されたユーザインタフェース要素内に表示される。例えば、図2Bに示すように、目的地ビュー206は、拡大されたユーザインタフェース要素204内に表示される。図2Bのビュー206は、図2Aに示すビュー206の少なくとも一部分を含む。特に、ビュー206は、ここで花208を含み、(以前は図2Aのビュー206にはいなかった)猫210を更に含む。
いくつかの実施形態では、ビューのサイズを減少させることができる。例えば、図2B及び図2Cを参照すると、図2Bのユーザインタフェース要素204は、例えば、ユーザインタフェース要素204のサイズを減少させる要求を示すユーザ入力に応じて、縮小されてもよい。いくつかの実施形態では、ユーザインタフェース要素204は、デバイス200から離れるオブジェクトの動きの大きさに従って比例的に縮小される。したがって、より小さいユーザインタフェース要素を提供することによって、ユーザに、別のCSR位置のより小さいビューを提供する。いくつかの実施形態では、ユーザインタフェース要素を縮小することにより、ビューの表示を縮小するが、ビューは変更しない。むしろ、ビューのより小さい部分が、縮小されたユーザインタフェース要素内に表示され得る。例えば、ビュー206は、図2Cの縮小したユーザインタフェース要素204内に表示される。図2Cのビュー206は、図2Bのビュー206の少なくとも一部分を含む。特に、ビュー206は、花208を含む。
いくつかの実施形態では、ビューの表示を修正することは、方向を判定することを含む。例えば、第2の方向(例えば、左向きの移動方向)は、デバイス200によって判定される。ユーザインタフェース要素204の表示は、第2の方向から判定された第2の視点からの目的地位置を示すように修正される。いくつかの実施形態では、第2の視点は、現在の視点(例えば、図2A及び図2Bのビュー202の第1の視点)とは異なる。例えば、図2B及び図2Dに示すように、図2Bのユーザインタフェース要素204の表示は、図2Dのビュー206内の(例えば、左向きの移動方向に対応する)第2の視点からのバックヤード位置を示すように修正される。
いくつかの実施形態では、目的地位置は第2の視点から(例えば、ユーザインタフェース要素204内に)示されているが、現在位置を示す現在ビューは、第1の視点から表示され続ける。例えば、バックヤード位置が第2の視点から示されている間に(例えば、図2Dのビュー206)、リビングルーム位置の現在ビューは、第1の視点から表示され続ける(例えば、図2Bのビュー202)。
いくつかの実施形態では、ユーザインタフェース要素204の表示を修正して第2の視点からの目的地位置を示している間に、現在ビューが修正される。例えば、現在ビューは、第3の視点からの(例えば、第2の方向を使用して判定される)現在位置を示すように修正される。例えば、図2B及び図2Dを参照すると、ユーザインタフェース要素204の表示が図2Bから図2Dに修正されている間に、ビュー202は、図2Bから(第3の視点からのリビングルーム位置を示す)図2Dに修正される。
いくつかの実施形態では、ユーザインタフェース要素の位置(例えば、デバイス202のディスプレイ上の位置)は、1つ以上のビューが修正されている間、一定のままである。具体的には、いくつかの実施形態では、ユーザインタフェース要素204は、電子デバイス200の複数の画素を使用して表示される。例えば、第1の視点からの現在位置を示す図2Bのユーザインタフェース要素204は、複数の画素を使用して表示される。現在ビュー(例えば、図2Bのビュー202)が修正されて(例えば、図2Dのビュー202に修正されて)第3の視点からの現在位置を示している間に、ユーザインタフェース要素204は、複数の画素を使用して表示され続ける。例えば、図2B及び図2Dによって示すように、ユーザインタフェース要素204の位置は、変化しない。
いくつかの実施例では、ユーザインタフェース要素の現在ビュー及びコンテンツ(例えば、表示されたコンテンツ)は両方とも、判定方向に基づいてパンニングされる。いくつかの実施例では、そのようなパンニングは、ユーザインタフェース要素の表示を修正(例えば、拡大)している間に生じる。例えば、図2A及び図2Dに示すように、デバイス200は、図2Dのビュー202及び206に対応する第2の方向を判定する。図2Aの現在ビュー202が(例えば、拡大しているユーザインタフェース要素204を含む)図2Dのビュー202を表示するように修正されている間に、図2Aの現在ビュー202及びユーザインタフェース要素204のコンテンツの両方は、判定方向に基づいてパンニングされて図2Dのビュー202及び206を表示する。このようにして、現在ビュー及びユーザインタフェース要素のコンテンツを、変更している方向と一致するように修正(例えば、同時に修正)することができる。そのような修正により、CSR環境を探索する際のユーザの快適性を改善することができる。
いくつかの実施形態では、ユーザインタフェース要素は、CSR環境において変位(例えば、移動)されてもよい。ユーザインタフェース要素の変位は、ユーザインタフェース要素が表示されているビューに対するユーザインタフェース要素の表示の変位を指すことが理解されるであろう。したがって、いくつかの実施形態では、ユーザインタフェース要素は変位されてもよいが、ディスプレイ上の同じ又は異なる位置に留まる(例えば、同じ又は異なる複数の画素を使用して表示される)。例えば、図2C及び図2Dを参照すると、ユーザインタフェース要素204は、例えば、ユーザインタフェース要素を左に移動させる要求を示すユーザ入力に応じて、左に移動させることができる。移動したユーザインタフェース要素204は、第2の方向を使用して判定された第2の視点からの目的地位置を示す(例えば、図2Dのビュー206)。したがって、ユーザインタフェース要素を移動させることによって、ユーザは、目的地位置を見回す(例えば、ビュー206によって示される第2のバックヤード位置の異なる部分を見る)ことができる。いくつかの実施形態では、ユーザインタフェース要素を変位させることは、ビューを変更しない。むしろ、ビューの異なる部分が、変位されたユーザインタフェース要素内に表示され得る。例えば、図2Dに示すように、左向きに移動したユーザインタフェース要素204は、目的地のバックヤード位置を示すビュー206を表示する。ビュー206は、猫210の左側の木212を含む。ビュー206は、変位の結果として、花208又は猫210を含まない。
上述したように、いくつかの実施形態では、ユーザインタフェース要素の変位により、ユーザインタフェース要素が以前に表示されたビューの同時変位を引き起こす。いくつかの実施形態では、これは、(例えば、ユーザの視野を表す)ユーザの方向が、移動したユーザインタフェース要素に追従するために、ユーザインタフェース要素が以前に表示されたビューが、移動方向に対応するように修正されることによる。他の実施形態では、これは、ユーザインタフェース要素がユーザの移動方向に追従する(例えば、ユーザがユーザインタフェース要素を移動させるように要求する入力を提供する)ために、ユーザインタフェース要素が以前に表示されたビューが、移動方向に対応するように同様に修正されることによる。例えば、図2C及び図2Dに示すように、ビュー202は、左向きに移動したユーザインタフェース要素204に対応する左向きの移動方向に対応するように修正される。例えば、図2Dのビュー202は椅子214の全体を含むが、図2Cのビュー202は椅子214の一部分のみを含む。
図2Dでは、図2Cのビュー202によって示される位置からユーザが移動していないことを理解されたい。むしろ、説明したように、ユーザの方向が変化した(例えば、ユーザが自分の頭部を回転させた、及び/又は自分の眼を移動させた)ため、図202及び206は、図2Dの移動方向に対応するように修正される。しかしながら、いくつかの実施形態では、ユーザはCSR環境内で移動し、現在ビュー、及びユーザインタフェース要素内に示される目的地ビューは、対応する方法で同時に修正される。例えば、ユーザがビュー202によって示される現在位置から前方に移動する場合、ビュー202及び206は、椅子214及び木212がユーザにより近くに見えるように修正される。
説明したように、ユーザインタフェース要素の動きを提供することにより、現在位置にいるユーザが目的地位置で見回すことができる。特に、ユーザインタフェース要素204が移動すると、移動したユーザインタフェース要素204に対応する移動方向が判定され、ユーザインタフェース要素204によって表示される目的地ビュー206が移動方向に対応するように更新される。いくつかの実施形態では、ユーザインタフェース要素が以前に表示されたビュー(例えば、移動前のユーザインタフェース要素204を含む現在ビュー202)は、移動方向に対応するように同時に修正される。したがって、ユーザが見回すと、現在ビュー、及び目的地位置を示すユーザインタフェース要素のコンテンツは、ユーザの変化する方向に従って同期される(例えば、パンニングされる)(図2C及び図2D)。これにより、CSR環境を探索するためのシームレスで自然なユーザインタフェースを作成することができる。
いくつかの実施形態では、現在ビューは、目的地ビューと置き換えられる。いくつかの実施形態では、デバイス200に向かうオブジェクトの動きが閾値距離を超えているとデバイス200が判定したことに応じて、現在ビューが目的地ビューと置き換えられる。いくつかの実施形態では、目的地ビューは、現在ビュー内のユーザインタフェース要素によって示された目的地ビューの一部分を含む。例えば、図2E~図2Hを参照すると、現在ビュー202は、目的地ビュー206と置き換えられてもよい。図示するように、そのような交換により、CSR環境において現在位置と目的地位置との間でユーザをテレポートする。
いくつかの実施形態では、テレポーテーションは徐々に生じる。例えば、図2E~図2Hに示すように、ユーザインタフェース要素204は、ビュー206がビュー202と置き換わるまで拡大する。図2Hのビュー206は、ユーザインタフェース要素204をもはや含まず、したがって、ユーザは、現在のリビングルーム位置から目的地のバックヤード位置にテレポートしている。
いくつかの実施形態では、テレポーテーションは、実質的に瞬時に(例えば、ユーザによって瞬間的に知覚されるように)生じる。例えば、いくつかの実施形態では、図2Eのビュー202は、ユーザインタフェース要素204の拡大を表示することなく(例えば、図2F及び図2Gに示すビューを表示することなく)、図2Hのビュー206と置き換えられる。
いくつかの実施形態では、現在ビューが目的地ビューを表示するように修正されている間に、2つのビューは互いに対して維持される。例えば、ビュー202(図2E)は拡大されたユーザインタフェース要素204(図2F)内にビュー206を表示するように修正されているときに、ビュー202とビュー206との間には相対的な動きがないため、ビューは互いに対して静止している。例えば、椅子214も木212も、ユーザに向かって又はそこから離れて移動していない。また、木212は、椅子214よりも近くに又はそこから遠くに移動していない。いくつかの実施形態では、ビュー内の静止していない仮想オブジェクト(例えば、猫210)が他のビュー内のオブジェクト(例えば、椅子214)に対して移動して、修正中の両方の位置のライブビューをユーザに提供するために、上記の説明は、2つのビュー間の静止した仮想オブジェクトの相対的な動きにフォーカスしている。いくつかの実施形態では、両方のビューにおける全ての(例えば、静止している又は静止していない)仮想オブジェクトの動きは、修正中に停止する。
このようにしてユーザのテレポーテーションを提供することにより、ユーザの快適性を改善することができる。時には、物理的環境での対応するユーザの動きなしに(例えば、ユーザは自分の物理的環境内で前後に移動していない)、仮想環境における知覚される動きにより(例えば、仮想環境のビューがユーザに向かって近づいたり、又はユーザから遠ざかったりする)、ユーザの感覚的な不快感を引き起こす。上述の技術により、現在ビューを修正して目的地ビューを表示している間に、現在ビュー及び目的地ビューを互いに対して維持することにより、ユーザは、対応する物理的動きがない仮想環境内でそのような動きを知覚しないため、CSR環境内の位置間をテレポートする際のユーザの快適性を改善する。したがって、本明細書に記載されるシステム及び技術は、CSR環境を探索するためのシームレスで自然なインタフェースを提供するだけでなく、CSRシステムの有用性を改善することもできる。
ここで図2Hを参照すると、ユーザはここで、図2E~図2Hを参照して説明したように、リビングルーム位置からバックヤード位置にテレポートする。いくつかの実施形態では、現在位置から目的地位置にテレポートした後、ユーザは、元の(例えば、現在の)位置にテレポートして戻る。いくつかの実施形態では、ユーザは、元の場所を示している表示されたユーザインタフェース要素と対話することによって、元の位置にテレポートして戻る。例えば、図2Hに示すように、ユーザインタフェース要素216は、リビングルーム位置の一部分のビュー202を示す。ビュー202は、リビングルーム位置のユーザの以前のビューの一部分を含む(例えば、ビュー202は椅子214を含む)。ユーザインタフェース要素216と対話することにより、ユーザは、上述の技術のいずれかに従って、リビングルーム位置にテレポートする(及び/又は、ビュー206を修正する)ことができる。
ここで図3A~図3Bを参照すると、複数のユーザがそれぞれの他のCSR環境間でテレポートすることを可能にする例示的な技術が説明されている。
図3Aは、デバイス300a上に表示された現在のCSR環境(例えば、バックヤード)の例示的なビュー302を示す。いくつかの実施形態では、デバイス300aは、上述のデバイス200を実装するために使用される。デバイス300aは、現在のCSR環境内に存在しているとみなされる第1のユーザに関連付けられている。したがって、第1のユーザは、第1の(例えば、現在の)CSR環境のビュー302(例えば、視野)を提供する。ビュー302は、第2のCSR環境(例えば、アヒル池)のビュー306(例えば、埋め込みビュー)を表示するユーザインタフェース要素304を含む。
いくつかの実施形態では、表示されたビューに対応する方向(例えば、ビューが表示されている視点に対応する方向)は、ユーザインタフェース要素内に表示されたビューに対応する方向ではない。例えば、図3Aを参照すると、ビュー302に対応する方向は、ビュー306に対応する方向ではない。ビュー306に対応する方向は、固定されてもよく、又は別のユーザに対応してもよい。例えば、ビュー302に対応する方向は、第1のユーザに対応し、ビュー306に対応する方向は、第2のCSR環境内に位置する第2のユーザに対応する。したがって、ビュー306は、いくつかの実施例では、第2のユーザのビューの一部分を表す。第2のユーザの(第2のユーザの方向に対応する視点からの)完全ビュー306を図3Bに示す。完全ビュー306は、第2のユーザに関連付けられた外部電子デバイス300b上に表示される。いくつかの実施例では、デバイス300bは、上述のデバイス200を実装するために使用される。
いくつかの実施形態では、第1のユーザは、第2のユーザの場所にテレポートする。例えば、図3A及び図3Bを参照すると、第1のユーザは、(例えば、上述のように入力を提供することによって)ユーザインタフェース要素304と対話して、上述の技術のいずれかに従って、第1のユーザをバックヤード位置からアヒル池の位置にテレポートする。例えば、デバイス300a上に表示されたビュー302は、ビュー306と置き換えられる。したがって、上述の技術により、複数のユーザがユーザインタフェース要素を介して自分たちのそれぞれのビューを互いに共有することを可能にする。ユーザインタフェース要素と対話することにより、ユーザは、それぞれの他のCSR環境をプレビューし、及び/又はそれぞれの他のCSR環境間をテレポートすることができる。
いくつかの実施形態では、方向に対応するビューを表示するために、方向を外部デバイスから取得し、取得した方向を使用してビューを判定する。例えば、デバイス300aは、デバイス300bからビュー306に対応する方向を取得し、取得した方向を使用してビュー306を判定する。
ここで図4A~図4Eを参照すると、CSR環境を動き回るための例示的な技術が記載されている。
図4Aは、ユーザに関連付けられたデバイス400上に表示されたCSR環境の現在ビュー402を示す。いくつかの実施形態では、デバイス400は、上述のデバイス100a、100b、若しくは100cと同じであるか、又は同様である。現在ビューは、CSR環境の現在位置(例えば、ビーチ上の位置)を示す。ユーザは、CSR環境内に存在しているとみなされ、したがって、CSR環境の現在ビュー402が提供される。ビュー402は、ユーザインタフェース要素404を含む。ユーザインタフェース要素404は、CSR環境の目的地位置を示す。例えば、ユーザインタフェース要素は、現在位置から近い距離の(例えば、前の)目的地位置を示す、ビュー406を表示する。
いくつかの実施形態では、ユーザインタフェース要素404内に(例えば、ビュー406として)示された目的地位置が、より大きなスケールで表示される。例えば、ビュー406として表示された目的地位置は、現在ビュー(例えば、ビュー402)内の現在位置の表示に対してより大きなスケールで表示される。例えば、ビュー406内のヒトデ408は、ビュー402内の貝殻の表示に対してより大きなスケールで表示される。
いくつかの実施形態では、ユーザインタフェース要素404内に表示されるコンテンツのスケール(例えば、倍率スケール)は、視線深度を使用して判定される。例えば、デバイス400は、ビューに対応する方向を判定し、方向に対応する視線深度を判定する。図4Aでは、ビュー406に対応する判定された視線深度は、(例えば、ユーザが地面に向かってヒトデ408を見ているため)比較的浅い。いくつかの実施形態では、比較的浅い視線深度に基づいて、デバイス400は、ユーザインタフェース要素404内に表示されるコンテンツに対して比較的小さい倍率スケールを判定する。いくつかの実施形態では、比較的深い視線深度に基づいて、デバイス400は、ユーザインタフェース要素404内に表示されるコンテンツに対して比較的大きな倍率スケールを判定する。例えば、図4Cを参照すると、ビュー406に対応する視線深度が比較的深く(例えば、ユーザが水平線上のボート412を見ているため)、したがって、デバイス400は、図4Cのビュー406に対して比較的大きな倍率スケールを判定する。したがって、いくつかの実施形態では、ユーザインタフェース要素404内に表示されるコンテンツのスケールは、視線深度の増大に比例して増大する。いくつかの実施形態では、ユーザインタフェース要素404内に表示されるコンテンツのスケールは、視線深度の増大に比例して減少する。
いくつかの実施形態では、ユーザインタフェース要素404内に表示されるコンテンツのスケール(例えば、倍率スケール)は、コンテンツ及び現在位置によって表される1つ以上の仮想オブジェクト間の距離に基づく。例えば、図4A及び図4Cを参照すると、図4Aと図4Cとの間のビュー406における倍率の差は、現在位置とヒトデ408との間の距離が現在位置とボート412との間の距離よりも短いことによるものである。これにより、ユーザから更に離れた仮想オブジェクトを、ユーザにより近い仮想オブジェクトと比較してより大きくすることが可能になる。
図4Aでは、ユーザは、CSR環境内の現在位置にあり、第1の判定方向を有する。したがって、ビュー402は、第1の判定方向に対応する第1の視点からのCSR環境の現在位置を示す。いくつかの実施形態では、デバイス400は、第1の判定方向を使用して第2の視点を判定し、第2の視点からのビュー406を表示する。したがって、いくつかの実施形態では、ビュー406は、ユーザが目的地位置にあり、第1の判定方向を有する場合に、ユーザに表示され得るものの一部分を表す。
説明したように、ビューを拡大すること、ビューを縮小すること、ビューを移動させること、及び/又はビューを別のビューと置き換えること(例えば、テレポートすること)によって、ビューを修正することができる。いくつかの実施形態では、そのような修正は、ビューに関連付けられたユーザインタフェース要素の選択を表す入力を受信したことに応じて生じる。以下で説明される図4A~図4Eに示すビューの表示を修正するための技術は、図2A~図2H及び図3A~図3Bに示すビューを修正するための上述した技術と同様である。
説明したように、いくつかの実施形態では、ビューを修正することは、ビューに関連付けられたユーザインタフェース要素を修正することを含み得る。いくつかの実施形態では、ユーザインタフェース要素が修正されている間に、ユーザインタフェース要素のコンテンツは、一定のスケールで表示される。例えば、図4Aのユーザインタフェース要素404が縮小又は拡大している間に、ユーザインタフェース要素404のコンテンツ(例えば、ヒトデ408)は、同じスケールで表示されたままである。
図4Bは、ビュー402の(図4A)例示的な修正を示す。特に、現在ビュー402は、例えば、ビュー402を置き換えることを要求するユーザ入力に応じて、ビュー402を図4Bの目的地ビュー406と置き換えることによって修正される。図示したように、いくつかの実施形態では、ユーザインタフェース要素404内に表示された目的地位置(例えば、図4Aのビュー406)及び図4Bの目的地ビュー406は、共通の判定方向から判定された視点から表示される。更に示すように、いくつかの実施形態では、図4Aのビュー406は、図4Bのビュー406と同じスケールである。したがって、図4Bは、ユーザが現在位置から目的地位置にテレポートしていることを示す(例えば、ユーザは、現在位置から短い距離をテレポートして、ヒトデ408及び貝殻410をより近くに見ている)。
図4Cは、ビュー402(図4A)の例示的な修正を示す。図4Cでは、ユーザインタフェース要素404及びユーザの方向は上向きに移動しているが、ユーザは現在位置から移動していない。図4Cでは、ユーザインタフェース要素404に示された目的地位置は、第3の視点から表示される。例えば、デバイス400は、第1の判定方向とは異なる第2の方向(例えば、上向きの移動方向)を判定し、判定された第2の方向を使用して第3の視点を判定する。したがって、ユーザインタフェース要素404は、第3の視点からの目的地位置を表示する。例えば、図4Cのビュー406は、ボート412を含む。
加えて、図4Cに示すように、現在ビュー(例えば、ビュー402)は、第2の方向を使用して判定された第4の視点からの現在位置を表示するように修正される。特に、ビュー402は、より多くの空を含むように修正されている。いくつかの実施形態では、ビュー402(及びビュー406)は、ユーザの方向が上向きに移動した(例えば、ユーザが見上げた、及び/又は自分の頭部を上向きに傾けた)ために修正されている。したがって、図4Cのビュー406は、ユーザが目的地位置にあり、上向きの移動方向を有する場合にユーザに表示され得るものの一部分を表す。
更に、図4Cに示すように、ビュー406のスケールは、図4Aから増大している。説明したように、いくつかの実施形態では、このスケールの差は、図4Aのビュー406が比較的浅い視線深度に対応する一方、図4Cのビュー406が比較的深い視線深度に対応することによるものである。したがって、いくつかの実施形態では、(更に離れた仮想オブジェクトに対応する)より拡大されたビューの選択を表す入力により、図4B及び図4Eに関してここで説明されるように、更なるテレポーテーションを引き起こす。
いくつかの実施形態では、図4Cのユーザインタフェース要素404と対話することにより、ユーザを、図4Aのユーザインタフェース要素404と対話するよりも、より遠くにテレポートする。特に、図4Aのユーザインタフェース要素404と対話することにより、ユーザを図4Bのビュー406によって示される目的地位置までの短い距離をテレポートして(図4B)、ヒトデ408及び貝殻410をより近くに見せることができる。対照的に、図4Cのユーザインタフェース要素404と対話することにより、ユーザを図4Eのビュー406によって示される目的地位置までの長い距離をテレポートして、ボート412をより近くに見せることができる。したがって、図4A及び図4Cは、ユーザインタフェース要素404を(例えば、見上げることによって)移動させて、ユーザからより遠くのオブジェクトを示すことにより、ユーザが現在位置からより遠くにテレポートするのを可能にすることを表す。
図4Dは、図4Cのビュー402の例示的な修正を示す。特に、図4Dのビュー402は、図4Cのビュー402に対応する方向とは異なる方向に対応する視点からの現在位置を示す。図4C~図4Dに示すように、ユーザの方向は上向きに移動し、図4Cのビュー402及び406は両方とも、上向きの移動方向に対応するように更新されている。いくつかの実施形態では、図4Cのビュー402が図4Dのビュー402に修正されている間に、ユーザインタフェース要素の(例えば、デバイス400のディスプレイ上の)位置は、一定のままである(404)。例えば、デバイス400のディスプレイの同じ画素が、図4Cと図4Dとの間のユーザインタフェース要素404を表示するために使用される。
いくつかの実施形態では、現在ビュー、及びユーザインタフェース要素のコンテンツは、判定方向に基づいてパンニングされる。例えば、図4Cのビュー402及び406は、図4Dのビュー402に対応する上向きの移動方向に基づいてパンニングされる。いくつかの実施形態では、そのようなパンニングは、図4Cのユーザインタフェース要素404の表示が拡大している(例えば、図4Cと図4Dとの間で、ユーザインタフェース要素404がその選択を表す入力を受信したことに応じて拡大している)間に生じる。
いくつかの実施形態では、ユーザインタフェース要素に関連付けられたインジケータが表示される。いくつかの実施形態では、インジケータは、ライン、2次元若しくは3次元形状、アイコン、又はこれらの任意の組み合わせを含む。いくつかの実施形態では、インジケータは、ユーザインタフェース要素に隣接して(例えば、その上、下、左/右などに)表示される。いくつかの実施形態では、インジケータは、ユーザインタフェース要素内に表示される。例えば、図4Aは、ユーザインタフェース要素の上方にライン(例えば、図4Aのライン414)が表示されていることを示す。
いくつかの実施形態では、インジケータは、寸法(例えば、長さ、幅、高さ、体積、面積、色)を有する。以下に説明するように、いくつかの実施形態では、インジケータの寸法(例えば、ライン414の長さ)は、ユーザの判定方向、視線深度、及び/又はユーザインタフェース要素内に表示されるビューのスケールに対応する。いくつかの実施形態では、インジケータの寸法は、ユーザの現在位置と、ユーザインタフェース要素によって示された目的地位置との間の距離を表す。したがって、インジケータは、仮想環境内でナビゲートするための有用な視覚的ガイドを提供することができる。
いくつかの実施形態では、インジケータの寸法は、判定された視線深度及び/又は判定方向に基づく。例えば、図4Aでは、ユーザの視線深度が比較的浅く、及び/又はユーザの方向が地面に向かっている(例えば、ユーザがビーチの砂を見下ろしている)ため、ライン414は比較的短い。対照的に、図4Cでは、ライン414は、ユーザの視線深度が比較的深く、及び/又はユーザの方向が水平線に向いている(例えば、ユーザが海及び空によって形成された水平線を覗き込んでいる)ため、比較的長い。
いくつかの実施形態では、インジケータの寸法は、ユーザインタフェース要素内に表示されたビューのスケールに基づく。例えば、図4Aでは、ビュー406のスケールが比較的小さいため、ライン414は比較的短い。対照的に、図4Cでは、ビュー406のスケールが比較的大きいため、ライン414は比較的長い。
いくつかの実施形態では、インジケータの寸法は、現在位置と目的地位置との間の距離に基づく。例えば、図4Aでは、ライン414の長さは、説明したように、現在位置と目的地位置(例えば、図4Bによって示される位置)との間の距離が比較的短いため、比較的短い。対照的に、図4Cでは、ライン414の長さは、説明したように、現在位置と目的地位置(例えば、図4Eによって示される位置)との間の距離が比較的大きいため、比較的長い。
いくつかの実施形態では、寸法の値(例えば、長さ、幅、高さ、又はこれらの任意の組み合わせの値)は最大値を有し、最大値は、現在位置と目的地位置との間の最大仮想距離に対応する。したがって、最大値は、CSR環境内で許容される最大テレポーテーション距離に対応する。最大テレポーテーション距離を有することにより、ユーザが水平線(又は空)を覗き込んで、事実上無限の距離をテレポートすることを防止する(すなわち、有限距離に離れて位置する仮想オブジェクトに関連付けられた目的地ポイントはない)。最大値(例えば、ラインの最大長)は、例えば、図4Cのライン414の長さによって示される。いくつかの実施形態では、ライン414の長さは、ユーザインタフェース要素内に表示される目的地位置のスケールを表し、最大ライン長は最大倍率に対応するので、図4Cのビュー406は最大スケールで表示されている。
図4Dは、寸法の最大値に対応する最大スケールを更に表す。特に、説明したように、図4Dは、ユーザの方向が上向きに移動したとデバイス400が判定したことに応じて、デバイス400上に表示されるビュー402を示す。ユーザの方向が上向きに移動している(及び/又はユーザの視線深度が増大している)ため、いくつかの実施形態では、図4Dのビュー406のスケールは、図4Cのビュー406のスケールに対して増大するべきである。しかしながら、いくつかの実施例では、図4Cのビュー406は最大限に拡大されているため、ビュー406の倍率は同じままである。同様に、ライン414の長さは、図4Cと図4Dとの間で同じままである。
ビュー406の倍率が図4Cと図4Dとの間で同じままであるため、ビュー406は、図4C及び図4Dにおいて同じ位置(すなわち、目的地位置)を示す。したがって、いくつかの実施形態では、図4C及び図4Dの両方のビュー406を表示するユーザインタフェース要素404と対話することにより、ユーザを同じ最大仮想距離にテレポートする。このようにして、最大テレポーテーション距離を2つの位置間に設定することにより、ユーザが事実上無限の距離にテレポートする(例えば、海及び空によって定義される水平線に無限にテレポートする)ことを防止する。上述したように、この最大テレポーテーション距離は、視覚的インジケータの寸法値によって示すことができる(例えば、ユーザが上向きで凝視してもライン長がもはや増大しない場合、最大テレポーテーション距離が設定されていることがユーザに示される)。
ここで図4Eを参照すると、ユーザはここで、ユーザインタフェース要素404との対話に応じて、CSR環境内の最大距離にテレポートしている。特に、図4Eは、例えば、ユーザが図4Dのユーザインタフェース要素404と対話したことに応じて、デバイス400上に表示されたビュー406を示す。図4Eのビュー406は、図4Dのビュー406の方向及びスケールに対応する。例えば、図4D及び図4Eは両方ともボート412を含み、ボート412は2つのビュー間で同じスケールを有する。説明したように、いくつかの実施形態では、ビュー402がビュー406を表示する(例えば、ユーザインタフェース要素404がビュー402内で拡大してビュー406をますます表示する)ように修正されている間に、ビュー402はビュー406に対して維持される。例えば、ビュー402が修正されている間に、ビュー406内のボート412は、ビュー402内の任意の静止した仮想オブジェクト(例えば、傘)に対して移動していない。説明したように、そのような2つのビューの維持により、CSR環境を動き回る際のユーザの快適性を改善することができる。
図2~図4に関して上述した実施形態は例示的なものであり、限定することを意図するものではないことを認識されたい。例えば、図2~図4の実施形態は1つ以上の仮想環境に関して説明されているが、これらの技術は、拡張現実又は複合現実のアプリケーションと同様に適用することができる。例えば、いくつかの実施形態では、表示されたビュー(例えば、202)は、(例えば、ビデオパススルーを使用して表示された)物理的位置を示し、表示されたビューは、仮想オブジェクトとしてユーザインタフェース要素(例えば、204)を含む。ユーザインタフェース要素は、仮想位置(例えば、206)を示すことができる。したがって、いくつかの実施形態では、ユーザは、ユーザインタフェース要素と対話して、ユーザを物理的環境から仮想環境にテレポートする。他の実施形態では、ユーザは、ユーザインタフェース要素と対話して、ユーザを仮想環境から物理的環境にテレポートする。例えば、いくつかの実施形態では、ビュー202は仮想位置を示し、ビュー206は物理的位置を示す。
ここで図5を参照すると、CSR環境を動き回るための例示的なプロセス500のフローチャートが示されている。いくつかの実施形態では、プロセス500は、ユーザデバイス(例えば、100a、100b、100c、200、300a、300b、又は400)を使用して実行される。ユーザデバイスは、例えば、ハンドヘルドモバイルデバイス、ヘッドマウントデバイス、又はヘッドアップデバイスである。他の実施形態では、プロセス500は、2つ以上の電子デバイス(例えば、デバイス100b及びデバイス100c)を使用して実行されることを認識されたい。これらの実施形態では、プロセス500の動作は、2つ以上のデバイス間で任意の方法で分散される。更に、ユーザデバイスのディスプレイは、透明又は不透明であってもよいことを理解されたい。プロセス500は、仮想現実、拡張現実、又は混合現実アプリケーションに適用でき、視覚的特徴、並びに音声、触覚などの不可視の特徴を含む効果に適用できることも理解されたい。プロセス500のブロックは、図5では特定の順序で示されているが、これらのブロックは他の順序で実行できることを理解されたい。更に、プロセス500の1つ以上のブロックは、任意選択的であり得、及び/又は追加のブロックを実行することができる。
ブロック502において、CSR環境の現在ビュー(例えば、図2Aのビュー202)が、(例えば、電子デバイスに)表示される。現在ビューは、第1の判定方向に対応する第1の視点からのCSR環境の現在位置を示す。いくつかの実施形態では、電子デバイスは、頭部対向センサを有するヘッドマウントディスプレイを含む。いくつかの実施形態では、視線を表す視線データは、頭部対向センサを使用して取得される。いくつかの実施形態では、第1の判定方向は、取得された視線データを使用して判定される。
ブロック504において、ユーザインタフェース要素(例えば、204)が表示される。ユーザインタフェース要素は、現在位置から見えない目的地位置を示す(例えば、ユーザインタフェース要素は図2Aのビュー206を表示する)。いくつかの実施形態では、ユーザインタフェース要素は球状である。いくつかの実施形態では、目的地位置を示すことは、ユーザインタフェース要素内に、目的地位置に位置する1つ以上の仮想オブジェクトの動きを表示することを含む。
ブロック506において、ユーザインタフェース要素の選択を表す入力を受信したことに応じて、現在ビューの表示は、目的地位置を示す目的地ビュー(例えば、図2Bのビュー206)を表示するように修正される。いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、ユーザインタフェース要素を拡大することを含む。いくつかの実施形態では、ユーザインタフェース要素の表示が拡大している間に、現在ビュー、及びユーザインタフェース要素のコンテンツは、判定方向に基づいてパンニングされる(例えば、ビュー202及び206が、図2Aと図2Dとの間でパンニングされる)。
いくつかの実施形態では、第1の判定方向は、第1のユーザに対応する方向であり、目的地ビューは、第1のユーザとは異なる第2のユーザに対応する、判定方向に対応する第4の視点からの目的地位置を示し、第2のユーザは目的地位置に位置している。
いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、受信された入力が電子デバイスに向かうオブジェクトの動きを表すかどうかを判定することを含む。いくつかの実施形態では、受信された入力が電子デバイスへ向かうオブジェクトの動きを表すと判定したことに応じて、ユーザインタフェース要素は、動きの大きさに従って比例的に拡大する。いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、オブジェクトの動きが閾値距離を超えているかどうかを判定することを含む。いくつかの実施形態では、オブジェクトの動きが閾値距離を超えていると判定したことに応じて、現在ビューの表示は、目的地ビューの表示と置き換えられる(例えば、図2Eのビュー202が、図2Hのビュー206によって置き換えられる)。
いくつかの実施形態では、現在ビューの表示を目的地ビューの表示と置き換えた後、第2のユーザインタフェース要素(例えば、214)が表示される。第2のユーザインタフェース要素は、現在位置を示す。いくつかの実施形態では、第2のユーザインタフェース要素の選択を表す入力を受信したことに応じて、目的地ビューの表示は、現在位置のビュー(例えば、図2Hのビュー202)を表示するように修正される。いくつかの実施形態では、目的地ビューの表示を修正して現在位置のビューを表示することは、目的地ビューの表示を現在位置のビューの表示と置き換えることを含む。
いくつかの実施形態では、ユーザインタフェース要素の選択を表す入力を受信する前に、第1の判定方向とは異なる第2の方向が判定される。いくつかの実施形態では、ユーザインタフェース要素の表示は、第2の方向を使用して判定された第2の視点からの目的地位置を示すように修正される(例えば、図2Bのビュー206が、図2Dのビュー206に修正される)。いくつかの実施形態では、ユーザインタフェース要素の表示を修正することは、ユーザインタフェース要素を変位させることを含み、変位されたユーザインタフェース要素は、第2の視点からの目的地位置を示す。いくつかの実施形態では、目的地位置はユーザインタフェース要素内の第2の視点から示されているが、第1の視点からのCSR環境の現在位置を示す現在ビュー(例えば、図2Bのビュー202)が表示され続ける。
いくつかの実施形態では、ユーザインタフェース要素の表示を修正して、第2の視点からの目的地位置を示している間に、現在ビューを修正して、第2の方向を使用して判定された第3の視点からのCSR環境の現在位置を示す(例えば、ビュー202が、図2Aと図2Dとの間で修正されている)。
いくつかの実施形態では、ユーザインタフェース要素を表示することは、電子デバイスのディスプレイの複数の画素を使用してユーザインタフェース要素を表示することを含む。いくつかの実施形態では、現在ビューを修正して第3の視点からのCSR環境の現在位置を示している間に、ユーザインタフェース要素は、現在ビューが第1の視点からのCSR環境の現在位置を示しているときに、ユーザインタフェース要素を表示するために使用される複数の画素を使用して表示され続ける(例えば、図2A(及び/又は図2B)のユーザインタフェース要素204を表示するために使用される画素は、図2Dのユーザインタフェース要素204を表示するためにも使用される)。
ここで図6を参照すると、CSR環境を動き回るための例示的なプロセス600のフローチャートが示されている。いくつかの実施形態では、プロセス600は、ユーザデバイス(例えば、100a、100b、100c、200、300a、300b、又は400)を使用して実行される。ユーザデバイスは、例えば、ハンドヘルドモバイルデバイス、ヘッドマウントデバイス、又はヘッドアップデバイスである。他の実施形態では、プロセス600は、2つ以上の電子デバイス(例えば、デバイス100b及び100c)を使用して実行されることを認識されたい。これらの実施形態では、プロセス600の動作は、2つ以上のデバイス間で任意の方法で分散される。更に、ユーザデバイスのディスプレイは、透明又は不透明であってもよいことを理解されたい。プロセス600は、仮想現実、拡張現実、又は混合現実アプリケーションに適用でき、視覚的特徴、並びに音声、触覚などの不可視の特徴を含む効果に適用できることも理解されたい。プロセス600のブロックは、図6では特定の順序で示されているが、これらのブロックは他の順序で実行できることを理解されたい。更に、プロセス600の1つ以上のブロックは、任意選択的であり得、及び/又は追加のブロックを実行することができる。加えて、図5に関して上述した実施形態のいずれも、プロセス600に含めることができる。同様に、図6に関して以下に説明する実施形態のいずれも、プロセス500に含めることができる。
ブロック602において、CSR環境の現在ビュー(例えば、図4A又は図4Cのビュー402)が表示される。現在ビューは、第1の判定方向に対応する第1の視点からのCSR環境の現在位置を示す。いくつかの実施形態では、現在ビューは、電子デバイスによって表示される。いくつかの実施形態では、電子デバイスは、頭部対向センサを有するヘッドマウントディスプレイを含む。いくつかの実施形態では、視線を表す視線データは、頭部対向センサを使用して取得され、第1の判定方向は、取得された視線データを使用して判定される。
ブロック604において、ユーザインタフェース要素(例えば、404)が表示される。ユーザインタフェース要素は、CSR環境の目的地位置を示す。目的地位置は、ユーザインタフェース要素(例えば、図4Aのビュー406)内に表示されるときに、現在ビュー内の現在位置の表示に対してより大きなスケールで表示される。いくつかの実施形態では、第1の判定方向に関連付けられた第1の視線深度が判定され、ユーザインタフェース要素のコンテンツのより大きなスケールが、第1の判定された視線深度を使用して判定される。
いくつかの実施形態では、第1の判定方向に関連付けられた第2の視線深度が判定される。第2の視線深度は、第1の視線深度と同じであってもよく、又は異なっていてもよい。いくつかの実施形態では、ユーザインタフェース要素(例えば、414)に関連付けられたインジケータが表示され、インジケータは、判定された第2の視線深度に対応する寸法を有する。いくつかの実施形態では、ユーザインタフェース要素に関連付けられたインジケータが表示され、インジケータは、CSR環境における現在位置と目的地位置との間の距離を表す寸法を有する。いくつかの実施形態では、現在位置と目的地位置との間の距離を表す寸法の値は、現在位置と目的地位置との間の最大距離を表す最大値である。いくつかの実施形態では、ユーザインタフェース要素内の目的地位置の表示は、最大スケールで表示される。
ブロック606において、ユーザインタフェース要素の選択を表す入力を受信したことに応じて、現在ビューの表示は、CSR環境の目的地ビュー(例えば、図4B又は図4Dのビュー406)を表示するように修正され、目的地ビューは、ユーザインタフェース要素内に表示された目的地位置を示す。目的地位置は、目的地ビュー内に表示されるときに、ユーザインタフェース要素内の目的地位置の表示と同じスケールで表示される。
いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、ユーザインタフェース要素の表示を拡大することを含む。いくつかの実施形態では、ユーザインタフェース要素の表示を拡大している間に、現在ビュー、及びユーザインタフェース要素のコンテンツは、第1の判定方向とは異なる第4の方向に基づいてパンニングされる(例えば、ビュー402及び404が、図4Cと図4Dとの間でパンニングされる)。
いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、受信された入力が電子デバイスに向かうオブジェクトの動きを表すかどうかを判定することを含む。いくつかの実施形態では、受信された入力が電子デバイスへ向かうオブジェクトの動きを表すと判定したことに応じて、ユーザインタフェース要素は、オブジェクトの動きの大きさに従って比例的に拡大する。いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、オブジェクトの動きが閾値距離を超えているかどうかを判定することを含む。いくつかの実施形態では、オブジェクトの動きが閾値距離を超えていると判定したことに応じて、現在ビューの表示は、目的地ビューの表示と置き換えられる(例えば、図4Aのビュー402が、図4Bのビュー406によって置き換えられる)。
いくつかの実施形態では、現在ビューの表示を修正して目的地ビューを表示することは、ユーザインタフェース要素の表示を修正することを含む。ユーザインタフェース要素のコンテンツは、ユーザインタフェース要素の表示が修正されているときに、より大きなスケールで表示される。
いくつかの実施形態では、ユーザインタフェース要素内及び目的地ビュー内に表示された目的地位置は、共通の判定方向から判定された視点からのものである(例えば、図4A及び図4Bのビュー406は、共通の方向から判定された視点からのものである)。いくつかの実施形態では、第2の視点は、第1の判定方向を使用して判定される。いくつかの実施形態では、ユーザインタフェース要素を表示することは、ユーザインタフェース要素内に、第2の視点からの目的地位置を表示することを含む(例えば、図4Aのビュー406は、第2の視点からのものである)。
いくつかの実施形態では、第1の判定方向とは異なる第2の方向が判定され、判定された第2の方向を使用して第3の視点が判定される。いくつかの実施形態では、ユーザインタフェース要素を表示することは、ユーザインタフェース要素内に、第3の視点からのCSR環境の目的地位置を表示すること含む(例えば、図4Dのビュー406が第3の視点から表示される)。いくつかの実施形態では、現在ビューの表示は、判定された第2の方向を使用して判定された第4の視点からのCSR環境の現在位置を表示するように修正される(例えば、図4C及び図4Dの間でビュー402が修正される)。
いくつかの実施形態では、ユーザインタフェース要素を表示することは、電子デバイスのディスプレイの複数の画素にユーザインタフェース要素を表示することを含む。いくつかの実施形態では、現在ビューの表示を修正して(例えば、図4Cと図4Dとの間でビュー402が修正される)第4の視点からのCSR環境の現在位置を表示している間に、ユーザインタフェース要素は、現在ビューが第1の視点からのCSR環境の現在位置を示すときに、ユーザインタフェース要素を表示するために使用される複数の画素を使用して表示され続ける。
上述の方法500及び/又は600の機能を実行するための実行可能命令は、任意選択的に、一時的若しくは非一時的コンピュータ可読記憶媒体(例えば、メモリ(単数又は複数)106)、又は1つ以上のプロセッサ(例えば、プロセッサ(単数又は複数)102)によって実行されるように構成されている他のコンピュータプログラム製品に含まれる。
上述の技術の態様は、CSR環境を動き回る際のユーザエクスペリエンスを向上させるために、個人情報を収集及び使用する可能性を企図している。そのような情報は、ユーザのインフォームドコンセントと共に収集されるべきである。
そのような個人情報を取り扱うエンティティは、(1)業界又は政府の要件を満たす又は超えると一般に認識され、(2)ユーザがアクセス可能であり、(3)必要に応じて更新され、(4)適用可能な法令に準拠している、十分に確立されたプライバシー慣行及び/又はプライバシーポリシー(例えば、サードパーティによって証明されたもの)に準拠することになる。そのような個人情報を取り扱うエンティティは、それらの合法的使用外で共有又は販売することなく、妥当かつ正当な使用のための情報を使用することになる。
しかしながら、ユーザは、個人情報のアクセス/使用を選択的に制限してもよい。例えば、ユーザは、個人情報の収集をオプトイン又はオプトアウトすることができる。加えて、上述の技術の態様は個人情報の使用を企図しているが、個人情報を必要とすることなく又は使用することなく、技術態様を実現することができる。例えば、場所情報、ユーザ名、及び/又はアドレスが収集される場合、それらは、個人を一意に識別しないように一般化及び/又はマスクすることができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最も良く説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。

Claims (17)

  1. コンピュータ模擬現実(CSR)環境を動き回るための方法であって、前記方法は、
    1つ以上のプロセッサ及びメモリを備えた電子デバイスにおいて、
    前記CSR環境の現在ビューを表示することであって、前記現在ビューが、第1の判定方向に対応する第1の視点からの前記CSR環境の現在位置を示す、ことと、
    前記CSR環境の前記現在ビューを表示する間に前記現在ビュー内のユーザインタフェース要素を表示することであって、前記ユーザインタフェース要素が、前記現在位置から見えない目的地位置を示す、ことと、
    前記ユーザインタフェース要素の選択を表す入力を受信する前に、
    前記第1の判定方向とは異なる第2の方向を判定することと、
    前記ユーザインタフェース要素の前記表示を修正して、前記第2の方向を使用して判定された第2の視点からの前記目的地位置を示すことと、
    前記ユーザインタフェース要素の選択を表す前記入力を受信したことに応じて、前記現在位置のビューの表示を修正して前記目的地位置を示す目的地ビューを表示することと、を含み、
    前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、前記ユーザインタフェース要素を拡大することを含む、方法。
  2. 前記ユーザインタフェース要素の前記表示を修正することが、前記ユーザインタフェース要素を変位させることを含み、前記変位されたユーザインタフェース要素が、前記第2の視点からの前記目的地位置を示す、請求項に記載の方法。
  3. 前記ユーザインタフェース要素の前記表示を修正して、前記第2の視点からの前記目的地位置を示している間に、
    前記現在ビューを修正して、前記第2の方向を使用して判定された第3の視点からの前記CSR環境の前記現在位置を示すこと、
    を更に含む、請求項1又は2に記載の方法。
  4. 前記現在ビュー内の前記ユーザインタフェース要素を表示することが、前記電子デバイスのディスプレイの複数の画素を使用して前記ユーザインタフェース要素を表示することを含み、前記方法は、
    前記現在ビューを修正して、前記第3の視点からの前記CSR環境の前記現在位置を示している間に、
    前記現在ビューが前記第1の視点からの前記CSR環境の前記現在位置を示すときに、前記ユーザインタフェース要素を表示するために使用される前記複数の画素を使用して、前記ユーザインタフェース要素を表示し続けること、
    を更に含む、請求項に記載の方法。
  5. 前記ユーザインタフェース要素内に、前記第2の視点からの前記目的地位置を示している間に、
    前記第1の視点からの前記CSR環境の前記現在位置を示す前記現在ビューを表示し続けること、
    を更に含む、請求項に記載の方法。
  6. 前記ユーザインタフェース要素の前記表示を拡大している間に、判定方向に基づいて、前記現在位置の前記ビュー、及び前記ユーザインタフェース要素のコンテンツをパンニングすること、
    を更に含む、請求項1からのいずれか一項に記載の方法。
  7. 前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、
    前記受信された入力が前記電子デバイスへ向かうオブジェクトの動きを表すかどうかを判定することと、
    前記受信された入力が前記電子デバイスに向かう前記オブジェクトの動きを表すと判定したことに応じて、前記動きの大きさに従って前記ユーザインタフェース要素を比例的に拡大することと、
    を含む、請求項1からのいずれか一項に記載の方法。
  8. 前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、
    前記オブジェクトの前記動きが閾値距離を超えているかどうかを判定することと、
    前記オブジェクトの前記動きが前記閾値距離を超えていると判定したことに応じて、前記現在位置の前記ビューの前記表示を前記目的地ビューの表示と置き換えることと、
    を含む、請求項に記載の方法。
  9. 前記現在位置の前記ビューの前記表示を前記目的地ビューの前記表示と置き換えた後に、
    第2のユーザインタフェース要素を表示することであって、前記第2のユーザインタフェース要素が、前記現在位置を示す、ことと、
    前記第2のユーザインタフェース要素の選択を表す入力を受信したことに応じて、前記目的地ビューの前記表示を修正して前記現在位置の第2のビューを表示することと、を更に含む、請求項に記載の方法。
  10. 前記目的地ビューの前記表示を修正して前記現在位置の前記第2のビューを表示することが、
    前記目的地ビューの前記表示を前記現在位置の前記第2のビューの表示と置き換えること、
    を含む、請求項に記載の方法。
  11. 前記電子デバイスがヘッドマウントディスプレイと頭部対向センサとを含み、前記方法が、
    前記頭部対向センサを使用して、視線を表す視線データを取得することと、
    前記取得された視線データを使用して、前記第1の判定方向を判定することと、
    を更に含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記目的地位置を示すことが、前記ユーザインタフェース要素内に、前記目的地位置に位置する1つ以上の仮想オブジェクトの動きを表示することを含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記ユーザインタフェース要素が球状である、請求項1から12のいずれか一項に記載の方法。
  14. 前記第1の判定方向が、第1のユーザに対応する方向であり、前記目的地ビューが、前記第1のユーザとは異なる第2のユーザに対応する判定方向に対応する第4の視点からの前記目的地位置を示し、前記第2のユーザが前記目的地位置に位置している、請求項1から13のいずれか一項に記載の方法。
  15. コンピュータプログラムであって、コンピュータが、請求項1から14のいずれか一項に記載の方法を実行することを引き起こす、コンピュータプログラム。
  16. 電子デバイスであって、
    請求項15に記載のコンピュータプログラムを記憶するメモリ、及び
    前記メモリ内に保存された前記コンピュータプログラムを実行する能力のある、1つ以上のプロセッサを備える、電子デバイス。
  17. 請求項1から14のいずれか一項に記載の方法を実行するための手段を備える、電子デバイス。
JP2020560953A 2018-05-02 2019-05-01 環境の動き回り Active JP7155291B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862666015P 2018-05-02 2018-05-02
US62/666,015 2018-05-02
US201962831012P 2019-04-08 2019-04-08
US62/831,012 2019-04-08
PCT/US2019/030120 WO2019213200A1 (en) 2018-05-02 2019-05-01 Moving about a computer simulated reality setting

Publications (2)

Publication Number Publication Date
JP2021520573A JP2021520573A (ja) 2021-08-19
JP7155291B2 true JP7155291B2 (ja) 2022-10-18

Family

ID=66530485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560953A Active JP7155291B2 (ja) 2018-05-02 2019-05-01 環境の動き回り

Country Status (6)

Country Link
US (2) US11320958B2 (ja)
EP (1) EP3788464B1 (ja)
JP (1) JP7155291B2 (ja)
KR (1) KR102546535B1 (ja)
CN (1) CN112292657B (ja)
WO (1) WO2019213200A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320958B2 (en) 2018-05-02 2022-05-03 Apple Inc. Moving about a setting
KR102508286B1 (ko) * 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
DE102020104415A1 (de) * 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung
JP6989199B1 (ja) 2021-10-06 2022-01-05 クラスター株式会社 情報処理装置
US20230419619A1 (en) * 2022-06-27 2023-12-28 Kenneth Perlin Implementing Shared Mixed Reality
US11995232B1 (en) 2022-12-09 2024-05-28 Shopify Inc. Systems and methods for responsive user interface based on gaze depth

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250830A (ja) 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US20160350972A1 (en) 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media
JP2017084422A (ja) 2017-02-10 2017-05-18 株式会社リコー 装置、方法、およびプログラム
US20170160815A1 (en) 2015-12-03 2017-06-08 Google Inc. Teleportation in an augmented and/or virtual reality environment

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119598A1 (en) 2004-12-08 2006-06-08 Evil Twin Studios, Inc. System and method for communicating travel progress within a virtual environment
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
US7889212B2 (en) 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US8560224B2 (en) * 2008-04-14 2013-10-15 Alpine Electronics, Inc. Method and apparatus for establishing optimum route to intersection destination for navigation system
US20090286598A1 (en) 2008-05-16 2009-11-19 International Business Machines Corporation System And Method Of Deterministic Teleportation Within A Virtual World
JP5171386B2 (ja) * 2008-05-19 2013-03-27 キヤノン株式会社 コンテンツ管理装置、コンテンツ管理方法、プログラム及び記録媒体
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
US8407613B2 (en) * 2009-07-13 2013-03-26 Apple Inc. Directory management on a portable multifunction device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
US10176633B2 (en) * 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
JP6060536B2 (ja) * 2012-06-27 2017-01-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102005315B1 (ko) * 2012-07-23 2019-07-30 삼성전자 주식회사 클라우드 서비스 지원 방법과 시스템 및 이를 지원하는 단말기
TWI611338B (zh) * 2012-10-09 2018-01-11 宏達國際電子股份有限公司 縮放螢幕畫面的方法、電子裝置及電腦程式產品
JP6378185B2 (ja) * 2013-09-03 2018-08-22 フェリカネットワークス株式会社 情報処理端末、及び情報処理方法
JP2015148991A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和***
US10365807B2 (en) * 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
WO2016144741A1 (en) 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US20170228931A1 (en) * 2016-02-08 2017-08-10 Google Inc. Limited field of view in virtual reality
CN108353151A (zh) * 2016-03-04 2018-07-31 华为技术有限公司 目标设备的控制方法和装置
US10567739B2 (en) 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
EP3542249A1 (en) 2016-11-15 2019-09-25 Google LLC Input controller stabilization techniques for virtual reality systems
KR20180099182A (ko) 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US20190188893A1 (en) * 2017-12-18 2019-06-20 Dataview Vr, Llc Simulated reality data representation system and method
US11320958B2 (en) 2018-05-02 2022-05-03 Apple Inc. Moving about a setting
DE102020104415A1 (de) 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250830A (ja) 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US20160350972A1 (en) 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media
US20170160815A1 (en) 2015-12-03 2017-06-08 Google Inc. Teleportation in an augmented and/or virtual reality environment
JP2017084422A (ja) 2017-02-10 2017-05-18 株式会社リコー 装置、方法、およびプログラム

Also Published As

Publication number Publication date
US20220179542A1 (en) 2022-06-09
KR102546535B1 (ko) 2023-06-23
CN112292657A (zh) 2021-01-29
EP3788464B1 (en) 2023-08-16
WO2019213200A1 (en) 2019-11-07
EP3788464A1 (en) 2021-03-10
US20210232288A1 (en) 2021-07-29
JP2021520573A (ja) 2021-08-19
US11714519B2 (en) 2023-08-01
CN112292657B (zh) 2024-07-02
KR20200138376A (ko) 2020-12-09
US11320958B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
JP7155291B2 (ja) 環境の動き回り
US11960641B2 (en) Application placement based on head position
JP6558839B2 (ja) 媒介現実
JP2020042802A (ja) 3次元コンテンツ内の場所に基づく仮想要素モダリティ
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
CN110633617B (zh) 使用语义分割的平面检测
US11314396B2 (en) Selecting a text input field using eye gaze
JP7081052B2 (ja) 模擬現実(sr)におけるデバイス共有及び対話性の表示
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US20220067966A1 (en) Localization and mapping using images from multiple devices
CN111602104A (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US11315215B2 (en) Movement within an environment
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
US11430198B1 (en) Method and device for orientation-based view switching
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
CN112987914A (zh) 用于内容放置的方法和设备
CN116583870A (zh) 用于多相机孔填充的方法和设备
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
CN112562088A (zh) 基于用户移动来呈现环境

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150