JP2022532864A - 環境に基づく通信データの提示 - Google Patents

環境に基づく通信データの提示 Download PDF

Info

Publication number
JP2022532864A
JP2022532864A JP2021564638A JP2021564638A JP2022532864A JP 2022532864 A JP2022532864 A JP 2022532864A JP 2021564638 A JP2021564638 A JP 2021564638A JP 2021564638 A JP2021564638 A JP 2021564638A JP 2022532864 A JP2022532864 A JP 2022532864A
Authority
JP
Japan
Prior art keywords
person
communication data
implementations
electronic device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564638A
Other languages
English (en)
Other versions
JP7397883B2 (ja
Inventor
ブルース エム ソマー
リーニッド ヴォーク
センテーノ ルイス ラファエル デリツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022532864A publication Critical patent/JP2022532864A/ja
Application granted granted Critical
Publication of JP7397883B2 publication Critical patent/JP7397883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本明細書に開示された様々な実装形態は、通信データを提示するためのデバイス、システム、及び方法を含む。様々な実装形態では、第１の人に関連付けられた第１のデバイスは、ディスプレイと、非一時的メモリと、ディスプレイ及び非一時的メモリに結合された１つ以上のプロセッサと、を含む。いくつかの実装形態では、方法は、第２の人に対応する第２のデバイスに関連付けられた通信データを取得することを含む。いくつかの実装形態では、方法は、第１のデバイスと第２のデバイスとが共有環境内にあるかどうかを判定することを含む。いくつかの実装形態では、方法は、第１のデバイスと第２のデバイスとが共有環境内にないと判定したことに応じて、第２のデバイスに関連付けられた通信データに基づいて、第２の人の表現を表示することを含む。

Description

（関連出願の相互参照）
本出願は、２０１９年５月３１日出願の米国特許仮出願第６２／８５５，１５５号の利益を主張し、その全体が参照により本明細書に組み込まれる。
本開示は、概して、環境に基づいて通信データを提示することに関する。
いくつかのデバイスは、強化現実（ＥＲ；enhanced reality）設定を生成し、提示することができる。一部のＥＲ設定は、物理的設定のシミュレートされた置換である仮想設定を含む。一部のＥＲ設定は、物理的設定の修正されたバージョンである拡張設定を含む。ＥＲ設定を提示するいくつかのデバイスとしては、スマートフォン、ヘッドマウントディスプレイ（ＨＭＤ；head-mountable display）、眼鏡、ヘッドアップディスプレイ（ＨＵＤ；heads-up display）、及び光学投影システムなどのモバイル通信デバイスが挙げられる。以前から利用可能な、ＥＲ設定を提示するデバイスのほとんどは、通信データを提示するのに有用ではない。
本開示は、当業者によって理解され得るように、いくつかの例示的な実装形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。
いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、例示的な動作環境の図である。 いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。 いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。 いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。 いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。 いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。 いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。 いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。 いくつかの実装形態に係る、通信データを提示するデバイスのブロック図である。
慣行により、図面に示される様々な特徴は縮尺どおりに描かれていない場合がある。したがって、様々な特徴部の寸法は明確化のために、任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を有することを示すために、同様の参照番号が使用される場合がある。
本明細書に開示される様々な実装形態は、通信データを提示するためのデバイス、システム、及び方法を含む。様々な実装形態では、第１の人に関連付けられた第１のデバイスは、ディスプレイと、非一時的メモリと、ディスプレイ及び非一時的メモリに結合された１つ以上のプロセッサと、を含む。いくつかの実装形態では、方法は、第２の人に対応する第２のデバイスに関連付けられた通信データを取得することを含む。いくつかの実装形態では、方法は、第１のデバイス及び第２のデバイスが共有環境内にあるかどうかを判定することを含む。いくつかの実装形態では、方法は、第１のデバイスと第２のデバイスとが共有環境内にないと判定したことに応じて、第２のデバイスに関連付けられた通信データに基づいて、第２の人の強化現実（ＥＲ；enhanced reality）の表現を表示することを含む。
本明細書に開示された様々な実装形態は、通信データをマスクするためのデバイス、システム、及び方法を含む。様々な実装形態では、第１のデバイスは、出力デバイスと、非一時的メモリと、出力デバイス及び非一時的メモリと結合された１つ以上のプロセッサと、を含む。いくつかの実装形態では、方法は、第１のデバイスが第２のデバイスとの通信セッションにある間に、第２のデバイスに関連付けられた通信データを取得することを含む。いくつかの実装形態では、方法は、第１のデバイスと第２のデバイスとが物理的共有設定にあることを判定することを含む。いくつかの実装形態では、方法は、出力デバイスが通信データの一部分を出力することを防止するために、通信データの一部分をマスクすることを含む。
いくつかの実装形態によれば、デバイスは、１つ以上のプロセッサと、非一時的メモリと、１つ以上のプログラムと、を含む。いくつかの実装形態では、１つ以上のプログラムは、非一時的メモリ内に記憶されており、１つ以上のプロセッサによって実行される。いくつかの実装形態では、１つ以上のプログラムは、本明細書に記載のいずれかの方法を実行する、又は実行させるための命令を含む。いくつかの実装形態によれば、非一時的コンピュータ可読記憶媒体は、内部に命令を記憶しており、この命令は、デバイスの１つ以上のプロセッサによって実行されたときに、本明細書内で説明する方法のうちのいずれかの動作をデバイスに実行させる、又は動作の実行を行わせる。いくつかの実装形態によれば、デバイスは、１つ以上のプロセッサと、非一時的メモリと、本明細書に記載される方法のいずれかを実行する、又は実行させる手段と、を含む。
図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者であれば、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含むものではないと理解するであろう。更に、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。
そのようなシステムを、様々な強化現実の技術に関連して使用するための電子システム及び技術の様々な例が記載されている。
物理的設定とは、様々な人が電子システムの使用なしに検知し、かつ／又は対話することができる世界を指す。物理的公園などの物理的設定は、例えば、物理的な野生生物、物理的な樹木、及び物理的な植物などの物理的要素を含む。人は、例えば、視覚、嗅覚、触覚、味覚、及び聴覚を含む１つ以上の感覚を用いて、物理的設定を直接感知し、かつ／又は別の方法で物理的設定と対話することができる。
強化現実（ＥＲ）設定は、物理的設定とは対照的に、電子システムを用いて様々な人が感知し、かつ／又は他の方法で対話することができる、完全に（又は部分的に）コンピュータ生成された設定を指す。ＥＲにおいて、人の動きは部分的に監視され、それに応じて、ＥＲ設定において少なくとも１つの仮想オブジェクトに対応する少なくとも１つの属性が、１つ以上の物理的法則と一致するように変更される。例えば、上方を見ている人をＥＲシステムが検出することに応じて、ＥＲシステムは、その人に提示される様々な音声及びグラフィックを、そのような音と外観の物理的設定における変化の仕方と一致するように、調整することができる。例えば、また、動きの表現（例えば、ボイスコマンド）に応じて、ＥＲ設定における仮想オブジェクト（単数又は複数）の属性（単数又は複数）に対する調整が行われてもよい。
人は、視覚、嗅覚、味覚、触覚、及び音などの１つ以上の感覚を用いて、ＥＲオブジェクトを感知し、かつ／又はＥＲオブジェクトと対話し得る。例えば、人は、多次元の又は空間的な音響設定を生成するオブジェクトを感知し、かつ／又はオブジェクトと対話し得る。多次元の又は空間的な音響設定は、多次元空間内の個別の音響源の知覚を人に提供する。このようなオブジェクトはまた、音響透過性を可能にすることができ、これは、コンピュータ生成された音声を用いて又は用いずに、物理的設定から音声を選択的に組み込むことができる。一部のＥＲ設定では、人は、音響オブジェクトのみを感知し、かつ／又は音響オブジェクトのみと対話することができる。
仮想現実（ＶＲ；Virtual reality）は、ＥＲの一例である。ＶＲ設定とは、１つ以上の感覚について、コンピュータ生成された感覚入力のみを含むように構成された強化設定を指す。ＶＲ設定は、人が感知し、かつ／又は対話することができる複数の仮想オブジェクトを含む。人は、コンピュータ生成された設定内での人のアクションのうちの少なくとも一部のシミュレーションを通じて、かつ／又は、コンピュータ生成された設定内での人若しくは人の存在のシミュレーションを通じて、ＶＲ設定内において仮想オブジェクトを感知し、かつ／又は仮想オブジェクトと対話することができる。
複合現実（ＭＲ；Mixed reality）は、ＥＲの別の例である。ＭＲ設定とは、コンピュータ生成された感覚入力（例えば、仮想オブジェクト）を、物理的設定からの感覚入力、又は物理的設定からの感覚入力の表現と統合するように構成された、強化設定を指す。現実スペクトルでは、ＭＲ設定は、一端における完全な物理的設定と、他端におけるＶＲ設定との間にあり、両端は含まない。
一部のＭＲ設定において、コンピュータ生成された感覚入力は、物理的設定からの感覚入力の変化に基づいて調整され得る。また、ＭＲ設定を提示するためのいくつかの電子システムは、物理的設定に対する位置及び／又は向きを検出して、現実のオブジェクト（すなわち、物理的設定からの物理的要素、又はその表現）と仮想オブジェクトとの対話を可能とすることができる。例えば、システムは動きを検出し、それに応じてコンピュータ生成された感覚入力を調整することができ、それにより、例えば、仮想の木が物理的構造に対して固定されて見える。
拡張現実（ＡＲ；Augmented reality）は、ＭＲの例である。ＡＲ設定は、１つ以上の仮想オブジェクトが物理的設定（又はその表現）の上に重ね合わされた、強化設定を指す。一例として、電子システムは、不透明ディスプレイと、物理的設定のビデオ及び／又は画像をキャプチャするための１つ以上の撮像センサとを含み得る。このようなビデオ及び／又は画像は、例えば、物理的設定の表現であってもよい。ビデオ及び／又は画像は、仮想オブジェクトと組み合わされ、次いで、それらの組み合わせが不透明ディスプレイ上に表示される。人は、物理的設定の画像及び／又はビデオを介して、物理的設定を間接的に見ることができる。人は、こうして物理的設定の上に重ね合わされた仮想オブジェクトを観察することができる。システムが物理的設定の画像をキャプチャし、キャプチャした画像を用いてＡＲ設定を不透明なディスプレイ上に表示する場合、表示された画像はビデオパススルーと呼ばれる。あるいは、透明又は半透明ディスプレイがＡＲ設定を表示するための電子システムに含まれてもよく、それにより、人は、透明又は半透明ディスプレイを通して物理的設定を直接見ることができる。仮想オブジェクトは、半透明又は透明なディスプレイ上に表示され得、それにより、人は、物理的設定上に重ね合わされた仮想オブジェクトを観察することができる。更に別の実施例では、仮想オブジェクトを物理的設定上に投影するために、投影システムを利用することができる。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され得、それにより、人は、物理的設定の上に重ね合わされた仮想オブジェクトを観察することができる。
ＡＲ設定はまた、物理的設定の表現が、コンピュータ生成された感覚データによって修正された強化設定を指してもよい。例として、修正された部分が（完全に再現されたバージョンではないが）、依然として元のキャプチャされた画像（単数又は複数）の表現であり得るように、物理的設定の表現の少なくとも一部分が視覚的に修正（例えば、拡大）されてもよい。あるいは、ビデオパススルーを提供する際に、画像センサ（単数又は複数）によってキャプチャされた視点とは異なる特定の視点を適用するために、１つ以上のセンサ画像を修正することができる。別の実施例として、物理的設定の表現の一部分が、その一部分を視覚的に不明瞭にするか、又は除外することによって変更されてもよい。
拡張仮想感（ＡＶ；augmented virtuality）は、ＭＲの別の例である。ＡＶ設定は、仮想的な又はコンピュータ生成された設定が、物理的設定からの１つ以上の感覚入力を統合した、強化設定を指す。そのような感覚入力（単数又は複数）は、物理的設定の１つ以上の特性の表現を含み得る。仮想オブジェクトは、例えば、撮像センサ（単数又は複数）によってキャプチャされた物理的要素に関連付けられた色を組み込んでもよい。あるいは、仮想オブジェクトは、例えば、撮像、オンライン気象情報、及び／又は気象関連センサを介して識別される気象条件などの物理的設定に対応する現在の気象条件と一致する特性を採用してもよい。別の例として、ＡＲの公園は、仮想の構造物、植物、及び樹木を含み得るが、ＡＲの公園の設定内の動物は、物理的な動物の画像から正確に再現される特徴を含んでもよい。
様々なシステムが、人がＥＲ設定を感知し、かつ／又はＥＲ設定と対話することを可能にする。例えば、ヘッドマウントシステムは、１つ以上のスピーカ及び不透明ディスプレイを含んでもよい。別の例として、外部ディスプレイ（例えば、スマートフォン）をヘッドマウントシステム内に組み込むことができる。ヘッドマウントシステムは、物理的設定の音声をキャプチャするためのマイクロフォン、及び／又は物理的設定の画像／ビデオをキャプチャするための画像センサを含んでもよい。ヘッドマウントシステムには、透明又は半透明のディスプレイが含まれてもよい。透明又は半透明のディスプレイは、例えば、基板を含んでもよく、この基板を通って（画像を表す）光が人の眼に向けられる。ディスプレイはまた、ＬＥＤ、ＯＬＥＤ、液晶オンシリコン、レーザ走査光源、デジタル光プロジェクタ（ＤＬＰ；digital light projector）、又はこれらの任意の組み合わせを組み込んでもよい。光が透過される基板は、光学反射体、ホログラフィック基板、光導波路、光結合器、又はこれらの任意の組み合わせであってもよい。透明又は半透明のディスプレイは、例えば、透明／半透明の状態と不透明な状態との間で選択的に遷移することができる。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムでは、網膜投影を使用して、人の網膜上に画像を投影することができる。あるいは、投影ベースシステムはまた、例えば、仮想オブジェクトをホログラムとして又は物理的表面上に投影するなど、仮想オブジェクトを物理的設定に投影してもよい。ＥＲシステムの他の例としては、グラフィックを表示するように構成されたウィンドウ、ヘッドホン、イヤフォン、スピーカ構成、グラフィックを表示するように構成されたレンズ、ヘッドアップディスプレイ、グラフィックを表示するように構成された自動車ウィンドシールド、入力機構（例えば、触覚機能を有する又は有さないコントローラ）、デスクトップ又はラップトップコンピュータ、タブレット、又はスマートフォンが挙げられる。
第１の人に関連付けられた第１のデバイスが、第２の人に関連付けられた第２のデバイスと通信するとき、第１のデバイス上に第２の人のビデオ又はＥＲ表現を提示することは、意味がない場合があり得る。例えば、第１のデバイスと第２のデバイスとが同じ環境内にある場合、第２の人のビデオ又はＥＲ表現を第１のデバイス上に提示することは、第１の人が第２の人を見ることができるため、意味がない場合がある。いくつかのシナリオでは、第２のデバイスのタイプを示すことは、第１の人が第２の人とどのように対話するかが分かるため有益であり得る。例えば、第２のデバイスが第２の人に第１のデバイスの周囲環境の限定されたビューを提供する場合、第１の人は、第２の人には見えない周囲環境の領域に注意を向ける必要はない。
本開示は、第１のデバイスが、第２のデバイスのプレゼンス状態に基づいて、第２のデバイスに関連付けられた通信データを提示することを可能にする、方法、デバイス及び／又はシステムを提供する。第１のデバイスが第２のデバイスに関連付けられた通信データを取得すると、第１のデバイスは、第２のデバイスが第１のデバイスと同じ環境内にない場合には、第２の人のビデオ又はＥＲ表現を提示する。第２のデバイスが第１のデバイスと同じ環境内にある場合、第１のデバイスは、環境のパススルーを提示し、通信データ内に符号化されたビデオ又はＥＲ表現の提示を取りやめる。いくつかのシナリオでは、第１のデバイスは、第２のデバイスがＨＭＤを含むときに、第２の人のＥＲ表現を提示し、第１のデバイスは、第２のデバイスが非ＨＭＤデバイス（例えば、タブレット又はスマートフォンなどのハンドヘルドデバイス、ラップトップ及び／又はデスクトップ）を含むときに、ビデオを提示する。
第１の人に関連付けられた第１のデバイスが、第２の人に関連付けられた第２のデバイスと通信するときに、ネットワーク音声及びビデオを提示することは、発話が聞き取れずビデオが無意味なため、エクスペリエンスが損なわれる結果となり得る。例えば、第１のデバイスと第２のデバイスとが同じ物理的設定にある場合、第１の人には、ネットワーク音声が第１のデバイスを介して聞こえ、かつ直接音声が第２の人から聞こえる可能性が高い。ネットワーク音声と直接音声との間の干渉により、発話が聞き取れない結果となり得る。同様に、第２のデバイスが第１のデバイスと同じ物理的設定にある間に、第１のデバイスが第２の人のＥＲ表現を表示すると、第１の人は、第２の人の代わりに第２の人のＥＲ表現を見る可能性があり、通信エクスペリエンスが損なわれる結果となり得る。
本開示は、第１のデバイスと第２のデバイスとが同じ物理的設定にあるときに、通信データをマスクするための方法、デバイス及び／又はシステムを提供する。第２のデバイスが第１のデバイスと同じ物理的設定にある場合、第１のデバイスは、ネットワーク音声と直接音声との間の干渉を低減するために、ネットワーク音声をマスクする。第２のデバイスが第１のデバイスと同じ物理的設定にあるときに、ネットワーク音声をマスクすることにより、第１の人が直接音声を聞くことを可能とする。第２のデバイスが第１のデバイスと同じ物理的設定にある場合、第１のデバイスは、通信データによって示される第２の人のビデオ又はＥＲ表現をマスクする。第２の人のビデオ又はＥＲ表現の表示を取りやめることにより、第１の人が第２の人を見ることが可能となり、第１の人のユーザエクスペリエンスが改善する。いくつかのシナリオでは、第１のデバイスは、物理的設定のパススルーを提示し、第１の人は、パススルーを介して第２の人を見る。
図１Ａは、いくつかの実装形態に係る、例示的な動作環境１のブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実装形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。そのため、非限定的な例として、動作環境１は、第１の環境１０（例えば、第１の設定）及び第２の環境４０（例えば、第２の設定）を含む。いくつかの実装形態では、第１の環境１０は、第１の物理的設定（例えば、第１の物理的環境）を含み、第２の環境４０は、第２の物理的設定（例えば、第２の物理的環境）を含む。いくつかの実装形態では、第１の環境１０は、第１のＥＲ設定を含み、第２の環境４０は、第２のＥＲ設定を含む。
図１Ａに示すように、第１の環境１０は、第１の電子デバイス１４に関連付けられた（例えば、第１の電子デバイス１４を操作する）第１の人１２を含み、第２の環境４０は、第２の電子デバイス４４に関連付けられた（例えば、第２の電子デバイス４４を操作する）第２の人４２を含む。図１Ａの例では、第１の人１２は、第１の電子デバイス１４を保持しており、第２の人４２は、第２の電子デバイス４４を保持している。様々な実装形態では、第１の電子デバイス１４及び第２の電子デバイス４４は、ハンドヘルドデバイス（例えば、タブレット、スマートフォン、又はラップトップ）を含む。いくつかの実装形態では、第１の電子デバイス１４及び第２の電子デバイス４４は、ヘッドマウントデバイスではない（例えば、ハンドヘルドデバイス、デスクトップコンピュータ、又は腕時計などの非ＨＭＤデバイスである）。
様々な実装形態では、第１の電子デバイス１４及び第２の電子デバイス４４は、ネットワーク７０（例えば、インターネットの一部分、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）など）を介して互いに通信する。第１の電子デバイス１４と第２の電子デバイス４４とが互いに通信している間に、第１の電子デバイス１４は、第１の通信データ１６を送信し、第２の電子デバイス４４は、第２の通信データ４６を送信する。第１の通信データ１６は、第１の電子デバイス１４のマイクロフォンによってキャプチャされた第１の音声データ１８と、第１の電子デバイス１４の画像センサ（例えば、カメラ、例えば、前向きカメラ）によってキャプチャされた第１のビデオデータ２０とを含む。同様に、第２の通信データ４６は、第２の電子デバイス４４のマイクロフォンによってキャプチャされた第２の音声データ４８と、第２の電子デバイス４４の画像センサによってキャプチャされた第２のビデオデータ５０とを含む。
第１の電子デバイス１４は、第２の通信データ４６を受信し、第２の電子デバイス４４は、第１の通信データ１６を受信する。図１Ａに示すように、第１の電子デバイス１４は、第２の通信データ４６を提示し、第２の電子デバイス４４は、第１の通信データ１６を提示する。例えば、第１の電子デバイス１４は、第１の電子デバイス１４のスピーカを介して、第２の音声データ４８を出力し（例えば、再生し）、第１の電子デバイス１４のディスプレイ上に、第２のビデオデータ５０を表示する。同様に、第２の電子デバイス４４は、第２の電子デバイス１４のスピーカを介して第１の音声データ１８を出力し、第２の電子デバイス１４のディスプレイ上に第１のビデオデータ２０を表示する。様々な実装形態では、第１の音声データ１８は、第１の人１２によって提供される音声入力を符号化し、第１のビデオデータ２０は、第１の人１２のビデオストリームを符号化する。同様に、第２の音声データ４８は、第２の人４２によって提供される音声入力を符号化し、第２のビデオデータ５０は、第２の人４２のビデオストリームを符号化する。
様々な実装形態では、第１の電子デバイス１４は、第２の電子デバイス４２が第１の環境１０内にあるかどうかを判定する。第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にあると判定すると、第２の電子デバイス４４をローカルとみなす。様々な実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４がローカルであると判定すると、第２の通信データ４６の提示を変更する。様々な実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４がローカルであると判定したことに応じて、第２の通信データ４６の一部分をマスクする。例えば、いくつかの実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４がローカルであると判定したことに応じて、第２の音声データ４８を出力することを、かつ／又は第２のビデオデータ５０を表示することを取りやめる。
図１Ａの例では、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にないと判定する。第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にないと判定すると、第２の電子デバイス４４をリモートとみなす。図１Ａに示すように、第１の電子デバイス１４は、第２の電子デバイス４４がリモートであると判定したことに応じて、第２の通信データ４６を提示する。例えば、第１の電子デバイス１４は、第２の電子デバイス４４がリモートであることに応じて、第２の音声データ４８を出力し、かつ／又は第２のビデオデータ５０を表示する。いくつかの実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４がリモートであると判定したことに応じて、第２の通信データ４６をマスクすることを取りやめる。
図１Ｂを参照すると、第１の人１２によって装着されている第１のヘッドマウントデバイス（ＨＭＤ）２４は、様々な実装形態による第１のＥＲ設定２６を提示する（例えば、表示する）。図１Ｂは、第１の人１２が、第１のＨＭＤ２４を保持しているのを示しているが、様々な実装形態において、第１の人１２は、第１の人１２の頭部に第１のＨＭＤ２４を装着する。いくつかの実装形態では、第１のＨＭＤ２４は、第１のＥＲ設定２６を表示する一体型ディスプレイ（例えば、内蔵ディスプレイ）を含む。いくつかの実装形態では、第１のＨＭＤ２４は、ヘッドマウントエンクロージャを含む。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを有する別のデバイスを取り付けることができる取り付け領域を含む。例えば、いくつかの実装形態では、第１の電子デバイス１４をヘッドマウントエンクロージャに取り付けることができる。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを含む別のデバイス（例えば、第１の電子デバイス１４）を受容するためのレセプタクルを形成するように成形される。例えば、いくつかの実装形態では、第１の電子デバイス１４は、ヘッドマウントエンクロージャにスライド／スナップ嵌めされる、又は別の方法で取り付けられる。いくつかの実装形態では、ヘッドマウントエンクロージャに取り付けられたデバイスのディスプレイは、第１のＥＲ設定２６を提示する（例えば、表示する）。様々な実装形態では、第１の電子デバイス１４の例として、スマートフォン、タブレット、メディアプレーヤ、ラップトップなどが挙げられる。
図１Ｂの例では、第１のＥＲ設定２６は、第２のビデオデータ５０を、カードグラフィカルユーザインタフェース（カードＧＵＩ）要素２８内に提示する（例えば、表示する）。いくつかの実装形態では、カードＧＵＩ要素２８はカードの類似性閾値内にある（例えば、カードＧＵＩ要素２８の視覚的見掛けは、カードの視覚的見掛けに似ている）。いくつかの実装形態では、カードＧＵＩ要素２８は、ビデオカードと呼ばれる。いくつかの実装形態では、第１のＨＭＤ２４は、第２のビデオデータ５０を、第２の電子デバイス４４のタイプに基づいて、カードＧＵＩ要素２８内に提示する。例えば、第１のＨＭＤ２４は、第２の電子デバイス４４が非ＨＭＤ（例えば、タブレット、スマートフォン、若しくはラップトップなどのハンドヘルドデバイス、デスクトップコンピュータ、又は腕時計）であると判定したことに応じて、第２のビデオデータ５０をカードＧＵＩ要素２８内に提示する。いくつかの実装形態では、第１のＨＭＤ２４は、第１のＨＭＤ２４のスピーカを介して第２の音声データ４８を出力する（例えば、再生する）。いくつかの実装形態では、第１のＨＭＤ２４は、第２の音声データ４８がカードＧＵＩ要素２８から発信されているかのような状況を提供するために、第２の音声データ４８を空間化する。いくつかの実装形態では、第１のＨＭＤ２４は、第１のＥＲ設定２６内のカードＧＵＩ要素２８の位置を、第２の環境４０内の第２の人４２及び／又は第２の電子デバイス４４の動きに基づいて変更する。例えば、第１のＨＭＤ２４は、カードＧＵＩ要素２８を、第２の人４２及び／又は第２の電子デバイス４４と同じ方向に動かす。
図１Ｃを参照すると、第２の人４２によって装着されている第２のＨＭＤ５４は、様々な実装形態による第２のＥＲ設定５６を提示する（例えば、表示する）。図１Ｃは、第２の人４２が、第２のＨＭＤ５４を保持しているのを示しているが、様々な実装形態において、第２の人４２は、第２の人４２の頭部に第２のＨＭＤ５４を装着する。いくつかの実装形態では、第２のＨＭＤ５４は、第２のＥＲ設定５６を表示する一体型ディスプレイ（例えば、内蔵ディスプレイ）を含む。いくつかの実装形態では、第２のＨＭＤ５４は、ヘッドマウントエンクロージャを含む。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを有する別のデバイスを取り付けることができる取り付け領域を含む。例えば、いくつかの実装形態では、第２の電子デバイス４４をヘッドマウントエンクロージャに取り付けることができる。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを含む別のデバイス（例えば、第２の電子デバイス４４）を受容するためのレセプタクルを形成するように成形される。例えば、いくつかの実装形態では、第２の電子デバイス４４は、ヘッドマウントエンクロージャにスライド／スナップ嵌めされる、又は別の方法で取り付けられる。いくつかの実装形態では、ヘッドマウントエンクロージャに取り付けられたデバイスのディスプレイは、第２のＥＲ設定５６を提示する（例えば、表示する）。様々な実装形態では、第２の電子デバイス４４の例としては、スマートフォン、タブレット、メディアプレーヤ、ラップトップなどが挙げられる。
図１Ｃに示すように、いくつかの実装形態では、第１の通信データ１６は、第１の環境データ２２を含み、第２の通信データ４６は、第２の環境データ５２を含む。いくつかの実装形態では、第１の環境データ２２は、第１の環境１０の様々な性質及び／又は特性を示し、第２の環境データ５２は、第２の環境４０の様々な性質及び／又は特性を示す。いくつかの実装形態では、第１の環境データ２２は、第１の環境１０内に位置する物理的要素を示し、第２の環境データ５２は、第２の環境４０内において配置された物理的要素を示す。いくつかの実装形態では、第１の環境データ２２は、第１の環境１０のメッシュマップを含み、第２の環境データ５２は、第２の環境４０のメッシュマップを含む。いくつかの実装形態では、第１の環境データ２２は、第１の人１２の身体ポーズを示し、第２の環境データ５２は、第２の人４２の身体ポーズを示す。いくつかの実装形態では、第１の環境データ２２は、第１の人１２の顔面表情を示し、第２の環境データ５２は、第２の人４２の顔面表情を示す。いくつかの実装形態では、第１の環境データ２２は、第１の人１２の顔のメッシュマップを含み、第２の環境データ５２は、第２の人の顔のメッシュマップ４２を含む。
様々な実装形態では、第１のＨＭＤ２４は、第２の人４２を表すＥＲオブジェクト３０を提示する。いくつかの実装形態では、第１のＨＭＤ２４は、第２の環境データ５２に基づいてＥＲオブジェクト３０を生成する。例えば、いくつかの実装形態では、第２の環境データ５２は、第２の人４２を表すＥＲオブジェクト３０を符号化する。様々な実装形態において、ＥＲオブジェクト３０は、第２の人４２のＥＲ表現を含む。例えば、いくつかの実装形態では、ＥＲオブジェクト３０は、第２の人４２のアバターを含む。いくつかの実装形態では、第２の環境データ５２は、第２の人４２の身体ポーズを示し、ＥＲオブジェクト３０は、第２の人４２の身体ポーズとの類似度が一定範囲内にあるポーズを有する。いくつかの実装形態では、第２の環境データ５２は、第２の人４２の物理的な顔面表情を示し、ＥＲオブジェクト３０のＥＲの顔は、第２の人４２の物理的な顔面表情との類似度が一定範囲内にあるＥＲ表情を有する。様々な実装形態では、第２の環境データ５２は、第２の人４２の動きを示し、ＥＲオブジェクト３０は、第２の人４２の動きを模倣する。
様々な実装形態では、第２のＨＭＤ５４は、第１の人１２を表すＥＲオブジェクト６０を提示する。いくつかの実装形態では、第２のＨＭＤ５４は、第１の環境データ２２に基づいてＥＲオブジェクト６０を生成する。例えば、いくつかの実装形態では、第１の環境データ２２は、第１の人１２を表すＥＲオブジェクト６０を符号化する。様々な実装形態において、ＥＲオブジェクト６０は、第１の人１２のＥＲ表現を含む。例えば、いくつかの実装形態では、ＥＲオブジェクト６０は、第１の人１２のアバターを含む。いくつかの実装形態では、第１の環境データ２２は、第１の人１２の身体ポーズを示し、ＥＲオブジェクト６０は、第１の人１２の身体ポーズとの類似度が一定範囲内（例えば、類似性閾値内）にあるポーズを有する。いくつかの実装形態では、第１の環境データ２２は、第１の人１２の物理的な顔面表情を示し、ＥＲオブジェクト６０のＥＲの顔は、第１の人１２の物理的な顔面表情との類似度が一定範囲内（例えば、類似性閾値内）であるＥＲ表情を有する。様々な実装形態では、第１の環境データ２２は、第１の人１２の動きを示し、ＥＲオブジェクト６０は、第１の人１２の動きを模倣する。
様々な実装形態において、第１のＨＭＤ２４は、第２の人４２に関連付けられたデバイスのタイプに基づいて、ＥＲオブジェクト３０を提示する。いくつかの実装形態では、第１のＨＭＤ２４は、第２の人４２が非ＨＭＤでなくＨＭＤを利用していると判定したことに応じて、ＥＲオブジェクト３０を生成し、提示する。いくつかの実装形態では、第１のＨＭＤ２４は、第２の環境データ５２を含む第２の通信データ４６を取得したことに応じて、第２の人４２が第２のＨＭＤ５４を利用していると判定する。いくつかの実装形態では、第１のＨＭＤ２４は、第２の音声データ４８がＥＲオブジェクト３０から発せられているかのような状況を提供するために、第２の音声データ４８を空間化する。ＥＲオブジェクト３０を提示することは、第１のＨＭＤ２４のユーザエクスペリエンスを向上させる。例えば、ＥＲオブジェクト３０を提示することは、第２の人４２が実際にはリモートであっても、第２の人４２が第１の環境１０内にいるかのような状況を提供する。
図１Ｄの実施例では、第１の人１２と第２の人４２とが、第１の環境１０内にいる。その結果、第１の電子デバイス１４と第２の電子デバイス４４とが、第１の環境１０内にある。図１Ｄの実施例では、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にあると判定する。第１の電子デバイス１４と第２の電子デバイス４４とが同じ環境内にあるとき、環境は、共有環境（例えば、物理的共有設定）と呼ばれ得る。第１の電子デバイス１４は、第２の電子デバイス４４が第１の電子デバイス１４と同じ環境内にあることを検出すると、第２の電子デバイス４４を（例えば、リモートではなく）ローカルであるとみなす。
様々な実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４がローカルであると判定したことに応じて、第２の通信データ４６の一部分をマスクする。例えば、いくつかの実装形態では、第１の電子デバイス１４は、第１の電子デバイス１４のディスプレイ上に、第２のビデオデータ５０を表示することを取りやめる。第１の電子デバイス１４が第２のビデオデータ５０を表示しないため、第１の電子デバイス１４は、第１の人１２が、第２のビデオデータ５０の提示によって邪魔されることなく、第２の人４２を見ることを可能にする。いくつかの実装形態では、第１の電子デバイス１４は、第１の電子デバイス１４のスピーカを介して第２の音声データ４８を再生することを取りやめる。いくつかの実装形態では、第２の音声データ４８を再生しないことにより、第１の人１２は、第２の人４２の発話８０を聞くことができる。第１の電子デバイス１４は第２の音声データ４８を再生しないため、第２の音声データ４８は第２の人４２の発話８０と干渉せず、それにより、第１の人１２が発話８０を聞くことが可能となる。同様に、いくつかの実装形態では、第２の電子デバイス４４は、第１の電子デバイス１４がローカルであると判定したことに応じて、第１の通信データ１６の一部分をマスクする（例えば、第２の電子デバイス４４は、第１のビデオデータ２０の表示を取りやめる、かつ／又は第１の音声データ１８の再生を取りやめる）。本明細書に記載されるように、いくつかの実装形態では、第１の通信データ１６は、第１の環境データ２２（図１Ｃに示される）を含み、第２の通信データ４６は、第２の環境データ５２（図１Ｃに示される）を含む。このような実装形態では、第１の電子デバイス１４と第２の電子デバイス４４とがローカルであるとき、第１の電子デバイス１４は、第２の環境データ５２の一部分をマスクし、第２の電子デバイス４４は、第１の環境データ２２の一部分をマスクする。
いくつかの実装形態では、第１の電子デバイス１４は、第１の環境１０の第１のビデオパススルー７４を表示する。いくつかの実装形態では、第１の電子デバイス１４は、第１の視野７２を有する画像センサ（例えば、後ろ向きカメラ）を含む。第１のビデオパススルー７４は、第１の電子デバイス１４の画像センサによってキャプチャされているビデオフィードを表す。第２の人４２が第１の視野７２内にいるため、第１のビデオパススルー７４は、第２の人４２の表現（例えば、第２の人４２のビデオフィード）を含む。同様に、いくつかの実装形態では、第２の電子デバイス４４は、第１の環境１０の第２のビデオパススルー７８を表示する。いくつかの実装形態では、第２の電子デバイス４４は、第２の視野７６を有する画像センサを含む。第２のビデオパススルー７８は、第２の電子デバイス４４の画像センサによってキャプチャされているビデオフィードを表す。第１の人１２は第１の視野７６内にいるため、第２のビデオパススルー７８は、第１の人１２の表現（例えば、第１の人１２のビデオフィード）を含む。
図１Ｅを参照すると、第１のＨＭＤ２４は、第２の電子デバイス４４がローカルであると判定したことに応じて、第２の通信データ４６の一部分をマスクする。例えば、いくつかの実装形態では、第１のＨＭＤ２４は、第２のビデオデータ５０及び／又は第２の人４２を表すＥＲオブジェクト３０（図１Ｃに示す）を、第１のＥＲ設定２６内に表示することを取りやめる。いくつかの実装形態では、第１のＨＭＤ２４は、第１のＨＭＤ２４のスピーカを介して第２の音声データ４８を再生することを取りやめる。いくつかの実装形態では、第２の音声データ４８を再生しないことにより、第１の人１２は、第２の人４２の発話８０を聞くことができる。第１のＨＭＤ２４は第２の音声データ４８を再生しないため、第２の音声データ４８は第２の人４２の発話８０と干渉せず、それにより、第１の人１２が発話８０を聞くことが可能となる。
いくつかの実装形態では、第１のＨＭＤ２４は、第１の環境１０の第１のパススルー８４を提示する。いくつかの実装形態では、第１のＨＭＤ２４は、第１の検出視野８２を有する環境センサ（例えば、深度カメラなどの深度センサ、及び／又は後向きカメラなどの画像センサ）を含む。いくつかの実装形態では、第１のパススルー８４は、図１Ｄに示される第１のビデオパススルー７４と類似のビデオパススルーを含む。いくつかの実装形態では、第１のパススルー８４は、第１の環境１０からの光（例えば、天然光又は人工光）が第１の人１２の眼に入ることが可能な光学パススルーを含む。第２の人４２が第１の検出視野８２内にいるため、第１のパススルー８４は、第２の人４２の表現（例えば、第２の人４２のビデオフィード、又は第２の人４２から反射される光）を含む。第１のパススルー８４は、第２の環境データ５２に基づいて第２のビデオデータ５０を表示すること、又はＥＲオブジェクト３０を生成することよりも、低いレイテンシを有する傾向があるため、第１のパススルー８４を提示することは、第１のＨＭＤ２４が提供するユーザエクスペリエンスを向上させる。
図１Ｆを参照すると、第２のＨＭＤ５４は、第１のＨＭＤ２４がローカルであると判定したことに応じて、第１の通信データ１６の一部分をマスクする。例えば、いくつかの実装形態では、第２のＨＭＤ５４は、第１のビデオデータ２０又は第２のＥＲ設定５６内において第１の人１２を表すＥＲオブジェクト６０（図１Ｃに示す）の表示を取りやめる。いくつかの実装形態では、第２のＨＭＤ５４は、第２のＨＭＤ５４のスピーカを介して第１の音声データ１８を再生することを取りやめる。いくつかの実装形態では、第１の音声データ１８を再生しないことにより、第２の人４２は、第１の人１２の発話（例えば、第１の人１２からの直接音声）を聞くことが可能となる。第２のＨＭＤ５４は第１の音声データ１８を再生しないため、第１の音声データ１８は第１の人１２の発話と干渉せず、それにより、第２の人４２が発話を聞くことが可能となる。
いくつかの実装形態では、第２のＨＭＤ５４は、第１の環境１０の第２のパススルー８８を提示する。いくつかの実装形態では、第２のＨＭＤ５４は、第２の検出視野８６を有する環境センサ（例えば、深度カメラなどの深度センサ、及び／又は後向きカメラなどの画像センサ）を含む。いくつかの実装形態では、第２パススルー８８は、図１Ｄに示される第２のビデオパススルー７８と類似のビデオパススルーを含む。いくつかの実装形態では、第２のパススルー８８は、第１の環境１０からの光（例えば、天然光又は人工光）が第２の人４２の眼に入ることが可能である光学パススルーを含む。第１の人１２は第２の検出視野８６内にいるため、第２のパススルー８８は、第１の人１２の表現（例えば、第１の人１２のビデオフィード、又は第１の人１２から反射される光）を含む。第２のパススルー８８は、第１の環境データ２２に基づいて第１のビデオデータ２０を表示すること、又はＥＲオブジェクト６０を生成することよりも、低いレイテンシを有する傾向があるため、第２のパススルー８８を提示することは、第２のＨＭＤ５４が提供するユーザエクスペリエンスを向上させる。
図１Ｇに示すように、いくつかの実装形態では、第１のＨＭＤ２４は、複数のデバイスと通信する。図１Ｇは、第３の電子デバイス９４に関連付けられた第３の人９２を含む第３の環境９０を示す。図１Ｇはまた、第３のＨＭＤ１０４に関連付けられた第４の人１０２を含む第４の環境１００を示す（例えば、第４の人１０２は、第３のＨＭＤ１０４を第４の人１０２の頭部に装着している）。図１Ｇの例では、第１のＨＭＤ２４は、第２のＨＭＤ５４、第３の電子デバイス９４、及び第３のＨＭＤ１０４と通信している。いくつかの実装形態では、第１のＨＭＤ２４、第２のＨＭＤ５４、第３の電子デバイス９４、及び第３のＨＭＤ１０４は、遠隔会議（例えば、遠隔会議セッション）中である。
いくつかの実装形態では、第１のＨＭＤ２４は、第２のＨＭＤ５４が第１のＨＭＤ２４と同じ環境内にあるため、第２のＨＭＤ５４がローカルであると判定する。したがって、本明細書に記載されるように、いくつかの実装形態では、第１のＨＭＤ２４は、第２のＨＭＤ２４に関連付けられた通信データの一部分をマスクする。更に、本明細書に記載されるように、いくつかの実装形態では、第１のＨＭＤ２４は、第１の環境１０の第１のパススルー８４を提示する。図１Ｇに示すように、第１のＨＭＤ２４は、第１のＥＲ設定２６内に第１のパススルー８４を提示する。
いくつかの実装形態では、第１のＨＭＤ２４は、第３の電子デバイス９４が第１のＨＭＤ２４と同じ環境内にないため、第３の電子デバイス９４がリモートであると判定する。いくつかの実装形態では、第１のＨＭＤ２４は、第３の電子デバイス９４が非ＨＭＤ（例えば、タブレット、スマートフォン、メディアプレーヤ、ラップトップ又はデスクトップコンピュータ）であると判定する。図１Ｇの例では、第１のＨＭＤ２４は、第３の電子デバイス９４に関連付けられた（例えば、第３の電子デバイス９４から発生した）ビデオデータ９８を含むカードＧＵＩ要素９６を表示する。
いくつかの実装形態では、第１のＨＭＤ２４は、第３のＨＭＤ１０４が第１のＨＭＤ２４と同じ環境内にないため、第３のＨＭＤ１０４はリモートであると判定する。いくつかの実装形態では、第１のＨＭＤ２４は、第４の人１０２がＨＭＤ型のデバイスを利用していると判定する。したがって、図１Ｇに示すように、第１のＨＭＤ２４は、第４の人１０２を表すＥＲオブジェクト１０６を表示する。いくつかの実装形態では、ＥＲオブジェクト１０６は、第４の人１０２のＥＲ表現を含む。いくつかの実装形態では、ＥＲオブジェクト１０６は、第４の人１０２のアバターを含む。
図２Ａは、通信データを提示する方法２００のフローチャート表現である。様々な実装形態では、方法２００は、第１の人に関連付けられた第１のデバイスによって実行される。いくつかの実装形態では、第１のデバイスは、ディスプレイと、非一時的メモリと、ディスプレイ及び非一時的メモリに結合された１つ以上のプロセッサと、を含む。いくつかの実装形態では、方法２００は、第１の電子デバイス１４、第２の電子デバイス４４、第１のＨＭＤ２４及び／又は第２のＨＭＤ５４によって実行される。いくつかの実装形態では、方法２００は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態において、方法２００は、非一時的コンピュータ可読媒体（例えば、メモリ）に記憶されたコードを実行するプロセッサによって実行される。
様々な実装形態において、ブロック２１０によって表されるように、方法２００は、第２の人に対応する第２のデバイスに関連付けられた（例えば、第２のデバイスから発生した、又は第２のデバイスによって生成された）通信データを取得することを含む。例えば、図１Ａに示すように、第１の電子デバイス１４は、第２の電子デバイス４４に関連付けられた第２の通信データ４６を取得する。いくつかの実装形態では、方法２００は、ネットワークを介して通信データを受信することを含む。いくつかの実装形態では、通信データは、音声データ（例えば、ネットワーク音声、例えば、図１Ａ～図１Ｆに示す第２の音声データ４８）を含む。いくつかの実装形態では、通信データは、ビデオデータ（例えば、図１Ａ～図１Ｆに示す第２のビデオデータ５０）を含む。いくつかの実装形態では、通信データは、環境データ（例えば、図１Ｃに示される第２の環境データ５２）を含む。いくつかの実装形態では、通信データ（例えば、ビデオデータ及び／又は環境データ）は、第２の人を表すＥＲオブジェクト（例えば、アバター）を符号化する。
様々な実装形態において、ブロック２２０によって表されるように、方法２００は、第１のデバイスと第２のデバイスとが共有環境内にあるか否かを判定することを含む。いくつかの実装形態では、方法２００は、第２のデバイスが第１のデバイスと同じ環境内にあるか否かを、第１のデバイスによって判定することを含む。例えば、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にあるか否かを判定する。いくつかの実装形態では、方法２００は、第２のデバイスがローカル又はリモートであるか否かを、第１のデバイスによって判定することを含む。
様々な実装形態において、ブロック２３０によって表されるように、方法２００は、第１のデバイスと第２のデバイスとが共有環境内にないと判定したことに応じて、第２のデバイスに関連付けられた通信データに基づいて、第２の人のＥＲ表現を表示することを含む。いくつかの実装形態では、ＥＲ表現を表示することは、通信データに含まれるビデオデータを表示することを含む。例えば、図１Ａに示すように、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にないと判定したことに応じて、第２のビデオデータ５０を表示する。いくつかの実装形態では、ＥＲ表現を表示することは、ＥＲ設定を表示することと、ＥＲ設定内にカードＧＵＩ要素を表示することと、カードＧＵＩ要素内に第２のデバイスに関連付けられたビデオデータを表示することと、を含む。例えば、図１Ｂに示すように、第１のＨＭＤ２４は、第１のＥＲ設定２６及び第１のＥＲ設定２６内にカードＧＵＩ要素２８を表示し、カードＧＵＩ要素２８内に第２のビデオデータ５０を表示する。いくつかの実装形態では、ＥＲ表現を表示することは、第２のデバイスに関連付けられたビデオデータ及び／又は環境データに基づいてＥＲオブジェクトを生成することと、ＥＲ設定でＥＲオブジェクトを表示することと、を含む。例えば、図１Ｃに示すように、第１のＨＭＤ２４は、第２の人４２を表すＥＲオブジェクト３０を生成し、表示する。
図２Ｂを参照すると、ブロック２４０によって表されるように、いくつかの実装形態では、方法２００は、第２のデバイスのデバイスタイプを判定することと、デバイスタイプに基づいて第２の人のＥＲ表現を生成することと、を含む。例えば、図１Ｂ及び図１Ｃに示されるように、第１のＨＭＤ２４は、第２の人４２に関連付けられたデバイスのデバイスタイプを判定し、デバイスのタイプに基づいて第２の人のＥＲ表現を生成する。図１Ｂの例では、第１のＨＭＤ２４は、第２の人４２が非ＨＭＤを用いていると判定し、第１のＨＭＤ２４は、第２のビデオデータ５０を復号してカードＧＵＩ要素２８内に表示する。図１Ｃの例では、第１のＨＭＤ２４は、第２の人４２がＨＭＤを用いていると判定し、第１のＨＭＤ２４は、第２の人４２を表すＥＲオブジェクト３０を生成して表示する。
いくつかの実装形態では、ブロック２４２によって表されるように、方法２００は、デバイスのタイプが第１のデバイスタイプであることに応じて、第２のデバイスに関連付けられた通信データに基づいて、第２の人の第１のタイプのＥＲ表現を生成することを含む。いくつかの実装形態では、ブロック２４２ａによって表されるように、第２の人の第１のタイプのＥＲ表現を生成することは、第２の人を表す３次元（３Ｄ）ＥＲオブジェクト（例えば、アバター）を生成することを含む。いくつかの実装形態では、ブロック２４２ｂによって表されるように、第１のデバイスタイプはＨＭＤを含む。例えば、図１Ｃに示すように、第１のＨＭＤ２４は、第２の人４２がＨＭＤを用いていると判定したことに応じて、第２の人４２を表すＥＲオブジェクト３０を生成する。
いくつかの実装形態では、ブロック２４４によって表されるように、方法２００は、デバイスのタイプが第２のデバイスタイプであることに応じて、第２のデバイスに関連付けられた通信データに基づいて、第２の人の第２のタイプのＥＲ表現を生成することを含む。いくつかの実装形態では、ブロック２４４ａによって表されるように、第２の人の第２のタイプのＥＲ表現を生成することは、第２の人を表す２次元（２Ｄ）ＥＲオブジェクトを生成することを含む。いくつかの実装形態では、ブロック２４４ｂによって表されるように、第２のタイプのＥＲ表現は、第２の人のビデオを含む。いくつかの実装形態では、ビデオは、第２のデバイスに関連付けられた通信データ内に符号化される。いくつかの実装形態では、ブロック２４４ｃによって表されるように、第２のデバイスタイプは、ハンドヘルドデバイス（例えば、スマートフォン、タブレット、ラップトップ、メディアプレーヤ、及び／又は腕時計）を含む。いくつかの実装形態では、ブロック２４４ｄによって表されるように、第２のデバイスタイプは、ＨＭＤではないデバイス（例えば、ハンドヘルドデバイス、デスクトップコンピュータ、テレビ、及び／又はプロジェクタなどの非ＨＭＤ）を含む。いくつかの実装形態においてブロック２４４ｅによって表されるように、方法２００は、カードとの類似度が一定範囲内であるＧＵＩ要素（例えば、カードＧＵＩ要素、例えば、図１Ｂに示されるカードＧＵＩ要素２８）内に、第２の人の第２のタイプのＥＲ表現を表示することを含む。例えば、図１Ｂに示すように、第１のＨＭＤ２４は、第２の人４２が非ＨＭＤに関連付けられていると判定したことに応じて、第２のビデオデータ５０を表示する。いくつかの実装形態では、方法２００は、第２の環境内の第２の人及び／又は第２の電子デバイスの動きに基づいて、第１のＥＲ設定内のＧＵＩ要素（例えば、カードＧＵＩ要素２８）の位置を変更することを含む。例えば、方法２００は、ＧＵＩ要素を第２の人及び／又は第２の電子デバイスと同じ方向に動かすことを含む。
図２Ｃを参照すると、いくつかの実装形態では、ブロック２５０によって表されるように、第１のデバイスは、１つ以上のスピーカを含み、方法２００は、１つ以上のスピーカを介して、第２の人に対応する音声を出力することを含む。いくつかの実装形態では、音声が第２の人のＥＲ表現から発せられているかのような状況を提供するために、音声が空間化される。例えば、図１Ｂに関して説明したように、第１のＨＭＤ２４は、第２の音声データ４８がカードＧＵＩ要素２８から発せられているかのような状況を提供するために、第２の音声データ４８を空間化する。同様に、図１Ｃに関して説明したように、第１のＨＭＤ２４は、第２の音声データ４８が第２の人４２を表すＥＲオブジェクト３０から発せられているかのような状況を提供するために、第２の音声データ４８を空間化する。
いくつかの実装形態では、ブロック２５２によって表されるように、方法２００は、第２のデバイスに関連付けられた通信データに基づいて、音声を生成することを含む。例えば、図１Ａに示すように、第１の電子デバイス１４は、第２の通信データ４６から第２の音声データ４８を抽出する。いくつかの実装形態では、方法２００は、音声を識別するために、通信データを復号することを含む（例えば、第１の電子デバイス１４は、第２の音声データ４８を識別するために、第２の通信データ４６を復号する）。
いくつかの実装形態では、ブロック２５４によって表されるように、方法２００は、音声が表面に反射しているかのような状況を提供するために、初期反射音を生成することを含む。例えば、第１のＨＭＤ２４は、第２の音声データ４８に対応する音が第１の環境１０の表面に反射しているかのような状況を提供するために、第２の音声データ４８に対する初期反射音を生成する。いくつかの実装形態では、方法２００は、音声を出力する前に、初期反射音を出力することを含む（例えば、第１のＨＭＤ２４は、第２の音声データ４８を再生する前に、初期反射音を出力する）。いくつかの実装形態では、方法２００は、初期反射音と音声とを同時に出力することを含む（例えば、第１のＨＭＤ２４は、第２の音声データ４８の初期反射音と第２の音声データ４８とを同時に再生する）。いくつかの実装形態では、方法２００は、第１の環境の種類に基づいて、初期反射音を生成することを含む。いくつかの実装形態では、第１の環境は物理的設定であり、初期反射音は、音声が物理的設定の物理的表面に反射しているかのような状況を提供する。いくつかの実装形態では、第１の環境はＥＲ設定（例えば、仮想環境）であり、初期反射音は、音声がＥＲ設定のＥＲ表面（例えば、仮想表面）に反射しているかのような状況を提供する。
いくつかの実装形態では、ブロック２５６によって表されるように、方法２００は、音声が反響を有しているかのような状況を提供するために、後期残響音を生成することを含む。例えば、第１のＨＭＤ２４は、第２の音声データ４８に対応する音が第１の環境１０で反響しているかのような状況を提供するために、第２の音声データ４８の後期残響音を生成する。いくつかの実装形態では、方法２００は、音声を出力した後に、後期残響音を出力することを含む（例えば、第１のＨＭＤ２４は、第２の音声データ４８を再生した後に、後期残響音を出力する）。いくつかの実装形態では、方法２００は、第１の環境の種類に基づいて、後期残響音を生成することを含む。いくつかの実装形態では、第１の環境は、物理的設定であり、後期残響音は、物理的設定において音声が反響しているかのような状況を提供する。いくつかの実装形態では、第１の環境はＥＲ設定（例えば、仮想環境）であり、初期反射音は、音声がＥＲ設定のＥＲ表面（例えば、仮想表面）に反射しているかのような状況を提供する。
いくつかの実装形態では、ブロック２６０によって表されるように、方法２００は、第１のデバイスと第２のデバイスとが共有環境にあると判定したことに応じて、第２の人のＥＲ表現の表示を取りやめることを含む。いくつかの実装形態では、方法２００は、第２のデバイスに関連付けられた通信データに含まれるビデオデータの表示を取りやめることを含む。例えば、図１Ｄに示すように、第１の電子デバイス１４は、第２の電子デバイス４４が第１の電子デバイス１４と同じ環境内にあると判定したことに応じて、第２のビデオデータ５０の表示を取りやめる。同様に、図１Ｅに示すように、第１のＨＭＤ２４は、第２の電子デバイス４４が第１の電子デバイス１４と同じ環境内にあると判定したことに応じて、第２のビデオデータ５０の表示を取りやめる。いくつかの実装形態では、方法２００は、第２の人に関連付けられた通信データに基づいて生成される第２の人のＥＲ表現の表示を取りやめること（例えば、第２の人がローカルであるときに、第２の人のアバターの表示を取りやめること）を含む。例えば、図１Ｆに示されるように、第１のＨＭＤ２４は、第２のＨＭＤ５４が第１のＨＭＤ２４と同じ環境内にあると判定したことに応じて、第２の人を表すＥＲオブジェクト３０の表示を取りやめる。
いくつかの実装形態では、ブロック２６２によって表されるように、方法２００は、共有環境のパススルーを提示することを含む。例えば、図１Ｅ及び図１Ｆに示すように、第１のＨＭＤ２４は、第１の環境１０の第１のパススルー８４を提示する。いくつかの実装形態では、ブロック２６２ａによって表されるように、方法２００は、共有環境の光学パススルーを提示することを含む。例えば、図１Ｅ及び図１Ｆに関連して説明されるように、いくつかの実装形態では、第１のパススルー８４は、光学パススルーを含む。いくつかの実装形態では、ブロック２６２ｂによって表されるように、方法２００は、共有環境のビデオパススルーを表示することを含む。例えば、図１Ｄに示す第１のビデオパススルー７４を表示すること。例えば、図１Ｅ及び図１Ｆに関連して説明されるように、いくつかの実装形態では、第１のパススルー８４は、ビデオパススルーを含む。いくつかの実装形態では、ブロック２６２ｃによって表されるように、方法２００は、ウィンドウを表示することと、ウィンドウ内にパススルーを提示することと、を含む。例えば、図１Ｅ及び図１Ｆに示されるように、第１のパススルー８４は、図１Ｂに示されるカードＧＵＩ要素２８と類似のカードＧＵＩ要素内に示される。
図２Ｄを参照すると、いくつかの実装形態では、ブロック２２０ａによって表されるように、共有環境は、物理的共有設定を含む。例えば、図１Ａに関連して説明されるように、いくつかの実装形態では、第１の環境１０は、第１の物理的設定を含む。いくつかの実装形態では、ブロック２２０ｂによって表されるように、共有環境は共有ＥＲ設定を含む。例えば、図１Ａに関連して説明されるように、いくつかの実装形態では、第１の環境１０は、第１のＥＲ設定を含む。
いくつかの実装形態では、ブロック２２０ｃによって表されるように、第１のデバイスと第２のデバイスとが共有環境内にあるかどうかを判定することは、第２のデバイスに関連付けられた識別子（ＩＤ）が、短距離通信を介して検出可能かどうかを判定することを含む。短距離通信の例としては、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離通信（ＮＦＣ）、ＺｉｇＢｅｅなどが挙げられる。例えば、図１Ａに関して、第１の電子デバイス１４は、第１の電子デバイス１４が第２の電子デバイス４４に関連付けられたＩＤを検出できるかどうかを判定する。図１Ａの例では、第１の電子デバイス１４は、短距離通信を介して、第２の電子デバイス４４に関連付けられたＩＤを検出しない。したがって、第１の電子デバイス１４は、第２の電子デバイス４４がリモートであると判定する。別の例として、図１Ｃに関して、いくつかの実装形態では、第１のＨＭＤ２４は、短距離通信を介して第２のＨＭＤ５４のＩＤを検出できないため、第２のＨＭＤ５４がリモートであると判定する。更に別の例として、図１Ｆに関して、第１のＨＭＤ２４は、短距離通信を介して第２のＨＭＤ５４のＩＤを検出するため、第２のＨＭＤ５４がローカルであると判定する。
ブロック２２０ｄによって表されるように、いくつかの実装形態では、第１のデバイスと第２のデバイスとが共有環境内にあるかどうかを判定することは、第１のデバイスのマイクロフォンを介して受信した音声が、第２のデバイスに関連付けられた通信データ内に符号化された音声と一定範囲内の類似度にあるかどうかを判定することを含む。例えば、いくつかの実装形態では、方法２００は、第２の人からの直接音声が、第２のデバイスに関連付けられたネットワーク音声と、一定範囲内の類似度にあるかどうかを判定することを含む。一例として、図１Ｄに関して、いくつかの実装形態では、第１の電子デバイス１４は、第２の人４２の発話８０が、第２の通信データ４６内に符号化された第２の音声データ４８と、一定範囲内の類似度にあるため、第２の電子デバイス４４がローカルであると判定する。
ブロック２２０ｅによって表されるように、いくつかの実装形態では、第１のデバイスと第２のデバイスとが共有環境内にあるかどうかを判定することは、第２の人が共有環境内にいるかどうかを、第１のデバイスの画像センサを介してキャプチャされた画像に基づいて判定することを含む。一例として、図１Ｄに関して、いくつかの実装形態では、第１の電子デバイス１４は、第１の視野７２に対応する画像をキャプチャし、第２の人４２が第１の環境１０内にいるかどうかを判定するために、画像に対し顔検出／顔認識を実行する。第１の電子デバイス１４は、第２の人４２が第１の視野７２内にいるため、画像に対し顔検出／顔認識を実行した後に、第２の人４２がローカルであると判定する。
図３Ａは、通信データをマスクする方法３００のフローチャート表現である。様々な実装形態では、方法３００は、出力デバイスと、非一時的メモリと、出力デバイス及び非一時的メモリに結合された１つ以上のプロセッサと、を含む第１のデバイスによって実行される。いくつかの実装形態では、方法３００は、第１の電子デバイス１４、第２の電子デバイス４４、第１のＨＭＤ２４及び／又は第２のＨＭＤ５４によって実行される。いくつかの実装形態では、方法３００は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態では、方法３００は、非一時的コンピュータ可読媒体（例えば、メモリ）に記憶されたコードを実行するプロセッサによって実行される。
様々な実装形態において、ブロック３１０によって表されるように、方法３００は、第１のデバイスが第２のデバイスとの通信セッションにある間に、第２のデバイスに関連付けられた（例えば、第２のデバイスから発生した、又は第２のデバイスによって生成された）通信データを取得することを含む。例えば、図１Ｄに示すように、第１の電子デバイス１４は、第２の電子デバイス４４に関連付けられた第２の通信データ４６を取得する。いくつかの実装形態では、方法３００は、ネットワークを介して通信データを受信することを含む。いくつかの実装形態では、通信データは、音声データ（例えば、ネットワーク音声、例えば、図１Ａ～図１Ｆに示す第２の音声データ４８）を含む。いくつかの実装形態では、通信データは、ビデオデータ（例えば、図１Ａ～図１Ｆに示す第２のビデオデータ５０）を含む。いくつかの実装形態では、通信データは、環境データ（例えば、図１Ｃに示される第２の環境データ５２）を含む。いくつかの実装形態では、通信データ（例えば、ビデオデータ及び／又は環境データ）は、第２の人を表すＥＲオブジェクト（例えば、アバター）を符号化する。
様々な実装形態において、ブロック３２０によって表されるように、方法３００は、第１のデバイスと第２のデバイスとが共有環境内にあることを判定することを含む。いくつかの実装形態では、方法３００は、第１のデバイスによって、第２のデバイスが第１のデバイスと同じ環境内にあることを判定することを含む。例えば、図１Ｄに関して、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０内にあると判定する。いくつかの実装形態では、方法３００は、第１のデバイスによって、第２のデバイスがローカルであると判定することを含む。
様々な実装形態において、ブロック３３０によって表されるように、方法３００は、出力デバイスが通信データの一部分を出力することを防止するために、通信データの一部分をマスクすることを含む。いくつかの実装形態では、通信データの一部分をマスクすることは、通信データの一部分の提示を取りやめることを含む。例えば、図１Ｄに関して、第１の電子デバイス１４は、第２の電子デバイス４４がローカルであると判定したことに応じて、第２の通信データ４６の提示を取りやめる。様々な実装形態では、第２のデバイスがローカルであるときに通信データの一部分をマスクすることは、ネットワーク通信に関連付けられたレイテンシを伴わずに第１の人が第２の人を直接聞く、かつ／又は見ることを可能にすることによって、第１のデバイスのユーザエクスペリエンスを向上させる。
図３Ｂを参照すると、いくつかの実装形態では、ブロック３２０ａによって表されるように、第１のデバイスと第２のデバイスとが物理的共有設定にあるかどうかを判定することは、短距離通信を介して、第２のデバイスに関連付けられた識別子を検出することを含む。短距離通信の例としては、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離通信（ＮＦＣ）、ＺｉｇＢｅｅなどが挙げられる。例えば、図１Ｄに関して、いくつかの実装形態では、第１の電子デバイス１４は、短距離通信を介して、第２の電子デバイス４４に関連付けられたＩＤを検出したことに応じて、第２の電子デバイス４４がローカルであると判定する。別の例として、図１Ｆに関して、いくつかの実装形態では、第１のＨＭＤ２４は、短距離通信を介して第２のＨＭＤ５４のＩＤを検出したことに応じて、第２のＨＭＤ５４がローカルであると判定する。
いくつかの実装形態では、ブロック３２０ｂによって表されるように、第１のデバイスと第２のデバイスとが物理的共有設定にあると判定することは、第１のデバイスのマイクロフォンを介して、通信データ内に符号化された第２の音声との類似度が一定範囲内である（例えば、類似性閾値内である）第１の音声を検出することを含む。いくつかの実装形態では、方法３００は、通信データ内に符号化されたネットワーク音声との類似度が一定範囲内である直接音声を検出したことに応じて、第２のデバイスがローカルであると判定することを含む。例えば、図１Ｅに関して、いくつかの実装形態では、第１のＨＭＤ２４は、第１のＨＭＤ２４のマイクロフォンを介して発話８０を検出し、かつ発話８０が第２の通信データ４６内に符号化された第２の音声データ４８と一定範囲内の類似度にあると判定したことに応じて、第２の電子デバイス４４がローカルであると判定する。
いくつかの実装形態では、ブロック３２０ｃによって表されるように、第１のデバイスと第２のデバイスとが物理的共有設定にあると判定することは、第２のデバイスに関連付けられた人を、第１のデバイスの画像センサを介して検出することを含む。一例として、図１Ｄに関して、いくつかの実装形態では、第１の電子デバイス１４は、第１の視野７２に対応する画像をキャプチャし、第２の人４２が第１の環境１０内にいるかどうかを判定するために、画像に対し顔検出／顔認識を実行する。第１の電子デバイス１４は、第２の人４２が第１の視野７２内にいるため、画像に対し顔検出／顔認識を実行した後に、第２のデバイス４４がローカルであると判定する。
いくつかの実装形態では、ブロック３３０ａによって表されるように、出力デバイスはスピーカを含み、通信データの一部分をマスクすることは、スピーカが通信データの音声部分を再生することを防止するために、通信データの音声部分をマスクすることを含む。図１Ｄに関して説明したように、いくつかの実装形態では、第１の電子デバイス１４は、第１の電子デバイス１４のスピーカが第２の音声データ４８を再生することを防止するために、第２の音声データ４８をマスクする。本明細書で説明するように、第１の電子デバイス１４で第２の音声データ４８を再生することを取りやめることは、第１の人１２が、第２の人４２によって発っせられている発話８０を、第２の音声データ４８からの干渉なしに聞くことを可能にすることによって、第１の電子デバイス１４のユーザエクスペリエンスを向上させる。
いくつかの実装形態では、ブロック３３０ｂによって表されるように、出力デバイスはディスプレイを含み、通信データの一部分をマスクすることは、ディスプレイが通信データのビデオ部分を表示することを防止するために、通信データのビデオ部分をマスクすることを含む。図１Ｅに関して説明したように、いくつかの実装形態では、第１のＨＭＤ２４は、第１のＨＭＤ２４のディスプレイが第２のビデオデータ５０を表示することを防止するために、第２のビデオデータ５０をマスクする。本明細書に記載されるように、第１のＨＭＤ２４における第２のビデオデータ５０の表示を取りやめることは、第１の人１２が第２のビデオデータ５０によって邪魔されないようにし、第１の人１２が第１の環境１０の第１のパススルー８４を見ることを可能にすることによって、第１のＨＭＤ２４のユーザエクスペリエンスを向上させる。
いくつかの実装形態では、ブロック３３０ｃによって表されるように、通信データは、第２のデバイスに関連付けられた人のＥＲ表現を符号化し、通信データの一部分をマスクすることは、人のＥＲ表現の表示を取りやめることを含む。例えば、図１Ｆに関して説明したように、いくつかの実装形態では、第１のＨＭＤ２４は、第２の人４２が第１のＨＭＤ２４と同じ環境内にあると判定したことに応じて、第２の人４２を表すＥＲオブジェクト３０の表示を取りやめる。本明細書に記載されるように、第１のＨＭＤ２４におけるＥＲオブジェクト３０の表示を取りやめることは、第１の人１２が、ＥＲオブジェクト３０を生成し、表示するよりも短いレイテンシに関連付けられた第１のパススルー８４を見ることを可能にすることによって、第１のＨＭＤ２４のユーザエクスペリエンスを向上させる。
いくつかの実装形態では、ブロック３４０によって表されるように、方法３００は、物理的共有設定のパススルーを提示することを含む。例えば、図１Ｅ及び図１Ｆに示すように、第１のＨＭＤ２４は、第１の環境１０の第１のパススルー８４を提示する。いくつかの実装形態では、ブロック３４０ａによって表されるように、パススルーを提示することは、物理的共有設定の光学パススルーを提示することを含む。例えば、図１Ｅ及び図１Ｆに関して説明したように、いくつかの実装形態では、第１のパススルー８４は、第１のＨＭＤ２４が、第１の環境１０からの光を第１の人１２の眼に到達させる光学パススルーを含む。いくつかの実装形態では、ブロック３４０ｂによって表されるように、パススルーを提示することは、物理的共有設定のビデオパススルーを表示することを含む。例えば、図１Ｅ及び図１Ｆに関して説明したように、いくつかの実装形態では、第１のパススルー８４は、第１のＨＭＤ２４のディスプレイが、第１の検出視野８２に対応するビデオストリームを表示するビデオパススルーを含む。
図３Ｃを参照すると、ブロック３５０によって表されるように、いくつかの実装形態では、方法３００は、物理的共有設定から離れる第２のデバイスの動きを検出することと、出力デバイスが通信データの一部分を出力することを可能にするために、通信データの一部分をマスクすることを取りやめることとを含む。例えば、いくつかの実装形態では、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０を去ったことを検出し、第１の電子デバイス１４は、第２の電子デバイス４４が第１の環境１０を去ったことを検出したことに応じて、第２の通信データ４６をマスクすることを取りやめる。
いくつかの実装形態では、ブロック３５０ａによって表されるように、物理的共有設定から離れる第２のデバイスの動きを検出することは、第２のデバイスに関連付けられた識別子が、短距離通信を介して検出できないと判定することを含む。例えば、いくつかの実装形態では、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第２の電子デバイス４４及び／又は第２のＨＭＤ５４に関連付けられたＩＤが、短距離通信を介して検出できないと判定する。
いくつかの実装形態では、ブロック３５０ｂによって表されるように、物理的共有設定から離れる第２のデバイスの動きを検出することは、第１のデバイスのマイクロフォンを介して検出された第１の音声が、通信データ内に符号化された第２の音声と一定範囲内の類似度にないと判定することを含む。例えば、いくつかのが実装形態では、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第１の電子デバイス１４及び／又は第１のＨＭＤ２４のマイクロフォンを介して検出された音声が、第２の音声データ４８に一致しないと判定する。
いくつかの実装形態では、ブロック３５０ｃによって表されるように、物理的共有設定から離れる第２のデバイスの動きを検出することは、第１のデバイスの環境センサによってキャプチャされた環境データが、第２のデバイスに関連付けられた人が物理的共有設定から立ち去ったことを示していると判定することを含む。例えば、いくつかの実装形態では、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第１の電子デバイス１４及び／又は第１のＨＭＤ２４の環境センサによってキャプチャされた環境データ（例えば、カメラによってキャプチャされた画像及び／又は深度センサによってキャプチャされた深度データ）が、第２の人４２が第１の環境１０内にいないことを示すと判定する。
いくつかの実装形態では、ブロック３５０ｄによって表されるように、出力デバイスはスピーカを含み、通信データの一部分をマスクすることを取りやめることは、スピーカを介して通信データの音声部分を出力することを含む。例えば、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第２の電子デバイス４４及び／又は第２のＨＭＤ５４が第１の環境１０を去ったと判定したことに応じて、第２の音声データ４８を出力する。
いくつかの実装形態では、ブロック３５０ｅによって表されるように、音声部分を出力することは、音声部分が第２のデバイスに関連付けられた人のＥＲ表現から発せられたかのような状況を提供するために、音声部分を空間化することを含む。例えば、図１Ｂ及び図１Ｃに関して説明したように、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第２の音声データ４８が、カードＧＵＩ要素２８又は第２の人４２を表すＥＲオブジェクト３０から発せられているかのような状況を提供するために、第２の音声データ４８を空間化させる。
いくつかの実装形態では、ブロック３５０ｆによって表されるように、出力デバイスはディスプレイを含み、通信データの一部分をマスクすることを取りやめることは、ディスプレイ上に通信データのビデオ部分を表示することを含む。例えば、いくつかの実装形態では、第１の電子デバイス１４及び／又は第１のＨＭＤ２４は、第２の電子デバイス４４が第１の環境１０を去ったことを検出したことに応じて、第２のビデオデータ５０を表示する。
いくつかの実装形態では、ブロック３５０ｇによって表されるように、通信データは、第２のデバイスに関連付けられた人のＥＲ表現を符号化し、通信データの一部をマスクすることを取りやめることは、人のＥＲ表現を表示することを含む。例えば、いくつかの実装形態では、第１のＨＭＤ２４は、第２のＨＭＤ５４が第１の環境１０を去ったことを検出したことに応じて、第２の人４２を表すＥＲオブジェクト３０を表示する。
図４は、いくつかの実装形態に係る、通信データを提示／マスクするデバイス４００のブロック図である。特定の個別の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのために、非限定的な例として、いくつかの実装形態では、デバイス４００は、１つ以上の処理ユニット（ＣＰＵ）４０１、ネットワークインタフェース４０２、プログラミングインタフェース４０３、メモリ４０４、環境センサ４０７、１つ以上の入出力（Ｉ／Ｏ）デバイス４１０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス４０５を含む。
いくつかの実装形態では、ネットワークインタフェース４０２は、他の用途のうちでもとりわけ、クラウドホスト型ネットワーク管理システムと、１つ以上の準拠したデバイスを含む少なくとも１つのプライベートネットワークとの間で、メタデータトンネルを確立及び維持するために提供される。いくつかの実装形態では、１つ以上の通信バス４０５は、システム構成要素間を相互接続し、かつ通信を制御する回路を含む。メモリ４０４は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセス半導体メモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光学ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ４０４は、１つ以上のＣＰＵ４０１からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ４０４は、非一時的コンピュータ可読記憶媒体を含む。
様々な実装形態では、環境センサ４０７は画像センサを含む。例えば、いくつかの実装形態では、環境センサ４０７は、カメラ（例えば、シーンに面するカメラ、外向きカメラ、又は後向きカメラ）を含む。いくつかの実装形態では、環境センサ４０７は、深度センサを含む。例えば、いくつかの実装形態では、環境センサ４０７は深度カメラを含む。
いくつかの実装形態では、メモリ４０４、又はメモリ４０４の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム４０６、データ取得器４１０、環境分析器４２０、及びＥＲエクスペリエンス生成器４３０などのプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。様々な実装形態では、デバイス４００は、図２Ａ～図２Ｄに示される方法２００を実行する。様々な実装形態では、デバイス４００は、図３Ａ～図３Ｃに示される方法３００を実行する。様々な実装形態では、デバイス４００は、第１の電子デバイス１４、第２の電子デバイス４４、第１のＨＭＤ２４、第２のＨＭＤ５４、第３の電子デバイス９４及び／又は第３のＨＭＤ１０４を実装する。
いくつかの実装形態では、データ取得器４１０はデータを取得する。いくつかの実装形態では、データ取得器４１０は、別のデバイス（例えば、図１Ａ～図１Ｆに示す第２の通信データ４６）と関連付けられた通信データを取得する。いくつかの実装形態では、データ取得器４１０は、方法２００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、データ取得器４１０は、図２Ａに示すブロック２１０によって表される動作を実行する。いくつかの実装形態では、データ取得器４１０は、方法３００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、データ取得器４１０は、図３Ａに示すブロック３１０によって表される動作を実行する。そのために、データ取得器４１０は、命令４１０ａ、並びにヒューリスティックス及びメタデータ４１０ｂを含む。
本明細書に記載されるように、いくつかの実装形態では、環境分析器４２０は、デバイス４００と別のデバイスとが共有環境内にあるか否かを判定する。例えば、環境分析器４２０は、第１の電子デバイス１４と第２の電子デバイス４４とが第１の環境１０内にあるか否かを判定する。いくつかの実装形態では、環境分析器４２０は、方法２００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、環境分析器４２０は、図２Ａ及び図２Ｄのブロック２２０によって表される動作を実行する。いくつかの実装形態では、環境分析器４２０は、方法３００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、環境分析器４２０は、図３Ａ及び図３Ｂのブロック３２０によって表される動作を実行する。そのために、環境分析器４２０は、命令４２０ａ並びにヒューリスティックス及びメタデータ４２０ｂを含む。
いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、環境分析器４２０が、他のデバイスがリモートである（例えば、デバイス４００と同じ環境内にない）ことを判定したことに応じて、他のデバイスに関連付けられた人のＥＲ表現を表示する。いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、方法２００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、図２Ａ～図２Ｃのブロック２３０、２４０、２５０、及び２６０によって表される動作を実行する。いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、環境分析器４２０が、他のデバイスがローカルである（例えば、デバイス４００と同じ環境内にある）と判定したことに応じて、通信データの一部分をマスクする。いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、方法３００の少なくとも一部分を実行する。例えば、いくつかの実装形態では、ＥＲエクスペリエンス生成器４３０は、図３Ａ～図３Ｃに示されるブロック３３０、３４０、及び３５０によって表される動作を実行する。そのために、ＥＲエクスペリエンス生成器４３０は、命令４３０ａ並びにヒューリスティックス及びメタデータ４３０ｂを含む。
いくつかの実装形態では、１つ以上のＩ／Ｏデバイス４１０は、環境に関連付けられた環境データ（例えば、図１Ａ～図１Ｇに示される第１の環境１０）をキャプチャするための１つ以上のセンサを含む。例えば、いくつかの実装形態では、１つ以上のＩ／Ｏデバイス４１０は、画像センサ（例えば、カメラ）、周囲光センサ（ＡＬＳ）、マイクロフォン、及び／又は位置センサを含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス４１０は、ディスプレイ（例えば、不透明ディスプレイ若しくは光学シースルーディスプレイ）及び／又は通信データを提示するためのスピーカを含む。
添付の特許請求の範囲内の実装形態の様々な態様を上述したが、上述の実装形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の特定の構造及び／又は機能は単なる例示に過ぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの２つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよい、及び／又は方法が実行されてもよい。加えて、本明細書に記載される態様のうちの１つ以上に加えて、又はその他の構造及び／又は機能を使用して、このような装置が実装されてもよい、及び／又はこのような方法が実行されてもよい。
本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１ノード」の全ての出現について一貫して名前が変更され、「第２ノード」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１ノードは第２ノードと呼ぶことができ、同様に、第２ノードは第１ノードと呼ぶことができる。第１のノードと第２のノードは両方ともノードであるが、それらは同じノードではない。
本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「含む」及び／又は「含んでいる」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。
本明細書で使用されるとき、用語「場合」は、文脈に応じて、「ときに」若しくは「際に」、又は先に述べた条件が正しいとの「判定に従って」、「判定に応じて」、若しくは「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」、「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］とき」というフレーズは、先に述べた条件が正しいとの「判定に際して」、「判定に応じて」、「判定に従って」、「検出した際に」、又は「検出に応じて」ということを意味するものと解釈できる。

Claims (49)

  1. 第１の人に関連付けられた第１のデバイスであって、ディスプレイと、非一時的メモリと、前記ディスプレイ及び前記非一時的メモリに結合された１つ以上のプロセッサと、を含む、第１のデバイスにおいて、
    第２の人に対応する第２のデバイスと関連付けられた通信データを取得することと、
    前記第１のデバイスと前記第２のデバイスとが共有環境内にあるかどうかを判定することと、
    前記第１のデバイスと前記第２のデバイスとが共有環境内にないと判定したことに応じて、前記第２のデバイスに関連付けられた前記通信データに基づいて、前記第２の人の仮想表現を表示することと、を含む、方法。
  2. 前記第２のデバイスのデバイスタイプを判定することと、前記デバイスタイプに基づいて、前記第２の人の前記仮想表現を生成することと、を更に含む、請求項１に記載の方法。
  3. 前記デバイスタイプが第１のデバイスタイプであることに応じて、前記第２のデバイスに関連付けられた前記通信データに基づいて、前記第２の人の第１のタイプの前記仮想表現を生成することを更に含む、請求項２に記載の方法。
  4. 前記第２の人の前記第１のタイプの前記仮想表現を生成することが、前記第２の人を表す３次元（３Ｄ）仮想オブジェクトを生成することを含む、請求項３に記載の方法。
  5. 前記第１のデバイスタイプが、ヘッドマウントデバイス（ＨＭＤ）を含む、請求項３又は４に記載の方法。
  6. 前記デバイスタイプが第２のデバイスタイプであることに応じて、前記第２のデバイスに関連付けられた前記通信データに基づいて、前記第２の人の第２のタイプの前記仮想表現を生成することを更に含む、請求項２に記載の方法。
  7. 前記第２の人の前記第２のタイプの前記仮想表現を生成することは、前記第２の人を表す２次元（２Ｄ）仮想オブジェクトを生成することを含む、請求項６に記載の方法。
  8. 前記第２のタイプの前記仮想表現は、前記第２の人のビデオを含み、前記ビデオは、前記第２のデバイスに関連付けられた前記通信データ内に符号化される、請求項６に記載の方法。
  9. 前記第２のデバイスタイプは、ハンドヘルドデバイスを含む、請求項６から８のいずれか一項に記載の方法。
  10. 前記第２のデバイスタイプは、ヘッドマウントデバイスではないデバイスを含む、請求項６から９のいずれか一項に記載の方法。
  11. カードの類似性閾値内であるグラフィカルユーザインタフェース（ＧＵＩ）要素内に、前記第２の人の前記第２のタイプの前記仮想表現を表示することを更に含む、請求項６から１０のいずれか一項に記載の方法。
  12. 前記第１のデバイスが１つ以上のスピーカを含み、
    前記方法は、前記第２の人に対応する音声を、前記１つ以上のスピーカを介して出力することを更に含み、
    前記第２の人の前記仮想表現から前記音声が発せられているかのような状況を提供するために、前記音声が空間化される、
    請求項１から１１のいずれか一項に記載の方法。
  13. 前記第２のデバイスに関連付けられた前記通信データに基づいて、前記音声を生成することを更に含む、請求項１２に記載の方法。
  14. 前記音声が表面に反射しているかのような状況を提供するために、初期反射音を生成することを更に含む、請求項１２又は１３に記載の方法。
  15. 前記音声が反響を有するかのような状況を提供するために、後期残響音を生成することを更に含む、請求項１２から１４のいずれか一項に記載の方法。
  16. 前記第１のデバイスと前記第２のデバイスとが共有環境内にあると判定したことに応じて、前記第２の人の前記仮想表現の表示を取りやめることを更に含む、請求項１から１５のいずれか一項に記載の方法。
  17. 前記共有環境のパススルーを提示することを更に含む、請求項１６に記載の方法。
  18. 前記パススルーを提示することが、前記共有環境の光学パススルーを提示することを含む、請求項１７に記載の方法。
  19. 前記パススルーを提示することが、前記共有環境のビデオパススルーを表示することを含む、請求項１７に記載の方法。
  20. 前記パススルーを提示することが、ウィンドウを表示することと、前記パススルーを前記ウィンドウ内に表示することと、を含む、請求項１７から１９のいずれか一項に記載の方法。
  21. 前記共有環境が、物理的共有設定を含む、請求項１から２０のいずれか一項に記載の方法。
  22. 前記共有環境が、共有の強化現実（ＥＲ）設定を含む、請求項１から２０のいずれか一項に記載の方法。
  23. 前記第１のデバイスと前記第２のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第２のデバイスに関連付けられた識別子が、短距離通信を介して検出可能かどうかを判定することを含む、請求項１から２２のいずれか一項に記載の方法。
  24. 前記第１のデバイスと前記第２のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第１のデバイスのマイクロフォンを介して受信した音声が、前記第２のデバイスに関連付けられた前記通信データ内に符号化された音声の類似性閾値内にあるかどうかを判定することを含む、請求項１から２３のいずれか一項に記載の方法。
  25. 前記第１のデバイスと前記第２のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第２の人が前記共有環境内にいるかどうかを、前記第１のデバイスの画像センサを介してキャプチャされた画像に基づいて判定することを含む、請求項１から２４のいずれか一項に記載の方法。
  26. １つ以上のプロセッサと、
    ディスプレイと、
    非一時的メモリと、
    前記非一時的メモリに記憶された１つ以上のプログラムと、を備えるデバイスであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されたときに、前記デバイスに請求項１から２５のいずれか一項に記載の方法を実行させる、デバイス。
  27. １つ以上のプログラムを記憶する非一時的メモリであって、前記１つ以上のプログラムが、ディスプレイを有するデバイスの１つ以上のプロセッサによって実行されたときに、前記デバイスに請求項１から２５のいずれか一項に記載の方法を実行させる、非一時的メモリ。
  28. デバイスであって、
    １つ以上のプロセッサと、
    ディスプレイと、
    非一時的メモリと、
    前記デバイスに請求項１から２５のいずれか一項に記載の方法を実行させる手段と、を備える、デバイス。
  29. 出力デバイスと、非一時的メモリと、前記出力デバイス及び前記非一時的メモリと結合された１つ以上のプロセッサと、を含む第１のデバイスにおいて、
    前記第１のデバイスが第２のデバイスとの通信セッションにある間に、
    前記第２のデバイスと関連付けられた通信データを取得することと、
    前記第１のデバイス及び前記第２のデバイスが物理的共有設定にあると判定することと、
    前記出力デバイスが前記通信データの一部分を出力することを防止するために、前記通信データの前記一部分をマスクすることと、
    を含む、方法。
  30. 前記出力デバイスが、スピーカを含み、前記通信データの前記一部分をマスクすることは、前記スピーカが前記通信データの音声部分を再生することを防止するために、前記通信データの前記音声部分をマスクすることを含む、請求項２９に記載の方法。
  31. 前記出力デバイスが、ディスプレイを含み、前記通信データの前記一部分をマスクすることは、前記ディスプレイが前記通信データのビデオ部分を表示することを防止するために、前記通信データの前記ビデオ部分をマスクすることを含む、請求項２９又は３０に記載の方法。
  32. 前記通信データは、前記第２のデバイスに関連付けられた人の仮想表現を符号化し、前記通信データの前記一部分をマスクすることは、前記人の前記仮想表現の表示を取りやめることを含む、請求項２９から３１のいずれか一項に記載の方法。
  33. 前記物理的共有設定のパススルーを提示することを更に含む、請求項２９から３２のいずれか一項に記載の方法。
  34. 前記パススルーを提示することが、前記物理的共有設定の光学パススルーを提示することを含む、請求項３３に記載の方法。
  35. 前記パススルーを提示することが、前記物理的共有設定のビデオパススルーを表示することを含む、請求項３３に記載の方法。
  36. 前記第１のデバイスと前記第２のデバイスとが前記物理的共有設定にあると判定することは、前記第２のデバイスに関連付けられた識別子を、短距離通信を介して検出することを含む、請求項２９から３５のいずれか一項に記載の方法。
  37. 前記第１のデバイスと前記第２のデバイスとが前記物理的共有設定にあると判定することは、前記通信データ内に符号化された第２の音声の類似性閾値内にある第１の音声を、前記第１のデバイスのマイクロフォンを介して検出することを含む、請求項２９から３６のいずれか一項に記載の方法。
  38. 前記第１のデバイス及び前記第２のデバイスが前記物理的共有設定にあると判定することは、前記第２のデバイスに関連付けられた人を、前記第１のデバイスの画像センサを介して検出することを含む、請求項２９から３７のいずれか一項に記載の方法。
  39. 前記物理的共有設定から離れる前記第２のデバイスの動きを検出することと、
    前記出力デバイスが前記通信データの前記一部分を出力することを可能とするために、前記通信データの前記一部分をマスクすることを取りやめることと、を更に含む、請求項２９から３８のいずれか一項に記載の方法。
  40. 前記物理的共有設定から離れる前記第２のデバイスの前記動きを検出することは、前記第２のデバイスに関連付けられた識別子が、短距離通信を介して検出できないと判定することを含む、請求項３９に記載の方法。
  41. 前記物理的共有設定から離れる前記第２のデバイスの前記動きを検出することは、前記第１のデバイスのマイクロフォンを介して検出された第１の音声が、前記通信データ内に符号化された第２の音声の類似性閾値内にないと判定することを含む、請求項３９又は４０に記載の方法。
  42. 前記物理的共有設定から離れる前記第２のデバイスの前記動きを検出することは、前記第１のデバイスの環境センサによってキャプチャされた環境データが、前記第２のデバイスに関連付けられた人が前記物理的共有設定から立ち去ったことを示すと判定することを含む、請求項３９から４１のいずれか一項に記載の方法。
  43. 前記出力デバイスが、スピーカを含み、前記通信データの前記一部分をマスクすることを取りやめることは、前記通信データの音声部分を、前記スピーカを介して出力することを含む、請求項３９から４２のいずれか一項に記載の方法。
  44. 前記音声部分を出力することは、前記第２のデバイスに関連付けられた人の仮想表現から前記音声部分が発せられているかのような状況を提供するために、前記音声部分を空間化することを含む、請求項４３に記載の方法。
  45. 前記出力デバイスが、ディスプレイを含み、前記通信データの前記一部分をマスクすることを取りやめることは、前記通信データのビデオ部分を前記ディスプレイ上に表示することを含む、請求項３９から４４のいずれか一項に記載の方法。
  46. 前記通信データは、前記第２のデバイスに関連付けられた人の仮想表現を符号化し、前記通信データの前記一部分をマスクすることを取りやめることは、前記人の前記仮想表現を表示することを含む、請求項３９から４５のいずれか一項に記載の方法。
  47. １つ以上のプロセッサと、
    ディスプレイと、
    非一時的メモリと、
    前記非一時的メモリに記憶された１つ以上のプログラムと、
    を備える、デバイスであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されたときに、前記デバイスに請求項２９から４６のいずれか一項に記載の方法を実行させる、デバイス。
  48. １つ以上のプログラムを記憶する非一時的メモリであって、前記１つ以上のプログラムが、ディスプレイを有するデバイスの１つ以上のプロセッサによって実行されたときに、前記デバイスに請求項２９から４６のいずれか一項に記載の方法を実行させる、非一時的メモリ。
  49. デバイスであって、
    １つ以上のプロセッサと、
    ディスプレイと、
    非一時的メモリと、
    前記デバイスに請求項２９から４６のいずれか一項に記載の方法を実行させる手段と、を備える、デバイス。
JP2021564638A 2019-05-31 2020-05-28 環境に基づく通信データの提示 Active JP7397883B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855155P 2019-05-31 2019-05-31
US62/855,155 2019-05-31
PCT/US2020/034771 WO2020243212A1 (en) 2019-05-31 2020-05-28 Presenting communication data based on environment

Publications (2)

Publication Number Publication Date
JP2022532864A true JP2022532864A (ja) 2022-07-20
JP7397883B2 JP7397883B2 (ja) 2023-12-13

Family

ID=71078664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564638A Active JP7397883B2 (ja) 2019-05-31 2020-05-28 環境に基づく通信データの提示

Country Status (6)

Country Link
US (1) US20230334794A1 (ja)
EP (1) EP3977242A1 (ja)
JP (1) JP7397883B2 (ja)
KR (1) KR20220002444A (ja)
CN (1) CN113767358A (ja)
WO (1) WO2020243212A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141456A1 (en) * 2011-12-05 2013-06-06 Rawllin International Inc. Automatic modification of image content for display on a different device
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
WO2018155052A1 (ja) * 2017-02-24 2018-08-30 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理システム
US20180341618A1 (en) * 2015-12-08 2018-11-29 Alibaba Group Holding Limited Method and apparatus for scene perception and service provision
US20190088016A1 (en) * 2017-09-15 2019-03-21 Trimble Inc. Collaboration methods to improve use of 3d models in mixed reality environments
US20190150875A1 (en) * 2017-11-17 2019-05-23 Siemens Healthcare Gmbh Method and operating system for controlling a medical technology facility with a movable component

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
WO2019067780A1 (en) * 2017-09-28 2019-04-04 Dakiana Research Llc METHOD AND DEVICE FOR REPAIRING INTERACTIONS WITH THE PHYSICAL ENVIRONMENT DURING SIMULATED REALITY SESSIONS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141456A1 (en) * 2011-12-05 2013-06-06 Rawllin International Inc. Automatic modification of image content for display on a different device
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20180341618A1 (en) * 2015-12-08 2018-11-29 Alibaba Group Holding Limited Method and apparatus for scene perception and service provision
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
WO2018155052A1 (ja) * 2017-02-24 2018-08-30 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理システム
US20190088016A1 (en) * 2017-09-15 2019-03-21 Trimble Inc. Collaboration methods to improve use of 3d models in mixed reality environments
US20190150875A1 (en) * 2017-11-17 2019-05-23 Siemens Healthcare Gmbh Method and operating system for controlling a medical technology facility with a movable component

Also Published As

Publication number Publication date
EP3977242A1 (en) 2022-04-06
CN113767358A (zh) 2021-12-07
WO2020243212A1 (en) 2020-12-03
US20230334794A1 (en) 2023-10-19
KR20220002444A (ko) 2022-01-06
JP7397883B2 (ja) 2023-12-13

Similar Documents

Publication Publication Date Title
US11804019B2 (en) Media compositor for computer-generated reality
US9479736B1 (en) Rendered audiovisual communication
CN111052770B (zh) 空间音频下混频的方法及***
US20210279898A1 (en) Object detection using multiple three dimensional scans
US20240007790A1 (en) Method and device for sound processing for a synthesized reality setting
US20230344973A1 (en) Variable audio for audio-visual content
US20230290047A1 (en) Interactions during a video experience
US11947733B2 (en) Muting mode for a virtual object representing one or more physical elements
JP7397883B2 (ja) 環境に基づく通信データの提示
EP3623908A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
US20230262406A1 (en) Visual content presentation with viewer position-based audio
US11924317B1 (en) Method and system for time-aligned media playback
US11989404B1 (en) Time-based visualization of content anchored in time
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US11955028B1 (en) Presenting transformed environmental information
US20240220031A1 (en) Muting mode for a virtual object representing one or more physical elements
US20240005511A1 (en) Immediate Proximity Detection and Breakthrough with Visual Treatment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231201

R150 Certificate of patent or registration of utility model

Ref document number: 7397883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150