JP2023551181A - 仮想会議において送信参加者の3d表現を提供すること - Google Patents
仮想会議において送信参加者の3d表現を提供すること Download PDFInfo
- Publication number
- JP2023551181A JP2023551181A JP2023530518A JP2023530518A JP2023551181A JP 2023551181 A JP2023551181 A JP 2023551181A JP 2023530518 A JP2023530518 A JP 2023530518A JP 2023530518 A JP2023530518 A JP 2023530518A JP 2023551181 A JP2023551181 A JP 2023551181A
- Authority
- JP
- Japan
- Prior art keywords
- real
- time
- data
- representation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 25
- 238000004891 communication Methods 0.000 description 15
- 238000009877 rendering Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000002790 cross-validation Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Radio Relay Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
仮想会議において送信参加者の3次元(3D)表現を提供するための方法が提供される。本方法は、表現プロバイダ(1)において実施され、人の少なくとも部位の非リアルタイム3Dモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム3Dデータを取得することと、送信参加者の組み合わせられた3D表現を生じる、非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせることとを含む。【選択図】図3
Description
本開示は、仮想会議において送信参加者の3次元(3D)表現を提供するための方法、仮想会議において送信参加者の3D表現を提供するための表現プロバイダ、および仮想会議において送信参加者の3D表現を提供するためのコンピュータプログラムに関する。
リモート仮想会議の必要が、継続的に増加している。今日、たとえば、Microsoft Teamsを介した、2次元(2D)ビデオが一般的であるが、より強力なエクステンデッドリアリティ(XR)デバイスによって推進される3次元(3D)没入型通信が、すぐに、仮想会議のユーザ体感を次のレベルに至らせることになる。XRは、拡張現実(AR)、仮想現実(VR)などのための包括的な用語である。
3D仮想会議が機能するために、各参加者は、たとえば、たとえば、ライダー、レーダー、またはステレオイメージングなどの技術に基づく、3Dイメージングデバイスを使用してキャプチャされるべきである。しかしながら、3Dイメージングは、参加者のユーザデバイス間で転送されるべき大量のデータを生じる。
リアルタイムでの、ポイントクラウドなど、3Dイメージングデバイス、3Dストリームからのデータのキャプチャおよびエンコーディングは、仮想会議にとって課題のままである。これはまた、広く変動する帯域幅(一時的なスパイク/アウテージ)をもつネットワークにとって、および3Dキャプチャストリームの帯域幅需要を考慮すると、問題になる。別の問題は、会議(conferencing)体感に著しく悪影響を及ぼす、ネットワークレイテンシジッタである。
1つの目的は、3D仮想会議のためのリソース使用量、特に、帯域幅などのネットワークリソース使用量を低減することである。
第1の態様によれば、仮想会議において送信参加者の3D表現を提供するための方法が提供される。本方法は、表現プロバイダにおいて実施される。本方法は、人の少なくとも部位(part)の非リアルタイム3Dモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム3Dデータ(partial realtime 3D data)を取得することと、送信参加者の組み合わせられた3D表現を生じる、非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせることとを含む。
第2の態様によれば、仮想会議において送信参加者の3D表現を提供するための表現プロバイダが提供される。本表現プロバイダは、プロセッサと、命令を記憶したメモリとを備え、命令は、プロセッサによって実行されると、本表現プロバイダに、人の少なくとも部位の非リアルタイム3Dモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム3Dデータを取得することと、送信参加者の組み合わせられた3D表現を生じる、非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせることとを行わせる。
第3の態様によれば、仮想会議において送信参加者の3D表現を提供するためのコンピュータプログラムが提供される。本コンピュータプログラムはコンピュータプログラムコードを備え、コンピュータプログラムコードは、表現プロバイダ上で実行されると、表現プロバイダに、人の少なくとも部位の非リアルタイム3Dモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム3Dデータを取得することと、送信参加者の組み合わせられた3D表現を生じる、非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせることとを行わせる。
第4の態様によれば、第3の態様によるコンピュータプログラムと、コンピュータプログラムが記憶されるコンピュータ可読手段とを備えるコンピュータプログラム製品が提供される。
本コンテキストでは、部分的リアルタイム3Dデータは、送信参加者の部位、たとえば、参加者の頭部などいくつかの身体部位を表すライブカメラストリームであると理解される。ライブカメラストリームは、仮想会議中にリアルタイムでキャプチャされる。人の少なくとも部位の非リアルタイム3Dモデルは、送信参加者を表す3Dモデルであり、その3Dモデルに基づいて、部分的リアルタイム3Dデータを非リアルタイム3Dモデルと組み合わせることによって、送信参加者の完全表現が導出され得ると理解される。非リアルタイム3Dモデルは、あらかじめ生成され(非リアルタイム)、たとえば、送信参加者と同じ性別および身体タイプの人間のための一般モデル、あるいは、送信参加者に固有であるモデルであり得る。参加者の完全表現の代わりに、仮想会議中に部分的リアルタイム3Dデータのみを送信することと、部分的リアルタイム3Dデータを非リアルタイム3Dモデルと組み合わせることとによって、会議中のネットワーク帯域幅に関する要件が低減される。
概して、特許請求の範囲において使用されるすべての用語は、本明細書で別段明示的に規定されない限り、本技術分野におけるその通例の意味に従って解釈されるべきである。「1つの(a/an)/その(the)エレメント、装置、構成要素、手段、ステップなど」へのすべての言及は、別段明示的に述べられていない限り、そのエレメント、装置、構成要素、手段、ステップなどの少なくとも1つの事例を指すようにオープンに解釈されるべきである。本明細書で開示されるいずれの方法のステップも、明示的に述べられていない限り、開示される厳密な順序で実施される必要はない。
次に、例として、添付の図面を参照しながら、態様および実施形態が説明される。
次に、本発明のいくつかの実施形態が示されている添付の図面を参照しながら、本開示の態様が以下でより十分に説明される。しかしながら、これらの態様は、多くの異なる形態で具現化され得、限定的なものとして解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明のすべての態様の範囲を当業者に十分に伝えるように、例として提供される。同様の番号は、説明全体にわたって同様のエレメントを指す。
本明細書で提示される実施形態は、(送信参加者におけるイメージングデバイスによってリアルタイムでキャプチャされた)部分的リアルタイム3Dデータを非リアルタイム3Dモデルと組み合わせることによって、仮想会議において参加者のリソース効率的な3D表現を提供する。3Dコンピュータ生成されたアバターに依拠する従来技術とは対照的に、本明細書で提示される実施形態は、3Dイメージングデバイスによってキャプチャされたライブ3Dデータで送信参加者の3Dモデルをオーグメントすることによって、会議参加者の現実的な表現を提供する。送信参加者の完全なキャプチャ表現を提供する、フル3Dキャプチャ深度画像は、帯域幅集約的であることと、レイテンシに関して厳しいことの両方であるので、本明細書で提示される実施形態は、3Dイメージングデバイスからリアルタイムでキャプチャされた部分的リアルタイム3Dデータを、参加者の非リアルタイム3Dモデル表現と組み合わせて、リアル3D表現と低減されたネットワーク要件の両方を提供する。
本明細書で提示される実施形態では、(たとえば、ストリームの形態の)部分的リアルタイム3Dデータが、(本明細書では送信参加者と示される)参加者の3Dイメージングデバイスからネットワーク中のサーバ(たとえば、エッジクラウドサーバ)にリアルタイムで送信され、ここで、部分的リアルタイム3Dデータは、トレーニングされた非リアルタイム3Dモデルと組み合わせられて、送信参加者の組み合わせられた3D表現を提供する。これは、リアルタイム3Dデータを配信するためのネットワークに関する帯域幅要件を低減し、サーバにおいて、参加者の3Dモデルを、参加者を部分的に表すリアルタイム3Dストリームと組み合わせて、受信ユーザデバイスによってレンダリングするための送信参加者の完全な3D表現を提供する。非リアルタイム3Dモデルは、プライバシーをセキュアにするために、随意に暗号化される。その目的は、送信参加者に、3Dモデルがどのように使用されるか、すなわち、3Dモデルが承諾なしに再使用されないことの制御を与えることである。
本明細書で提示される実施形態は、ネットワークに関するリアルタイム帯域幅およびレイテンシおよびレイテンシジッタ要件を低減する。今日、3Dにおける仮想会議は、2Dビデオ通信と比較して、参加者に3D没入型体感を提供する。ここでは、仮想会議が、少なくとも2人の参加者間で3D機器を使用する仮想プレゼンスを可能にする任意の接続として、たとえば、3Dビデオ通話、3D仮想営業会議、3D仮想法廷審問などとして解釈されるべきであることに留意されたい。
実施形態は、モバイル事業者ドメイン中のいわゆるエッジクラウドにおけるサーバに基づき得、サーバは、このようにして、エッジクラウドサーバからユーザデバイスへの仮想3D通信および随意にセキュア3D通信のための新しいサービスオファーを提供することができる。
低減された帯域幅、レイテンシおよびレイテンシジッタ要件は、仮想3D通信サービスが、通常ならば可能であるよりも、奥まった屋内ロケーションを含むセルエッジにおいてなど、ネットワークのより大きい部位において、すなわち、ネットワーク中のより深部に、提供されることを可能にする。
図1は、本明細書で提示される実施形態が仮想会議のために適用され得る環境を示す概略図である。第1の参加者7aと、第2の参加者7bと、第3の参加者とがいる。異なるエンティティ間の通信が、通信ネットワーク6によって可能にされる。通信ネットワークは、インターネットプロトコル(IP)ベースのネットワークであり得る。ネットワークは、たとえば、ローカルワイヤレスネットワーク、セルラネットワーク、有線ローカルエリアネットワーク、(インターネットなど)ワイドエリアネットワークなどのうちのいずれか1つまたは複数を備えることができる。
第1の参加者5aは、第1の物理的空間7a(たとえば、自宅またはオフィス)におり、3Dコンテンツをレンダリングすることが可能な第1のユーザデバイス2aを有する。たとえば、第1のユーザデバイス2aは、たとえば、眼鏡、スマートフォン、またはタブレットの形態の、XRデバイスであり得る。第1の参加者5aの3D画像をキャプチャするために、第1の3Dイメージングデバイス4aが提供される。随意に、第1の3Dイメージングデバイス4aは、第1のユーザデバイス2aの部位(図示せず)を形成する。第1のユーザデバイス2aと第1の3Dイメージングデバイス4aとの各々が、(図示のように)直接、または、別のローカルデバイスを介して(たとえば、第1のユーザデバイス2aを介して)のいずれかで、通信ネットワーク6に接続される。
第2の参加者5bは、第2の物理的空間7b(たとえば、自宅またはオフィス)におり、3Dコンテンツをレンダリングすることが可能な第2のユーザデバイス2bを有する。たとえば、第2のユーザデバイス2bは、たとえば、眼鏡またはスマートフォンの形態の、XRデバイスであり得る。第2の参加者5bの3D画像をキャプチャするために、第2の3Dイメージングデバイス4bが提供される。随意に、第2の3Dイメージングデバイス4bは、第2のユーザデバイス2bの部位(図示せず)を形成する。第2のユーザデバイス2bと第2の3Dイメージングデバイス4bとの各々が、(図示のように)直接、または、別のローカルデバイスを介して(たとえば、第2のユーザデバイス2bを介して)のいずれかで、通信ネットワーク6に接続される。
第3の参加者5cは、第3の物理的空間7c(たとえば、自宅またはオフィス)におり、3Dコンテンツをレンダリングすることが可能な第3のユーザデバイス2cを有する。たとえば、第3のユーザデバイス2cは、たとえば、眼鏡またはスマートフォンの形態の、XRデバイスであり得る。第3の参加者5cの3D画像をキャプチャするために、第3の3Dイメージングデバイス4cが提供される。随意に、第3の3Dイメージングデバイス4cは、第3のユーザデバイス2cの部位(図示せず)を形成する。第3のユーザデバイス2cと第3の3Dイメージングデバイス4cとの各々が、(図示のように)直接、または、別のローカルデバイスを介して(たとえば、第3のユーザデバイス2cを介して)のいずれかで、通信ネットワーク6に接続される。
3Dイメージングデバイス4a~4cは、好適な技術、たとえば、ライダー、レーダー、ステレオイメージングなどのいずれか1つまたはそれらの組合せを使用して実装され得る。3Dイメージングデバイス4a~4cからの出力は、任意の好適なフォーマット、たとえば、ポイントクラウド、RGB(赤緑青)深度、メッシュなどであり得る。
通信ネットワーク6に接続されたサーバ3が提供される。サーバ3は、クラウドサービスプロバイダによって提供されるクラウドサービスの部位を形成することができる。サーバ3は、単一のロケーションにおいてまたは複数のロケーションにわたって、単一の物理的コンピュータを使用してまたは複数のコンピュータを使用して実装される。
図1において開示される構成要素を使用して、参加者5a、5b、5cは、他の参加者の視覚3Dプレゼンテーションを提供する仮想会議をセットアップすることができる。
図2は、図1に示される参加者のための仮想会議を示す概略図である。図2におけるビューは、第1の参加者5aの第1の表現5a’と、第2の参加者5bの第2の表現5b’と、第3の参加者5cの第3の表現5c’とを用いた、仮想会議の3D環境の仮想斜視図である。それぞれのユーザデバイス2a、2b、2cによる実際のレンダリングでは、ビューは、それぞれの表現5a’、5b’、5c’から見られるようにレンダリングされる。
以下では、ある参加者の表現が説明される実施形態が提示される。この参加者は送信参加者と示され、送信参加者を閲覧する参加者は、受信参加者と呼ばれる。しかしながら、仮想会議のすべての参加者が、すべての他の参加者に、同様に表され得ることに留意されたい。言い換えれば、本明細書で提示される実施形態は、少なくとも1人の送信参加者を伴う、複数の参加者に適用され得る。言い換えれば、たとえば、送信参加者が講演をしている場合、送信参加者は、1人または複数の受信参加者のユーザデバイス上でレンダリングされ得る。代替または追加として、2人またはそれ以上の送信参加者が、他の参加者のユーザデバイス上でレンダリングされ得る。
図3は、非リアルタイム3Dモデルが2Dカメラソースに基づく、3Dデータ組合せの実施形態を示す概略図である。これは、トレーニングされた非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせることに基づく実施形態を示す。2Dカメラストリームが、非リアルタイム3Dモデルを構成するために使用され得る。たとえば、これは、本出願の出願時において、https://arxiv.org/abs/1803.07835において利用可能な、2D画像に基づいて顔の3D形状を導出することを開示する、Fengら、「Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network」において説明される方法に基づき得る。
さらに、図3の下側部分において、部分的リアルタイム3Dデータが、ネットワーク上で、参加者の現実的な3D表現を生成するために非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせる、(サーバ3または受信参加者のユーザデバイス中で実装される)表現プロバイダ1に送信される。
2Dカメラと3Dイメージングデバイス(たとえば、3Dカメラ)とは、画像キャプチャシステムを表し、1つのカメラにおいてコロケートされ得るか、または別個のデバイスにおいて提供され得ることに留意されたい。同じことが、本開示全体にわたって説明される他の実施形態に適用される。
図3および図4に猫が示されているが、実施形態は、主に、人間の参加者に適用されることに留意されたい。
図4は、非リアルタイム3Dモデルが3Dイメージングデバイスソースに基づく、3Dデータ組合せの実施形態を示す概略図である。この実施形態では、サーバ3は、参加者のフル3D表現を事前生成し、たとえば、エッジクラウドにおける、サーバに記憶する。生成される3D表現は、各参加者に固有であり得、仮想会議より前に生成され得る。これは、仮想会議中の帯域幅需要を低減する。サーバは、さらに、非リアルタイム3Dモデルを生成するために3Dカメラストリーム入力を最適化することができる(たとえば、背景削除)。事前生成された非リアルタイム3Dモデルは、たとえば、異なる角度から、参加者の3D表現をキャプチャすることができる。ランタイム中に、非リアルタイム3Dモデルは、仮想会議において参加者の現実的な3D表現を提供するために、3Dイメージングデバイスからの部分的リアルタイム3Dデータと組み合わせられる。組み合わせることは、表現プロバイダ1において行われ、表現プロバイダ1は、サーバ3中で、または、受信参加者のユーザデバイス中で実装され得る。
図5は、非リアルタイム3Dモデルと部分的リアルタイム3Dデータとがサーバにおいて組み合わせられる、3Dモデリング実施形態のためのコールフローを示すシーケンス図である。すべてのシーケンス図について、「キャプチャシステム」が、送信参加者のユーザデバイスの部位を形成し、2Dカメラと3Dイメージングデバイスのいずれかまたは両方を備えることができることに留意されたい。
図3に示されている実施形態では、トレーニングフェーズと実行フェーズとが示されている。トレーニングフェーズ中に、2Dおよび3Dカメラストリームが、ストリームの大きいデータセット、たとえば、深度およびテクスチャ画像を含むポイントクラウドを考慮することによって、非リアルタイム3Dモデルをトレーニングするために使用される。ポイントクラウドは、本開示で使用されるときはいつでも、3D空間における(たとえば、デカルト座標としての)ポイントのセットを含んでいる。ポイントクラウドは、多数のポイント、たとえば、最高数万ポイント、さらには数百万ポイント、を含んでいることがある。
実行フェーズ中に、2Dカメラ画像が、トレーニングされた非リアルタイム3Dモデルに基づいて、3Dモデルを構成するために使用される。さらに、部分的リアルタイム3Dデータが、3Dイメージングデバイスからサーバに送信され、ここで、部分的リアルタイム3Dデータは、非リアルタイム3Dモデルと組み合わせられる。組み合わせられた3D表現は、受信側参加者のユーザデバイスに提供される。
図6は、非リアルタイム3Dモデルと部分的リアルタイム3Dデータとが受信側ユーザデバイスによって組み合わせられる、3Dモデリング実施形態のためのコールフローを示すシーケンス図である。トレーニングの後に、得られた非リアルタイム3Dモデルがユーザデバイスに提供され、実行中に、2D画像と部分的リアルタイム3Dデータとがユーザデバイスに提供される。3Dモデルは、会議中のリアルタイム帯域幅需要を低減するために、実現可能な場合はいつでも、事前に、ユーザデバイスに転送され得る。この実施形態または本明細書で提示される任意の他の実施形態において、3Dモデルが転送されるときはいつでも、3Dモデルは、プライバシーを保護するために暗号化され得る。
図7は、3D個人化モデルと部分的リアルタイム3Dデータとがサーバ3において組み合わせられる、3Dモデリング実施形態のためのコールフローを示すシーケンス図である。
この実施形態は、図4の実施形態と組み合わせられ得る。トレーニングフェーズ中に、異なる角度からの将来の送信参加者を表す3Dストリームがサーバに提供され、サーバは、将来の送信参加者のための個人化3Dモデルリポジトリを構築する。実行フェーズ中に、正しい3Dモデルが、3Dイメージングデバイスの配向および送信参加者の識別情報に基づいて、サーバから選択される。モデルは、3Dイメージングデバイスから受信された部分的リアルタイム3Dデータと組み合わせられ、組み合わせられた3D表現は、ユーザデバイスに提供される。
図8は、3D個人化モデルと部分的リアルタイム3Dデータとが受信側ユーザデバイスによって組み合わせられる、3Dモデリング実施形態のためのコールフローを示すシーケンス図である。組み合わせることは、受信参加者のユーザデバイスにおいて行われる。事前生成された非リアルタイム3Dモデルは、仮想会議の前に、ユーザデバイスに提供され得る。仮想会議中に、3Dイメージングデバイスの配向は、非リアルタイム3Dモデルを選択するためにユーザデバイスに提供され、部分的リアルタイム3Dデータは、ユーザデバイスに提供される。非リアルタイム3Dモデルと部分的リアルタイム3Dデータの両方を組み合わせることは、ユーザデバイスによって実行される。非リアルタイム3Dモデルは、リアルタイム帯域幅需要を低減するために、ユーザデバイスに転送される。
図9は、2D画像入力に基づいて生成される3Dデータを示す。図9の上側部分は、2D画像入力に基づいて(サーバまたはユーザデバイス中の)表現プロバイダ1において生成され得る出力3Dモデルを示す。図9の下側部分は、毛髪および首を伴う、コンピュータモデル化されたアバターの完全な頭部を示す。
実際的な態様のために、参加者の頭部の表現は、首、顔および毛髪など、セクションに分割され得る。この実施形態を使用して、組み合わせられた3D表現はアニメーション化され得、必要な場合、回転が、部分的リアルタイム3Dデータに基づいて調節され得る。
図10は、顔と前側首と上側胴体とを示す、ポイントクラウドから導出された部分的3Dデータを示す。毛髪は、このポイントクラウドでは除外されることに留意されたい。
図11は、表現プロバイダからの視覚フィードバックに基づく、ライブストリームとの組み合わせられた3D表現の相互妥当性検証のためのコールフローを示すシーケンス図である。組み合わせられた3D表現は、表現プロバイダからの視覚フィードバックとして、キャプチャシステム、すなわち、送信参加者のユーザデバイスに提供され得る。組み合わせられた3D表現は、3Dイメージングデバイスからのライブストリームとの組み合わせられた3D表現の相互妥当性検証を行うために、送信参加者のユーザデバイスによって使用される。フィードバックが、表現デバイスに提供され得る。フィードバックは、相互妥当性検証の単純な確認応答であり得るか、またはストリームのいくつかのエリアにおけるエラー指示をも含むことができ、表現デバイスが、組み合わせられた3d表現のその生成を改善することを可能にする。
相互妥当性検証は、仮想会議の最初に、定期的に、または必要なとき、起こり得、たとえば、組合せにおけるエラーレベルが、あるしきい値を上回る場合、生成されたモデルが、相互妥当性検証のために送られる。相互妥当性検証は、本明細書で提示される任意の実施形態に適用され得ることに留意されたい。
図12A~図12Bは、仮想会議において送信参加者の3D表現を提供するための方法の実施形態を示すフローチャートである。本方法の実施形態は表現プロバイダ1において実施され、表現プロバイダ1は、受信参加者のユーザデバイス中で、またはサーバ中で実装され得る。
随意の、非リアルタイム3Dモデルを生成するステップ40において、表現プロバイダ1は、たとえば、上記で説明されたように、カメラデータに基づいて非リアルタイム3Dモデルを生成する。カメラデータは、2Dカメラからのまたは3Dイメージングデバイスからのデータを含む。非リアルタイム3Dモデルは、たとえば、会議の直前に、たとえば、セットアッププロセスの一部として、仮想会議に関連して適応され得る。これは、非リアルタイム3Dモデルが、たとえば、髪型、衣服、化粧、日焼け、光条件など、送信参加者の現在の外観に関して最新であることを保証することができる。
非リアルタイム3Dモデルを取得するステップ42において、表現プロバイダ1は、人の少なくとも部位の非リアルタイム3Dモデルを取得する。
非リアルタイム3Dモデルは、送信参加者5aに固有であるモデルであり得る。
代替的に、非リアルタイム3Dモデルは、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである。そのような場合、非リアルタイム3Dモデルは、送信参加者5aの特性、たとえば、性別、年齢などに基づいて、複数の非リアルタイム3Dモデルから選択され得る。
部分的リアルタイム3Dデータを取得するステップ44において、表現プロバイダ1は、仮想会議の送信参加者5aの部分的リアルタイム3Dデータを取得する。部分的リアルタイム3Dデータは、送信参加者における3Dイメージングデバイスによってキャプチャされ、送信参加者を示す3Dデータを含んでいる。
組み合わせるステップ46において、表現プロバイダ1は、非リアルタイム3Dモデルを部分的リアルタイム3Dデータと組み合わせ、送信参加者5aの組み合わせられた3D表現を生じる。
リアルタイム部分的リアルタイム3Dデータが一時的に利用不可能であるとき、このステップは、非リアルタイム3Dモデルを、直近に受信された部分的リアルタイム3Dデータと組み合わせることと、利用不可能性を表す送信参加者の外観を生成することとを含むことができる。たとえば、組み合わせられた3D表現が生成され得、ここで、送信参加者は、脇見をしており、これは、送信参加者の非焦点を示す。参加者は、これが、直観的なおよび自然な様式で示された、ネットワーク問題の徴候であることを、経時的に学習することになる。
随意に、表現プロバイダ1は、サーバ3の部位を形成する。この場合、随意の、組合せを受信側に送信するステップ47において、表現プロバイダ1は、受信参加者のためのユーザデバイス2aによってレンダリングするために、組み合わせられた3D表現を、受信参加者のそのユーザデバイス2aに送信する。
随意の、組合せをソースに送信するステップ48において、表現プロバイダ1は、組み合わせられた3D表現を、送信参加者のユーザデバイス2aに送信する。これは、送信参加者のユーザデバイスが、送信参加者のために、組み合わせられた表現をレンダリングすることを可能にし、送信参加者が、受信参加者から見られるように送信参加者の視覚表現を閲覧することを可能にする。視覚表現は、たとえば、ネットワーク品質の変動による、通信の効果を含む。たとえば、送信参加者は、受信参加者が送信参加者の利用不可能性にいつ気づくかがわかり得る。随意に、成功したレンダリングおよび/または成功した組み合わせられた3D表現の指示が、送信参加者のユーザデバイスに提供される。
随意の、性能指示を受信するステップ50において、表現プロバイダ1は、送信参加者のユーザデバイス2aから性能指示(performance indication)を受信する。
次に図12Bを参照すると、これは、組み合わせるステップ46の随意のサブステップを示すフローチャートである。
随意の、非リアルタイム3Dモデル中の身体特徴を識別するサブステップ46aにおいて、表現プロバイダ1は、非リアルタイム3Dモデル中の少なくとも1つの身体特徴を識別する。そのような身体特徴は、たとえば、首、眼、唇、口の開き、顔、毛髪などのうちのいずれか1つまたは複数であり得る。
随意の、リアルタイム3Dデータ中の身体特徴を識別するサブステップ46bにおいて、表現プロバイダ1は、リアルタイム3Dデータ中の少なくとも1つの身体特徴を識別する。
随意の、生成するサブステップ46cにおいて、表現プロバイダ1は、非リアルタイム3Dモデルとリアルタイム3Dデータの両方に基づいて送信参加者5aの組み合わせられた3D表現を生成する。この生成では、ここでは共通身体特徴と示される、非リアルタイム3Dモデルとリアルタイム3Dデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、リアルタイム3Dデータに与えられる。これは、非リアルタイム3Dモデルとリアルタイム3Dデータとに異なる重みを適用することによって実装され得る。随意に、ネットワーク帯域幅が減少するとき、さらなる考慮事項が、リアルタイム3Dデータに適用される。
共通身体特徴について、より高い重みが、リアルタイム3Dデータのために割り振られ得る(たとえば、顔の周りの重要な情報が、優先され得る)。
重み付けは、部分的リアルタイム3Dデータの品質が極めて高いとき、部分的リアルタイム3Dデータのみがこれらのエリアのために使用され、品質が低いとき、または、アウテージ中に、部分的リアルタイム3Dデータが受信されないとき、部分的リアルタイム3Dデータがスキップまたは低減されるなど、部分的リアルタイム3Dデータの品質に基づくことも可能である。
セクション、たとえば、身体部位のために、非リアルタイム3Dモデルのみが寄与する場合、非リアルタイム3Dモデルからのデータのみが、組み合わせられた3D表現を生成するために使用される。
組み合わせるステップ46において非リアルタイム3Dモデルと部分的リアルタイム3Dデータとを組み合わせることは、3Dモデルと部分的リアルタイム3Dデータの両方からポイントクラウド座標をオーバーレイすることなど、異なるやり方で起こり得る。これは、組み合わせることを改善するための、いくつかの随意のステップを含むことができる。
一実施形態では、参加者の固有の身体特徴に対応する、部分的リアルタイム3Dデータ中のセクションが、サーバによってまたはカメラによって、前処理において識別される。そのようなセクションは、部分的リアルタイム3Dデータと一緒に、たとえば、補助データとして、詳述される。そのようなセクションは、たとえば、眼または口の周りのエリアなど、視覚体感のために極めて重要であると見なされるエリアに対応することができる。
随意に、サーバにおいて実施されるとき、組合せは、受信ユーザのユーザデバイスへのコネクティビティにも基づく。たとえば、ネットワークコネクティビティが良好であるときは、共通および非共通部位に基づくフル3D表現が生成および送信されるが、ネットワーク条件がより悪いときは、組み合わせられた共通部位のみが送られる。
組み合わせることがユーザデバイス上で行われるとき、組み合わせることは、ユーザデバイスの処理およびエネルギー要件に依存することがある。組み合わせることはまた、リアルタイム3Dデータ中のコンテンツの程度など、通信能力に依存することがある。
組み合わせることは、たとえば、リアルタイムで実行され得る、トレーニングされた機械学習(ML)/人工知能(AI)モデルを採用することによって、自動化され得る。
組み合わせられた3D表現は、受信参加者のユーザデバイス上に表示され、受信参加者が、リアルタイム3Dデータと非リアルタイム3Dモデルとの組合せで送信参加者を視覚化することを可能にする。
上記で説明されたように、表現プロバイダは、受信参加者のユーザデバイスの部位として実装され得、上記で説明されたように、受信参加者のユーザデバイスは、XRデバイスであり得る。
本明細書で提示される実施形態を使用して、たとえば、ポイントクラウドを使用する、3Dキャプチャが、従来技術の広大な帯域幅要件の課題なしに展開され得る。その上、ポイントクラウド圧縮規格は、これらが、リアルタイム通信に好適でないので、使用されない。
その上、本明細書で提示される実施形態のうちのいくつかは、送信参加者のキャプチャされた、リアルタイム3Dデータの最も関連する部位に基づく。そのようなソリューションは、2D-3D変換と比較して、大幅に改善された品質を生じる。
図13は、表現プロバイダ1の構成要素を示す概略図である。ホストデバイス(たとえば、サーバ3または受信ユーザデバイス2b)の部位として実装されるとき、前述の構成要素のうちの1つまたは複数がホストデバイスと共有され得ることに留意されたい。プロセッサ60は、メモリ64に記憶されたソフトウェア命令67を実行することが可能な、好適な中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)などのうちの1つまたは複数の任意の組合せを使用して提供され、これは、したがって、コンピュータプログラム製品であり得る。プロセッサ60は、代替的に、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などを使用して実装され得る。プロセッサ60は、上記で図12A~図12Bを参照しながら説明された方法を実行するように設定され得る。
メモリ64は、ランダムアクセスメモリ(RAM)および/または読取り専用メモリ(ROM)の任意の組合せであり得る。メモリ64はまた、たとえば、磁気メモリ、光メモリ、固体メモリ、さらにはリモートマウントメモリのうちのいずれか単独の1つまたは組合せであり得る、永続ストレージを備える。
また、プロセッサ60におけるソフトウェア命令の実行中にデータを読み取るおよび/または記憶するために、データメモリ66が提供される。データメモリ66は、RAMおよび/またはROMの任意の組合せであり得る。
表現プロバイダ1は、外部および/または内部エンティティと通信するためのI/Oインターフェース62をさらに備える。随意に、I/Oインターフェース62はまた、ユーザインターフェースを含む。
表現プロバイダ1の他の構成要素は、本明細書で提示される概念を不明瞭にしないために省略される。
図14は、一実施形態による、図13の表現プロバイダ1の機能モジュールを示す概略図である。モジュールは、表現プロバイダ1において実行するコンピュータプログラムなどのソフトウェア命令を使用して実装される。代替または追加として、モジュールは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または個別論理回路のうちのいずれか1つまたは複数など、ハードウェアを使用して実装される。モジュールは、図12Aおよび図12Bに示されている方法におけるステップに対応する。
非リアルタイム3Dモデル生成器70がステップ40に対応する。非リアルタイム3Dモデル取得器72がステップ42に対応する。部分的リアルタイム3Dデータ取得器74がステップ44に対応する。コンバイナ76がステップ46に対応する。3Dモデル身体特徴識別器76aがサブステップ46aに対応する。3Dデータ身体特徴識別器76bがサブステップ46bに対応する。生成器76cがサブステップ46cに対応する。受信側への組合せ送信機(combination to recipient transmitter)77がステップ47に対応する。ソースへの組合せ送信機(combination to source transmitter)78がステップ48に対応する。性能指示受信機80がステップ50に対応する。
図15は、コンピュータ可読手段を備えるコンピュータプログラム製品90の一例を示す。このコンピュータ可読手段上に、コンピュータプログラム91が記憶され得、そのコンピュータプログラムは、プロセッサに、本明細書で説明される実施形態に従って方法を実行させることができる。この例では、コンピュータプログラム製品は、リムーバブル固体メモリの形態のものであり、たとえば、ユニバーサルシリアルバス(USB)ドライブである。上記で説明されたように、図13のコンピュータプログラム製品64など、コンピュータプログラム製品はまた、デバイスのメモリにおいて具現化され得る。コンピュータプログラム91は、ここでは、リムーバブル固体メモリのセクションとして概略的に示されるが、コンピュータプログラムは、別のタイプのリムーバブル固体メモリ、あるいは、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)またはBlu-Rayディスクなどの光ディスクなど、コンピュータプログラム製品に好適である任意のやり方で記憶され得る。
本開示の態様が、主に、数個の実施形態を参照しながら上記で説明された。しかしながら、当業者によって直ちに諒解されるように、上記で開示された実施形態以外の実施形態が、添付の特許請求の範囲によって規定される本発明の範囲内で等しく可能である。したがって、様々な態様および実施形態が本明細書で開示されたが、他の態様および実施形態が当業者には明らかであろう。本明細書で開示される様々な態様および実施形態は、例示のためのものであり、限定するものではなく、真の範囲および趣旨は以下の特許請求の範囲によって示される。
Claims (36)
- 仮想会議において送信参加者(5a)の3次元(3D)表現を提供するための方法であって、前記方法が、表現プロバイダ(1)において実施され、前記方法が、
人の少なくとも部位の非リアルタイム3Dモデルを取得するステップ(42)と、
前記仮想会議の前記送信参加者(5a)の部分的リアルタイム3Dデータを取得するステップ(44)と、
前記送信参加者(5a)の組み合わせられた3D表現を生じる、前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと組み合わせるステップ(46)と
を含む、方法。 - 前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと前記組み合わせるステップ(46)は、
前記非リアルタイム3Dモデル中の少なくとも1つの身体特徴を識別するサブステップ(46a)と、
前記リアルタイム3Dデータ中の少なくとも1つの身体特徴を識別するサブステップ(46b)と、
前記非リアルタイム3Dモデルと前記リアルタイム3Dデータの両方に基づいて前記送信参加者(5a)の前記組み合わせられた3D表現を生成するサブステップ(46c)であって、前記非リアルタイム3Dモデルと前記リアルタイム3Dデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、前記リアルタイム3Dデータに与えられる、前記送信参加者(5a)の前記組み合わせられた3D表現を生成するサブステップ(46c)と
を含む、請求項1に記載の方法。 - 前記生成するサブステップ(46c)が、前記非リアルタイム3Dモデルと前記リアルタイム3Dデータとに異なる重みを適用することによって、前記リアルタイム3Dデータに、さらなる考慮事項を適用することを含む、請求項2に記載の方法。
- 前記生成するサブステップ(46c)は、ネットワーク帯域幅が減少するとき、前記リアルタイム3Dデータに、さらなる考慮事項を適用することを含む、請求項2または3に記載の方法。
- 前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと前記組み合わせるステップ(46)は、リアルタイム部分的リアルタイム3Dデータが一時的に利用不可能であるとき、前記非リアルタイム3Dモデルを、直近に受信された部分的リアルタイム3Dデータと組み合わせること(46)と、利用不可能性を表す前記送信参加者の外観を生成することとを含む、請求項1から4のいずれか一項に記載の方法。
- カメラデータに基づいて前記非リアルタイム3Dモデルを生成するステップ(40)
をさらに含む、請求項1から5のいずれか一項に記載の方法。 - 前記カメラデータが、2Dカメラからのデータを含む、請求項6に記載の方法。
- 前記カメラデータが、3Dイメージングデバイスからのデータを含む、請求項6または7に記載の方法。
- 前記非リアルタイム3Dモデルが、前記送信参加者(5a)に固有であるモデルである、請求項1から8のいずれか一項に記載の方法。
- 前記非リアルタイム3Dモデルが、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである、請求項1から9のいずれか一項に記載の方法。
- 前記非リアルタイム3Dモデルが、前記送信参加者(5a)の特性に基づいて、複数の非リアルタイム3Dモデルから選択される、請求項10に記載の方法。
- 前記組み合わせられた3D表現を、前記送信参加者のユーザデバイス(2a)に送信するステップ(48)
をさらに含む、請求項1から11のいずれか一項に記載の方法。 - 前記送信参加者の前記ユーザデバイス(2a)から性能指示を受信するステップ(50)
をさらに含む、請求項12に記載の方法。 - 前記表現プロバイダ(1)が、受信参加者(5b)のユーザデバイス(2b)の部位を形成する、請求項1から13のいずれか一項に記載の方法。
- 前記受信参加者のユーザデバイス(2b)がエクステンデッドリアリティ(XR)デバイスである、請求項14に記載の方法。
- 前記表現プロバイダ(1)が、サーバ(3)の部位を形成する、請求項1から14のいずれか一項に記載の方法。
- 前記組み合わせられた3D表現を、前記受信参加者のユーザデバイス(2a)に送信するステップ(47)
をさらに含む、請求項16に記載の方法。 - 仮想会議において送信参加者(5a)の3次元(3D)表現を提供するための表現プロバイダ(1)であって、前記表現プロバイダ(1)が、
プロセッサ(60)と、
命令(67)を記憶したメモリ(64)と
を備え、前記命令(67)が、前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
人の少なくとも部位の非リアルタイム3Dモデルを取得することと、
前記仮想会議の前記送信参加者(5a)の部分的リアルタイム3Dデータを取得することと、
前記送信参加者(5a)の組み合わせられた3D表現を生じる、前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと組み合わせることと
を行わせる、表現プロバイダ(1)。 - 前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと組み合わせるための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
前記非リアルタイム3Dモデル中の少なくとも1つの身体特徴を識別することと、
前記リアルタイム3Dデータ中の少なくとも1つの身体特徴を識別することと、
前記非リアルタイム3Dモデルと前記リアルタイム3Dデータの両方に基づいて前記送信参加者(5a)の前記組み合わせられた3D表現を生成することであって、前記非リアルタイム3Dモデルと前記リアルタイム3Dデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、前記リアルタイム3Dデータに与えられる、前記送信参加者(5a)の前記組み合わせられた3D表現を生成することと
を行わせる命令(67)を含む、請求項18に記載の表現プロバイダ(1)。 - 生成するための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ(1)に、前記非リアルタイム3Dモデルと前記リアルタイム3Dデータとに異なる重みを適用することによって、前記リアルタイム3Dデータに、さらなる考慮事項を適用することを行わせる命令(67)を含む、請求項19に記載の表現プロバイダ(1)。
- 生成するための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ(1)に、ネットワーク帯域幅が減少するとき、前記リアルタイム3Dデータに、さらなる考慮事項を適用することを行わせる命令(67)を含む、請求項19または20に記載の表現プロバイダ(1)。
- 前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと組み合わせるための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ(1)に、リアルタイム部分的リアルタイム3Dデータが一時的に利用不可能であるとき、前記非リアルタイム3Dモデルを、直近に受信された部分的リアルタイム3Dデータと組み合わせることと、利用不可能性を表す前記送信参加者の外観を生成することとを行わせる命令(67)を含む、請求項18から21のいずれか一項に記載の表現プロバイダ(1)。
- 前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
カメラデータに基づいて前記非リアルタイム3Dモデルを生成すること
を行わせる命令(67)をさらに含む、請求項18から22のいずれか一項に記載の表現プロバイダ(1)。 - 前記カメラデータが、2Dカメラからのデータを含む、請求項23に記載の表現プロバイダ(1)。
- 前記カメラデータが、3Dイメージングデバイスからのデータを含む、請求項23または24に記載の表現プロバイダ(1)。
- 前記非リアルタイム3Dモデルが、前記送信参加者(5a)に固有であるモデルである、請求項18から25のいずれか一項に記載の表現プロバイダ(1)。
- 前記非リアルタイム3Dモデルが、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである、請求項18から26のいずれか一項に記載の表現プロバイダ(1)。
- 前記非リアルタイム3Dモデルが、前記送信参加者(5a)の特性に基づいて、複数の非リアルタイム3Dモデルから選択される、請求項27に記載の表現プロバイダ(1)。
- 前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
前記組み合わせられた3D表現を、前記送信参加者のユーザデバイス(2a)に送信すること
を行わせる命令(67)をさらに含む、請求項18から28のいずれか一項に記載の表現プロバイダ(1)。 - 前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
前記送信参加者の前記ユーザデバイス(2a)から性能指示を受信すること
を行わせる命令(67)をさらに含む、請求項29に記載の表現プロバイダ(1)。 - 請求項18から30のいずれか一項に記載の表現プロバイダ(1)を備える、受信参加者(5b)のためのユーザデバイス(2b)。
- 前記ユーザデバイス(2b)がエクステンデッドリアリティ(XR)デバイスである、請求項31に記載のユーザデバイス(2b)。
- 請求項18から30のいずれか一項に記載の表現プロバイダ(1)を備えるサーバ(3)。
- 前記プロセッサによって実行されると、前記表現プロバイダ(1)に、
前記組み合わせられた3D表現を、前記受信参加者のユーザデバイス(2a)に送信すること
を行わせる命令(67)をさらに含む、請求項33に記載のサーバ(3)。 - 仮想会議において送信参加者(5a)の3D(3次元)表現を提供するためのコンピュータプログラム(67、91)であって、前記コンピュータプログラムがコンピュータプログラムコードを備え、前記コンピュータプログラムコードは、表現プロバイダ(1)上で実行されると、前記表現プロバイダ(1)に、
人の少なくとも部位の非リアルタイム3Dモデルを取得することと、
前記仮想会議の前記送信参加者(5a)の部分的リアルタイム3Dデータを取得することと、
前記送信参加者(5a)の組み合わせられた3D表現を生じる、前記非リアルタイム3Dモデルを前記部分的リアルタイム3Dデータと組み合わせることと
を行わせる、コンピュータプログラム(67、91)。 - 請求項35に記載のコンピュータプログラムと、前記コンピュータプログラムが記憶されるコンピュータ可読手段とを備えるコンピュータプログラム製品(64、90)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063116424P | 2020-11-20 | 2020-11-20 | |
US63/116,424 | 2020-11-20 | ||
PCT/EP2021/068756 WO2022106077A1 (en) | 2020-11-20 | 2021-07-07 | Providing a 3d representation of a transmitting participant in a virtual meeting |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023551181A true JP2023551181A (ja) | 2023-12-07 |
Family
ID=76958963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023530518A Pending JP2023551181A (ja) | 2020-11-20 | 2021-07-07 | 仮想会議において送信参加者の3d表現を提供すること |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230396735A1 (ja) |
EP (1) | EP4248646A1 (ja) |
JP (1) | JP2023551181A (ja) |
CN (1) | CN116420351A (ja) |
AU (1) | AU2021384132A1 (ja) |
WO (1) | WO2022106077A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023232267A1 (en) * | 2022-06-03 | 2023-12-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Supporting an immersive communication session between communication devices |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2351425A (en) * | 1999-01-20 | 2000-12-27 | Canon Kk | Video conferencing apparatus |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
-
2021
- 2021-07-07 WO PCT/EP2021/068756 patent/WO2022106077A1/en active Application Filing
- 2021-07-07 EP EP21742793.9A patent/EP4248646A1/en active Pending
- 2021-07-07 US US18/033,855 patent/US20230396735A1/en active Pending
- 2021-07-07 AU AU2021384132A patent/AU2021384132A1/en active Pending
- 2021-07-07 JP JP2023530518A patent/JP2023551181A/ja active Pending
- 2021-07-07 CN CN202180074870.1A patent/CN116420351A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230396735A1 (en) | 2023-12-07 |
CN116420351A (zh) | 2023-07-11 |
EP4248646A1 (en) | 2023-09-27 |
AU2021384132A9 (en) | 2024-02-08 |
AU2021384132A1 (en) | 2023-06-15 |
WO2022106077A1 (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hou et al. | Wireless VR/AR with edge/cloud computing | |
Fairchild et al. | A mixed reality telepresence system for collaborative space operation | |
US9936165B2 (en) | System and method for avatar creation and synchronization | |
US9398262B2 (en) | Communication using avatar | |
US20140198121A1 (en) | System and method for avatar generation, rendering and animation | |
US20170237964A1 (en) | Immersive video | |
KR101851338B1 (ko) | 실감형 미디어 영상을 제공하는 장치 | |
CN105493501A (zh) | 虚拟视觉相机 | |
Shen et al. | Toward immersive communications in 6G | |
Fechteler et al. | A framework for realistic 3D tele-immersion | |
WO2020165599A1 (en) | Augmented reality methods and systems | |
JP2023551181A (ja) | 仮想会議において送信参加者の3d表現を提供すること | |
Gunkel et al. | From 2d to 3D video conferencing: Modular RGB-D capture and reconstruction for interactive natural user representations in immersive extended reality (XR) communication | |
KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
US11985181B2 (en) | Orchestrating a multidevice video session | |
Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering | |
CN109525483A (zh) | 移动终端及其互动动画的生成方法、计算机可读存储介质 | |
Manolova et al. | Challenges for real time long distance holoportation to enable human bond communication | |
Pérez | Exploring the Realverse: Building, Deploying, and Managing QoE in XR Communications | |
JP2023527624A (ja) | コンピュータプログラムおよびアバター表現方法 | |
Van Broeck et al. | Real-time 3D video communication in 3D virtual worlds: Technical realization of a new communication concept | |
US20230070853A1 (en) | Creating a non-riggable model of a face of a person | |
US20230316663A1 (en) | Head-tracking based media selection for video communications in virtual environments | |
Hou et al. | A Digitized You in My Eye: A Perceptually Driven Spatial Communication Prototype for XR | |
CN117591205A (zh) | 虚拟环境中的细节级别管理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230719 |