JP7418393B2 - 3d移行 - Google Patents

3d移行 Download PDF

Info

Publication number
JP7418393B2
JP7418393B2 JP2021500156A JP2021500156A JP7418393B2 JP 7418393 B2 JP7418393 B2 JP 7418393B2 JP 2021500156 A JP2021500156 A JP 2021500156A JP 2021500156 A JP2021500156 A JP 2021500156A JP 7418393 B2 JP7418393 B2 JP 7418393B2
Authority
JP
Japan
Prior art keywords
dimensional scene
dimensional
scene
rendering
render
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021500156A
Other languages
English (en)
Other versions
JP2021531561A (ja
JPWO2020013966A5 (ja
Inventor
アール. メイトレン,クレイグ
エドワード チャーチル,ジョン
ウィーラー,ジョセフ
ピー. エッセルストロム,タイラー
Original Assignee
マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロソフト テクノロジー ライセンシング,エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング,エルエルシー
Publication of JP2021531561A publication Critical patent/JP2021531561A/ja
Publication of JPWO2020013966A5 publication Critical patent/JPWO2020013966A5/ja
Application granted granted Critical
Publication of JP7418393B2 publication Critical patent/JP7418393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願は、3D移行(transition)に関する。
ヘッドマウントディスプレイ装置等の3Dレンダリングシステムの使用がより普及するにつれて、益々多くのユーザが、拡張現実(AR)技術、複合現実技術、及び/又は仮想現実(VR)技術を介してコンテンツが表示される体験に参加することができる。エンターテインメントのシナリオに加えて、特定の目的(例えば、新入社員トレーニングのための従業員トレーニング体験、休暇等のサービス又は1対のスキー等のアイテムの潜在的な購入者向けのマーケティング体験)のためにこれらの体験を行う人が益々増えている。AR、VR等で表示されるシーンは、様々な状況下で表示される内容が急速に移行することがよくあり得る。
これら及び他の技術的課題に関して、本明細書でなされる開示が提示される。
3次元環境におけるシーン及びアプリケーションの間の移行は、突然の移行のために、或いは暗くなるか空白(blank)になる可能性があるシーン同士の間の期間中に、方向感覚を失ったり、不快になったりすることがあり得る。例えば、場合によっては、移行が、不快なカット(jarring cut)又はフェードスルーブラック(fade through black)になることがある。没入型(immersive)バーチャルリアリティシステム等の3次元環境において、2D環境での移行中に典型的に使用されるスプラッシュ(splash)画面は、ユーザの全視野をカバーしないため、適切な解決策ではない。本明細書で説明する技術は、3次元スプラッシュ画面及び移行手法を使用して、3次元環境におけるシーン及びアプリケーションの間のスムーズな移行を作成するプラットフォームを提供する。一実施形態では、プラットフォームは、新しいアプリケーションがレンダリングを開始する準備が整うまで、スプラッシュ画面ピクセルを3次元ディスプレイにレンダリングすることができる。新しいアプリケーションの準備が整うと、新しいアプリケーションは、3次元ディスプレイのレンダリングをコントロールできるようになる。この方法でシーンの移行を管理することにより、不快なカットやフェードスルーブラックになる難局を回避しながら、シーン及びアプリケーションの間でスムーズな移行をレンダリングすることができる。
表示される画像同士の間の急激な変化の程度を低減して、より滑らかな体験をユーザの視聴に提供する、3次元環境における表示画像同士の間の移行を生成するための技術を対象とする様々な実施形態が開示される。この技術は、仮想現実ヘッドセットに表示されるものへの急激な変化によってユーザに不快な体験をもたらす可能性がある3次元ディスプレイ(仮想及び拡張現実ディスプレイ等)の領域に適用することができる。一実施形態では、パノラマの広範囲の3D画像がレンダリングされる。別の体験(エクスペリエンス)の画像に移行すると、最初のパノラマの広範囲の3D画像のいくつかの態様がフェードアウトし、新しいエクスペリエンスの(例えば、ゲーム体験のための)画像によって、関連するピクセルがパノラマの広範囲の3D画像の表示画像にフェードインし得る。これにより、2つの異なるエクスペリエンスのシーン同士の間を移行する際に、表示の一部又は全てを空白にしない画像移行が可能になり得る。
この概要は、以下の詳細な説明でさらに説明する概念の選択を簡略化した形式で紹介するために提供される。この概要は、特許請求の範囲に記載された主題の重要な又は本質的な特徴を特定することを意図しておらず、特許請求の範囲に記載された主題の範囲を決定する際の補助として使用することも意図していない。例えば、「技術」という用語は、上記及び文書全体で説明している文脈で許容されるような、システム、方法、コンピュータ可読命令、モジュール、アルゴリズム、ハードウェアロジック、及び/又は動作を指し得る。
詳細な説明について、添付の図を参照して説明する。異なる図の同じ参照符号は、類似又は同一の要素を示す。
いくつかの実施形態による3D環境における画面の例を示す図である。 いくつかの実施形態による3D環境における画面の例を示す図である。 いくつかの実施形態による3D環境における画面の例を示す図である。 開示する技術を実施し得る例示的なシステムを示す図である。 本明細書に記載の技術によるデータ通信の例を示す図である。 シーン管理を対象とする動作を示す例示的なフローチャートの図である。 シーン管理を対象とする動作を示す例示的なフローチャートの図である。 シーン管理を対象とする動作を示す例示的なフローチャートの図である。
多くのシステムは、仮想現実(VR)システム及び拡張現実(AR)システム等の3D環境をレンダリングすることができる。VRシステムの例は、没入型VR環境を生成するためにユーザが着用するヘッドマウントディスプレイ装置(HMD)又は同様の装置であり得る。典型的に、HMDは、ユーザの頭に装着されるポータブル装置である。ディスプレイは目から少し離れた距離にあり、ユーザが視たり対話したりするための画像を提供する。いくつかのHMDは、VR環境及びAR環境が混在しているため、ユーザは、いくつかの実際の画像を見るだけでなく、コンピューティング装置によって作成された画像も見ることができる。他のHMDは、HMDディスプレイに仮想世界を提供しながら、ユーザへの実世界をブロックする没入型体験を提供する。
ユーザの物理的な運動は、3D環境における対応する運動に変換され得る。あるアプリケーションによってレンダリングされるものの境界と、別のアプリケーションによってレンダリングされるものの境界との相違は、ユーザがアプリケーション同士の間の移行に近づく及び/又は遭遇するときに、没入型エクスペリエンスの不一致又は混乱、方向感覚の喪失を引き起こす可能性がある。例えば、アプリケーション同士の間を移行する場合に、没入型VR環境が、ブラックアウト(黒塗り状態に)されたり、又は急激な移行でレンダリングされたりして、不快感を覚えたり、又は方向感覚を失ったりする可能性がある。例えば、あるアプリケーション又はシーンの仮想世界から別のアプリケーション又はシーンの仮想世界へのスムーズな又は優美な移行により、ユーザが急激な移行を経験したときに発生する可能性のある方向感覚の喪失、乗り物酔い、又は他の影響を回避することができる。
開示される実施形態は、例えば、ヘッドマウント装置(HMD)又は他のVRディスプレイが利用される仮想現実プラットフォーム等の3Dレンダリング環境における画像の表示を管理するための方法、機器、システム、及びコンピュータプログラムを説明する。本明細書では、3D VR環境をレンダリングするように構成されたHMDの文脈で多くの例を説明しているが、開示する技術は、シーンが3D環境で移行する任意の環境で実施できることを理解されたい。本実施形態は、これらの特定の詳細の一部又は全部なしで実施し得ることは明らかであろう。他の例では、本実施形態を不必要に不明瞭にしないために、周知のプロセス動作は詳細に説明していない。
仮想現実(VR)環境等において、3次元移行を生成するための様々な技術を説明する。様々な実施形態において、1つ又は複数の移行又はスプラッシュ画面を生成して、上記の欠点に対処する移行を容易にするように構成されるプラットフォームが提供される。さらに、実施形態はまた、アプリケーションが起動又は移行されるときに2次元環境で使用される移行を単に適用することに関する問題を克服する。本明細書で使用される場合に、レンダリングされるアプリケーション又はシーンは、移行先(destination)アプリケーション又はシーンと呼ばれ得る。現在レンダリングされているアプリケーション又はシーンは、現在のアプリケーション又はシーンと呼ばれ得る。
いくつかの実施形態では、プラットフォームは、移行先アプリケーションがレンダリングを開始する準備が整うか、又は移行先シーンがレンダリングされる準備が整うまで、3Dディスプレイ上でスプラッシュ画面ピクセルをレンダリングするように構成され得る。アプリケーション又はシーンの準備が整うと、移行先アプリケーションは、スプラッシュ画面ピクセルのレンダリングを行い、アプリケーション及びゲームの間のスムーズな移行を可能にし、不快なカット又はフェードスルーブラックになる難局を回避する。
説明する技術は、表示される画像同士の間の急激な変化の程度を低減する表示画像同士の間の移行を可能にし、VR又は他の環境を見ているユーザによりスムーズな体験を提供する。この技術は、VRディスプレイに表示されるものへの急激な変化により、ユーザに不快な体験をもたらす可能性があるVRディスプレイに適している可能性がある。一実施形態では、パノラマの広範囲の3D画像が提供され得る。現在のアプリケーション又はシーンから移行先アプリケーション又はシーンへの移行シーケンス中に、現在のアプリケーション又はシーンは、フェードアウトするか、又は他に段階的に移行される場合がある。一実施形態では、現在のアプリケーション又はシーンは、VR環境の起動環境であり得、これは、2Dシステムのスタートメニューに類似し得る。起動環境には、パノラマの広範囲の3D画像が含まれ得る。移行先アプリケーションへの移行が開始されると、パノラマの広範囲の3D画像は、フェードアウトするか、又は他に段階的に移行される場合がある。移行先アプリケーションの画像は、関連するピクセルをフェードインするか、又は他に段階的に移行させて、移行先アプリケーションの新しいVR環境を、VRディスプレイのブランキング、VRの黒塗りを含まない方法でレンダリングすることができる、又はアプリケーション同士の間の表示エクスペリエンス同士の間の突然の移行をレンダリングすることができる。
一実施形態では、移行環境は、図1に示されるようなレンダリングされた空間を含み得る。図示の例では、ガラス窓のある部屋を含む起動環境100が描かれている。起動環境100は、様々なアプリケーション及び環境の選択を可能にする選択メニュー110をさらに含む。本開示は、レンダリングされた部屋環境の文脈での例示的な実施形態を描写するが、開示する移行技術を具体化しながら、他のレンダリングされる環境を実現できることを理解されたい。
多くのVR環境では、新しいアプリケーションがロードされるか、又はアプリケーションが移行している期間中に、空白又は黒色の環境がレンダリングされる。VR設定では、空白又は黒色の環境に変化すると、ユーザに不快な体験をもたらす可能性がある。例えば、アプリケーションの移行中に突然黒色の環境が提示されると、ユーザは、閉所恐怖症を感じるようになる可能性がある。このような望ましくない移行は、同じアプリケーション内のセッション同士又は設定同士の間で移行するときにも発生する可能性がある。不快な移行は、ユーザが不快な移行の頻度を最小限に抑えたいために、ユーザが新しい環境及びアプリケーションに自由に移行したり、アプリケーション同士の間のマルチタスクを実行したり、アプリケーションを自由に使用したりすることを妨げる可能性がある。これにより、ユーザがアプリケーションを起動する頻度が減ったり、又は全体的な使用量が減ったりする可能性があるため、アプリケーションの有用性が低下する可能性がある。さらに、移行をレンダリングするためのいくつかの方法は、処理及びストレージリソース等の大量のシステムリソースを利用する場合がある。説明する技術は、説明した欠点に対処し、効率的な方法を行いながらVR環境同士の間のスムーズでシームレスな移行を提供する。
2次元ゲームコンソール等の多くの2次元設定では、ゲーム等の新しいアプリケーションが起動されると、スプラッシュ画面がレンダリングされて、ゲームの起動が開始されたことをユーザに示す。スプラッシュ画面は、プロセスが適切に行われていることをユーザに通知すると同時に、ゲームのロード及び起動中の視覚的な移行をよりスムーズにする視覚的な保持パターンを提供する。
VR環境では、3次元環境を、360度の視野に亘る単一のスプラッシュ画面に修正されないようにレンダリングしなければならないため、スプラッシュ画面は、スムーズな移行を提供するには不十分である。図1に示される実施形態では、レンダリングされた部屋の外側が窓を通して見えている。一実施形態では、実世界は、この例では6つの窓として示されている、いくつかの窓又は画面を通して表される無限のキューブ(cube:立方体)であり得る。ゲーム又は他のアプリケーションが選択されると、キューブが窓にレンダリングされ、移行の指標が開始される場合がある。レンダリングは段階的なシーケンスで発生する可能性があるため、移行は、最小限の知覚可能な移行を提供するシーケンス方式で発生する可能性がある。いくつかの実施形態では、移行先アプリケーション又はシーンのプレビューをレンダリングするポータル120をレンダリングすることができる。例えば、移行先アプリケーション又は移行先シーンに関連するデータに基づいて、移行先アプリケーション又は移行先シーンの表現が、ポータルで生成又はアクセス及びレンダリングされ得、これは、移行先が正しく選択されたという指標をユーザにさらに示すことができる。図1は、本明細書でさらに説明するように、異なって移行され得る前景部分130及び背景部分140も示す。
図2を参照すると、図2は、いくつかの実施形態による3Dシーンを移行させる例を示す。図2では、ビデオゲームアプリケーションの選択が選択メニュー110を介して選択された後の起動環境100が示されている。一実施形態では、背景200の部分は、選択したビデオゲームアプリケーションがロード及び起動されている間の移行期間中に移行される。いくつかの実施形態では、移行先アプリケーション又はシーンへの移行を表すグラフィックデータにアクセスすることができる。例えば、多くのグラフィックファイルが保存され、ファイルシステムを介してアクセス可能であり、それらファイルは、移行先アプリケーション又はシーンの可能な選択を表す。一実施形態では、ローカル装置にインストールされる各アプリケーションは、アプリケーションの移行シーンを表す関連するグラフィックファイルを有することができる。関連するグラフィックファイルが利用できない場合に、デフォルトのグラフィックファイルを使用してもよい。いくつかの実施形態では、背景200の部分は、線形補間等のプログレッシブ方式を使用して、移行先シーンに移行され得る。他の実施形態では、背景200の部分は、レンダリングのコントロールを引き受ける(assume)ゲーム又はアプリケーションの状態を使用する等、別のプログレッシブ方式を使用して移行先シーンに移行され得る。例えば、ロード及び準備における移行先ゲーム又はアプリケーションの進行状況のパーセンテージ又は他の何らかの指標を使用することができる。
移行先アプリケーションがVRディスプレイのレンダリングを引き受ける準備が整っているときに、プラットフォームは、ゲーム又はアプリケーションがレンダリングのコントロールを引き受けることを可能にし得る。いくつかの実施形態では、プラットフォームは、ユーザの位置及び視線の方向等のユーザの状態に関するデータを提供することができる。ゲーム又はアプリケーションが、ユーザの現在の状態に基づいてレンダリングのコントロールをシームレスに引き受けることができるようにするために、他の情報も提供され得る。多くの場合に、VRシステムプラットフォーム及びゲーム又はアプリケーションは異なる3Dエンジンを実行している可能性があり、プラットフォームは、移行先アプリケーションの3Dエンジンが突然の移行或いは黒色又は空白が表示される期間なしにレンダリングを引き継ぐことができるように、十分な情報を提供し得る。より一般的には、開示する技術を使用して、任意の3D体験同士の間のVR環境での移行を容易にすることができる。例えば、開示する技術は、ウェブページと他のハイパーリンク文書との間をナビゲートするときに使用され得る。さらに、開示する技術を使用して、同じアプリケーション内のシーン同士の間の移行を容易にすることができ、シーン同士の間の突然の移行を回避することを低減又は回避する必要がある。
一実施形態では、3D体験同士の間の移行中に、図1に示される環境等の環境がVRディスプレイにレンダリングされ得る。本開示では、そのような環境は「スカイボックス(skybox)」と呼ばれ得る。VR環境で起動及びレンダリングされるアプリケーションは、移行先アプリケーションと呼ばれ得る。移行先アプリケーションがロードされて起動の準備が行われている移行時間中に、移行先アプリケーションを示す視覚的なアーティファクトがスカイボックスの一部にレンダリングされる場合がある。一実施形態では、視覚的アーティファクトは、空間的、時間的、又はこの2つの組合せのいずれかで段階的にレンダリングされ得る。
一実施形態では、代表的なスプラッシュ画面を示すデータは、移行先アプリケーションによって提供され得る。代表的なスプラッシュ画面は、起動環境100の一部に移行され得る。一実施形態では、代表的なスプラッシュ画面の一部は、起動環境100上でレンダリングするために選択され得る。例えば、代表的なスプラッシュ画面のランダムな選択は、起動環境100で漸進的にレンダリングされ得る。他の実施形態では、代表的なスプラッシュ画面の部分は、起動環境100でレンダリングされ得る。移行期間を推定することができ、代表的なスプラッシュ画面の追加部分を移行期間中に起動環境100でレンダリングすることができる。いくつかの実施形態では、背景140は、例えば線形補間又は別のプログレッシブレンダリング方式を使用して、代表的なスプラッシュ画面をレンダリングするように移行され得る。
移行がレンダリングされている間に、ユーザのヘッド(head:頭部)追跡情報は、プラットフォームによって移行先アプリケーション(又は移行先アプリケーションをレンダリングしているエンジン)に提供され得る。他の情報が、必要に応じて移行先アプリケーションに提供され得る。移行先アプリケーションは、移行先アプリケーションを起動するための実行可能ファイルの場所、スカイボックス上でレンダリングするためのスプラッシュ画面データ、及び起動環境100に関する他の情報を提供することができる。いくつかの実施形態では、アプリケーション・プログラミング・インターフェイス(API)を使用して、情報の要求を受け取り、要求された情報を提供することができる。追加的又はオプションで、仮想ストア等のリポジトリ(repository)を使用して、ユーザステータス、システムステータス、及び他の関連情報に関する情報を提供することができる。
図3を参照すると、図3は、ロードされ、レンダリング・コントロールがビデオゲームアプリケーションに移された後の、選択したビデオゲームアプリケーションの初期画面を示す例示的な画面300である。画面300への移行は、アーティファクト200が図2の移行環境100でレンダリングされていたので、シームレスな方法で実施され得、移行が行われていることを示すために段階的な変更をレンダリングしながら、移行中に安定した視覚環境を維持する。さらに、アーティファクト200は、選択したビデオゲームアプリケーションを少なくとも視覚的に示すことができ、これは、起動されているアプリケーションが正しいという指標をユーザに示す。
図4は、一実施形態による、ヘッドマウント装置(HMD)116と相互作用するユーザ204を示す。図では、ユーザ204は、HMD116を装着しているように描かれており、HMD116は、ユーザの目の近くに画像をレンダリングするように構成されたコンピューティング装置114及びディスプレイ118を含み得る。
一実施形態では、コンピューティング装置114は、アプリケーションを実行することができ、HMD116に表示することができる。こうして、コンピューティング装置114は、HMD116と相互作用して、アプリケーションの画像を表示することができる。動作の処理は、コンピューティング装置114で、HMD102で、又はコンピューティング装置106とHMD116との両方で実行することができる。
図1の実施形態では、HMD116は、他の装置と無線(例えば、WiFi(登録商標)、Bluetooth(登録商標)等)で通信することができる。他の実施形態(図示せず)では、HMD16は、ネットワーク(例えば、インターネット)を介して配線され得る。例えば、HMD116は、データ又は他のサービスを提供するネットワーク上のサーバと通信することができる。いくつかの実施形態では、HMD116は自律型装置であり得、アプリケーションは、アプリケーションを実行するための外部装置を必要とせずに、HMD上で直接実行され得る。
一実施形態では、カメラ(又は複数のカメラ)をHMD116に結合することができる。カメラは、画像をコンピューティング装置に送信するネットワーク化されたカメラであり得る。カメラ104は、通常の画像カメラ、ステレオカメラ(すなわち、再生領域から画像を取り込む2つ以上のレンズを含む)、赤外線カメラ、深度カメラ、3Dカメラ等のうちの1つ又は複数であり得る。
カメラで撮影した画像は、HMD116の位置及び動きを追跡するために処理され得る。さらに、画像はまた、ユーザの位置及び動き、或いは再生領域内のユーザの特徴(例えば、ユーザの頭、ユーザの口、ユーザの手、ユーザの胴体等)、コントローラの特徴、又は他の要素の特徴を追跡するために使用され得る。
一実施形態では、ユーザは、音声認識を介してコマンドを提供することができ、このコマンドは、1つ又は複数のマイクロフォンを通じた音声キャプチャを介してコンピューティング装置114によって実行され得るか、又は一実施形態では、1つ又は複数のマイクロフォンも含むHMD116によって実行され得る。別の実施形態では、ユーザ204はまた、コンピューティング装置114によって解析及び認識されるジェスチャを介して入力を入力することができる。
図4に示される実施形態は、例として提供されていることに留意されたい。他の実施形態は、異なる装置、異なる数の装置を利用し、異なる装置同士の間で多少なりとも相互作用し、他の通信方法を使用し得る。従って、図4に示される実施形態は、排他的又は限定的であると解釈すべきではなく、むしろ例示的であると解釈すべきである。
コンピューティング装置112及びヘッドマウントディスプレイ装置116は、プロセッサ120を含むことができ、そのプロセッサ120の例を本明細書でさらに説明する。さらに、コンピューティング装置112及びヘッドマウントディスプレイ装置116は、それぞれのコンピュータ可読媒体124、及び通信インターフェイス130を含むことができ、それらの例を本明細書でさらに説明する。コンピューティング装置112及びヘッドマウントディスプレイ装置116は、互いに協調及び通信して、シーン管理モジュール132を実行する。シーン管理モジュール132は、ユーザ102がヘッドマウントディスプレイ装置116のディスプレイ118を介した3次元没入環境において3次元シーンを見ることができるように、シーン同士の間をシームレスに切り替える機能を提供する。
ヘッドマウントディスプレイ装置116の例には、OCCULUS RIFT、GOOGLE DAYDREAM VIEW、MICROSOFT
HOLOLENS、HTC VIVE、SONY PLAYSTATION VR、SAMSUNG
GEAR VR、GOOGLE CARDBOARD、SAMUSUNG HMD ODYSSEY、DELL
VISOR、HP HEADSET、LENOVO EXPLORER、ACER
HEADSET、ASUS WINDOWS MIXED REALITY HEADSET、又は任意の拡張現実、混合現実、仮想現実装置が含まれるが、これらに限定されない。
従って、場合によっては、ヘッドマウントディスプレイ装置116は、プロセッサ又はコンピュータ可読媒体を含まなくてもよい。むしろ、ヘッドマウントディスプレイ装置116は、表示のためにコンピューティング装置112に保存されたデータをレンダリングするように構成された出力装置を含み得る。例えば、ヘッドマウントディスプレイ装置116は、コンピューティング装置112に繋がれ得る。従って、コンピューティング装置112及びヘッドマウントディスプレイ装置116のインターフェイス130は、有線及び/又は無線のユニバーサルシリアルバス(USB)接続、Bluetooth(登録商標)接続、高解像度マルチメディアインターフェイス(HDMI)接続等を介して通信するように構成され得る。
シーンを管理している間に、シーン管理モジュール132は、アプリケーションを選択して起動するためのコントロールを提供するか、又はユーザ入力に基づいてアプリケーション内の様々なコントロールを選択することができる。本明細書で使用される場合に、「コントロール」は、GUI要素とユーザ入力(例えば、ユーザがGUI要素を選択又はクリックする)との間の相互作用に基づいてアクティブ化される、表示されるグラフィカルユーザインターフェイス(GUI)要素(例えば、ボタン、オブジェクト等)を含むことができる。あるいはまた、コントロールは、音声コマンド又はジェスチャ等の他の形式の入力を受け入れ及び/又は検出するように構成することができる。こうして、コントロールはユーザ入力を受け取るように構成できるが、必ずしもGUI要素として表示されるとは限らない。
コンピュータ可読媒体124はまた、本明細書でさらに説明するようにシーン移行を容易にするように構成された移行モジュール134、及びユーザステータス等の起動アプリケーションにアクセスしてデータを送信するように構成されたデータモジュール136を含み得る。
コンピューティング装置114は、3D体験の一部として、シーンの変更を管理及び実施するように構成され得、例えば、ゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータ、ゲーム装置、タブレットコンピュータ、携帯電話、ネットワーク対応テレビ、モノのインターネット(IoT)装置、メディアプレーヤ、又は他のコンピューティング装置を含むことができる。いくつかの実施態様では、コンピューティング装置は、周辺入力装置(例えば、ゲームコントローラ、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、ジェスチャ入力装置等)を含むユーザ入力装置等の入力/出力装置との通信を可能にする入力/出力(I/O)インターフェイス、及び/又は周辺出力装置(例えば、ディスプレイ画面、タッチ画面、プリンタ、オーディオスピーカ、触覚出力装置等)を含む出力装置を含む。
コンピューティング装置114は、インターネット等のネットワーク、イントラネット等のプライベートネットワーク、又はプライベートネットワークとパブリックネットワークのいくつかの組合せを介して通信するようにさらに構成され得る。ネットワークには、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、衛星ネットワーク、ケーブルネットワーク、Wi-Fi(登録商標)ネットワーク、WiMax(登録商標)ネットワーク、携帯通信ネットワーク(例えば、3G、4G等)又はそれらの任意の組合せ等を含むがこれらに限定されない、あらゆるタイプの有線及び/又は無線ネットワークを含めることができる。ネットワークは、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、又は他のタイプのプロトコル等のパケットベース及び/又はデータグラムベースのプロトコルを含む通信プロトコルを利用できる。ネットワークには、スイッチ、ルーター、ゲートウェイ、アクセスポイント、ファイアウォール、基地局、リピーター等、ネットワーク通信を容易にする多数の装置を含めることもできる。
様々な実施態様において、コンピューティング装置及びヘッドマウントディスプレイ装置のインターフェイスは、有線及び/又は無線接続を使用するパーソナルエリアネットワーク(PAN)に従って動作し、PANを介して通信するように構成することができる。例えば、PAN接続は、Infrared Data Association(IrDA)、Bluetooth(登録商標)、有線及び/又は無線のユニバーサルシリアルバス(USB)、Z-Wave、ZIGBEE(登録商標)、又は他の短距離無線技術に従って動作できる。
本明細書で使用される場合に、「プロセッサ」は、例えば、CPUタイプの処理装置、仮想GPU(VGPU)を含むGPUタイプの処理装置、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、又は場合によってはCPUによって駆動され得る他のハードウェアロジックコンポーネントを表すことができる。例えば、使用できるハードウェアロジックコンポーネントの例示的なタイプには、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、コンプレックス・プログラマブル論理装置(CPLD)等が含まれるが、これらに限定されない。
本明細書で使用される場合に、「コンピュータ可読媒体」は、プロセッサ及び/又はデータ(例えば、シーン、テンプレート、又はオブジェクトのモデルデータ)によって実行可能な命令を格納することができる。コンピュータ可読媒体は、外部CPU、外部GPU等の外部処理装置によって実行可能な命令、及び/又はFPGAタイプアクセラレータ、DSPタイプアクセラレータ等の外部アクセラレータによって実行可能な命令、或いは他の内部又は外部アクセラレータによって実行可能な命令を格納することができる。様々な例では、少なくとも1つのCPU、GPU、及び/又はアクセラレータがコンピューティング装置に組み込まれる一方、いくつかの例では、1つ又は複数のCPU、GPU、及び/又はアクセラレータがコンピューティング装置の外部にある。
コンピュータ可読媒体は、コンピュータ記憶媒体及び/又は通信媒体を含むことができる。コンピュータ記憶媒体は、揮発性メモリ、不揮発性メモリ、及び/又は他の恒久的及び/又は補助的なコンピュータ記憶媒体、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータ等の情報を記憶するための任意の方法又は技術で実現されたリムーバル及び非リムーバルコンピュータ記憶媒体のうちの1つ又は複数を含むことができる。こうして、コンピュータ記憶媒体は、ランダムアクセスメモリ(RAM)、静的ランダムアクセスメモリ(SRAM)、動的ランダムアクセスメモリ(DRAM)、相変化メモリ(PCM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROM)、電気的消去可能プログラム可能読み取り専用メモリ(EEPROM)、フラッシュメモリ、コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、光カード又は他の光記憶媒体、磁気カセット、磁気テープ、磁気ディスクストレージ、磁気カード又は他の磁気記憶装置又は媒体、ソリッドステートメモリ装置、ストレージアレイ、ネットワーク接続ストレージ、ストレージエリアネットワーク、ホスト型コンピュータストレージ、又はコンピューティング装置によるアクセスのための情報を保存及び維持するために使用できる任意の他のストレージメモリ、記憶装置、及び/又はストレージ媒体を含むがこれらに限定されない、装置及び/又は装置の一部であるか又は装置の外部であるハードウェアコンポーネントに含まれる有形及び/又は物理的形態のメモリを含む。
コンピュータ記憶媒体とは対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータを、搬送波等の変調されたデータ信号、又は他の送信メカニズムで具体化することができる。本明細書で規定されるように、コンピュータ記憶媒体は、通信媒体を含まない。すなわち、コンピュータ記憶媒体は、変調されたデータ信号、搬送波、又は伝搬された信号自体のみから構成される通信媒体を含まない。
図4に示されるモジュールは、単なる例であり、シーン移行プラットフォームを実現するために使用されるモジュールの数は、増減する可能性がある。すなわち、図示されたモジュールに関連して本明細書で説明する機能は、1つの装置上でより少ない数のモジュール又はより多い数のモジュールによって実行され得る、又は複数の装置にまたがって分散され得る。
図5を参照すると、図5は、本明細書に開示されるようなシーン管理技術を実現するためのプロセス及びデータフローの例である。スカイボックス400は、第1の3Dエンジン422によってレンダリングされ得る。いくつかの実施形態では、第1の3Dエンジン422は、ホストシステムによって提供され得る。第2の3Dエンジン424によってレンダリングされ得る移行先アプリケーション410と併せてレンダリングされた画面が、図5にも示されている。いくつかの実施形態では、第2の3Dエンジン424は、移行先アプリケーション410によって提供され得る。移行先アプリケーション410を起動するように選択したときに、画面データ432は、第1の3Dエンジン422によってアクセスされ得る。画面データ432は、ローカルに格納され、ファイルシステムを介してアクセス可能であり、リモートに格納され、ネットワークを介してアクセス可能であり、第2の3Dエンジン424によって提供され、又は他に第1の3Dエンジン422に利用可能にされ得る。画面データ432は、例えば、選択した移行先アプリケーション410のスプラッシュ画面データを含み得る。第1の3Dエンジン422は、画面データ432を使用して、シーン移行の期間中にスカイボックス400上にアーティファクトをレンダリングすることができる。
第1の3Dエンジン422は、追跡データ434を第2の3Dエンジン424に提供して、移行先アプリケーション410がユーザの状態に基づいてレンダリングを開始できるようにする。追跡データ434は、ユーザの現在の視聴位置並びにVR装置の位置及び向きを含み得る。例えば、追跡データ434は、VR装置を装着したときのユーザの頭の6つの自由度、例えばX、Y、Z座標及びピッチ、ロール、及びヨーを含み得る。
第1の3Dエンジン422はまた、グラフィックデータ434を第2の3Dエンジン424に提供して、移行先アプリケーション410がスカイボックス400の現在のビュー及びレンダリングされたアーティファクトに基づいてレンダリングを開始できるようにする。グラフィックデータ436は、必要に応じて、第2の3Dエンジン424がレンダリングタスクのコントロールを引き受けるときに第2の3Dエンジン424が含み得るスカイボックス400及び関連するアーティファクトの任意の部分を含むように、第2の3Dエンジン424によって使用され得る。
図6、図7、及び図8は、方法のフローチャートを示す。本明細書に開示される方法の動作は、特定の順序で提示されておらず、代替の順序での動作の一部又は全ての実行が、可能であり、企図されることを理解されたい。説明及び図解を容易にするために、動作を説明する順序で示している。添付の特許請求の範囲から逸脱することなく、動作を追加、省略、及び/又は同時に実行することができる。
図示する方法はいつでも終了することができ、それらの全体を実行する必要がないことも理解すべきである。方法の一部又は全ての動作、及び/又は実質的に同等の動作は、以下に規定されるように、コンピュータ記憶媒体に含まれるコンピュータ可読命令の実行によって行うことができる。詳細な説明及び特許請求の範囲で使用される「コンピュータ可読命令」という用語、及びその変形は、本明細書では、ルーチン、アプリケーション、アプリケーションモジュール、プログラムモジュール、プログラム、コンポーネント、データ構造、アルゴリズム等を含むように広範に使用される。コンピュータ可読命令は、シングルプロセッサ又はマルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティング装置、ウェアラブルコンピューティング装置、マイクロプロセッサベースのプログラム可能な家庭用電化製品、それらの組合せ等を含む、様々なシステム構成で実現できる。
こうして、本明細書で説明する論理動作(演算)は、(1)コンピューティングシステム上で実行される一連のコンピュータ実施動作又はプログラムモジュールとして、及び/又は(2)コンピューティングシステム内の相互接続された機械論理回路又は回路モジュールとして実施されることを理解されたい。実施は、コンピューティングシステムのパフォーマンス及び他の要件に応じて選択する問題である。従って、本明細書で説明する論理動作は、状態、演算、構造装置、動作、又はモジュールと様々に呼ばれる。これらの動作、構造装置、動作、及びモジュールは、ソフトウェア、ファームウェア、特殊目的のデジタルロジック、及びそれらの任意の組合せで実現できる。
さらに、本明細書で説明する動作は、コンピューティングシステム(例えば、コンピューティング装置112、ヘッドマウントディスプレイ装置116、及び/又はネットワークプロバイダの装置)上で実行される一連のコンピュータ実施動作又はプログラムモジュールとして実施することができる。
図6は、本開示による3次元環境におけるシーン移行の管理を対象とする動作を示す例示的なフローチャート600の図である。図6の動作は、図1~図5のいずれか1つに関して上記で説明したように、例えば、コンピューティング装置112、ヘッドマウントコンピューティング装置116、及び/又はネットワークプロバイダの装置によって実行することができる。
動作602では、第1の3次元シーンがレンダリングされる。
動作604では、第1の3次元シーンを第2の3次元シーンで置き換えるべきであるという指標が受信される。
動作606では、第2の3次元シーンへの移行を表すグラフィックデータが受信される。いくつかの実施形態では、グラフィックデータは、移行先アプリケーションを表す1つ又は複数のグラフィックファイルを含み得る。グラフィックデータには、各アプリケーションの保存されたデータセットが含まれ得る。いくつかの実施形態では、グラフィックデータは、必要に応じて様々なアプリケーションによって更新され得る。
動作608では、第1の3次元シーンは、グラフィックデータを使用して第2の3次元シーンに移行される。
いくつかの実施形態では、線形補間を使用して、グラフィックデータに基づいて第1の3次元シーンを漸進的に移行させることができる。線形補間は、第1の3次元シーンと第2の3次元シーンとの間の補間に基づいて中間ピクセルをレンダリングすることを含み得る。一実施形態では、補間を使用して、第1のシーンと第2のシーンとの間の中間値を決定することができる。例えば、第1のシーンと第2のシーンとの間の中間フレームが、1つ又は複数の補間アルゴリズムを使用して生成され得る。アルゴリズムによって、第1のシーンと第2のシーンとの間のダイナミクス又は空間的平均を概算することができる。いくつかの実施形態では、第1のシーンの値と第2のシーンの値との間のステップ値は、第2のシーン及び後続のシーンのレンダリングのコントロールを引き受けるプロセスの完了度又は準備の程度等の状態に基づいて決定され得る。本明細書で使用される場合に、第2のシーンをレンダリングするコントロールを引き受けるプロセスは、移行先プロセスと呼ばれ得る。例えば、移行先プロセスがレンダリングのコントロールを引き受ける準備をするためにタスクの25%を完了した場合に、25%のステップ値(又は比例値)を補間に使用することができる。
動作610では、第2の3次元シーンをレンダリングするコントロールが、第2の3次元シーンをレンダリングするように構成されたプロセスに移行される。いくつかの実施形態では、移行先プロセスが、コントロールを引き受ける準備が整っていることを示すときに、レンダリングを移行させることができる。いくつかの実施形態では、コントロールは、第1の3次元シーンに関するグラフィックデータをレンダリングした後に移行される。さらに、第2の3次元シーンは、少なくとも部分的にユーザステータスに基づいてレンダリングされ得る。一実施形態では、移行は、黒色の又は空白の3次元シーンをレンダリングすることなく実行される。
いくつかの実施形態では、ユーザステータスを示すデータは、第2の3次元シーンをレンダリングするように構成されたプロセスに送信され得る。第2の3次元シーンは、少なくとも部分的にユーザステータスに基づいてレンダリングされる。一実施形態では、ユーザステータスを示すデータは、3次元座標系の座標、並びにピッチ、ロール、及びヨー等の向きの、ユーザの3次元位置及び向きデータを含む。
一実施形態では、第1の3次元シーンは、前景要素及び背景要素を含み、移行は、第1の3次元シーンの背景要素の部分をグラフィックデータで更新することを含む。さらに、移行は、コントロールを移行する前に前景をフェードアウト(fading away:消えていく)することをさらに含み、プロセスは新しい前景でフェードインする。
いくつかの実施形態では、移行は、第1の3次元シーンとグラフィックデータとの間の線形補間に基づいて、第1の3次元シーンの部分を更新することを含む。一実施形態では、移行は、グラフィックデータ及び移行先アプリケーションのロードの完了度合(amount of completion)の指標に基づいて、第1の3次元シーンの部分を比例的に更新することを含む。
一実施形態では、第1の3次元シーンを示すデータは、第2の3次元シーンをレンダリングするように構成されたプロセスに送信され得る。第2の3次元シーンをレンダリングするように構成されたプロセスは、コントロールが移されるときに第1の3次元シーンの部分をレンダリングするように構成され得る。
いくつかの実施形態では、第2の3次元シーンの代表的なレンダリングを含むポータルが、第1の3次元シーン上でレンダリングされる。
いくつかの実施形態では、第1の3次元シーン及び第2の3次元シーンは、アプリケーションに関連する異なるシーンである。
第1の3次元シーンは、第1の3Dエンジンによってレンダリングされ得、第2の3次元シーンは、第2の3Dエンジンによってレンダリングされ得る。
図7は、3次元環境におけるシーンの管理を対象とする動作を示す例示的なフローチャート700の図である。いくつかの実施形態では、図7の動作は、図1~図5のいずれか1つに関して上記で説明したように、コンピューティング装置112、ヘッドマウントコンピューティング装置116、及び/又はネットワークプロバイダの装置によって実行することができる。
動作702では、第1の3次元シーンは、3次元環境をレンダリングするように構成されたディスプレイ装置上でレンダリングされる。
動作704では、第1の3次元シーンを第2の3次元シーンに移行すべきであるという指標が受信される。
動作706では、第2の3次元シーンを表すグラフィックデータが受信される。
動作708では、第1の3次元シーンは、第1の3次元シーンの前景部分を移行する前に、第1の3次元シーンの背景部分を移行することによって、第2の3次元シーンに移行される。
動作710では、ユーザステータスを示すデータは、第2の3次元シーンをレンダリングするように構成されたプロセスに送信される。
動作712では、プロセスが第2の3次元シーンをレンダリングする準備が整っているという指標に応答して、第2の3次元シーンをレンダリングするコントロールがプロセスに移行される。
いくつかの実施形態では、第1の3次元シーンは、移行先アプリケーションを起動するための選択を示すユーザ入力を受け取るように構成された起動画面である。さらに、第1の3次元シーンは、第1のアプリケーションに関連付けられ得、第2の3次元シーンは、第2のアプリケーションに関連付けられ得る。
図8は、3次元環境におけるシーンの管理を対象とする動作を示す例示的なフローチャート800の図である。図8の動作は、図1~図5のいずれか1つに関して上記で説明したように、コンピューティング装置112、ヘッドマウントコンピューティング装置116、及び/又はネットワークプロバイダの装置によって実行することができる。
動作802では、第1の3次元シーンがディスプレイ上でレンダリングされる。
動作804では、第2の3次元シーンを表すグラフィックデータが受信される。
動作806では、第1の3次元シーンは、グラフィックデータを使用して、第2の3次元シーンに漸進的に移行される。
動作808では、第2の3次元シーンがディスプレイ上でレンダリングされる。一実施形態では、第2の3次元シーンは、装置のユーザの追跡データに少なくとも部分的に基づいてレンダリングされ得る。一実施形態では、第2の3次元シーンは、選択的レンダリングの後にレンダリングされ得る。
いくつかの実施形態では、第2の3次元シーンは、第1の3次元シーンとは異なるプロセスによってレンダリングされ得る。さらに、ディスプレイ上のレンダリングのコントロールは、第2の3次元シーンをレンダリングするプロセスに移行され得る。
一実施形態では、グラフィックデータは、第2の3次元シーンをレンダリングするプロセスから受信することができる。
一実施形態では、漸進的移行は、線形補間を使用して、第1の3次元シーンの背景部分を移行させることを含む。
一実施形態では、第2の3次元シーンは、移行先アプリケーションの開始画面である。
本明細書に提示される開示は、以下の例示的な項を考慮して考慮され得る。
例示的な項Aでは、装置は、
3次元環境をレンダリングするように構成される1つ又は複数のディスプレイと、
少なくとも1つのプロセッサと、
命令を格納するメモリと、を含み、
命令が少なくとも1つのプロセッサによって実行されると、装置に、
ディスプレイ上で、第1の3次元シーンをレンダリングすること、
第1の3次元シーンを第2の3次元シーンに置き換えるべきであるという指標を受信すること、
第2の3次元シーンへの移行を表すグラフィックデータを受信すること、
グラフィックデータを使用して、第1の3次元シーンから第2の3次元シーンに移行すること、及び
第2の3次元シーンをレンダリングするコントロールを、第2の3次元シーンをレンダリングするように構成されたプロセスに移行させること、を含む動作を実行させる。
例示的な項Aの装置である例示的な項Bでは、命令が少なくとも1つのプロセッサによって実行されると、装置に、第2の3次元シーンをレンダリングするように構成されたプロセスに、ユーザステータスを示すデータを送信することを含む動作を実行させる命令をさらに含む。
例示的な項Bの装置である例示的な項Cでは、第1の3次元シーンは、前景要素及び背景要素を含み、移行することは、第1の3次元シーンの背景要素の部分をグラフィックデータで更新することを含む。
例示的な項A~Cのいずれか1つの装置である例示的な項Dでは、移行することは、コントロールを移行する前に前景をフェードアウト(fading away)することをさらに含み、プロセスは、新しい前景でフェードインする。
例示的な項A~Dのいずれか1つの装置である例示的な項Eでは、移行することは、第1の3次元シーンとグラフィックデータとの間の線形補間に基づいて、第1の3次元シーンの部分を更新することを含む。
例示的な項A~Dのいずれか1つの装置である例示的な項Fでは、移行することは、グラフィックデータ及び移行先アプリケーションのロードの完了度合の指標に基づいて、第1の3次元シーンの部分を比例的に更新することを含む。
例示的な項A~Fのいずれか1つの装置である例示的な項Gでは、ユーザステータスを示すデータは、ユーザのデータの3次元位置及び向きを含む。
例示的な項A~Gのいずれか1つの装置である例示的な項Hでは、移行することは、黒色の又は空白の3次元シーンをレンダリングすることなく実行される。
例示的な項A~Gのいずれか1つの装置である例示的な項Iでは、第2の3次元シーンをレンダリングするように構成されたプロセスに、第1の3次元画面を示すデータを送信することをさらに含み、第2の3次元シーンをレンダリングするように構成されたプロセスは、コントロールを移行したときに、第1の3次元画面の部分をレンダリングするようにさらに構成される。
例示的な項A~Iのいずれか1つの装置である例示的な項Jでは、第1の3次元シーン上で、第2の3次元シーンの代表的なレンダリングを含むポータルをレンダリングすることをさらに含む。
例示的な項A~Jのいずれか1つの装置である例示的な項Kでは、第1の3次元シーン及び第2の3次元シーンは、アプリケーションに関連する異なるシーンである。
例示的な項A~Kのいずれか1つの装置である例示的な項Lでは、第1の3次元シーンは第1の3Dエンジンによってレンダリングされ、第2の3次元シーンは第2の3Dエンジンによってレンダリングされる。
例示的な項A~Lについて、装置に関して上記で説明しているが、本開示の文脈において、例示的な項A~Lの主題は、追加的又は代替的に、方法として、又はコンピュータ可読記憶媒体を介して実施され得ることが理解される。
例示的な項Mでは、方法は、
3次元環境をレンダリングするように構成されたディスプレイ装置上で、第1の3次元シーンをレンダリングするステップと、
第1の3次元シーンを第2の3次元シーンに移行すべきであるという指標を受信するステップと、
第2の3次元シーンを表すグラフィックデータを受信するステップと、
第1の3次元シーンの前景部分を移行する前に、第1の3次元シーンの背景部分を移行させることによって、第1の3次元シーンを第2の3次元シーンに移行させるステップと、
第2の3次元シーンをレンダリングするように構成されたプロセスに、ユーザステータスを示すデータを送信するステップと、
プロセスが第2の3次元シーンをレンダリングする準備が整っているという指標に応答して、第2の3次元シーンをレンダリングするコントロールをプロセスに移行させるステップと、を含む。
例示的な項Mの方法である例示的な項Nでは、第1の3次元シーンは、移行先アプリケーションを起動するための選択を示すユーザ入力を受け取るように構成された起動画面である。
例示的な項M又は例示的な項Nの方法である例示的な項Oでは、第1の3次元シーンは、第1のアプリケーションに関連付けられ、第2の3次元シーンは、第2のアプリケーションに関連付けられる。
例示的な項M~Oについて、方法に関して上記で説明しているが、本開示の文脈において、例示的な項M~Oの主題は、追加的又は代替的に、装置によって、又はコンピュータ可読記憶媒体を介して実施され得ることが理解される。
例示的な項Pでは、装置は、
3次元環境をレンダリングするように構成されるディスプレイを制御するように構成されたインターフェイスと、
少なくとも1つのプロセッサと、
命令を格納するメモリと、を含み、
命令が少なくとも1つのプロセッサによって実行されると、装置に、
ディスプレイ上で、第1の3次元シーンをレンダリングすること、
第2の3次元シーンを表すグラフィックデータを受信すること、
グラフィックデータを使用して、第1の3次元シーンを第2の3次元シーンに漸進的に移行させること、及び
ディスプレイ上で、第2の3次元シーンをレンダリングすること、を含む動作を実行させ、
第2の3次元シーンは、装置のユーザの追跡データに少なくとも部分的に基づいてレンダリングされる。
例示的な項Pの装置である例示的な項Qでは、第2の3次元シーンは、第1の3次元シーンとは異なるプロセスによってレンダリングされ、ディスプレイ上のレンダリングのコントロールを、第2の3次元シーンをレンダリングするプロセスに移行させることをさらに含む。
例示的な項P又は例示的な項Qの装置である例示的な項Rでは、グラフィックデータは、第2の3次元シーンをレンダリングするプロセスから受信される。
例示的な項P~Qのいずれか1つの装置である例示的な項Sでは、漸進的に移行させることは、線形補間を使用して第1の3次元シーンの背景部分を移行させることを含む。
例示的な項P~Sのいずれか1つの装置である例示的な項Tでは、第2の3次元シーンは、移行先アプリケーションの開始画面である。
例示的な項P~Tについて、装置に関して上記で説明しているが、本開示の文脈において、例示的な項P~Tの主題は、追加的又は代替的に、方法として、又はコンピュータ可読記憶媒体を介して実施され得ることが理解される。
技術について、構造的特徴及び/又は方法論的動作に固有の言語で説明してきたが、添付の特許請求の範囲は、必ずしも説明した特徴又は動作に限定されないことを理解されたい。むしろ、特徴及び動作は、そのような技術の実施態様として説明している。
例示的なプロセスの動作は、個々のブロックに示され、それらのブロックを参照して要約される。プロセスは、ブロックの論理フローとして示され、各ブロックは、ハードウェア、ソフトウェア、又はそれらの組合せで実施できる1つ又は複数の動作を表すことができる。ソフトウェアの文脈では、動作は、命令が1つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサが列挙された動作を実行できるようにする、1つ又は複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、モジュール、コンポーネント、データ構造等を含む。動作を説明する順序は、制限として解釈されることを意図しておらず、説明した動作の任意の数は、説明したプロセスを実施するために、任意の順序で実行され、任意の順序で組み合わされ、複数のサブ動作に細分化され、及び/又は並行して実行され得る。説明するプロセスは、1つ又は複数の内部又は外部のCPU又はGPU等の1つ又は複数の装置、及び/又はFPGA、DSP、又は他のタイプのアクセラレータ等の1つ又は複数のハードウェアロジックに関連付けられたリソースによって実行できる。
上記の全ての方法及びプロセスは、1つ又は複数の汎用コンピュータ又はプロセッサによって実行されるソフトウェアコードモジュールで具体化され、そのモジュールを介して完全に自動化され得る。コードモジュールは、任意のタイプのコンピュータ可読記憶媒体又は他のコンピュータ記憶装置に格納することができる。あるいはまた、いくつか又は全ての方法を、専用のコンピュータハードウェアで具体化することができる。
とりわけ、「できる、可能性がある、場合がある、してもよい(can, could, might, may)」等の条件付き言語は、特に明記しない限り、特定の例が特定の特徴、要素、及び/又はステップを含むが、他の例が特定の特徴、要素、及び/又はステップ含まないことを提示する文脈内で理解される。こうして、そのような条件付き言語は、一般に、特定の特徴、要素、及び/又はステップが1つ又は複数の例に必要であること、或いはユーザ入力又はプロンプトの有無にかかわらず、1つ又は複数の例に、特定の特徴、要素、及び/又はステップが任意の特定の例に含まれているか、特定の例で実行されるかどうかを判定するためのロジックが必然的に含まれることを意味することを意図していない。「X、Y、又はZの少なくとも1つ」という句等の接続詞は、特に明記していない限り、項目、用語等がX、Y、又はZのいずれか、又はそれらの組合せであることを示すと理解すべきである。
本明細書に記載される及び/又は添付の図に示されるフロー図のルーチンの説明、要素又はブロックは、ルーチン内の特定の論理特徴又は要素を実現するための1つ又は複数の実行可能命令を含むコードのモジュール、セグメント、又は部分を潜在的に表すものとして理解すべきである。代替の実施態様は、本明細書に記載の例の範囲内に含まれ、その要素又は機能は、当業者によって理解されるように、関与する機能に応じて、実質的に同期的又は逆の順序を含めて、図示又は説明したものから順序から外れて削除又は実行され得る。上記の例には多くの変形及び修正を加えることができ、その要素は他の許容可能な例の中にあると理解すべきであることを強調すべきである。そのような全ての修正及び変形は、本開示の範囲内に本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図されている。

Claims (19)

  1. 装置であって、当該装置は、
    3次元環境をレンダリングするように構成される1つ又は複数のディスプレイと、
    少なくとも1つのプロセッサと、
    命令を格納するメモリと、を含み、
    前記命令が前記少なくとも1つのプロセッサによって実行されると、当該装置に、
    前記ディスプレイ上で、前景要素及び背景要素を含む第1の3次元シーンをレンダリングすること、
    該第1の3次元シーンを第2の3次元シーンに置き換えるべきであるという指標を受信すること、
    前記第2の3次元シーンへの移行を表すグラフィックデータを受信すること、
    前記第1の3次元シーンの前記背景要素の部分を前記グラフィックデータで更新することによって、前記第1の3次元シーンから前記第2の3次元シーンに移行すること、及び
    前記第2の3次元シーンをレンダリングするように構成されたプロセスが、前記第2の3次元シーンをレンダリングする準備が整っているという指標に応答して、前記第2の3次元シーンをレンダリングするコントロールを前記プロセスに移行させること、を含む動作を実行させる、
    装置。
  2. 前記命令が前記少なくとも1つのプロセッサによって実行されると、当該装置に、前記第2の3次元シーンをレンダリングするように構成された前記プロセスに、ユーザステータスを示すデータを送信することを含む動作を実行させる命令をさらに含み、前記第2の3次元シーンは、前記ユーザステータスに基づいてレンダリングされる、請求項1に記載の装置。
  3. 前記移行することは、前記コントロールを移行する前に前景をフェードアウトすることをさらに含み、前記プロセスは、新しい前景でフェードインする、請求項1に記載の装置。
  4. 前記移行することは、前記第1の3次元シーンと前記グラフィックデータとの間の線形補間に基づいて、前記第1の3次元シーンの部分を更新することを含む、請求項1に記載の装置。
  5. 前記移行することは、前記グラフィックデータ及び移行先アプリケーションのロード完了度合の指標に基づいて、前記第1の3次元シーンの部分を比例的に更新することを含む、請求項1に記載の装置。
  6. 前記ユーザステータスを示す前記データは、ユーザのデータの3次元位置及び向きを含む、請求項2に記載の装置。
  7. 前記移行することは、黒色の又は空白の3次元シーンをレンダリングすることなく実行される、請求項1に記載の装置。
  8. 前記第2の3次元シーンをレンダリングするように構成された前記プロセスに、前記第1の3次元シーンを示すデータを送信することをさらに含み、前記第2の3次元シーンをレンダリングするように構成された前記プロセスは、前記コントロールを移行するときに、前記第1の3次元シーンの部分をレンダリングするようにさらに構成される、請求項1に記載の装置。
  9. 前記第1の3次元シーン上で、前記第2の3次元シーンの代表的なレンダリングを含むポータルをレンダリングすることをさらに含む、請求項1に記載の装置。
  10. 前記第1の3次元シーン及び前記第2の3次元シーンは、アプリケーションに関連する異なるシーンである、請求項1に記載の装置。
  11. 前記第1の3次元シーンは、第1の3Dエンジンによってレンダリングされ、前記第2の3次元シーンは、第2の3Dエンジンによってレンダリングされる、請求項1に記載の装置。
  12. 方法であって、当該方法は、
    3次元環境をレンダリングするように構成されたディスプレイ装置上で、前景要素及び背景要素を含む第1の3次元シーンをレンダリングするステップと、
    前記第1の3次元シーンを第2の3次元シーンに移行すべきであるという指標を受信するステップと、
    前記第2の3次元シーンを表すグラフィックデータを受信するステップと、
    前記第1の3次元シーンの前記背景要素の部分を前記グラフィックデータで更新することによって、前記第1の3次元シーンを前記第2の3次元シーンに移行させるステップと、
    前記第2の3次元シーンをレンダリングするように構成されたプロセスに、ユーザステータスを示すデータを送信するステップと、
    前記プロセスが前記第2の3次元シーンをレンダリングする準備が整っているという指標に応答して、前記第2の3次元シーンをレンダリングするコントロールを前記プロセスに移行させるステップと、を含む、
    方法。
  13. 前記第1の3次元シーンは、移行先アプリケーションを起動するための選択を示すユーザ入力を受け取るように構成された起動画面である、請求項12に記載の方法。
  14. 前記第1の3次元シーンは、第1のアプリケーションに関連付けられ、前記第2の3次元シーンは、第2のアプリケーションに関連付けられる、請求項12に記載の方法。
  15. 装置であって、当該装置は、
    3次元環境をレンダリングするように構成されるディスプレイを制御するように構成されたインターフェイスと、
    少なくとも1つのプロセッサと、
    命令を格納するメモリと、を含み、
    前記命令が前記少なくとも1つのプロセッサによって実行されると、当該装置に、
    前記ディスプレイ上で、前景要素及び背景要素を含む第1の3次元シーンをレンダリングすること、
    第2の3次元シーンを表すグラフィックデータを受信すること、
    前記第1の3次元シーンの前記背景要素の部分を前記グラフィックデータで更新することによって、前記第1の3次元シーンを前記第2の3次元シーンに移行させること、及び
    前記ディスプレイ上で、前記第2の3次元シーンをレンダリングすること、を含む動作を実行させ、
    前記第2の3次元シーンは、当該装置のユーザの追跡データに基づいてレンダリングされる、
    装置。
  16. 前記第2の3次元シーンは、前記第1の3次元シーンとは異なるプロセスによってレンダリングされ、前記ディスプレイ上のレンダリングのコントロールを、前記第2の3次元シーンをレンダリングする前記プロセスに移行させることをさらに含む、請求項15に記載の装置。
  17. 前記グラフィックデータは、前記第2の3次元シーンをレンダリングする前記プロセスから受信される、請求項16に記載の装置。
  18. 前記移行は、線形補間を使用して、前記第1の3次元シーンの背景部分を移行させることを含む、請求項16に記載の装置。
  19. 前記第2の3次元シーンは、移行先アプリケーションの開始画面である、請求項16に記載の装置。
JP2021500156A 2018-07-09 2019-06-19 3d移行 Active JP7418393B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/030,776 US10540824B1 (en) 2018-07-09 2018-07-09 3-D transitions
US16/030,776 2018-07-09
PCT/US2019/037848 WO2020013966A1 (en) 2018-07-09 2019-06-19 3-d transitions

Publications (3)

Publication Number Publication Date
JP2021531561A JP2021531561A (ja) 2021-11-18
JPWO2020013966A5 JPWO2020013966A5 (ja) 2022-05-20
JP7418393B2 true JP7418393B2 (ja) 2024-01-19

Family

ID=67139828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500156A Active JP7418393B2 (ja) 2018-07-09 2019-06-19 3d移行

Country Status (6)

Country Link
US (1) US10540824B1 (ja)
EP (1) EP3821401A1 (ja)
JP (1) JP7418393B2 (ja)
KR (1) KR20210030384A (ja)
CN (1) CN112384954A (ja)
WO (1) WO2020013966A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
EP4387257A2 (en) * 2018-10-12 2024-06-19 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
US11228750B1 (en) * 2020-09-08 2022-01-18 Rovi Guides, Inc. Systems and methods for generating virtual reality scenes
JP7423781B2 (ja) 2021-08-18 2024-01-29 株式会社ハシラス Vrアミューズメントプログラムおよび装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002346207A (ja) 2001-05-25 2002-12-03 Koei:Kk ビデオゲームの制御方法、ゲームプログラム、記憶媒体及びゲーム装置
JP2013504131A (ja) 2009-09-03 2013-02-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 非同期タスクディスパッチを可能にする処理ユニット
JP2016532178A (ja) 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US7453459B2 (en) * 2001-02-26 2008-11-18 Adobe Systems Incorporated Composite rendering 3-D graphical objects
US7019748B2 (en) 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
US20030090485A1 (en) * 2001-11-09 2003-05-15 Snuffer John T. Transition effects in three dimensional displays
US20030227453A1 (en) 2002-04-09 2003-12-11 Klaus-Peter Beier Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US7589732B2 (en) 2002-11-05 2009-09-15 Autodesk, Inc. System and method of integrated spatial and temporal navigation
US8049750B2 (en) 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US10440329B2 (en) 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
CN102724418B (zh) 2011-05-11 2016-06-15 新奥特(北京)视频技术有限公司 一种三维场景中实现出特技的方法
US9143897B2 (en) 2012-11-05 2015-09-22 Nokia Technologies Oy Method and apparatus for providing an application engine based on real-time commute activity
US9305371B2 (en) 2013-03-14 2016-04-05 Uber Technologies, Inc. Translated view navigation for visualizations
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20150302651A1 (en) 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US9851786B2 (en) 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US20160314624A1 (en) 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US9665972B2 (en) * 2015-07-28 2017-05-30 Google Inc. System for compositing educational video with interactive, dynamically rendered visual aids

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002346207A (ja) 2001-05-25 2002-12-03 Koei:Kk ビデオゲームの制御方法、ゲームプログラム、記憶媒体及びゲーム装置
JP2013504131A (ja) 2009-09-03 2013-02-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 非同期タスクディスパッチを可能にする処理ユニット
JP2016532178A (ja) 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Also Published As

Publication number Publication date
KR20210030384A (ko) 2021-03-17
CN112384954A (zh) 2021-02-19
US10540824B1 (en) 2020-01-21
US20200013231A1 (en) 2020-01-09
EP3821401A1 (en) 2021-05-19
JP2021531561A (ja) 2021-11-18
WO2020013966A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
JP7418393B2 (ja) 3d移行
EP3332565B1 (en) Mixed reality social interaction
EP3953796B1 (en) Hybrid rendering
EP3368965B1 (en) Remote rendering for virtual images
CN111880644A (zh) 多用户即时定位与地图构建(slam)
US20190073109A1 (en) Head-mounted display input translation
EP4366337A2 (en) Application sharing
US20170192734A1 (en) Multi-interface unified displaying system and method based on virtual reality
US8938093B2 (en) Addition of immersive interaction capabilities to otherwise unmodified 3D graphics applications
WO2015084656A1 (en) Moving objects of a remote desktop in unstable network environments
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和***
EP3871037B1 (en) Efficiency enhancements to construction of virtual reality environments
US8478855B1 (en) Application control translation
WO2024021353A1 (zh) 直播间展示方法、装置、电子设备及存储介质
US11468611B1 (en) Method and device for supplementing a virtual environment
CN114416270A (zh) 页面显示方法、装置、设备和介质
RU2810701C2 (ru) Гибридный рендеринг
US11956231B1 (en) Authority transfer for virtual objects in shared computer-generated reality environments
US20230405475A1 (en) Shooting method, apparatus, device and medium based on virtual reality space
US20240103705A1 (en) Convergence During 3D Gesture-Based User Interface Element Movement
CN117557706A (zh) 多视口渲染方法、装置、电子设备及计算机可读存储介质
Granado et al. An approach to develop a virtual 3D stereoscopic environment for smartphones
WO2019183664A1 (en) Method to transmit interactive graphical data between a device and server and system thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R150 Certificate of patent or registration of utility model

Ref document number: 7418393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150