JP6972135B2 - 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 - Google Patents
複合現実において動的仮想コンテンツを生成するデバイスおよび方法 Download PDFInfo
- Publication number
- JP6972135B2 JP6972135B2 JP2019533114A JP2019533114A JP6972135B2 JP 6972135 B2 JP6972135 B2 JP 6972135B2 JP 2019533114 A JP2019533114 A JP 2019533114A JP 2019533114 A JP2019533114 A JP 2019533114A JP 6972135 B2 JP6972135 B2 JP 6972135B2
- Authority
- JP
- Japan
- Prior art keywords
- real
- scene
- world
- scenario
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000009466 transformation Effects 0.000 claims description 21
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000010076 replication Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 13
- 239000011521 glass Substances 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
−現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信するようになされた少なくとも1つの入力部と、
−現実世界の情報から特定された現実世界の制約(複数可)の存在下で、ランタイム時にシナリオ(複数可)を実行するように構成された少なくとも1つのプロセッサとを備える。
−少なくとも1つの制約は、少なくとも1つの現実世界のオブジェクトの存在を含み、少なくとも1つのプロセッサは、仮想適合された3Dシーンにおいて現実世界のオブジェクト(複数可)の仮想表現を追加するように構成されている;
−少なくとも1つの制約は、少なくとも1つの現実世界のオブジェクトの少なくとも1つの次元に関し、少なくとも1つのプロセッサは、次元(複数可)に対する少なくとも1つの制約が満たされるように、仮想適合された3Dシーンにおいて現実世界のオブジェクト(複数可)の少なくとも1つの次元の表現を修正するように構成されている;
−少なくとも1つのプロセッサは、仮想適合された3Dシーンにおいて、少なくとも1つの制約が満たされるように、少なくとも1つの制約にとって不利な少なくとも1つの現実世界のオブジェクトの仮想表現を変形するように構成されている;
−少なくとも1つのプロセッサは、仮想適合された3Dシーンにおいて現実世界のオブジェクト(複数可)の削除、縮小、および移動のうち少なくとも1つによって変形を行うように構成されている;
−少なくとも1つの制約は、少なくとも1つの現実世界のオブジェクトに関連し、少なくとも1つのプロセッサは、現実世界のオブジェクト(複数可)に対する少なくとも1つの制約が満たされるように、現実世界のオブジェクト(複数可)の移動、回転、変換、拡大縮小、複製のうち少なくとも1つによって変形を行うように構成されている。
−現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信する手段と、
−現実世界の情報から特定された現実世界の制約(複数可)の存在下で、ランタイム時にシナリオ(複数可)を実行する手段とを備える。
−現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信することと、
−現実世界の情報から特定された現実世界の制約(複数可)の存在下で、ランタイム時にシナリオ(複数可)を実行することとを含む。
デバイス1は、現実の3Dシーンの表現に重ねられかつ少なくとも1つのシナリオに準拠している少なくとも1つの動的仮想コンテンツを生成するようになされており、複合現実(MR)に関連する。
初期ステップにおいて、MRアプリケーションのクリエータは、シナリオを規定する。クリエータは、特に、シナリオに含まれる現実要素、および仮想要素がそれらとどのようにインタラクトするかを指定する。連続的なシナリオの要素の例は、以下のようである。
−第1の仮想の石が落下し、現実のキューブ上でバウンドし、現実のテーブル上で止まる
−第2の仮想の石が、現実の空のグラスに衝突する
−仮想の動物が、現実のテーブル上の空いている平面エリアに位置する事前定義されかつ変更不可能なアニメーションを有する
−仮想のキャラクタが、空いているエリアにおいて地面上を歩き、現実のテーブルの脚を登り、現実のテーブル上を歩き、仮想の動物と合流する;その軌跡は、現実のテーブル上の空いているエリアに依存する。
−1.20m×0.60mの最小サイズを有するテーブル
−03m×0.2mの次元を有しかつテーブルの中心を中心とする、テーブル上の空いている平面エリア
−テーブルの左部分に載っている、0.10mの辺を有するキューブ
−テーブル上に載っている空のグラス
−テーブルの左側に位置しかつテーブルの左前方の脚を含む、0.6m×0.3mの次元を有する、地面上の空いている平面エリア。
要件は、要件間の関係に関する階層でソートされることが好ましい。したがって、各要件には、階層レベルが割り当てられ、階層的分類は、コンテンツのクリエータによってコンテンツのオーサリング段階内で行われる。
1 1.20m×0.60mの最小サイズを有するテーブル
1.1 03m×0.2mの次元を有しかつテーブルの中心を中心とする、テーブル上の空いている平面エリア
1.2 テーブルの左部分に載っている、0.10mの辺を有するキューブ
1.3 テーブル上に載っている空のグラス
1.4 テーブルの左側に位置しかつテーブルの左前方の脚を含む、0.6m×0.3mの次元を有する、地面上の空いている平面エリア
次のステップは、環境のスキャンおよび関連する特異性の判定からなる。それは、特に環境において存在するオブジェクト(例えば、テーブル、テーブル上に載っているグラス、植物)および空いている平面エリアといった環境特異性を検出かつラベル付けすることによって、環境説明を確立することを対象とする。
このレベルにおいて、環境の説明は既知である。本ステップは、要求される可能性のある仮想環境を判定するために、シナリオ要件と合わせて様々な環境説明を分析することからなる。この仮想環境は、全ユーザに同様の挙動および体験をもたらすように、ユーザごとに固有のものであり、現実環境に重ねられる。
1/1.20m×0.60mの最小サイズを有するテーブルと;
2/03m×0.2mの次元を有しかつテーブルの中心を中心とする、テーブル上の空いている平面エリアと;
3/テーブルの左部分に載っている、0.10mの辺を有するキューブと;
4/テーブル上に載っている空のグラスと;
5/テーブルの左側に位置しかつテーブルの左前方の脚を含む、0.6m×0.3mの次元を有する、地面上の空いている平面エリアとを含まなければならない。
モジュール12は、いずれのシナリオ要件が満たされいずれが満たされないかを確認する。要件の総数は、nbReqと示される。
−環境のスキャンおよび特異性の判定から推定される特性をロードする(モジュール11);
−各要件のステータス(完全に満たされているまたはそうではない)を格納しているnbReqのブール値のステータスリストの一覧を作成する;
−対応するシナリオ要件が部分的にまたは完全に満たされる場合は現実環境の特異性/特異性(複数)を格納している、もしくはそれ以外の場合は何も格納していないnbReqのデータのデータリストの一覧を作成する;
−シナリオ要件の一覧をロードする。
−シナリオ要件ごとに、次いでモジュール13が以下を担う:
−要件が満たされるか否かを確認する;
−yesであれば、ステータスリストの対応する要素をTrueに設定し、データリストの対応する要素を、この要件に関連する環境特異性/特異性(複数)で埋める;
−noであれば、ステータスリストの対応する要素をFalseに設定し、データリストの対応する要素を、この要件に関連する環境特異性/特異性(複数)で埋める(例えば、オブジェクトは存在するが、期待よりも小さいまたは間違った位置にある)か、もしくは、特異性が存在しない場合(例えば、要求されるオブジェクトが存在しない)、Emptyとする。
1/False(テーブル31は、要求される次元を有さない)
2/True
3/True(キューブ32)
4/False
5/True
を有し、データリストは、以下の値:
1/テーブルサイズは、1.0m×0.6m
2/0.5m×0.6mのサイズの(Xtfp、Ytfp)を中心とする、空いている平面エリア
3/0.10mのサイズの(Xc、Yc)を中心とする、キューブ32
4/
5/2m×1mの(Xgfp、Ygfp)を中心とする、地面上の空いている平面エリア
を有する。
MRアプリケーション要件(特に、要素、空いている平面エリア)の分析および環境がこれらの要件をたとえ部分的にでも満たすかどうかの確認に加えて、モジュール13は、要件(複数可)を完全に満たさないユーザ(現実)の環境の現在の部分を、仮想要素を用いて完成させる。この適合は、いかなる環境も最終的に、MRアプリケーションが同様にレンダリングされることを確保する共通の特異性を含むようなものである。
完全に満たされていない要件を補完することは、別の要件がもはや満たされないということにつながり得る。例えば、欠落しているグラスをテーブル31(図2)上に追加することによって、要件2の空いているエリア(0.3m×0.2mの、テーブル上の空いている平面エリア)は消失し得る。
−上記で展開したように、その現在の要素に対応する要件を満たす解決策を判定するステップと;
−インデックスIfalseを有するステータスリストの現在の要素をTrueに設定するステップと;
−値がTrueに設定された(かつItrueと称されるインデックスを有する)、ステータスリストの他の要素ごとに、現在の要素に対して上記の解決策を採用したときに、対応する要件が依然として満たされるかどうかを確認するステップと;
−満たされない場合、現在の要件に対して、インデックスItrueの要件を依然として満たされることを可能にする別の構成をテストするステップと、
−可能でない場合、インデックスIfalseを有する、ステータスリストの現在の要素をFalseとするステップとである。
−既に満たされている要件は完全に満たされたままとする
−インデックスIfalseを有する現在の要件も完全に満たされる。
−マイクロプロセッサ51(すなわちCPU)と;
−いくつかのグラフィカルプロセッサユニット(すなわちGPU)520およびグラフィカルランダムアクセスメモリ(GRAM)521を備えるグラフィックカード52と;
−ROMタイプの不揮発性メモリ56と;
−RAM57と;
−例えばキーボード、マウス、ジョイスティック、ウェブカムといった1つまたはいくつかのI/O(入力/出力)デバイス54;例えば音声認識といったコマンドを導入する他のモードもやはり可能である;
−電源58と;
−無線周波数ユニット59とである。
−レジスタ570に、装置5上のスイッチングに関与するマイクロプロセッサ51のオペレーティングプログラムと;
−レジスタ571に、現実の3Dシーンを表すパラメータ(例えば、シーンのオブジェクト(複数可)のモデルおよび照明パラメータ)と;
−レジスタ572に、1つまたはいくつかのMRシナリオを表すパラメータと;
−レジスタ573に、MRシナリオに関連する、現実の3Dシーンに対する制約と;
−レジスタ574に、現実の3Dシーンに対するかつMRシナリオの制約に対応する仮想適合のパラメータとを備える。
−レジスタ5211に、現実の3Dシーンを表すパラメータと;
−レジスタ5212に、MRシナリオを表すパラメータと;
−レジスタ5213に、シナリオ制約と関連して適用される仮想適合を表すパラメータとを備える。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
現実の3Dシーンの表現に重ねられる少なくとも1つの動的仮想コンテンツを生成するデバイス(1、5)であって、前記少なくとも1つの動的仮想コンテンツは、少なくとも1つのシナリオのランタイム前に規定されかつ少なくとも1つの現実世界の制約を含む前記少なくとも1つのシナリオに準拠しており(23)、前記デバイスは、
−前記現実の3Dシーンにおいてキャプチャされた現実世界の情報(22)を受信するようになされた少なくとも1つの入力部と、
−前記現実世界の情報から特定された前記少なくとも1つの現実世界の制約の存在下で、前記ランタイム時に前記少なくとも1つのシナリオを実行(14)するように構成された少なくとも1つのプロセッサとを備え、
前記少なくとも1つのプロセッサは、さらに、前記少なくとも1つの現実世界の制約が前記現実世界の情報から特定されないとき(12)、前記少なくとも1つのシナリオを実行する前に、前記現実の3Dシーンの前記表現の、仮想適合された3Dシーンへの変形(13)を、前記仮想適合された3Dシーンが前記少なくとも1つの制約を満たすように行い、前記現実の3Dシーンにおいて前記少なくとも1つのシナリオを実行する代わりに、前記現実の3Dシーンを置き換えている前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを実行するように構成されたことを特徴とする、デバイス。
(付記2)
前記少なくとも1つの現実世界の制約が、少なくとも2つあり、かつ潜在的にインタラクトしており、前記少なくとも1つのプロセッサが、さらに、前記仮想適合された3Dシーンが前記少なくとも2つの制約を満たすように、前記少なくとも2つの現実世界の制約に対して合同で前記変形を行うように構成されたことを特徴とする、付記1に記載のデバイス(1、5)。
(付記3)
前記少なくとも1つの現実世界の制約が、少なくとも2つあり、潜在的にインタラクトしており、かつ重要順にしたがってランク付けされており、前記少なくとも1つのプロセッサが、さらに、少なくとも1つの最優先ランクを有する前記少なくとも1つの現実世界の制約を優先して前記変形を行うように、かつ、前記少なくとも1つの最優先ランクを有する前記少なくとも1つの現実世界の制約とは異なる前記少なくとも1つの現実世界の制約がない状態で、前記ランタイム時に、前記少なくとも1つのシナリオを実行するように構成されたことを特徴とする、付記1または2に記載のデバイス(1、5)。
(付記4)
前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトの存在を含み、前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの仮想表現を追加するように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記5)
前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトの少なくとも1つの次元に関し、前記少なくとも1つのプロセッサが、前記少なくとも1つの次元に対する前記少なくとも1つの制約が満たされるように、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの前記少なくとも1つの次元の表現を修正するように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記6)
前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて、前記少なくとも1つの制約が満たされるように、前記少なくとも1つの制約にとって不利である少なくとも1つの現実世界のオブジェクトの仮想表現を変形するように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記7)
前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの削除、縮小、および移動のうちの少なくとも1つによって前記変形を行うように構成されたことを特徴とする、付記6に記載のデバイス(1、5)。
(付記8)
前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトに関係し、前記少なくとも1つのプロセッサが、前記少なくとも1つの現実世界のオブジェクトに対する前記少なくとも1つの制約が満たされるように、前記少なくとも1つの現実世界のオブジェクトの移動、回転、変換、拡大縮小、複製のうちの少なくとも1つによって前記変形を行うように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記9)
前記変形は、前記仮想適合された3Dシーンにおいて少なくとも1つのエリアをクリアアップすることを含み、前記少なくとも1つのプロセッサが、さらに、前記仮想適合された3Dシーンにおいて前記少なくとも1つのエリアを修復するように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記10)
前記少なくとも1つのプロセッサが、さらに、ユーザに、前記変形を行うことに明確に関与させるように構成されたことを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記11)
前記少なくとも1つの入力部がまた、前記少なくとも1つのシナリオを受信するようになされ、前記デバイスが、さらに、ユーザが、前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを視覚化するために、前記仮想適合された3Dシーンの表現の少なくとも一部を出力するようになされた少なくとも1つの出力部を備えることを特徴とする、先行付記のいずれかに記載のデバイス(1、5)。
(付記12)
装置(5)であって、前記装置は、先行付記のいずれかによるデバイスを備え、前記装置は、動画受信器、携帯電話、タブレット、および拡張現実用の頭部装着ディスプレイシステムから選択されることを特徴とする、装置。
(付記13)
現実の3Dシーンの表現に重ねられる少なくとも1つの動的仮想コンテンツを生成する方法であって、前記少なくとも1つの動的仮想コンテンツは、少なくとも1つのシナリオのランタイム前に規定されかつ少なくとも1つの現実世界の制約を含む前記少なくとも1つのシナリオに準拠しており、前記方法は、
−前記現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信すること(41)と、
−前記現実世界の情報から特定された前記少なくとも1つの現実世界の制約の存在下で、前記ランタイム時に前記少なくとも1つのシナリオを実行することとを含み、
前記方法が、さらに、前記少なくとも1つの現実世界の制約が前記現実世界の情報から特定されないとき(452、453)、前記少なくとも1つのシナリオを実行する前に、前記現実の3Dシーンの前記表現の、仮想適合された3Dシーンへの変形を、前記仮想適合された3Dシーンが前記少なくとも1つの制約を満たすように行い、前記現実の3Dシーンにおいて前記少なくとも1つのシナリオを実行する代わりに、前記現実の3Dシーンを置き換えている前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを実行することを含むことを特徴とする、方法。
(付記14)
付記1〜10のいずれかによるデバイス(1、5)によって実行されることを特徴とする、付記13に記載の方法。
(付記15)
少なくとも1つの動的仮想コンテンツを生成するコンピュータプログラムであって、前記プログラムがプロセッサによって実行されると、付記13または14に準拠する方法を行うようになされたソフトウェアコードを備える、コンピュータプログラム。
Claims (15)
- 現実の3Dシーンの表現に重ねられる少なくとも1つの動的仮想コンテンツを生成するデバイスであって、前記少なくとも1つの動的仮想コンテンツは、少なくとも1つのシナリオのランタイム前に規定されかつ少なくとも1つの現実世界の制約を含む前記少なくとも1つのシナリオに準拠しており、前記デバイスは、
−前記現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信するようになされた少なくとも1つの入力部と、
−前記現実世界の情報から特定された前記少なくとも1つの現実世界の制約の存在下で、前記ランタイム時に前記少なくとも1つのシナリオを実行するように構成された少なくとも1つのプロセッサとを備え、
前記少なくとも1つのプロセッサは、さらに、前記少なくとも1つの現実世界の制約が前記現実世界の情報から特定されないとき、前記少なくとも1つのシナリオを実行する前に、前記現実の3Dシーンの前記表現の、仮想適合された3Dシーンへの変形を、前記仮想適合された3Dシーンが前記少なくとも1つの制約を満たすように行い、前記現実の3Dシーンにおいて前記少なくとも1つのシナリオを実行する代わりに、前記現実の3Dシーンを置き換えている前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを実行するように構成されたことを特徴とする、デバイス。 - 前記少なくとも1つの現実世界の制約が、少なくとも2つあり、かつ潜在的にインタラクトしており、前記少なくとも1つのプロセッサが、さらに、前記仮想適合された3Dシーンが前記少なくとも2つの制約を満たすように、前記少なくとも2つの現実世界の制約に対して合同で前記変形を行うように構成されたことを特徴とする、請求項1に記載のデバイス。
- 前記少なくとも1つの現実世界の制約が、少なくとも2つあり、潜在的にインタラクトしており、かつ重要順にしたがってランク付けされており、前記少なくとも1つのプロセッサが、さらに、少なくとも1つの最優先ランクを有する前記少なくとも1つの現実世界の制約を優先して前記変形を行うように、かつ、前記少なくとも1つの最優先ランクを有する前記少なくとも1つの現実世界の制約とは異なる前記少なくとも1つの現実世界の制約がない状態で、前記ランタイム時に、前記少なくとも1つのシナリオを実行するように構成されたことを特徴とする、請求項1または2に記載のデバイス。
- 前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトの存在を含み、前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの仮想表現を追加するように構成されたことを特徴とする、請求項1から3のいずれかに記載のデバイス。
- 前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトの少なくとも1つの次元に関し、前記少なくとも1つのプロセッサが、前記少なくとも1つの次元に対する前記少なくとも1つの制約が満たされるように、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの前記少なくとも1つの次元の表現を修正するように構成されたことを特徴とする、請求項1から4のいずれかに記載のデバイス。
- 前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて、前記少なくとも1つの制約が満たされるように、前記少なくとも1つの制約にとって不利である少なくとも1つの現実世界のオブジェクトの仮想表現を変形するように構成されたことを特徴とする、請求項1から5のいずれかに記載のデバイス。
- 前記少なくとも1つのプロセッサが、前記仮想適合された3Dシーンにおいて前記少なくとも1つの現実世界のオブジェクトの削除、縮小、および移動のうちの少なくとも1つによって前記変形を行うように構成されたことを特徴とする、請求項6に記載のデバイス。
- 前記少なくとも1つの制約が、少なくとも1つの現実世界のオブジェクトに関係し、前記少なくとも1つのプロセッサが、前記少なくとも1つの現実世界のオブジェクトに対する前記少なくとも1つの制約が満たされるように、前記少なくとも1つの現実世界のオブジェクトの移動、回転、変換、拡大縮小、複製のうちの少なくとも1つによって前記変形を行うように構成されたことを特徴とする、請求項1から7のいずれかに記載のデバイス。
- 前記変形は、前記仮想適合された3Dシーンにおいて少なくとも1つのエリアをクリアアップすることを含み、前記少なくとも1つのプロセッサが、さらに、前記仮想適合された3Dシーンにおいて前記少なくとも1つのエリアを修復するように構成されたことを特徴とする、請求項1から8のいずれかに記載のデバイス。
- 前記少なくとも1つのプロセッサが、さらに、ユーザに、前記変形を行うことに明確に関与させるように構成されたことを特徴とする、請求項1から9のいずれかに記載のデバイス。
- 前記少なくとも1つの入力部がまた、前記少なくとも1つのシナリオを受信するようになされ、前記デバイスが、さらに、ユーザが、前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを視覚化するために、前記仮想適合された3Dシーンの表現の少なくとも一部を出力するようになされた少なくとも1つの出力部を備えることを特徴とする、請求項1から10のいずれかに記載のデバイス。
- 装置であって、前記装置は、請求項1から11のいずれかによるデバイスを備え、前記装置は、動画受信器、携帯電話、タブレット、および拡張現実用の頭部装着ディスプレイシステムから選択されることを特徴とする、装置。
- 現実の3Dシーンの表現に重ねられる少なくとも1つの動的仮想コンテンツを生成する方法であって、前記少なくとも1つの動的仮想コンテンツは、少なくとも1つのシナリオのランタイム前に規定されかつ少なくとも1つの現実世界の制約を含む前記少なくとも1つのシナリオに準拠しており、前記方法は、
−前記現実の3Dシーンにおいてキャプチャされた現実世界の情報を受信することと、
−前記現実世界の情報から特定された前記少なくとも1つの現実世界の制約の存在下で、前記ランタイム時に前記少なくとも1つのシナリオを実行することとを含み、
前記方法が、さらに、前記少なくとも1つの現実世界の制約が前記現実世界の情報から特定されないとき、前記少なくとも1つのシナリオを実行する前に、前記現実の3Dシーンの前記表現の、仮想適合された3Dシーンへの変形を、前記仮想適合された3Dシーンが前記少なくとも1つの制約を満たすように行い、前記現実の3Dシーンにおいて前記少なくとも1つのシナリオを実行する代わりに、前記現実の3Dシーンを置き換えている前記仮想適合された3Dシーンにおいて前記少なくとも1つのシナリオを実行することを含むことを特徴とする、方法。 - 請求項1〜10のいずれか一項によるデバイスによって実行されることを特徴とする、請求項13に記載の方法。
- 少なくとも1つの動的仮想コンテンツを生成するコンピュータプログラムであって、前記プログラムがプロセッサによって実行されると、請求項13または14に準拠する方法を行うようになされたソフトウェアコードを備える、コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021179542A JP2022019748A (ja) | 2016-12-26 | 2021-11-02 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
JP2023166658A JP2023171435A (ja) | 2016-12-26 | 2023-09-28 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306818.2 | 2016-12-26 | ||
EP16306818.2A EP3340187A1 (en) | 2016-12-26 | 2016-12-26 | Device and method for generating dynamic virtual contents in mixed reality |
PCT/EP2017/083461 WO2018122030A1 (en) | 2016-12-26 | 2017-12-19 | Device and method for generating dynamic virtual contents in mixed reality |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021179542A Division JP2022019748A (ja) | 2016-12-26 | 2021-11-02 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020503611A JP2020503611A (ja) | 2020-01-30 |
JP2020503611A5 JP2020503611A5 (ja) | 2021-01-14 |
JP6972135B2 true JP6972135B2 (ja) | 2021-11-24 |
Family
ID=57755150
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019533114A Active JP6972135B2 (ja) | 2016-12-26 | 2017-12-19 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
JP2021179542A Pending JP2022019748A (ja) | 2016-12-26 | 2021-11-02 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
JP2023166658A Pending JP2023171435A (ja) | 2016-12-26 | 2023-09-28 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021179542A Pending JP2022019748A (ja) | 2016-12-26 | 2021-11-02 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
JP2023166658A Pending JP2023171435A (ja) | 2016-12-26 | 2023-09-28 | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11113888B2 (ja) |
EP (2) | EP3340187A1 (ja) |
JP (3) | JP6972135B2 (ja) |
KR (2) | KR102555214B1 (ja) |
CN (2) | CN110168614B (ja) |
WO (1) | WO2018122030A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3640767A1 (de) * | 2018-10-17 | 2020-04-22 | Siemens Schweiz AG | Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element |
CN112015272B (zh) * | 2020-03-10 | 2022-03-25 | 北京欧倍尔软件技术开发有限公司 | 虚拟现实***及虚拟现实对象控制装置 |
US12020379B2 (en) * | 2020-04-17 | 2024-06-25 | Apple Inc. | Virtual anchoring systems and methods for extended reality |
CN111932683B (zh) * | 2020-08-06 | 2022-12-30 | 北京理工大学 | 一种语义驱动的混合现实场景下的虚拟宠物行为生成方法 |
CN113129372B (zh) * | 2021-03-29 | 2023-11-03 | 深圳清元文化科技有限公司 | 基于HoloLens空间映射的三维场景语义分析方法 |
US11943565B2 (en) * | 2021-07-12 | 2024-03-26 | Milestone Systems A/S | Computer implemented method and apparatus for operating a video management system |
CN114363557B (zh) * | 2022-03-04 | 2022-06-24 | 西安电子科技大学 | 一种面向语义保真的虚拟会议方法及三维虚拟会议*** |
CN115147520A (zh) * | 2022-06-07 | 2022-10-04 | 聚好看科技股份有限公司 | 基于视觉语义驱动虚拟人物的方法及设备 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7523411B2 (en) * | 2000-08-22 | 2009-04-21 | Bruce Carlin | Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of object promotion and procurement, and generation of object advertisements |
CN101174332B (zh) * | 2007-10-29 | 2010-11-03 | 张建中 | 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及*** |
US10187589B2 (en) | 2008-12-19 | 2019-01-22 | Saab Ab | System and method for mixing a scene with a virtual scenario |
US8939840B2 (en) * | 2009-07-29 | 2015-01-27 | Disney Enterprises, Inc. | System and method for playsets using tracked objects and corresponding virtual worlds |
US9490003B2 (en) * | 2011-03-31 | 2016-11-08 | Intel Corporation | Induced thermal gradients |
US20120269494A1 (en) | 2011-04-22 | 2012-10-25 | Qualcomm Incorporated | Augmented reality for live events |
JP6040564B2 (ja) * | 2012-05-08 | 2016-12-07 | ソニー株式会社 | 画像処理装置、投影制御方法及びプログラム |
US8878846B1 (en) * | 2012-10-29 | 2014-11-04 | Google Inc. | Superimposing virtual views of 3D objects with live images |
US10453259B2 (en) * | 2013-02-01 | 2019-10-22 | Sony Corporation | Information processing device, client device, information processing method, and program |
US20140267228A1 (en) | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Mapping augmented reality experience to various environments |
US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
KR101543287B1 (ko) * | 2013-04-23 | 2015-08-11 | 한국과학기술원 | 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법 |
US10509533B2 (en) * | 2013-05-14 | 2019-12-17 | Qualcomm Incorporated | Systems and methods of generating augmented reality (AR) objects |
US9639987B2 (en) | 2013-06-27 | 2017-05-02 | Canon Information And Imaging Solutions, Inc. | Devices, systems, and methods for generating proxy models for an enhanced scene |
WO2015027114A1 (en) * | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
US20160292923A1 (en) * | 2013-10-03 | 2016-10-06 | Sulon Technologies Inc. | System and method for incorporating a physical image stream in a head mounted display |
JP6332281B2 (ja) * | 2013-12-17 | 2018-05-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9898844B2 (en) * | 2013-12-31 | 2018-02-20 | Daqri, Llc | Augmented reality content adapted to changes in real world space geometry |
US9460340B2 (en) | 2014-01-31 | 2016-10-04 | Google Inc. | Self-initiated change of appearance for subjects in video and images |
CN103810353A (zh) | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射***和方法 |
US9240077B1 (en) * | 2014-03-19 | 2016-01-19 | A9.Com, Inc. | Real-time visual effects for a live camera view |
JP6572600B2 (ja) | 2015-04-09 | 2019-09-11 | セイコーエプソン株式会社 | 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム |
WO2016172506A1 (en) | 2015-04-23 | 2016-10-27 | Hasbro, Inc. | Context-aware digital play |
WO2017203774A1 (ja) * | 2016-05-26 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法及び記憶媒体 |
US10380803B1 (en) * | 2018-03-26 | 2019-08-13 | Verizon Patent And Licensing Inc. | Methods and systems for virtualizing a target object within a mixed reality presentation |
-
2016
- 2016-12-26 EP EP16306818.2A patent/EP3340187A1/en not_active Withdrawn
-
2017
- 2017-12-19 KR KR1020227028124A patent/KR102555214B1/ko active IP Right Grant
- 2017-12-19 CN CN201780080787.9A patent/CN110168614B/zh active Active
- 2017-12-19 WO PCT/EP2017/083461 patent/WO2018122030A1/en active Application Filing
- 2017-12-19 EP EP17817749.9A patent/EP3559915A1/en active Pending
- 2017-12-19 JP JP2019533114A patent/JP6972135B2/ja active Active
- 2017-12-19 US US16/474,043 patent/US11113888B2/en active Active
- 2017-12-19 CN CN202311099188.5A patent/CN117274542A/zh active Pending
- 2017-12-19 KR KR1020197021616A patent/KR102433857B1/ko active IP Right Grant
-
2021
- 2021-08-03 US US17/393,264 patent/US11580706B2/en active Active
- 2021-11-02 JP JP2021179542A patent/JP2022019748A/ja active Pending
-
2023
- 2023-09-28 JP JP2023166658A patent/JP2023171435A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3340187A1 (en) | 2018-06-27 |
CN117274542A (zh) | 2023-12-22 |
JP2020503611A (ja) | 2020-01-30 |
KR102433857B1 (ko) | 2022-08-19 |
US11580706B2 (en) | 2023-02-14 |
JP2022019748A (ja) | 2022-01-27 |
EP3559915A1 (en) | 2019-10-30 |
KR20190100305A (ko) | 2019-08-28 |
US20210366197A1 (en) | 2021-11-25 |
US11113888B2 (en) | 2021-09-07 |
WO2018122030A1 (en) | 2018-07-05 |
KR102555214B1 (ko) | 2023-07-13 |
US20190340825A1 (en) | 2019-11-07 |
CN110168614B (zh) | 2023-08-15 |
KR20220119180A (ko) | 2022-08-26 |
CN110168614A (zh) | 2019-08-23 |
JP2023171435A (ja) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6972135B2 (ja) | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 | |
US11570372B2 (en) | Virtual camera for 3-d modeling applications | |
US20200409544A1 (en) | Displaying a three dimensional user interface | |
KR101842106B1 (ko) | 알려지지 않은 오브젝트들에 대한 증강 현실 콘텐츠의 생성 | |
US20220249949A1 (en) | Method and apparatus for displaying virtual scene, device, and storage medium | |
CN102622776B (zh) | 三维环境重构 | |
CN102682150B (zh) | 设计导航场景 | |
US20170213394A1 (en) | Environmentally mapped virtualization mechanism | |
CN108459704A (zh) | 用于三维数字内容的笔画操作预测 | |
EP3343513A1 (en) | Device and method for generating flexible dynamic virtual contents in mixed reality | |
US9940757B2 (en) | Modifying a simulated character by direct manipulation | |
US20210241539A1 (en) | Broker For Instancing | |
JP2022548345A (ja) | 宣言的グラフィックスサーバを使用して画像をレンダリングすること | |
US10726621B2 (en) | Traversal selection of components for a geometric model | |
US8890889B1 (en) | System and method for generating a pose of an object | |
KR20160010780A (ko) | 3d 이미지 제공 시스템 및 그 제공방법 | |
KR20230078114A (ko) | 가상 객체와 물리 객체 간의 상호작용 방법 및 장치 | |
Cantor-Rivera et al. | Designing Cameras for WebGL Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6972135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |