JP2023551665A - 仮想位置を指示する実世界ビーコン - Google Patents

Abstract

【課題】遠く離れた複数の役者のアクティビティを互いに連携して調整することによって統合されたオーディオビデオ（ＡＶ）製品が生成されることができるように、互いに離れているそれぞれの位置内の複数の役者を使用してＡＶ制作の調整を容易にするための技法が説明されている。【解決手段】演出家（２００）は、仮想世界内のステージプロップ（２０６）の所望の位置を指示することができ、その後、プロップの配置を支援するために、所望の位置に対応する実世界の位置に向けてビーコン（３０２）を送信することができる。【選択図】図１

Description

本出願は、一般に、コンピュータ技術に必然的に根差し、具体的な技術的改善をもたらす、技術的に独創的で非定型的な解決策に関する。特に、本出願は、複数の位置での協調遠隔アクション指導を可能にするための技法に関する。

健康及びコストに関する心遣いから、人々は遠隔位置から共同作業を行うことが増えている。本明細書で理解されるように、遠隔の役者を使用する共同作業による映画及びコンピュータシミュレーション（例えば、コンピュータゲーム）の生成は、独特の調整問題を引き起こす可能性がある。これは、演出家が、映画を制作する際に、またモーションキャプチャ（ＭｏＣａｐ）などのコンピュータシミュレーション関連のアクティビティのために、自分自身のスタジオまたは防音スタジオにいる可能性がある複数の役者をそれぞれ演出する必要があるためである。例えば、アクションが調整される方法では、個々のステージまたはスタジオで遠隔の役者に物理的な参照を提供する際に課題が存在する。本原理は、これらの調整の課題のいくつかに対処するための技法を提供する。

このように、本原理は、仮想現実（ＶＲ）空間内でビデオプロップが位置していることが望ましい位置を識別し、実世界（ＲＷ）空間内で少なくとも１つのビーコンを、ビデオプロップが位置しているＶＲ空間内の位置に対応するＲＷ位置に向けて送信するための命令でプログラムされた少なくとも１つのプロセッサを含む装置を提供する。

いくつかの例示的な実装では、ビーコンはレーザビームなどの可視ビーコンを含むことができる。追加または代替として、ビーコンは可聴音及び／またはハンドセット上の画面表示を含むことができる。

さらに、必要に応じて、ＲＷ内のプロップの位置を経時的に識別するための命令を実行可能にすることもできる。

また、いくつかの例示的な実施形態では、ＲＷ内のプロップの位置に少なくとも部分的に基づいてビーコンを送信するための命令を実行可能にし得る。

別の態様では、デバイスは、一時的信号ではない少なくとも１つのコンピュータストレージを含む。コンピュータストレージは、少なくとも１つのプロセッサによって実行可能な、仮想現実（ＶＲ）空間内で仮想位置のインジケーションを受信するための命令、及び仮想位置を指示するビーコンを実世界（ＲＷ）内に送信するための命令を含む。

さらに別の態様では、コンピュータ実装方法は、オブジェクトが位置していることが望ましい仮想空間内の位置を指示することと、実世界（ＲＷ）内で仮想位置に対応するＲＷ位置に向けてビーコンを提示することとを含む。

本願の詳細は、その構造と動作との両方について、添付の図面を参照すると最もよく理解でき、図面において、類似の参照符号は、類似の部分を指す。

本原理と一貫性のある例示的なシステムのブロック図である。 映画セット内のアクティビティを制御するために仮想現実（ＶＲ）ディスプレイを指差す演出家を示す。 演出家コマンドに従って映画セットを照明するために使用されるビーコンを示す。 本原理と一貫性のある例示的なロジックを例示的なフローチャート形式で示す。 例示的な画面表示のスクリーンショットを示す。 例示的な演出家ディスプレイのスクリーンショットである。 例示的な舞台係の画面表示のスクリーンショットである。 本原理と一貫性のある追加の例示的なロジックを例示的なフローチャート形式で示す。 例示的な演出家ディスプレイのさらに別のスクリーンショットである。 本原理と一貫性のあるディスプレイ上に提示可能な例示的なグラフィカルユーザインタフェース（ＧＵＩ）の設定を示す。

ここで図１を参照すると、本開示は、概して、家電製品（ＣＥ）のデバイスを含み得るコンピュータネットワークの態様を有するコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るようにネットワークを介して接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、ポータブルテレビ（例えば、スマートＴＶ、インターネット対応ＴＶ）、ラップトップコンピュータ及びタブレットコンピュータなどのポータブルコンピュータ、ならびにスマートフォン及び以下で検討する追加の例を含む他のモバイルデバイスを含む、１つまたは複数のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｍｉｃｒｏｓｏｆｔ（登録商標）のオペレーティングシステム、またはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ（登録商標）もしくはＧｏｏｇｌｅ（登録商標）によって製造されたオペレーティングシステムを使用し得る。これらの動作環境は、Ｍｉｃｒｏｓｏｆｔ（登録商標）もしくはＧｏｏｇｌｅ（登録商標）もしくはＭｏｚｉｌｌａ（登録商標）によって作成されたブラウザ、または以下で議論されるインターネットサーバによってホストされるウェブサイトにアクセスできる他のブラウザプログラムなど、１つ以上の閲覧プログラムを実行するために使用され得る。

サーバ及び／またはゲートウェイは、インターネットなどのネットワークを通じてデータを受信及び送信するようにサーバを構成する命令を実行する１つ以上のプロセッサを含み得る。あるいは、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続することができる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソール、パーソナルコンピュータなどによってインスタンス化され得る。

クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。

本明細書で使用するとき、命令は、システム内の情報を処理するためのコンピュータ実施ステップを指す。命令は、ソフトウェア、ファームウェアまたはハードウェアに実装されることができ、システムのコンポーネントによって行われるあらゆるタイプのプログラムされたステップを含むことができる。

プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、ならびにレジスタ及びシフトレジスタによってロジックを実行できる汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであり得る。

本明細書でフローチャート及びユーザインタフェースによって記述されるソフトウェアモジュールは、様々なサブルーチン、手順等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定されたロジックは、他のソフトウェアモジュールに再分配すること、及び／または単一のモジュールにまとめて集約すること、及び／または共有可能ライブラリで利用できるようにすることが可能である。フローチャート形式が使用されてもよいが、ソフトウェアがステートマシンまたは他の論理方法として実装されてもよいことを理解されたい。

本明細書に記載された本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装することができる。したがって、実例となるコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性の観点から説明されている。

さらに、上で示唆されたものについて、以下で説明される論理ブロック、モジュール、及び回路は、本明細書で説明される機能を実行するよう設計された、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは特定用途向け集積回路（ＡＳＩＣ）、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、またはそれらのいずれかの組み合わせ等の他のプログラマブル論理デバイスにより実装または実行され得る。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせによって実装され得る。

以下に記載されている機能及び方法は、ソフトウェアで実装される場合、限定されるものではないが、Ｃ＃、またはＣ＋＋等の適切な言語で記述することができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージまたはリムーバブルサムドライブ等を含む他の磁気記憶デバイス等のコンピュータ可読記憶媒体に格納し、またはそのコンピュータ可読記憶媒体を介して伝送することができる。接続によりコンピュータ可読媒体が確立され得る。このような接続には、例として、光ファイバ及び同軸ワイヤを含むハードワイヤケーブル、並びにデジタル加入者線（ＤＳＬ）及びツイストペア線が含まれ得る。

一実施形態に含まれるコンポーネントは、他の実施形態では、任意の適切な組み合わせで使用することができる。例えば、本明細書に記載される、及び／または図で示される様々なコンポーネントのいずれも、組み合わされ、交換され、または他の実施形態から除外されてもよい。

「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、ＢまたはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、ならびに／またはＡ、Ｂ及びＣを一緒に有するシステムなどを含む。

ここで、具体的に図１を参照すると、本原理による、上述され、以下でさらに説明される例示的なデバイスのうちの１つ以上を含み得る例示的なシステム１０が示されている。本明細書の図に記載されているコンピュータ化デバイスが図１の様々なデバイスについて説明されているコンポーネントの一部またはすべてを含むことができることに留意されたい。

システム１０に含まれる例示的なデバイスのうちの第一デバイスは、家電製品（ＣＥ）のデバイスであり、このＣＥのデバイスは、例示的な一次表示装置として構成され、示される実施形態では、限定されることなく、ＴＶチューナ（同等に、ＴＶを制御するセットトップボックス）を備えたインターネット対応ＴＶなどのオーディオビデオ表示装置（ＡＶＤＤ）１２である。ＡＶＤＤ１２は、Ａｎｄｒｏｉｄ（登録商標）ベースのシステムであってもよい。あるいは、ＡＶＤＤ１２はまた、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、拡張現実（ＡＲ）ヘッドセット、仮想現実（ＶＲ）ヘッドセット、インターネット対応グラスまたはスマートグラス、例えば、コンピュータ制御型インターネット対応時計、コンピュータ制御型インターネット対応ブレスレット、他のコンピュータ制御型インターネット対応デバイス等の別の種類のウェアラブルコンピュータ制御デバイス、コンピュータ制御型インターネット対応ミュージックプレーヤ、コンピュータ制御型インターネット対応ヘッドフォン、インプラント可能な皮膚用デバイス等のコンピュータ制御型インターネット対応のインプラント可能なデバイス等であってよい。いずれにしても、ＡＶＤＤ１２及び／または本明細書に記載の他のコンピュータは、本原理を実施する（例えば、本原理を実施するように５Ｇ無線規格を使用して他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ように構成されることを理解されたい。

したがって、このような原理を実施するために、ＡＶＤＤ１２は、図１に示されているコンポーネントの一部または全てによって確立することができる。例えば、ＡＶＤＤ１２は、１つ以上のディスプレイ１４を備えることができ、このディスプレイは、高解像度もしくは超高解像度「４Ｋ」またはそれ以上の解像度のフラットスクリーンによって実装されてもよく、ディスプレイのタッチを介したユーザ入力信号を受信するためにタッチ対応であっても、なくてもよい。またＡＶＤＤ１２は、本原理に従ってオーディオを出力するための１つ以上のスピーカ１６と、例えば、可聴コマンドをＡＶＤＤ１２に入力して、ＡＶＤＤ１２を制御するための、例えば、オーディオ受信機／マイクロフォン等の少なくとも１つの追加の入力デバイス１８とを備え得る。さらに例示的なＡＶＤＤ１２は、１つ以上のプロセッサ２４の制御の下、インターネット、無線５Ｇネットワーク、他のワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）などの少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。したがって、インタフェース２０は、限定されることなく、Ｗｉ－Ｆｉ（登録商標）送受信機であり得て、このＷｉ－Ｆｉ（登録商標）送受信機は、限定されることなく、メッシュネットワーク送受信機などの無線コンピュータネットワークインタフェースの実施例である。インタフェース２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、Ｚｉｇｂｅｅ（登録商標）トランシーバ、ＩｒＤＡトランシーバ、無線ＵＳＢトランシーバ、有線ＵＳＢ、有線ＬＡＮ、Ｐｏｗｅｒｌｉｎｅ、またはＭｏＣＡであってもよいが、これらに限定されない。プロセッサ２４は、例えば、ディスプレイ１４を、画像を提示するように制御することや、そこから入力を受信すること等の本明細書に説明されるＡＶＤＤ１２の他の要素を含む、本原理を実施するようにＡＶＤＤ１２を制御することが理解されよう。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ（登録商標）送受信機等の他の適切なインタフェースであってよいことに留意されたい。

上記に加えて、ＡＶＤＤ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するための高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通してＡＶＤＤ１２からユーザにオーディオを提供するためにＡＶＤＤ１２にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート２６を含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルまたは衛星ソース２６ａに有線でまたは無線で接続されてもよい。したがって、ソース２６ａは、例えば、分離もしくは統合されたセットトップボックス、またはサテライト受信機であり得る。あるいは、ソース２６ａは、ゲームコンソールまたはディスクプレーヤであってもよい。

ＡＶＤＤ１２は、さらに、一時的信号ではない、ディスクベースストレージまたはソリッドステートストレージなどの１つ以上のコンピュータメモリ２８を含んでもよく、これらのストレージは、場合によっては、スタンドアロンデバイスとしてＡＶＤＤのシャーシ内で、またはＡＶプログラムを再生するためにＡＶＤＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオ録画デバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、または取り外し可能メモリ媒体として具現化されてもよい。また、いくつかの実施形態では、ＡＶＤＤ１２は、限定されるものではないが、例えば、少なくとも１つの衛星または携帯電話塔から地理的位置情報を受信し、その情報をプロセッサ２４に提供するように構成され、及び／またはＡＶＤＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置または場所の受信機を含み得る。しかしながら、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が、本原理に従って、例えば、３つの次元全てにおいてＡＶＤＤ１２の位置を決定するために使用されてよいことは理解されたい。

ＡＶＤＤ１２の説明を続けると、ある実施形態では、ＡＶＤＤ１２は、１つまたは複数のカメラ３２を備えてよく、１つまたは複数のカメラ３２は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤＤ１２に統合され、本原理に従って写真／画像及び／またはビデオを収集するようプロセッサ２４によって制御可能なカメラであってよい。また、ＡＶＤＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ素子３６であってよい。例示的なＮＦＣ素子は、無線周波数識別（ＲＦＩＤ）素子であってもよい。

さらにまた、ＡＶＤＤ１２は、プロセッサ２４に入力をもたらす１つ以上の補助センサ３８（例えば、加速度計、ジャイロスコープ、サイクロメータなどの運動センサ、または磁気センサ、リモコンから赤外線（ＩＲ）コマンドを受信するためのＩＲセンサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）など）を含み得る。ＡＶＤＤ１２は、プロセッサ２４への入力をもたらすＯＴＡ（無線）ＴＶ放送を受信するための無線ＴＶ放送ポート４０を含み得る。上記に加えて、ＡＶＤＤ１２はまた、赤外線データアソシエーション（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。ＡＶＤＤ１２に給電するためのバッテリ（図示せず）が備えられてよい。

さらに、いくつかの実施形態では、ＡＶＤＤ１２は、グラフィックスプロセッシングユニット（ＧＰＵ）４４及び／またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）４６を含み得る。ＧＰＵ及び／またはＦＰＧＡは、例えば、ニューラルネットワークを訓練し、本原理によるニューラルネットワークの操作（例えば、推論）を実行するなどの人工知能処理のために、ＡＶＤＤ１２によって利用され得る。ただし、プロセッサ２４が中央処理装置（ＣＰＵ）であり得る場合など、プロセッサ２４が人工知能処理にも使用されることができることに留意されたい。

さらに図１を参照すると、ＡＶＤＤ１２に加えて、システム１０は、ＡＶＤＤ１２に示されるコンポーネントの一部またはすべてを含み得る１つ以上の他のコンピュータデバイスのタイプを含み得る。一例では、第一デバイス４８及び第二デバイス５０が示されており、これらはＡＶＤＤ１２のコンポーネントの一部またはすべてと同様のコンポーネントを含み得る。示されるよりも少ないまたは多いデバイスが使用されてもよい。

またシステム１０は、１つ以上のサーバ５２を含み得る。サーバ５２は、少なくとも１つのサーバプロセッサ５４と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも１つのコンピュータメモリ５６と、サーバプロセッサ５４の制御下で、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバ、コントローラ、及びクライアントデバイスの間の通信を容易にし得る少なくとも１つのネットワークインタフェース５８とを含み得る。ネットワークインタフェース５８は、例えば、有線もしくは無線モデムもしくはルータ、Ｗｉ－Ｆｉ（登録商標）送受信機、または、例えば、無線テレフォニ送受信機などの他の適切なインタフェースであってよいことに留意されたい。

したがって、いくつかの実施形態では、サーバ５２は、インターネットサーバであってよく、「クラウド」機能を含んでもよく、「クラウド」機能を実行してもよく、システム１０のデバイスが、例示的な実施形態においてサーバ５２を介して「クラウド」環境にアクセスし得るようにする。あるいは、サーバ５２は、図１に示されている他のデバイスと同じ部屋にある、またはその近くにある、ゲームコンソールまたは他のコンピュータによって実装されてもよい。

下記のデバイスは、上記の要素の一部またはすべてを組み込むことができる。

ここで図２を参照すると、演出家２００が、仮想現実（ＶＲ）ディスプレイ２０２を指差し、数人の役者が遠隔に位置している可能性がある１つの映画セット内のアクティビティ及び／または複数の映画セットにわたるアクティビティを制御することを示している。ＶＲディスプレイ２０２は、壁に取り付けられたテレビ、コンピュータモニタ、または演出家２００が装着しているＶＲヘッドセットのヘッドアップディスプレイでさえあり得る。

本原理と一貫性のある、演出家２００の手及び腕２０４の画像は、視野内に演出家２００を示す１つまたは複数のカメラによって収集されることができ、これら１つまたは複数のカメラは、ＶＲヘッドセット自体の１つまたは複数の外向きのカメラを、演出家２００が装着している場合に含む可能性がある。次に、カメラ（複数可）からの画像を使用してコンピュータビジョン及び／またはジェスチャ認識を実行し、示されているように演出家の右手の人差し指で指差すことによってジェスチャを実行している演出家２００を追跡して識別することができる。

図２に示されるように、第一時間Ｔ１に、演出家２００は、ＶＲディスプレイ２０２上に提示されるＶＲ空間内に表される実世界（ＲＷ）のビデオでプロップ２０６を人差し指で指差し、演出家２００がプロップ２０６に向けた入力を提供していることをＶＲシステムに指示する。次に演出家２００は、示されているように、後の時間Ｔ２まで人差し指で指差しながら自分の右腕を左から右に（または必要に応じて別の方向に）徐々に動かし得、演出家の腕を、プロップ２０６のＶＲ空間内の所望の仮想位置の方を指差すときに動かすことを止める。仮想位置は、セット上のＲＷ位置に対応し得、ここでは、同様にセット上の１人以上の役者とのインタラクションのためにプロップ２０６がＲＷ内に配置され、プロップ２０６に対するＲＷ役者のアクションを仮想空間キャラクタのアクションに変換する。いくつかの例では、演出家２００がプロップの所望の仮想位置を指差す場合、演出家２００からの口頭による合図、例えば「このプロップをここに移動させてください」なども、プロップの移動に使用され得る。

他の図の説明に移る前に、ＲＷ、有形のプロップ２０６がテーブル、椅子などの実世界の無生物のステージオブジェクトを含むいくつかのものである可能性があることに留意されたい。プロップ２０６は、偽の銃または偽の剣などの「ダミー」の武器であってもよい。またプロップ２０６は、人物の切り抜き、地理的特徴を表す彫刻、またはＶＲ空間内の仮想オブジェクト（例えば、ビデオゲームオブジェクト）などの形状及び場合によってはサイズが対応する任意の要素であってもよい。

図３は、本原理と一貫性のある演出家コマンドに従って映画セットを照明するために使用されるビーコンデバイス３００を示す。ビーコンデバイス３００は、レーザビーム３０２などの可視ビーコンを伝送するまたは提示するためのハードウェアを含み得る。レーザビーム３０２は、例えば、レーザビーム３０２が向けられる表面上の点または位置３０４と交差することができる。

レーザビーム３０２は、演出家がプロップ３０６をＶＲ空間内に示すことを望んでいるＶＲ位置に対応するようにＲＷプロップが配置されるＲＷ内のＲＷ位置に向けてレーザ光を伝送するために、演出家コマンドに基づいて、そしてデバイス３００内のモータまたは他の要素を使用して方向付けられることができる。また図３に示されるように、プロップ３０６は、ＧＰＳトランシーバなどの位置センサ３０８、または経時的な位置追跡のための他の適切な位置センサを含むことができる。またセンサ３０８は、例えば、Ｗｉ－Ｆｉ（登録商標）または他の無線信号トランシーバを含み得、これを使用して、トランシーバと通信する他のデバイスの既知の位置に基づいてすべての３次元で経時的にプロップ３０６の位置を三角測量して追跡することができる。

またビーパ３１０は、プロップ３０６上に含まれてもよく、またはプロップ３０６に取り付けられてもよく、例えば、可聴「ビープ音」、他の可聴音、または所望のプロップ配置を指示する可聴のコンピュータ化された口頭による命令さえ発するように構成されたスピーカであってもよい。別個のハンドセットを使用して、プロップ３０６に対するその位置を追跡し、例えば、舞台係がハンドセットを別個に運搬し、その上プロップ３０６を最初に配置するまたは移動させる場合、ビープ音または他の音を発することもできる。それを除いて、ビープ音が提示される頻度及び／または音量は、例えば、プロップ３０６が経時的に追跡される場合、ＲＷプロップ３０６が配置される、演出家によって指示されたＲＷ位置に向けて移動するにつれて、徐々に少しずつ増加し得る。反対に、ビープ音が提示される頻度及び／または音量は、プロップ３０６が経時的に追跡される場合、ＲＷプロップ３０６が配置される、演出家によって指示されたＲＷ位置から離れて移動するにつれて、徐々に少しずつ減少し得る。次に、プロップ３０６が所望のＲＷ位置に最終的に位置している場合、ビープ音と同じピッチの一定のノイズがビーパ３１０によって生成されてもよく、及び／または異なるピッチのトーンが生成されて、プロップ３０６が所望のＲＷ位置として置かれていることを指示してもよい。

追加または代替として、いくつかの実施形態では、ビーパ３１０は、３次元（３Ｄ）の矢印または他の視覚的ガイダンスの形態などの視覚的方向ガイダンスが提示され得るビデオ表示をさらに含み得る。ただし、ビーパ３１０で可聴または視覚によるガイダンスが提示されるかどうかにかかわらず、プロップ３０６がＶＲ空間内でＲＷ位置に相関された所望のＶＲ位置にも提示されるため、ガイダンスが最初にプロップ３０６をＲＷ位置に向けて配置するまたは移動させるように舞台係または他の人をガイドし得ることを理解されたい。

ビーパ３１０によって生成されるガイダンスを使用することに加えて、またはその代わりに、位置３０４を確立する表面と交差するものとしてレーザビーム３０２を舞台係が視覚的に識別することに基づいて、舞台係がプロップ３０６を位置３０４に向けて移動させることもできることにさらに留意されたい。

ここで図４を説明すると、図４は、本原理と一貫性のある、１つまたは複数のデバイスによって単独で、または組み合わせて実行され得る、例示的なフローチャート形式で例示的なロジックを示す。例えば、図４のロジックは、記録されたＲＷ空間のアクションをＶＲ空間のキャラクタのアクションと調整して、ＶＲ空間内にアクションを反映するサーバまたは他のデバイスによって実行され得る。図４のロジックは、本原理を行うために演出家のＶＲヘッドセット、ディスプレイ２０２、ビーコン３００、及び／またはビーパ３１０と通信する別のデバイスによって実行されることもできる。

いずれにせよ、ロジックはブロック４００で始まり、デバイスは、プロップ上のＧＰＳトランシーバまたは他の位置トランシーバなどから、プロップの現在の位置を指示するＲＷプロップ位置信号を受信することができる。次にロジックはブロック４０２に進み得、デバイスは、例えば、ＲＷ内の１つ以上のカメラによってキャプチャされたＲＷ空間座標をＶＲ空間座標に相関させる、デバイスまたは他の箇所で実行しているＶＲシミュレーションエンジンによって促進されるように、ＶＲ空間内のプロップの位置を受信することができる。

ブロック４０２の後、ロジックはブロック４０４に進むことができる。ブロック４０４では、デバイスは、演出家がＶＲ空間内のプロップの表現を仮想で移動させるような、及び／またはプロップのＶＲ表現がＶＲ空間内に位置している必要がある位置を、ジェスチャまたは口頭による合図で指定することによるような、ＶＲ空間内のプロップの演出家による移動を受信することができる。その後、ロジックはブロック４０６に進むことができる。

ブロック４０６では、デバイスは、静止している間、及び／またはＲＷ空間全体を移動している間、プロップのＲＷ位置を追跡することができる。ブロック４０６の後、ロジックはブロック４０８に進むことができる。ブロック４０８では、デバイスは、演出家によって指示されたＶＲ位置に対応するＲＷ空間内のどこにプロップが位置している必要があるかに関する聴覚信号及び視覚信号の一方または両方を発生してもよく、及び／または送信してもよい。例えば、ブロック４０８では、デバイスは、上述のようにレーザを発するようにデバイス３００を制御してもよく、及び／または上述のように可聴支援及び視覚支援を提示するようにビーパ３１０を制御してもよい。

図５を参照して詳細な説明を続けると、図５は、例示的な画面表示の例示的なスクリーンショット５００を示す。例えば、画面表示は、専用プロップデバイスハンドセットまたはスマートフォンなどのハンドセットのディスプレイ上に提示されてもよい。またスクリーンショット５００は、ビーパ３１０がビデオ表示を含む実施形態では、上述のビーパ３１０のビデオ表示上に提示されてもよい。

いずれにせよ、図５に示されるように、プロップ画像５０２は、カメラからのプロップの実際の画像を使用してか、プロップのコンピュータ生成表現を使用してかいずれかで、画面表示上に提示され得る。また画面表示は、プロップ自体が移動する必要があるＲＷステージ位置に対応する、画面表示上に表される位置インジケーション５０４を含み得る。

また図５に示されるように、矢印５０６または他のグラフィカルインジケータも、画面表示の一部として提示され得、プロップがＲＷ空間全体で移動する場合にリアルタイムで調整され得、プロップがプロップの現在の位置に対して移動する必要がある位置を指示することができる。したがって、矢印５０６は、画面表示上に３Ｄ形式で提示されて、舞台係がプロップを、画像５０２に相関されたプロップの現在のＲＷ位置からインジケーション５０４に相関された演出家の所望のプロップ位置のＲＷ位置に移動させるときに、舞台係を導くことができる。

図６～９は、本原理と一貫性のある、１つまたは複数のスタジオまたはステージ内で、演出家が実世界のプロップ（テーブル、椅子などの実世界の無生物のステージオブジェクト）の移動を命令することを可能にすることをさらに示す。この例では、スタジオ内のカメラを使用してプロップを撮像することによって、またはプロップの全地球測位衛星（ＧＰＳ）受信器などのロケーション受信器からプロップの位置情報などを受信することによって、実世界のプロップが追跡されると仮定する。

図６は、演出家コンピュータ６０４上の仮想空間内の実世界のプロップの画像６００を示す。演出家は、演出家コンピュータ６０４を操作して、コンピュータ６０４のディスプレイ上に提示された音声コマンド及び／またはセレクタ要素６０２を使用して画像６００を移動させ得ることで、コマンドを図７に示される舞台係デバイス７００に送信し、画像６００に対応するプロップが位置している実際の位置に置かれることができる。舞台係デバイス７００は、携帯電話もしくはタブレットなどのポータブルコンピュータ、または例えば有機発光ダイオード（ＯＬＥＤ）ディスプレイを含み得る他の適切なデバイスであり得る。

コマンドは、プロップの位置情報を含み、そこからプロップの画像７０２を仮想空間内に配置し、舞台係デバイス７００上に提示することができる。演出家コマンドは、７０４で指示されるように舞台係ディスプレイ上にグラフィカルに及び／またはテキストで及び／または可聴に提示され、７０６でプロップの所望の新しい位置を指示する。実世界のプロップは、移動すると、本明細書で説明されたように追跡され、仮想空間内のその位置が演出家コンピュータ６０４及び舞台係デバイス７００の両方に提示されるため、プロップが所望の位置７０６に置かれるまで、演出家及び舞台係の両方は、プロップの仮想空間内の移動を監視することができる。

図８は、上記の議論をさらに反映する。ブロック８００では、舞台係デバイス７００は、演出家コンピュータ６０４から演出家コマンドを受信する。ブロック８０２に移ると、プロップの画像を舞台係ディスプレイ上に可聴及び／または可視で提示する。プロップが移動すると、ブロック８０４では、その実世界位置を追跡して仮想空間に変換し、ブロック８０６では、プロップの移動のフィードバックを演出家コンピュータ６０４に送信し、舞台係デバイス７００上で、それぞれのディスプレイ上のプロップの画像６００、７０２の仮想位置を更新することなどによって、更新する。

図９は、演出家が舞台係にフィードバックを与えて、実世界内にプロップを位置決めし、演出家の所望の位置に到達させることを選択することができることを示す。演出家コンピュータ６０４は、初期位置でのプロップの画像９００、移動中の現在の位置でのプロップの画像９０２、及び所望の位置でのプロップの画像９０４を提示することができ、入力要素９０６が提供されると、演出家はコマンドを入力して舞台係に送信し、舞台係が、例えば要素９０６を確立する様々な矢印に対応する上、下、左、及び右のコマンドを使用して、指示された方向内にプロップを移動させ続けることが可能になる。

ここで図１０を説明すると、図１０は、本原理と一貫性のある、操作するように構成されたデバイスまたはシステムのディスプレイ上に提示され得る例示的なグラフィカルユーザインタフェース（ＧＵＩ）１０００の設定を示す。例えば、ＧＵＩ１０００は、演出家コンピュータ６０４、演出家のヘッドセットもしくは接続されたラップトップコンピュータ、遠隔位置にあるサーバ、または本原理と一貫性のあるビーコンの使用を制御する別のデバイスのディスプレイ上に提示され得る。以下で説明される各オプションがそれぞれのオプションに隣接するチェックボックスにタッチまたはカーソル入力を向けることによって選択されることができることに留意されたい。

図１０に示されるように、ＧＵＩ１０００は、ＶＲデバイスまたはシステムが本原理を行うように設定するために、またはそれを行うことを可能にするために選択可能であり得る第一オプション１００２を含み得る。例えば、オプション１００２を選択して、１つまたは複数のデバイス（複数可）を設定し、または構成し、図４及び／または８のロジックを実行し、本明細書で開示されるようにビーコンを提示するまたは伝送するだけでなく、上述の他の機能を行うことができる。また図１０は、デバイスまたはシステムが本原理と一貫性のある可聴ビーコンを特異的に使用するように設定する、またはそのように使用することを可能にするために選択可能であり得る第二オプション１００４をＧＵＩ１０００が含み得ることを示す。ＧＵＩ１０００は、本明細書で説明されるようなレーザ及び画面表示など、本原理と一貫性のある視覚的ビーコンをデバイスまたはシステムが特異的に使用するように設定する、またはそのように使用することを可能にするために選択可能であり得る第三オプション１００６をさらに含み得る。

したがって、前述の図の説明に基づいて、ＶＲ演出及び／または遠隔撮影が容易になり得るため、演出家が仮想シーン内の演出家またはゲームプレイヤの視点から仮想シーン自体を見ることができ、コンテキスト内の役者の空間的感覚を得ることができることが理解され得る。いくつかの例では、演出家がＶＲヘッドセットを使用してＶＲシーンを見て、プロップの配置／位置を指定することに加えて、またはその代わりに、演出家はリモコン付きのＲＷリグを使用して、対応する仮想リグを仮想空間内で「保持」し、ＶＲシーン内の対応する視点を見て、ＶＲリグを至る所に移動させるため、仮想空間内の至る所に演出家のＶＲ一人称視点を移動させることもできる。いくつかの例では、演出家はＶＲリグを「手に取り」、それを自分の望む位置に置くことさえあり、次いでそれを手放すことで、指定された位置にある間、演出家に表されたＶＲ視点がＶＲリグ上で現在静止している仮想カメラの視点として示される。

どちらでも、ＶＲシーン内の仮想カメラの視点を見ると、演出家は、プロップ配置の命令を与えるために、ステージで実行されるＲＷアクションが単一ＶＲシーンにマージされる、様々な遠隔位置にあるステージにいる舞台係及び他のアシスタントと通信することができる。いくつかの例では、入力層、出力層、及びその間の１つまたは複数の隠れ層を備えた人工ニューラルネットワーク（ＡＮＮ）をエンコードして、演出家のコマンドを聞き、それに基づいて舞台係に方向支援を提示することができる。したがって、音声コマンド、ＲＷプロップの位置、及びプロップの対応するＶＲ位置は、本明細書で開示されるように、可聴ビープ音、レーザ、画面表示などの形態で方向支援を出力するようにＡＮＮを訓練するための訓練中に、ＡＮＮへの入力として提供され得る。

したがって、本開示は、ＶＲシーンの作成に役立つ様々な役者のアクションを記録するだけでなく、演出家の視点を記録するまたは提示するように、演出家の能力を支援してもよく、ＶＲ空間内でＲＷ空間内のＲＷプロップに対応する仮想オブジェクトとインタラクトするように、演出家の能力を高めることを支援してもよい。次いで、生成されたデータ、命令などは、遠隔位置にあるステージから記録されたＲＷシーンを単一ＶＲシーンにマージするための後処理に利用可能になってもよい。

この場合、演出家の仮想カメラ（例えば、ＶＲシーン内の演出家の視点）は、演出家のＲＷカメラを移動させることによって、または別のＲＷカメラに切り替えることによって変更されることができるため、演出家は、ＶＲシーン内の間、仮想「セット」（例えば、ＶＲシーン自体）を確認し、役者が自分の追跡されたＲＷ移動に基づいてシーン内の至る所を仮想で移動する場合、ＶＲシーン内の役者の位置を確認し、ＶＲシステムによって追跡されたプロップの位置さえ確認することができるため、演出家は、プロップが演出家の所望の仮想位置にあるときがわかる。

これは、演出家がＶＲシーンに没入している間、演出家がＶＲシーン内でプロップを配置したい位置を、演出家のＲＷの腕を使用してクリックするまたは指差すことで実現されることができる。次に、ＲＷの物理的なセットの１つにいる演出家のアシスタントは、それらのセットを、場合によってはＲＷ空間と対応するＶＲ空間との間のＸＹＺ寸法オフセットを補償しながら、ＶＲシーン内の位置に対応する、指差されているＲＷステージ位置に導き、アシスタントが演出家による所望のプロップ位置のＶＲ座標にマッチングする正しいＲＷ座標に近づくにつれて、アシスタントを支援するための聴覚ガイド及び／または視覚ガイドを有することができる。したがって、ＲＷステージ上で演出家の所望の位置にプロップを位置決めするためのフィードバックをアシスタントに与えることができる。

したがって、プロップの新しい静止位置を確立するいくつかの例では、フィードバックは、ＲＷプロップを演出家が望む位置に配置するためにどこに移動させる必要があるかを指示する表示画面を備えたハンドセットの形態である場合がある。またアシスタントは、オーディオイヤピースまたは別のタイプのスピーカを使用して、プロップをＲＷ空間全体での演出家の所望の位置にナビゲートすることができる。

追加または代替として、ドローンまたは他のデバイスは、いくつかの例では、それ自体をＲＷ内の空中で所望のプロップ位置まで自律航行することができる。次に、アシスタントは、所望のプロップ位置にあるドローン位置にプロップ自体を運び、その位置でドローンをプロップと交換することができる。

したがって、本原理と一貫性のあるビーコンは、プロップについての演出家の所望のＶＲ位置の座標がセットの対応する実空間内のどこに位置しているかをアシスタント（または他の人）に伝えるために様々な形式を取ることができる。したがって、演出家は（例えば、ＶＲヘッドセットを使用して）ＶＲシーンに没入してそれを見て、「この岩がここにある必要があると思う」などと言うことができる。システムは、デジタルアシスタント、自然言語理解、及び／または音声認識技術を使用して、演出家の発言を識別し、そのうえ演出家が岩をクリックする、指差す、またはその他の方法で選択する（例えば、ＶＲコントローラを使用して仮想空間内で選択する）間に発言されたことを識別することができる。これら２つの入力に基づいて、ＶＲシステムは、バイブレータを使用してブザー音を鳴らし始め、演出家が岩を配置する座標を確立したことを示すように、オフセットにある可能性があるハンドセットなどの別のデバイスに命令することができる。アシスタントは、これに気づき、ハンドセットを手に取り、そこに提示される矢印またはその他のガイドを使用してＲＷの岩自体を拾い上げ、演出家によって確立された座標に対応するセットまたはステージ上のＲＷ位置にナビゲートすることができる。

岩の位置が演出家の希望する位置にまだ完全にない場合、演出家は「左に移動させる」、「右に移動させる」などと言うことができ、追加の合図をハンドセットに提供し、アシスタントをさらにガイドすることができる。またはもう一度、演出家は、岩（または他のプロップ）を配置したいＲＷ位置に対応する仮想空間位置をクリックするまたは選択することができる。

いくつかの例示的な実施形態を参照して本原理を説明したが、これらは限定することを意図しておらず、各種の代替的な構成が本明細書で特許請求される主題を実施するために使用されてよいことは理解されよう。

Claims (20)

1. 仮想現実（ＶＲ）空間内で、ビデオプロップが位置していることが望ましい位置を識別することと、
   実世界（ＲＷ）空間内で、前記ビデオプロップが位置している前記ＶＲ空間内の前記位置に対応するＲＷ位置に向けて少なくとも１つのビーコンを送信することと、
   のための命令によってプログラムされた少なくとも１つのプロセッサを含む、装置。
2. 前記ビーコンは可視ビーコンを含む、請求項１に記載の装置。
3. 前記ビーコンはレーザビームを含む、請求項２に記載の装置。
4. 前記命令は、経時的に前記ＲＷ内の前記プロップの位置を識別するために実行可能である、請求項１に記載の装置。
5. 前記命令は、前記ＲＷ内の前記プロップの前記位置に少なくとも部分的に基づいて前記ビーコンを送信するために実行可能である、請求項４に記載の装置。
6. 前記ビーコンは可聴音を含む、請求項１に記載の装置。
7. 前記ビーコンはハンドセット上の画面表示を含む、請求項１に記載の装置。
8. 少なくとも１つのコンピュータストレージを含むデバイスであって、
   前記少なくとも１つのコンピュータストレージは、一時的信号ではなく、少なくとも１つのプロセッサによって実行可能な、
   仮想位置の仮想現実（ＶＲ）空間内でインジケーションを受信する命令、
   前記仮想位置を指示するビーコンを前記実世界（ＲＷ）内に送信する命令、
   を含む、前記デバイス。
9. 前記仮想位置は、ＲＷプロップの所望の位置である、請求項８に記載のデバイス。
10. 前記ビーコンは可視ビーコンを含む、請求項８に記載のデバイス。
11. 前記ビーコンはレーザビームを含む、請求項１０に記載のデバイス。
12. 前記命令は、経時的に前記ＲＷ内の前記プロップの位置を識別するために実行可能である、請求項８に記載のデバイス。
13. 前記命令は、前記ＲＷ内の前記プロップの前記位置に少なくとも部分的に基づいて前記ビーコンを送信するために実行可能である、請求項１２に記載のデバイス。
14. 前記ビーコンは可聴音を含む、請求項８に記載のデバイス。
15. 前記ビーコンはハンドセット上の画面表示を含む、請求項８に記載のデバイス。
16. オブジェクトが位置していることが望ましい仮想空間内の位置を指示することと、
    前記実世界（ＲＷ）内で前記仮想位置に対応するＲＷ位置に向けてビーコンを提示することと、
    を含む、コンピュータ実装方法。
17. 前記ビーコンは可視ビーコンを含む、請求項１６に記載の方法。
18. 経時的に前記ＲＷ内の前記オブジェクトの位置を識別することを含む、請求項１６に記載の方法。
19. 前記ＲＷ内の前記オブジェクトの前記位置に少なくとも部分的に基づいて前記ビーコンを提示することを含む、請求項１６に記載の方法。
20. 前記ビーコンは可聴音を含む、請求項１６に記載の方法。

Images