JP2004503888A - 対話型バーチャルリアリティパフォーマンス劇場エンターテインメントシステム - Google Patents

Abstract

複数の参加者が娯楽および／又は教育的な体験を楽しむ対話型バーチャルリアリティ（ＶＲ）パフォーマンス劇場および環境システム（１００）。参加者は、没入型グラフィック環境と生および／又は録画取りの出演者の両方が見られるヘッド・マウント・ディスプレイ（ＨＭＤ）などのＶＲディスプレイ装置からパフォーマンスを見る。参加者は没入型ＶＲ環境内にミキシングされた出演者を見ながら、複数のボタン（８０）を有する手持ち型入力装置（１６）および／又は音声通信によってパフォーマンスの内容と結果に限定的な制御を働かせる。相互接続されるコンピュータ（１０２）、ビデオ・オーディオプロセッシング装置（１０６、１０８）が使われる。ネットワーク（１０４）がビデオ、オーディオ、およびグラフィックスの伝送のために、コンピュータ、参加者、および生／録画取りの出演者を相互接続する。

Description

【０００１】
関連出願への相互参照
本出願は、２０００年７月１７日に提出された出願番号０９／６１７，３８８号、対話型バーチャルリアリティパフォーマンス劇場エンターテインメントシステムと題する米国非仮特許出願に基づき、その優先権を主張するものである。
【０００２】
発明の背景
発明分野
本発明は、電子画像および生出演エンターテインメントの分野に関する。さらに具体的には、本発明は、参加者が生および／又は録画取りの出演者だけでなく、電子的な又はコンピュータ化された環境と対話する娯楽および教育システムに関する。さらに具体的には、本発明は、参加者がヘッド・マウント・ディスプレイと手持ち型キーパッドなどの様々な没入・入力装置を使って、バーチャルリアリティ環境および生出演者と対話する没入型バーチャルリアリティコンピュータシステムに関する。
【０００３】
関連技術の説明
参加者がソフトウェア生成バーチャルリアリティ環境を見て、そして対話するヘッド・マウント・ディスプレイ又は他の没入型装置や方法を利用するバーチャルリアリティエンターテインメントシステムは、長年訓練や娯楽目的で使われている。ここで使用し詳述する没入型バーチャルリアリティ環境とは、参加者は単に環境内の他の物体とともに電子的に存在しているだけだが、参加者をその環境内に「没入」して、グラフィック環境内に体が存在するような感覚を与えるコンピュータ生成グラフィック環境をいう。そのため、没入型バーチャルリアリティ環境は、参加者とそれを取り巻く環境との関係を模倣する三次元（３Ｄ）グラフィックスおよびコンピュータソフトウェアを使って、参加者に人工的に制作された環境の中にいるという錯覚を与える。
【０００４】
従来、ソフトウェアの環境の中では、参加者は業界でアバターと呼ばれる化身で表現されている。参加者は自分のアバターを、手持ち入力装置や体の動きを監視する電子および電磁追跡装置が生成するデータを含むが、それに限定されない入力機構を組み合わせて制御している。参加者の動作で制御されないバーチャルリアリティ環境内の物体は、一般的にはコンピュータのソフトウェアプログラムで制御され、参加者の入力にも応答できる。
【０００５】
関連技術のバーチャルリアリティ環境では、参加者が制御しない人物や物体はソフトウェアのプログラムにのみ従って独立して動き、各参加者の入力装置に応答する（Ｃａｒｍｅｉｎ、米国特許第５，４９０，７８４号明細書、Ｌａｔｙｐｏｖ、米国特許第５，８４６，１３４号明細書）。木や動物などの受動および能動物体は、バーチャルリアリティ環境内で予め決められた方法で動く。また、参加者には、バーチャルリアリティ環境内でそのような物体と対話する機会があるが、物体はコンピュータ生成画像に限られる。
【０００６】
一般的に、バーチャルリアリティ環境の目的や焦点は、従来、シミュレーション中人間の参加者を表さない、又は人間の参加者が実質的に制御しないコンピュータグラフィックスプログラムで完全に生成した物体との参加者の対話にあった。また、従来、参加者のグループはステージ上やテレビ、映画あるいは他の非没入型媒体を通して、没入型装置又は方法の向上なしに、また没入型装置又は方法を参加者から出演者への音声通信や参加者間の音声通信と組み合わせることなしに、高度な画像の生もしくは録画取りの出演者で楽しんできた（Ｔｒｕｍｂｕｌｌら、米国特許第５，７９５，２２８号明細書）。
【０００７】
知られている他のエンターテインメントシステムは、Ｆｒｅｅｍａｎらの米国特許第５，６８２，１９６号明細書に開示されているように、コンピュータ制御のホストと参加者間の双方向通信の能力を有する。しかし、これらシステムは、参加者間や参加者とライブホスト間で音声通信をするための能力は持っていない。Ｔｒｕｍｂｕｌｌのシステムでは、生出演者から参加者への一方向の音声通信はできるが、参加者から生出演者への音声通信は備わっていない。また、Ｔｒｕｍｂｕｌｌのシステムでは、没入型バーチャルリアリティ環境でさらに高められた参加者間の音声通信もできない。
【０００８】
いくつかの周知技術のバーチャルリアリティシステムが基本触覚インターフェースを開発している。例えば、Ｓｈａｗらの米国特許第５，７３７，５０５号明細書は、四肢と体の位置を感知する上胴の鎧に似たインターフェースを開示している。この装置はバーチャルリアリティ環境と能動および受動両方の通信を行う参加者に、力のフィードバックを提供するもしくは動きを与える。しかし、Ｓｈａｗのバーチャルリアリティ環境は、参加者間の通信を提供しておらず、システムは生および／又は録画取りの出演者も備えていない。
【０００９】
そのため、周知技術のエンターテインメントシステムには、ある種の有利な特徴がない。従来のシステムでは、参加者はある入力装置を使ってホストや環境と対話できる。しかし、ホストがライブであることはめったになく、代わりに予め録画されていたりコンピュータ制御されていたりするため、参加者との対話の自然さが減じられる。Ｔｒｕｍｂｕｌｌのホストは生出演者となることはできるが、システム自体がバーチャルリアリティ環境内になく、そのため参加者に、より刺激的な体験を与える没入感効果に欠ける。また、Ｔｒｕｍｂｕｌｌでは参加者から出演者への音声通信がなく、参加者間の音声通信もないため、娯楽や教育的な体験がさらに制限される。
【００１０】
従って、業界では、１）参加者；２）没入型環境；３）生および／又は録画取りの出演者、の間の三方向の没入型対話式通信を提供するバーチャルリアリティベースの娯楽および／又は教育システムのニーズが出てきた。また、娯楽および／又は教育的な体験全般を向上させるために、個々のおよび／又は混合したビデオ、オーディオ、およびグラフィックの入出力の装備を有するシステムのニーズが出てきた。さらに、体験の内容や結果を、少なくとも部分的には出演者および／又はバーチャルリアリティ環境からの脚本および／又は即興のコミュニケーションに応答する参加者の入力によって制御するニーズがある。最後に、複数の参加者、出演者、およびバーチャルリアリティ環境の入出力が所望のアプリケーションに応じて、またコンピュータ技術の急速な変化に対応するために簡単に改良できるように、設計上ロバストでモジュラー型のシステムのニーズが出てきた。これら要素の組み合わせによる相乗効果で、参加者の視聴者に、これまで実現されていない水準の娯楽および／又は教育的な刺激と品質を提供できる。
【００１１】
発明の要約
本バーチャルリアリティパフォーマンス劇場（ＶＲＰＴ）において、発明者は、ソフトウェアプログラムと娯楽又は教育的なパフォーマンスの焦点を、個々の参加者とバーチャルリアリティ環境内のコンピュータ生成グラフィックオブジェクト間の対話から、参加者、生および／又は録画取りの出演者、および没入型バーチャルリアリティ環境間の三方向の対話型通信へと切替えている。参加者、生および／又は録画取りの出演者、および没入型バーチャルリアリティ環境間の三方向コミュニケーションを含めることにより、類まれな娯楽および／又は教育的な体験を生み出す相乗効果が得られる。
【００１２】
そのため、本発明の主な目的は、参加者、生および／又は録画取りの出演者、およびバーチャルリアリティ環境間の三方向コミュニケーションが存在する対話型バーチャルリアリティパフォーマンス劇場を提供することである。三方向コミュニケーションは、オーディオ、ビデオ、グラフィックの入出力データを含むが、それに限定されない。重要なのは、参加者と出演者同士の対話およびバーチャルリアリティ環境が、ある程度、パフォーマンスの内容と最終的な結果の両方を決定することである。
【００１３】
従って、本発明のさらなる目的は、複数の参加者が、生および／又は録画取りの出演者と組み合わせたソフトウェア生成シミュレーションで没入感を楽しめる対話型バーチャルリアリティ環境を作り出すことである。
【００１４】
本発明のさらなる目的は、参加者がパフォーマンスの内容と結果を制御できるようにすることである。
本発明の別の目的は、各参加者と複数の出演者が、音声通信するために音声インターホンシステムで互いにつながれた新しい没入型パフォーマンスを提供することである。このシステムにより、参加者はコンスタントな会話を確立でき、娯楽ゲームや教育的な場面において意見を共有し共同作業をすることで対話性が高められる。
【００１５】
本発明のさらに別の目的は、ある特定のアプリケーションの要件に合わせて容易にカスタマイズでき、コンピュータ技術の急速な進化に適合するために容易にアップグレードできるバーチャルリアリティ環境を提供することである。
端的にまとめると、本発明は、非常に楽しい娯楽および／又は教育的な体験をするために、参加者が互いに、また生および／又は録画取りの出演者、および没入型バーチャルリアリティ環境と対話できる対話型バーチャルリアリティパフォーマンスのプラットフォームと環境を提供することにより、先行技術の欠点を克服し、実質的に軽減する。重要なのは、参加者が入力装置と音声通信を通じ、パフォーマンスの内容と結果を限定的に制御できることである。
【００１６】
システムは一般的には参加者と出演者の各々に入出力装置を利用し、さらに特定の処理作業を実行するためのシステムのデータとプログラムをもつ制御コンピュータを有する。システムはさらに、視聴者の中の参加者に提示するためのオーディオおよびビデオデータをミキシングしスイッチングする様々なオーディオ・ビデオコンポーネントを有する。革新的なミキシング・スイッチング技術により、システムは参加者の各々に、出演者のライブビデオがグラフィック環境内に重ね合わされるグラフィックバーチャルリアリティ環境を提示できる。そのため、参加者は刺激的な娯楽および／又は教育的な体験をするために、グラフィックデータとライブビデオデータ両方の新しいディスプレイを見て、対話する。
【００１７】
ビデオのミキシングとスイッチングを支持して、クロマキーおよび他の電子的に生成される装飾によりバーチャルリアリティディスプレイが完成し、そこで出演者からのビデオおよび／又はオーディオ入力が、例えばヘッド・マウント・ディスプレイ（ＨＭＤ）を使って参加者が没入するグラフィック環境とミキシングされる。そのため、参加者は出演者を見たり聞いたりもできる没入型グラフィック環境を体験する。
【００１８】
参加者はキーパッドやサイバーグローブなどの手持ち型入力装置を使ってパフォーマンスの内容と結果を制御しながら、バーチャルリアリティ環境の出演者、ソフトウェアシミュレーション、および他のビデオ出力、オーディオ出力、グラフィック出力の画像又は電子ファクシミリを見る。出演者は、脚本および／又は即興の動作に従って、例えばある特定の質問やある問題についての意見に基づいて、視聴者に応答をするよう問いかける。参加者の応答は、例えば出演者および／又はシステムの問いかけに対する応答で稼いだ点数に基づいて、ある参加者が「勝者」と宣言されるなど、その後の内容、そして最終的にはパフォーマンスの結果に影響を与えることができる。
【００１９】
システムはさらに、参加者のそれぞれが没入型体験を高められるスピーカーや体感シートを含むが、それに限定されない追加オーディオおよび動作装置を有する。参加者の没入型体験は、これ以降「ランブルシート」と言う個々の参加者がパフォーマンスの間中に座る体感シートの聴覚と身体の感覚によって補われる。シートには背景音響効果のためのスピーカーが備えられ、シートの動きの効果は参加者の音声通信、決定、および身体の動きに応じてソフトウェアによって生み出される。
【００２０】
また、データ伝送のためにコンピュータを接続して、遠隔の相互接続性と参加を容易にするためのネットワークを有する。ネットワークの導入により、参加者と出演者は同じバーチャルリアリティ環境とパフォーマンスを体験しながら、地理的に遠隔な場所に物理的に存在できる。
従って、発明者らは、出演者による生および／又は録画取りのパフォーマンスに、没入型バーチャルリアリティ技術および電子的な対話を加えた。バーチャルリアリティ環境に参加者をおくことで、参加者と出演者は互いに、そして没入型バーチャルリアリティ環境とも物理的に近くに感じながら、より直接的に対話できる。
【００２１】
没入型環境は、以下により詳細に説明するように、見る者からわずか１０フィートで２５度以上の対角の視野が提供されるものと定義される。没入型環境を達成するために、ＶＲＰＴは３Ｄグラフィック環境で没入感を生み出すヘッド・マウント・ディスプレイ（ＨＭＤ）装置を利用できる。さらに、例えば目線のモニターなどの非ヘッド・マウント・ディスプレイへの特定の近接性は、類似の没入型環境を作り出すことができる。別の没入型装置や方法を以下により詳細に説明する。
【００２２】
結果として、システム全体はバーチャルリアリティ、コンピュータグラフィックス、および遠隔会議技術の混合物と分類できる。出演者はローカルサイトや参加者がいる現場にいる必要はない。むしろ、出演者は通信チャンネルが許す限り遠隔にいることができ、出演者自身が様々な現場からインターネット、衛星中継、又は他のチャンネルを介して複数の現場に自分のパフォーマンスを送ることができる。
【００２３】
本システムのある利点は、人の参加者が従来の形の対話よりもはるかに自然な形で他の参加者および出演者と対話できることである。参加者はまた、没入型装置と対話型コミュニケーション技術を使って、はるかに「個人的で特有の」体験をすることができる。
本システムの別の利点は、バーチャルリアリティパフォーマンス劇場が今や対面の視覚投影媒体として使うことができると同時に、すべて没入型シミュレーション媒体の中で、例えばお笑い実演、芝居の見世物、授業と講義、および考えや概念を視聴者に通信することに関連したほかの活動などの娯楽およびビジネスアプリケーションとして使うことができる。
【００２４】
また、複数の出演者を同時に入れることができるため、パフォーマンスに新しい特徴を加味している。追加の出演者はオーディオのみ、声のみ、又はオーディオとビデオ両方に加えられる。ひとりの出演者は、効果的ではあるが、モノローグおよびシステムが認めた参加している視聴者との対話にのみ関わりあうことができる。対して、電子シミュレーション媒体に複数の出演者がいると、この媒体は本物の劇を上演できるように出演者と参加者間の生および録画された対話のために使うことができる。
他の目的と特徴は当業者には明らかであり、これ以降より具体的に指摘する。
【００２５】
本発明の説明
本発明の新規性を際立たせ、強調するために、図１は参加者、出演者、および没入型バーチャルリアリティ環境間の三方向コミュニケーションを図示している。バーチャルリアリティパフォーマンス劇場（ＶＲＰＴ）システムは、参加者間の音声とビデオコミュニケーション、参加者と出演者間の音声とビデオコミュニケーション、出演者間の音声とビデオコミュニケーション、そして参加者と出演者と没入型バーチャルリアリティ環境との間のグラフィック、オーディオ、およびビデオコミュニケーションを提供する。
【００２６】
各参加者、各出演者、および没入型環境への、またそれらからのオーディオ／音声、ビデオ、およびグラフィックの入出力の組み合わせが相乗効果を生み、その結果、以下により詳細に説明するように、参加者にとって類まれな娯楽および／又は教育的な体験となる。
以下の説明を通し、単数形又は複数形の文脈のいずれで述べられていても、別途指摘がない限り、一人又は複数の参加者および出演者をバーチャルリアリティパフォーマンス劇場で採用することができる。
【００２７】
本発明の好適な実施例と代替実施例の以下の説明に関し、発明者らは「没入型」ディスプレイを見る者からわずか１０フィートの距離で、２５度以上の対角の視野をもつものと定義する。１０フィートの距離からの２５度の対角の視野は、図２でより明確に図示しているが、対角で１４インチの表示長をもつこの典型的なコンピュータ端末のディスプレイでは、ディスプレイを「没入型」と見なすために、見る者がディスプレイから約３１．６インチ離れる必要があるだろう。
【００２８】
図３では本発明の好適な実施例を図示しており、バーチャルリアリティパフォーマンス劇場１０として大まかに示している。バーチャルリアリティパフォーマンス劇場（ＶＲＰＴ）１０は複数の参加者を促し、通常各参加者のためにヘッド・マウント・ディスプレイ（ＨＭＤ）１２と、ＨＭＤ１２に取り付けるマイクロホン１４と、ＨＭＤ１２に取り付けるヘッドホン１５と、手持ち型入力装置１６とを有する。ＨＭＤ１２は１つ又は２つのブラウン管（ＣＲＴ）、１つ又は２つの液晶表示装置（ＬＣＤ）、又は他の視覚装置を通して参加者の各々への没入型環境の視覚表示を提供する。参加者はＨＭＤ１２を通してバーチャルリアリティ環境を見て、手持ち型入力装置１６とマイクロホン１４を使ってシステムへの入力を行なう。さらに、参加者はヘッドホン１５で他の参加者、出演者、およびＶＲＰＴシステムからの音声および／又はオーディオ通信を聞くことができる。
【００２９】
ＶＲＰＴ１０から参加者へのオーディオ出力もランブルシート１８から供給されており、各シートが「ランブルシート」と呼べるように、シートのそれぞれには適切なスピーカーシステム又は他の適切なサウンドトランスポンダーが装備されている。ランブルシート１８はさらに、振動板又は他のサウンドもしくは動作トランスデューサー、又はバーチャルリアリティ環境内での没入型体験を補う参加者への出力を供給する他の装置を有する。
【００３０】
バーチャルリアリティパフォーマンス劇場１０はさらに、ライブホストが参加者と対話し、例えば各参加者の名前を参加者がランブルシート１８に座る前に登録コンピュータ３２に入力するコントロールセンター３０を有する。各参加者は通常、バーチャルリアリティパフォーマンス劇場１０に参加する前に、コントロールセンター３０を通じて登録する。
【００３１】
パフォーマンスの前とその間、参加者の身体動作とオーディオの入力がビデオカメラ２０とシアターマイクロホン２２で捕捉される。ビデオカメラ２２とシアターマイクロホン２２でそれぞれ捕捉されたビデオ画像とオーディオ信号は、その後、娯楽および／又は教育的なパフォーマンス中にプレゼンターボックス２４にいる生出演者に通信される。ビデオカメラ２０とシアターマイクロホン２２からの出力はまた、以下により詳細に説明するように、ＶＲＰＴ１０でさらに処理される。
【００３２】
プレゼンターボックス２４の内部を、図４でよりはっきりと図示しているが、ここではビデオモニター４４で参加者を見て、スピーカー４６を通して参加者の声を聞いている生出演者を示している。ビデオカメラ２０とシアターマイクロホン２２の出力はそれぞれ、プレゼンターボックス２４内にあるビデオモニター４４とスピーカー４６に送信される。プレゼンターボックス２４は、参加者が生出演者の身体の存在に気づかないように、生出演者の存在を隠すよう特別に設計されている。プレゼンターボックス２４はまた、以下により詳細に説明するように、出演者の生の画像を捕捉するための立体ビデオカメラ４２と、出演者のライブビデオをＶＲＰＴ１０内のグラフィックデータとミキシングしやすくするために明るくした背景４８とを有する。
【００３３】
本発明の重要な新しい特徴は、生出演者からのビデオ入力を、バーチャルリアリティ環境内のグラフィックデータ又は画像とミキシングすることにあり、これを組み合わせたものはその後ＨＭＤ１２を通して参加者が見る。図４に図示するように、立体ビデオカメラ４２は出演者のライブビデオ画像を捕捉し、その後、処理およびバーチャルリアリティ環境内のグラフィックデータとのミキシングのために、対応するビデオ信号をシステムに送信する。
【００３４】
この結果が、例証する新しいバーチャルリアリティ環境であり、図５にあるように没入型ディスプレイ６０として大まかに示される。参加者はバーチャルリアリティ環境内のグラフィックデータを見るだけでなく、環境内のグラフィックデータと重ね合わされた又はミキシングされた出演者のライブビデオも見る。そのため、参加者が移動して、グラフィック環境６２と対話するにつれ、生出演者のビデオ画像６４が環境内で定期的に重ね合わされて、参加者と出演者がここに説明するようなコミュニケーション装置を使って互いに対話できる。
【００３５】
バーチャルリアリティ環境内に生出演者のビデオ画像６４をグラフィック環境６２と一緒に収めることは、これ以降詳細に説明するようなバーチャルリアリティパフォーマンス劇場１０のコンピュータソフトウェア、又は生出演者により制御できる。没入型ディスプレイ６０はさらに、各参加者の名前とそれぞれのスコアをパフォーマンスの間中一覧表示するスコアボード６６を入れて、生出演者および／又はバーチャルリアリティ環境によって課される質問への応答に成功したレベルを示すことができる。参加者の技量、入力、あるいは運を伴う他の課題も実施できることは十分理解されるだろう。ここで述べる没入型ディスプレイ６０は、グラフィックデータとライブビデオデータの考えられうる数多くの組み合わせを単に例示したものであり、そのため、その内容に関し制限をかけるものではない。
【００３６】
図６で詳細に示すように、本発明の好適な実施例では、ユーザが応答しやすくするために手持ち型入力装置１６が使われている。手持ち型入力装置１６はキーパッドとして示されており、生出演者および／又はバーチャルリアリティ環境が課す質問に対し考えられうる答えや入力に対応するラベルのついた複数のボタン８０を有する。例えば、システムが参加者に課す複数の選択問題には、考えられうる４つの答え、つまりＡからＤをつけて課すことができよう。参加者は単に正しい答えに対応するボタンを押し、するとシステムが参加者の入力の結果を集計する。別の例として、没入型環境の内容に基づいて、単に「はい」又は「いいえ」で答える問題を参加者に課すこともでき、その場合参加者は手持ち型入力装置１６にある対応する「はい」又は「いいえ」のボタンを押すことになろう。別の例としては、出演者を「信頼」し、出演者の提案する行動方針を採用することを意味する「信頼」と書かれたボタンを押すなど、参加者はより複雑でダイナミックな意味や概念を示すためにボタンを押すこともできるであろう。別の例としては、反射や記憶力テストとして、ある目的を達成したりある課題をやってのけるために、参加者はできるだけ速く１つ又はそれ以上のボタンを押すこともあるだろう。前述のことは、参加者の入力装置をどのように使えば出演者およびバーチャルリアリティ環境と対話できるかの単なる例であり、バーチャルリアリティパフォーマンス劇場で可能な対話の種類を限定するものではない。
【００３７】
システムのすべての入出力の処理と通信を、図７に図示するシステム図で詳述する。本発明の好適な実施例のコンピュータ化システムは、バーチャルリアリティパフォーマンス劇場システム１００として大まかに示されている。制御コンピュータ１０２は、ネットワーク１０４を介してオーディオプロセッサ１０６、ビデオプロセッサ１０８、オーディオスイッチ１１０、ビデオスイッチ１１２、外部視聴者ビデオ１１４、外部視聴者オーディオ１１５、生出演者ビデオモニター１１６、およびＶＲディスプレイ１１８と共に接続される。外部視聴者ビデオ１１４、生出演者ビデオモニター１１６、およびＶＲディスプレイ１１８のそれぞれは、ソフトウェア制御のバーチャル環境と、バーチャルリアリティパフォーマンス劇場システム１００におけるパフォーマンスの透視視点の視覚表示を投影している。ＶＲディスプレイ１１８はさらにオーディオデータを参加者に送るヘッドホン１２１を有する。制御コンピュータ１０２、オーディオプロセッサ１０６、ビデオプロセッサ１０８、オーディオスイッチ１１０、およびビデオスイッチ１１２は、参加者、出演者、およびバーチャルリアリティパフォーマンス劇場システム１００の没入型環境からの入力に加え、ソフトウェア内に予めプログラムされた様々なデータを処理する。
【００３８】
バーチャルリアリティパフォーマンス劇場システム１００の入力は、参加者のマイクロホン１１９、参加者の入力装置１２０（手持ち型入力装置１６や、前に図３で取り上げて例示したようなものなど）、生出演者のカメラ１２２、生出演者のマイクロホン１２４、生出演者のキーパッド１２６、補助ビデオカメラ１２８、および補助ビデオ・グラフィックス・オーディオ源１３０を含む。バーチャルリアリティパフォーマンス劇場システム１００の追加システムコンポーネントには、椅子１３２、パワーグリッド１３４、エンジニア装置１３４がある。椅子１３２は、図３に関連付けて前述したような複数のランブルシート１８に相当する。
【００３９】
パワーグリッド１３４は、バーチャルリアリティパフォーマンス劇場システム１００内で電力を要するそれぞれの装置に必要な電力量を供給する。エンジニア装置１３４とは、出演者又はホスト（参加者の情報を登録コンピュータに入力し、お金を取り、参加者を座らせ、前説などをする者）とは別の「エンジニア」又は「システムオペレータ」によりモニターされ、調整される電子コンポーネントである。エンジニア装置１３４は、音量、特殊効果又は他のパフォーマンスの要素を制御する。
【００４０】
オーディオプロセッサ１０６とオーディオスイッチ１１０は、ネットワーク１０４、生出演者のマイクロホン１２４、および参加者のマイクロホン１１９のそれぞれに接続する。オーディオプロセッサ１０６とオーディオスイッチ１１０は制御コンピュータ１０２により制御され、その結果システム全体にオーディオ信号を配信する。
【００４１】
マイクロホン１１９は、ＨＭＤに内蔵される小型マイクロホンを使って音声通信を可能にする。マイクロホンの音声信号は、以下より詳細に説明するように、オーディオミキシングコンポーネントを使って一緒にミキシングされる。音声信号はさらに他の出演者の声、音楽、特殊オーディオ効果、および他のソフトウェアが生成する生および録画取りのオーディオ信号とミキシングされる。
【００４２】
システムはＨＭＤの内部に取り付けた小型コンデンサマイクロホンを使っており、全ての参加者が、その声を感知する固有のマイクロホンを持つ。例えば、高速インターネットオーディオ伝送が、これ以降詳細に説明するように、ソフトウェアプログラムを使ってホストサイトで一緒にミキシングされる音声とともに、ＶＲＰＴシステムのインターネット実施例で使用できる。
【００４３】
本発明の代替実施例では、チームプレイを向上させたり、また、望ましくない言語を使ったり生出演者を妨害したりする参加者を除外するために、ある参加者のマイクロホンのオンとオフを切替える、あるいは音量を自動的に制御することができる性能が備えられている。マイクロホンの切替えは、コンピュータ制御と手動切替えのいずれでも行なうことができる。
【００４４】
ヘッドホン１２１は、ＨＭＤに装着しない他のオーディオ配信装置に代えたり、増補してもよい。追加オーディオ装置はデスクトップ型スピーカー、壁掛けスピーカー、又は他の種類のオーディオ生成装置を含むことができる。
【００４５】
参加者に多様なグラフィックスを送るために、ＶＲＰＴにビデオプロセッサ１０８とビデオスイッチャー１１２が用いられる。ミキサーの多様な機能を使って、様々な源をクロマキーするなどのグラフィックス効果を提供する。生出演者は、例えば明るい青色スクリーンの前に立ち、主又は副コンピュータ、又は他の出演者や他のカメラ入力源などを含む他の源からのグラフィックス上にクロマキーされる。本発明のシステムでは、参加者のグループはバーチャルリアリティ環境内部の出演者と対話でき、そのように作られた環境内で「没入」感を楽しむことができる。
【００４６】
プレーヤー入力装置１２０には、前述したような手持ち型入力装置が含まれる。参加者は、特定のゲームの動特性に応じて、質問に答えたり、投票したり、問題を解いたり、前述したような反射型の課題に応答したりするために、キーパッド上のボタンを押す。
【００４７】
本発明の代替実施例では、バーチャルリアリティ環境と通信する他のプレーヤー入力装置１２０を含めてもよい。プレーヤー入力装置１２０の代替実施例には、キーボード、ジョイスティック、ハンドル、サイバーグローブ、浮動マウス、デスクトップ型マウス、トラックボールやパッドなど、様々なハードウェアとソフトウェア手段でコンピュータと通信する他の種類のプレーヤー入力装置が含まれる。
【００４８】
本発明の好適な実施例では、ネットワーク１０４がＴＣＰ／ＩＰ通信プロトコルのあるウィンドウズオペレーティングシステムを使い、マルチポートハブと３Ｃｏｍ ９０５ＢＴＸネットワークカードのついた１００ベースＴネットワーク上で動作する。代替実施例は能動／受動、又は切替え／非切替えハブを使うことができるとともに、他のネットワークカード（リンクシスなど）、他の通信プロトコル（ＮｅｔＢＥＵＩ又はＩＰＸなど）、あるいは他のオペレーティングシステム（ウィンドウズ９５、９８、２０００、ＮＴ、ＯＳ／２、又はマッキントッシュなど）を使うことができる。好適な実施例では、マイクロソフト社のネットワークソフトウェアが使われ、クライアント対クライアント又はクライアント対サーバーベースになっている。代替実施例としては、ＦＴＰ、バンヤン（Ｂａｎｙａｎ）、サンソフト又はノベルネットワークソフトウェアが考えられる。
【００４９】
リモートシステムの好適な実施例では、制御コンピュータ１０２に４つのネットワークマシンを使っている。４つのマシンとは、メインサーバー、オーディオやビデオおよび他の機能を動かす二次および三次コンピュータ、名前の入力と他の情報のために使う登録コンピュータ（上記図３の３２として図示）である。制御コンピュータ１０２はＴＣＰ／ＩＰプロトコル、ファイルおよびドライブシェアリングを使って通信する。発明の代替実施例では、各参加者にひとつのコンピュータを割当てて、その参加者に個別かつ固有のグラフィックスを提供するなど、より少ない数の、もしくはより多い数のネットワーク化したコンピュータを使ってもよい。
【００５０】
ＶＲディスプレイ１１８に採用する装置には、例えば、約３０度の視野と３２０×２４０画素の解像度の立体画像を送る２つのＬＣＤ装置を使った、ｉ−０ディスプレイシステムズが製造する「ｉグラス」モデルＬＣと呼ばれるＨＭＤが含まれる。発明の代替実施例の没入型効果を達成するには、ＬＣＤディスプレイ、ＣＲＴディスプレイ、投影ディスプレイ、および他の技術を使ったものなど、他の種類のＨＭＤを使ってもよい。目それぞれに送られる固有のグラフィックな視野としてここで定義される立体グラフィックスは、不可欠なものではない。両目に同じ画像を送るモノスコープグラフィックスは、本発明の目的のためにほぼ同様な効果を達成できる。
【００５１】
代替実施例では、ＣＲＴやＬＣＤモニターなど、ＨＭＤに加え追加ＶＲディスプレイを使うことができる。モニターを少なくとも２５度の視野で参加者の前に置くか、又は大画面プロジェクターを少なくとも２５度の視野で参加者から１０フィート以内に置く。前述し、図２に関連付けて説明したような「没入」パラメータにより、３１．６インチの一般的な距離から見て約１４インチの対角の視野をもつ典型的なデスクトップ型コンピュータのモニターが、没入型装置として適格であろう。
【００５２】
本発明の好適な実施例の手持ち型入力装置は、ジェノベーションシステムズ（Ｇｅｎｏｖａｔｉｏｎ　Ｓｙｓｔｅｍｓ）が製造するモデル６２３又は６３３など、１７又は１８キーのテンキーである。しかし、本発明のＶＲＰＴで採用できるであろう他の製造者の他のテンキーも多数存在する。キーパッド又は他の参加者入力装置は、シリアルＲＳ−２３２通信プロトコルを介して制御コンピュータ１０２と通信し、ＩＳＡ又はＰＣＩシステムバスに搭載されるマルチポートＲＳ−２３２装置に装着される。マルチポート装置はウィリーズコンピュータソフトウェア（Ｗｉｌｌｉｅｓ　Ｃｏｍｐｕｔｅｒ　Ｓｏｆｔｗａｒｅ）が製造し、ウィンドウズ環境でＣＯＭポートを管理する。カスタム装置のドライバーソフトウェアがポートを読み込み、プレーヤーの情報をゲームのソフトウェアに通信する。
【００５３】
本発明の代替実施例には、シリアルキーパッドや入力装置と通信し、又はＵＳＢ、パラレル、無線、もしくはダイレクトワイヤなど、他のプロトコルで全体的に動作する他のプレーヤー入力装置１２０を含めることができる。
マイクロホン１１９は電力を受信し、バイアンプシステムズ（Ｂｉａｍｐ Ｓｙｓｔｅｍｓ）のモデルアドバンテージワン、アドバンテージＥＸ、８０１、６０１ｅ、および３０１ｅなどのコンポーネントからなる増幅器／ミキサーに信号を送信する。代替実施例では他のブランドの増幅器／ミキサー装置を使用可能であり、また、デスクトップ型マイクロホンや他の個々のマイクロホンを利用してもよい。信号は様々なハードウェアやソフトウェアソリューション、あるいはこの２つを組み合わせたものと一緒にミキシングできる。
【００５４】
本発明の好適な実施例はパナソニックのＭＸ−５０ビデオミキサーを使っている。システムは、ＲＳ−２３２通信を介して主又は副コンピュータで制御される、他のクロマキーとミキサーの切替え機能も使う。ＶＲＰＴは様々な信号をパナソニックのミキサーに送るためにバーストのビデオスイッチャーを使っている。発明の代替実施例では、ハードウェア又はソフトウェアのいずれかに実装される様々なミキシング又はスイッチング技術を利用してもよい。
【００５５】
バーチャルリアリティパフォーマンス劇場システム１００のソフトウェアは、図８で図解され、ソフトウェアのフロー図２００として大まかに示されている。ＶＲＰＴソフトウェアシステムは低レベルと高レベルのソフトウェアプログラミングコードとマルチメディアスクリプトを組み合わせたものである。最高レベルショーコマンドは、マクロメディアオーサウェア（Ｍａｃｒｏｍｅｄｉａ　Ａｕｔｈｏｒｗａｒｅ）を使って、オーサウェアコマンドと機能アイコンの全体の配列を組み込んで作られる。最高レベルでは、制御コンピュータにあるショープログラミング（図７に関連付けて前述したとおり）は、登録コンピュータからの参加者の名前の登録から開始し、ソフトウェアがその名前を読込んで、それをショーの間に使用される変数として組み込む。ソフトウェアは、出演者が参加者に、話したり自分自身の情報を明かしたりするよう促す間、また、個々の参加者が装置とマイクロホンの性能に慣れるまでの間待機する。ショーがチームを使う場合は、プレーヤーはチームのアイデンティティの構築を始めることができる。
【００５６】
出演者からの合図で、プログラムは、一連のアニメーションクリップ（出演者はオーバーレイとして表示することも表示されないこともある）、分岐、課題、即興セグメント、脚本セグメント、スコアの見直し、決定点、プレーヤーやチームの動作などに進行する。出演者から合図があると、ソフトウェアはビデオ、オーディオを再生し、グラフィックスを表示し、プレーヤー入力装置を読取り、計算を行い、ハードウェア装置を制御し、ネットワークで他のコンピュータと通信し、かつ他の機能も果たす。オーサウェアマルチメディアアプリケーションは他のネットワークコンピュータ上（インテンサーチェアーコンピュータ（Ｉｎｔｅｎｓｏｒ　Ｃｈａｉｒ　Ｃｏｍｐｕｔｅｒ）を含む複数の二次コンピュータのいずれか）で同時に作動して追加機能を提供し、最終的なショー（参加者全員に送られる）をより滑らかで途切れなく操作させる。
【００５７】
固有の機能プログラムがオーサウェアアプリケーションに関連して動作し、Ｃ＋＋言語で書き込まれる。機能プログラムはメインのオーサウェアプログラムソフトウェアと通信して、次のような機能を果たす。キーパッドを制御し、参加者のキー押しをソフトウェアに通信する。参加者のランブルシートに送られるオーディオと信号を制御する。コマンドを送り、オーディオ／ビデオミキサーやビデオスイッチャー、および他の機能などのハードウェアコンポーネントの状態を監視する。制御コンピュータと他のすべてのコンピュータは、ＴＣＰ／ＩＰネットワークプロトコルを介して、ハードドライブとテキストファイルおよび他の種類のファイルを共有することにより通信する。
【００５８】
本発明におけるソフトウェアシステムは、オーサウェア以外にも、現在又は将来ＰＣ、マッキントッシュ、あるいは他の種類のコンピュータシステムの発行者から手に入る多くの他の種類のマルチメディアオーサリングパッケージを使って簡単に作ることができ、又はＣ＋＋やＪａｖａなど低レベルのプログラミング言語で書き込めるであろう。基となるコントロールプログラムと装置のドライバーは、Ｃ＋＋以外にも多くの様々な種類のプログラミング言語で書き込むことができるだろうし、その結果同じパフォーマンスと機能が得られるだろう。ネットワークの通信機能は、現在存在する又は将来存在しうる多くの他のプロトコルあるいは手段で達成できるであろう。
【００５９】
図７に図示するネットワーク１０４は、図９でより詳細に図示しており、ネットワーク実施図３００として大まかに示される。ネットワークは通常ローカルエンドノードサイト３１０、放送局３２０、インターネット３３０、専用広域ネットワーク３４０、ルーター３６０、およびリモートエンドノードサイト３８０を有する。バーチャルリアリティ劇場（ＶＲＰＴ）は、没入型体験に関連したデータを伝送するために、ネットワークを使って、１つ又はそれ以上の地理的に遠隔な場所に接続でき、それと通信できる。
【００６０】
ＶＲＰＴネットワークは、主に２つのコンポーネント、つまり没入型体験を主催する放送局３２０と、参加者が放送局３２０と生出演者を知覚してそれと対話できるようにする複数のリモートエンドノードサイト３８０とからなる。放送局３２０とリモートエンドノードサイト３８０は、インターネット３３０と専用広域ネットワーク３４０、およびルーター３６０を含む追加ネットワークコンピュータで接続される。
【００６１】
放送局３２０はＶＲＰＴ体験を作り出すコンピュータグラフィックス、オーディオ情報、触覚のフィードバック（触覚）、および生出演者のオーディオ・ビデオコンテンツを送るのに必要なハードウェアとソフトウェアを含む。各局は参加者又は複数の参加者が供給する、入力装置からのデータ、マイクロホンからのオーディオ、およびビデオ伝送を含むが、それに限定されない入力を受信することもできる。
【００６２】
複数の現場はひとつの放送局を形成するために組み合わせることができる。例えば、余分に、又はより複雑な体験を作り出すために、サーバーシステムを別々の場所に設定することができるであろうし、そのためネットワークでより多くの参加者の参加および／又はより大きな処理が可能である。
【００６３】
各放送局がローカルネットワーク上で生出演をサポートできるが、一人又はそれ以上の出演者が参加者から地理的に離れた一又は複数のリモート放送現場３２０にいることも可能である。放送局３２０Ｂとともに示すように、放送現場２Ａの出演者は、放送局３２０Ａ又は放送現場２Ｂ、もしくはその両方からホストされる体験の不可欠な一部となるであろう。
【００６４】
リモートエンドノードサイト３８０は参加者が放送局３２０でホストされる没入型体験を知覚し、それと対話できる装置とネットワークアップリンクとを有する。ネットワーク技術の柔軟性により、ネットワークの接続形態はアプリケーションごとにかなり異なることができる。接続形態は直接ホストサーバーに接続されるＶＲステーション現場（例Ｃ）から、リモートキオスク（例ＥとＧ）、又は対話型フィードバックのできるホームコンピュータやゲームシステムなどのテレビの「セットトップ」ボックス（例Ｄ）まで幅広い。例のいずれも、最低限、入力装置および／又はボイス通信からのデータを繋ぐフィードバックシステムを有し、ヘッド・マウント・ディスプレイ、力のフィードバック出力、および／又は図３に関連付けて前述したランブルシートなどの装置を含むこともできるが、それに限定されない。
【００６５】
ネットワーク接続の３つの主なカテゴリーを実施して、ライブオーディオ・ビデオ情報をリモートエンドノードサイト３８０とデータ入力およびオーディオ応答のフィードバックへリアルタイムで伝送できる最低限の性能レベルを提供する。３つのカテゴリーの内訳は以下の通りである。
【００６６】
１）ローカルエリアネットワーク（ＬＡＮ）：ＬＡＮはイーサーネットなどのネットワーク技術を使ってリモートエンドノードサイト３８０を放送局３２０に接続できる経済的な手法である。
２）専用ネットワーク（ＰＮ）：１つ又はそれ以上のキャリアの専用回路からなるＰＮも実行できる。ＰＮリンクはｘＤＳＬ、Ｔ１、ＤＳ３、又はＯＣ３レベルのリンクを含むが、それに限定されない、通信用の物理的な媒体としてｔｅｌｃｏ回路を使うこともできる。また、これらの種類の回路を使ったデータはＳＯＮＥＴ、人工衛星、マイクロ波などの従来の通信インフラシステムで送ることができる。
【００６７】
３）公衆ネットワーク（インターネット）：インターネットは、特に住宅にいるリモートエンドノードの参加者の場合には、最も費用効果的な接続として採用される。また、インターネットでのデータ伝送を、前述したＰＮの代わりに使うこともできる。インターネットへの典型的なリンクには、アナログモデム、ケーブルモデム、Ｔ１、ＩＳＤＮ、およびｘＤＳＬ接続が含まれる。
【００６８】
このようにネットワーク内の複数のコンピュータとプロセッシングコンポーネントが、対話と脚本書きとビデオカメラの自発的な利用により決定されるデータを、複数の観客が装備する視覚装置への画像として投影し、また出演者へのモニターにより投影されて、出演者がその視聴者から離れた現場にいる場合でも、ソフトウェア制御の没入型バーチャルリアリティパフォーマンスを作り出し、供給できる。同様に、オーディオ信号をシートとヘッドホンでプレーヤーに供給する。視覚、サウンド相互通信、サウンド投影、振動投影および手持ち型入力手段により、各観客は生および／又は録画取りの出演者のいるバーチャルリアリティ環境を見て、ある程度まではそれと対話できる。
【００６９】
ＶＲＰＴの代替実施例を図１０に図示する１６座席のシアターとして、あるいは図１１に図示する８座席のシアターとして示す。ＶＲＰＴは視聴者の特定のニーズにより、またパフォーマンスの娯楽および／又は教育的な性質によりカスタマイズもできる。座席数は、アプリケーションに応じて、たった１つから数十、またさらに何百シートにでもできるだろう。ＶＲＰＴのシステムは、カスタマイズされた数の参加者と関連する入出力装置に対応できるようにモジュール式に設計されている。図１０および１１に図示するように、ＶＲＰＴは一般的には、参加者の座席の設備、プレゼンターボックス、コントロールステーション、およびコンピュータ／電気システムを有し、そのすべてはすでにこれ以前により詳細に説明している。
【００７０】
前述し、図７で詳細に示すシステムの特徴に従って、システムは、供給される娯楽プログラミングが出演者と参加者の現在の行動に対して自然で、かつそれに適応するような方法で、出演者をバーチャルリアリティ環境に投影する方法を提供する。
【００７１】
前述の説明から、システムは参加者のグループに対話型の娯楽および／又は教育的な体験を供給する革新的な没入型バーチャルリアリティ（ＶＲ）テクノロジーの統合を提供することが分かる。例として、システムはゲームや娯楽型の利用で使う場合、数分から何十分もの長さのショーを提供でき、１、２人のプレーヤーから数百人あるいはそれ以上も考えられるなど、参加者の数に依存できる。
【００７２】
ここで説明するシステムコンポーネントの特徴が、出演者の属性、声および動きを捕捉するためのカメラ／電子／機械／磁気装置などのインターフェース技術を使って生出演を可能にし、そのためパフォーマンスが起こるバーチャルリアリティ環境が達成できることは十分理解されるだろう。発明のシステムでは、参加者のグループはバーチャルリアリティ環境内で出演者と対話でき、そのように作り出された環境内で「没入」感を楽しむことができる。
【００７３】
生および／又は録画取りの出演者および／又は参加者は、システムにより、バーチャルリアリティ環境内で、アバター、つまり人や他の属性をもつアニメ化されたキャラクターとして表現できる。出演者と参加者はさらにグラフィックスおよび没入型環境に組み込まれて、対話とより楽しいバーチャルリアリティ体験がしやすくなる。出演者と参加者は、たとえ出演者が利用できる通信手段が許す限り参加者から離れた場所にいたとしても、そのようにできる。そのため、システムは本物らしく予めプログラムされた動きと特殊視覚効果を持つことのできる出演者アバター、参加者アバター、および他の架空キャラクターのバーチャルリアリティ対象を作る。
【００７４】
システムにプレーヤーが参加するとき、プレーヤーは音声、電子音声相互通信、音声認証、手持ち型装置、力フィードバック装置、動作装置、身体の動き、キーボードの入力、皮膚抵抗、ジョイスティックコントローラ、およびハンドルのうちいずれか１つ以上により対話する。
システムは参加者の投票、ポーリング、質問などからのフィードバックを取得する能力を提供し、また、参加者が関心を持つ観察対象を現在および事後分析するために、参加者の視点をモニタリングすることもできる。人工知能モニターと参加者のフィードバックへの応答もシステムに加えることができる。
【００７５】
ディスプレイをソフトウェア拡張することができるので、システムは視聴者のための大型ビデオディスプレイを実現できる。システムのアーキテクチャはモジュラー型のため、多くのサイトに分布する視聴者など、ほぼあらゆる規模の視聴者にこれらのパフォーマンスを配信するために使うことができる。出演者を仮想キャラクターに近づけるために、音声処理を使うこともできる。
操作のとき、システムのハードウェア、ソフトウェアおよび統合は技術的に革新的な方法で以下の機能を提供する。
【００７６】
１．バーチャルリアリティ環境に複数の出演者と参加者
２．出演者の音声と視覚情報が複数の同時に機能するコンピュータで放送される。
３．ビデオミキシングとクロマキー技術により、出演者とコンピュータグラフィックスの有意義な対話と統合が達成される。
４．舞台裏のオペレータとショーの出演者が連動して、システムのネットワークにコマンドを放送できる。
５．出演者は脚本化された、即興の、アドリブの、又は自発的な方法で互いにおよび／又は参加者と対話できる。
【００７７】
６．予め決められた脚本に沿ってショーを進行するために、技術的に向上した独自の処理を達成するとともに、参加者と出演者の行動がもとで脚本から自然発生的に逸脱することも許容する。
７．システムは多くの様々なライブカメラ、ＶＣＲなどのビデオ源、レーザーディスクプレーヤー、コンピュータ、衛星フィード、インターネットフィードなどからの信号と、マイクロホンおよび／又は生もしくは録画取りの放送や他の種類の信号からの複数のオーディオ信号とを、娯楽・マルチメディア形式に混成する能力をもつ。
８．革新的な通信アーキテクチャのため、参加者、視聴者と出演者両方、およびそれぞれ互いに離れた複数のサイト間に分布する参加者の両方のカテゴリーの数を、ほぼ無制限に増やすことができる。
【００７８】
９．立体ビジュアルグラフィックスが達成される。
１０．モーションパス、メッシュ編成、およびコンピュータアニメーションを予めプログラムすることにより、またそれをリアルタイムで参加者に配信することにより、視覚の特殊効果を作るために、システムに独特で革新的な方法を利用できる。
１１．コンピュータ制御のマイクロホン切替えが可能である。
１２．視聴者に対する視覚的なカメラショーのために、人工知能を使うことができる。
【００７９】
新システムを対話性のために使うことを目的とする多くの方法の単なる一部の例として以下のものを含めるが、それに限定されない。
１．展示会ブースの集客のための特別な方法
２．人を楽しませるおよび／又は情報を知らせるための特別な販促イベントに観客を引き寄せる
３．複数の場所にある企業の販促ツアーのための独特な媒体
【００８０】
４．ある集団にアイデアやコンセプトを連絡するための高度でより効果的な手段
５．公共の娯楽施設で観客を楽しませるための独特な方法
６．ある集団の人々に新しいアイデアや製品を実演するため、および／又は様々なフィードバック機構により彼らの反応をモニタリングするための効果的な手段
７．技術を媒介として観客に独演や即興のお笑いを見せる代替方法
８．観客に舞台芸術を見せる代替方法
９．過去の情報を観客に効果的に配信する独特な方法
【００８１】
１０．記憶の呼び覚ましと学習効率を高めた、教育および訓練資料を配信する新しい方法
１１．特別な場合や休日に大衆を惹きつけ楽しませる独特な方法
１２．娯楽やプレ・ショープロモーション用の映画館に効果的に取って代わる、あるいは増補する
１３．没入型バーチャルリアリティシミュレーション媒体を使った演劇の上演　１４．ビンゴやポーカーなど、運がものをいうゲームをやりやすくする独特な方法
【００８２】
本発明と実用的な実施例の前述の説明に照らし、発明のいくつかの目的が達成され、他の利点が得られることが分かる。実施例と例は、発明の原理とその実用的な応用を最適に説明し、それによって当業者が様々な実施例で、また意図する特定の目的に合わせた様々な変更を加えて、発明を最適に利用できるように選択し、説明した。
【００８３】
ここに説明し例示した構成および方法には、発明の範囲を逸脱することなく様々な変更を加えることができるため、前述の説明に記載した又は添付図面に図示したすべてのことがらは、限定するのではなく例示的なものとして解釈されることを意図している。
本発明の広さと範囲は前述の例示的な実施例のいずれにも制限されるべきではなく、出願の特許請求の範囲とその等価物に従ってのみ定義されるべきである。
【図面の簡単な説明】
【図１】
参加者、出演者、および没入型バーチャルリアリティ環境の間のコミュニケーションを示すブロック図である。
【図２】
発明者の「没入型」の定義を図示するコンピュータディスプレイの直交図である。
【図３】
本発明におけるバーチャルリアリティパフォーマンス劇場の直交図である。
【図４】
本発明におけるプレゼンターボックスの直交図である。
【図５】
本発明における参加者から見たビデオディスプレイの例の正面図である。
【図６】
本発明における手持ち型入力装置のキーパッドの上面図である。
【図７】
本発明におけるシステムのコンポーネントのブロック図である。
【図８】
本発明におけるソフトウェアのフロー図である。
【図９】
本発明におけるネットワーク図である。
【図１０】
１６座席の劇場を描写するバーチャルリアリティパフォーマンス劇場システムの代替実施例の上面図である。
【図１１】
８座席のシアターを描写するバーチャルリアリティパフォーマンス劇場システムの別の代替実施例の上面図である。
【符号の説明】
１０　バーチャルリアリティパフォーマンス劇場（ＶＲＰＴ）
１２　ヘッド・マウント・ディスプレイ（ＨＭＤ）
１４　マイクロホン
１５　ヘッドホン
１６　手持ち型入力装置
１８　ランブルシート
２０　ビデオカメラ
２２　シアターマイクロホン
２４　プレゼンターボックス
３０　コントロールセンター
３２　登録コンピュータ
４２　立体ビデオカメラ
４４　ビデオモニター
４６　スピーカー
４８　背景
６０　没入型ディスプレイ
６２　グラフィック環境
６４　生出演者のビデオ画像
６６　スコアボード
８０　ボタン
１００　バーチャルリアリティパフォーマンス劇場システム
１０２　制御コンピュータ
１０４　ネットワーク
１０６　オーディオプロセッサ
１０８　ビデオプロセッサ
１１０　オーディオスイッチ
１１２　ビデオスイッチ
１１４　外部視聴者ビデオ
１１５　外部視聴者オーディオ
１１６　生出演者ビデオモニター
１１８　ＶＲディスプレイ
１１９　マイクロホン
１２０　入力装置
１２１　ヘッドホーン
１２２　カメラ
１２４　マイクロホン
１２６　キーパッド
１２８　補助ビデオカメラ
１３０　補助ビデオ・グラフィックス・オーディオ源
１３２　椅子
１３４　パワーグリッド
３００　ネットワーク実施図
３１０　ローカルエンドノードサイト
３２０　放送局
３３０　インターネット
３４０　専用広域ネットワーク
３６０　ルーター
３８０　リモートエンドノードサイト

Claims (7)

1. 参加者と出演者とが対話するシステムであり、前記システムは、
   没入型バーチャルリアリティ環境と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者入力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者入力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者出力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者出力装置とを備え、
   少なくとも１人の生出演者が少なくとも１人の参加者および前記没入型バーチャルリアリティ環境と対話し、
   前記バーチャルリアリティ環境は出演者のライブビデオ画像を有し、
   少なくとも１人の参加者が生出演者および前記没入型バーチャルリアリティ環境と対話し、その結果参加者および前記参加者入力装置によって部分的に制御される体験を生成することを特徴とする参加者と出演者とが対話するシステム。
2. 請求項１のシステムにおいて、前記没入型バーチャルリアリティ環境はさらに、
   少なくとも１つのプロセッシング装置と、
   システムデータと、
   出力データと、
   ネットワークとを備え、前記ネットワークは、前記プロセッシング装置と前記出演者入出力装置と前記参加者入出力装置とを電子通信で接続しており、それによって前記システムデータと前記出力データとを出演者および参加者に伝送することを特徴とするシステム。
3. 請求項２のシステムにおいて、前記参加者出力装置はさらに、
   参加者にサウンド又は動きのいずれか、あるいはサウンドと動きの両方を提供する少なくとも１つのシートと、
   少なくとも１つのバーチャルリアリティディスプレイと、
   少なくとも１つの参加者オーディオ装置とを備え、
   前記参加者入力装置はさらに、
   少なくとも１つの手持ち型キーパッドと、
   少なくとも１つの参加者マイクロホンとを備え、
   前記出演者出力装置はさらに、
   参加者の少なくとも１つのライブビデオ画像と、
   少なくとも１つのスピーカーとを備え、前記スピーカーは、前記参加者マイクロホンの入力を出演者に伝送し、
   前記出演者入力手段はさらに、
   出演者の少なくとも１つのライブビデオ画像と、
   少なくとも１つの出演者マイクロホンとを備え、
   参加者が前記没入型バーチャルリアリティ環境および前記出演者のライブビデオ画像からの前記出力データを、前記バーチャルリアリティディスプレイを通して見て、前記手持ち型キーパッドおよび前記参加者マイクロホンを介して前記没入型バーチャルリアリティ環境にフィードバックを提供し、
   前記出力データはさらに、グラフィック画像とオーディオデータとからなることを特徴とするシステム。
4. 請求項３のシステムにおいて、前記プロセッシング装置はさらに、
   少なくとも１つの制御コンピュータと、
   少なくとも１つのオーディオプロセッサと、
   少なくとも１つのオーディオスイッチャーと、
   少なくとも１つのビデオプロセッサと、
   少なくとも１つのビデオスイッチャーとを備え、
   前記制御コンピュータは、前記出演者入出力装置および前記参加者入出力装置からのデータを処理して配信し、
   前記オーディオプロセッサは前記参加者マイクロホンの入力、前記出演者マイクロホンの入力、および前記オーディオデータを、前記制御コンピュータの前記システムデータに従って処理し、
   前記オーディオスイッチャーは、前記参加者マイクロホンの入力、前記出演者マイクロホンの入力、および前記オーディオデータを、前記制御コンピュータの前記システムデータに従って切替え、
   前記ビデオプロセッサは、前記参加者のライブビデオ画像、前記出演者のライブビデオ画像、および前記グラフィック画像を、前記制御コンピュータの前記システムデータに従って処理し、
   前記ビデオスイッチャーは、前記グラフィックデータのついた前記出演者のライブビデオ画像を、前記制御コンピュータの前記システムデータに従って切替え、
   それによって前記グラフィック画像、前記オーディオデータ、および前記出演者のライブビデオ画像を前記バーチャルリアリティディスプレイに提供し、前記参加者マイクロホンの入力、前記出演者マイクロホンの入力、および前記オーディオデータを前記参加者オーディオ出力手段に選択的に提供することを特徴とするシステム。
5. 請求項４のシステムにおいて、前記没入型バーチャルリアリティ環境はさらにコントロールステーションを備え、前記制御コンピュータはさらに登録コンピュータを備え、前記システムデータはさらに参加者の情報を含み、参加者が前記没入型バーチャルリアリティ環境における情報交換で使うために、参加者の情報を前記登録コンピュータに登録することを特徴とするシステム。
6. 参加者と出演者とが対話するシステムであり、前記システムは、
   没入型バーチャルリアリティ環境からなり、前記没入型バーチャルリアリティ環境はさらに、
   少なくとも１つのプロセッシング装置と、
   システムデータと、
   出力データと、
   ネットワークと、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者入力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者入力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者出力装置と、
   前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者出力装置とを備え、
   少なくとも１人の生出演者が少なくとも１人の参加者および前記没入型バーチャルリアリティ環境と対話し、かつ前記バーチャルリアリティ環境は出演者のライブビデオ画像を含み、
   少なくとも１人の参加者が生出演者および前記没入型バーチャルリアリティ環境と対話し、その結果参加者と前記参加者入力装置によって部分的に制御される体験を生成し、
   前記ネットワークは、前記プロセッシング装置、前記出演者入出力装置、および前記参加者入出力装置を電子通信で接続し、それによって前記システムデータおよび前記出力データを出演者および参加者に伝送し、
   前記ネットワークは前記没入型バーチャルリアリティ環境と前記参加者入出力装置とをインターネットで接続することを特徴とする参加者と出演者とが対話するシステム。
7. 参加者と出演者の間に対話型コミュニケーションを提供するための方法であり、
   （ａ）没入型バーチャルリアリティ環境を提供する段階と、
   （ｂ）前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者入力装置を提供する段階と、
   （ｃ）前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者入力装置を提供する段階と、
   （ｄ）前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの出演者出力装置を提供する段階と、
   （ｅ）前記没入型バーチャルリアリティ環境と電子通信する少なくとも１つの参加者出力装置を提供する段階と、
   （ｆ）前記バーチャルリアリティ環境に出演者のライブビデオ画像を含めることにより、少なくとも１人の出演者に少なくとも１人の参加者および前記没入型バーチャルリアリティ環境と対話させる段階と、
   （ｇ）少なくとも１人の参加者に少なくとも１人の生出演者および前記没入型バーチャルリアリティ環境と対話させ、その結果参加者と前記参加者入力装置によって部分的に制御される体験を生成する段階と、
   からなることを特徴とする参加者と出演者の間に対話型コミュニケーションを提供するための方法。

Images