JP2010533006A - 仮想世界とコミュニケーションを取るためのシステムおよび方法 - Google Patents

Abstract

仮想世界と通信するためのシステムおよび方法が開示されている。仮想世界はシミュレートされた公共空間と、シミュレートされたひとつ以上の私的空間と、を含んでもよい。各私的空間は、ある特定のユーザに関連付けられてもよい。ユーザの仮想世界とのやりとりは、アバターのひとつ以上の動作によって表されてもよい。仮想世界のなかに通信装置がシミュレートされてもよい。シミュレートされた通信装置と現実の通信装置との間で通信が行われてもよい。仮想世界はひとつ以上のプロセッサによって生成されてもよい。そのプロセッサは仮想世界のなかに通信装置をシミュレートし、そのシミュレートされた通信装置と現実の通信装置との間で通信を行わせる。アバターを使用した仮想世界通信のためのシステムおよび方法、カスタムアバタージェスチャのためのシステムおよび方法、ユーザの感情の状態をアバターにマッピングするためのシステムおよび方法、および仮想および現実の通信装置間で通信をルーティングするためのシステムおよび方法もまた開示される。
【選択図】図２Ｅ

Description

（関連出願の参照）
本願は、譲受人を同じくする同時係属中の英国特許出願番号０７０３９７４．６、名称「ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＤＥＶＩＣＥ」、２００７年３月１日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の英国特許出願番号０７０４２２５．２、名称「ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ」、２００７年３月５日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の英国特許出願番号０７０４２３５．１、名称「ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ」、２００７年３月５日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の英国特許出願番号０７０４２２７．８、名称「ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ」、２００７年３月５日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の英国特許出願番号０７０４２４６．８、名称「ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＤＥＶＩＣＥ ＡＮＤ ＭＥＴＨＯＤ」、２００７年３月５日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、同時係属中の米国仮特許出願番号６０／８９２，３９７、名称「ＶＩＲＴＵＡＬ ＷＯＲＬＤ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」、２００７年３月１日出願、の優先権の利益を享受する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２８１、発明者Ｔｏｍａｓ Ｇｉｌｌｏ他、名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＷＩＴＨ ＡＶＩＲＴＵＡＬ ＷＯＲＬＤ」、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２８４、発明者Ｔｏｍａｓ Ｇｉｌｌｏ他、名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＲＯＵＴＩＮＧ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＡＭＯＮＧ ＲＥＡＬ ＡＮＤ ＶＩＲＴＵＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＤＥＶＩＣＥＳ」、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２８７、発明者Ｔｏｍａｓ Ｇｉｌｌｏ他、名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＷＩＴＨ ＡＮ ＡＶＡＴＡＲ」、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２９２、発明者Ｔｏｍａｓ Ｇｉｌｌｏ他、名称「ＭＡＰＰＩＮＧ ＵＳＥＲ ＥＭＯＴＩＯＮＡＬ ＳＴＡＴＥ ＴＯ ＡＶＡＴＡＲ ＩＮ Ａ ＶＩＲＴＵＡＬ ＷＯＲＬＤ」、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２９８、発明者Ｔｏｍａｓ Ｇｉｌｌｏ他、名称「ＡＶＡＴＡＲ ＣＵＳＴＯＭＩＺＡＴＩＯＮ」、代理人事件番号ＳＣＥＡ０７０１ＪＤＩ０５、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

本願は、譲受人を同じくする同時係属中の米国特許出願番号１１／６８２，２９９、名称「ＡＶＡＴＡＲ ＥＭＡＩＬ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＢＥＴＷＥＥＮ ＲＥＡＬ ＡＮＤ ＶＩＲＴＵＡＬ ＷＯＲＬＤＳ」、２００７年３月５日出願、と関連する。この出願は本明細書において参照により開示される。

（技術分野）
本発明は、双方向的なコンピュータエンタテイメントに関し、特に仮想世界のユーザ間のコミュニケーションに関する。

仮想世界とは、ユーザがひとつ以上のコンピュータプロセッサを介して互いにやりとりできるシミュレートされた環境である。ユーザはいわゆるアバターとしてビデオスクリーンに表れる。シミュレートされた環境とアバターとの間の相互作用の度合いは、例えば物理的シミュレーションやユーザ間の情報交換などの相互作用を支配するひとつ以上のコンピュータアプリケーションによって実現される。

仮想世界のユーザ間のやりとりの性質はその仮想世界を実現しているシステムの制約によってしばしば制限される。
本発明の実施の形態はこのような点に鑑み創作されたものである。

本発明の教示するところは、添付図面とあわせて以下の詳細な説明を考慮することにより容易に理解されるであろう。

本発明の実施の形態と共同して使用されてもよい、仮想世界を表す世界地図の例を示すスクリーンショットである。 本発明の実施の形態と共同して使用されてもよい、仮想世界のなかの公共空間の例を示すスクリーンショットである。 本発明の実施の形態と共同して使用されてもよい、仮想世界のなかの私的空間の例を示すスクリーンショットである。 本発明の実施の形態に係る仮想通信装置の例を示すスクリーンショットである。 本発明の実施の形態に係る仮想世界システムを模式的に示す図である。 本発明の実施の形態に係るマルチメディア処理装置の実施態様を示す機能ブロック図である。このマルチメディア処理装置によって、ユーザは仮想世界を認知し、それとやりとりを行いうる。 本発明の実施の形態と共同して使用されてもよいマルチメディア処理装置の実施態様を示す機能ブロック図である。 本発明の実施の形態と共同して使用されてもよいマルチメディア処理システムの実施態様を示す。 図２Ｃ−２Ｄは、本発明の実施の形態と共に使用される、マイクロホンのアレイを含む撮像装置を示す。 本発明の実施の形態に係る、現実の通信装置と仮想通信装置との間のコールルーティングの例を示すブロック図である。 本発明の実施の形態にしたがった現実の通信装置と仮想通信装置との間の通信の例を図で示す。 本発明の実施の形態に係る、仮想世界とやりとりするために使用されうるビデオゲーム装置を示すブロック図である。 本発明の実施の形態に係るビデオゲーム装置のセルプロセッサによる実施態様を示すブロック図である。

以下の記述においては、例示のために多くの特定的な詳細を含むが、本発明の範囲内において、以下の詳細について多くの変形や変更が可能であることは、当業者には理解されるところである。したがって、下記に示す本発明の実施例は、請求項に記載の発明の一般性を失わせるものでも制約を設けるものでもない。

本発明の実施の形態によると、ユーザは仮想世界とやりとりしてもよい。ここで仮想世界という用語は、現実のもしくは架空の環境を表すものを意味する。この環境はひとつ以上のプロセッサによってシミュレートされた相互作用則を有する。現実のユーザはひとつ以上の表示装置を介してこの環境を認識し、および／または、現実のユーザはひとつ以上のユーザインタフェースを介してこの環境とやりとりする。ここでユーザインタフェースという用語は、ユーザが仮想世界へ入力を送るために、もしくは仮想世界からの出力を受けるために使用される現実の装置を指す。仮想世界は、ひとつ以上のプロセッサモジュールによってシミュレートされてもよい。複数のプロセッサモジュールは、ネットワークを介して互いにリンクされてもよい。ユーザは、ユーザインタフェース装置を介して仮想世界とやりとりしてもよい。このユーザインタフェース装置は、ネットワークを介して複数のプロセッサモジュールおよび他のユーザインタフェース装置と通信できる。仮想世界のある側面は、コンピュータモニタ、テレビモニタ、もしくは同様のディスプレイなどのグラフィックス用のディスプレイにグラフィックスの形でユーザに示されてもよい。仮想世界の他の側面は、スピーカからの音声の形でユーザに示されてもよく、この場合スピーカは、グラフィックス用のディスプレイと共に設けられてもよい。

例として、仮想世界はシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを備えてもよい。ある実施の形態では、そのような公共空間および私的空間は、仮想世界の模式的な表現もしくは地図を示すグラフィックス用のディスプレイを介してユーザに示されてもよい。例として、図１Ａに示されるように、世界地図１０は「ホーム」位置１１を示してもよい。ホーム位置１１は、ある特定のユーザに限られた仮想世界中の私的空間であってもよい。他のユーザは、そのホーム位置１１に関連付けられたユーザからの招待がある場合にのみそのホーム位置１１を「訪れる」ことができる。世界地図１０は、種々の他の位置１２をも示してもよい。ユーザは、例えばカーソルで選ぶことによってもしくは同様のグラフィカルユーザインタフェースによってそれらの位置１２を訪れることができる。ベンダがこれらの位置のスポンサーとなってもよく、これらの位置は地図上で、対応する会社のロゴや他のよく知られたシンボルによって表されてもよい。そのような位置は仮想世界のユーザによって訪問されてもよい。仮想世界は固定量の仮想「不動産」を有してもよいし、有さなくてもよい。好適な実施の形態では、仮想不動産の量は固定されていない。

本発明のある実施の形態では、仮想世界はここで「ロビー」と称される複数の公共空間を有してもよい。各ロビーはそれに付随した別個のチャットチャネルを有してもよい。これによりそのロビーにいるユーザは互いにやりとりできる。各ロビーは、ホテルやオフィスビルや共同住宅や映画館や他の公共の建物などの公共の建物におけるロビーの外観を有してもよい。図１Ｂは、そのようなロビーのスクリーンショットを示す。ロビーはユーザがそれを用いてやりとりできる物を含んでもよい。そのような物は例えばゲームである。図１Ｂに見られる通り、仮想世界の部分部分は３次元（３Ｄ）グラフィックスの形でユーザに示される。ここで３次元（３Ｄ）の形という用語は、長さ、幅、および深さ（もしくは少なくとも深さの錯覚）を有する表現を指す。ロビーは「スクリーン」１３を含んでもよい。このスクリーン１３は、写真や記録されたビデオやストリーミングビデオを見せるために使用されうる空間中の領域である。

仮想世界のなかではユーザはアバターによって表示されてもよい。仮想世界のなかの各アバターは、個々のユーザに独自のものとして関連付けられてもよい。ユーザの名前もしくは仮名がアバターの隣に表示されてもよく、それによってユーザは容易に互いを認識しうる。あるユーザの仮想世界とのやりとりは、ひとつ以上の対応するアバター動作によって表されてもよい。異なる複数のユーザが公共空間のなかでアバターを通じて互いにやりとりしてもよい。ユーザを表すアバターは、人間、動物もしくは物体と似た外観を有しうる。人間の形をしたアバターは、ユーザと同じ性もしくは異なる性を有してもよい。ユーザがアバターを仮想世界の他の物体と共に見ることができるように、アバターがディスプレイに表示されてもよい。あるいはまた、ディスプレイは世界をアバターの視点から表示し、そのアバターそのものは表示しなくてもよい。ユーザからの（もしくはアバターからの）仮想世界の見え方は、仮想カメラの視野であると考えてもよい。ここで仮想カメラは、仮想世界のなかの３次元シーンを２次元画像に描画するのに使用されうる仮想世界のなかの視点を指す。ユーザは、自己のアバターを介し、個々のロビーに関連付けられたチャットチャネルを用いて互いにやりとりしてもよい。ユーザは、他のユーザとチャットするために自己のユーザインタフェースを介してテキストを入力してもよい。すると、そのテキストがユーザのアバターの上もしくは隣に表れてもよい。その表れ方は、例えば漫画様のふきだしの形であり、しばしばチャットバブルと呼ばれる。そのようなチャットは、しばしばクイックチャットと呼ばれる、予め用意されたフレーズを用いるチャットシステムを使用することで簡単化されてもよい。クイックチャットでは、ユーザはメニューからひとつ以上のチャットフレーズを選択してもよい。

本発明の実施の形態では、特定のユーザもしくはユーザグループに関連付けられていないという意味、かつどのユーザもしくはユーザグループも他のユーザをその公共空間から排除できないという意味で公共空間は公共である。これと比較して各私的空間は複数のユーザのなかのある特定のユーザに関連付けられる。私的空間に関連付けられた特定のユーザが他のユーザによるその私的空間へのアクセスを制限できるという意味で、私的空間は私的である。私的空間は、よく見られる私的な不動産の外観を有してもよい。例えば、図１Ｃに見られるように、私的空間は共同住宅もしくは個人宅に似せて設けられてもよい。私的空間には、仮想のものが含まれてもよい。仮想のものの例には、家具１５、装飾１６、および仮想ラジオや仮想ビデオスクリーンなどの仮想通信装置１７が含まれるが、それに限定されない。

本発明のある実施の形態では、仮想世界のユーザは、仮想通信装置を用いて通信してもよい。ここで仮想通信装置という用語は一般的に、仮想世界を構成するシステムの資産を使用して生成される、現実世界の装置の仮想世界におけるシミュレーションを指す。例として、図１Ｄに示される通り、仮想通信装置１８は、ユーザによる装置の操作が簡単になるような形でディスプレイに表示される。図１Ｄに示される例では、仮想通信装置はソニープレイステーションポータブル（ＰＳＰ）などの携帯型のゲームコンソールの外観を有する。仮想世界とやりとりするためにユーザが使用する現実のコントローラのボタンは、仮想通信装置の対応するボタン１９もしくは他の制御にマッピングされてもよく、この場合ユーザと仮想通信装置との間のやりとりが容易となる。

仮想通信装置は、それに付随した仮想世界のなかでの位置を有してもよく、その位置は固定されていても可動とされていてもよい。仮想世界のなかでシミュレートされた通信装置のインタフェースをシミュレートし、そのシミュレートされたインタフェースをそれを介してやりとりするためにユーザに提示することによって通信装置がシミュレートされてもよい。例として、その仮想の装置は仮想世界において、ユーザに認知されうる形もしくは外観を有してもよい。この形もしくは外観は、ユーザのやりとりを容易にするように、対応する現実世界の装置のそれを模倣するものであってもよい。例えば、仮想の電話機は、ユーザがコントローラを使用して操作するボタンを有するものとして表示されてもよい。その仮想の電話機はさらに、スピーカ、送話口、およびおそらくはグラフィックスディスプレイスクリーンを有するものとして表示されてもよい。シミュレートされた通信装置は、シミュレートされたハンドヘルド通信装置であってもよく、そのようなシミュレートされたハンドヘルド通信装置は例えば、シミュレートされた電話機、シミュレートされた移動電話機（例えば、セルラー電話機もしくはコードレス電話機）、シミュレートされたボイスオーバーインターネットプロトコル（ＶｏＩＰ）電話機、シミュレートされた携帯型テキストメッセージ装置、シミュレートされた携帯型電子メール装置、シミュレートされた携帯型ゲーム装置、シミュレートされたツーウェイラジオ、もしくは他のシミュレートされたハンドヘルド装置である。

本発明の実施の形態によると、仮想通信装置が仮想世界のなかでシミュレートされ、そのシミュレートされた通信装置と現実の通信装置との間で通信が行われてもよい。その現実の通信装置は、現実のハンドヘルド通信装置であってもよく、そのような現実のハンドヘルド通信装置は例えば、電話機、移動電話機（例えば、セルラー電話機もしくはコードレス電話機）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）電話機、携帯型テキストメッセージ装置、携帯型電子メール装置、携帯型ゲーム装置、ツーウェイラジオ、もしくは他のハンドヘルド装置である。現実の通信装置は、他の現実の通信装置と仮想世界とは独立したひとつ以上の通信チャネルを通じて通信することが好ましい。ここで「仮想世界とは独立した通信チャネル」という用語は、そのチャネルを通じて通信が行われるために仮想世界の存在が必要とされない通信チャネルを意味する。例えば、仮想世界によって提供される通信資産を介して現実のセルラー電話機に電話をかける（もしくはその反対）のために仮想電話機が使用されうる。しかしながら、その現実のセルラー電話機は、たとえ仮想世界が存在しなくとも、他の現実のセルラー電話機もしくは電話機に電話をかけることができる。ある実施の形態では、現実の電話機は、シミュレートされた電話機から電話を受けた際には特有の呼び出し音を生成してもよい。また代替的な実施の形態では、シミュレートされた通信装置および現実の通信装置は、互いにテキストメッセージかつ／またはビデオ画像を用いて通信してもよい。

図１Ｅは、仮想世界をシミュレートするために使用されうるシステム２０の例を示すブロック図である。システム２０は、シミュレーションサーバ２２とビューサーバ２４とを含む。各シミュレーションサーバ２２は、仮想世界のある部分をシミュレートするコード化されたインストラクションを実行するひとつ以上のプロセッサモジュールを含んでもよい。例として、各シミュレーションサーバは、デュアルコア、クアッドコアもしくはセルプロセッサなどの複数コアプロセッサをひとつ以上含んでもよい。限られた数のシミュレーションサーバ２２とひとつのビューサーバ２４とが図１Ｅに示されているが、この設定は任意の数のサーバの場合に自由に拡張されうる。シミュレーションサーバ２２の数とビューサーバ２４の数とは両方とも増減されてもよい。例えば、ひとつのシミュレーションサーバ２２が多くのビューサーバ２４を受け入れてもよいし、多くのシミュレーションサーバ２２がひとつのビューサーバ２４を受け入れてもよい。シミュレーションサーバ２４をより多く加えることにより、仮想世界をより大きくかつ／またはより良くシミュレーションすることができる。ビューサーバ２４をより多く加えることにより、システム２０はより多くのユーザを取り扱うことができる。無論システム２０は、シミュレーションサーバ２２およびビューサーバ２４の両方をより多く加えることによって、より大きくてより良いシミュレーションとより多くのユーザの受け入れの両方を実現できる。理論的にはシミュレーションサーバ２２の数は無限大まで増やすことができる。しかしながらネットワークの帯域幅が限られていることに鑑みると、計算とネットワークの帯域幅による制限のために、ビューサーバ１４の数はあるユーザ数を越えると有限の上限値に達すると考えるのが妥当であろう。

本発明の実施の形態に限定を行うものではなく例示を目的として、以下にセルプロセッサに関する例が説明される。セルプロセッサについては、例えばセルブロードバンドエンジンアーキテクチャ（Ｃｅｌｌ Ｂｒｏａｄｂａｎｄ Ｅｎｇｉｎｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）、著作権者インターナショナルビジネスマシーンコーポレーション（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ）、株式会社ソニー・コンピュータエンタテインメント（Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃｏｒｐｏｒａｔｅｄ）、株式会社東芝（Ｔｏｓｈｉｂａ Ｃｏｒｐｏｒａｔｉｏｎ）、２００５年８月８日発行、に詳細が記載されている。この書物の複写物はｈｔｔｐ：／／ｃｅｌｌ．ｓｃｅｉ．ｃｏ．ＪＰ／からダウンロード可能である。この書物は本明細書において参照により開示される。典型的なセルプロセッサは、パワープロセッサユニット（ＰＰＵ）と、シナジスティックプロセシングユニット（ＳＰＵ）と称される８つまでの付加的なプロセッサとを有する。各ＳＰＵは、典型的には主プロセッサと補助プロセッサとを含むひとつのチップ、もしくはそのチップの一部である。全てのＳＰＵおよびＰＰＵは、例えばメモリフローコントローラ（ＭＦＣ）を通じて主メモリにアクセス可能である。ＳＰＵは主プロセッサで走っているプログラムと共同して並列的な操作処理を行うことができる。ＳＰＵは小さなローカルメモリ（典型的にはおよそ２５６キロバイト）を有し、このローカルメモリはソフトウエアによって管理されなければならない。つまり、コードおよびデータはローカルＳＰＵメモリへ手動で移送されなければならず、またローカルＳＰＵメモリから手動で移送されなければならない。高い性能を得るためには、このコードおよびデータはＳＰＵソフトウエアによって管理されなければならない（ＰＰＵソフトウエアの関与は最小化されなければならない）。ＳＰＵからのコードおよびデータを管理する技術は多くある。そのような技術の例が、米国特許出願番号１１／２３８，０７７、発明者Ｊｏｈｎ Ｐ． Ｂａｔｅｓ、Ｐａｙｔｏｎ Ｗｈｉｔｅ、Ａｔｔｉｌａ Ｖａｓｓ、名称「ＣＥＬＬ ＰＲＯＣＥＳＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤＳ」、２００５年９月２７日出願、および、米国特許出願番号１１／２３８，０９５、発明者Ｒｉｃｈａｒｄ Ｂ． ＳｔｅｎｓｏｎおよびＪｏｈｎ Ｐ． Ｂａｔｅｓ、名称「ＣＥＬＬ ＰＲＯＣＥＳＳＯＲ ＴＡＳＫ ＡＮＤ ＤＡＴＡ ＭＡＮＡＧＥＭＥＮＴ」、２００５年９月２７日出願、および、米国特許出願１１／２３８，０８６、発明者Ｔａｔｓｕｙａ Ｉｗａｍｏｔｏ、名称「ＣＥＬＬ ＰＲＯＣＥＳＳＯＲ ＴＡＳＫ ＡＮＤ ＤＡＴＡ ＭＡＮＡＧＥＭＥＮＴ」、２００５年９月２７日出願、および、米国特許出願番号１１／２３８，０８７、発明者Ｊｏｈｎ Ｐ． Ｂａｔｅｓ、Ｐａｙｔｏｎ Ｒ． Ｗｈｉｔｅ、Ｒｉｃｈａｒｄ Ｂ． Ｓｔｅｎｓｏｎ、Ｈｏｗａｒｄ Ｂｅｒｋｅｙ、Ａｔｔｉｌａ Ｖａｓｓ、Ｍａｒｋ Ｃｅｒｎｙ、Ｊｏｈｎ Ｍｏｒｇａｎ、名称「ＳＰＵ ＴＡＳＫ ＭＡＮＡＧＥＲ ＦＯＲ ＣＥＬＬ ＰＲＯＣＥＳＳＯＲ」、２００５年９月２７日出願、および、米国特許出願番号１１／２５７，７６１、発明者Ｔａｔｓｕｙａ Ｉｗａｍｏｔｏ、名称「ＳＥＣＵＲＥ ＯＰＥＲＡＴＩＯＮ ＯＦ ＣＥＬＬ ＰＲＯＣＥＳＳＯＲＳ」、２００５年１０月２４日出願、および、米国特許出願番号１１／４６１，３９０、発明者Ｊｏｈｎ Ｐ． Ｂａｔｅｓ、Ｋｅｉｓｕｋｅ Ｉｎｏｕｅ、Ｍａｒｋ Ｃｅｒｎｙ、名称「ＣＥＬＬ ＰＲＯＣＥＳＳＯＲ ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」、２００６年７月３１日出願、に記載されている。これら全ての出願は本明細書において参照により開示される。

シミュレーションサーバ２２は高速データ移送リンク２６を介して互いにおよびビューサーバ２４と通信してもよい。例としては、そのデータ移送リンクは、毎秒１０ギガビットのイーサネット（登録商標）接続であってもよい。シミュレーションサーバ２２は互いに離れて設置されているかもしくは互いに近接して設置されてもよい。データ移送を最適化するためには、シミュレーションサーバ２２を、例えば同じ部屋もしくは同じサーバラックに収納するなど互いに物理的にとても近くに設置することが望ましい。ビューサーバ２４は、シミュレーションサーバ２２からシミュレーションデータを受け取り、広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）３０を通じて離れて散らばっているクライアント装置２８にビューデータを送る。この広域ネットワークは例えばインターネットや他の広域ネットワークである。クライアント装置２８は、ネットワーク３０を通じて通信できる任意の適切な装置であってもよい。ネットワーク３０を通じた通信は、高速データリンク２６を通じた通信よりも遅くてもよい。

例として、クライアント装置２８は、ソニープレイステーション３などのビデオゲームコンソール装置であってもよい。あるいはまた、クライアント装置２８はハンドヘルドからワークステーションなどまでのあらゆるコンピュータ装置であってもよい。日本国の東京都にあるソニー・コンピュータエンタテインメント製のプレイステーションポータブルなどのハンドヘルドビデオゲーム装置は、他のハンドヘルド装置のなかでも本発明の実施の形態においてクライアント装置２８として特に用いられうる例である。クライアント装置２８はビューサーバ２４に、他のクライアントのアバターやシミュレートされた環境との所望のやりとりに関するインストラクションを送ってもよい。例えば、クライアントユーザが彼もしくは彼女のアバターをシミュレートされた環境の別の位置に動かしたいと思うかもしれない。各クライアント装置２８はインストラクションをビューサーバ２４のひとつに送る。このインストラクションはそのビューサーバによって中継され、やりとりをシミュレートするために必要な計算を行うシミュレーションサーバに届けられる。

他の装置２９もまたネットワーク３０を通じて互いに通信してもよい。そのような他の装置の例は、電話機、セルラー電話機、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）電話機、パーソナルコンピュータ、携帯型ウェブブラウザ、携帯型電子メール装置、テキストメッセージ装置、携帯型ゲーム装置などを含む。そのような他の装置２９間の通信は、仮想世界を生成するシミュレーションサーバ２２およびビューサーバ２６とは独立したものであってもよい。他の装置２９はシステム２０の一部とは考えられてはいないものの、それらの装置はネットワーク３０を介してシステム２０とやりとりを行ってもよい。

クライアント装置２８のユーザはたいていその周辺の物に興味がある。ビューサーバ２４は、各クライアント２８がその周辺物についての関連データを適切な順序で確実に受け取れるようにする。ビューサーバ２４は、クライアントが何を必要としているかを、クライアントのアバターの位置や向きや動きなどに基づいて決定する。例として、各ビューサーバは、公共空間や私的空間を表示するためにクライアント装置が使用するコードかつ／またはデータを生成してもよい。

複雑なシミュレートされた世界を実現するために、クライアントとサーバの間で、もしくはクライアント装置と他のクライアント装置との間で、ピアツーピア通信が行われることが望ましい。たとえば、同じ公共空間内のユーザ間の音声／ビデオ（Ａ／Ｖ）チャットは、それらのユーザ間の直接のピアツーピア通信によって実現されてもよい。そのようなピアツーピア通信によると、サーバの負荷を低減できる。本発明の実施の形態では、ピアリブ（Ｐｅｅｒｌｉｂ）を使用してネットワークアドレストランスレータ（ＮＡＴｓ）を横断し、同じ公共空間内のユーザ間のピアツーピア接続を確立する。ＮＡＴを横断することは、たとえば米国特許出願番号１１／２４５，８５３、発明者Ｙｕｔａｋａ Ｔａｋｅｄａ、名称「ＭＥＴＨＯＤ ＦＯＲ ＰＥＥＲ− ＴＯ−ＰＥＥＲ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＴＲＡＶＥＲＳＩＮＧ ＮＥＴＷＯＲＫ ＡＤＤＲＥＳＳ ＴＲＡＮＳＬＡＴＯＲＳ ＯＦ ＴＹＰＥ ＳＹＭＭＥＴＲＩＣ」、２００５年１０月４日出願、に記載されている。この出願は本明細書において参照により開示される。

図１Ｆは、クライアント装置２８として使用されうるマルチメディア処理システム１００およびシステム２０によって生成される仮想世界とのユーザインタフェースのひとつの実施態様を示す。処理システム１００は、静止画や動画や音楽や放送やゲームなどの複数のメディアにまたがる複数のコンテンツを処理することができる複合装置を含んでもよい。複数のコンテンツの処理とは、プレゼンテーション、記録、およびマルチメディア処理システム１００によって行われる他の関連タスクを含む。例として、マルチメディア処理システム１００は、マルチメディア処理装置１０２と、ディスプレイ１０４（例えば、モニタもしくはテレビ）と、コントローラ１１４と、を備える。コントローラ１１４のボタンは、図１Ｄおよび上で説明された仮想コントローラ１８の対応するボタン１９にマッピングされてもよい。

マルチメディア処理装置１０２は、放送メディアやインターネット（もしくは他のネットワーク）のメディアや光学ディスク１１０やメモリカード１１２などの種々のメディア源からマルチメディアコンテンツを受け取ってもよい。放送メディアからのコンテンツは、放送データチャネル１０６を通じて受信されてもよい。一方、インターネットのメディアからのコンテンツはネットワークデータチャネル１０８を通じて受信されうる。放送およびネットワークデータチャネル１０６、１０８は、無線チャネル、有線チャネルのいずれであってもよい。放送メディアおよびインターネットのメディアからのコンテンツは、マルチメディア処理装置１０２によって記録、保存されてもよい。受信されたコンテンツは、仮想世界とのやりとりに使用されるだけでなく、マルチメディア処理装置１０２の種々の機能（例えば、ゲーム）によって使用されてもよい。

受信されたマルチメディアコンテンツは、ディスプレイ１０４に表示されてもよい。ディスプレイは、静止画像や動画像を表示するための陰極線管（ＣＲＴ）やフラットスクリーンなどのビデオモニタを含んでもよい。ディスプレイ１０４は、ユーザに音声を提供するために、ひとつ以上の音声スピーカをさらに含んでもよい。コントローラ１１４は、ユーザにマルチメディア処理に関する種々のインストラクションを入力せしめ、かつ、ユーザにマルチメディア処理装置１０２の機能を制御せしめる。

システム１００は、ディスプレイ１０４によって提供される可視画像かつ／または可聴音声をもってユーザのやりとりを容易にするために、音声入力およびビデオ入力を含んでもよい。そのような入力は、カメラなどのビデオ撮像装置１１６およびマイクロホンなどの音声信号取得装置１１８を含んでもよい。ビデオ撮像装置１１６は、ディスプレイ１０４の上に載置されてもよく、またはディスプレイ１０４と一体化されてもよい。また、ビデオ撮像装置１１６は、マルチメディア処理装置１０２と、ケーブルによって、もしくは光学データリンク（例えば、赤外線）や無線周波数データリンク（例えば、ブルートゥース）などの空中接続（ｏｖｅｒ−ｔｈｅ−ａｉｒ ｃｏｎｎｅｃｔｉｏｎｓ）によって接続されてもよい。撮像装置１１６は、ディスプレイ１０４の前付近の画像を取得できるような他のいかなる近隣位置に置かれてもよいことは理解されるべきである。これらの動きややりとりを捉える技術は種々あるが、そのような技術の例が、英国特許出願ＧＢ０３０４０２４．３（ＰＣＴ／ＧＢ２００４／０００６９３）およびＧＢ ０３０４０２２．７ （ＰＣＴ／ＧＢ２００４／０００７０３）に記載されている。このそれぞれは２００３年２月２１日に出願されており、本明細書において参照により開示される。撮像装置１１６は、例えばＵＳＢ２．０型のカメラなどのデジタルカメラであってもよい。そのようなカメラは、約７５度の視野と、１．５程度のＦ値と、を有してもよく、また、毎秒約１２０フレームまでのフレームレートで画像を取得しうる。例として、ビデオ撮像装置は、カリフォルニア州フリーモントにあるロジテック（Ｌｏｇｉｔｅｃｈ）社から購入可能なアイトイカメラ（ＥｙｅＴｏｙ Ｃａｍｅｒａ）であってもよい。メディア処理装置１０２は、ゲームコンソール、テレビ、デジタルビデオレコーダ（ＤＶＲ）、ケーブルセットトップボックス（ｃａｂｌｅ ｓｅｔ−ｔｏｐ−ｂｏｘ）、ホームメディアサーバ、もしくはユーザからの制御にしたがって自身を描画しうる装置を含む家庭用電気機器であってもよい。代替的な実施の形態では、撮像装置は３次元（３Ｄ）カメラであってもよい。ここで３Ｄカメラ（もしくはゼッドカメラ（ｚｅｄ ｃａｍｅｒａ））とは、画像中の物体の深さを決定することを容易にする撮像装置を指す。この文脈において用語「深さ」とは、画像平面と垂直な方向における物体の位置を指す。

図２Ａは、マルチメディア処理装置１０２の実施態様を示す機能ブロック図である。示される実施態様においては、マルチメディア処理装置１０２は、コントローラ１１４と、ビデオ撮像装置１１６と、音声信号取得装置１１８と、データ入力／出力（Ｉ／Ｏ）部２００と、ディスプレイ出力部２０２と、ディスプレイ制御部２０４と、保持部２０８と、ゲーム／仮想世界プロセッサ２０６と、を含む。例として、ゲーム／仮想世界プロセッサ２０６は、セルプロセッサなどの並列プロセッサであってもよく、またそれを含んでもよい。この並列プロセッサは、ひとつ以上のシナジスティックプロセシングユニット（ＳＰＵ）と結合されたパワープロセシングユニット（ＰＰＵ）を有する。セルプロセッサについては、例えば米国特許出願番号１１／２３８，０７７に記載されており、この出願は本明細書において参照により開示される。マルチメディア処理装置１０２はさらに、データ入力機能、データ維持機能、画像処理機能、描画機能、および他の関係する機能などの種々の機能を実現するためのプログラムおよびインストラクションを含む。

コントローラ１１４は、ユーザの入力から４つの向き（つまり、上向き、下向き、左向き、および右向き）のひとつもしくは組み合わせを決定する向き決定部２２２と、ユーザの入力からインストラクションを決定するインストラクション決定部２２４と、を含んでもよい。インストラクションは、マルチメディアコンテンツを示すためのコマンド、その提示を終了させるためのコマンド、メニュー画面を呼び出すためのコマンド、および他の関係するコマンドかつ／またはインストラクションを発行するためのコマンドを含んでもよい。コントローラ１１４、ビデオ撮像装置１１６および音声信号取得装置１１８からの出力は、ディスプレイ出力部２０２と、ディスプレイ制御部２０４と、ゲーム／仮想世界プロセッサ２０６と、に振り向けられる。

図１Ｂおよび図２Ａに示される実施態様では、向き決定部２２２およびインストラクション決定部２２４は、方向およびインストラクションを起動、感知、および決定するためのボタン、回路、およびプログラムの組み合わせで構成されてもよい。ボタンは十字キーもしくはジョイスティックを含みうる。メニュー画面を呼び出すためのインストラクションに関連したボタンはトグル式に設定されてもよく、この場合、そのボタンが押される度にメニュー画面が表示モードと非表示モードとの間で切り替えられる。

ある実施態様では、向き決定部２２２はボタンの斜めの動きを、動きの向きを２つの向きのうちの一方と定めるバイナリコマンドとして決定してもよい。ここでは、上向きと右向きとの間の斜めの動きは、上向きかもしくは右向きのいずれか一方と定められうる。別の実施態様では、向き決定部２２２はボタンの斜めの動きを、動きの向きを測定精度の範囲内におけるある特定の向きに定めるアナログコマンドとして決定してもよい。ここでは、上向きと右向きとの間の斜めの動きは、北西向きと定められうる。後述される通り、方向性の動きは、ユーザとビデオ撮像装置１１６とディスプレイ制御２０４との間のやりとりを通じて決定されてもよい。

データＩ／Ｏ部２００は、放送チャネル１０６を介して放送コンテンツを入力する放送入力部２１２と、ネットワークチャネル１０８を介してウェブコンテンツなどのデータを入出力するネットワーク通信部２１４と、ディスク１１０に保持されるデータを入力するディスク読み取り部２１６と、メモリカード１１２にデータを入力しかつ／またはメモリカード１１２からデータを出力するメモリカード読み取り部２１８と、を含んでもよい。データＩ／Ｏ部２００の出力は、ディスプレイ出力部２０２と、ディスプレイ制御部２０４と、ゲームプロセッサ２０６と、保持部２０８と、に振り向けられてもよい。

ディスプレイ出力部２０２は、復号部２３２と、合成部２３４と、出力バッファ２３６と、オンスクリーンバッファ２３８と、を含んでもよい。復号部２３２は、データＩ／Ｏ部２００もしくは保持部２０８から受け取る入力データを復号する。ここで、入力データは、放送コンテンツ、映画、および音楽を含んでもよい。合成部２３４は、コントローラ１１４から受け取るユーザの方針／インストラクションに基づいて復号された入力データを処理する。合成部２３４の出力は出力バッファ２３６に保持される。オンスクリーンバッファ２３８は、ディスプレイ制御部２０４によって生成されるメニュー画面の画像データを保持してもよい。ディスプレイ出力部２０２の出力は、ディスプレイ１０４に伝送される。

ディスプレイ制御部２０４は、メニューマネジャ２４２と、エフェクトプロセッサ２４４と、コンテンツ制御部２４６と、画像生成部２４８と、を含んでもよい。メニューマネジャ２４２は、保持部２０８およびデータＩ／Ｏ部２００から受け取り、メニュー画面に示されるメディア体およびマルチメディアコンテンツを管理する。エフェクトプロセッサ２４４は、メニュー画面のアイコンおよびアイコンアレイの操作を処理する。エフェクトプロセッサ２４４は、メニュー画面に表示されるべき種々の動作およびエフェクトを管理する。コンテンツ制御部２４６は、メディア体およびマルチメディアコンテンツの処理、およびデータＩ／Ｏ部、保持部２０８、およびゲーム／仮想世界プロセッサ２０６からのデータの取り扱いを制御する。画像生成部２４８は、メディアアイコンアレイおよびコンテンツアイコンアレイを含むメニュー画面を生成する。

ゲーム／仮想世界プロセッサ２０６は、データＩ／Ｏ部２００もしくは保持部２０８から読み出されたデータを使用して、ゲームかつ／または仮想世界プログラムを実行する。ゲーム／仮想世界プロセッサ２０６は、ゲームプログラムを実行し、もしくはコントローラ１１４から受け取るユーザインストラクションに基づき、ユーザの仮想世界とのやりとりを容易にする。実行されたゲームプログラムまたは仮想世界とのやりとりのディスプレイデータは、ディスプレイ出力部２０２へ伝送される。

本発明の実施の形態では、ビデオ撮像装置１１６および音声信号取得装置１１８からの信号は、ユーザがディスプレイ１０４に表される画像とやりとりし、それを操作することを可能とする。特に、本発明の実施の形態は、ユーザがオブジェクトをディスプレイ１０４上のある位置から別の位置へ「グラブ（ｇｒａｂ）」して「ドラッグ（ｄｒａｇ）」することを可能としてもよい。図２Ｂに示される通り、ビデオ撮像装置１１６は、ユーザＵの像Ｉ_Ｕに向けられそれを撮像する。そして像Ｉ_Ｕは、アルファブレンディング（ａｌｐｈａ ｂｌｅｎｄｉｎｇ）として知られている技術を用いて、ディスプレイ１０４上で他の像からなる背景の上に表示されてもよい。

「アルファブレンディング」という用語は一般に、２つの色の凸結合を指し、コンピュータグラフィックスの分野における透過性効果のためのものである。カラーコードにおける値アルファ（ａｌｐｈａ）は０．０から１．０の範囲にあってもよく、０．０は十分に透明な色を示し、１．０は十分に不透明な色を示す。例として、色Value1が色Value0の背景の上に描かれた場合、その結果として得られる色の値（Value）は以下の式で与えられてもよい。
Value = Value0 (1.0 - alpha) + Value1 (alpha)

３２ビットＲＧＢＡに見られるように、アルファ成分は、赤緑青の３成分を均等に混合するために使用される。あるいはまた、スペクトルカラーフィルタリング（ｓｐｅｃｔｒａｌ ｃｏｌｏｒ ｆｉｌｔｅｒｉｎｇ）における原色のそれぞれに対応して３つのアルファ値が指定される。

ユーザの手ｈが認識されると、エフェクトプロセッサは、ユーザの手の変位の向きを、通常はコントローラ１１４から受け取るような向きの入力と関連付けてもよい。変位の大きさで速さの入力を制御できるようにされてもよい。

ある実施の形態では、像Ｉ_Ｕは、ユーザの頭Ｈと手ｈとを含んでもよい。像Ｉ_Ｕとのユーザのやりとりを容易にするために、ユーザの像Ｉ_ＵはユーザＵの鏡像として画面に表示されてもよいことを注意しておく。ここでは、ユーザＵが手ｈをユーザの左側に動かした場合、手の像Ｉ_ｈもまたユーザの左側に動く。エフェクトプロセッサ２４４は、ユーザの手ｈを認識し、また手の像Ｉｈの縦横比（高さと幅の比）の変化を認識するよう構成されてもよい。縦横比のこの変化は、コントローラ１１４にユーザがディスプレイ上のオブジェクト１４０を「グラブした（ｇｒａｂｂｅｄ）」もしくは「クリックした（ｃｌｉｃｋｅｄ）」ことを知らせるために使用されてもよい。そしてエフェクトプロセッサ２４４は、選択されたオブジェクトをユーザの手ｈの像Ｉ_ｈの動きに合わせて動かしうる。ある実施の形態では、ユーザは変形可能な「Ｃ」字形状のオブジェクト１４２を握ってもよい。この変形可能な「Ｃ」字形状のオブジェクト１４２には、ビデオ撮像装置１１６からの像を解釈する際に、エフェクトプロセッサ２４４がより容易に認識可能な色がつけられる。ここで「クラム（ｃｌａｍ）」と呼ぶこととするオブジェクト１４２の変形は、ディスプレイ１０４上のオブジェクトを「グラブ（ｇｒａｂ）」もしくは「クリック（ｃｌｉｃｋ）」するためのコマンドとして認識される縦横比の変化を提供しうる。

ユーザＵがディスプレイ１０４上のオブジェクト１４０を操作するのに左手を使用しているか右手を使用しているかをエフェクトプロセッサ２４４が認識できることが、しばしば望まれる。例えば、ディスプレイ１０４上のオブジェクトを左手で操作している場合、オブジェクトがユーザの頭Ｈの左側に表れることが多くの場合望ましい。このような場合、コントローラはユーザの手ｈ、頭Ｈ、腕Ａ、および腰Ｃをそのそれぞれに対応する像Ｉ_ｈ、Ｉ_Ｈ、Ｉ_Ａ、およびＩ_Ｃによって認識するソフトウエアを含んでもよい。この情報をもとにコントローラ１１４は、ユーザＵが左手を使用しているか右手を使用しているかを決めることができる。例えば、ユーザの手ｈが頭Ｈの左側にあり、腕Ａは腰と交差していない場合、ユーザＵは左手を使用していると決めることができる。同様に、ユーザの手ｈが頭の左側にあり、腕は腰と交差している場合、ユーザＵは右手を使用していると決めることができる。

本発明のある実施の形態では、撮像装置１１６および音声信号取得装置１１８はひとつの機器として統合されてもよい。例えば、図２Ｃおよび図２Ｄは、マルチメディア処理システム１００で使用されてもよい撮像装置１２０を示す。装置１２０は、例えばデジタルカメラ（もしくは３Ｄカメラ）である光学撮像装置１２２と、ひとつ以上のマイクロホン１２４とを含む。マイクロホン１２４はアレイ状に配置され、かつ互いに既知の距離だけ離されて配置されてもよい。例示であり一般性を失わない範囲において、マイクロホン１２４は直線アレイ状に間隔を置いて配置され、隣接するマイクロホンは中心間の距離にして約２センチメートルだけ離されてもよい。個々のマイクロホンは、約１６キロヘルツの共振周波数を有してもよい。このようなマイクロホンアレイは、装置１０２の動作および仮想世界とのやりとりと共同して、ひとつ以上の音源の位置を探して追跡するために使用されてもよい。このようなマイクロホンアレイの音源位置発見および追跡のための使用については、例えば米国特許出願１１／３８１，７２４、１１／３８１，７２５、および１１／３８１，７２９、２００６年５月４日出願、に記載されている。これらは本明細書において参照により開示される。

本発明のある実施の形態では、マイクロホン１２４が撮像装置１２２と共に動くことが望ましい。例えば、マイクロホン１２４はフレーム１２６に取り付けられてもよい。このフレーム１２６は、マイクロホンと撮像装置、例えばレンズ１２８、との位置関係を固定されたものとする。複数のマイクロホンが水平な直線状に配列されているように示されているが、それらは代替的には垂直に向けられてもよく、また斜めに向けられてもよく、また２次元的に配列されてもよい。

ある実施の形態では、装置１２０は可視ＬＥＤ１３０および赤外線ＬＥＤ１３２を含んでもよい。これらは撮像装置１２２の視野にある物体を照らすために使用されうる。赤外線像の取得を容易とするため、レンズ１２８は、可視光および選択された赤外領域の周波数（例えば、９４０ｎｍ程度の周波数）を通過させるいわゆる「デイ−ナイト（ｄａｙ−ｎｉｇｈｔ）」コーティングを含んでもよい。

例として、彼もしくは彼女のアバターに仮想携帯電話をとらせて番号をダイアルさせ、現実のもしくは仮想の電話へ現実に電話をかけさせるように、システム２０の要素および装置１０２は設定されてもよい。その電話を受ける側が仮想世界の他のユーザである場合、システム２０および装置１０２は、そのユーザの仮想電話に接続するよう適切にプログラムされていてもよい。ここでこの接続は、例えばその電話がなされる時点でそのユーザがオンラインであり仮想世界とやりとりを行っている場合にはＶｏＩＰを介して行われる。システム２０の要素および装置１０２は、デフォルトでは受け側の仮想電話（もしあれば）にその電話をルーティングするよう設定されていてもよい。受け側がオンラインでない場合、その電話は受け側の現実の通信装置へ再ルーティングされてもよい。現実の通信装置の例は、電話（例えば、固定電話回線、携帯電話、もしくはＶｏＩＰ電話）、もしくはボイスメール（これは現実のもしくは仮想の電話に伴われうる）、もしくは携帯型ゲーム装置およびそのようなものを含むＶｏＩＰ対応の任意のネットワーク装置を含んでもよいが、それに限定されない。あるいはまた、電話はデフォルトでユーザの現実の通信装置にルーティングされてもよい。そのような実施の形態では、システム２０の要素および装置１０２は、仮想世界と現実の通信装置との間の賢い双方向ルーティングを可能とするように使用されてもよい。

例示を目的とし一般性を失わない範囲で、現実の装置と仮想の装置との間の通信は、図２Ｅおよび図２Ｆを参照して理解されうる。図２Ｅに示されるように、２人以上のユーザ２５１、２５２は、図１Ｅに関して上述した通り、例えばシステム２０を介しネットワーク３０を通じて仮想世界とやりとりしてもよい。個々のユーザは、クライアント装置２５３、２５４を介してネットワーク３０を通じてシステム２０と結びついてもよい。これらのクライアント装置２５３、２５４は、例えば図１Ｆおよび２Ａに関して上述した通りに適切に設定されてもよい。個々のクライアント装置２５３、２５４は、仮想通信装置２５５、２５６を生成するのに適切なハードウエアかつ／またはソフトウエアを含んでもよい。装置アバターは仮想世界のなかでは仮想通信装置を表してもよい。装置アバターは、例えば上述の通りに現実の装置の外観を有してもよい。あるいはまた、ユーザは全く任意のかつ／または架空の外観を有するように装置アバターをカスタマイズしてもよい。個々のユーザ２５１、２５２は、固定電話２５７、２５８および携帯電話２５９、２６０などの現実の通信装置を使用することができてもよい。本発明の実施の形態は、任意の数のユーザおよび任意の数の現実のかつ／または仮想の通信装置で実現されうることは、当業者であれば分かる。

個々のクライアント装置２５３、２５４は、現実の装置と仮想の装置との間の電話のルーティングを容易とするための設定可能なルータ２６１、２６２を備えてもよい。ルータ２６１、２６２は、サーバ、ピアツーピアネットワーク、それらの組み合わせ等のなかにソフトウエアもしくはハードウエアの形で存在してもよい。図２Ｅに示される例ではルータ２６１、２６２はクライアント装置２５３、２５４上に設けられているが、これは唯一の可能な配置構成ではない。代替的にはルータ２６１、２６２は、シミュレーションサーバ２２上、ビューサーバ２４上、もしくはネットワーク３０に接続された他の装置上など、いかなる場所に設けられてもよい。ルータ２６１、２６２は種々の装置からおよび複数の手段でアクセスされうる。これは、仮想電話もしくは通信装置、現実の通信装置、ネットワークウェブページ、および同様のものを含むがそれらに限定されない。個々のルータ２６１、２６２は、ルーティング機能を制御するためにひとつ以上のルーティングの優先度を有してもよい。ルータ２６１、２６２は、通信ソース（ｓｏｕｒｃｅ）または通信ターゲット（ｔａｒｇｅｔ）においてルーティング優先処理を実行してもよい。本実施の形態で使用されている意味において通信「ソース」とは一般的に、通信を発する側（例えば、電話の「発信者（ｃａｌｌｅｒ）」もしくはテキストメッセージまたは電子メールの「送信者（ｓｅｎｄｅｒ）」）を指す。本実施の形態で使用されている意味において通信「ターゲット」とは一般的に、通信の受け側を指す。ソースおよびターゲットは仮想世界のユーザでなくてもよいことが示される。

例として、第１のユーザ２５１が第２のユーザ２５２と例えば仮想通信装置２５５を使用して通信することを所望する場合を考える。この場合、第１のユーザ２５１は電話のソースであり、第２のユーザ２５２は電話のターゲットである。第１のユーザのルータ２６１は、第２のユーザ２５２の仮想通信装置２５６へ優先的に接続を試みるよう設定されていてもよい。そのユーザがオンラインでなく仮想世界を使用していない場合、第１のユーザのルータ２６１は、第２のユーザの固定電話２５８へ接続を試みてもよい。そしてそれが失敗した場合は、ルータ２６１は、第２のユーザ２５２の携帯電話２６０に接続を試みてもよい。代替的な例では、第２のユーザのルータ２６０は第１のユーザ２５１から通信を受けた場合に、自身のルーティング優先処理を実行してもよいことが示される。例えば、第２のユーザのルータ２６２は、第１のユーザ２５１からの電話を優先的に第２のユーザの携帯電話２６０にルーティングし、次いで第２のユーザの固定電話２５８にルーティングし、次いで第２のユーザの仮想装置２５６にルーティングしてもよい。

好適な実施の形態では、個々のユーザ２５１、２５２はそのユーザの現実のおよび仮想の通信装置のそれぞれに対応するひとつの電話番号を有してもよい。ルータ２６１、２６２は、ユーザが有する異なる装置のなかのあるひとつのユーザの番号に電話を自動的にルーティングしてもよい。そのようなルーティングは、ユーザの優先度、ユーザの行動、もしくはそれらのある組み合わせに基づいてもよい。ルータ２６１、２６２は通信ソースの正体かつ／または通信ターゲットの正体に依存して異なる優先度を有するようにプログラムされてもよいことが示される。

例えば、あるモードでは、第１のユーザのルータ２６１は、第１のユーザの番号に電話をかけるソースからの電話を受けうる。そのモードでは、第１のユーザ２５１は、第１のユーザ２５１がオンラインであることを示す情報をルータ２６１に提供してもよい。そのような情報は、例えばコントローラ１１４を使用してマルチメディア処理装置１０２のなかにプログラムされてもよい。あるいはまた、ルータ２６１は、第１のユーザ２５１がオンラインであるかどうかをチェックしてもよい。もしそうであれば、ルータ２６１はその「電話」を第１のユーザの仮想通信装置２５５へルーティングしてもよい。この仮想通信装置２５５は、たとえ第１のユーザ２５１が第２のユーザのクライアント装置２５４を介してオンラインであったとしても「鳴る」ように設定されていてもよい。

他のモードでは、ルータ２６１は、第１のユーザ２５１がオンラインであるかどうか、およびターゲット（例えば、第２のユーザ２５２）がオフラインであるかどうかについての情報を得てもよいし、そうであるかどうかを決めるためにチェックを行ってもよい。この場合、第１のユーザのルータ２６１は、固定電話２５８や携帯電話２６０などの第２のユーザの現実の通信装置へ「電話」をルーティングしてもよい。

他のモードでは、第１のユーザのルータ２６１は、第１のユーザ２５１がオンラインであるかどうか、および第２のユーザ２５２がオンラインであるかどうかについての情報を得てもよいし、そうであるかどうかを決めてもよい。この場合、「テキストメッセージ」が仮想世界のなかで、例えば第２のユーザのアバターやターゲットの第２のユーザの仮想装置２５６へ、ルーティングされてもよい。

他のモードでは、ルータ２６１は、第２のユーザ２５２がオンラインであるかどうかについての情報を得てもよいし、そうであるかどうかを決めるためにチェックを行ってもよい。第２のユーザ２５２がオフラインである場合、「テキストメッセージ」が、固定電話２５８や携帯電話２６０などの第２のユーザに関連付けられた現実世界の装置にルーティングされてもよい。

上記の例に関して多くの他の置換もまた可能である。例えば、上記の例で、ソースは仮想世界のなかから電話をかけてもよいし、アバター仮想装置を通じて仮想世界のなかで電話をかけてもよいし、任意のＶｏＩＰ装置またはサービスを通じてもしくは任意の現実の電話線および電話ソースを通じて電話をかけてもよい。

他の設定では、ユーザがオンライン時にアバター電話ではなく現実の携帯電話が鳴って欲しいなどのユーザの優先度に基づき、上述の賢いルーティングが行われてもよい。他の設定では、ステートコントロール（ＳＴＡＴＥ ＣＯＮＴＲＯＬＳ）に基づき、上述の賢いルーティングが行われてもよい。このステートコントロールでは、ある状況の下でのみアプリケーションの設定に依存して電話がアバター電話もしくは現実の電話にルーティングされる。例えば、ターゲットがオンラインゲームに参加しており邪魔されたくない場合、電話はターゲットの現実のもしくは仮想のボイスメールへルーティングされてもよい。さらに別の設定では、電話は仮想装置へルーティングされ、そこでもしその装置が鳴らなかった場合は、仮想ボイスメールへ行く代わりに電話は現実の電話などの現実の装置へ再ルーティングされてもよい。

図２Ｆに示されるように、本発明の実施の形態は、第１のユーザ２５１が第２のユーザ２５２へ固定電話２５７などの現実の電話を使用して電話をかける状況を許す。第１のユーザ２５１はその電話に向けて話をし、第１のユーザのアバター２６３が第２のユーザの仮想通信装置２５６に表れる。このアバター２６３は、第２のユーザ２５２が所有するマルチメディア処理装置１０２に接続されたディスプレイ１０４に表示される。ディスプレイ１０４上には、第１のユーザの名前２６６もまた第１のユーザのアバター２６３の近くに表示されてもよい。第１のユーザの発言２６５は、装置１０２、シミュレーションサーバ２２、ビューサーバ２４、もしくは他の装置に実装されていてもよい音声認識ソフトウエアかつ／またはハードウエアを使用してテキストに変換されてもよい。その結果得られるテキストはディスプレイ１０４上で第１のユーザのアバター２６３の近くのふきだし（ｔｅｘｔ ｂｕｂｂｌｅｓ）２６４として表示されてもよい。オーディオスピーカ２６７は、第１のユーザと第２のユーザとの間の通信の間、第１のユーザの発言２６５の可聴音声を再生してもよい。

同じルーティング処理が、テキストメッセージングや電子メールなどの他のタイプのメッセージングに対して使用されうることが示される。このシステムのひとつの利点は、現実の電話かつ／またはテキストメッセージが、あるユーザから別のユーザへ、現実の通信装置で発生する長距離電話料金や他の電話料金を避けうる形でルーティングされうるということである。受け手側の（ユーザの）現実の電話機もしくはテキストメッセージ装置は、システム２０によって維持されている仮想世界とのやりとりを容易とするためのミドルウエアを備えてもよい。

ある実施の形態では、ユーザは現実の通信装置を使用して仮想世界のコンテンツにアクセスできてもよい。例えば、携帯電話や携帯型インターネット装置などがユーザのアバター、公共空間、もしくは私的空間に変更を加えるために使用されてもよい。あるいはまた、現実の通信装置は仮想通信装置のコンテンツに離れた場所からアクセスするために使用されてもよい。特に、現実の通信装置は、シミュレートされた通信装置とユーザとの間のインタフェースとして使用されてもよい。例えば、仮想通信装置がユーザの私的空間内に配された仮想デジタルビデオレコーダ（ＤＶＲ）であったとする。ユーザは現実の携帯電話および電子プログラミングガイドを使用して現実のもしくは仮想の出来事を記録するために仮想ＤＶＲにアクセスしてもよい。

上述した通り、現実の通信装置と仮想通信装置との間で通信を行うことは、ビデオ通信を含んでもよい。ある実施の形態によると、ビデオ通信の間現実の通信装置にアバターの像が表示されてもよい。仮想世界を生成するシステムは、アバター像を、そのアバターに関連付けられたユーザによって生成された現実のもしくは合成された音声にリップシンクさせてもよい。例えば、ユーザは現実の装置へ送るべき音声メッセージをビデオメッセージの一部として記録してもよい。システムはビデオメッセージを音声メッセージをしゃべるアバターと共に生成してもよい。この場合、そのアバターの唇の動きはメッセージ中のユーザの発言と同期している。あるいはまた、ユーザは仮想の装置にメッセージのテキストを入力してもよい。システムはそのテキストからアバターに対して音声を合成し、アバターのビデオ画像を生成してもよい。この場合、アバターの唇の動きは合成された音声と同期している。他の実施の形態では、ユーザは例えばビデオ撮像装置１１６および音声信号取得装置１１８を使用して、音声およびビデオメッセージを記録してもよい。

ある実施の形態では、アバター１４は、ある感情を伝えるためのアニメーション、顔色の変化、音、パーティクル（ｐａｒｔｉｃｌｅ）もしくはチャットバブルの変化を通じて感情を表現してもよい。このようなアバターによる感情の表現（しばしば「エモーツ（ｅｍｏｔｅｓ）」と呼ばれる）は、予めプログラムされ、ユーザコマンドによってトリガされてもよい。本発明のある実施の形態では、仮想世界とのやりとりのなかでユーザが示した感情は、ユーザのアバターによって表される感情にマッピングされてもよい。ある実施の形態では、ユーザはアバターに反映されうる感情状態を選択してもよい。例として、アバターエモーツは装置１０２によってユーザに提供されるメニューから選択されてもよい。例えば、ユーザが「嬉しい（ｈａｐｐｙ）」を選択した場合、ユーザのアバターは笑みを浮かべた形で表されてもよい。ユーザが「悲しい（ｓａｄ）」を選択した場合、アバターはしかめづらを表してもよい。このようなメニュー駆動の感情は、ユーザが素早く使用したい場合にはややぎこちないかもしれない。そこで、ある実施の形態では、装置１０２はリアルタイムでユーザの感情の状態を検出し、その状態を反映するように適切にユーザのアバターの特徴に変化を加えてもよい。このようなリアルタイムでのユーザの感情の状態の追跡は、例えばユーザのアバターの像が現実の装置に表示されるビデオ通信の間、アバターにユーザの感情の状態をマッピングする際に特に有用である。

限定しない例として、装置１０２は、撮像装置１１６を使用してユーザＵのひとつ以上の画像を取得し、ユーザのひとつ以上の顔色を解析することによって、ユーザの感情の状態をリアルタイムで追跡してもよい。ゲーム／仮想世界プロセッサ２０６は、ユーザの唇、目、まぶた、まゆげ、ほほ、歯、もしくは小鼻などの顔色、もしくは姿勢や腕や手の置き方などのボディーランゲージを使用してこれらの画像を解析しユーザの感情の状態を決めるようプログラムされてもよい。このような顔色かつ／またはボディーランゲージ解析は、３Ｄカメラを使用して画像を生成することによって強化されうる。

あるいはまた、ユーザの発話もしくは音声信号取得装置１１８によって検出される他の発声のなかに示されるユーザの声の抑揚を解析することによって、ユーザの感情状態はリアルタイムで追跡されてもよい。ユーザがテキストを介して通信する場合は、感情状態を示すある言葉、フレーズ、もしくは言語パターンについてテキストを解析することによって感情が追跡されてもよい。加えて、心電計（ＥＫＧ）データ、脳波（ＥＥＧ）データ、皮膚電気反射データ、もしくはサーモグラフィデータなどの他の生物測定学的データを使用してユーザの感情の状態が追跡されてもよい。このようなデータは、コントローラ１１４に設けられた適切なセンサを通じて取得され、プロセッサ２０６に導入されている適切に設定されたソフトウエア、ハードウエア、もしくはファームウエアによって解析されてもよい。サーモグラフィデータは、撮像装置１１６が赤外線画像を取得可能な場合にも得られる。

ユーザの感情の状態がいったん決定されてしまうと、その感情の状態を示すボディーランゲージと顔色の種々の組み合わせがアバターのアニメーションによって表されるエモーツに反映されてもよい（例えば、歯をむき出して拳を振り上げた様子は怒りを示す）。

ある実施の形態では、ユーザは自己のアバターに対してカスタマイズされたジェスチャもしくは「エモーツ」を使用したいと思うかもしれない。これを容易とするため、アバターに対してひとつ以上のカスタムジェスチャが生成されてもよい。これらのカスタムジェスチャは、ユーザのアバターがコマンドに基づきジェスチャを行うことができるように、ひとつ以上のユーザインタフェース信号と関連付けられてもよい。例として、カスタムジェスチャは、ユーザがジェスチャを行う際にユーザの身体の動きもしくはユーザの表情のマッピングを記録しデジタル化するためのモーションキャプチャもしくはパフォーマンスキャプチャ技術を使用して生成されてもよい。ある実施の形態では、撮像装置１１６がこの目的のために使用されうる。あるいはまた、商業的なモーションキャプチャスタジオもしくはパフォーマンスキャプチャスタジオがこの目的のために使用されてもよい。

モーションキャプチャでは、ユーザもしくは他のパフォーマは各関節にマーカを付け、そのマーカの位置もしくはマーカ間の角度によって動きを認識させてもよい。音声マーカ、慣性マーカ、ＬＥＤマーカ、磁気マーカ、もしくは反射性マーカ、あるいはそれらの任意の組み合わせが、最適には所望の動きの速さの少なくとも２倍の速さで、ミリメートル以下の位置精度で、追跡される。モーションキャプチャコンピュータソフトウエアは、位置、角度、速さ、加速度、および力積を記録し、動きの正確なデジタル表現を提供する。例として、光学的なモーションキャプチャシステムは、重なり合う映像を提供するよう較正されたひとつ以上のカメラの間でマーカの３Ｄ位置を三角測量してもよい。受動的な光学システムは、カメラのレンズの近くで生成される光を反射する再帰反射性材料で覆われたマーカを使用してもよい。明るいマーカだけがサンプルされ肌や生地を無視できるように、カメラの感度は大抵のカメラが有する狭い範囲の光感度を利用して調整されうる。あるいはまた、マーカそのものが電源を有し自身から光を放つ能動的な光学システムが使用されてもよい。電源は個々のマーカに順番に提供されてもよく、その場合キャプチャシステムと同期してもよい。これによりフレームレートを犠牲にして、所与のキャプチャフレームに対して個々のマーカを独立して認識できる。

パフォーマンスキャプチャは、パフォーマンスの双方向的な性質により、通常のモーションキャプチャとは異なる。パフォーマンスキャプチャでは、参照する動きのデータを取得し後に動きを一緒に編集するのではなく、体や手や表情を全て一度に取得する。

ジェスチャのためのユーザの体の動きかつ／または表情がデジタル化されると、そのデジタル化されたジェスチャは、そのジェスチャをアバターが行うようにアバターのアニメーションに関するコード化されたインストラクションもしくは他のユーザインタフェース信号を生成するために使用されてもよい。そのコードや他のユーザインタフェース信号は、一人以上の他のユーザに配布されてもよい。一人以上の他のユーザは、カスタムジェスチャを行うように自己のアバターをカスタマイズできる。カスタマイズされたアバタージェスチャは、カスタマイズされたアバターの服、履き物、ヘアスタイル、民族的な特徴、および他のカスタムアバター特徴と組み合わされて、社会のなかである特定のグループに属していることを示す手段とされてもよい。ある実施の形態では、例えば不必要に他のユーザを刺激したり法を犯したりすることを避けるために、カスタムジェスチャの使用を加減することが望ましい。ここで加減するもしくは加減（ｍｏｄｅｒａｔｉｎｇ ｏｒ ｍｏｄｅｒａｔｉｏｎ）は、仮想世界のなかで受け入れられうる行動に対してある程度の規制を課すことを指す。このような加減はビューサーバ２４によって実装されうる。このビューサーバ２４は、カスタムジェスチャが無礼でないかもしくは他の不適切さはないかについて解析してもよい。

カスタムジェスチャの表示を加減することは、所定の基準にしたがって、ある特定のユーザについてアバターにカスタムジェスチャを行わせることを制限すること、またはある特定のユーザがカスタムジェスチャを行うアバターを知覚できなくすることを含んでもよい。この所定の基準は、ユーザの年齢や、ジェスチャの視聴者や、宗教的な、民族的な、もしくは視聴者の他の帰属先に基づいて視聴者が侮辱と感じる感受性を含んでもよい。

本発明の代替的な実施の形態によると、上述のシステムおよび方法は、仮想世界を使用する通信を実現するように変更されてもよい。特にアバターと電子メールの発信元とが関連付けられてもよい。ユーザは仮想世界のなかで電子メールを生成し、自己のアバターのひとつ以上の画像をその電子メールに関連付けてもよい。その電子メールは仮想世界から現実の装置へ送られてもよい。アバターの画像は電子メールの届け先において、例えば電子メールの添付を自己解凍することによって提示されてもよい。電子メールは、例えば仮想世界のなかの仮想通信装置を使用して生成されてもよい。限定を加えるものではない例として、電子メールの届け先は、例えば電子メールメッセージを受信するように構成された任意の現実の装置である現実の通信装置であってもよい。現実の通信装置は、他の現実の通信装置と仮想世界とは独立したひとつ以上の通信チャネルを通じて通信してもよい。

例示であり一般性を失わない範囲において、仮想世界は複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含んでもよい。私的空間の各々は、複数のユーザのなかの個々のユーザに例えば上述のように関連付けられる。

記録されたもしくは合成された音声と電子メールとが関連付けられ、その音声が届け先でひとつ以上の画像と共に提供されてもよい。アバター画像は、特に電子メールのために生成されるアバターのアニメーションを含んでもよい。そのアニメーションは届け先で、例えば電子メールの添付を自己解凍することによって提示されてもよい。加えて、ひとつ以上のジェスチャがアバターのアニメーションに例えば上述のようにマッピングされてもよい。電子メールメッセージの発信元の音声かつ／またはビデオを記録しその音声かつ／またはビデオのひとつ以上の特徴要素をアニメーション中のアバターのひとつ以上の特徴要素にマッピングすることによって、ジェスチャはマッピングされてもよい。

ある実施の形態では、テーマとアニメーションのなかでの仮想カメラの動きとが関連付けられてもよい。限定を加えるものではない例として、テーマは、仮想カメラのアングルの選択やトラッキングやパンや傾斜やズームやクローズアップや擬似光などを含んでもよい。仮想カメラの位置は固定されてもよいし動いてもよい。加えて、テーマはアバターに対して背景描写を選択することを含んでもよい。

ある実施の形態では、電子メールを作成することは、例えば上述のように発信元の感情の状態を追跡し、その感情の状態をテーマにマッピングすることを含んでもよい。例えば、穏やかなもしくは静かな感情の状態は、固定されたカメラ位置もしくは仮想カメラの比較的遅い移動によって特徴付けられるテーマにマッピングされてもよい。動揺もしくは興奮の感情の状態は、がたがたしたカメラの動きや極度のクローズアップや厳しいカメラのアングルなどによって特徴付けられるテーマにマッピングされてもよい。

上述のタイプのアバター電子メール通信は、例えば図１Ｅのシステム２０かつ／または図１Ｆおよび図２Ａのマルチメディア装置１０２を適切に設定することによって、実現されうる。

本発明の実施形態によれば、上述のタイプの仮想世界システムおよび方法は、クライアント装置２８および例えばシステム２０の要素によって生成される仮想世界とやりとりするためのユーザインタフェースとしてコンソールビデオゲーム装置を使用することで実装されうる。図３に示される通り、コンソールビデオゲーム装置３００は、プロセッサ３０１とメモリ３０２（例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭなど）を備える。加えて、ビデオゲーム装置３００は、並列処理が実装されるのであれば、複数のプロセッサ３０１を備えてもよい。メモリ３０２はデータとゲームプログラムコード３０４を備え、上述のように仮想世界とのユーザのやりとりを容易とする部分を備える。具体的には、メモリ３０２は上述したような保存コントローラ経路情報を含む慣性信号データ３０６を備えてもよい。メモリ３０２は、保存ジェスチャデータ３０８、例えば、ゲームプログラム３０４に関連した一つ以上のジェスチャを表すデータなどを含んでもよい。プロセッサ３０２上で実行されるコード化されたインストラクションは、上述のように構成され機能する複数入力型ミキサ３０５を使用してもよい。

システム３００はまた、入出力（Ｉ／Ｏ）要素３１１、電源（Ｐ／Ｓ）３１２、クロック（ＣＬＫ）３１３およびキャッシュ３１４などの公知のサポート機能３１０を備えてもよい。装置３００は任意に、プログラムおよび／またはデータ保存のためのディスクドライブ、ＣＤ−ＲＯＭドライブ、テープドライブなどの大容量記憶装置３１５を備えてもよい。コントローラは任意に、装置３００とユーザとのやりとりを容易にするために、ディスプレイ部３１６と入力部３１８を備えてもよい。ディスプレイ部３１６は、テキスト、数値、グラフ記号や画像を表示する陰極線管（ＣＲＴ）、またはフラットパネルスクリーンの形であってもよい。ユーザインタフェース３１８は、キーボード、マウス、ジョイスティック、ライトペンや他の装置を備えてもよい。また、ユーザ入力３１８は分析対象の信号を直接取り込むために、マイクロホン、ビデオカメラ、またはその他の信号変換装置を備えてもよい。装置３００は、仮想世界のサーバや他の同様に設定された装置とインターネットなどのネットワークを介して通信できるようにネットワークインタフェース３１９を含んでもよい。装置３００のプロセッサ３０１、メモリ３０２、ユーザ入力３１８、ネットワークインタフェース３１９および他の部品は図３に示すように、システムバス３２０を介して、互いに信号（例えばコード化されたインストラクションおよびデータ）を交換してもよい。

マイクロホン配列３２２は、入出力装置３１１を介してシステム３００に接続されてもよい。マイクロホン配列は、約２〜約８個のマイクロホン、好ましくは約４個を、隣接するマイクロホンとは約４ｃｍ未満、好ましくは約１〜２ｃｍの距離離間して備えてもよい。好適には、配列３２２のマイクロホンは無指向性マイクロホンである。オプションである撮像装置３２３（例えばデジタルカメラ）は、入出力装置３１１を介して装置３００に接続されてもよい。撮像装置の位置決めを制御するために、一つ以上の位置決めアクチュエータ３２５がカメラに機械的に接続されてもよい。これらのアクチュエータ３２５は、入出力装置３１１を介してプロセッサ３０１との間で信号を交換してもよい。

本明細書では、「入出力装置」という用語は、概して装置３００との間および周辺装置との間でデータを送受信するプログラム、操作または装置のいずれかを指す。すべてのデータ送受信は、ある装置からの出力と別の装置への入力と考えてよい。周辺装置には、キーボードやマウスなどの入力専用装置、プリンタなどの出力専用装置に加えて、入力装置および出力装置の両方として作動できる書き込み可能ＣＤ-ＲＯＭなどの装置が含まれてもよい。「周辺装置」という用語には、マウス、キーボード、プリンタ、モニタ、マイクロホン、ゲームコントローラ、カメラ、外部Ｚｉｐドライバまたはスキャナなどの外部装置に加えて、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブまたは内部モデムなどの内部装置、または、フラッシュメモリリーダ／ライタやハードドライブなどの他の周辺装置が含まれる。

本発明のある実施形態では、装置３００は、有線（例えばＵＳＢケーブル）または無線、例えば赤外線もしくはラジオ周波数（ブルートゥースなど）接続の使用、を通じて入出力装置３１１を介してプロセッサに接続されたコントローラ３３０を具備してもよい。コントローラ３３０は、ビデオゲームプレイ中に通常使用されるコントロール信号を提供するアナログジョイスティックコントロール３３１と既知のボタン３３３を具備してもよい。そのようなビデオゲームは、メモリ３０２、または大容量記憶装置３１５に関連する他のプロセッサ読み取り可能媒体に保存されるプログラム３０４からの、プロセッサ読み取り可能データおよび／またはインストラクションとして実装されてもよい。

ジョイスティックコントロール３３１は、通常、コントロールスティックを左右に動かすとＸ軸沿いの動きの信号を発信し、前後（上下）に動かすとＹ軸沿いの信号を発信するように構成されていてもよい。３次元の動き用に構成されたジョイスティックでは、スティックを左（反時計回り）または右（時計回り）に捻るとＺ軸沿いの動きの信号を発信してもよい。これらＸ，Ｙ，Ｚの３軸は、特に航空機に関する場合に、それぞれロール、ピッチ、ヨーと呼ばれることがある。

従来の特徴に加えて、コントローラ３３０は、一つ以上の慣性センサ３３２を備えてもよい。慣性センサ３３２は、慣性信号を介して位置情報および／または方向情報をプロセッサ３０１に提供できる。方向情報には、コントローラ３３０の傾き、ロールまたはヨーなどの角度情報が含まれていてもよい。例示として、慣性センサ３３２には、任意の数の加速度計、ジャイロスコープまたは傾斜センサ、またはこれらの任意の組み合わせが含まれていてもよい。好適な実施形態では、慣性センサ３３２には、傾斜およびロール軸に対するジョイスティックコントローラの方向を検知するように適応された傾斜センサ、ヨー軸沿いの加速度を検知するように適応された第１の加速度計、およびヨー軸に対する角加速度を検知するように適応された第２の加速度計を備える。加速度計は、例えば、一つ以上のばねで取り付けられた質量と一つ以上の方向に対する質量の変位を検知するセンサとを備えるＭＥＭＳ装置として実装されてもよい。質量の変位に依存するセンサからの信号は、ジョイスティックコントローラ３３０の加速度決定に用いられてもよい。そのような技術は、メモリ３０２に保存されプロセッサ３０１によって実行されるゲームプログラム３０４からのインストラクションによって実現される。

例示として、慣性センサ３３２として適した加速度計は、例えば、ばねなどで、フレームに３〜４点で伸縮自在に接続された単一の質量であってもよい。ピッチ軸とロール軸は、ジョイスティックコントローラ３３０に設けられたフレームと交差する面に存在する。フレーム（およびジョイスティックコントローラ３３０）がピッチ軸、ロール軸の回りを回転するにつれて、質量が重力の影響下で変位し、ばねがピッチ角および／またはロール角に依存する態様で伸縮する。質量の変位が検知され、ピッチ量および／またはロール量に依存した信号に変換される。ヨー軸回りの角加速度またはヨー軸沿いの線形加速度は、ばねの伸縮または質量の動きの特徴的なパターンを生成し、それらのパターンは検知されて角加速度量または線形加速度量に応じた信号に変換される。そのような加速度計装置は、質量の動きおよびばねの伸縮力を追跡することによって、傾斜、ヨー軸回りのロール角加速度およびヨー軸沿いの線形加速度を計測できる。質量の位置および／またはそれに働く力を追跡する方法には多くの違った方法があり、それらの方法には、抵抗歪みゲージ、音響センサ、磁気センサ、ホール効果素子、圧電素子、容量センサなどが含まれる。

また、ジョイスティックコントローラ３３０は、発光ダイオード（ＬＥＤ）などの光源３３４を一つ以上含んでもよい。光源３３４は、コントローラを他のコントローラと識別するために用いられる。例えば、一つ以上のＬＥＤがあれば、ＬＥＤのパターンコードをぱっと光らせたり保持することで識別できる。例示として、ジョイスティックコントローラ３３０上に５個のＬＥＤが直線または２次元模様で設けることができる。ＬＥＤを直線状に配列することが好ましいが、他の方法として、四角形またはアーチ状に配置して、撮像装置３２３で得られたＬＥＤパターン画像の分析時に、ＬＥＤ配列の画面の決定を容易にするようになされてもよい。さらに、ＬＥＤパターンコードは、ゲームプレイ中のジョイスティックコントローラ３３０の位置決定にも使用できる。例えば、ＬＥＤは、コントローラの傾斜、ヨーおよびロールの特定を助けることができる。この検出パターンによって、例えば飛行機ゲームなどのゲームで、ユーザによりよい感情を提供できる。撮像装置３２３は、ジョイスティックコントローラ３３０と光源３３４を含む像を撮影してもよい。そのような画像を分析すると、ジョイスティックコントローラの位置および／または方向が決定できる。そのような分析は、メモリ３０２に保存されプロセッサ３０１で実行されるプログラムコードインストラクション３０４によって実現されてもよい。撮像装置３２３による光源３３４の撮像を容易にするために、光源３３４は、ジョイスティックコントローラ３３０の複数の異なる端部、例えば、前方と後方に配置してもよい（影として示す）。そのような配置することによって、撮像装置３２３は、ユーザのジョイスティックコントローラ３３０の保持の仕方に応じたジョイスティックコントローラ３３０の種々の方向に対して、光源３３４の像を得ることができる。

さらに、光源３３４は、例えば、パルスコード、振幅変調または周波数変調フォーマットでテレメトリ信号をプロセッサ３０１に提供してもよい。そのようなテレメトリ信号は、いずれのジョイスティックボタンが押されているか、および／またはどれ位強くボタンが押されているかを表してもよい。テレメトリ信号は、例えばパルス符号化、パルス幅変調、周波数変調または光強度（振幅）変調などによって、光信号に符号化されてもよい。プロセッサ３０１は、光信号からテレメトリ信号を復号化し、復号化されたテレメトリ信号に応じてゲームコマンドを実行してもよい。テレメトリ信号は、撮像装置３２３で得られたジョイスティックコントローラ３３０の画像の分析から復号化されてもよい。または、装置３０１は、光源３３４からのテレメトリ信号受信専用の独立した光学センサを具備してもよい。コンピュータプログラムとのインタフェースにおける強度決定に併せてのＬＥＤの使用は、例えば、２００６年５月４日出願の米国特許出願番号１１／４２９，４１４、名称「ＵＳＥ ＯＦ ＣＯＭＰＵＴＥＲ ＩＭＡＧＥ ＡＮＤ ＡＵＤＩＯ ＰＲＯＣＥＳＳＩＮＧ ＩＮ ＤＥＴＥＲＭＩＮＩＮＧ ＡＮ ＩＮＴＥＮＳＩＴＹ ＡＭＯＵＮＴ ＷＨＥＮ ＩＮＴＥＲＦＡＣＩＮＧ ＷＩＴＨ Ａ ＣＯＭＰＵＴＥＲ ＰＲＯＧＲＡＭ」（代理人事件番号ＳＯＮＹＰ０５２）、発明者Ｒｉｃｈａｒｄ Ｌ． Ｍａｒｋｓ他に開示されており、その開示内容は全体として、参照により本明細書に援用される。また、光源３３４を含む画像の分析は、テレメトリおよびジョイスティックコントローラ３３０の位置および／または方向の決定にも用いることができる。そのような技術は、メモリ３０２に保存されプロセッサ３０１によって実行されるプログラム３０４のインストラクションによって実現されてもよい。

プロセッサ３０１は、撮像装置３２３で検出された光源３３４からの光信号、および／またはマイクロホン配列３２２によって検出された音響信号からの音源場所と音源特性情報と共に、慣性センサ３３２からの慣性信号を用いて、コントローラ３３０および／またはユーザの場所および／または方向に関する情報を推測してもよい。例えば、「音響レーダ」の音源場所およびその特性は、マイクロホン配列３２２と共に用いられて、ジョイスティックコントローラの動きが（慣性センサ３３２および／または光源３３４を通して）独立に追跡されている間、移動音源を追跡する。音響レーダにおいて、較正済み聴取領域が実行時間中に選択されてもよい。較正済み聴取領域以外の音源から発生した音はフィルタされて除かれてもよい。較正済み聴取領域は、撮像装置３２３の焦点または視野にある音量に対応した聴取領域を含んでいてもよい。音響レーダの例は、米国特許出願番号１１／３８１，７２４、発明者Ｘｉａｄｏｎｇ Ｍａｏ、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＡＲＧＥＴＥＤ ＳＯＵＮＤ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ」、２００６年５月４日出願、に開示されており、その開示内容は参照により本明細書に援用される。

コントロール信号をプロセッサ３０１に供給するための種々の形態を種々組み合わせたものも、本発明の実施形態と併せて用いられてもよい。そのような技術は、メモリ３０２に保存されプロセッサ３０１で実行されるプログラムコードインストラクション３０４によって実現されてもよく、また、任意に、実行時間中は較正済み聴取領域を選択し、較正済み聴取領域以外の音源から発生した音はフィルタをかけて除くための一つ以上のプロセッサを指揮する一以上の指令を含んでもよい。較正済み聴取領域は、撮像装置３２３の焦点または視野にある音量に対応した聴取領域を含んでいてもよい。

プログラム３０４は任意に、マイクロホン配列３２２のマイクロホンＭ_０…Ｍ_Ｍから離散時間領域入力信号Ｘｍ（t）を生成し、聴取セクタを決定し、有限インパルス応答フィルタ係数を選択するセミブラインド（ｓｅｍｉ−ｂｌｉｎｄ）音源分離において聴取セクタを用いて、入力信号Ｘｍ(t)から異なる音源を分離する一つ以上のプロセッサを指揮する一以上のインストラクションを含んでもよい。プログラム３０４は、基準マイクロホンＭ_０からの入力信号Ｘ_０（ｔ）以外の選択入力信号Ｘｍ（ｔ）に、一つ以上の非整数遅延（ｆｒａｃｔｉｏｎａｌ ｄｅｌａｙ）を適用するインストラクションをさらに備えてもよい。マイクロホン配列からの離散時間領域出力信号ｙ（ｔ）の信号対雑音比を最適化するために、各非整数遅延が選択されてもよい。非整数遅延は、基準マイクロホンＭ_０からの信号が、配列の他のマイクロホンからの信号に対して最初であるように選択されてもよい。プログラム３０４は、非整数遅延Δを、ｙ（ｔ＋Δ）＝Ｘ（ｔ＋Δ）＊ｂ_０＋Ｘ（ｔ−１＋Δ）＊ｂ_１＋Ｘ（ｔ−２＋δ）＊ｂ_２＋…＋Ｘ（ｔ−Ｎ＋Δ）ｂ_Ｎとなるようにマイクロホン配列の出力信号ｙ（ｔ）に導入するインストラクションを含んでもよい。ここで、Δは０〜±１である。そのような技術の例は、２００６年５月４日出願の米国特許出願番号１１／３８１，７２９、名称「ＵＬＴＲＡ ＳＭＡＬＬ ＭＩＣＲＯＰＨＯＮＥ ＡＲＲＡＹ」、発明者Ｘｉａｄｏｎｇ Ｍａｏ、に詳細に開示されており、その開示内容は参照により本明細書に援用される。

プログラム３０４は、実行されると、システム３００に、音源を含んだ事前較正済み聴取領域を選択させる一つ以上のインストラクションを含んでもよい。そのようなインストラクションによって、音源が最初の領域内にあるか、またはその領域の特定の側にあるか否かを装置が判断するようになされていてもよい。音源が初期設定領域内に存在しない場合、インストラクションは、実行時に、初期設定領域の特定の側にある別の領域を選択してもよい。別の領域は、最適値に最も近い入力信号の減衰によって特徴付けられてもよい。これらのインストラクションは、実行されると、マイクロホン配列３２２からの入力信号の減衰と最適値への減衰を計算してもよい。インストラクションは、実行されると、装置３００が、一つ以上の領域に対する入力信号の減衰値を決定し、減衰が最適値に最も近い領域を選択するようになされてもよい。そのような技術の例は、２００６年５月４日出願の米国特許出願番号１１／３８１，７２５、名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＡＲＧＥＴＥＤ ＳＯＵＮＤ ＤＥＴＥＣＴＩＯＮ」、発明者Ｘｉａｄｏｎｇ Ｍａｏに開示されており、その開示内容は参照により本明細書に援用される。

慣性センサ３３２からの信号は追跡情報入力の一部を提供し、撮像装置３２３による一つ以上の光源３３４の追跡から生成された信号は追跡情報入力の別の部分を提供する。例示として、またいかなる限定を行うことなく、そのような「混合モード」の信号は、フットボールタイプのビデオゲームで用いられ、ここでは、クォータバックが頭を左に動かすフェイントをかけた後ボールを右に投げる。具体的には、コントローラ３３０を保持したゲームプレイヤは、頭を左に向け、フットボールでするように、コントローラを右に振って投げる動作をしながら声を出す。「音響レーダ」プログラムコードと併せて、マイクロホン配列３２０はユーザの声を追跡できる。撮像装置３２３は、ユーザの頭の動きや、または、音やコントローラを必要としない他のコマンドを追跡できる。センサ３３２はジョイスティックコントローラ（フットボールを表す）の動きを追跡してもよい。撮像装置３２３はまた、コントローラ３３０の光源３３４を追跡してもよい。ユーザは、ジョイスティックコントローラ３３０の加速度がある量、および／またはある方向に達したとき、またはコントローラ３３０のボタンを押してトリガされるキーコマンドに基づいて、「ボール」を投げることができる。

本発明のある実施形態では、加速度計またはジャイロスコープなどからの慣性信号は、コントローラ３３０の位置決めに用いられてもよい。具体的には、加速度計からの加速度信号は、速度変化を決定するために一旦時間積分されてもよく、速度は位置変化を決定するために時間積分されてもよい。ある時刻における初期位置と速度が既知であれば、これらの値と速度および位置変化とを用いて絶対位置を決定できる。慣性センサを用いた位置決定は、撮像装置３２３や光源３３４を用いる方法よりも早く行えるが、慣性センサ３３２は「ドリフト」として知られるタイプの誤差が起こりやすい。これは、時間と共に累積される誤差によって、慣性信号から計算されるジョイスティック３３０の位置（透視図で示す）とジョイスティックコントローラの実際の位置との間で不一致Ｄが生じうる現象である。本発明の実施形態では、様々な方法でそのような誤差を処理できる。

例えば、コントローラ３３０の初期位置を現在の計算位置と等しくなるように設定することにより、ドリフトを手動でキャンセルすることができる。ユーザは、コントローラ３３０の一つ以上のボタンを使って、初期位置を再設定するコマンドをトリガできる。あるいはまた、画像ベースのドリフトであれば、撮像装置３２３から得られた基準となる画像から決定される位置に現在位置を再設定することによりキャンセルすることができる。そのような画像ベースのドリフトに対する補償は、例えば、ユーザがジョイスティックコントローラ３３０の一つ以上のボタンをトリガするときに、手動で行うことができる。または、画像ベースのドリフトに対する補償は、例えば、一定の間隔で、またはゲームプレイに応じて自動的に行える。そのような技術は、メモリ３０２に保存されプロセッサ３０１によって実行されるプログラムコードインストラクション３０４によって実現される。

ある実施形態では、慣性センサ信号の誤りデータを補正することが望ましい。例えば、慣性センサ３３２からの信号をオーバーサンプリングし、オーバーサンプリングされた信号から移動平均（ｓｌｉｄｉｎｇ ａｖｅｒａｇｅ）を計算して、慣性センサ信号から誤りデータを取り除くことができる。ある状況では、信号をオーバーサンプリングし、高い値および／または低い値をデータポイントの一部のサブセットから除き、残りのデータポイントから移動平均を計算することが望ましい。また、慣性センサからの信号を調節して誤りデータから優位性を除去または軽減する他のデータサンプリング技術やデータ処理技術も使用できる。いずれの技術を選択するかは、信号の性質、信号に対しての計算、ゲームプレイの性質、またはこれらの複数の組み合わせに依存する。そのような技術は、メモリ３０２に保存されプロセッサ３０１によって実行されるプログラム３０４のインストラクションによって実現される。

プロセッサ３０１は、上述のように、データ３０６と、メモリ３０２に保存、検索されプロセッサモジュール３０１によって実行されるプログラム３０４のプログラムコードインストラクションとに応じて、慣性信号データ３０６の分析を実行する。加えて、プロセッサは、プログラム３０４の一部として、上述の仮想世界シミュレーション機能を実装してもよい。特に、プログラム３０４は、種々の上述の仮想世界と通信するための方法かつ／または上述の３次元仮想世界とやりとりするための方法かつ／または上述のアバター電子メール通信の全てまたは一部を実装してもよい。プログラム３０４のコード部分は、アセンブリ、Ｃ＋＋、ＪＡＶＡ（登録商標）またはその他の多くの言語などの多くの異なるプログラム言語のいずれにも準拠してよい。プロセッサモジュール３０１は、プログラムコード３０４などのプログラムを実行するときに専用コンピュータとなる汎用コンピュータを形成する。ここでは、プログラムコード３０４はソフトウェアに組み込まれ、汎用コンピュータで実行されるように説明したが、当業者には、タスク管理方法は、別の方法として、特定用途向け集積回路（ＡＳＩＣ）やその他のハードウェア回路などのハードウェアを用いて実現されることは理解されるであろう。このように、本発明の実施形態は、全体であれ一部分であれ、ソフトウェア、ハードウェアおよびその両方の組み合わせで実現されることは理解されるべきである。

ある実施形態では、とりわけ、プログラムコード３０４は、ひとつ以上のプロセッサに慣性センサ３３２からの信号を解析させて位置かつ／または方向情報を生成させ、その情報をビデオゲームのプレイ中や仮想世界との通信中、３次元仮想世界とやりとりの間に使用せしめる、プロセッサ読み取り可能なインストラクションセットを備えてもよい。プログラムコード３０４は、実行されると、撮像装置３２３に、前方の視野を監視し、視野内の一つ以上の光源３３４を特定し、光源３３４からの光の変化を検出させ、変化の検出に応じてプロセッサ３０１に対する入力コマンドをトリガさせる、一つ以上のインストラクションを含んだプロセッサ実行可能インストラクションを任意に備えてもよい。ゲームコントローラのアクションをトリガするために撮像装置と共にＬＥＤを使用することは、２００４年１月１６日出願の米国特許出願番号１０／７５９，７８２の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＬＩＧＨＴ ＩＮＰＵＴ ＤＥＶＩＣＥ」、発明者Ｒｉｃｈａｒｄ Ｌ． Ｍａｒｋｓに開示されており、その開示内容は参照により本明細書に援用される。

プログラムコード３０４は、実行されると上述のように、ゲームシステムへの入力として、慣性センサからの信号と一つ以上の光源を追跡する撮像装置からの信号とを用いる一つ以上のインストラクションを含むプロセッサ実行可能なインストラクションを、任意に含んでもよい。プログラムコード３０４は、実行されると、慣性センサ３３２のドリフトを補償する一つ以上のインストラクションを含むプロセッサ実行可能なインストラクションを、任意に備えてもよい。

本発明の実施形態をビデオゲームコントローラ３３０に関連する例として記述したが、システム３００を含む本発明の実施形態は、慣性センシング能力を有し、かつ無線であれそれ以外の方法であれ慣性センサ信号送信能力を有するユーザにより操作される本体、成型品、ノブ、または構造物などのいずれにも使用することができる。

例示として、本発明の実施形態は、並列処理システムに実装することができる。このような並列処理システムは、通常、別々のプロセッサを用いて並列にプログラムの一部を実行するように構成される複数のプロセッサを備える。例示として、また限定を行うことなく、図４は本発明の実施形態によるあるタイプのセルプロセッサ４００を示す。セルプロセッサ４００は、図３のプロセッサ３０１として、または図１Ｅのシミュレーションサーバ２２やビューサーバ２４のなかに使用することができる。図４の例では、セルプロセッサ４００は、メインメモリ４０２、パワープロセッサ要素（ｐｏｗｅｒ ｐｒｏｃｅｓｓｏｒ ｅｌｅｍｅｎｔ：ＰＰＥ）４０４、および多数のシナジスティックプロセッサ要素（ｓｙｎｅｒｇｉｓｔｉｃ ｐｒｏｃｅｓｓｏｒ ｅｌｅｍｅｎｔ：ＳＰＥ）４０６を備える。図４の例では、セルプロセッサ４００は、１個のＰＰＥ４０４と８個のＳＰＥ４０６とを備える。このような構成では、７個のＳＰＥ４０６が並列処理に用いられ、１個は他の７個の一つが故障したときのバックアップとして確保されている。あるいはまた、セルプロセッサは、複数のＰＰＥからなる複数のグループ（ＰＰＥグループ）と、複数のＳＰＥからなる複数のグループ（ＳＰＥグループ）とを備えてもよい。そのような場合、１グループ内の各ユニットでハードウェアリソースが共有される。しかしながら、ＳＰＥとＰＰＥは、ソフトウェアにとって独立要素であるように見える必要がある。このように、本発明の実施形態は、図４に示される構成での使用に限定されるものではない。

メインメモリ４０２は、通常、汎用の不揮発性記憶装置に加えて、システム構成、データ同期転送、メモリーマップドＩ／Ｏ、およびＩ／Ｏサブシステムなどの機能に用いられる専用のハードウェアレジスタまたはアレイも備える。本発明の実施形態では、ビデオゲームプログラム４０３がメインメモリ４０２内に常駐してもよい。ビデオプログラム４０３は、図４、図５Ａ、図５Ｂおよび図５Ｃについて上述したような、またはこれらの組み合わせで構成される慣性、画像および音響分析部を含んでもよい。プログラム４０３はＰＰＥ上で走ってもよい。プログラム４０３は、ＳＰＥおよび／またはＰＰＥで実行される複数の信号処理タスクに分割されてもよい。

例示として、ＰＰＥ４０４は、関連するキャッシュＬ１およびＬ２を持った６４ビットのパワーＰＣプロセッサユニット（ＰＰＵ）であってもよい。ＰＰＥ４０４は、システム管理リソース（例えば、メモリ保護テーブルなど）にアクセス可能な汎用処理装置である。ハードウェアリソースは、ＰＰＥに見られるように実アドレス空間に明示的にマップされてもよい。したがって、ＰＰＥは適当な実効アドレス値を用いて、直接これらのリソースのいずれにでもアドレス指定できる。ＰＰＥ４０４の主な機能は、セルプロセッサ４００のＳＰＥ４０６に対するタスク管理とタスク割り当てである。

図４では１個のＰＰＥだけが示されているが、セルブロードバンドエンジンアーキテクチャ（ＣＢＥＡ）などのセルプロセッサ実装では、セルプロセッサ４００は、複数のＰＰＥが存在するＰＰＥグループに系統だてられた複数のＰＰＥを有してもよい。これらのＰＰＥグループはメインメモリ４０２へのアクセスを共有してもよい。さらに、セルプロセッサ４００は二つ以上のＳＰＥを備えてもよい。ＳＰＥグループもメインメモリ４０２へのアクセスを共有してもよい。このような構成も本発明の範囲内である。

ＳＰＥ４０６のそれぞれは、ＳＰＵと独自のローカル記憶領域ＬＳとを含む。ローカル記憶領域ＬＳは、メモリ記憶内の一つ以上の分離領域を備えており、それぞれの領域は専用のＳＰＵと関連付けられている。各ＳＰＵは、独自の関連付けられた記憶領域内からのインストラクション（データロードとデータ保存操作とを含む）だけを実行するように構成されてもよい。そのような構成では、ローカル記憶領域ＬＳとシステム４００のそれ以外の間とのデータ転送は、メモリフローコントローラ（ＭＦＣ）からダイレクトメモリアクセス（ＤＭＡ）コマンドを出すことによって行われ、（個々のＳＰＥの）ローカル記憶領域との間でデータ転送される。なんらシステム管理機能を果たさないＳＰＵは、ＰＰＥ４０４よりは簡単な構造のコンピュータ装置である。ＳＰＵは、一般にＳＩＭＤ（ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｄａｔａ）機能を有し、通常はデータ処理を行い、割り当てられたタスクを行うために（ＰＰＥにより設定されたアクセス特性にしたがって）要求されたデータ転送を開始する。ＳＰＵの目的は、より高いコンピュータ装置密度を要求するアプリケーションを可能として、提供された命令セットを有効に利用できるようにすることである。ＰＰＥ４０４で管理されるシステムにおけるかなり多くのＳＰＥは、広範囲のアプリケーションにおいて費用効果の高い処理を可能にする。

各ＳＰＥ４０６は、メモリ保護情報とアクセス許可情報を保持し処理できる関連メモリ管理ユニットを備えた専用のメモリフローコントローラ（ＭＦＣ）を備えている。ＭＦＣは、セルプロセッサのメイン記憶とＳＰＥのローカル記憶間でのデータ転送、保護および同期化のための主要な方法を提供する。ＭＦＣコマンドは実行される転送を記述する。データ転送コマンドは、ＭＦＣダイレクトメモリアクセス（ＤＭＡ）コマンド（またはＭＦＣＤＭＡ命令）と呼ばれることがある。

各ＭＦＣは、同時に複数のＤＭＡ転送をサポートし、複数のＭＦＣコマンドを維持、処理してもよい。各ＭＦＣＤＭＡデータ転送コマンド要求は、ローカルストレージアドレス（ＬＳＡ）と有効アドレス（ＥＡ）の両方を伴ってもよい。ローカルストレージアドレスは、関連するＳＰＥのローカルストレージアドレスだけに直接アドレス指定できる。実効アドレスは、例えば、実アドレス空間に名前を変えられれば、すべてのＳＰＥローカルストレージ領域を含むメイン記憶を参照できるなどの、もっと一般的なアプリケーションを備えてもよい。

ＳＰＥ４０６同士の間、および／またはＳＰＥ４０６とＰＰＥ４０４との間の通信を容易にするために、ＳＰＥ４０６とＰＰＥ４０４は、シグナリングイベントに関する信号通知レジスタを備えてもよい。ＰＰＥ４０４とＳＰＥ４０６は、ＰＰＥ４０４がＳＰＥ４０６にメッセージを送信するルータのように働くスター構成（ｔｏｐｏｌｏｇｙ）によって接続されてもよい。代替的に、各ＳＰＥ４０６とＰＰＥ４０４は、メールボックスと呼ばれる一方向信号通知レジスタを有してもよい。メールボックスは、ＳＰＥ４０６によって使用されＯＳの同期操作を主催する。

セルプロセッサ４００は、マイクロホン配列４１２、任意の撮像装置４１３およびゲーム／仮想世界コントローラ７３０などの周辺装置とインタフェースできる入出力（Ｉ／Ｏ）機能を備えてもよい。コントローラユニット７３０は慣性センサ７３２と光源７３４を備えてもよい。さらに、要素相互接続バス４１０は、上記に挙げた種々の部品を接続できる。各ＳＰＥおよびＰＰＥは、バスインタフェースユニット（ＢＩＵ）を介してバス４１０にアクセスできる。セルプロセッサ４００は、通常プロセッサに見られる二つのコントローラと、バス４１０とメインメモリ４０２の間のデータ流れを制御するメモリインタフェースコントローラ（ＭＩＣ）と、Ｉ／Ｏ４０８とバス４１０の間のデータ流れを制御するバスインタフェースコントローラ（ＢＩＣ）とを備えてもよい。ＭＩＣ、ＢＩＣ，ＢＩＵおよびバス４１０に対する要件は、実装が異なると大きく変わるが、当業者はそれらの機能および実装回路については精通しているだろう。

セルプロセッサ４００は、内部割り込みコントローラ（ＩＩＣ）を備えてもよい。ＩＩＣ装置は、ＰＰＥに提示される割り込みの優先権を管理する。ＩＩＣによって、セルプロセッサ４００の他の要素からの割り込みを、メインシステムの割り込みコントローラを用いずに処理できる。ＩＩＣは第２レベルのコントローラと考えることもできる。メインシステムの割り込みコントローラは、セルプロセッサの外部で発生した割り込みを処理してもよい。

本発明の実施形態では、仮想世界とのやりとりを容易とするための計算は、ＰＰＥ４０４および／または一つ以上のＳＰＥ４０６を用いて並列に実行されてもよい。各計算は、異なるＳＰＥ４０６がそれらが使用可能となるにつれて請け負う一つ以上の別々のタスクとして実行されてもよい。

上記は、本発明の好適な実施形態に関する完全な記述であるが、種々の変形、変更および等価物を用いることが可能である。したがって、本発明の技術範囲は、上記の内容を参照して決定されるべきではなく、その代わりに、添付の特許請求の範囲およびそれらの等価物の全範囲と併せて決定されるべきである。本明細書で説明した好適なまたはそれ以外のすべての特徴は、本明細書に記載された他の好適なまたはそれ以外のいかなる特徴とも組み合わせることができる。特許請求の範囲においては、不定冠詞“Ａ”または“Ａｎ”は、特にそうでないと明確に述べられた場合を除いて、冠詞に続く品目の一つ以上の数量を指す。添付の特許請求の範囲は、”ｍｅａｎｓ ｆｏｒ”の句を使って明確にそのような限定が行われない限り、ミーンズプラスファンクションの限定が含まれると解釈されるべきではない。

Claims (169)

1. 仮想世界とコミュニケーションを取るための方法であって、前記仮想世界は複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられ、前記方法は、
   前記仮想世界のなかで通信装置をシミュレートすることと、
   前記シミュレートされた通信装置と現実の通信装置との間で通信を行うこと、を含む方法。
2. 前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、請求項１に記載の方法。
3. 前記通信装置をシミュレートすることは、
   前記シミュレートされた通信装置のインタフェースを前記仮想世界のなかでシミュレートすることと、
   そこでやりとりを行わせるために、前記シミュレートされたインタフェースをユーザに提示することと、を含む、請求項１に記載の方法。
4. 前記公共空間は、ロビーに似せて設けられる、請求項１に記載の方法。
5. 前記ひとつ以上の私的空間は、部屋に似せて設けられたひとつ以上の私的空間を含む、請求項１に記載の方法。
6. 前記シミュレートされた通信装置は、シミュレートされたハンドヘルド通信装置である、請求項１に記載の方法。
7. 前記シミュレートされたハンドヘルド通信装置は、シミュレートされた電話機、シミュレートされた移動電話機、シミュレートされたテキストメッセージ装置、シミュレートされた電子メール装置、もしくはシミュレートされたツーウェイラジオである、請求項６に記載の方法。
8. 前記現実の通信装置は、現実のハンドヘルド通信装置である、請求項１に記載の方法。
9. 前記現実のハンドヘルド通信装置は、現実の電話機、現実の移動電話機、現実のテキストメッセージ装置、現実の電子メール装置、もしくは現実のツーウェイラジオである、請求項８に記載の方法。
10. 前記シミュレートされた通信装置と前記現実の通信装置との間で通信を行うことは、現実の電話機とシミュレートされた電話機との間で電話をかけ合うことを含む、請求項１に記載の方法。
11. 前記シミュレートされた通信装置と前記現実の通信装置との間で通信を行うことは、前記シミュレートされた通信装置と前記現実の通信装置との間でひとつ以上のテキストメッセージを送り合うことを含む、請求項１に記載の方法。
12. 前記仮想世界の個々のユーザにアバターを関連付けることと、
    その個々のユーザの前記仮想世界とのやりとりを、ひとつ以上の対応するアバター動作によって表現すること、とをさらに含む請求項１に記載の方法。
13. 前記シミュレートされた通信装置と前記現実の通信装置との間で通信を行うことは、仮想通信装置コンテンツに前記現実の通信装置を用いてアクセスすることを含む、請求項１に記載の方法。
14. 前記仮想世界は、３次元の仮想世界である、請求項１に記載の方法。
15. 前記シミュレートされた通信装置と現実の通信装置との間で通信を行うことは、前記現実の通信装置を前記シミュレートされた通信装置とユーザとの間のインタフェースとして使用することを含む、請求項１に記載の方法。
16. 前記シミュレートされた通信装置と現実の通信装置との間で通信を行うことは、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っている場合に、前記受け側が前記仮想世界とやりとりを行うために使用している現実の装置上でシミュレートされた通信装置を介して前記受け側に連絡することと、を含む、請求項１に記載の方法。
17. 前記シミュレートされた通信装置と現実の通信装置との間で通信を行うことは、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っていない場合に、現実の通信装置もしくは前記受け側が前記仮想世界とやりとりを行うために使用している現実の装置上でシミュレートされた通信装置に前記受け側へのメッセージを残すことと、を含む、請求項１に記載の方法。
18. 前記シミュレートされた通信装置と現実の通信装置との間で通信を行うことは、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定することと、
    前記受け側が通信時に前記仮想世界とやりとりを行っていない場合に、前記受け側に現実の通信装置を介して連絡することと、を含み、
    前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、請求項１に記載の方法。
19. 仮想世界とコミュニケーションを取るための方法であって、前記仮想世界は複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられ、前記方法は、
    前記仮想世界の個々のユーザにアバターを関連付けることと、
    その個々のユーザの前記仮想世界とのやりとりを、ひとつ以上の対応するアバター動作によって表現することと、
    前記仮想世界と現実の通信装置との間で通信を行うことと、を含み、
    前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、方法。
20. 前記現実世界と前記仮想世界との間で通信を行うことは、前記現実の装置を介して前記アバター、前記公共空間もしくは前記私的空間に関連したひとつ以上の特性を変化させることを含む、請求項１９に記載の方法。
21. 前記仮想世界と現実の通信装置との間で通信を行うことは、前記現実の通信装置と前記仮想世界のなかでシミュレートされた通信装置との間で通信を行うことを含む、請求項１９に記載の方法。
22. 前記シミュレートされた通信装置と前記現実の通信装置との間で通信を行うことは、前記シミュレートされた通信装置と前記現実の通信装置との間でひとつ以上のテキストメッセージを送り合うことを含む、請求項２１に記載の方法。
23. 前記仮想世界と前記現実の通信装置との間で通信を行うことは、前記シミュレートされた通信装置と前記現実の通信装置との間に音声通信を確立することを含む、請求項２１に記載の方法。
24. 前記シミュレートされた通信装置と前記現実の通信装置との間に音声通信を確立することは、シミュレートされた電話機と現実の電話機との間で電話をかけ合うことを含む、請求項２３に記載の方法。
25. 前記現実の電話機は、前記シミュレートされた通信装置から電話を受けた際には特有の呼び出し音を生成し、
    前記特有の呼び出し音は、他から電話を受けた際に前記現実の電話機が生成する通常の呼び出し音とは異なる、請求項２４に記載の方法。
26. 前記シミュレートされた通信装置は、シミュレートされたビデオレコーダである、請求項２１に記載の方法。
27. 前記現実の通信装置と前記シミュレートされた通信装置との間で通信を行うことは、前記現実の通信装置を前記シミュレートされたビデオレコーダとユーザとの間のインタフェースとして使用することを含む、請求項２６に記載の方法。
28. 前記現実の通信装置をインタフェースとして使用することは、前記シミュレートされたビデオレコーダを現実のもしくはシミュレートされたビデオイベントを前記現実の通信装置を使用して記録するよう設定することを含む、請求項２６に記載の方法。
29. 前記現実の通信装置は、電話機、携帯電話機、携帯型ゲーム機、携帯情報端末、もしくは携帯型電子メール装置である、請求項２８に記載の方法。
30. 前記現実の通信装置と前記仮想通信装置との間で通信を行うことは、ビデオ通信を含む、請求項２１に記載の方法。
31. ビデオ通信は、そのビデオ通信の間、前記現実の通信装置に前記アバターの画像を表示することを含む、請求項３０に記載の方法。
32. 前記アバターを、そのアバターに関連付けられたユーザによって生成された現実のもしくは合成された音声にリップシンクさせることをさらに含む請求項３１に記載の方法。
33. 前記ユーザが示す感情を前記アバターが表す感情にマッピングすることをさらに含む請求項３２に記載の方法。
34. 前記ユーザが示す感情をマッピングすることは、前記ユーザのひとつ以上の画像を取得し、前記ユーザのひとつ以上の顔色を解析することを含む、請求項３３に記載の方法。
35. 前記ビデオ通信中に前記ユーザのひとつ以上の画像を取得し前記ユーザのひとつ以上の顔色を解析することは、３次元カメラを使用することを含む、請求項３４に記載の方法。
36. 前記ユーザが示す感情をマッピングすることは、前記ユーザの声の抑揚を解析することを含む、請求項３３に記載の方法。
37. 前記ユーザが示す感情をマッピングすることは、前記ビデオ通信のユーザ部分の間、前記ユーザの感情の状態を示す生物測定学的データを解析することを含む請求項３３に記載の方法。
38. 前記生物測定学的データは、心電計（ＥＫＧ）データ、脳波（ＥＥＧ）データ、皮膚電気反射データ、もしくはサーモグラフィデータを含む、請求項３７に記載の方法。
39. 前記ユーザが示す感情をマッピングすることは、前記ビデオ通信のユーザ部分の間、リアルタイムで前記ユーザの感情の状態を追跡することを含む、請求項３３に記載の方法。
40. 仮想世界とコミュニケーションを取るためのシステムであって、当該システムは仮想世界を生成するひとつ以上のプロセッサを備え、
    前記仮想世界は複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられ、
    前記ひとつ以上のプロセッサはさらに、
    前記仮想世界のなかで通信装置をシミュレートし、
    前記シミュレートされた通信装置と現実の通信装置との間で通信を行う、システム。
41. 前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、請求項４０に記載のシステム。
42. 前記公共空間は、ロビーに似せて設けられる、請求項４０に記載のシステム。
43. 前記ひとつ以上の私的空間は、部屋に似せて設けられたひとつ以上の私的空間を含む、請求項４０に記載のシステム。
44. 前記シミュレートされた通信装置は、シミュレートされたハンドヘルド通信装置である、請求項４０に記載のシステム。
45. 前記シミュレートされたハンドヘルド通信装置は、シミュレートされた電話機、シミュレートされた移動電話機、シミュレートされたテキストメッセージ装置、シミュレートされた電子メール装置、もしくはシミュレートされたツーウェイラジオである、請求項４４に記載のシステム。
46. 前記現実の通信装置は、現実のハンドヘルド通信装置である、請求項４０に記載のシステム。
47. 前記現実のハンドヘルド通信装置は、現実の電話機、現実の移動電話機、現実のテキストメッセージ装置、現実の電子メール装置、もしくは現実のツーウェイラジオである、請求項４６に記載のシステム。
48. 前記シミュレートされた通信装置は、現実の電話機と通信するシミュレートされた電話機である、請求項４０に記載のシステム。
49. 前記シミュレートされた通信装置は、ひとつ以上のテキストメッセージによって現実のテキストメッセージ装置と通信するシミュレートされたテキストメッセージ装置である、請求項４０に記載のシステム。
50. 前記シミュレートされた通信装置は、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っている場合に、前記受け側が前記仮想世界とやりとりを行うために使用している現実の装置上でシミュレートされた通信装置を介して前記受け側に連絡する、請求項４０に記載のシステム。
51. 前記シミュレートされた通信装置は、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っていない場合に、現実の通信装置もしくは前記受け側が前記仮想世界とやりとりを行うために使用している現実の装置上でシミュレートされた通信装置に前記受け側へのメッセージを残す、請求項４０に記載のシステム。
52. 前記シミュレートされた通信装置は、
    通信の受け側が前記仮想世界のユーザであるかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っているかどうかを決定し、
    前記受け側が通信時に前記仮想世界とやりとりを行っていない場合に、前記受け側に現実の通信装置を介して連絡し、
    前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、請求項４０に記載のシステム。
53. 前記ひとつ以上のプロセッサはさらに、
    前記仮想世界の個々のユーザにアバターを関連付け、
    その個々のユーザの前記仮想世界とのやりとりを、ひとつ以上の対応するアバター動作によって表現する、請求項４０に記載のシステム。
54. 前記ひとつ以上のプロセッサは、前記現実の通信が仮想通信装置コンテンツにアクセスできるように構成される、請求項４０に記載のシステム。
55. 前記仮想世界は、３次元の仮想世界である、請求項４０に記載のシステム。
56. 前記ひとつ以上のプロセッサは、前記現実の通信装置が前記シミュレートされた通信装置とユーザとの間のインタフェースとして使用されうるように構成される、請求項４０に記載のシステム。
57. 前記ひとつ以上のプロセッサはセルプロセッサを含む、請求項４０に記載のシステム。
58. 前記現実の通信装置は、電話機、携帯電話機、携帯情報端末、カメラ、ボイスレコーダ、携帯型電子メール装置、携帯型インターネットアクセス装置、携帯型ゲーム機、もしくはパーソナルコンピュータである、請求項４０に記載のシステム。
59. 前記ひとつ以上のプロセッサと接続されたユーザインタフェースをさらに備え、
    前記ユーザインタフェースは、前記ユーザと前記仮想世界との間のやりとりを容易にする、請求項４０に記載のシステム。
60. 仮想世界とコミュニケーションを取るためのシステムであって、当該システムは仮想世界を生成するひとつ以上のプロセッサを備え、
    前記仮想世界は複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられ、
    前記ひとつ以上のプロセッサはさらに、
    前記仮想世界の個々のユーザにアバターを関連付け、
    その個々のユーザの前記仮想世界とのやりとりを、ひとつ以上の対応するアバター動作によって表現し、
    前記仮想世界と現実の通信装置との間で通信を行い、
    前記現実の通信装置は、他の現実の通信装置と仮想世界を生成する前記ひとつ以上のプロセッサとは独立したひとつ以上の通信チャネルを通じて通信する、システム。
61. 前記ひとつ以上のプロセッサは、前記現実の装置によって生成される信号に応答して前記アバター、前記公共空間もしくは前記私的空間に関連したひとつ以上の特性を変化させる、請求項６０に記載のシステム。
62. 前記ひとつ以上のプロセッサは、前記現実の通信装置と前記仮想世界のなかでシミュレートされた通信装置との間の通信を容易にする、請求項６０に記載のシステム。
63. 前記ひとつ以上のプロセッサは、前記現実の通信装置と前記シミュレートされた通信との間の通信をひとつ以上のテキストメッセージによって容易にする、請求項６２に記載のシステム。
64. 前記ひとつ以上のプロセッサは、前記現実の通信装置と前記シミュレートされた通信との間の通信を、前記シミュレートされた通信装置と前記現実の通信装置との間の音声通信によって容易にする、請求項６２に記載のシステム。
65. 前記シミュレートされた通信装置と前記現実の通信装置との間の音声通信は、シミュレートされた電話機と現実の電話機との間の電話を含む、請求項６４に記載のシステム。
66. 前記現実の電話機は、前記シミュレートされた通信装置から電話を受けた際には特有の呼び出し音を生成し、
    前記特有の呼び出し音は、他から電話を受けた際に前記現実の電話機が生成する通常の呼び出し音とは異なる、請求項６５に記載のシステム。
67. 前記シミュレートされた通信装置は、シミュレートされたビデオレコーダである、請求項６２に記載のシステム。
68. 前記ひとつ以上のプロセッサは、前記現実の通信装置が前記シミュレートされたビデオレコーダとユーザとの間のインタフェースとして使用されうるように構成される、請求項６７に記載のシステム。
69. 前記ひとつ以上のプロセッサは、前記現実の通信装置が前記シミュレートされたビデオレコーダを現実のもしくはシミュレートされたビデオイベントを記録するよう設定するのに使用されうるように構成される、請求項６７に記載のシステム。
70. 前記現実の通信装置は、電話機、携帯電話機、携帯情報端末、カメラ、ボイスレコーダ、携帯型電子メール装置、携帯型インターネットアクセス装置、携帯型ゲーム機、もしくはパーソナルコンピュータである、請求項６９に記載のシステム。
71. 前記現実の通信装置と前記仮想通信装置との間で通信を行うことは、ビデオ通信を含む、請求項７０に記載のシステム。
72. ビデオ通信は、そのビデオ通信の間、前記現実の装置に前記アバターの画像を表示することを含む、請求項７１に記載のシステム。
73. 前記ひとつ以上のプロセッサは、前記アバターを、そのユーザによって生成された現実のもしくは合成された音声にリップシンクさせる、請求項７２に記載のシステム。
74. 前記ユーザが示す感情を前記アバターが表す感情にマッピングする手段をさらに備える請求項７３に記載のシステム。
75. 前記ユーザが示す感情をマッピングする手段は、前記ユーザのひとつ以上の画像を取得する手段と、前記ユーザのひとつ以上の顔色を解析する手段と、を含む、請求項７４に記載のシステム。
76. 前記ビデオ通信中に前記ユーザのひとつ以上の画像を取得する手段は、３次元カメラを含む、請求項７５に記載のシステム。
77. 前記ユーザが示す感情をマッピングすることは、前記ユーザの声の抑揚を解析することを含む、請求項７６に記載のシステム。
78. 前記ユーザが示す感情をマッピングする手段は、前記ビデオ通信のユーザ部分の間、前記ユーザの感情の状態を示す生物測定学的データを解析する手段を含む、請求項７６に記載のシステム。
79. 前記生物測定学的データは、心電計（ＥＫＧ）データ、脳波（ＥＥＧ）データ、皮膚電気反射データ、もしくはサーモグラフィデータを含む、請求項７８に記載のシステム。
80. 前記ユーザが示す感情をマッピングする手段は、前記ビデオ通信のユーザ部分の間、リアルタイムで前記ユーザの感情の状態を追跡する手段を含む、請求項７４に記載のシステム。
81. 前記ひとつ以上のプロセッサは、前記現実の通信が仮想通信装置コンテンツにアクセスできるように構成される、請求項６０に記載のシステム。
82. 前記仮想世界は３次元の仮想世界である、請求項６０に記載のシステム。
83. 前記ひとつ以上のプロセッサは、前記現実の通信装置が前記シミュレートされた通信装置とユーザとの間のインタフェースとして使用されうるように構成される、請求項６０に記載のシステム。
84. 前記ひとつ以上のプロセッサは、セルプロセッサを含む、請求項６０に記載のシステム。
85. 前記現実の通信装置は、電話機、携帯電話機、携帯情報端末、カメラ、ボイスレコーダ、携帯型電子メール装置、携帯型インターネットアクセス装置、携帯型ゲーム機、もしくはパーソナルコンピュータである、請求項６０に記載のシステム。
86. 前記ひとつ以上のプロセッサと接続されたユーザインタフェースをさらに備え、
    前記ユーザインタフェースは、前記ユーザと前記仮想世界との間のやりとりを容易にする、請求項６０に記載のシステム。
87. ３次元の仮想世界とユーザとのやりとりの方法であって、前記仮想世界はひとつ以上の公共空間とひとつ以上の私的空間とを備え、前記ユーザは前記仮想世界ではアバターによって表現され、前記ユーザは前記アバターをユーザインタフェースを介して操作することができ、前記方法は、
    ａ）前記インタフェースを介して前記ユーザの感情の状態を検出することと、
    ｂ）前記ユーザの感情の状態を前記アバターの他のユーザによって知覚されうるひとつ以上の特徴にマッピングすることと、を含み、
    前記他のユーザが前記ユーザの感情の状態を前記アバターを知覚することで知覚することができる、方法。
88. 前記ひとつ以上の特徴は、前記アバターのひとつ以上の顔色を含む、請求項８７に記載の方法。
89. 前記ひとつ以上の特徴は、前記アバターのひとつ以上のボディーランゲージを含む、請求項８７に記載の方法。
90. 前記ひとつ以上の特徴は、前記アバターのひとつ以上の顔色およびボディーランゲージを含む、請求項８７に記載の方法。
91. 前記ユーザの感情の状態を検出することは、前記ユーザのひとつ以上の顔色を追跡することを含む、請求項８７に記載の方法。
92. ひとつ以上の顔色を追跡することは、３次元カメラを使用して前記ひとつ以上の顔色を追跡することを含む、請求項９１に記載の方法。
93. 前記ユーザの感情の状態を検出することは、前記ユーザのひとつ以上のボディーランゲージを追跡することを含む、請求項８７に記載の方法。
94. 前記ユーザの感情の状態を検出することは、前記ユーザの声の抑揚を解析することを含む、請求項８７に記載の方法。
95. 前記ユーザの感情の状態を検出することは、前記ユーザによって生成されたテキストを解析することを含む、請求項８７に記載の方法。
96. 前記ユーザの感情の状態を検出することは、前記ユーザの生物測定を解析することを含む、請求項８７に記載の方法。
97. 前記生物測定は、心電計（ＥＫＧ）データ、脳波（ＥＥＧ）データ、皮膚電気反射データ、もしくはサーモグラフィデータを含む、請求項９６に記載の方法。
98. ３次元の仮想世界とユーザとのやりとりの方法であって、前記仮想世界はひとつ以上の公共空間とひとつ以上の私的空間とを備え、前記ユーザは前記仮想世界ではアバターによって表現され、前記ユーザは前記アバターをユーザインタフェースを介して操作することができ、前記方法は、
    前記アバターに対するカスタムジェスチャを生成することと、
    前記ジェスチャにひとつ以上のユーザインタフェース信号を関連付けることと、を含む方法。
99. 前記ユーザインタフェース信号をひとつ以上の他のユーザに配ることをさらに備え、
    前記他のユーザは自己のアバターを前記カスタムジェスチャを行うようにカスタマイズできる、請求項９８に記載の方法。
100. 前記カスタムジェスチャを生成することは、そのジェスチャを行う行為者をモーションキャプチャすることもしくはパフォーマンスキャプチャすることを含む、請求項９８に記載の方法。
101. 前記行為者は前記ユーザである、請求項１００に記載の方法。
102. 前記仮想空間のなかでの前記アバターによる前記カスタムジェスチャの表現を穏当なものとすることをさらに含む請求項９８に記載の方法。
103. 前記カスタムジェスチャの表現を穏当なものとすることは、所定の基準に基づいて、特定のユーザがアバターに前記カスタムジェスチャを行わせることのできる範囲を制限すること、もしくは所定の基準に基づいて、前記特定のユーザが前記カスタムジェスチャを行うアバターを知覚できる範囲を制限することを含む、請求項１０２に記載の方法。
104. 前記所定の基準は、前記ユーザの年齢、前記ジェスチャを見る人の年齢、もしくは宗教、民族もしくは見る人の他の帰属先に基づき見る人が侮辱と感じうる感受性を含む、請求項１０３に記載の方法。
105. 前記アバターのひとつ以上の他の特徴をカスタマイズし、前記ユーザかつ／またはアバターをあるソーシャルグループに結び付けることをさらに含む請求項９８に記載の方法。
106. 前記アバターのひとつ以上の他の特徴をカスタマイズすることは、前記アバターの衣服、履き物、髪型もしくは民族的特徴をカスタマイズすることを含む、請求項１０５に記載の方法。
107. 現実の通信装置および仮想通信装置の間で通信をルーティングするための方法であって、
     前記仮想世界のユーザを仮想通信装置およびひとつ以上の現実の通信装置に関連付けることと、
     前記ユーザ宛の通信を受けた場合に前記仮想通信装置および前記ひとつ以上の現実の通信装置の間でルーティング優先処理を実行することと、を含む方法。
108. 前記ユーザが前記ルーティング優先処理を実行する、請求項１０７に記載の方法。
109. 前記通信の発信元が前記ルーティング優先処理を実行する、請求項１０７に記載の方法
     。
110. 前記ルーティング優先処理は前記ユーザの好みに基づく、請求項１０７に記載の方法。
111. 前記ルーティング優先処理は前記ユーザの行動に基づく、請求項１０７に記載の方法。
112. 前記ルーティング優先処理は前記通信ソースの正体に依存する、請求項１０７に記載の方法。
113. 前記ルーティング優先処理は前記通信ターゲットの正体に依存する、請求項１０７に記載の方法。
114. 前記ルーティング優先処理は、ひとつ以上のステートコントロールに基づき、
     前記ステートコントロールは、所定の状況においてのみ前記通信を前記現実のもしくは仮想通信装置へルーティングする、請求項１０７に記載の方法。
115. 前記ルーティング優先処理にしたがって前記ユーザ宛の通信をルーティングすることをさらに含む請求項１０７に記載の方法。
116. 前記通信をルーティングすることは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定することと、
     前記ユーザがオンラインである場合に、前記通信を前記仮想通信装置へルーティングすることと、を含む、請求項１１５に記載の方法。
117. 前記通信をルーティングすることは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定することと、
     前記ユーザがオンラインでない場合に、前記通信をひとつ以上の前記現実の通信装置へルーティングすることと、を含む、請求項１１５に記載の方法。
118. 前記通信をルーティングすることは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定することと、
     前記ユーザがオンラインである場合に、テキストメッセージを前記仮想通信装置または前記ユーザに関連付けられたアバターのいずれか一方へルーティングすることと、を含む、請求項１１５に記載の方法。
119. 前記ユーザ宛の前記通信は前記仮想世界のなかから発信される、請求項１１５に記載の方法。
120. 前記シミュレートされた通信装置と現実の通信装置との間で通信を行うことは、ソースからターゲットへ通信を伝達することを含み、
     アバターは前記ソースと関連付けられ、
     当該方法はさらに、前記通信の間、前記仮想世界において前記アバターを前記ターゲットに表示することを含む、請求項１０７に記載の方法。
121. 前記通信は現実の通信装置から発信される、請求項１２０に記載の方法。
122. 前記通信の間、前記ソースからの音声を前記ターゲットに提示することをさらに含む請求項１２０に記載の方法。
123. 前記通信の間、前記ソースからのテキストを前記ターゲットに提示することをさらに含む請求項１２０に記載の方法
124. 前記ソースからのテキストを提示することは、前記ソースからの発話音声をテキストに翻訳することと、前記ターゲットにその結果得られるテキストを提示することとを含む、請求項１２３に記載の方法。
125. 前記結果として得られるテキストアバターを提示することは、前記結果として得られるテキストを前記アバターの近くのひとつ以上のふきだしに表示することを含む、請求項１２４に記載の方法。
126. 現実の通信装置および仮想通信装置の間で通信をルーティングするためのシステムであって、
     仮想世界を生成するひとつ以上のプロセッサを備え、
     前記ひとつ以上のプロセッサは、仮想通信装置を生成し、設定可能なルータを実現し、
     前記設定可能なルータは、ひとつ以上の現実の通信装置と前記仮想通信装置との間の通信におけるルーティングを容易とする、システム。
127. 前記ルータは、前記仮想通信装置もしくは前記ひとつ以上の現実の通信装置からアクセス可能である、請求項１２６に記載のシステム。
128. 前記ひとつ以上の現実の通信装置は、ひとつ以上のネットワークウェブページを含む、請求項１２７に記載のシステム。
129. 前記ルータは、前記仮想通信装置に関連付けられたユーザに基づいて通信をルーティングする、請求項１２６に記載のシステム。
130. 前記ルータは、前記通信の発信元に基づいて通信をルーティングする、請求項１２６に記載のシステム。
131. 前記ルータは、前記仮想通信装置に関連付けられたユーザのひとつ以上の好みに基づいて通信をルーティングする、請求項１２６に記載のシステム。
132. 前記ルータは、前記仮想通信装置に関連付けられたユーザのひとつ以上の行動に基づいて通信をルーティングする、請求項１２６に記載のシステム。
133. 前記ルータは、前記通信のソースの正体に基づいて通信をルーティングする、請求項１２６に記載のシステム。
134. 前記ルータは、前記通信のターゲットの正体に基づいて通信をルーティングする、請求
     項１２６に記載のシステム。
135. 前記ルータは、ひとつ以上のステートコントロールに基づいて通信をルーティングし、
     前記ステートコントロールは、所定の状況においてのみ前記通信を前記現実のもしくは仮想通信装置へルーティングする、請求項１２６に記載のシステム。
136. 前記ルータは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定し、
     前記ユーザがオンラインである場合に、前記通信を前記仮想通信装置へルーティングする、請求項１２６に記載のシステム。
137. 前記ルータは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定し、
     前記ユーザがオンラインでない場合に、前記通信をひとつ以上の前記現実の通信装置へルーティングする、請求項１２６に記載のシステム。
138. 前記ルータは、
     前記ユーザが前記仮想世界において「オンライン」であるかどうかを決定し、
     前記ユーザがオンラインである場合に、テキストメッセージを前記仮想通信装置または前記ユーザに関連付けられたアバターのいずれか一方へルーティングする、請求項１２６に記載のシステム。
139. 前記ルータはソースからターゲットへ通信を伝達し、前記通信の間、前記仮想世界において前記アバターを前記ターゲットに表示し、
     前記アバターは前記ソースと関連付けられる、請求項１２６に記載のシステム。
140. 前記ひとつ以上のプロセッサは、前記通信の間、前記ソースからの音声を前記ターゲットに提示する、請求項１３９に記載のシステム。
141. 前記ひとつ以上のプロセッサは、前記通信の間、前記ソースからのテキストを前記ターゲットに提示する、請求項１３９に記載のシステム。
142. 前記ひとつ以上のプロセッサは、前記ソースからの発話音声をテキストに翻訳し、前記ターゲットにその結果得られるテキストを提示する、請求項１４１に記載のシステム。
143. 前記結果として得られるテキストアバターを提示することは、前記結果として得られるテキストを前記アバターの近くのひとつ以上のふきだしに表示することを含む、請求項１４２に記載の方法。
144. 仮想世界を用いて通信するための方法であって、
     アバターを電子メールの発信元に関連付けることと、
     前記仮想世界のなかで電子メールを生成することと、
     アバターのひとつ以上の画像を前記電子メールに関連付けることと、
     前記電子メールを現実の装置に送ることと、
     前記ひとつ以上の画像を前記電子メールの届け先で提示することと、を含む方法。
145. 記録されたもしくは合成された音声を前記電子メールに関連付けることと、
     前記届け先で前記音声を前記ひとつ以上の画像と共に提示することと、をさらに含む請求項１４４に記載の方法。
146. ひとつ以上の画像を関連付けることは、前記アバターのアニメーションを生成することを含む、請求項１４４に記載の方法。
147. 前記ひとつ以上の画像を提示することは、前記届け先で前記アニメーションを提示することを含む、請求項１４６に記載の方法。
148. ひとつ以上の画像を関連付けることは、前記アバターの前記アニメーションにひとつ以上のジェスチャをマッピングすることをさらに含む、請求項１４６に記載の方法。
149. ひとつ以上のジェスチャをマッピングすることは、
     前記電子メールメッセージの発信元の音声かつ／またはビデオを記録することと、
     前記音声かつ／またはビデオのひとつ以上の特徴を前記アニメーション中の前記アバターのひとつ以上の特徴にマッピングすることと、を含む、請求項１４８に記載の方法。
150. テーマを前記アニメーション中の仮想カメラの動きに関連付けることをさらに含む、請求項１４６に記載の方法。
151. 前記テーマは仮想カメラの固定位置を含む、請求項１５０に記載の方法。
152. 前記テーマは仮想カメラの動きを含む、請求項１５０に記載の方法。
153. 前記電子メールを生成することは、前記発信元の感情の状態を追跡することと、前記テーマを感情の状態にマッピングすることと、を含む、請求項１５０に記載の方法。
154. 電子メールを生成することは、前記仮想世界のなかで仮想通信装置を使用することを含む、請求項１４４に記載の方法。
155. 前記仮想世界は、複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、
     私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられる、請求項１４４に記載の方法。
156. 前記届け先は、現実の通信装置である、請求項１４４に記載の方法。
157. 前記現実の通信装置は、他の現実の通信装置と前記仮想世界とは独立したひとつ以上の通信チャネルを通じて通信する、請求項１５６に記載の方法。
158. 仮想世界を用いて通信するためのシステムであって、ひとつ以上のプロセッサを備え、前記ひとつ以上のプロセッサは、
     仮想世界を生成し、
     アバターを電子メールの発信元に関連付け、
     前記仮想世界のなかで電子メールを生成し、
     アバターのひとつ以上の画像を前記電子メールに関連付け、
     前記電子メールを現実の装置に送り、
     前記ひとつ以上の画像を前記電子メールの届け先で提示する、システム。
159. 前記仮想世界は、複数のユーザ間のやりとりを容易にするシミュレートされた公共空間とひとつ以上のシミュレートされた私的空間とを含み、
     私的空間の各々は前記複数のユーザのなかの個々のユーザに関連付けられる、請求項１５８に記載のシステム。
160. 前記ひとつ以上のプロセッサは、
     記録されたかつ／または合成された音声を前記電子メールに関連付け、
     前記届け先で前記音声を前記ひとつ以上の画像と共に提示する、請求項１５８に記載のシステム。
161. 前記ひとつ以上のプロセッサは、前記アバターのアニメーションを生成する、請求項１５８に記載のシステム。
162. 前記ひとつ以上のプロセッサは、前記届け先で前記アニメーションを提示する、請求項１６１に記載のシステム。
163. 前記ひとつ以上のプロセッサは、前記アバターの前記アニメーションにひとつ以上のジェスチャをマッピングする、請求項１６２に記載のシステム。
164. 前記ひとつ以上のプロセッサは、
     前記電子メールメッセージの発信元の音声かつ／またはビデオを記録し、
     前記音声かつ／またはビデオのひとつ以上の特徴を前記アニメーション中の前記アバターのひとつ以上の特徴にマッピングする、請求項１６３に記載のシステム。
165. 前記ひとつ以上のプロセッサは、テーマを前記アニメーション中の仮想カメラの動きに関連付ける、請求項１６１に記載のシステム。
166. 前記テーマは仮想カメラの固定位置を含む、請求項１６５に記載のシステム。
167. 前記テーマは仮想カメラの動きを含む、請求項１６５に記載のシステム。
168. 前記ひとつ以上のプロセッサは、前記発信元の感情の状態を追跡し、前記テーマを感情の状態にマッピングする、請求項１６５に記載のシステム。
169. 前記ひとつ以上のプロセッサは、前記仮想世界のなかに仮想通信装置を生成し、ユーザに前記仮想通信装置を用いて前記電子メールを生成させる、請求項１５８に記載のシステム。

Images