JP2004348647A - ヒューマン・コミュニケーション・システム - Google Patents
ヒューマン・コミュニケーション・システム Download PDFInfo
- Publication number
- JP2004348647A JP2004348647A JP2003147801A JP2003147801A JP2004348647A JP 2004348647 A JP2004348647 A JP 2004348647A JP 2003147801 A JP2003147801 A JP 2003147801A JP 2003147801 A JP2003147801 A JP 2003147801A JP 2004348647 A JP2004348647 A JP 2004348647A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- communication
- client
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 324
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 89
- 238000012545 processing Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 41
- 238000005516 engineering process Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000005192 partition Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computer And Data Communications (AREA)
Abstract
【課題】仮想空間内のユーザのプレゼンスを、ユーザ間で整合させ、プライバシーを保護するシステムを提供する。
【解決手段】クライアント端末２０１は、ユーザの位置に関する情報をプレゼンスサーバ１１０に送信するプレゼンスプロバイダ２２２と、仮想空間内におけるユーザの位置を算出する空間モデル化手段２２１と、仮想空間のユーザの位置に基づいて音響効果を制御するオーディオレンダラ２１６と、仮想空間のユーザの位置に基づいてイメージデータを作成するグラフィクスレンダラ２１９と、通信セションを制御するポリシーセション制御部２２３とを有し、仮想空間を用いた複数のユーザの会話を実現する。
【選択図】 図 ２
【解決手段】クライアント端末２０１は、ユーザの位置に関する情報をプレゼンスサーバ１１０に送信するプレゼンスプロバイダ２２２と、仮想空間内におけるユーザの位置を算出する空間モデル化手段２２１と、仮想空間のユーザの位置に基づいて音響効果を制御するオーディオレンダラ２１６と、仮想空間のユーザの位置に基づいてイメージデータを作成するグラフィクスレンダラ２１９と、通信セションを制御するポリシーセション制御部２２３とを有し、仮想空間を用いた複数のユーザの会話を実現する。
【選択図】 図 ２
Description
【０００１】
【発明の属する技術分野】
本発明は、人間同士がメディアを通じ、主に音声を使用して会話するための通信端末および通信サーバに関する。
【０００２】
【従来の技術】
本発明に関連する第 １ の従来技術として、京都大学において開発された会議システム ＦｒｅｅＷａｌｋ がある（例えば、非特許文献１および非特許文献２参照）。Ｆｒｅｅｗａｌｋ は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を３次元グラフィクスによって見ることができる。３次元グラフィクス技術は、３次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として、業界標準であるＯｐｅｎＧＬ（ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ／）およびＭｉｃｒｏｓｏｆｔ社のＤｉｒｅｃｔ３Ｄなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。なお、非特許文献１および２においては、距離に従って音声が減衰するようにしているが、後述する３次元オーディオ技術は使用していない。
【０００３】
本発明に関連する第２の従来技術として、Ｉｎｔｅｒｖａｌ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ において開発された会議システムＳｏｍｅｗｉｒｅがある（例えば、特許文献１、特許文献２および非特許文献３参照）。Ｓｏｍｅｗｉｒｅ は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Ｓｏｍｅｗｉｒｅ において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするＧＵＩ（グラフィカル・ユーザ・インタフェース） より、直観的な物理的 （ｔａｎｇｉｂｌｅ） インタフェースを有する。なお、Ｓｏｍｅｗｉｒｅ においては、距離に従って音声は減衰せず、３次元オーディオ技術は使用していない。
【０００４】
本発明に関連する第３の従来技術として、ヒューレット・パッカード社において開発された３次元分散オーディオ技術を使用した会議システムがある（例えば、非特許文献４参照）。３次元分散オーディオ技術は、３次元オーディオ技術をネットワークで接続されたシステム（いわゆる分散環境）において適用した技術である。そして、３次元オーディオ技術は、３次元の音響空間をシミュレートする技術であり、これを実現するための ＡＰＩ としては Ｌｏｋｉ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｓｏｆｔｗａｒｅ 社などによって規定された業界標準である Ｏｐｅｎ ＡＬ （ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ／），Ｍｉｃｒｏｓｏｆｔ 社の ＤｉｒｅｃｔＳｏｕｎｄ ３Ｄ、Ｃｒｅａｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ 社の ＥＡＸ ２．０ （ｈｔｔｐ：／／ｗｗｗ．ｓｅｉ．ｃｏｍ／ａｌｇｏｒｉｔｈｍｓ／ｅａｘ２０．ｐｄｆ） などがある。この３次元オーディオ技術を使用することにより、ヘッドフォン、２チャンネルまたは４チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。なお、３次元オーディオ技術は立体音響再生技術の１つであるが、立体音響再生技術には３次元オーディオ技術の他に単純な立体音響再生技術もある。例えば、ヘッドフォンにおける左右のスピーカに音量差を設けることによって、複数の音を分離して再生する立体音響再生技術がある。
【０００５】
【特許文献１】
ＵＳ ５，８８９，８４３
【特許文献２】
ＵＳ ６，２６２，７１１ Ｂ１
【非特許文献１】
中西 英之，吉田 力，西村 俊和，石田 亨，「ＦｒｅｅＷａｌｋ： ３次元仮想空間を用いた非形式的なコミュニケーションの支援」，情報処理学会論文誌，Ｖｏｌ．３９， Ｎｏ．５，ｐｐ．１３５６−１３６４，１９９８。
【０００６】
【非特許文献２】
Ｎａｋａｎｉｓｈｉ，Ｈ．，Ｙｏｓｈｉｄａ，Ｃ．，Ｎｉｓｈｉｍｕｒａ，Ｔ．，ａｎｄ Ｉｓｈｉｄａ，Ｔ．，「ＦｒｅｅＷａｌｋ： Ａ ３Ｄ Ｖｉｒｔｕａｌ Ｓｐａｃｅ ｆｏｒ Ｃａｓｕａｌ Ｍｅｅｔｉｎｇｓ」，ＩＥＥＥ ＭｕｌｔｉＭｅｄｉａ，Ａｐｒｉｌ−Ｊｕｎｅ １９９９，ｐｐ．２０２８．
【非特許文献３】
Ｓｉｎｇｅｒ，Ａ．，Ｈｉｎｄｕｓ，Ｄ．，Ｓｔｉｆｅｌｍａｎ，Ｌ．，ａｎｄ Ｗｈｉｔｅ，Ｓ．，「Ｔａｎｇｉｂｌｅ Ｐｒｏｇｒｅｓｓ： Ｌｅｓｓ Ｉｓ Ｍｏｒｅ Ｉｎ Ｓｏｍｅｗｉｒｅ Ａｕｄｉｏ Ｓｐａｃｅｓ」，ＡＣＭ ＣＨＩ ’９９ （Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ），ｐｐ．１０４−１１２，Ｍａｙ １９９９．
【非特許文献４】
Ｌｏｗ，Ｃ．，ａｎｄ Ｂａｂａｒｉｔ，Ｌ．，「Ｄｉｓｔｒｉｂｕｔｅｄ ３Ｄ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ」，７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ （ＷＷＷ７），１９９８，ｈｔｔｐ：／／ｗｗｗ７．ｓｃｕ．ｅｄｕ．ａｕ／ｐｒｏｇｒａｍｍｅ／ｆｕｌｌｐａｐｅｒｓ／１９１２／ｃｏｍ１９１２．ｈｔｍ．
【０００７】
【発明が解決しようとする課題】
上記の従来技術は、ＩＰ ネットワークを利用した常時接続で、かつ、多数者間での会話が可能な会議システムを採用している。
【０００８】
しかし、常時接続の会議システムでは、仮想空間そのもの、および仮想空間内におけるユーザや物体のプレゼンス（すなわち存在感）を、ユーザ間で整合させることが望まれる。具体的には、仮想空間が天井や壁面を有する部屋であれば、その広さ、残響特性などが属性として存在するが、部屋の存在感を決めるこれらの属性に関する値を各ユーザが共有する必要がある。仮想空間の属性、特に残響特性は仮想空間内における距離について、ユーザの知覚の決定に寄与するため、仮想空間の属性をユーザ間で共有することは非常に重要である。また、第１のユーザが仮想空間内で認識している自分の存在位置と、第２のユーザが認識している第１のユーザの存在位置とを、両ユーザ間で整合させる必要がある。この整合は全てのユーザの間でとる必要がある。
【０００９】
また、常時接続の会議システムでは、ユーザ間通信量などのネットワーク資源および電池などの端末資源の消費量を減少させることが望まれる。常時接続において、接続している間ずっと大量のパケットを送信し続けると、ネットワークを不必要に混雑させる。そして、ネットワークの混雑を解決するためにネットワーク帯域幅を広げると、通信コストは非常に高価になる。また、使用する端末が携帯用端末の場合は、最低限でも１日は充電せずに電池で動作できるようにするのが好ましい。しかし常時、通信モジュールや ＣＰＵ を最高速度で動作させると電池の消耗が大きく、１日の間電池をもたせることが困難である。静寂時にパケット送信を止める技術は既に開発されている。しかし、この技術では信号特性だけで送信するかどうかを判断するため、暗黙知の流通を促進するために閾値を下げると通信量があまり減少せず、閾値を上げると暗黙知の流通が妨げられる、という問題がある。なお、暗黙知とは、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識（ノウハウ、仕事のやり方等）をいう。
【００１０】
また、常時接続の会議システムでは、プライバシーを保護することが望まれる。従来の技術として列挙した会議システムにおいては、１つの仮想空間内にいるユーザは何時でも誰でも他のユーザの会話を聞くことができるが、この場合は電話のような１対１の会話の場合と同等のレベルのプライバシー保護を実現することができない。
【００１１】
本発明は上記事情を考慮してなされたものであり、本発明の目的は仮想空間内におけるユーザのプレゼンスを、ユーザ間で整合させ、かつプライバシーを保護する使い勝手の良いヒューマン・コミュニケーション・システムを提供することである。
【００１２】
【課題を解決するための手段】
上記目的達成のために、ヒューマン・コミュニケーション・システムは、複数のクライアント端末とサーバ装置を有し、各クライアント端末は各ユーザの仮想空間における位置情報をサーバに送信し、サーバは仮想空間における各ユーザの位置情報を一元的に管理、記憶することにより、各クライアント間に仮想空間内におけるユーザのプレゼンス（存在感）の整合性を保持することが可能である。また、各クライアント端末は、他のクライアント端末との通信セッションを制御することにより、資源消費量の削減およびプライバシー保護を図ることが可能である。
【００１３】
例えば、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有する。そして、前記複数のクライアント端末各々は、自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段とを有し、前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段とを有するヒューマン・コミュニケーション・システムを提供する。
【００１４】
また、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記複数のユーザが使用する複数のクライアント端末を有する。そして、前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信するヒューマン・コミュニケーション・システムを提供する。
【００１５】
【発明の実施の形態】
以下に本発明の実施の形態について説明する。
【００１６】
図１は、本実施の形態におけるヒューマン・コミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント２０１、２０２、２０３と、プレゼンスを管理するプレゼンスサーバ１１０と、セッション制御を行うＳＩＰ プロキシサーバ１２０と、ユーザの登録・認証をおこなう登録サーバ１３０とが、インターネット等のネットワーク１０１を介して接続されている。なお、本実施の形態では３台のクライアントを有しているが、クライアントの数は３台に限定されず、２台または４台以上であってもよい。また、本実施形態では、ネットワーク１０１は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０は、複数個存在する。本実施形態においては、前記単一のドメインのドメイン名として、ｓｅｒｖｅｒｓ．ｃｏｍ を使用する。
【００１７】
次に、ヒューマン・コミュニケーション・システムのハードウェア構成について説明する。
【００１８】
図１４は、クライアント２０１、２０２、２０３、プレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０の各装置のハードウェア構成を示したものである。
【００１９】
クライアント２０１、２０２、２０３は、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするために通信装置３０４と、キーボード、マウスなどの入力装置３０４と、ディスプレイまたはプリンタ等の出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルコンピュータなどである。なお、クライアントの具体例については、図３において後述する。また、入力装置３０５および出力装置３０６については、図２において詳述する。
【００２０】
プレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０は、少なくともプログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするために通信装置３０４を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【００２１】
なお、上記の各装置の後述する各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（クライアント２０１、２０２、２０３の場合はクライアント用のプログラム、プレゼンスサーバ１１０の場合はプレゼンスサーバ用のプログラム、ＳＩＰ プロキシサーバ１２０の場合はＳＩＰ プロキシサーバ用のプログラム、そして、登録サーバ１３０の場合は登録サーバ用プログラム）を、ＣＰＵ３０１が実行することにより実現される。
【００２２】
次に、図２を参照しクライアント２０１の入力装置３０５および出力装置３０６と、機能構成とについて説明する。なお、クライアント２０２、２０３においても同様の構成とする。
【００２３】
クライアント２０１は、入力装置３０５として、マイクロフォン２１１と、カメラ２１３と、ポインティングデバイス２２６とを有する。出力装置３０６として、イヤフォン２１７とディスプレイ２２０とを有する。ポインティングデバイス２２６は、ユーザが自分自身の仮想空間上における移動情報を入力するための入力装置であり、例えばマウス、キーボードなどである。
【００２４】
機能構成としては、音声をディジタル信号に変換するオーディオエンコーダ２１２と、３次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行うオーディオレンダラ２１６と、画像をディジタル信号に変換するビデオエンコーダ２１４と、３次元グラフィクス技術を使用して照明など仮想空間の属性から帰結する処理を行うグラフィクスレンダラ２１９と、入力された移動情報から仮想空間上での存在および存在位置などのプレゼンスを計算する入力空間モデラ２２１、前記プレゼンスに関する情報を通信するプレゼンスプロバイダ２２２と、他のクライアントとの間でオーディオ信号をリアルタイムに送受信するオーディオ通信部２１５と、他のクライアントとの間でビデオ信号をリアルタイムに送受信するビデオ通信部２１８と、通信セション制御しポリシーを管理するポリシー・セッション制御部２２３と、当該クライアントのポリシーを保持する局所ポリシー２２４と、消費電力を低下させ電池の消耗を防ぐ電源制御部２２５とを有する。
【００２５】
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間であって、プレゼンスサーバ１１０が管理している。ユーザがある仮想空間に入場すると、プレゼンスサーバ１１０は、その仮想空間の属性、および、その仮想空間に存在する他のユーザや物体の情報を送信し、空間モデラ２２１がこれらの情報と仮想空間内における自らの位置を、メモリ３０２または外部記憶装置３０３に格納する。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。また、仮想空間内の物体として衝立などがある。
【００２６】
つぎに、各機能の動作について音声、映像、プレゼンス、セッション制御の順に説明する。
【００２７】
音声については、マイクロフォン２１１がクライアント２０１を使用するユーザの音声や周囲の音声を収集し、オーディオエンコーダ２１２に送付する。そして、オーディオエンコーダ２１２は、前記の音声をディジタル信号に変換してオーディオレンダラ２１６に出力する。また、オーディオ通信部２１５は、他の１台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ２１６に出力する。
【００２８】
次に、オーディオレンダラ２１６は、オーディオエンコーダ２１２およびオーディオ通信部２１５から出力されたディジタルの出力信号を入力する。そして、オーディオレンダラ２１６は、３次元オーディオ技術を使用して、空間モデラ２２１が保持する聴覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手の音声が聞こえるかを計算する。次に、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリング、衝立による音の減衰などの処理を行い、クライアント２０１を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と通信相手との相対的な位置から帰結する処理によって、音声を定位させ、再生する。
【００２９】
また、オーディオレンダラ２１６は、必要に応じて、オーディオエンコーダ２１２からの出力に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行ったうえで、クライアント２０１を使用するユーザの頭部の位置にレンダリングする。このオーディオレンダラ２１６により生成された音声は、イヤフォン２１７に出力され、これをユーザが聴取する。
【００３０】
画像については、カメラ２１３がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ２１４に送付する。そして、ビデオエンコーダ２１４は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ２１９に出力する。また、ビデオ通信部２１８は、他の１台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ２１９に出力する。次に、グラフィクスレンダラ２１９は、ビデオエンコーダ ２１４ およびビデオ通信部２１８からのディジタルの出力信号を入力する。そして、グラフィクスレンダラ２１９は、３次元グラフィクス技術を使用して、空間モデラ２２１が保持する視覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手が見えるかを計算（座標変換）する。次に、グラフィクスレンダラ２１９は、ビデオ通信部２１８から出力される通信相手のユーザの画像に対して、前記計算により自分の位置から見た視点で、隠れて見えないはずの部分を消去し、また、仮想空間の照明などによる陰影など、仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。
【００３１】
このグラフィクスレンダラ２１９により生成された映像は、ディスプレイ２２０に出力され、クライアント２０１を使用するユーザの視点からの映像に再生され、ユーザは必要に応じてディスプレイ２２０の出力を参照する。なお、グラフィクスレンダラ２１９は、３次元グラフィクス技術を使用せずにより簡潔な仮想空間表示をおこなうこともできる。
【００３２】
なお、クライアント２０１は音声による通信を主として行う装置であるため、入力装置としてマイクロフォン２１１は必須の装置であるが、カメラ２１３は必ずしも必要ではない。なお、カメラ２１３が存在しない場合は、ビデオエンコーダ２１４等も不要である。
【００３３】
また、音声または画像のリアルタイム通信には、ＩＥＴＦ （Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ） が発行したドキュメントＲＦＣ １８８９に記述されたプロトコルであるＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ） が使用される。音声または画像の通信において、多少の遅延増加が許される場合は、オーディオ通信部２１５またはビデオ通信部２１８と、他のクライアントとの通信は、音声または画像の通信を行う通信プロキシサーバを別に設けて、この通信プロキシサーバを経由して、他のクライアントとの音声または画像の通信を行うこともできる。
【００３４】
次にプレゼンスについては、ポインティングデバイス２２６が、ユーザからの位置情報または変位情報の入力を受付け、これをディジタル信号に変換して空間モデラ２２１に入力する。空間モデラ２２１は、あらかじめプレゼンスサーバ１１０から送信された仮想空間の属性（空間の大きさ、残響特性など）および仮想空間内の各ユーザの位置を保持しており、ポインティングデバイス ２２６ からの入力により、仮想空間内における前記ユーザの位置および向きを変化させる。具体的には、ポインティングデバイス２２６から前進信号を受け取ると、ユーザの仮想空間内での位置を前進させ、後退信号を受け取ると、ユーザの仮想空間内での位置を後退させる。また、ポインティングデバイス２２６から左移動信号を受け取ると、向きを左に回転させ、右移動信号を受け取ると、向きを右に回転させる。ポインティングデバイス２２６としてマウスを使用する場合には、例えば左ボタンを押した状態で前進、後退、左移動、右移動のドラッグ操作をすることにより、前記の各変化を入力することができる。
【００３５】
そして、空間モデラ２２１は、クライアント２０１を使用するユーザの仮想空間内の位置情報をプレゼンスプロバイダ２２２に送信し、プレゼンスプロバイダ２２２はプレゼンスサーバ１１０にこの情報を送信する。また、プレゼンスプロバイダ２２２は、他のユーザの仮想空間内の位置情報を、プレゼンスサーバ１１０から受信し、空間モデラ２２１にこの情報を引き渡し、モデラ２２１はクライアント２０１を使用するユーザの仮想空間内の位置情報と、他のユーザの仮想空間内の位置情報とを保持する。なお、空間モデラ２２１は、前記他のユーザの仮想空間内の位置情報をネットワーク１０１を経由して受信するため、他のユーザの仮想空間内の位置に関しては、遅延やジッタの発生が避けられない。一方、ポインティングデバイス２２６から受け取る自ユーザの位置は、ネットワーク１０１を経由しないため、遅延をほとんど発生しない。このため、クライアント２０１のユーザは、リアルタイムで移動後の自分の位置をディスプレイ２２０上で確認することができ、容易なポインティングデバイス２２６の操作が可能である。
【００３６】
次に、セッション制御について説明する。ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０を経由し、他のクライアントのポリシー・セッション制御部と通信して、オーディオ通信部２１５およびビデオ通信部２１８の通信を制御する。
【００３７】
ポリシー・セッション制御部２２３は、あらかじめクライアント２０１の外部記憶装置３０３に記憶されている局所ポリシー２２４と、空間モデラ２２１が保有する仮想空間における通信相手との距離を参照して、通信相手のクライアントと接続するか否か、接続する場合においては音声または画像の品質を判断し、通信を制御する。例えば、局所ポリシー２２４のポリシー条件に、「仮想空間における通信相手との距離が一定の値を超える場合は通信を切断し、一定の値以内であれば通信を接続する。」と記憶されている場合は、ポリシー・セッション制御部２２３は、空間モデラが有する仮想空間における通信相手との距離と、前記一定の値とを比較し、接続の可否を判断する。
【００３８】
次に、図１３を参照し局所ポリシー２２４について説明する。
【００３９】
クライアント２０１の外部記憶装置３０３に記憶された局所ポリシー２２４は、通信条件が記載されたポリシー規則を有し、ポリシー規則は１つ以上存在する。各ポリシー規則は、条件部と動作部とを有し、条件部に記述された条件が満たされた場合に、動作部に記述された動作を実行する。例えば、図示するポリシー規則 １３１１は、条件部が通信相手 （ＲｅｍｏｔｅＳｉｔｅ） と当該ユーザとの距離が５０ ｍ を超えていることであり、動作部は、前記条件部が満たされた場合（すなわち、５０ｍ を超えている場合は）は接続しないと、いう通信条件である。同様に、ポリシー規則１３１２は、もし通信相手と当該ユーザとの距離が５０ｍ 以内であれば接続するという通信条件である。また、ポリシー規則１３１３ は、もし通信相手と当該ユーザとの距離が １０ ｍ 以内であり、かつ、通信相手が当該ユーザと親密であればビデオの画質を明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 １３１４ は、もし通信相手と当該ユーザとの距離が １０ ｍ 以内であり、かつ、通信相手が当該ユーザと親密でなければ、ビデオの画質を不明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 １３１５ は、もし通信相手と当該ユーザとの距離が １０ ｍ を超えていればビデオの画質を不明瞭にし、オーディオの音質を聞き取り不能にするという通信条件である。
【００４０】
なお、通信相手が当該ユーザと親密であるとは、当該ユーザと通信相手との情報交換が重要であり、そのために当該ユーザのプライバシーを通信相手にある程度知られてもよいことをいう。また、当該ユーザにとって重要な通信相手とは、例えば仮想空間を使用する他のユーザの中で、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識である暗黙知（ノウハウ、仕事のやり方等）の流通に必要なユーザなどのことをいう。ポリシー規則１３１３に示すように、親密なユーザが仮想空間上で一定の距離が離れている場合でも、高品質な音声および映像を受信するようにポリシー規則に記述することが可能である。具体的には、ポリシー規則に、親密なユーザのアドレスを指定することで、個別にユーザを特定することが可能である。なお、それ以外のユーザについては、他のポリシー規則を適用し、遠距離にいる場合は比較的低品質な音声および映像を受信するか、または接続を切る。このような、通信制御を行うことにより、重要なあるいは親密なユーザに関しては、比較的高品質の通信を確保して、そのユーザ状況を把握し易くし暗黙知の流通を促進することができ、一方、重要でないその他のユーザについては、必要以上に資源を浪費することを回避することができる。また、クライアント同士の平均通信量も削減することができる。
【００４１】
また、いままで説明した局所ポリシー２２４を使用した通信制御の例は、ある一定の距離を基準に、映像および音声を高品質にするか、または低品質にするかを制御している。しかしながら、この２段階の制御だけでなく、距離に応じて段階的に映像および音声の品質を、制御することも考えられる。例えば、距離に比例して徐々に品質を低下させたり、また、品質を変化させるための距離の閾値を複数設け、段階的に品質を制御することも可能である。
【００４２】
インターネットにおいては、往復の通信条件を独立に設定することができるが、局所ポリシー２４４においては、通信の往復の方向を指定せずいずれの方向にも同一の条件を使用することを前提としている。このような前提をおいているのは、通信条件が方向によって著しくことなっていると円滑なコミュニケーションおよびプライバシー保護を妨げる危険が高いからである。例えば、第 １ のユーザと第 ２ のユーザとの通信において、第 １ のユーザは第 ２ のユーザを認知できない場合であるが、第 ２ のユーザは第 １ のユーザを認知できるとする。この場合、第 １ のユーザは第 ２ のユーザを認知できないため第 ２ のユーザに聞かれては具合の悪い会話をし、一方、第 ２ のユーザは第 １ のユーザを認知できるため、第 ２ のユーザにとって具合の悪いその会話を知ることになるという事態が発生するためである。なお、ポリシー規則に通信の方向を指定することによって、通信方向毎に異なるポリシーを指定することも可能である。
【００４３】
また、図示しないが、電源制御のためには、例えば次のようなポリシー規則を記述することが考えられる。
ここで ｎｅａｒｅｓｔ ＲｅｍｏｔｅＳｉｔｅ は、特定の通信相手ではなく最も近接した通信相手を意味している。すなわち、上記のポリシー規則は、もし最も接近している通信相手との距離が １０ ｍ より大きければ、電源を節電モードにするということを意味する。節電モードにおいては、クライアント の ＣＰＵ 周波数を低下させるため、オーディオおよびグラフィクスの再生品質が低下する可能性があるが、電池などのバッテリーの資源消費量が減少または節約され、より長時間の連続使用を可能にすることができる。ポリシー・セッション制御部２２３は、上記のポリシー規則を参照し、条件部に合致した場合は、電源制御部２２５に所定の信号（節電モード）を送り、この信号により、電源制御部２２５は、クライアント２０１のプログラムを実行するＣＰＵ３０１の動作周波数を低下させ、あるいは使用しないハードウェア・ブロックの電源を切断するなどにより消費電力を低下させ、電池の消耗を防ぐ。これにより、電池などのバッテリーの資源消費量を減少させることができる。
【００４４】
なお、前記の電源制御の例は、ある一定の距離を基準に節電モードとするか否かを制御している。しかしながら、この２段階の制御だけでなく、距離に応じて段階的に電源制御をすることも考えられる。例えば、距離に比例してＣＰＵ３０１の動作周波数を低下させることが考えられる。また、電源を制御するための距離の閾値を複数設け、ある閾値より遠い距離の場合は、不要な装置（例えば、カメラ２１３、ディスプレイ２２０など）の回路を順次切断することなどが考えられる。
【００４５】
また、最も接近している通信相手との距離を基準に判断するだけでなく、ある特定の通信相手との距離を基準に節電モードにするか否かを判断することとしてもよい。さらには、通信相手の距離だけでなく、他のクライアントとの通信頻度が低い場合なども、節電モードにしても良い。
【００４６】
局所ポリシー２２４のポリシー規則は、あらかじめユーザが、各種の入力装置３０５から入力し、外部記憶装置３０３に記憶されている。入力方法としては、以下の ３つの方法が考えられる。第 １ の方法は、図 １３ に図示するような文字（テキスト）を直接入力する方法である。たとえば、クライアントが後述する図 ３（ｃ）に示すデスクトップコンピュータの場合は、入力装置３０５としてキーボード ２５３ から、直接、文字を入力することができる。また、図 ３（ａ）または図 ３（ｂ）に示すＰＤＡまたはウェアラブルコンピュータなどの場合は、文字入力のためのキーを有しないが、ディスプレイ ２２０ 上にタッチパネルを表示させて、仮想キーボードにより、文字を入力することが可能である。また、無線 ＬＡＮ または Ｂｌｕｅｔｏｏｔｈ 経由で、文字入力可能な他のコンピュータと接続することにより文字を入力することもできる。
【００４７】
第 ２ の方法は、メニューを使用してポリシー規則を入力する方法である。図１３ に示すような各種のポリシー規則をあらかじめ用意し、これらを使用するか否かを当該ユーザがメニューによって選択することにより、局所ポリシー２２４ の内容を決めることができる。
【００４８】
第 ３ の方法は、ウィンドウシステムや ＷＷＷ におけるフォームを使用し、ポリシー規則を入力する方法である。第 ３ の方法は、第 １ の方法に比べ入力内容が制限されるが、距離や属性値などの数値や文字列値を入力することができるため、第 ２ の方法よりはきめ細かいポリシー規則を定義することができる。
【００４９】
以上で、図２のクライアント２０１の説明を終了する。なお、クライアント２０１ のなかで、マイクロフォン ２１１、カメラ ２１３、ポインティングデバイス ２２６、イヤフォン ２１７ およびディスプレイ ２２０ はハードウェアによって実現され、オーディオエンコーダ ２１２、ビデオエンコーダ ２１４ および電源制御部 ２２５ はソフトウェア、ハードウェアまたはこれらのくみあわせによって実現される。また、オーディオ通信部 ２１５、ビデオ通信部 ２１８、空間モデラ ２２１ およびポリシー・セッション制御部２２３ は、通常、ソフトウェアによって実現される。
【００５０】
次に、図３を参照し、クライアント２０１、２０２、２０３の種類を例示する。
【００５１】
図３（ａ）に示すクライアントは、ＰＤＡまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体２３０は、カメラ２１３、ディスプレイ２２０、ポインティングデバイス２２６、およびアンテナ２３７を有し、本体２３０に接続されたヘッドセットは、イヤフォン ２１７およびマイクロフォン２１１を有する。
【００５２】
ポインティングデバイス２２６は、前進ボタン２３１、後退ボタン２３２、左移動ボタン２３３、右移動ボタン２３４、選択ボタン２３５およびジョグダイヤル２３６を有する。例えば、前進ボタン２３１を押すことによって、仮想空間内で数１０ｃｍ前進し、後退ボタン２３２を押すことによって仮想空間内で数１０ｃｍ後退し、左移動ボタン２３３を押すことによって仮想空間内で数度左に回転し、右移動ボタン２３４を押すことによって仮想空間内で数度右に回転することが考えられる。ジョグダイヤル２３６は、前進ボタン２３１および後退ボタン２３２と同等の機能を実現し、微小な前進または後退から大幅な前進または後退までを、少ない操作回数によって実行することができる。なお、ポインティングデバイス２２６に、左移動ボタン２３３および右移動ボタン２３４と同等の機能を有するジョグダイヤルを、もう１つ装着することにより、回転に関しても微小な回転から大きな回転までを、少ない操作回数によって実行することも考えられる。また、図示するヘッドセットは、本体２３０に有線接続されているが、ＢｌｕｅｔｏｏｔｈまたはＩｒＤＡ（赤外線）などにより無線接続することも可能である。また、当該クライアントは、アンテナ２３７を用いて無線ＬＡＮによりネットワーク１０１に接続する。
【００５３】
図３（ｂ）に示すクライアントは、ウェアラブル・コンピュータの例を示したものである。眼鏡のつるのようなクライアント本体２４１は、マイクロフォン２１１、カメラ２１３、イヤフォン２１７およびディスプレイ２２０を有する。
【００５４】
ディスプレイ２２０は、ヘッドマウントディスプレイであり、このクライアント本体２４１を装着するユーザの数１０ｃｍ前方に仮想的な映像を結像するか、あるいは、ユーザの前方に３次元の映像を結像する。なお、本実施形態では、非透過型のヘッドマウントディスプレイとしているが、透過型のヘッドマウントディスプレイとしてもよい。透過型のヘッドマウントディスプレイの場合は、実空間上に仮想空間の映像を重ねることにより、仮想空間における方向を直接に表現することができる。さらに、透過型の立体ディスプレイ、すなわち映像を実空間上に立体的に重ね合わせるディスプレイを使用することにより、方向だけでなく距離も直接的に表現することができる。これにより、直観的なユーザ・インタフェースを実現することが可能である。
【００５５】
また、図３（ｂ）には、ポインティングデバイス２２６が表示されていないが、ディスプレイ２２０内に前後方向および左右方向の加速度を検出する加速度センサが内蔵されており、この加速度センサをポインティングデバイス２２６として使用する。例えば、加速度センサが、ユーザが頭部を前方に移動することによって発生する前向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数１０ｃｍ〜数ｍ前進する。また、加速度センサが、ユーザが頭部を後方に移動することによって発生する後ろ向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数１０ｃｍ 〜数ｍ後退する。また、ユーザが頭部を左まわり、または右回りに回転することによって発生する加速度を、加速度センサが検出すると、加速度の強さに応じて、仮想空間内で数度〜数１０度左回転、または、数度〜数１０度右回転する。この加速度センサを使用することにより、ユーザが目または手を使用する必要がなくなり、他の作業に目または手を使用することができるようになる。従って、ユーザが実空間上で移動しながら、または、他の作業を行いながら、容易に仮想空間上のユーザの位置を変更することができる。また、当該クライアントは、図示しない通信装置により無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈを経由してネットワーク１０１に接続することが考えられる。
【００５６】
図３（ｃ）に示すクライアントは、デスクトップ・コンピュータを示す。コンピュータ本体２５１には、マイクロフォン２１１、カメラ２１３、ポインティングデバイス２２６、ディスプレイ２２０、イヤフォンの代りの機能を有するスピーカ ２５２、およびキーボード２５３が接続されている。このポインティングデバイス２２６には、トラックボールを使用している。マウスを使用した場合には、移動範囲が制限され、移動範囲を超えて移動するためにはマウスを持ち上げる必要が生じる。しかし、トラックボールを使用した場合は、無限に回転させることができるため、平面上でどのような位置にも容易に移動することができるという利点がある。また、スピーカ２５２として、４チャンネル、５．１チャンネルなど、３個以上のステレオ再生用スピーカを使用することにより、後方からの音声も容易に表現することができる。また、当該クライアントはツイスト線によってＬＡＮに接続され、さらにネットワーク１０１に接続することが考えられる。
【００５７】
次に、図４を参照し、ディスプレイ２２０への仮想空間の表示について説明する。図４に示す表示内容は、クライアント２０１を使用する第１のユーザが、クライアント２０２およびクライアント２０３を使用する第２および第３のユーザと、仮想空間を共有している場合を例にしたものである。
【００５８】
図４（ａ）においては、３次元グラフィックス技術を使用したレンダリングを行っている。すなわち、空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報などの３次元のデータから２次元画像を作成し、ディスプレイ２２０に表示する。
【００５９】
図４（ａ）では、仮想空間内における自らの位置より定まる視点から、仮想空間に配置された壁面、天井、床面、オブジェクトとして通信相手のユーザを表現する２つのアバタ４１２、４１３、衝立４２１を眺めることで得られる２次元画像を表示する。仮想空間内の視点を変える場合は、ポインティングデバイス２２６等により、自らの位置を変更あるいは向きを変更することにより、前記視点が変更し、その位置からの眺めがリアルタイムで画面上に現れる。
【００６０】
アバタ４１２は、クライアント２０２を使用する第２のユーザを現し、アバタ４１３はクライアント２０３を使用する第３のユーザを現したものである。なお、図４には表示されていないが、クライアント２０２のカメラ２１３が撮影した第２のユーザの映像はアバタ４１２に、クライアント２０３のカメラ２１３が撮影した第３のユーザの映像はアバタ４１３に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャマップも回転するので、第２および第３のユーザが仮想空間内でどの向きを向いているか把握できる。図４（ａ）においてはアバタ４１２、アバタ４１３を図形（または映像）のみで表示しているが、アバタ４１２、アバタ４１３に対応するユーザのユーザ情報（例えば、アドレスなど文字情報）を、図形の近傍に表示することも可能である。
【００６１】
衝立４２１は、仮想空間の物体の１つであり、特定の方向からの音を遮り、仮想空間内での会議などを円滑におこなうために設けられる。衝立４２１は仮想空間を仕切る一種の壁であり、衝立を設けることにより視界および音声が遮られる。本実施形態では、衝立は、ユーザがクライアント２０１の入力装置３０５から、衝立の識別子、大きさ、位置、材質などを入力し、空間モデラ２２１がこれらを受付けて、プレゼンスプロバイダ２２２を経由してプレゼンスサーバ１１０に通知することによって、衝立を任意に設置することができる。また衝立の撤去命令と撤去すべき識別子をユーザから受付けることによって、特定の衝立を撤去することもできる。衝立４２１が与える音響効果は、音声３次元グラフィクス技術および３次元オーディオ技術を使用することによって、シミュレートされる。音声に関しては、３次元オーディオＡＰＩがもつｏｂｓｔｒｕｃｔｉｏｎの機能を使用して実現する。
【００６２】
図４（ｂ） においては、３次元グラフィクス技術を使用せず、平面図で仮想空間を表示したものである。空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報をもとに、真上から仮想空間に配置された通信相手のユーザを表現する第２のアバタ４１２および第３のアバタ４１３と、クライアント２０１のユーザを表現する第１のアバタ４１１と、衝立４２１を眺めることで得られる２次元画像を表示している。
【００６３】
クライアント２０１を使用する第１のユーザ（自ユーザ）であるアバタ４１１を表示することにより、クライアント ２０１ のユーザと、通信相手のクライアント２０２、２０３のユーザとの位置関係を正確に表現することができる。また、図示していないが、ディスプレイ２２０上に縮尺を表示することにより、距離も正確に表現することができる。さらに、クライアント ２０１ のユーザの背後に存在するユーザも表示することができるため、背後から接近するユーザも見落とす危険が少ないという利点がある。なお、各アバタに関するユーザ情報を図形の近傍に表示可能とすることについては、図４（ａ） の場合と同様である。
【００６４】
なお、ディスプレイ２２０への仮想空間の表示法としては、次の２通りのうちのいずれかを選択することができる。第１の方法は、仮想空間の表示を常に固定し、クライアント２０１のユーザを表示された仮想空間中で移動または回転させて表示する方法である。第２の方法は、クライアント２０１の位置と向きを固定し、クライアント２０１を中心として仮想空間や仮想空間中の他のユーザが相対的に移動し回転するように表示する方法である。図４（ａ）においては、第２の方法を使用している。図４（ｂ）においては、第１の方法、第２の方法のいずれを使用することもできる。
【００６５】
第１の方法には、仮想空間の中でのクライアント２０１ のユーザの位置がわかり易いという利点があり、第２の方法には、音声とグラフィクス表示との関係がわかりやすいという利点がある。
【００６６】
次に、図 ５ から図 １０ を参照し、クライアント２０１ における処理手順を説明する。
【００６７】
図 ５ は、クライアント２０１ をネットワーク １０１ に接続するときの処理手順である。本実施形態においては、常時接続型のコミュニケーション・システムとしているため、図 ５ の接続手順はクライアント２０１ の電源投入時に実行される。また、ユーザがユーザ名を入力または変更した際にも本接続手順が実行される。
【００６８】
まずステップ ５１１において、ネットワーク １０１ への接続のために、ポリシー・セッション制御部２２３は、ユーザの識別情報および認証情報を含むログインメッセージを、ＳＩＰ プロキシサーバ１２０ に送信する。ＳＩＰ プロキシサーバ１２０ はログインメッセージを受け付け、登録サーバ１３０ に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ１３０は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ１１０ にユーザの識別情報を送付する。
【００６９】
ＳＩＰ プロキシサーバ１２０と登録サーバ１３０ との通信には、ＩＥＴＦ のドキュメント ＲＦＣ ３２６１ において規定されたプロトコル ＳＩＰ （Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ） の ＲＥＧＩＳＴＥＲ メッセージを使用することが考えられる。ＳＩＰ プロキシサーバ１２０は、ＲＥＧＩＳＴＥＲ メッセージを定期的に登録サーバ１３０に送信し、また、クライアント２０１ の ＩＰ アドレスが変更された場合もＲＥＧＩＳＴＥＲ メッセージを登録サーバ１３０に送信する。なお、ＳＩＰ のプロトコルよりも、強力な認証・セキュリティ機能を実現する場合は、他のプロトコルを使用して認証要求メッセージを登録サーバ１３０ に送信することとしてもよい。
【００７０】
また、クライアント２０１のプレゼンスプロバイダ ２２２と、プレゼンスサーバ１１０ との通信には、固有のプロトコルを使用することもできるが、ＩＥＴＦ のドキュメント ＲＦＣ ３２６５ （Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ （ＳＩＰ）−Ｓｐｅｃｉｆｉｃ Ｅｖｅｎｔ Ｎｏｔｉｆｉｃａｔｉｏｎ） に記述された ＳＩＰ の ＳＵＢＳＣＲＩＢＥ メッセージ、または、これを拡張したメッセージを使用することができる。ＳＵＢＳＣＲＩＢＥ メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するメッセージであり、イベント要求メッセージともいう。したがって、プレゼンスサーバ１１０ との通信においては、プレゼンスサーバ１１０ を相手として指定して、プレゼンスサーバ１１０が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベント、すなわち仮想空間の生成や消滅などの通知を要求すればよい。ユーザ識別子であるアドレスが ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ のユーザが、仮想空間のリスト ｒｏｏｍｓ＠ｓｅｒｖｅｒｓ．ｃｏｍ に対して送るメッセージは、次のようになる。
前記のメッセージは、実際には前記の仮想空間のリストに対してではなくプレゼンスサーバ１１０ に送られる。これは、プレゼンスサーバ１１０ があらかじめ登録サーバ１３０ に ｒｏｏｍｓ＠ｓｅｒｖｅｒｓ．ｃｏｍ に対応する ＩＰ アドレスとしてプレゼンスサーバ１１０ の ＩＰ アドレスを登録することによって実現される。ＳＵＢＳＣＲＩＢＥ メッセージによってイベントの通知を求めると、これに対応するイベントの通知は ＲＦＣ ３２６５ に記述された ＳＩＰ の ＮＯＴＩＦＹ メッセージによって送られる。
【００７１】
ポリシー・セッション制御部２２３ がＳＩＰ のメッセージ送受信を行うため、ＳＵＢＳＣＲＩＢＥ メッセージを使用する場合にはプレゼンスプロバイダ２２２ は、ポリシー・セッション制御部２２３ およびＳＩＰ プロキシサーバ１２０ を経由してプレゼンスサーバ１１０ との通信を行う。
【００７２】
なお、ユーザの入場者数が多い仮想空間においては、全てのイベントに関して通知を受けることは、クライアント２０１ に必要以上に負荷をかけることになるので、前記の ＳＵＢＳＣＲＩＢＥ メッセージに、局所ポリシー２２４ の一部を加工した情報を付加し、例えば重要なユーザのみのイベントに関して通知を受けることにすることにより、プレゼンスサーバ１１０ において、あらかじめイベントをフィルタし、重要なイベントだけの通知を受けるように指定することもできる。
【００７３】
つぎにステップ ５１２において、プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ から部屋リストを受け取る。なお、ステップ ５１１ において、 ＳＵＢＳＣＲＩＢＥ メッセージを使用した場合には、前述のイベント通知メッセージとして ＮＯＴＩＦＹ メッセージの形式で前記の部屋リストが送られる。すなわち、ＮＯＴＩＦＹ メッセージの内容として部屋リストが含まれる。そして、ステップ ５１３において、プレゼンスプロバイダ ２２２は、受け取った部屋リストをディスプレイ ２２０ に表示する。
【００７４】
図 ６ は、ユーザがディスプレイ ２２０ に表示された部屋リストの中から入場したい部屋を選択したときのクライアント２０１ の処理手順を示す。ユーザが部屋を選択すると、ステップ ６１１において、クライアント２０１のプレゼンスプロバイダ ２２２ は、プレゼンスサーバ１１０ に ユーザの識別情報および仮想空間内における位置情報を指定した入場メッセージ （ｅｎｔｅｒ） を送信する。入場メッセージの送信は、固有のプロトコルを使用することもできるが、ＳＩＰ の ＳＵＢＳＣＲＩＢＥ メッセージを使用することもできる。すなわち、受信者を選択した部屋とした ＳＵＢＳＣＲＩＢＥ メッセージを入場メッセージとして使用する。ＳＵＢＳＣＲＩＢＥ メッセージは、当該選択した部屋の仮想空間において発生したイベント（例えば、ユーザの入退場または移動、仮想空間属性の変更など）の通知を要求する。ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ のアドレスをもつユーザが部屋名 ｒｏｏｍ１＠ｓｅｒｖｅｒｓ．ｃｏｍ の部屋に入場する場合は、次のようなヘッダを有し、内容として前記のユーザの位置情報を有するメッセージを送信する。
なお、部屋の選択については、通常は １ 個の部屋を選択するが、複数の部屋を同時に選択することも可能である。複数の部屋を選択したときには、プレゼンスプロバイダ２２２ は、選択した全ての部屋に対する入場メッセージを、プレゼンスサーバ１１０ に送信する。
【００７５】
次にステップ ６１２ において、プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０ から選択した部屋に入場しているユーザの入場者リストを受け取る。入場メッセージとして ＳＵＢＳＣＲＩＢＥ メッセージを使用した場合は、これに対応する ＮＯＴＩＦＹ メッセージの形式で、プレゼンスプロバイダ２２２に入場者リストが送られる。
なお、入場者リストには少なくとも、部屋に入場しているユーザのユーザ識別情報、および仮想空間内における位置情報が含まれているものとする。
【００７６】
次にステップ ６１３ において、ポリシー・セッション制御部２２３が、前記の入場者リストに含まれるユーザ毎に、後述する通信要求出力手順（図９参照）を実行し、各ユーザとの通信条件を決定する。
【００７７】
また、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ２２２がプレゼンスサーバ１１０にユーザ識別情報を含んだ退場メッセージを送信する。
【００７８】
図 ７ は、ユーザがプレゼンスを変更する場合、すなわち仮想空間における部屋の中で移動するときの処理手順である。移動はユーザがポインティング・デバイス ２２６ を操作することにより、空間モデラ２２１ に移動情報が入力される。空間モデラ ２２１は、ポインティングデバイス ２２６ からの入力を検知すると、ステップ ７１１において、ユーザの部屋の中の元の位置とポインティングデバイス ２２６ からの入力された移動情報とを用いて、ユーザの移動後の位置を算出する。次に、ステップ ７１２において、空間モデラ ２２１は、前記移動後の位置をオーディオレンダラ２１６、グラフィクスレンダラ２１９ およびプレゼンスプロバイダ ２２２ に通知する。オーディオレンダラ２１６は、仮想空間内の通知された移動後の位置でどのように通信相手の音声が聞こえるかを計算し、オーディオ通信部２１５から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント２０１を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、３次元音響を更新する。また、グラフィクスレンダラ２１９は、仮想空間内の通知された移動後の位置に基づいて視点を変更し、仮想空間上でどのように通信相手が見えるかを計算して、その位置からの眺めで画面上に出力するイメージデータを作成し、３次元グラフィクスを更新する。
【００７９】
次に、ステップ ７１３において、プレゼンスプロバイダ ２２２ は移動後の位置をプレゼンスサーバ１１０ に通知する。ＳＩＰ プロトコルを使用する場合は、 ＮＯＴＩＦＹ メッセージを使用する。なお、ＮＯＴＩＦＹ メッセージは、通常 ＳＵＢＳＣＲＩＢＥ メッセージを受信した結果として送信されるが、前記の ＮＯＴＩＦＹ メッセージに対応する ＳＵＢＳＣＲＩＢＥ メッセージは存在しない。そのための代替案としては、プレゼンスサーバ１１０ がクライアント ２０１ から入場メッセージを受信した際に、入場者リストを返信するだけでなく、前記の ＮＯＴＩＦＹ メッセージに対応する ＳＵＢＳＣＲＩＢＥ メッセージを送信することが考えられる。この 入場者リストの送信時に併せて、イベント要求メッセージであるＳＵＢＳＣＲＩＢＥ メッセージを送信するようにすれば、その内容として ＮＯＴＩＦＹ メッセージの要求頻度または要求時間間隔を指定することが可能となる。これにより、プレゼンスサーバ１１０ の処理負荷が高いときには、クライアント２０１ からの ＮＯＴＩＦＹ メッセージの頻度を低下させることによって、処理負荷を下げることができる。さらに、既に ＳＵＢＳＣＲＩＢＥ メッセージを送信したクライアントに対しても、それを無効にして新たな ＳＵＢＳＣＲＩＢＥ メッセージを送付することによって、要求頻度または要求時間間隔を改めて指定することができる。
【００８０】
次に、ステップ ７１４において、プレゼンスサーバ１１０はプレゼンスプロバイダ ２２２ から通知された移動後の位置にもとづき、入場者リストにおけるユーザの位置を更新する。次に、ステップ ７１５において、クライアント２０１のポリシー・セッション制御部２２３が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順（図９参照）を実行して、各ユーザとの通信条件を決定する。
【００８１】
なお、ポインティングデバイス ２２６ におけるイベント発生が頻繁であるときは、イベント発生の度にステップ ７１２からステップ７１５ を実行すると負荷が大きすぎるため、ステップ ７１１ において、頻度を判定して、前回のイベント発生から一定の時間が経過している場合にのみ、ステップ ７１２からステップ７１５ を実行するようにすることもできる。
【００８２】
図 ８ は、プレゼンスの変更入力、すなわち、プレゼンスサーバ１１０ がクライアント２０１に他のユーザの位置を通知した場合の処理手順を示したものである。
【００８３】
プレゼンスサーバ１１０は、他のクライアントのユーザの位置の変更をクライアント２０１のプレゼンスプロバイダ ２２２に通知する。この通知を受けて、ステップ ８１１ において、プレゼンスプロバイダ ２２２ は空間モデラ ２２１ に変更されたユーザの位置を通知する。空間モデラ２２１は、通知された位置を記憶し、そしてオーディオレンダラ２１６ およびグラフィクスレンダラ２１９ に通知された位置を通知する。オーディオレンダラ２１６ およびグラフィクスレンダラ２１９ は、図７のステップ７１２と同様に、通知された位置にもとづいて、３次元音響および ３次元グラフィクスを更新する。
【００８４】
次にステップ ８１２ において、空間モデラ ２２１がクライアント２０１のユーザの位置と、位置の変更通知を受けたユーザとの仮想空間上の部屋における距離を算出し、ポリシー・セッション制御部２２３に通知する。そして、ステップ ８１３ において、ポリシー・セッション制御部２２３が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順（図９参照）を実行して、各ユーザとの通信条件を決定する。
【００８５】
なお、図７の通信要求出力手順（ステップ７１５）と、図８の通信要求出力手順（ステップ８１３）において、通信条件を２度決定しているが、これはクライアント毎に設定されている局所ポリシー２２４が、通信元のクライアントと通信先のクライアントとの間で整合性のない（あるいは、双方一致しない）通信条件を有する場合を考慮したものである。
【００８６】
次に、図９を参照し、ポリシー・セッション制御部２２３ がクライアントにおいて発生する各種の要求にもとづいてＳＩＰサーバ１１２を経由し、他のクライアントに対して通信要求を出力する手順を説明する。図９の処理手順は、ＳＩＰ サーバ１２０が、最低限のインテリジェンスしか持たず、ほとんどの処理をクライアント において行う方式の処理手順である。
【００８７】
まず始めに、ポリシー・セッション制御部２２３が、仮想空間内における当該ユーザと通信相手のユーザとの距離と、前述の局所ポリシー２２４ とにもとづいて新通信条件を決定する。具体的には、ポリシー・セッション制御部２２３は、局所ポリシー２２４ に含まれる全てのポリシー規則について、ステップ ９１１ および ９１２ の処理を実行する。ステップ ９１１ においては、当該ポリシー規則の条件部を当該通信が満たすか否かを判定し、満たしている場合は、ステップ ９１２ において、ポリシー規則の動作部を実行する。すなわち、オーディオ通信部 ２１５ またはビデオ通信部 ２１８の通信条件を、ポリシー規則の動作部に記載されている内容に設定する。一方、ステップ ９１１ において、当該ポリシー規則の条件部を満たしていない場合は、ステップ９１２の動作部を実行せず、次にステップ９１３において、全てのポリシー規則がステップ ９１１ および ９１２ の処理を実行したが否かを判定する。全てのポリシー規則が前記処理を実行した場合は、この実行により設定された通信条件を新通信条件と決定してステップ９１４（現在の通信条件を判定）に進み、未だ処理していないポリシー規則がある場合は、未処理のポリシー規則についてステップ ９１１を実行する。
【００８８】
ここで、図 １３ に示すポリシー規則を例にステップ ９１１ および ９１２ の処理を具体的に説明する。
【００８９】
第 １ のケースとして、当該ユーザからみて通信相手のユーザが ６０ ｍ 離れた位置にいるときは、ポリシー規則 １３１１ とポリシー規則 １３１５ とが適用される。すなわち、ポリシー規則 １３１１ に従って接続は切断される。ポリシー規則 １３１５ は接続されているときだけに有効なため、この場合、動作部は無効（すなわち実行されない）である。従って、このケースにおける新通信条件は、切断要求である。
【００９０】
第 ２ のケースとして、当該ユーザからみて通信相手のユーザが ３０ ｍ 離れた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１５ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該の通信相手と接続されていない場合は当該通信相手と接続される。次に、ポリシー規則 １３１５ に従って、オーディオ通信部 ２１５ は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 ２１８ は、不明瞭かつ低帯域幅に加工された映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声、および低品質の映像の送信である。
【００９１】
なお、音声を聞き取り不能にするには、音声の振幅を数 ｍｓ 〜 数 １０ ｍｓ の時間にわたって平均し、当該の音声とは全く異なる音声 （たとえば正弦波） を、この振幅になるように変調すればよい。これにより、発声していることは認識できるが、全く聞き取るができない音声を生成することができる。また、映像を不明瞭にするには、圧縮率の高い ＭＰＥＧ 形式にコーディングされた信号として表現すればよい。これによって帯域幅もあわせて減少させることができる。
【００９２】
また、当該ユーザと通信相手が異なるポリシー規則を保持している場合は、後述する通信要求入力手順（図１０参照）のステップ １０１３ の通信条件の変更において、弱い方の通信条件にそろえられる。すなわち、より明瞭度が低い方、あるいは聞き取り可能なポリシーと聞き取る不可能なポリシーとがある場合は、聞き取り不可能な方の通信条件を設定する。これにより、第１のクライアントから第２のクライアントへの通信する場合と、第２のクライアントから第１のクライアントへの通信する場合で、同じ通信条件が実現される。
【００９３】
第 ３ のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有する場合であって、前記の通信相手のユーザが ５ ｍ 離れた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１３ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該通信相手と接続されていなければ接続される。また、ポリシー規則 １３１３ に従って、オーディオ通信部 ２１５ は特殊な加工を施さない広帯域の音声を当該通信相手に送信し、ビデオ通信部 ２１８ は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、高品質の音声および低品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 ２ のケースの場合と同様で弱い方の通信条件にそろえられる。
【００９４】
第 ４ のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有しない場合であって、前記の通信相手のユーザが ５ ｍ はなれた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１４ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該の通信相手と接続されていなければ接続される。ポリシー規則 １３１４ に従って、オーディオ通信部 ２１５ は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 ２１８ は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声および高品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 ２ のケースの場合と同様で弱い方の通信条件にそろえられる。
【００９５】
次に、ステップ ９１４ において、現在の通信条件とステップ９１１からステップ９１３で決定した新通信条件とにもとづき、通信先のクライアントに対して行う通信要求の判定（振り分け）を行う。この判定により、現在は未接続で、接続を要求する第１のケース、現在は接続中で、切断を要求する第２のケース、現在は未接続で、通信条件を変更する第３のケースのいずれかに振り分けられる。第 １ のケースにおいてはステップ ９１５ に進み、第２ のケースにおいてはステップ ９１７ に進み、第 ３ のケースにおいてはステップ ９１９ に進む。
【００９６】
第１のケースはステップ ９１５ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアントに対し、新通信条件を提示して接続を要求する。接続要求には ＳＩＰ の ＩＮＶＩＴＥ メッセージを使用する。ＩＮＶＩＴＥ メッセージは宛先のユーザを会話に招待することを意味する。
【００９７】
ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ というアドレスを持つユーザのクライアント２０１ が、 ｕｓｅｒ２＠ｓｅｒｖｅｒｓ．ｃｏｍ というアドレスを持つユーザのクライアント２０２ に対して接続要求する場合は、ポリシー・セッション制御部２２３は、次のようなヘッダを有し、内容として新通信条件を含んだメッセージを送信する。
通信条件を提示するためのプロトコルとしては、ＩＥＴＦ のドキュメント ＲＦＣ ２３２７ によって規定されたプロトコル ＳＤＰ （Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ） があり、ＩＮＶＩＴＥ メッセージの内容を表現するために従来から使用されている。ただし、本実施形態における新通信条件の提示には、ＳＤＰ を拡張する必要がある。
【００９８】
次に、ステップ ９１６ において、接続要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、接続要求中であることの記録は、通信相手からの返事が一定時間以内に到着しない場合、ＩＮＶＩＴＥ メッセージを再送する際に使用される。なお、ポリシー・セッション制御部２２３は、当該通信相手から接続要求に対する返事を受信したときに、前記記録をクリアする。
【００９９】
第２のケースは、ステップ ９１７ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアント２０２ または ２０３ に対し、通信の切断を要求する。通信を切断するためには通常は ＳＩＰ の ＢＹＥ メッセージを使用し、本実施形態においても ＢＹＥ メッセージを使用することは可能である。しかしＢＹＥ メッセージは、通信相手の返事を待たずに接続を切るため、切断のためにクライアント２０１ と、通信相手のクライアントとの間でポリシー規則の整合性をとるために調停・交渉が必要な場合には、ＢＹＥ メッセージを使用せず、接続の場合と同様に ＩＮＶＩＴＥ メッセージを使用する。すなわち、ＩＮＶＩＴＥ メッセージの内容として通信切断要求を記述する。通信切断要求は、例えば通信速度として ０ を指定した ＳＤＰ メッセージによって表現することが可能である。
【０１００】
次に、ステップ ９１８ において、切断要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、切断要求中であることの記録、および、記録のクリアについては、ステップ９１６と同様である。
【０１０１】
第３のケースは、ステップ ９１９ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアントに対し、通信条件の変更を要求する。通信条件の変更も、変更後の新通信条件を内容として含む ＳＩＰ の ＩＮＶＩＴＥ メッセージを使用し、変更する通信条件は ＳＤＰ によって記述する。次に、ステップ ９１８ において通信条件変更要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、通信条件変更要求中であることの記録、および、記録のクリアについては、ステップ９１６と同様である。
【０１０２】
図 １０ は、通信相手のクライアント から、 ＳＩＰ プロキシサーバ１２０ を経由してポリシー・セッション制御部２２３ に対して送信された通信要求の入力処理手順を示す。通信要求がポリシー・セッション制御部２２３に到着すると、まずステップ １０１１ において、ポリシー・セッション制御部２２３は、局所ポリシー２２４ の全てのポリシー規則を参照して、送信された要求条件が妥当であるかどうかを判定する。そして、前記の要求条件が、そのままで妥当だと判定された場合はステップ １０１２ に進み、前記の要求条件の一部を変更すれば妥当な条件になると判定された場合はステップ １０１３ に進み、妥当でないと判定されたときにはステップ １０１４ に進む。
【０１０３】
ステップ １０１２ においては 、ポリシー・セッション制御部２２３は、ＳＩＰプロキシサーバ１２０ を経由して、内容を添付しないＳＩＰ の ＯＫ （２００） メッセージを要求元に対して返信し、ステップ １０１５ に進む。前記 ＯＫ メッセージは、内容を伴わないことにより、通信相手の要求をそのまま受け入れたことを表現している。ステップ １０１３ においては、ポリシー・セッション制御部２２３は、 ＳＩＰ プロキシサーバ１２０ を経由して、クライアント ２０１ において一部変更した通信条件を内容として添付した ＳＩＰ の ＯＫ メッセージを要求元に対して返信し、ステップ １０１５ に進む。
【０１０４】
ステップ １０１５ においては、通信相手の通信要求をそのままで妥当と判断したとき（ステップ１０１２）はその通信条件を、通信相手の通信要求を一部変更したとき（ステップ１０１３）は変更後の通信条件を、オーディオ通信部 ２１５ およびビデオ通信部 ２１８ に反映させて、通信要求入力手順を終了する。
【０１０５】
ステップ １０１６ においては、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信要求を拒否するＮＧメッセージとしてＳＩＰの Ｎｏｔ ａｃｃｅｐｔａｂｌｅ （４０６） メッセージを要求元に返信し要求を拒絶し、通信要求入力手順を終了する。
【０１０６】
以上でクライアントにおける各種処理手順の説明を終了する。
【０１０７】
次にプレゼンスサーバ１１０ の機能構成および処理手順について説明する。なお、登録サーバ１３０ および ＳＩＰ プロキシサーバ１２０ については、 ＳＩＰ を使用する従来の通信と同じため、説明を省略する。
【０１０８】
図１１は、プレゼンスサーバ１１０ の機能構成を示す。プレゼンスサーバ１１０は、クライアントと各種情報の送受信をするためのインタフェース部１１１と、クライアントからのメッセージ種別を判定する判定部１１２と、判定結果に応じた処理およびインタフェース部１１１に対して送信頻度の制御を行う処理部１１３と、仮想空間の属性、仮想空間で発生したイベント（ユーザの入退場、移動等）、部屋リスト、入場者リスト等を、管理し記憶する記憶部１１４とを有する。記憶部１１４には、あらかじめ、プレゼンスサーバ１１０が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する（図５、図６参照）。その後、クライアントは仮想空間に入場したユーザの各種メッセージを受付け、プレゼンスサーバ１１０に送信する。これにより各仮想空間内に、各種のイベントが発生する。なお、記憶部１１４はこれらの情報をメモリ３０２または外部記憶装置３０３に記憶する。またこれらの機能は、プレゼンスサーバ１１０のメモリ３０２にロードまたは記憶された所定のプログラムを、ＣＰＵ３０１が実行することにより実現される。
【０１０９】
図１２は、プレゼンスサーバ１１０ の処理手順を示したものである。プレゼンスサーバ１１０ は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ１１０ が停止するまで行う。まず、ステップ １２１１ において、インタフェース部１１１は、クライアントからのメッセージを待ち、メッセージを受信すると、ステップ １２１２ において、判定部１１２が受付けたメッセージの種類を判定する。メッセージが、ログインメッセージの場合はステップ １２２１ に進み、入場メッセージの場合はステップ １２３１ に進み、移動メッセージの場合はステップ １２３５ に進み、退場メッセージの場合はステップ １２４１ に進む。ＳＩＰのプロトコルを使用する場合、ＳＵＢＳＣＲＩＢＥ メッセージであれば判定部１１２はログインメッセージと判定し、特定の部屋に関する値として ０ を含む ”Ｅｘｐｉｒｅｓ” ヘッダを持たない ＳＵＢＳＣＲＩＢＥ メッセージであれば判定部１１２は入場メッセージと判定し、ＮＯＴＩＦＹ メッセージであれば処理部１１２は移動メッセージと判定し、特定の部屋に関する値として ０ を含む ”Ｅｘｐｉｒｅｓ” ヘッダを持つ ＳＵＢＳＣＲＩＢＥ メッセージであれば処理部１１２は退場メッセージと判定する。
【０１１０】
ログインメッセージの場合（ステップ １２２１）は、プレゼンスサーバ１１０の処理部１１３は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部１１１に指示し、インタフェース部１１１は部屋リストを送信する。その後、ステップ１２１１に戻り、次のメッセージを待つ。ＳＩＰ を使用する場合は、部屋リスト名 （アドレス：ｒｏｏｍｓ＠ｓｅｒｖｅｒｓ．ｃｏｍ） をヘッダの送信者とし、内容として部屋リストを含む ＮＯＴＩＦＹ メッセージをクライアントに送信する。例えば、当該クライアントのユーザのアドレスが ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ の場合は、メッセージ・ヘッダは次のようになる。
入場メッセージの場合（ステップ １２３１）は、処理部１１３はメッセージ送信元クライアントのユーザのアドレスを、指定された部屋の入場者リストに追加し、当該ユーザの仮想空間における位置はメッセージで指定された位置情報の位置とする。次にステップ １２３２ において、処理部１１３は当該ユーザ以外の全入場者のアドレスとユーザの位置とをメッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。インタフェース部１１１は、前記指示に従い送信元クライアントに送信する。そして後述するステップ １２３６に進む。ＳＩＰ を使用する場合は、内容として全入場者のアドレスとユーザ位置とを含む ＮＯＴＩＦＹ メッセージを送信する。例えば、ユーザアドレスがｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ で、指定された部屋がｒｏｏｍ１＠ｓｅｒｖｅｒｓ．ｃｏｍ の場合は、次のようなヘッダをもつメッセージを送信する。
なお、プレゼンス変更出力手順（図７参照）のステップ ７１３ において、 ＳＵＢＳＣＲＩＢＥ メッセージを受信するようにプロトコルを設定した場合は、ステップ １２３２で前記 ＮＯＴＩＦＹ メッセージを送信した後、当該ユーザのアドレスを指定した ＳＵＢＳＣＲＩＢＥ メッセージを当該ユーザに送信する。例えば、次のようなヘッダをもつメッセージを送信する。
移動メッセージの場合（ステップ １２３５）は、処理部１１３は送信元クライアンのユーザの仮想空間内の位置を、移動メッセージで受付けた移動位置に更新し、入場者リストを更新する。そして、ステップ １２３６ において、処理部１１３は対象となる部屋の、メッセージ移動したユーザのクライアント以外の全ての入場者のクライアントに、当該ユーザ名と当該ユーザの位置とを通知するようインタフェース部１１１に指示する。インタフェース部１１１は、前記指示に従いクライアントに送信する。なお、入場メッセージの場合（ステップ １２３１）の場合も同じである。そして、ステップ１２１１に戻る。ＳＩＰ を使用する場合は、当該部屋 のアドレス（ｒｏｏｍ１＠ｓｅｒｖｅｒｓ．ｃｏｍ）を送信者とし、内容としては当該ユーザのアドレスと位置とを含む ＮＯＴＩＦＹ メッセージを送信する。送信先のユーザのアドレスが ｕｓｅｒ２＠ｓｅｒｖｅｒｓ．ｃｏｍ であれば、メッセージヘッダはつぎのようになる。
なお、ステップ １２３５ が実行されるたびに、ステップ １２３６において全入場者に ＮＯＴＩＦＹ メッセージを送ると通信量が膨大になる可能性がある。これを防ぐために、処理部１１３は、ステップ １２３５において前回の ＮＯＴＩＦＹ メッセージを送ってから一定の時間が経過するまで ＮＯＴＩＦＹ メッセージを送信しないようにインタフェース部１１１に指示することが考えられる。この場合、インタフェース部１１１は、処理部１１３の指示により、一定の時間内に受付けられた移動メッセージの情報をまとめて ＮＯＴＩＦＹ メッセージの内容として送信する。
また、処理部１１３は、記憶部１１４に記憶されているＮＯＴＩＦＹ メッセージの送信先のユーザと、移動メッセージを通知したユーザとの仮想空間における距離が一定の値より近い場合（比較的近距離の場合）は、前記の一定の時間をこれより短い時間にすることによって頻繁に通知を行う（高頻度の通知）ようにし、逆に両者の距離が一定の値より遠い場合（比較的遠距離の場合）は、前記の一定の時間をこれより長い時間にすることによって通知の頻度を下げる（低頻度の通知）ようにしてもよい。例えば、仮想空間におけるユーザ間の一定の距離を１０ｍとした場合は、送信先のユーザとの距離が５ｍの場合は、前記一定の時間を０．２秒として、つまり０．２秒間隔で移動メッセージを当該クライアントに送信する。一方、送信先のユーザとの距離が１２ｍの場合は、前記一定の時間を１秒として、つまり１秒間隔で移動メッセージを当該クライアントに送信する。
【０１１１】
また、送信間隔あるいは送信頻度は、前述のようにある一定の距離より遠いまたは近い場合の２段階の制御に限定するものではない。例えば、距離に比例して送信間隔または送信頻度を変化させる方法、あるいは、送信間隔または送信頻度を変化させる距離の閾値を複数設定し、距離に応じた送信間隔または送信頻度を制御する方法などが考えられる。これにより、きめ細かい、送信制御が可能となる。
【０１１２】
これにより送信先のユーザにとって近くに存在するユーザの状況変化の伝達を妨げることなく、遠くに存在するユーザの通信頻度を低下させることにより通信量を削減することが可能となる。
【０１１３】
なお、プレゼンスサーバ１１０ が各クライアントの局所ポリシー２４４ に登録されたポリシー規則の一部または全部を、あらかじめ各クライアントから収集しプレゼンスサーバ１１０内に保持することも考えられる。この場合は、プレゼンスサーバ１１０が各クライアントの局所ポリシー２４４に登録されたポリシー規則の一部または全部をあらかじめ各クライアントから受け取ることにより、上記のような距離だけではなく、処理部１１３は局所ポリシー２４４に記載されている送信先ユーザの重要性にもとづいて通信を制御することができる。すなわち、送信先ユーザが重要なときはクライアント毎にきめ細かい送信頻度また送信時間間隔によってＮＯＦＩＴＹ メッセージを送信することができる。
【０１１４】
退場メッセージの場合（ステップ １２４１）は、処理部１１３は、当該ユーザを入場者リストから削除し、次にステップ １２４２ において、処理部１１３は当該ユーザ以外の全ての入場者に当該ユーザが部屋から退場したことを通知するようにインタフェース部１１１に指示する。インタフェース部１１１は、前記指示に従いクライアントに送信する。そして、ステップ１２１１に戻り、クライアントからのメッセージを待つ。ＳＩＰ を使用する場合は、当該の部屋を送信者とし内容として退場したユーザ名と削除されたことを示すメッセージとを含む ＮＯＦＩＴＹ メッセージを送信する。メッセージヘッダは前述のステップ １１３６のメッセージヘッダと同様である。
【０１１５】
以上で本実施形態の説明を終了する。
【０１１６】
本発明により、プレゼンスサーバは仮想空間に入場した全てのユーザの位置を把握することができ、全てのユーザに整合がとれた仮想空間属性情報と各ユーザに関する情報とが配布されるため、仮想空間そのもの、および仮想空間内におけるユーザのプレゼンス（すなわち存在感または存在位置）を、ユーザ間で整合させることができる。これにより、仮想空間においてユーザ同士が自然に会話することができ、円滑なコミュニケーションを図ることができる
また、局所ポリシーに仮想空間を共有するユーザのなかで状況把握や暗黙知流通に重要なユーザについてはユーザが遠距離にいるときであっても高品質な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには比較的低品質な音声を送受信するか、または接続を切るようにポリシーを記述する。これにより、重要なユーザに関しては状況を把握しやすくし暗黙知の流通を促進するとともに、それ以外のユーザはネットワーク帯域幅などの資源を必要以上に浪費することを回避でき、クライアント間での平均通信量を削減することができる。また、併せて電池などのバッテリーの資源消費量を減少させることもできる。
【０１１７】
また、局所ポリシー仮想空間を共有するユーザのなかで親密なユーザについては、ユーザが遠距離にいるときであっても明瞭な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには明瞭度を低下させた音声を送信するか、音声を他の音に置き換えた信号を送受信するか、または接続を切るようにポリシーを記述する。これにより、親密でないユーザにプライベートな会話を聴取される可能性が低くなり、プライバシーを保護することができる。
【０１１８】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、以下に本実施形態の一部を変更した３つの実施形態について説明する。
【０１１９】
第１に、前記の実施形態においては、セッション制御またはセッション管理は、ほとんどクライアント２０１ が行い、ＳＩＰ プロキシサーバ１２０ はインテリジェンスを持っていない。またオーディオおよびビデオの通信はピア・トゥー・ピアで、サーバを介さずに行う形態である。マルチキャストを使用した場合は、この方法においてもネットワーク負荷を抑えることができる。しかしながら、ネットワーク１０１がユニキャスト・ネットワークの場合は、この方法ではネットワーク負荷が高くなる。また、仮想空間内において当該ユーザの近傍に多数の他のユーザが存在する場合は、クライアントの処理負荷が高くなり、処理不能に陥る危険がある。これを回避するためには、複数のオーディオまたはビデオ信号を独立に処理する機能を各クライアントからサーバに移すことが考えられる。
【０１２０】
例えば、各クライアントからのオーディオ信号、ビデオ信号を収集し束ねるために、専用の通信サーバをネットワーク １０１ に接続する。前記通信サーバは各クライアントから送られるオーディオ信号を束ねて １ 本または少数本の ＲＴＰストリームを作り、このＲＴＰ ストリームを各クライアントに送信する。ビデオ信号についても 同様に１ 本または少数本の ＲＴＰ ストリームを作り各クライアントに送信する。オーディオ信号またはビデオ信号を束ねるだけではネットワーク負荷は抑えられないが、接続数を減らすことによりクライアントの負荷は軽減させることが可能である。さらに、オーディオレンダラ２１６、グラフィクスレンダラ２１９ の機能を前記通信サーバにおいて実現した場合は、１ 個のオーディオ信号またはビデオ信号だけを含むストリームを各クライアントに送信すればよいため、ネットワーク負荷を抑えることができる。ただし、そのためには通信サーバが各クライアントの空間モデラ ２２１ が有する情報を逐次、プレゼンスサーバ１１０ から受信する必要があり、またプレゼンスサーバ１１０ は各ユーザの位置を常に高頻度で把握する必要がある。
【０１２１】
この構成においては、図９の通信要求出力手順のかわりに、クライアント２０１ は前記の通信サーバに対して接続を要求する。すなわち、新通信条件を前記の通信サーバに送信すると、前記の通信サーバが通信相手のクライアントとの交渉を行い、現在の通信条件と指定された新通信条件とから実際の新通信条件を決定し、要求元のクライアント２０１ と通信相手のクライアント全てに、新通信条件を含んだ ＩＮＶＩＴＥ メッセージを送付するか、または ＢＹＥ メッセージを送付する。前記の ＩＮＶＩＴＥ メッセージには、通信先として通信サーバを指定した ＳＤＰメッセージが含まれる。そのため、各クライアントは前記の通信サーバにオーディオ信号またはビデオ信号を送信する。
【０１２２】
また、クライアント２０１ は、通信サーバから他のクライアントの通信要求の妥当性を判断するために、図１０に示す通信要求入力手順について必要である。しかし、あらかじめ局所ポリシー２４４の一部または全部を前記の通信サーバに送信しておくことにより、前記の通信要求入力手順の一部または全部を、通信サーバ側で行うようにして、クライアント２０１の負荷を軽減させることができる。
【０１２３】
第 ２ に、今まで説明した実施形態では、ユーザ移動時のクライアント ２０１ とプレゼンスサーバ１１０ との間の通信に ＳＩＰ の ＳＵＢＳＣＲＩＢＥ−ＮＯＴＩＦＹ に代表されるイベント通知型のプロトコルを使用していた。しかしながら、イベント通知型のプロトコルかわりに、同期型のプロトコルを使用することもできる。すなわち、ビデオ信号またはオーディオ信号の送受信のように、定期的に当該ユーザおよび他のユーザの位置を送受信することができる。ユーザが常にまたは頻繁に移動し、それを迅速に他のユーザに伝達する必要がある環境においては、同期型のプロトコルを使用した方が、クライアント ２０１ およびプレゼンスサーバ１１０のオーバヘッドが少ない。
【０１２４】
第 ３ に、今まで説明した実施形態では、ユーザの位置または移動を入力するためにポインティングデバイス ２２６ を使用していた。しかし、あらかじめ空間モデラ ２２１ が複数の位置の候補を計算してディスプレイ ２２０ に表示する。そしてユーザが、ポインティングデバイス ２２６ または他のキーを使用して前記の候補のなかの １ 個を選択することによって、ユーザの位置を入力することも可能である。候補を計算する方法としては、ユーザが、仮想空間内にいる他のユーザのなかから会話したい １ 人または複数人の相手をポインティングデバイス ２２６ または他のキーを使用して選択し、空間モデラ ２２１ が前記の相手が前記の仮想空間内で形成する図形における重心を計算し、前記の重心の位置の周囲の数点を候補とする方法がある。ただし、この方法においては前記の計算によって求められる位置の近傍に、会話と無関係なユーザが含まれる可能性あるが、これについては、会話と無関係なユーザがいない複数の位置を候補とすることにより回避することができる。このとき、会話を成立させるためには、移動を入力するユーザだけでなく、会話したい相手のユーザにも位置の選択を促す必要がある。すなわち、会話相手のユーザのクライアントに対して計算された位置を送信し、前記クライアントが現在の位置と送信された位置とを候補とするメニューを表示し、会話相手のユーザが前記の候補のなかの１個を選択する必要がある。以上のメニュー選択によって決定された位置は、さらにポインティングデバイス ２２６ を使用することによって変更することも可能である。
【０１２５】
【発明の効果】
以上のように、本発明によれば、仮想空間および仮想空間内のユーザの位置、存在感などのプレゼンスを、ユーザ間で整合させるため、ユーザは仮想空間において自然に会話することができる。また、各クライアントに通信に関するポリシー規則を保持して通信を制御することにより、電池またはネットワーク帯域幅などの資源消費量を減少させることができ、プライバシーを保護することができる。
【図面の簡単な説明】
【図１】本実施形態におけるネットワーク構成図である。
【図２】本実施形態におけるクライアントの構成図である。
【図３】本実施形態におけるクライアントの種類を例示したものである。
【図４】本実施形態における仮想空間のディスプレイ表示画面例である。
【図５】本実施形態におけるクライアントのネットワークへの接続処理フロー図である。
【図６】本実施形態におけるクライアントの入場処理フロー図である。
【図７】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図８】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図９】本実施形態におけるクライアントの通信要求出力処理フロー図である。
【図１０】本実施形態におけるクライアントの通信要求入力処理フロー図である。
【図１１】本実施形態におけるプレゼンスサーバの機能構成図である。
【図１２】本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。
【図１３】本実施形態における局所ポリシーを例示したものである。
【図１４】本実施形態における各装置のハードウェア構成図である。
【符号の説明】
１０１…ネットワーク、１１０…プレゼンスサーバ１２０…ＳＩＰプロキシサーバ１３０…登録サーバ、２０１、２０２、２０３…クライアント、２１１…マイクロフォン、２１２…オーディオエンコーダ、２１３…カメラ、２１４…ビデオエンコーダ、２１５…オーディオ通信部、２１６…オーディオレンダラ、２１７…イヤフォン、２１８…ビデオ通信部、２１９…グラフィクスレンダラ、２２０…ディスプレイ、２２１…空間モデラ、２２２…プレゼンスプロバイダ、２２３…ポリシー・セッション制御部、２２４…局所ポリシー、２２５…電源制御部
【発明の属する技術分野】
本発明は、人間同士がメディアを通じ、主に音声を使用して会話するための通信端末および通信サーバに関する。
【０００２】
【従来の技術】
本発明に関連する第 １ の従来技術として、京都大学において開発された会議システム ＦｒｅｅＷａｌｋ がある（例えば、非特許文献１および非特許文献２参照）。Ｆｒｅｅｗａｌｋ は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を３次元グラフィクスによって見ることができる。３次元グラフィクス技術は、３次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として、業界標準であるＯｐｅｎＧＬ（ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ／）およびＭｉｃｒｏｓｏｆｔ社のＤｉｒｅｃｔ３Ｄなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。なお、非特許文献１および２においては、距離に従って音声が減衰するようにしているが、後述する３次元オーディオ技術は使用していない。
【０００３】
本発明に関連する第２の従来技術として、Ｉｎｔｅｒｖａｌ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ において開発された会議システムＳｏｍｅｗｉｒｅがある（例えば、特許文献１、特許文献２および非特許文献３参照）。Ｓｏｍｅｗｉｒｅ は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Ｓｏｍｅｗｉｒｅ において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするＧＵＩ（グラフィカル・ユーザ・インタフェース） より、直観的な物理的 （ｔａｎｇｉｂｌｅ） インタフェースを有する。なお、Ｓｏｍｅｗｉｒｅ においては、距離に従って音声は減衰せず、３次元オーディオ技術は使用していない。
【０００４】
本発明に関連する第３の従来技術として、ヒューレット・パッカード社において開発された３次元分散オーディオ技術を使用した会議システムがある（例えば、非特許文献４参照）。３次元分散オーディオ技術は、３次元オーディオ技術をネットワークで接続されたシステム（いわゆる分散環境）において適用した技術である。そして、３次元オーディオ技術は、３次元の音響空間をシミュレートする技術であり、これを実現するための ＡＰＩ としては Ｌｏｋｉ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｓｏｆｔｗａｒｅ 社などによって規定された業界標準である Ｏｐｅｎ ＡＬ （ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ／），Ｍｉｃｒｏｓｏｆｔ 社の ＤｉｒｅｃｔＳｏｕｎｄ ３Ｄ、Ｃｒｅａｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ 社の ＥＡＸ ２．０ （ｈｔｔｐ：／／ｗｗｗ．ｓｅｉ．ｃｏｍ／ａｌｇｏｒｉｔｈｍｓ／ｅａｘ２０．ｐｄｆ） などがある。この３次元オーディオ技術を使用することにより、ヘッドフォン、２チャンネルまたは４チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。なお、３次元オーディオ技術は立体音響再生技術の１つであるが、立体音響再生技術には３次元オーディオ技術の他に単純な立体音響再生技術もある。例えば、ヘッドフォンにおける左右のスピーカに音量差を設けることによって、複数の音を分離して再生する立体音響再生技術がある。
【０００５】
【特許文献１】
ＵＳ ５，８８９，８４３
【特許文献２】
ＵＳ ６，２６２，７１１ Ｂ１
【非特許文献１】
中西 英之，吉田 力，西村 俊和，石田 亨，「ＦｒｅｅＷａｌｋ： ３次元仮想空間を用いた非形式的なコミュニケーションの支援」，情報処理学会論文誌，Ｖｏｌ．３９， Ｎｏ．５，ｐｐ．１３５６−１３６４，１９９８。
【０００６】
【非特許文献２】
Ｎａｋａｎｉｓｈｉ，Ｈ．，Ｙｏｓｈｉｄａ，Ｃ．，Ｎｉｓｈｉｍｕｒａ，Ｔ．，ａｎｄ Ｉｓｈｉｄａ，Ｔ．，「ＦｒｅｅＷａｌｋ： Ａ ３Ｄ Ｖｉｒｔｕａｌ Ｓｐａｃｅ ｆｏｒ Ｃａｓｕａｌ Ｍｅｅｔｉｎｇｓ」，ＩＥＥＥ ＭｕｌｔｉＭｅｄｉａ，Ａｐｒｉｌ−Ｊｕｎｅ １９９９，ｐｐ．２０２８．
【非特許文献３】
Ｓｉｎｇｅｒ，Ａ．，Ｈｉｎｄｕｓ，Ｄ．，Ｓｔｉｆｅｌｍａｎ，Ｌ．，ａｎｄ Ｗｈｉｔｅ，Ｓ．，「Ｔａｎｇｉｂｌｅ Ｐｒｏｇｒｅｓｓ： Ｌｅｓｓ Ｉｓ Ｍｏｒｅ Ｉｎ Ｓｏｍｅｗｉｒｅ Ａｕｄｉｏ Ｓｐａｃｅｓ」，ＡＣＭ ＣＨＩ ’９９ （Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ），ｐｐ．１０４−１１２，Ｍａｙ １９９９．
【非特許文献４】
Ｌｏｗ，Ｃ．，ａｎｄ Ｂａｂａｒｉｔ，Ｌ．，「Ｄｉｓｔｒｉｂｕｔｅｄ ３Ｄ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ」，７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ （ＷＷＷ７），１９９８，ｈｔｔｐ：／／ｗｗｗ７．ｓｃｕ．ｅｄｕ．ａｕ／ｐｒｏｇｒａｍｍｅ／ｆｕｌｌｐａｐｅｒｓ／１９１２／ｃｏｍ１９１２．ｈｔｍ．
【０００７】
【発明が解決しようとする課題】
上記の従来技術は、ＩＰ ネットワークを利用した常時接続で、かつ、多数者間での会話が可能な会議システムを採用している。
【０００８】
しかし、常時接続の会議システムでは、仮想空間そのもの、および仮想空間内におけるユーザや物体のプレゼンス（すなわち存在感）を、ユーザ間で整合させることが望まれる。具体的には、仮想空間が天井や壁面を有する部屋であれば、その広さ、残響特性などが属性として存在するが、部屋の存在感を決めるこれらの属性に関する値を各ユーザが共有する必要がある。仮想空間の属性、特に残響特性は仮想空間内における距離について、ユーザの知覚の決定に寄与するため、仮想空間の属性をユーザ間で共有することは非常に重要である。また、第１のユーザが仮想空間内で認識している自分の存在位置と、第２のユーザが認識している第１のユーザの存在位置とを、両ユーザ間で整合させる必要がある。この整合は全てのユーザの間でとる必要がある。
【０００９】
また、常時接続の会議システムでは、ユーザ間通信量などのネットワーク資源および電池などの端末資源の消費量を減少させることが望まれる。常時接続において、接続している間ずっと大量のパケットを送信し続けると、ネットワークを不必要に混雑させる。そして、ネットワークの混雑を解決するためにネットワーク帯域幅を広げると、通信コストは非常に高価になる。また、使用する端末が携帯用端末の場合は、最低限でも１日は充電せずに電池で動作できるようにするのが好ましい。しかし常時、通信モジュールや ＣＰＵ を最高速度で動作させると電池の消耗が大きく、１日の間電池をもたせることが困難である。静寂時にパケット送信を止める技術は既に開発されている。しかし、この技術では信号特性だけで送信するかどうかを判断するため、暗黙知の流通を促進するために閾値を下げると通信量があまり減少せず、閾値を上げると暗黙知の流通が妨げられる、という問題がある。なお、暗黙知とは、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識（ノウハウ、仕事のやり方等）をいう。
【００１０】
また、常時接続の会議システムでは、プライバシーを保護することが望まれる。従来の技術として列挙した会議システムにおいては、１つの仮想空間内にいるユーザは何時でも誰でも他のユーザの会話を聞くことができるが、この場合は電話のような１対１の会話の場合と同等のレベルのプライバシー保護を実現することができない。
【００１１】
本発明は上記事情を考慮してなされたものであり、本発明の目的は仮想空間内におけるユーザのプレゼンスを、ユーザ間で整合させ、かつプライバシーを保護する使い勝手の良いヒューマン・コミュニケーション・システムを提供することである。
【００１２】
【課題を解決するための手段】
上記目的達成のために、ヒューマン・コミュニケーション・システムは、複数のクライアント端末とサーバ装置を有し、各クライアント端末は各ユーザの仮想空間における位置情報をサーバに送信し、サーバは仮想空間における各ユーザの位置情報を一元的に管理、記憶することにより、各クライアント間に仮想空間内におけるユーザのプレゼンス（存在感）の整合性を保持することが可能である。また、各クライアント端末は、他のクライアント端末との通信セッションを制御することにより、資源消費量の削減およびプライバシー保護を図ることが可能である。
【００１３】
例えば、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有する。そして、前記複数のクライアント端末各々は、自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段とを有し、前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段とを有するヒューマン・コミュニケーション・システムを提供する。
【００１４】
また、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記複数のユーザが使用する複数のクライアント端末を有する。そして、前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信するヒューマン・コミュニケーション・システムを提供する。
【００１５】
【発明の実施の形態】
以下に本発明の実施の形態について説明する。
【００１６】
図１は、本実施の形態におけるヒューマン・コミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント２０１、２０２、２０３と、プレゼンスを管理するプレゼンスサーバ１１０と、セッション制御を行うＳＩＰ プロキシサーバ１２０と、ユーザの登録・認証をおこなう登録サーバ１３０とが、インターネット等のネットワーク１０１を介して接続されている。なお、本実施の形態では３台のクライアントを有しているが、クライアントの数は３台に限定されず、２台または４台以上であってもよい。また、本実施形態では、ネットワーク１０１は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０は、複数個存在する。本実施形態においては、前記単一のドメインのドメイン名として、ｓｅｒｖｅｒｓ．ｃｏｍ を使用する。
【００１７】
次に、ヒューマン・コミュニケーション・システムのハードウェア構成について説明する。
【００１８】
図１４は、クライアント２０１、２０２、２０３、プレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０の各装置のハードウェア構成を示したものである。
【００１９】
クライアント２０１、２０２、２０３は、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするために通信装置３０４と、キーボード、マウスなどの入力装置３０４と、ディスプレイまたはプリンタ等の出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルコンピュータなどである。なお、クライアントの具体例については、図３において後述する。また、入力装置３０５および出力装置３０６については、図２において詳述する。
【００２０】
プレゼンスサーバ１１０、ＳＩＰ プロキシサーバ１２０および登録サーバ１３０は、少なくともプログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするために通信装置３０４を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【００２１】
なお、上記の各装置の後述する各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（クライアント２０１、２０２、２０３の場合はクライアント用のプログラム、プレゼンスサーバ１１０の場合はプレゼンスサーバ用のプログラム、ＳＩＰ プロキシサーバ１２０の場合はＳＩＰ プロキシサーバ用のプログラム、そして、登録サーバ１３０の場合は登録サーバ用プログラム）を、ＣＰＵ３０１が実行することにより実現される。
【００２２】
次に、図２を参照しクライアント２０１の入力装置３０５および出力装置３０６と、機能構成とについて説明する。なお、クライアント２０２、２０３においても同様の構成とする。
【００２３】
クライアント２０１は、入力装置３０５として、マイクロフォン２１１と、カメラ２１３と、ポインティングデバイス２２６とを有する。出力装置３０６として、イヤフォン２１７とディスプレイ２２０とを有する。ポインティングデバイス２２６は、ユーザが自分自身の仮想空間上における移動情報を入力するための入力装置であり、例えばマウス、キーボードなどである。
【００２４】
機能構成としては、音声をディジタル信号に変換するオーディオエンコーダ２１２と、３次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行うオーディオレンダラ２１６と、画像をディジタル信号に変換するビデオエンコーダ２１４と、３次元グラフィクス技術を使用して照明など仮想空間の属性から帰結する処理を行うグラフィクスレンダラ２１９と、入力された移動情報から仮想空間上での存在および存在位置などのプレゼンスを計算する入力空間モデラ２２１、前記プレゼンスに関する情報を通信するプレゼンスプロバイダ２２２と、他のクライアントとの間でオーディオ信号をリアルタイムに送受信するオーディオ通信部２１５と、他のクライアントとの間でビデオ信号をリアルタイムに送受信するビデオ通信部２１８と、通信セション制御しポリシーを管理するポリシー・セッション制御部２２３と、当該クライアントのポリシーを保持する局所ポリシー２２４と、消費電力を低下させ電池の消耗を防ぐ電源制御部２２５とを有する。
【００２５】
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間であって、プレゼンスサーバ１１０が管理している。ユーザがある仮想空間に入場すると、プレゼンスサーバ１１０は、その仮想空間の属性、および、その仮想空間に存在する他のユーザや物体の情報を送信し、空間モデラ２２１がこれらの情報と仮想空間内における自らの位置を、メモリ３０２または外部記憶装置３０３に格納する。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。また、仮想空間内の物体として衝立などがある。
【００２６】
つぎに、各機能の動作について音声、映像、プレゼンス、セッション制御の順に説明する。
【００２７】
音声については、マイクロフォン２１１がクライアント２０１を使用するユーザの音声や周囲の音声を収集し、オーディオエンコーダ２１２に送付する。そして、オーディオエンコーダ２１２は、前記の音声をディジタル信号に変換してオーディオレンダラ２１６に出力する。また、オーディオ通信部２１５は、他の１台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ２１６に出力する。
【００２８】
次に、オーディオレンダラ２１６は、オーディオエンコーダ２１２およびオーディオ通信部２１５から出力されたディジタルの出力信号を入力する。そして、オーディオレンダラ２１６は、３次元オーディオ技術を使用して、空間モデラ２２１が保持する聴覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手の音声が聞こえるかを計算する。次に、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリング、衝立による音の減衰などの処理を行い、クライアント２０１を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と通信相手との相対的な位置から帰結する処理によって、音声を定位させ、再生する。
【００２９】
また、オーディオレンダラ２１６は、必要に応じて、オーディオエンコーダ２１２からの出力に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行ったうえで、クライアント２０１を使用するユーザの頭部の位置にレンダリングする。このオーディオレンダラ２１６により生成された音声は、イヤフォン２１７に出力され、これをユーザが聴取する。
【００３０】
画像については、カメラ２１３がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ２１４に送付する。そして、ビデオエンコーダ２１４は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ２１９に出力する。また、ビデオ通信部２１８は、他の１台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ２１９に出力する。次に、グラフィクスレンダラ２１９は、ビデオエンコーダ ２１４ およびビデオ通信部２１８からのディジタルの出力信号を入力する。そして、グラフィクスレンダラ２１９は、３次元グラフィクス技術を使用して、空間モデラ２２１が保持する視覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手が見えるかを計算（座標変換）する。次に、グラフィクスレンダラ２１９は、ビデオ通信部２１８から出力される通信相手のユーザの画像に対して、前記計算により自分の位置から見た視点で、隠れて見えないはずの部分を消去し、また、仮想空間の照明などによる陰影など、仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。
【００３１】
このグラフィクスレンダラ２１９により生成された映像は、ディスプレイ２２０に出力され、クライアント２０１を使用するユーザの視点からの映像に再生され、ユーザは必要に応じてディスプレイ２２０の出力を参照する。なお、グラフィクスレンダラ２１９は、３次元グラフィクス技術を使用せずにより簡潔な仮想空間表示をおこなうこともできる。
【００３２】
なお、クライアント２０１は音声による通信を主として行う装置であるため、入力装置としてマイクロフォン２１１は必須の装置であるが、カメラ２１３は必ずしも必要ではない。なお、カメラ２１３が存在しない場合は、ビデオエンコーダ２１４等も不要である。
【００３３】
また、音声または画像のリアルタイム通信には、ＩＥＴＦ （Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ） が発行したドキュメントＲＦＣ １８８９に記述されたプロトコルであるＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ） が使用される。音声または画像の通信において、多少の遅延増加が許される場合は、オーディオ通信部２１５またはビデオ通信部２１８と、他のクライアントとの通信は、音声または画像の通信を行う通信プロキシサーバを別に設けて、この通信プロキシサーバを経由して、他のクライアントとの音声または画像の通信を行うこともできる。
【００３４】
次にプレゼンスについては、ポインティングデバイス２２６が、ユーザからの位置情報または変位情報の入力を受付け、これをディジタル信号に変換して空間モデラ２２１に入力する。空間モデラ２２１は、あらかじめプレゼンスサーバ１１０から送信された仮想空間の属性（空間の大きさ、残響特性など）および仮想空間内の各ユーザの位置を保持しており、ポインティングデバイス ２２６ からの入力により、仮想空間内における前記ユーザの位置および向きを変化させる。具体的には、ポインティングデバイス２２６から前進信号を受け取ると、ユーザの仮想空間内での位置を前進させ、後退信号を受け取ると、ユーザの仮想空間内での位置を後退させる。また、ポインティングデバイス２２６から左移動信号を受け取ると、向きを左に回転させ、右移動信号を受け取ると、向きを右に回転させる。ポインティングデバイス２２６としてマウスを使用する場合には、例えば左ボタンを押した状態で前進、後退、左移動、右移動のドラッグ操作をすることにより、前記の各変化を入力することができる。
【００３５】
そして、空間モデラ２２１は、クライアント２０１を使用するユーザの仮想空間内の位置情報をプレゼンスプロバイダ２２２に送信し、プレゼンスプロバイダ２２２はプレゼンスサーバ１１０にこの情報を送信する。また、プレゼンスプロバイダ２２２は、他のユーザの仮想空間内の位置情報を、プレゼンスサーバ１１０から受信し、空間モデラ２２１にこの情報を引き渡し、モデラ２２１はクライアント２０１を使用するユーザの仮想空間内の位置情報と、他のユーザの仮想空間内の位置情報とを保持する。なお、空間モデラ２２１は、前記他のユーザの仮想空間内の位置情報をネットワーク１０１を経由して受信するため、他のユーザの仮想空間内の位置に関しては、遅延やジッタの発生が避けられない。一方、ポインティングデバイス２２６から受け取る自ユーザの位置は、ネットワーク１０１を経由しないため、遅延をほとんど発生しない。このため、クライアント２０１のユーザは、リアルタイムで移動後の自分の位置をディスプレイ２２０上で確認することができ、容易なポインティングデバイス２２６の操作が可能である。
【００３６】
次に、セッション制御について説明する。ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０を経由し、他のクライアントのポリシー・セッション制御部と通信して、オーディオ通信部２１５およびビデオ通信部２１８の通信を制御する。
【００３７】
ポリシー・セッション制御部２２３は、あらかじめクライアント２０１の外部記憶装置３０３に記憶されている局所ポリシー２２４と、空間モデラ２２１が保有する仮想空間における通信相手との距離を参照して、通信相手のクライアントと接続するか否か、接続する場合においては音声または画像の品質を判断し、通信を制御する。例えば、局所ポリシー２２４のポリシー条件に、「仮想空間における通信相手との距離が一定の値を超える場合は通信を切断し、一定の値以内であれば通信を接続する。」と記憶されている場合は、ポリシー・セッション制御部２２３は、空間モデラが有する仮想空間における通信相手との距離と、前記一定の値とを比較し、接続の可否を判断する。
【００３８】
次に、図１３を参照し局所ポリシー２２４について説明する。
【００３９】
クライアント２０１の外部記憶装置３０３に記憶された局所ポリシー２２４は、通信条件が記載されたポリシー規則を有し、ポリシー規則は１つ以上存在する。各ポリシー規則は、条件部と動作部とを有し、条件部に記述された条件が満たされた場合に、動作部に記述された動作を実行する。例えば、図示するポリシー規則 １３１１は、条件部が通信相手 （ＲｅｍｏｔｅＳｉｔｅ） と当該ユーザとの距離が５０ ｍ を超えていることであり、動作部は、前記条件部が満たされた場合（すなわち、５０ｍ を超えている場合は）は接続しないと、いう通信条件である。同様に、ポリシー規則１３１２は、もし通信相手と当該ユーザとの距離が５０ｍ 以内であれば接続するという通信条件である。また、ポリシー規則１３１３ は、もし通信相手と当該ユーザとの距離が １０ ｍ 以内であり、かつ、通信相手が当該ユーザと親密であればビデオの画質を明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 １３１４ は、もし通信相手と当該ユーザとの距離が １０ ｍ 以内であり、かつ、通信相手が当該ユーザと親密でなければ、ビデオの画質を不明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 １３１５ は、もし通信相手と当該ユーザとの距離が １０ ｍ を超えていればビデオの画質を不明瞭にし、オーディオの音質を聞き取り不能にするという通信条件である。
【００４０】
なお、通信相手が当該ユーザと親密であるとは、当該ユーザと通信相手との情報交換が重要であり、そのために当該ユーザのプライバシーを通信相手にある程度知られてもよいことをいう。また、当該ユーザにとって重要な通信相手とは、例えば仮想空間を使用する他のユーザの中で、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識である暗黙知（ノウハウ、仕事のやり方等）の流通に必要なユーザなどのことをいう。ポリシー規則１３１３に示すように、親密なユーザが仮想空間上で一定の距離が離れている場合でも、高品質な音声および映像を受信するようにポリシー規則に記述することが可能である。具体的には、ポリシー規則に、親密なユーザのアドレスを指定することで、個別にユーザを特定することが可能である。なお、それ以外のユーザについては、他のポリシー規則を適用し、遠距離にいる場合は比較的低品質な音声および映像を受信するか、または接続を切る。このような、通信制御を行うことにより、重要なあるいは親密なユーザに関しては、比較的高品質の通信を確保して、そのユーザ状況を把握し易くし暗黙知の流通を促進することができ、一方、重要でないその他のユーザについては、必要以上に資源を浪費することを回避することができる。また、クライアント同士の平均通信量も削減することができる。
【００４１】
また、いままで説明した局所ポリシー２２４を使用した通信制御の例は、ある一定の距離を基準に、映像および音声を高品質にするか、または低品質にするかを制御している。しかしながら、この２段階の制御だけでなく、距離に応じて段階的に映像および音声の品質を、制御することも考えられる。例えば、距離に比例して徐々に品質を低下させたり、また、品質を変化させるための距離の閾値を複数設け、段階的に品質を制御することも可能である。
【００４２】
インターネットにおいては、往復の通信条件を独立に設定することができるが、局所ポリシー２４４においては、通信の往復の方向を指定せずいずれの方向にも同一の条件を使用することを前提としている。このような前提をおいているのは、通信条件が方向によって著しくことなっていると円滑なコミュニケーションおよびプライバシー保護を妨げる危険が高いからである。例えば、第 １ のユーザと第 ２ のユーザとの通信において、第 １ のユーザは第 ２ のユーザを認知できない場合であるが、第 ２ のユーザは第 １ のユーザを認知できるとする。この場合、第 １ のユーザは第 ２ のユーザを認知できないため第 ２ のユーザに聞かれては具合の悪い会話をし、一方、第 ２ のユーザは第 １ のユーザを認知できるため、第 ２ のユーザにとって具合の悪いその会話を知ることになるという事態が発生するためである。なお、ポリシー規則に通信の方向を指定することによって、通信方向毎に異なるポリシーを指定することも可能である。
【００４３】
また、図示しないが、電源制御のためには、例えば次のようなポリシー規則を記述することが考えられる。
【００４４】
なお、前記の電源制御の例は、ある一定の距離を基準に節電モードとするか否かを制御している。しかしながら、この２段階の制御だけでなく、距離に応じて段階的に電源制御をすることも考えられる。例えば、距離に比例してＣＰＵ３０１の動作周波数を低下させることが考えられる。また、電源を制御するための距離の閾値を複数設け、ある閾値より遠い距離の場合は、不要な装置（例えば、カメラ２１３、ディスプレイ２２０など）の回路を順次切断することなどが考えられる。
【００４５】
また、最も接近している通信相手との距離を基準に判断するだけでなく、ある特定の通信相手との距離を基準に節電モードにするか否かを判断することとしてもよい。さらには、通信相手の距離だけでなく、他のクライアントとの通信頻度が低い場合なども、節電モードにしても良い。
【００４６】
局所ポリシー２２４のポリシー規則は、あらかじめユーザが、各種の入力装置３０５から入力し、外部記憶装置３０３に記憶されている。入力方法としては、以下の ３つの方法が考えられる。第 １ の方法は、図 １３ に図示するような文字（テキスト）を直接入力する方法である。たとえば、クライアントが後述する図 ３（ｃ）に示すデスクトップコンピュータの場合は、入力装置３０５としてキーボード ２５３ から、直接、文字を入力することができる。また、図 ３（ａ）または図 ３（ｂ）に示すＰＤＡまたはウェアラブルコンピュータなどの場合は、文字入力のためのキーを有しないが、ディスプレイ ２２０ 上にタッチパネルを表示させて、仮想キーボードにより、文字を入力することが可能である。また、無線 ＬＡＮ または Ｂｌｕｅｔｏｏｔｈ 経由で、文字入力可能な他のコンピュータと接続することにより文字を入力することもできる。
【００４７】
第 ２ の方法は、メニューを使用してポリシー規則を入力する方法である。図１３ に示すような各種のポリシー規則をあらかじめ用意し、これらを使用するか否かを当該ユーザがメニューによって選択することにより、局所ポリシー２２４ の内容を決めることができる。
【００４８】
第 ３ の方法は、ウィンドウシステムや ＷＷＷ におけるフォームを使用し、ポリシー規則を入力する方法である。第 ３ の方法は、第 １ の方法に比べ入力内容が制限されるが、距離や属性値などの数値や文字列値を入力することができるため、第 ２ の方法よりはきめ細かいポリシー規則を定義することができる。
【００４９】
以上で、図２のクライアント２０１の説明を終了する。なお、クライアント２０１ のなかで、マイクロフォン ２１１、カメラ ２１３、ポインティングデバイス ２２６、イヤフォン ２１７ およびディスプレイ ２２０ はハードウェアによって実現され、オーディオエンコーダ ２１２、ビデオエンコーダ ２１４ および電源制御部 ２２５ はソフトウェア、ハードウェアまたはこれらのくみあわせによって実現される。また、オーディオ通信部 ２１５、ビデオ通信部 ２１８、空間モデラ ２２１ およびポリシー・セッション制御部２２３ は、通常、ソフトウェアによって実現される。
【００５０】
次に、図３を参照し、クライアント２０１、２０２、２０３の種類を例示する。
【００５１】
図３（ａ）に示すクライアントは、ＰＤＡまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体２３０は、カメラ２１３、ディスプレイ２２０、ポインティングデバイス２２６、およびアンテナ２３７を有し、本体２３０に接続されたヘッドセットは、イヤフォン ２１７およびマイクロフォン２１１を有する。
【００５２】
ポインティングデバイス２２６は、前進ボタン２３１、後退ボタン２３２、左移動ボタン２３３、右移動ボタン２３４、選択ボタン２３５およびジョグダイヤル２３６を有する。例えば、前進ボタン２３１を押すことによって、仮想空間内で数１０ｃｍ前進し、後退ボタン２３２を押すことによって仮想空間内で数１０ｃｍ後退し、左移動ボタン２３３を押すことによって仮想空間内で数度左に回転し、右移動ボタン２３４を押すことによって仮想空間内で数度右に回転することが考えられる。ジョグダイヤル２３６は、前進ボタン２３１および後退ボタン２３２と同等の機能を実現し、微小な前進または後退から大幅な前進または後退までを、少ない操作回数によって実行することができる。なお、ポインティングデバイス２２６に、左移動ボタン２３３および右移動ボタン２３４と同等の機能を有するジョグダイヤルを、もう１つ装着することにより、回転に関しても微小な回転から大きな回転までを、少ない操作回数によって実行することも考えられる。また、図示するヘッドセットは、本体２３０に有線接続されているが、ＢｌｕｅｔｏｏｔｈまたはＩｒＤＡ（赤外線）などにより無線接続することも可能である。また、当該クライアントは、アンテナ２３７を用いて無線ＬＡＮによりネットワーク１０１に接続する。
【００５３】
図３（ｂ）に示すクライアントは、ウェアラブル・コンピュータの例を示したものである。眼鏡のつるのようなクライアント本体２４１は、マイクロフォン２１１、カメラ２１３、イヤフォン２１７およびディスプレイ２２０を有する。
【００５４】
ディスプレイ２２０は、ヘッドマウントディスプレイであり、このクライアント本体２４１を装着するユーザの数１０ｃｍ前方に仮想的な映像を結像するか、あるいは、ユーザの前方に３次元の映像を結像する。なお、本実施形態では、非透過型のヘッドマウントディスプレイとしているが、透過型のヘッドマウントディスプレイとしてもよい。透過型のヘッドマウントディスプレイの場合は、実空間上に仮想空間の映像を重ねることにより、仮想空間における方向を直接に表現することができる。さらに、透過型の立体ディスプレイ、すなわち映像を実空間上に立体的に重ね合わせるディスプレイを使用することにより、方向だけでなく距離も直接的に表現することができる。これにより、直観的なユーザ・インタフェースを実現することが可能である。
【００５５】
また、図３（ｂ）には、ポインティングデバイス２２６が表示されていないが、ディスプレイ２２０内に前後方向および左右方向の加速度を検出する加速度センサが内蔵されており、この加速度センサをポインティングデバイス２２６として使用する。例えば、加速度センサが、ユーザが頭部を前方に移動することによって発生する前向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数１０ｃｍ〜数ｍ前進する。また、加速度センサが、ユーザが頭部を後方に移動することによって発生する後ろ向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数１０ｃｍ 〜数ｍ後退する。また、ユーザが頭部を左まわり、または右回りに回転することによって発生する加速度を、加速度センサが検出すると、加速度の強さに応じて、仮想空間内で数度〜数１０度左回転、または、数度〜数１０度右回転する。この加速度センサを使用することにより、ユーザが目または手を使用する必要がなくなり、他の作業に目または手を使用することができるようになる。従って、ユーザが実空間上で移動しながら、または、他の作業を行いながら、容易に仮想空間上のユーザの位置を変更することができる。また、当該クライアントは、図示しない通信装置により無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈを経由してネットワーク１０１に接続することが考えられる。
【００５６】
図３（ｃ）に示すクライアントは、デスクトップ・コンピュータを示す。コンピュータ本体２５１には、マイクロフォン２１１、カメラ２１３、ポインティングデバイス２２６、ディスプレイ２２０、イヤフォンの代りの機能を有するスピーカ ２５２、およびキーボード２５３が接続されている。このポインティングデバイス２２６には、トラックボールを使用している。マウスを使用した場合には、移動範囲が制限され、移動範囲を超えて移動するためにはマウスを持ち上げる必要が生じる。しかし、トラックボールを使用した場合は、無限に回転させることができるため、平面上でどのような位置にも容易に移動することができるという利点がある。また、スピーカ２５２として、４チャンネル、５．１チャンネルなど、３個以上のステレオ再生用スピーカを使用することにより、後方からの音声も容易に表現することができる。また、当該クライアントはツイスト線によってＬＡＮに接続され、さらにネットワーク１０１に接続することが考えられる。
【００５７】
次に、図４を参照し、ディスプレイ２２０への仮想空間の表示について説明する。図４に示す表示内容は、クライアント２０１を使用する第１のユーザが、クライアント２０２およびクライアント２０３を使用する第２および第３のユーザと、仮想空間を共有している場合を例にしたものである。
【００５８】
図４（ａ）においては、３次元グラフィックス技術を使用したレンダリングを行っている。すなわち、空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報などの３次元のデータから２次元画像を作成し、ディスプレイ２２０に表示する。
【００５９】
図４（ａ）では、仮想空間内における自らの位置より定まる視点から、仮想空間に配置された壁面、天井、床面、オブジェクトとして通信相手のユーザを表現する２つのアバタ４１２、４１３、衝立４２１を眺めることで得られる２次元画像を表示する。仮想空間内の視点を変える場合は、ポインティングデバイス２２６等により、自らの位置を変更あるいは向きを変更することにより、前記視点が変更し、その位置からの眺めがリアルタイムで画面上に現れる。
【００６０】
アバタ４１２は、クライアント２０２を使用する第２のユーザを現し、アバタ４１３はクライアント２０３を使用する第３のユーザを現したものである。なお、図４には表示されていないが、クライアント２０２のカメラ２１３が撮影した第２のユーザの映像はアバタ４１２に、クライアント２０３のカメラ２１３が撮影した第３のユーザの映像はアバタ４１３に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャマップも回転するので、第２および第３のユーザが仮想空間内でどの向きを向いているか把握できる。図４（ａ）においてはアバタ４１２、アバタ４１３を図形（または映像）のみで表示しているが、アバタ４１２、アバタ４１３に対応するユーザのユーザ情報（例えば、アドレスなど文字情報）を、図形の近傍に表示することも可能である。
【００６１】
衝立４２１は、仮想空間の物体の１つであり、特定の方向からの音を遮り、仮想空間内での会議などを円滑におこなうために設けられる。衝立４２１は仮想空間を仕切る一種の壁であり、衝立を設けることにより視界および音声が遮られる。本実施形態では、衝立は、ユーザがクライアント２０１の入力装置３０５から、衝立の識別子、大きさ、位置、材質などを入力し、空間モデラ２２１がこれらを受付けて、プレゼンスプロバイダ２２２を経由してプレゼンスサーバ１１０に通知することによって、衝立を任意に設置することができる。また衝立の撤去命令と撤去すべき識別子をユーザから受付けることによって、特定の衝立を撤去することもできる。衝立４２１が与える音響効果は、音声３次元グラフィクス技術および３次元オーディオ技術を使用することによって、シミュレートされる。音声に関しては、３次元オーディオＡＰＩがもつｏｂｓｔｒｕｃｔｉｏｎの機能を使用して実現する。
【００６２】
図４（ｂ） においては、３次元グラフィクス技術を使用せず、平面図で仮想空間を表示したものである。空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報をもとに、真上から仮想空間に配置された通信相手のユーザを表現する第２のアバタ４１２および第３のアバタ４１３と、クライアント２０１のユーザを表現する第１のアバタ４１１と、衝立４２１を眺めることで得られる２次元画像を表示している。
【００６３】
クライアント２０１を使用する第１のユーザ（自ユーザ）であるアバタ４１１を表示することにより、クライアント ２０１ のユーザと、通信相手のクライアント２０２、２０３のユーザとの位置関係を正確に表現することができる。また、図示していないが、ディスプレイ２２０上に縮尺を表示することにより、距離も正確に表現することができる。さらに、クライアント ２０１ のユーザの背後に存在するユーザも表示することができるため、背後から接近するユーザも見落とす危険が少ないという利点がある。なお、各アバタに関するユーザ情報を図形の近傍に表示可能とすることについては、図４（ａ） の場合と同様である。
【００６４】
なお、ディスプレイ２２０への仮想空間の表示法としては、次の２通りのうちのいずれかを選択することができる。第１の方法は、仮想空間の表示を常に固定し、クライアント２０１のユーザを表示された仮想空間中で移動または回転させて表示する方法である。第２の方法は、クライアント２０１の位置と向きを固定し、クライアント２０１を中心として仮想空間や仮想空間中の他のユーザが相対的に移動し回転するように表示する方法である。図４（ａ）においては、第２の方法を使用している。図４（ｂ）においては、第１の方法、第２の方法のいずれを使用することもできる。
【００６５】
第１の方法には、仮想空間の中でのクライアント２０１ のユーザの位置がわかり易いという利点があり、第２の方法には、音声とグラフィクス表示との関係がわかりやすいという利点がある。
【００６６】
次に、図 ５ から図 １０ を参照し、クライアント２０１ における処理手順を説明する。
【００６７】
図 ５ は、クライアント２０１ をネットワーク １０１ に接続するときの処理手順である。本実施形態においては、常時接続型のコミュニケーション・システムとしているため、図 ５ の接続手順はクライアント２０１ の電源投入時に実行される。また、ユーザがユーザ名を入力または変更した際にも本接続手順が実行される。
【００６８】
まずステップ ５１１において、ネットワーク １０１ への接続のために、ポリシー・セッション制御部２２３は、ユーザの識別情報および認証情報を含むログインメッセージを、ＳＩＰ プロキシサーバ１２０ に送信する。ＳＩＰ プロキシサーバ１２０ はログインメッセージを受け付け、登録サーバ１３０ に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ１３０は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ１１０ にユーザの識別情報を送付する。
【００６９】
ＳＩＰ プロキシサーバ１２０と登録サーバ１３０ との通信には、ＩＥＴＦ のドキュメント ＲＦＣ ３２６１ において規定されたプロトコル ＳＩＰ （Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ） の ＲＥＧＩＳＴＥＲ メッセージを使用することが考えられる。ＳＩＰ プロキシサーバ１２０は、ＲＥＧＩＳＴＥＲ メッセージを定期的に登録サーバ１３０に送信し、また、クライアント２０１ の ＩＰ アドレスが変更された場合もＲＥＧＩＳＴＥＲ メッセージを登録サーバ１３０に送信する。なお、ＳＩＰ のプロトコルよりも、強力な認証・セキュリティ機能を実現する場合は、他のプロトコルを使用して認証要求メッセージを登録サーバ１３０ に送信することとしてもよい。
【００７０】
また、クライアント２０１のプレゼンスプロバイダ ２２２と、プレゼンスサーバ１１０ との通信には、固有のプロトコルを使用することもできるが、ＩＥＴＦ のドキュメント ＲＦＣ ３２６５ （Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ （ＳＩＰ）−Ｓｐｅｃｉｆｉｃ Ｅｖｅｎｔ Ｎｏｔｉｆｉｃａｔｉｏｎ） に記述された ＳＩＰ の ＳＵＢＳＣＲＩＢＥ メッセージ、または、これを拡張したメッセージを使用することができる。ＳＵＢＳＣＲＩＢＥ メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するメッセージであり、イベント要求メッセージともいう。したがって、プレゼンスサーバ１１０ との通信においては、プレゼンスサーバ１１０ を相手として指定して、プレゼンスサーバ１１０が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベント、すなわち仮想空間の生成や消滅などの通知を要求すればよい。ユーザ識別子であるアドレスが ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ のユーザが、仮想空間のリスト ｒｏｏｍｓ＠ｓｅｒｖｅｒｓ．ｃｏｍ に対して送るメッセージは、次のようになる。
【００７１】
ポリシー・セッション制御部２２３ がＳＩＰ のメッセージ送受信を行うため、ＳＵＢＳＣＲＩＢＥ メッセージを使用する場合にはプレゼンスプロバイダ２２２ は、ポリシー・セッション制御部２２３ およびＳＩＰ プロキシサーバ１２０ を経由してプレゼンスサーバ１１０ との通信を行う。
【００７２】
なお、ユーザの入場者数が多い仮想空間においては、全てのイベントに関して通知を受けることは、クライアント２０１ に必要以上に負荷をかけることになるので、前記の ＳＵＢＳＣＲＩＢＥ メッセージに、局所ポリシー２２４ の一部を加工した情報を付加し、例えば重要なユーザのみのイベントに関して通知を受けることにすることにより、プレゼンスサーバ１１０ において、あらかじめイベントをフィルタし、重要なイベントだけの通知を受けるように指定することもできる。
【００７３】
つぎにステップ ５１２において、プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ から部屋リストを受け取る。なお、ステップ ５１１ において、 ＳＵＢＳＣＲＩＢＥ メッセージを使用した場合には、前述のイベント通知メッセージとして ＮＯＴＩＦＹ メッセージの形式で前記の部屋リストが送られる。すなわち、ＮＯＴＩＦＹ メッセージの内容として部屋リストが含まれる。そして、ステップ ５１３において、プレゼンスプロバイダ ２２２は、受け取った部屋リストをディスプレイ ２２０ に表示する。
【００７４】
図 ６ は、ユーザがディスプレイ ２２０ に表示された部屋リストの中から入場したい部屋を選択したときのクライアント２０１ の処理手順を示す。ユーザが部屋を選択すると、ステップ ６１１において、クライアント２０１のプレゼンスプロバイダ ２２２ は、プレゼンスサーバ１１０ に ユーザの識別情報および仮想空間内における位置情報を指定した入場メッセージ （ｅｎｔｅｒ） を送信する。入場メッセージの送信は、固有のプロトコルを使用することもできるが、ＳＩＰ の ＳＵＢＳＣＲＩＢＥ メッセージを使用することもできる。すなわち、受信者を選択した部屋とした ＳＵＢＳＣＲＩＢＥ メッセージを入場メッセージとして使用する。ＳＵＢＳＣＲＩＢＥ メッセージは、当該選択した部屋の仮想空間において発生したイベント（例えば、ユーザの入退場または移動、仮想空間属性の変更など）の通知を要求する。ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ のアドレスをもつユーザが部屋名 ｒｏｏｍ１＠ｓｅｒｖｅｒｓ．ｃｏｍ の部屋に入場する場合は、次のようなヘッダを有し、内容として前記のユーザの位置情報を有するメッセージを送信する。
【００７５】
次にステップ ６１２ において、プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０ から選択した部屋に入場しているユーザの入場者リストを受け取る。入場メッセージとして ＳＵＢＳＣＲＩＢＥ メッセージを使用した場合は、これに対応する ＮＯＴＩＦＹ メッセージの形式で、プレゼンスプロバイダ２２２に入場者リストが送られる。
なお、入場者リストには少なくとも、部屋に入場しているユーザのユーザ識別情報、および仮想空間内における位置情報が含まれているものとする。
【００７６】
次にステップ ６１３ において、ポリシー・セッション制御部２２３が、前記の入場者リストに含まれるユーザ毎に、後述する通信要求出力手順（図９参照）を実行し、各ユーザとの通信条件を決定する。
【００７７】
また、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ２２２がプレゼンスサーバ１１０にユーザ識別情報を含んだ退場メッセージを送信する。
【００７８】
図 ７ は、ユーザがプレゼンスを変更する場合、すなわち仮想空間における部屋の中で移動するときの処理手順である。移動はユーザがポインティング・デバイス ２２６ を操作することにより、空間モデラ２２１ に移動情報が入力される。空間モデラ ２２１は、ポインティングデバイス ２２６ からの入力を検知すると、ステップ ７１１において、ユーザの部屋の中の元の位置とポインティングデバイス ２２６ からの入力された移動情報とを用いて、ユーザの移動後の位置を算出する。次に、ステップ ７１２において、空間モデラ ２２１は、前記移動後の位置をオーディオレンダラ２１６、グラフィクスレンダラ２１９ およびプレゼンスプロバイダ ２２２ に通知する。オーディオレンダラ２１６は、仮想空間内の通知された移動後の位置でどのように通信相手の音声が聞こえるかを計算し、オーディオ通信部２１５から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント２０１を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、３次元音響を更新する。また、グラフィクスレンダラ２１９は、仮想空間内の通知された移動後の位置に基づいて視点を変更し、仮想空間上でどのように通信相手が見えるかを計算して、その位置からの眺めで画面上に出力するイメージデータを作成し、３次元グラフィクスを更新する。
【００７９】
次に、ステップ ７１３において、プレゼンスプロバイダ ２２２ は移動後の位置をプレゼンスサーバ１１０ に通知する。ＳＩＰ プロトコルを使用する場合は、 ＮＯＴＩＦＹ メッセージを使用する。なお、ＮＯＴＩＦＹ メッセージは、通常 ＳＵＢＳＣＲＩＢＥ メッセージを受信した結果として送信されるが、前記の ＮＯＴＩＦＹ メッセージに対応する ＳＵＢＳＣＲＩＢＥ メッセージは存在しない。そのための代替案としては、プレゼンスサーバ１１０ がクライアント ２０１ から入場メッセージを受信した際に、入場者リストを返信するだけでなく、前記の ＮＯＴＩＦＹ メッセージに対応する ＳＵＢＳＣＲＩＢＥ メッセージを送信することが考えられる。この 入場者リストの送信時に併せて、イベント要求メッセージであるＳＵＢＳＣＲＩＢＥ メッセージを送信するようにすれば、その内容として ＮＯＴＩＦＹ メッセージの要求頻度または要求時間間隔を指定することが可能となる。これにより、プレゼンスサーバ１１０ の処理負荷が高いときには、クライアント２０１ からの ＮＯＴＩＦＹ メッセージの頻度を低下させることによって、処理負荷を下げることができる。さらに、既に ＳＵＢＳＣＲＩＢＥ メッセージを送信したクライアントに対しても、それを無効にして新たな ＳＵＢＳＣＲＩＢＥ メッセージを送付することによって、要求頻度または要求時間間隔を改めて指定することができる。
【００８０】
次に、ステップ ７１４において、プレゼンスサーバ１１０はプレゼンスプロバイダ ２２２ から通知された移動後の位置にもとづき、入場者リストにおけるユーザの位置を更新する。次に、ステップ ７１５において、クライアント２０１のポリシー・セッション制御部２２３が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順（図９参照）を実行して、各ユーザとの通信条件を決定する。
【００８１】
なお、ポインティングデバイス ２２６ におけるイベント発生が頻繁であるときは、イベント発生の度にステップ ７１２からステップ７１５ を実行すると負荷が大きすぎるため、ステップ ７１１ において、頻度を判定して、前回のイベント発生から一定の時間が経過している場合にのみ、ステップ ７１２からステップ７１５ を実行するようにすることもできる。
【００８２】
図 ８ は、プレゼンスの変更入力、すなわち、プレゼンスサーバ１１０ がクライアント２０１に他のユーザの位置を通知した場合の処理手順を示したものである。
【００８３】
プレゼンスサーバ１１０は、他のクライアントのユーザの位置の変更をクライアント２０１のプレゼンスプロバイダ ２２２に通知する。この通知を受けて、ステップ ８１１ において、プレゼンスプロバイダ ２２２ は空間モデラ ２２１ に変更されたユーザの位置を通知する。空間モデラ２２１は、通知された位置を記憶し、そしてオーディオレンダラ２１６ およびグラフィクスレンダラ２１９ に通知された位置を通知する。オーディオレンダラ２１６ およびグラフィクスレンダラ２１９ は、図７のステップ７１２と同様に、通知された位置にもとづいて、３次元音響および ３次元グラフィクスを更新する。
【００８４】
次にステップ ８１２ において、空間モデラ ２２１がクライアント２０１のユーザの位置と、位置の変更通知を受けたユーザとの仮想空間上の部屋における距離を算出し、ポリシー・セッション制御部２２３に通知する。そして、ステップ ８１３ において、ポリシー・セッション制御部２２３が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順（図９参照）を実行して、各ユーザとの通信条件を決定する。
【００８５】
なお、図７の通信要求出力手順（ステップ７１５）と、図８の通信要求出力手順（ステップ８１３）において、通信条件を２度決定しているが、これはクライアント毎に設定されている局所ポリシー２２４が、通信元のクライアントと通信先のクライアントとの間で整合性のない（あるいは、双方一致しない）通信条件を有する場合を考慮したものである。
【００８６】
次に、図９を参照し、ポリシー・セッション制御部２２３ がクライアントにおいて発生する各種の要求にもとづいてＳＩＰサーバ１１２を経由し、他のクライアントに対して通信要求を出力する手順を説明する。図９の処理手順は、ＳＩＰ サーバ１２０が、最低限のインテリジェンスしか持たず、ほとんどの処理をクライアント において行う方式の処理手順である。
【００８７】
まず始めに、ポリシー・セッション制御部２２３が、仮想空間内における当該ユーザと通信相手のユーザとの距離と、前述の局所ポリシー２２４ とにもとづいて新通信条件を決定する。具体的には、ポリシー・セッション制御部２２３は、局所ポリシー２２４ に含まれる全てのポリシー規則について、ステップ ９１１ および ９１２ の処理を実行する。ステップ ９１１ においては、当該ポリシー規則の条件部を当該通信が満たすか否かを判定し、満たしている場合は、ステップ ９１２ において、ポリシー規則の動作部を実行する。すなわち、オーディオ通信部 ２１５ またはビデオ通信部 ２１８の通信条件を、ポリシー規則の動作部に記載されている内容に設定する。一方、ステップ ９１１ において、当該ポリシー規則の条件部を満たしていない場合は、ステップ９１２の動作部を実行せず、次にステップ９１３において、全てのポリシー規則がステップ ９１１ および ９１２ の処理を実行したが否かを判定する。全てのポリシー規則が前記処理を実行した場合は、この実行により設定された通信条件を新通信条件と決定してステップ９１４（現在の通信条件を判定）に進み、未だ処理していないポリシー規則がある場合は、未処理のポリシー規則についてステップ ９１１を実行する。
【００８８】
ここで、図 １３ に示すポリシー規則を例にステップ ９１１ および ９１２ の処理を具体的に説明する。
【００８９】
第 １ のケースとして、当該ユーザからみて通信相手のユーザが ６０ ｍ 離れた位置にいるときは、ポリシー規則 １３１１ とポリシー規則 １３１５ とが適用される。すなわち、ポリシー規則 １３１１ に従って接続は切断される。ポリシー規則 １３１５ は接続されているときだけに有効なため、この場合、動作部は無効（すなわち実行されない）である。従って、このケースにおける新通信条件は、切断要求である。
【００９０】
第 ２ のケースとして、当該ユーザからみて通信相手のユーザが ３０ ｍ 離れた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１５ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該の通信相手と接続されていない場合は当該通信相手と接続される。次に、ポリシー規則 １３１５ に従って、オーディオ通信部 ２１５ は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 ２１８ は、不明瞭かつ低帯域幅に加工された映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声、および低品質の映像の送信である。
【００９１】
なお、音声を聞き取り不能にするには、音声の振幅を数 ｍｓ 〜 数 １０ ｍｓ の時間にわたって平均し、当該の音声とは全く異なる音声 （たとえば正弦波） を、この振幅になるように変調すればよい。これにより、発声していることは認識できるが、全く聞き取るができない音声を生成することができる。また、映像を不明瞭にするには、圧縮率の高い ＭＰＥＧ 形式にコーディングされた信号として表現すればよい。これによって帯域幅もあわせて減少させることができる。
【００９２】
また、当該ユーザと通信相手が異なるポリシー規則を保持している場合は、後述する通信要求入力手順（図１０参照）のステップ １０１３ の通信条件の変更において、弱い方の通信条件にそろえられる。すなわち、より明瞭度が低い方、あるいは聞き取り可能なポリシーと聞き取る不可能なポリシーとがある場合は、聞き取り不可能な方の通信条件を設定する。これにより、第１のクライアントから第２のクライアントへの通信する場合と、第２のクライアントから第１のクライアントへの通信する場合で、同じ通信条件が実現される。
【００９３】
第 ３ のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有する場合であって、前記の通信相手のユーザが ５ ｍ 離れた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１３ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該通信相手と接続されていなければ接続される。また、ポリシー規則 １３１３ に従って、オーディオ通信部 ２１５ は特殊な加工を施さない広帯域の音声を当該通信相手に送信し、ビデオ通信部 ２１８ は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、高品質の音声および低品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 ２ のケースの場合と同様で弱い方の通信条件にそろえられる。
【００９４】
第 ４ のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有しない場合であって、前記の通信相手のユーザが ５ ｍ はなれた位置にいるときは、ポリシー規則 １３１２ とポリシー規則 １３１４ とが適用される。すなわち、ポリシー規則 １３１２ に従って、まだ当該の通信相手と接続されていなければ接続される。ポリシー規則 １３１４ に従って、オーディオ通信部 ２１５ は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 ２１８ は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声および高品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 ２ のケースの場合と同様で弱い方の通信条件にそろえられる。
【００９５】
次に、ステップ ９１４ において、現在の通信条件とステップ９１１からステップ９１３で決定した新通信条件とにもとづき、通信先のクライアントに対して行う通信要求の判定（振り分け）を行う。この判定により、現在は未接続で、接続を要求する第１のケース、現在は接続中で、切断を要求する第２のケース、現在は未接続で、通信条件を変更する第３のケースのいずれかに振り分けられる。第 １ のケースにおいてはステップ ９１５ に進み、第２ のケースにおいてはステップ ９１７ に進み、第 ３ のケースにおいてはステップ ９１９ に進む。
【００９６】
第１のケースはステップ ９１５ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアントに対し、新通信条件を提示して接続を要求する。接続要求には ＳＩＰ の ＩＮＶＩＴＥ メッセージを使用する。ＩＮＶＩＴＥ メッセージは宛先のユーザを会話に招待することを意味する。
【００９７】
ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ というアドレスを持つユーザのクライアント２０１ が、 ｕｓｅｒ２＠ｓｅｒｖｅｒｓ．ｃｏｍ というアドレスを持つユーザのクライアント２０２ に対して接続要求する場合は、ポリシー・セッション制御部２２３は、次のようなヘッダを有し、内容として新通信条件を含んだメッセージを送信する。
【００９８】
次に、ステップ ９１６ において、接続要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、接続要求中であることの記録は、通信相手からの返事が一定時間以内に到着しない場合、ＩＮＶＩＴＥ メッセージを再送する際に使用される。なお、ポリシー・セッション制御部２２３は、当該通信相手から接続要求に対する返事を受信したときに、前記記録をクリアする。
【００９９】
第２のケースは、ステップ ９１７ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアント２０２ または ２０３ に対し、通信の切断を要求する。通信を切断するためには通常は ＳＩＰ の ＢＹＥ メッセージを使用し、本実施形態においても ＢＹＥ メッセージを使用することは可能である。しかしＢＹＥ メッセージは、通信相手の返事を待たずに接続を切るため、切断のためにクライアント２０１ と、通信相手のクライアントとの間でポリシー規則の整合性をとるために調停・交渉が必要な場合には、ＢＹＥ メッセージを使用せず、接続の場合と同様に ＩＮＶＩＴＥ メッセージを使用する。すなわち、ＩＮＶＩＴＥ メッセージの内容として通信切断要求を記述する。通信切断要求は、例えば通信速度として ０ を指定した ＳＤＰ メッセージによって表現することが可能である。
【０１００】
次に、ステップ ９１８ において、切断要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、切断要求中であることの記録、および、記録のクリアについては、ステップ９１６と同様である。
【０１０１】
第３のケースは、ステップ ９１９ において、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信相手のクライアントに対し、通信条件の変更を要求する。通信条件の変更も、変更後の新通信条件を内容として含む ＳＩＰ の ＩＮＶＩＴＥ メッセージを使用し、変更する通信条件は ＳＤＰ によって記述する。次に、ステップ ９１８ において通信条件変更要求中であることをポリシー・セッション制御部２２３ 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、通信条件変更要求中であることの記録、および、記録のクリアについては、ステップ９１６と同様である。
【０１０２】
図 １０ は、通信相手のクライアント から、 ＳＩＰ プロキシサーバ１２０ を経由してポリシー・セッション制御部２２３ に対して送信された通信要求の入力処理手順を示す。通信要求がポリシー・セッション制御部２２３に到着すると、まずステップ １０１１ において、ポリシー・セッション制御部２２３は、局所ポリシー２２４ の全てのポリシー規則を参照して、送信された要求条件が妥当であるかどうかを判定する。そして、前記の要求条件が、そのままで妥当だと判定された場合はステップ １０１２ に進み、前記の要求条件の一部を変更すれば妥当な条件になると判定された場合はステップ １０１３ に進み、妥当でないと判定されたときにはステップ １０１４ に進む。
【０１０３】
ステップ １０１２ においては 、ポリシー・セッション制御部２２３は、ＳＩＰプロキシサーバ１２０ を経由して、内容を添付しないＳＩＰ の ＯＫ （２００） メッセージを要求元に対して返信し、ステップ １０１５ に進む。前記 ＯＫ メッセージは、内容を伴わないことにより、通信相手の要求をそのまま受け入れたことを表現している。ステップ １０１３ においては、ポリシー・セッション制御部２２３は、 ＳＩＰ プロキシサーバ１２０ を経由して、クライアント ２０１ において一部変更した通信条件を内容として添付した ＳＩＰ の ＯＫ メッセージを要求元に対して返信し、ステップ １０１５ に進む。
【０１０４】
ステップ １０１５ においては、通信相手の通信要求をそのままで妥当と判断したとき（ステップ１０１２）はその通信条件を、通信相手の通信要求を一部変更したとき（ステップ１０１３）は変更後の通信条件を、オーディオ通信部 ２１５ およびビデオ通信部 ２１８ に反映させて、通信要求入力手順を終了する。
【０１０５】
ステップ １０１６ においては、ポリシー・セッション制御部２２３は、ＳＩＰ プロキシサーバ１２０ を経由して、通信要求を拒否するＮＧメッセージとしてＳＩＰの Ｎｏｔ ａｃｃｅｐｔａｂｌｅ （４０６） メッセージを要求元に返信し要求を拒絶し、通信要求入力手順を終了する。
【０１０６】
以上でクライアントにおける各種処理手順の説明を終了する。
【０１０７】
次にプレゼンスサーバ１１０ の機能構成および処理手順について説明する。なお、登録サーバ１３０ および ＳＩＰ プロキシサーバ１２０ については、 ＳＩＰ を使用する従来の通信と同じため、説明を省略する。
【０１０８】
図１１は、プレゼンスサーバ１１０ の機能構成を示す。プレゼンスサーバ１１０は、クライアントと各種情報の送受信をするためのインタフェース部１１１と、クライアントからのメッセージ種別を判定する判定部１１２と、判定結果に応じた処理およびインタフェース部１１１に対して送信頻度の制御を行う処理部１１３と、仮想空間の属性、仮想空間で発生したイベント（ユーザの入退場、移動等）、部屋リスト、入場者リスト等を、管理し記憶する記憶部１１４とを有する。記憶部１１４には、あらかじめ、プレゼンスサーバ１１０が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する（図５、図６参照）。その後、クライアントは仮想空間に入場したユーザの各種メッセージを受付け、プレゼンスサーバ１１０に送信する。これにより各仮想空間内に、各種のイベントが発生する。なお、記憶部１１４はこれらの情報をメモリ３０２または外部記憶装置３０３に記憶する。またこれらの機能は、プレゼンスサーバ１１０のメモリ３０２にロードまたは記憶された所定のプログラムを、ＣＰＵ３０１が実行することにより実現される。
【０１０９】
図１２は、プレゼンスサーバ１１０ の処理手順を示したものである。プレゼンスサーバ１１０ は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ１１０ が停止するまで行う。まず、ステップ １２１１ において、インタフェース部１１１は、クライアントからのメッセージを待ち、メッセージを受信すると、ステップ １２１２ において、判定部１１２が受付けたメッセージの種類を判定する。メッセージが、ログインメッセージの場合はステップ １２２１ に進み、入場メッセージの場合はステップ １２３１ に進み、移動メッセージの場合はステップ １２３５ に進み、退場メッセージの場合はステップ １２４１ に進む。ＳＩＰのプロトコルを使用する場合、ＳＵＢＳＣＲＩＢＥ メッセージであれば判定部１１２はログインメッセージと判定し、特定の部屋に関する値として ０ を含む ”Ｅｘｐｉｒｅｓ” ヘッダを持たない ＳＵＢＳＣＲＩＢＥ メッセージであれば判定部１１２は入場メッセージと判定し、ＮＯＴＩＦＹ メッセージであれば処理部１１２は移動メッセージと判定し、特定の部屋に関する値として ０ を含む ”Ｅｘｐｉｒｅｓ” ヘッダを持つ ＳＵＢＳＣＲＩＢＥ メッセージであれば処理部１１２は退場メッセージと判定する。
【０１１０】
ログインメッセージの場合（ステップ １２２１）は、プレゼンスサーバ１１０の処理部１１３は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部１１１に指示し、インタフェース部１１１は部屋リストを送信する。その後、ステップ１２１１に戻り、次のメッセージを待つ。ＳＩＰ を使用する場合は、部屋リスト名 （アドレス：ｒｏｏｍｓ＠ｓｅｒｖｅｒｓ．ｃｏｍ） をヘッダの送信者とし、内容として部屋リストを含む ＮＯＴＩＦＹ メッセージをクライアントに送信する。例えば、当該クライアントのユーザのアドレスが ｕｓｅｒ１＠ｓｅｒｖｅｒｓ．ｃｏｍ の場合は、メッセージ・ヘッダは次のようになる。
また、処理部１１３は、記憶部１１４に記憶されているＮＯＴＩＦＹ メッセージの送信先のユーザと、移動メッセージを通知したユーザとの仮想空間における距離が一定の値より近い場合（比較的近距離の場合）は、前記の一定の時間をこれより短い時間にすることによって頻繁に通知を行う（高頻度の通知）ようにし、逆に両者の距離が一定の値より遠い場合（比較的遠距離の場合）は、前記の一定の時間をこれより長い時間にすることによって通知の頻度を下げる（低頻度の通知）ようにしてもよい。例えば、仮想空間におけるユーザ間の一定の距離を１０ｍとした場合は、送信先のユーザとの距離が５ｍの場合は、前記一定の時間を０．２秒として、つまり０．２秒間隔で移動メッセージを当該クライアントに送信する。一方、送信先のユーザとの距離が１２ｍの場合は、前記一定の時間を１秒として、つまり１秒間隔で移動メッセージを当該クライアントに送信する。
【０１１１】
また、送信間隔あるいは送信頻度は、前述のようにある一定の距離より遠いまたは近い場合の２段階の制御に限定するものではない。例えば、距離に比例して送信間隔または送信頻度を変化させる方法、あるいは、送信間隔または送信頻度を変化させる距離の閾値を複数設定し、距離に応じた送信間隔または送信頻度を制御する方法などが考えられる。これにより、きめ細かい、送信制御が可能となる。
【０１１２】
これにより送信先のユーザにとって近くに存在するユーザの状況変化の伝達を妨げることなく、遠くに存在するユーザの通信頻度を低下させることにより通信量を削減することが可能となる。
【０１１３】
なお、プレゼンスサーバ１１０ が各クライアントの局所ポリシー２４４ に登録されたポリシー規則の一部または全部を、あらかじめ各クライアントから収集しプレゼンスサーバ１１０内に保持することも考えられる。この場合は、プレゼンスサーバ１１０が各クライアントの局所ポリシー２４４に登録されたポリシー規則の一部または全部をあらかじめ各クライアントから受け取ることにより、上記のような距離だけではなく、処理部１１３は局所ポリシー２４４に記載されている送信先ユーザの重要性にもとづいて通信を制御することができる。すなわち、送信先ユーザが重要なときはクライアント毎にきめ細かい送信頻度また送信時間間隔によってＮＯＦＩＴＹ メッセージを送信することができる。
【０１１４】
退場メッセージの場合（ステップ １２４１）は、処理部１１３は、当該ユーザを入場者リストから削除し、次にステップ １２４２ において、処理部１１３は当該ユーザ以外の全ての入場者に当該ユーザが部屋から退場したことを通知するようにインタフェース部１１１に指示する。インタフェース部１１１は、前記指示に従いクライアントに送信する。そして、ステップ１２１１に戻り、クライアントからのメッセージを待つ。ＳＩＰ を使用する場合は、当該の部屋を送信者とし内容として退場したユーザ名と削除されたことを示すメッセージとを含む ＮＯＦＩＴＹ メッセージを送信する。メッセージヘッダは前述のステップ １１３６のメッセージヘッダと同様である。
【０１１５】
以上で本実施形態の説明を終了する。
【０１１６】
本発明により、プレゼンスサーバは仮想空間に入場した全てのユーザの位置を把握することができ、全てのユーザに整合がとれた仮想空間属性情報と各ユーザに関する情報とが配布されるため、仮想空間そのもの、および仮想空間内におけるユーザのプレゼンス（すなわち存在感または存在位置）を、ユーザ間で整合させることができる。これにより、仮想空間においてユーザ同士が自然に会話することができ、円滑なコミュニケーションを図ることができる
また、局所ポリシーに仮想空間を共有するユーザのなかで状況把握や暗黙知流通に重要なユーザについてはユーザが遠距離にいるときであっても高品質な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには比較的低品質な音声を送受信するか、または接続を切るようにポリシーを記述する。これにより、重要なユーザに関しては状況を把握しやすくし暗黙知の流通を促進するとともに、それ以外のユーザはネットワーク帯域幅などの資源を必要以上に浪費することを回避でき、クライアント間での平均通信量を削減することができる。また、併せて電池などのバッテリーの資源消費量を減少させることもできる。
【０１１７】
また、局所ポリシー仮想空間を共有するユーザのなかで親密なユーザについては、ユーザが遠距離にいるときであっても明瞭な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには明瞭度を低下させた音声を送信するか、音声を他の音に置き換えた信号を送受信するか、または接続を切るようにポリシーを記述する。これにより、親密でないユーザにプライベートな会話を聴取される可能性が低くなり、プライバシーを保護することができる。
【０１１８】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、以下に本実施形態の一部を変更した３つの実施形態について説明する。
【０１１９】
第１に、前記の実施形態においては、セッション制御またはセッション管理は、ほとんどクライアント２０１ が行い、ＳＩＰ プロキシサーバ１２０ はインテリジェンスを持っていない。またオーディオおよびビデオの通信はピア・トゥー・ピアで、サーバを介さずに行う形態である。マルチキャストを使用した場合は、この方法においてもネットワーク負荷を抑えることができる。しかしながら、ネットワーク１０１がユニキャスト・ネットワークの場合は、この方法ではネットワーク負荷が高くなる。また、仮想空間内において当該ユーザの近傍に多数の他のユーザが存在する場合は、クライアントの処理負荷が高くなり、処理不能に陥る危険がある。これを回避するためには、複数のオーディオまたはビデオ信号を独立に処理する機能を各クライアントからサーバに移すことが考えられる。
【０１２０】
例えば、各クライアントからのオーディオ信号、ビデオ信号を収集し束ねるために、専用の通信サーバをネットワーク １０１ に接続する。前記通信サーバは各クライアントから送られるオーディオ信号を束ねて １ 本または少数本の ＲＴＰストリームを作り、このＲＴＰ ストリームを各クライアントに送信する。ビデオ信号についても 同様に１ 本または少数本の ＲＴＰ ストリームを作り各クライアントに送信する。オーディオ信号またはビデオ信号を束ねるだけではネットワーク負荷は抑えられないが、接続数を減らすことによりクライアントの負荷は軽減させることが可能である。さらに、オーディオレンダラ２１６、グラフィクスレンダラ２１９ の機能を前記通信サーバにおいて実現した場合は、１ 個のオーディオ信号またはビデオ信号だけを含むストリームを各クライアントに送信すればよいため、ネットワーク負荷を抑えることができる。ただし、そのためには通信サーバが各クライアントの空間モデラ ２２１ が有する情報を逐次、プレゼンスサーバ１１０ から受信する必要があり、またプレゼンスサーバ１１０ は各ユーザの位置を常に高頻度で把握する必要がある。
【０１２１】
この構成においては、図９の通信要求出力手順のかわりに、クライアント２０１ は前記の通信サーバに対して接続を要求する。すなわち、新通信条件を前記の通信サーバに送信すると、前記の通信サーバが通信相手のクライアントとの交渉を行い、現在の通信条件と指定された新通信条件とから実際の新通信条件を決定し、要求元のクライアント２０１ と通信相手のクライアント全てに、新通信条件を含んだ ＩＮＶＩＴＥ メッセージを送付するか、または ＢＹＥ メッセージを送付する。前記の ＩＮＶＩＴＥ メッセージには、通信先として通信サーバを指定した ＳＤＰメッセージが含まれる。そのため、各クライアントは前記の通信サーバにオーディオ信号またはビデオ信号を送信する。
【０１２２】
また、クライアント２０１ は、通信サーバから他のクライアントの通信要求の妥当性を判断するために、図１０に示す通信要求入力手順について必要である。しかし、あらかじめ局所ポリシー２４４の一部または全部を前記の通信サーバに送信しておくことにより、前記の通信要求入力手順の一部または全部を、通信サーバ側で行うようにして、クライアント２０１の負荷を軽減させることができる。
【０１２３】
第 ２ に、今まで説明した実施形態では、ユーザ移動時のクライアント ２０１ とプレゼンスサーバ１１０ との間の通信に ＳＩＰ の ＳＵＢＳＣＲＩＢＥ−ＮＯＴＩＦＹ に代表されるイベント通知型のプロトコルを使用していた。しかしながら、イベント通知型のプロトコルかわりに、同期型のプロトコルを使用することもできる。すなわち、ビデオ信号またはオーディオ信号の送受信のように、定期的に当該ユーザおよび他のユーザの位置を送受信することができる。ユーザが常にまたは頻繁に移動し、それを迅速に他のユーザに伝達する必要がある環境においては、同期型のプロトコルを使用した方が、クライアント ２０１ およびプレゼンスサーバ１１０のオーバヘッドが少ない。
【０１２４】
第 ３ に、今まで説明した実施形態では、ユーザの位置または移動を入力するためにポインティングデバイス ２２６ を使用していた。しかし、あらかじめ空間モデラ ２２１ が複数の位置の候補を計算してディスプレイ ２２０ に表示する。そしてユーザが、ポインティングデバイス ２２６ または他のキーを使用して前記の候補のなかの １ 個を選択することによって、ユーザの位置を入力することも可能である。候補を計算する方法としては、ユーザが、仮想空間内にいる他のユーザのなかから会話したい １ 人または複数人の相手をポインティングデバイス ２２６ または他のキーを使用して選択し、空間モデラ ２２１ が前記の相手が前記の仮想空間内で形成する図形における重心を計算し、前記の重心の位置の周囲の数点を候補とする方法がある。ただし、この方法においては前記の計算によって求められる位置の近傍に、会話と無関係なユーザが含まれる可能性あるが、これについては、会話と無関係なユーザがいない複数の位置を候補とすることにより回避することができる。このとき、会話を成立させるためには、移動を入力するユーザだけでなく、会話したい相手のユーザにも位置の選択を促す必要がある。すなわち、会話相手のユーザのクライアントに対して計算された位置を送信し、前記クライアントが現在の位置と送信された位置とを候補とするメニューを表示し、会話相手のユーザが前記の候補のなかの１個を選択する必要がある。以上のメニュー選択によって決定された位置は、さらにポインティングデバイス ２２６ を使用することによって変更することも可能である。
【０１２５】
【発明の効果】
以上のように、本発明によれば、仮想空間および仮想空間内のユーザの位置、存在感などのプレゼンスを、ユーザ間で整合させるため、ユーザは仮想空間において自然に会話することができる。また、各クライアントに通信に関するポリシー規則を保持して通信を制御することにより、電池またはネットワーク帯域幅などの資源消費量を減少させることができ、プライバシーを保護することができる。
【図面の簡単な説明】
【図１】本実施形態におけるネットワーク構成図である。
【図２】本実施形態におけるクライアントの構成図である。
【図３】本実施形態におけるクライアントの種類を例示したものである。
【図４】本実施形態における仮想空間のディスプレイ表示画面例である。
【図５】本実施形態におけるクライアントのネットワークへの接続処理フロー図である。
【図６】本実施形態におけるクライアントの入場処理フロー図である。
【図７】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図８】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図９】本実施形態におけるクライアントの通信要求出力処理フロー図である。
【図１０】本実施形態におけるクライアントの通信要求入力処理フロー図である。
【図１１】本実施形態におけるプレゼンスサーバの機能構成図である。
【図１２】本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。
【図１３】本実施形態における局所ポリシーを例示したものである。
【図１４】本実施形態における各装置のハードウェア構成図である。
【符号の説明】
１０１…ネットワーク、１１０…プレゼンスサーバ１２０…ＳＩＰプロキシサーバ１３０…登録サーバ、２０１、２０２、２０３…クライアント、２１１…マイクロフォン、２１２…オーディオエンコーダ、２１３…カメラ、２１４…ビデオエンコーダ、２１５…オーディオ通信部、２１６…オーディオレンダラ、２１７…イヤフォン、２１８…ビデオ通信部、２１９…グラフィクスレンダラ、２２０…ディスプレイ、２２１…空間モデラ、２２２…プレゼンスプロバイダ、２２３…ポリシー・セッション制御部、２２４…局所ポリシー、２２５…電源制御部
Claims (18)
- 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、
前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有し、
前記複数のクライアント端末各々は、
自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段と、を有し、
前記サーバ装置は、
前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段と、を有すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項１記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するイメージ作成手段を有すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項１記載のヒューマン・コミュニケーション・システムにおいて、
前記立体音響再生手段は、前期複数のユーザ各々の前記仮想空間における位置および前記仮想空間の属性情報に基づいて、前記他ユーザ各々の音声に適用する音響効果を制御すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項２記載のヒューマン・コミュニケーション・システムにおいて、
前記イメージ作成手段は、前記複数のユーザ各々の前記仮想空間における位置および前記仮想空間の属性情報に基づいて、前記複数のユーザ各々を表すオブジェクトおよびその他の構造物を表すオブジェクトが前記仮想空間に配置されたイメージデータを作成すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項１に記載のヒューマン・コミュニケーション・システムにおいて、
前記サーバ装置は、前記複数のクライアント端末への送信を制御するための処理手段を有し、
前記処理手段は、前記記憶手段に記憶された仮想空間における前記自ユーザと前記他ユーザ各々との距離に応じて、自ユーザの位置情報を他ユーザのクライアント端末に送信する送信頻度または送信間隔を制御すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項５に記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、通信相手の属性および通信相手との距離に従って通信を制御する通信条件を記憶する局所ポリシー記憶手段をそれぞれ有し、
前記サーバ装置の前記処理手段は、前記複数のクライアント端末の局所ポリシー記憶手段を取得し、前記局所ポリシー記憶手段を参照して、前記複数のクライアント各々に他ユーザ各々の位置情報を送信する送信頻度または送信時間間隔を決定すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項１に記載のヒューマン・コミュニケーション・システムにおいて、
前記サーバ送信手段は、前記複数のクライアント端末に対して、前記クライアント端末の自ユーザの位置に関する情報を、前記サーバ装置に送信することを要求するイベント要求メッセージを送信し、
前記イベント要求メッセージには、前記複数のクライアント端末から前記サーバ装置へ送信する際の送信頻度または送信間隔が指定され、
前記複数のクライアント端末は、前記送信された送信頻度または送信間隔に従って、自ユーザの位置に関する情報を、前記サーバ装置に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、
前記複数のユーザが使用する複数のクライアント端末を有し、
前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、
自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、
前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、
前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項８に記載されたヒューマン・コミュニケーション・システムにおいて、
前記他ポリシー・セッション制御手段は、前記指定された通信条件を変更した通信条件を添付して、通信許可を前記自ポリシー・セッション制御手段に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項８に記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段を有し、
前記自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、空間モデル化手段から取得した仮想空間内における前記自ユーザと他ユーザとの間の距離に応じて、他ユーザのクライアント端末との通信を切断するか、または低品質の通信とすること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項８に記載のヒューマン・コミュニケーション・システムにおいて、
前記通信は、音声または映像のうち少なくともいずれか１つを使用し、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段を有し、
前記自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、空間モデル化手段から取得した前記仮想空間内における前記自ユーザと他ユーザとの間の距離に応じて、他ユーザのクライアント端末との通信に使用する音声または画像を不明瞭にするか、または、音声または画像の一部を他の音声または画像に置換し、聞き取り不可能な音声または読み取り不可能な映像とすること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項８記載のヒューマン・コミュニケーション・システムにおいて、
前記ポリシー・セッション制御手段は、前記局所ポリシー記憶手段を参照し、通信に使用する帯域幅を変更することを
特徴とするヒューマン・コミュニケーション・システム。 - 請求項８記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段と、電源の供給を制御する電源制御手段とを有し、
前記自ポリシー・セッション制御手段は、空間モデル化手段から取得した仮想空間内における自ユーザと自ユーザに最も近い他ユーザとの距離に応じて、前記電源制御手段に所定の信号を送信し、
前記電源制御手段は、前期所定の信号を受け取ると、消費電力を低下させること、
を特徴とするヒューマン・コミュニケーション・システム。 - 仮想空間を用いて複数のユーザが複数のクライアント端末を用いて会話を実現するヒューマン・コミュニケーション・システムにおけるサーバ装置であって、
前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段と、を有すること
を特徴とするヒューマン・コミュニケーション・システムにおけるサーバ装置。 - 請求項１４に記載のサーバにおいて、
前記サーバ装置は、前記複数のクライアント端末への送信を制御するための処理手段を有し、
前記処理手段は、前記記憶手段に記憶された仮想空間における前記自ユーザと前記他ユーザ各々との距離に応じて、自ユーザの位置情報を他ユーザのクライアント端末に送信する送信頻度または送信間隔を制御すること、
を特徴とするヒューマン・コミュニケーション・システムにおけるサーバ装置。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
自クライアント端末の自ユーザの位置に関する情報を、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置に送信するステップと、
前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するステップと、
前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出するステップと、
前記算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御するステップと、を行うこと
を特徴とするヒューマン・コミュニケーション方法。 - 請求項１６記載のヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するステップを行うこと
を特徴とするヒューマン・コミュニケーション方法。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、
前記自クライアント端末は、自クライアント端末の通信条件を記憶する自局所ポリシーを参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他クライアント端末に通信要求を送信するステップと、
前記他クライアント端末は、他クライアント端末の通信条件を記憶する他局所ポリシーを参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自クライアント端末に送信し、適合しない場合は通信拒否を前記自クライアント端末に送信するステップと、を行うこと
を特徴とするヒューマン・コミュニケーション方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147801A JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
| US10/697,553 US7197126B2 (en) | 2003-05-26 | 2003-10-31 | Human communication system |
| CNB2004100074340A CN100556055C (zh) | 2003-05-26 | 2004-03-03 | 人际通信*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147801A JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004348647A true JP2004348647A (ja) | 2004-12-09 |
Family
ID=33447625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003147801A Pending JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7197126B2 (ja) |
| JP (1) | JP2004348647A (ja) |
| CN (1) | CN100556055C (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229379A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム |
| WO2010023963A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | アバター表示方法、アバター表示装置および記憶媒体 |
| WO2010041360A1 (ja) * | 2008-10-08 | 2010-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| US7796739B2 (en) | 2008-04-25 | 2010-09-14 | Kabushiki Kaisha Toshiba | Presence management system, presence notification method, server unit, and terminal device |
| JP2011120238A (ja) * | 2009-12-04 | 2011-06-16 | Samsung Electronics Co Ltd | デジタルリビングネットワークアライアンスネットワークにおける電力消費を減らすための方法及び装置 |
| US8826151B2 (en) | 2009-09-15 | 2014-09-02 | Ricoh Company, Limited | Information processing apparatus and computer-readable medium for virtualizing an image processing apparatus |
| JP2016511892A (ja) * | 2013-02-06 | 2016-04-21 | フェイスブック，インク． | 周辺ロケーション更新のグループ化 |
| WO2016185740A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN107155150A (zh) * | 2017-07-14 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
Families Citing this family (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006025281A (ja) * | 2004-07-09 | 2006-01-26 | Hitachi Ltd | 情報源選択システム、および方法 |
| US7765257B2 (en) * | 2005-06-29 | 2010-07-27 | Cisco Technology, Inc. | Methods and apparatuses for selectively providing privacy through a dynamic social network system |
| JP4608400B2 (ja) * | 2005-09-13 | 2011-01-12 | 株式会社日立製作所 | 音声通話システムおよび音声通話中におけるコンテンツの提供方法 |
| US7779004B1 (en) | 2006-02-22 | 2010-08-17 | Qurio Holdings, Inc. | Methods, systems, and products for characterizing target systems |
| US7593354B2 (en) * | 2006-03-22 | 2009-09-22 | Musigy Usa, Inc. | Method and system for low latency high quality music conferencing |
| WO2007129942A1 (en) * | 2006-05-05 | 2007-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for a virtual meeting |
| TWI302609B (en) * | 2006-07-11 | 2008-11-01 | Compal Electronics Inc | Method for tracking vocal target |
| JP4470934B2 (ja) * | 2006-10-20 | 2010-06-02 | 日本電気株式会社 | プロキシ・サーバ、通信システム、通信方法及びプログラム |
| US8559646B2 (en) * | 2006-12-14 | 2013-10-15 | William G. Gardner | Spatial audio teleconferencing |
| US7849420B1 (en) | 2007-02-26 | 2010-12-07 | Qurio Holdings, Inc. | Interactive content representations enabling content sharing |
| US7840903B1 (en) | 2007-02-26 | 2010-11-23 | Qurio Holdings, Inc. | Group content representations |
| US9098167B1 (en) * | 2007-02-26 | 2015-08-04 | Qurio Holdings, Inc. | Layered visualization of content representations |
| US8843373B1 (en) * | 2007-06-07 | 2014-09-23 | Avaya Inc. | Voice quality sample substitution |
| US8260266B1 (en) | 2007-06-26 | 2012-09-04 | Qurio Holdings, Inc. | Method and system for third-party discovery of proximity-based services |
| JP5059517B2 (ja) * | 2007-08-09 | 2012-10-24 | 京セラ株式会社 | 無線通信装置および通信制御方法 |
| US9111285B2 (en) | 2007-08-27 | 2015-08-18 | Qurio Holdings, Inc. | System and method for representing content, user presence and interaction within virtual world advertising environments |
| JP5000432B2 (ja) * | 2007-08-29 | 2012-08-15 | 京セラ株式会社 | 通信装置および通信制御方法 |
| US9131016B2 (en) * | 2007-09-11 | 2015-09-08 | Alan Jay Glueckman | Method and apparatus for virtual auditorium usable for a conference call or remote live presentation with audience response thereto |
| US8261307B1 (en) | 2007-10-25 | 2012-09-04 | Qurio Holdings, Inc. | Wireless multimedia content brokerage service for real time selective content provisioning |
| US9602295B1 (en) | 2007-11-09 | 2017-03-21 | Avaya Inc. | Audio conferencing server for the internet |
| JP4445559B2 (ja) * | 2008-05-30 | 2010-04-07 | 株式会社東芝 | プレゼンスサービス提供システムとそのサーバユニット |
| US8645507B2 (en) * | 2008-11-05 | 2014-02-04 | Siemens Enterprise Communications, Inc. | Power management for a communications system |
| JP4743305B2 (ja) * | 2009-01-06 | 2011-08-10 | ソニー株式会社 | 境界定義による機能制御方法、境界定義による機能制御システム、境界定義による機能制御サーバ及びプログラム |
| US8234332B2 (en) * | 2009-04-22 | 2012-07-31 | Aventura Hq, Inc. | Systems and methods for updating computer memory and file locations within virtual computing environments |
| US9367512B2 (en) * | 2009-04-22 | 2016-06-14 | Aventura Hq, Inc. | Systems and methods for dynamically updating virtual desktops or virtual applications in a standard computing environment |
| US20110055703A1 (en) * | 2009-09-03 | 2011-03-03 | Niklas Lundback | Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System |
| US8363810B2 (en) * | 2009-09-08 | 2013-01-29 | Avaya Inc. | Method and system for aurally positioning voice signals in a contact center environment |
| US8144633B2 (en) * | 2009-09-22 | 2012-03-27 | Avaya Inc. | Method and system for controlling audio in a collaboration environment |
| JP2011070511A (ja) * | 2009-09-28 | 2011-04-07 | Sony Corp | 端末装置、サーバ装置、表示制御方法、及びプログラム |
| US8547880B2 (en) * | 2009-09-30 | 2013-10-01 | Avaya Inc. | Method and system for replaying a portion of a multi-party audio interaction |
| KR101569037B1 (ko) * | 2009-12-03 | 2015-11-16 | 삼성전자주식회사 | 컨트롤 포인트, 화상형성장치, 및 인쇄 제어 방법 |
| US8959097B2 (en) * | 2010-03-12 | 2015-02-17 | International Business Machines Corporation | Privacy-preserving method for skimming of data from a collaborative infrastructure |
| TW201141226A (en) * | 2010-05-04 | 2011-11-16 | Utw Technologies Corp | Virtual conversing method |
| US8744065B2 (en) | 2010-09-22 | 2014-06-03 | Avaya Inc. | Method and system for monitoring contact center transactions |
| US9736312B2 (en) | 2010-11-17 | 2017-08-15 | Avaya Inc. | Method and system for controlling audio signals in multiple concurrent conference calls |
| US9084079B2 (en) * | 2010-11-19 | 2015-07-14 | Qualcomm Incorporated | Selectively formatting media during a group communication session |
| CN103959344B (zh) * | 2011-12-20 | 2017-03-01 | 英特尔公司 | 跨越多个设备的增强现实表示 |
| KR101888491B1 (ko) | 2012-01-11 | 2018-08-16 | 삼성전자주식회사 | 가상 공간 이동 장치 및 방법 |
| US9204099B2 (en) * | 2012-02-01 | 2015-12-01 | Magor Communications Corporation | Videoconferencing system providing virtual physical context |
| US9838824B2 (en) | 2012-12-27 | 2017-12-05 | Avaya Inc. | Social media processing with three-dimensional audio |
| US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
| US9301069B2 (en) * | 2012-12-27 | 2016-03-29 | Avaya Inc. | Immersive 3D sound space for searching audio |
| US9892743B2 (en) | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
| US10375353B2 (en) * | 2015-12-11 | 2019-08-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN106254815A (zh) * | 2016-08-09 | 2016-12-21 | 张北江 | 远程安防视频会议的视频文件传输方法及*** |
| CN106303363A (zh) * | 2016-08-09 | 2017-01-04 | 张北江 | 监控***中视频会议超高清传输方法及*** |
| CN106101599A (zh) * | 2016-08-09 | 2016-11-09 | 张北江 | 高清视频文件在远程监控会议中的选择方法及*** |
| US10558421B2 (en) * | 2017-05-22 | 2020-02-11 | International Business Machines Corporation | Context based identification of non-relevant verbal communications |
| US10623694B2 (en) * | 2018-03-16 | 2020-04-14 | Lenovo (Singapore) Pte Ltd | Appropriate modification of video call images |
| CN109660911A (zh) | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 录音音效处理方法、装置、移动终端及存储介质 |
| CN110035250A (zh) * | 2019-03-29 | 2019-07-19 | 维沃移动通信有限公司 | 音频处理方法、处理设备、终端及计算机可读存储介质 |
| US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
| US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
| US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
| US11070768B1 (en) * | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
| US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
| US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
| US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
| US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
| WO2023051703A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 一种音频渲染***和方法 |
| US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
| US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
| US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
| US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
| US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
| US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
| US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
| US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
| US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
| US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
| US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
| US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
| US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
| US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
| US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU6646096A (en) | 1995-08-03 | 1997-03-05 | Interval Research Corporation | Computerized interactor systems and methods for providing same |
| US5889843A (en) | 1996-03-04 | 1999-03-30 | Interval Research Corporation | Methods and systems for creating a spatial auditory environment in an audio conference system |
| JP4232231B2 (ja) * | 1998-09-30 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| US6850496B1 (en) * | 2000-06-09 | 2005-02-01 | Cisco Technology, Inc. | Virtual conference room for voice conferencing |
-
2003
- 2003-05-26 JP JP2003147801A patent/JP2004348647A/ja active Pending
- 2003-10-31 US US10/697,553 patent/US7197126B2/en not_active Expired - Fee Related
-
2004
- 2004-03-03 CN CNB2004100074340A patent/CN100556055C/zh not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229379A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム |
| US7796739B2 (en) | 2008-04-25 | 2010-09-14 | Kabushiki Kaisha Toshiba | Presence management system, presence notification method, server unit, and terminal device |
| WO2010023963A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | アバター表示方法、アバター表示装置および記憶媒体 |
| JP5310729B2 (ja) * | 2008-09-01 | 2013-10-09 | 日本電気株式会社 | アバター表示方法、アバター表示装置およびプログラム |
| US8622840B2 (en) | 2008-10-08 | 2014-01-07 | Sony Corporation | Information processing device and information processing method |
| WO2010041360A1 (ja) * | 2008-10-08 | 2010-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| JP2010092304A (ja) * | 2008-10-08 | 2010-04-22 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| US8826151B2 (en) | 2009-09-15 | 2014-09-02 | Ricoh Company, Limited | Information processing apparatus and computer-readable medium for virtualizing an image processing apparatus |
| JP2011120238A (ja) * | 2009-12-04 | 2011-06-16 | Samsung Electronics Co Ltd | デジタルリビングネットワークアライアンスネットワークにおける電力消費を減らすための方法及び装置 |
| US9317099B2 (en) | 2009-12-04 | 2016-04-19 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing power consumption in digital living network alliance network |
| JP2016511892A (ja) * | 2013-02-06 | 2016-04-21 | フェイスブック，インク． | 周辺ロケーション更新のグループ化 |
| WO2016185740A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JPWO2016185740A1 (ja) * | 2015-05-18 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10477336B2 (en) | 2015-05-18 | 2019-11-12 | Sony Corporation | Information processing device, information processing method, and program |
| US11128972B2 (en) | 2015-05-18 | 2021-09-21 | Sony Corporation | Information processing device, information processing method, and program |
| CN107155150A (zh) * | 2017-07-14 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
| CN107155150B (zh) * | 2017-07-14 | 2019-07-26 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100556055C (zh) | 2009-10-28 |
| CN1574870A (zh) | 2005-02-02 |
| US7197126B2 (en) | 2007-03-27 |
| US20040240652A1 (en) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7197126B2 (en) | Human communication system | |
| US11418440B2 (en) | Routing virtual area based communications | |
| JP4546151B2 (ja) | 音声コミュニケーション・システム | |
| US20060008117A1 (en) | Information source selection system and method | |
| JP5723905B2 (ja) | 共用仮想領域通信環境における自動化されたリアルタイム・データ・ストリーム切換え | |
| US7533346B2 (en) | Interactive spatalized audiovisual system | |
| JP5232239B2 (ja) | 共用仮想領域通信環境における自動化されたリアルタイム・データ・ストリーム切換え | |
| EP2761809B1 (en) | Method, endpoint, and system for establishing a video conference | |
| KR20120118019A (ko) | 공간 통신 환경을 위한 웹 브라우저 인터페이스 | |
| US20240106747A1 (en) | Routing Virtual Area Based Communications | |
| WO2009134259A1 (en) | Communication between scheduled and in progress event attendees | |
| WO2016002331A1 (ja) | 情報処理装置、情報処理方法およびコンテンツ共有システム | |
| WO2009134261A1 (en) | Messaging between events | |
| JP2006094315A (ja) | 立体音響再生システム | |
| US20110069143A1 (en) | Communications Prior To A Scheduled Event | |
| TWI492592B (zh) | 在共享虛擬區通訊環境中之自動化即時資料串流交換技術 | |
| Yasumoto et al. | Ravitas: Realistic voice chat framework for cooperative virtual spaces | |
| JPH09288645A (ja) | 大部屋的仮想オフィスシステム | |
| JP5602688B2 (ja) | 音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法 | |
| Kanada | Simulated virtual market place by using voiscape communication medium |