JP2004348647A - ヒューマン・コミュニケーション・システム - Google Patents
ヒューマン・コミュニケーション・システム Download PDFInfo
- Publication number
- JP2004348647A JP2004348647A JP2003147801A JP2003147801A JP2004348647A JP 2004348647 A JP2004348647 A JP 2004348647A JP 2003147801 A JP2003147801 A JP 2003147801A JP 2003147801 A JP2003147801 A JP 2003147801A JP 2004348647 A JP2004348647 A JP 2004348647A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- communication
- client
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 324
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 89
- 238000012545 processing Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 41
- 238000005516 engineering process Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000005192 partition Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computer And Data Communications (AREA)
Abstract
【課題】仮想空間内のユーザのプレゼンスを、ユーザ間で整合させ、プライバシーを保護するシステムを提供する。
【解決手段】クライアント端末201は、ユーザの位置に関する情報をプレゼンスサーバ110に送信するプレゼンスプロバイダ222と、仮想空間内におけるユーザの位置を算出する空間モデル化手段221と、仮想空間のユーザの位置に基づいて音響効果を制御するオーディオレンダラ216と、仮想空間のユーザの位置に基づいてイメージデータを作成するグラフィクスレンダラ219と、通信セションを制御するポリシーセション制御部223とを有し、仮想空間を用いた複数のユーザの会話を実現する。
【選択図】 図 2
【解決手段】クライアント端末201は、ユーザの位置に関する情報をプレゼンスサーバ110に送信するプレゼンスプロバイダ222と、仮想空間内におけるユーザの位置を算出する空間モデル化手段221と、仮想空間のユーザの位置に基づいて音響効果を制御するオーディオレンダラ216と、仮想空間のユーザの位置に基づいてイメージデータを作成するグラフィクスレンダラ219と、通信セションを制御するポリシーセション制御部223とを有し、仮想空間を用いた複数のユーザの会話を実現する。
【選択図】 図 2
Description
【0001】
【発明の属する技術分野】
本発明は、人間同士がメディアを通じ、主に音声を使用して会話するための通信端末および通信サーバに関する。
【0002】
【従来の技術】
本発明に関連する第 1 の従来技術として、京都大学において開発された会議システム FreeWalk がある(例えば、非特許文献1および非特許文献2参照)。Freewalk は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を3次元グラフィクスによって見ることができる。3次元グラフィクス技術は、3次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するAPI(Application Programming Interface)として、業界標準であるOpenGL(http://www.opengl.org/)およびMicrosoft社のDirect3Dなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。なお、非特許文献1および2においては、距離に従って音声が減衰するようにしているが、後述する3次元オーディオ技術は使用していない。
【0003】
本発明に関連する第2の従来技術として、Interval Research Corporation において開発された会議システムSomewireがある(例えば、特許文献1、特許文献2および非特許文献3参照)。Somewire は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Somewire において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするGUI(グラフィカル・ユーザ・インタフェース) より、直観的な物理的 (tangible) インタフェースを有する。なお、Somewire においては、距離に従って音声は減衰せず、3次元オーディオ技術は使用していない。
【0004】
本発明に関連する第3の従来技術として、ヒューレット・パッカード社において開発された3次元分散オーディオ技術を使用した会議システムがある(例えば、非特許文献4参照)。3次元分散オーディオ技術は、3次元オーディオ技術をネットワークで接続されたシステム(いわゆる分散環境)において適用した技術である。そして、3次元オーディオ技術は、3次元の音響空間をシミュレートする技術であり、これを実現するための API としては Loki Entertainment Software 社などによって規定された業界標準である Open AL (http://www.opengl.org/),Microsoft 社の DirectSound 3D、Creative Technology 社の EAX 2.0 (http://www.sei.com/algorithms/eax20.pdf) などがある。この3次元オーディオ技術を使用することにより、ヘッドフォン、2チャンネルまたは4チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。なお、3次元オーディオ技術は立体音響再生技術の1つであるが、立体音響再生技術には3次元オーディオ技術の他に単純な立体音響再生技術もある。例えば、ヘッドフォンにおける左右のスピーカに音量差を設けることによって、複数の音を分離して再生する立体音響再生技術がある。
【0005】
【特許文献1】
US 5,889,843
【特許文献2】
US 6,262,711 B1
【非特許文献1】
中西 英之,吉田 力,西村 俊和,石田 亨,「FreeWalk: 3次元仮想空間を用いた非形式的なコミュニケーションの支援」,情報処理学会論文誌,Vol.39, No.5,pp.1356−1364,1998。
【0006】
【非特許文献2】
Nakanishi,H.,Yoshida,C.,Nishimura,T.,and Ishida,T.,「FreeWalk: A 3D Virtual Space for Casual Meetings」,IEEE MultiMedia,April−June 1999,pp.2028.
【非特許文献3】
Singer,A.,Hindus,D.,Stifelman,L.,and White,S.,「Tangible Progress: Less Is More In Somewire Audio Spaces」,ACM CHI ’99 (Conference on Human Factors in Computing Systems),pp.104−112,May 1999.
【非特許文献4】
Low,C.,and Babarit,L.,「Distributed 3D Audio Rendering」,7th International World Wide Web Conference (WWW7),1998,http://www7.scu.edu.au/programme/fullpapers/1912/com1912.htm.
【0007】
【発明が解決しようとする課題】
上記の従来技術は、IP ネットワークを利用した常時接続で、かつ、多数者間での会話が可能な会議システムを採用している。
【0008】
しかし、常時接続の会議システムでは、仮想空間そのもの、および仮想空間内におけるユーザや物体のプレゼンス(すなわち存在感)を、ユーザ間で整合させることが望まれる。具体的には、仮想空間が天井や壁面を有する部屋であれば、その広さ、残響特性などが属性として存在するが、部屋の存在感を決めるこれらの属性に関する値を各ユーザが共有する必要がある。仮想空間の属性、特に残響特性は仮想空間内における距離について、ユーザの知覚の決定に寄与するため、仮想空間の属性をユーザ間で共有することは非常に重要である。また、第1のユーザが仮想空間内で認識している自分の存在位置と、第2のユーザが認識している第1のユーザの存在位置とを、両ユーザ間で整合させる必要がある。この整合は全てのユーザの間でとる必要がある。
【0009】
また、常時接続の会議システムでは、ユーザ間通信量などのネットワーク資源および電池などの端末資源の消費量を減少させることが望まれる。常時接続において、接続している間ずっと大量のパケットを送信し続けると、ネットワークを不必要に混雑させる。そして、ネットワークの混雑を解決するためにネットワーク帯域幅を広げると、通信コストは非常に高価になる。また、使用する端末が携帯用端末の場合は、最低限でも1日は充電せずに電池で動作できるようにするのが好ましい。しかし常時、通信モジュールや CPU を最高速度で動作させると電池の消耗が大きく、1日の間電池をもたせることが困難である。静寂時にパケット送信を止める技術は既に開発されている。しかし、この技術では信号特性だけで送信するかどうかを判断するため、暗黙知の流通を促進するために閾値を下げると通信量があまり減少せず、閾値を上げると暗黙知の流通が妨げられる、という問題がある。なお、暗黙知とは、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識(ノウハウ、仕事のやり方等)をいう。
【0010】
また、常時接続の会議システムでは、プライバシーを保護することが望まれる。従来の技術として列挙した会議システムにおいては、1つの仮想空間内にいるユーザは何時でも誰でも他のユーザの会話を聞くことができるが、この場合は電話のような1対1の会話の場合と同等のレベルのプライバシー保護を実現することができない。
【0011】
本発明は上記事情を考慮してなされたものであり、本発明の目的は仮想空間内におけるユーザのプレゼンスを、ユーザ間で整合させ、かつプライバシーを保護する使い勝手の良いヒューマン・コミュニケーション・システムを提供することである。
【0012】
【課題を解決するための手段】
上記目的達成のために、ヒューマン・コミュニケーション・システムは、複数のクライアント端末とサーバ装置を有し、各クライアント端末は各ユーザの仮想空間における位置情報をサーバに送信し、サーバは仮想空間における各ユーザの位置情報を一元的に管理、記憶することにより、各クライアント間に仮想空間内におけるユーザのプレゼンス(存在感)の整合性を保持することが可能である。また、各クライアント端末は、他のクライアント端末との通信セッションを制御することにより、資源消費量の削減およびプライバシー保護を図ることが可能である。
【0013】
例えば、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有する。そして、前記複数のクライアント端末各々は、自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段とを有し、前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段とを有するヒューマン・コミュニケーション・システムを提供する。
【0014】
また、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記複数のユーザが使用する複数のクライアント端末を有する。そして、前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信するヒューマン・コミュニケーション・システムを提供する。
【0015】
【発明の実施の形態】
以下に本発明の実施の形態について説明する。
【0016】
図1は、本実施の形態におけるヒューマン・コミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント201、202、203と、プレゼンスを管理するプレゼンスサーバ110と、セッション制御を行うSIP プロキシサーバ120と、ユーザの登録・認証をおこなう登録サーバ130とが、インターネット等のネットワーク101を介して接続されている。なお、本実施の形態では3台のクライアントを有しているが、クライアントの数は3台に限定されず、2台または4台以上であってもよい。また、本実施形態では、ネットワーク101は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130は、複数個存在する。本実施形態においては、前記単一のドメインのドメイン名として、servers.com を使用する。
【0017】
次に、ヒューマン・コミュニケーション・システムのハードウェア構成について説明する。
【0018】
図14は、クライアント201、202、203、プレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130の各装置のハードウェア構成を示したものである。
【0019】
クライアント201、202、203は、プログラムに従ってデータの加工・演算を行なうCPU301と、CPU301が直接読み書き可能なメモリ302と、ハードディスク等の外部記憶装置303と、外部システムとデータ通信をするために通信装置304と、キーボード、マウスなどの入力装置304と、ディスプレイまたはプリンタ等の出力装置306とを有する一般的なコンピュータシステムを利用することができる。例えば、PDA(Personal Digital Assistant)、PC(Personal Computer)、ウェアラブルコンピュータなどである。なお、クライアントの具体例については、図3において後述する。また、入力装置305および出力装置306については、図2において詳述する。
【0020】
プレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130は、少なくともプログラムに従ってデータの加工・演算を行なうCPU301と、CPU301が直接読み書き可能なメモリ302と、ハードディスク等の外部記憶装置303と、外部システムとデータ通信をするために通信装置304を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【0021】
なお、上記の各装置の後述する各機能は、メモリ302にロードまたは記憶された所定のプログラム(クライアント201、202、203の場合はクライアント用のプログラム、プレゼンスサーバ110の場合はプレゼンスサーバ用のプログラム、SIP プロキシサーバ120の場合はSIP プロキシサーバ用のプログラム、そして、登録サーバ130の場合は登録サーバ用プログラム)を、CPU301が実行することにより実現される。
【0022】
次に、図2を参照しクライアント201の入力装置305および出力装置306と、機能構成とについて説明する。なお、クライアント202、203においても同様の構成とする。
【0023】
クライアント201は、入力装置305として、マイクロフォン211と、カメラ213と、ポインティングデバイス226とを有する。出力装置306として、イヤフォン217とディスプレイ220とを有する。ポインティングデバイス226は、ユーザが自分自身の仮想空間上における移動情報を入力するための入力装置であり、例えばマウス、キーボードなどである。
【0024】
機能構成としては、音声をディジタル信号に変換するオーディオエンコーダ212と、3次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行うオーディオレンダラ216と、画像をディジタル信号に変換するビデオエンコーダ214と、3次元グラフィクス技術を使用して照明など仮想空間の属性から帰結する処理を行うグラフィクスレンダラ219と、入力された移動情報から仮想空間上での存在および存在位置などのプレゼンスを計算する入力空間モデラ221、前記プレゼンスに関する情報を通信するプレゼンスプロバイダ222と、他のクライアントとの間でオーディオ信号をリアルタイムに送受信するオーディオ通信部215と、他のクライアントとの間でビデオ信号をリアルタイムに送受信するビデオ通信部218と、通信セション制御しポリシーを管理するポリシー・セッション制御部223と、当該クライアントのポリシーを保持する局所ポリシー224と、消費電力を低下させ電池の消耗を防ぐ電源制御部225とを有する。
【0025】
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間であって、プレゼンスサーバ110が管理している。ユーザがある仮想空間に入場すると、プレゼンスサーバ110は、その仮想空間の属性、および、その仮想空間に存在する他のユーザや物体の情報を送信し、空間モデラ221がこれらの情報と仮想空間内における自らの位置を、メモリ302または外部記憶装置303に格納する。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。また、仮想空間内の物体として衝立などがある。
【0026】
つぎに、各機能の動作について音声、映像、プレゼンス、セッション制御の順に説明する。
【0027】
音声については、マイクロフォン211がクライアント201を使用するユーザの音声や周囲の音声を収集し、オーディオエンコーダ212に送付する。そして、オーディオエンコーダ212は、前記の音声をディジタル信号に変換してオーディオレンダラ216に出力する。また、オーディオ通信部215は、他の1台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ216に出力する。
【0028】
次に、オーディオレンダラ216は、オーディオエンコーダ212およびオーディオ通信部215から出力されたディジタルの出力信号を入力する。そして、オーディオレンダラ216は、3次元オーディオ技術を使用して、空間モデラ221が保持する聴覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手の音声が聞こえるかを計算する。次に、オーディオレンダラ216は、オーディオ通信部215から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリング、衝立による音の減衰などの処理を行い、クライアント201を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と通信相手との相対的な位置から帰結する処理によって、音声を定位させ、再生する。
【0029】
また、オーディオレンダラ216は、必要に応じて、オーディオエンコーダ212からの出力に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行ったうえで、クライアント201を使用するユーザの頭部の位置にレンダリングする。このオーディオレンダラ216により生成された音声は、イヤフォン217に出力され、これをユーザが聴取する。
【0030】
画像については、カメラ213がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ214に送付する。そして、ビデオエンコーダ214は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ219に出力する。また、ビデオ通信部218は、他の1台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ219に出力する。次に、グラフィクスレンダラ219は、ビデオエンコーダ 214 およびビデオ通信部218からのディジタルの出力信号を入力する。そして、グラフィクスレンダラ219は、3次元グラフィクス技術を使用して、空間モデラ221が保持する視覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手が見えるかを計算(座標変換)する。次に、グラフィクスレンダラ219は、ビデオ通信部218から出力される通信相手のユーザの画像に対して、前記計算により自分の位置から見た視点で、隠れて見えないはずの部分を消去し、また、仮想空間の照明などによる陰影など、仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。
【0031】
このグラフィクスレンダラ219により生成された映像は、ディスプレイ220に出力され、クライアント201を使用するユーザの視点からの映像に再生され、ユーザは必要に応じてディスプレイ220の出力を参照する。なお、グラフィクスレンダラ219は、3次元グラフィクス技術を使用せずにより簡潔な仮想空間表示をおこなうこともできる。
【0032】
なお、クライアント201は音声による通信を主として行う装置であるため、入力装置としてマイクロフォン211は必須の装置であるが、カメラ213は必ずしも必要ではない。なお、カメラ213が存在しない場合は、ビデオエンコーダ214等も不要である。
【0033】
また、音声または画像のリアルタイム通信には、IETF (Internet Engineering Task Force) が発行したドキュメントRFC 1889に記述されたプロトコルであるRTP(Real−time Transport Protocol) が使用される。音声または画像の通信において、多少の遅延増加が許される場合は、オーディオ通信部215またはビデオ通信部218と、他のクライアントとの通信は、音声または画像の通信を行う通信プロキシサーバを別に設けて、この通信プロキシサーバを経由して、他のクライアントとの音声または画像の通信を行うこともできる。
【0034】
次にプレゼンスについては、ポインティングデバイス226が、ユーザからの位置情報または変位情報の入力を受付け、これをディジタル信号に変換して空間モデラ221に入力する。空間モデラ221は、あらかじめプレゼンスサーバ110から送信された仮想空間の属性(空間の大きさ、残響特性など)および仮想空間内の各ユーザの位置を保持しており、ポインティングデバイス 226 からの入力により、仮想空間内における前記ユーザの位置および向きを変化させる。具体的には、ポインティングデバイス226から前進信号を受け取ると、ユーザの仮想空間内での位置を前進させ、後退信号を受け取ると、ユーザの仮想空間内での位置を後退させる。また、ポインティングデバイス226から左移動信号を受け取ると、向きを左に回転させ、右移動信号を受け取ると、向きを右に回転させる。ポインティングデバイス226としてマウスを使用する場合には、例えば左ボタンを押した状態で前進、後退、左移動、右移動のドラッグ操作をすることにより、前記の各変化を入力することができる。
【0035】
そして、空間モデラ221は、クライアント201を使用するユーザの仮想空間内の位置情報をプレゼンスプロバイダ222に送信し、プレゼンスプロバイダ222はプレゼンスサーバ110にこの情報を送信する。また、プレゼンスプロバイダ222は、他のユーザの仮想空間内の位置情報を、プレゼンスサーバ110から受信し、空間モデラ221にこの情報を引き渡し、モデラ221はクライアント201を使用するユーザの仮想空間内の位置情報と、他のユーザの仮想空間内の位置情報とを保持する。なお、空間モデラ221は、前記他のユーザの仮想空間内の位置情報をネットワーク101を経由して受信するため、他のユーザの仮想空間内の位置に関しては、遅延やジッタの発生が避けられない。一方、ポインティングデバイス226から受け取る自ユーザの位置は、ネットワーク101を経由しないため、遅延をほとんど発生しない。このため、クライアント201のユーザは、リアルタイムで移動後の自分の位置をディスプレイ220上で確認することができ、容易なポインティングデバイス226の操作が可能である。
【0036】
次に、セッション制御について説明する。ポリシー・セッション制御部223は、SIP プロキシサーバ120を経由し、他のクライアントのポリシー・セッション制御部と通信して、オーディオ通信部215およびビデオ通信部218の通信を制御する。
【0037】
ポリシー・セッション制御部223は、あらかじめクライアント201の外部記憶装置303に記憶されている局所ポリシー224と、空間モデラ221が保有する仮想空間における通信相手との距離を参照して、通信相手のクライアントと接続するか否か、接続する場合においては音声または画像の品質を判断し、通信を制御する。例えば、局所ポリシー224のポリシー条件に、「仮想空間における通信相手との距離が一定の値を超える場合は通信を切断し、一定の値以内であれば通信を接続する。」と記憶されている場合は、ポリシー・セッション制御部223は、空間モデラが有する仮想空間における通信相手との距離と、前記一定の値とを比較し、接続の可否を判断する。
【0038】
次に、図13を参照し局所ポリシー224について説明する。
【0039】
クライアント201の外部記憶装置303に記憶された局所ポリシー224は、通信条件が記載されたポリシー規則を有し、ポリシー規則は1つ以上存在する。各ポリシー規則は、条件部と動作部とを有し、条件部に記述された条件が満たされた場合に、動作部に記述された動作を実行する。例えば、図示するポリシー規則 1311は、条件部が通信相手 (RemoteSite) と当該ユーザとの距離が50 m を超えていることであり、動作部は、前記条件部が満たされた場合(すなわち、50m を超えている場合は)は接続しないと、いう通信条件である。同様に、ポリシー規則1312は、もし通信相手と当該ユーザとの距離が50m 以内であれば接続するという通信条件である。また、ポリシー規則1313 は、もし通信相手と当該ユーザとの距離が 10 m 以内であり、かつ、通信相手が当該ユーザと親密であればビデオの画質を明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 1314 は、もし通信相手と当該ユーザとの距離が 10 m 以内であり、かつ、通信相手が当該ユーザと親密でなければ、ビデオの画質を不明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 1315 は、もし通信相手と当該ユーザとの距離が 10 m を超えていればビデオの画質を不明瞭にし、オーディオの音質を聞き取り不能にするという通信条件である。
【0040】
なお、通信相手が当該ユーザと親密であるとは、当該ユーザと通信相手との情報交換が重要であり、そのために当該ユーザのプライバシーを通信相手にある程度知られてもよいことをいう。また、当該ユーザにとって重要な通信相手とは、例えば仮想空間を使用する他のユーザの中で、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識である暗黙知(ノウハウ、仕事のやり方等)の流通に必要なユーザなどのことをいう。ポリシー規則1313に示すように、親密なユーザが仮想空間上で一定の距離が離れている場合でも、高品質な音声および映像を受信するようにポリシー規則に記述することが可能である。具体的には、ポリシー規則に、親密なユーザのアドレスを指定することで、個別にユーザを特定することが可能である。なお、それ以外のユーザについては、他のポリシー規則を適用し、遠距離にいる場合は比較的低品質な音声および映像を受信するか、または接続を切る。このような、通信制御を行うことにより、重要なあるいは親密なユーザに関しては、比較的高品質の通信を確保して、そのユーザ状況を把握し易くし暗黙知の流通を促進することができ、一方、重要でないその他のユーザについては、必要以上に資源を浪費することを回避することができる。また、クライアント同士の平均通信量も削減することができる。
【0041】
また、いままで説明した局所ポリシー224を使用した通信制御の例は、ある一定の距離を基準に、映像および音声を高品質にするか、または低品質にするかを制御している。しかしながら、この2段階の制御だけでなく、距離に応じて段階的に映像および音声の品質を、制御することも考えられる。例えば、距離に比例して徐々に品質を低下させたり、また、品質を変化させるための距離の閾値を複数設け、段階的に品質を制御することも可能である。
【0042】
インターネットにおいては、往復の通信条件を独立に設定することができるが、局所ポリシー244においては、通信の往復の方向を指定せずいずれの方向にも同一の条件を使用することを前提としている。このような前提をおいているのは、通信条件が方向によって著しくことなっていると円滑なコミュニケーションおよびプライバシー保護を妨げる危険が高いからである。例えば、第 1 のユーザと第 2 のユーザとの通信において、第 1 のユーザは第 2 のユーザを認知できない場合であるが、第 2 のユーザは第 1 のユーザを認知できるとする。この場合、第 1 のユーザは第 2 のユーザを認知できないため第 2 のユーザに聞かれては具合の悪い会話をし、一方、第 2 のユーザは第 1 のユーザを認知できるため、第 2 のユーザにとって具合の悪いその会話を知ることになるという事態が発生するためである。なお、ポリシー規則に通信の方向を指定することによって、通信方向毎に異なるポリシーを指定することも可能である。
【0043】
また、図示しないが、電源制御のためには、例えば次のようなポリシー規則を記述することが考えられる。
ここで nearest RemoteSite は、特定の通信相手ではなく最も近接した通信相手を意味している。すなわち、上記のポリシー規則は、もし最も接近している通信相手との距離が 10 m より大きければ、電源を節電モードにするということを意味する。節電モードにおいては、クライアント の CPU 周波数を低下させるため、オーディオおよびグラフィクスの再生品質が低下する可能性があるが、電池などのバッテリーの資源消費量が減少または節約され、より長時間の連続使用を可能にすることができる。ポリシー・セッション制御部223は、上記のポリシー規則を参照し、条件部に合致した場合は、電源制御部225に所定の信号(節電モード)を送り、この信号により、電源制御部225は、クライアント201のプログラムを実行するCPU301の動作周波数を低下させ、あるいは使用しないハードウェア・ブロックの電源を切断するなどにより消費電力を低下させ、電池の消耗を防ぐ。これにより、電池などのバッテリーの資源消費量を減少させることができる。
【0044】
なお、前記の電源制御の例は、ある一定の距離を基準に節電モードとするか否かを制御している。しかしながら、この2段階の制御だけでなく、距離に応じて段階的に電源制御をすることも考えられる。例えば、距離に比例してCPU301の動作周波数を低下させることが考えられる。また、電源を制御するための距離の閾値を複数設け、ある閾値より遠い距離の場合は、不要な装置(例えば、カメラ213、ディスプレイ220など)の回路を順次切断することなどが考えられる。
【0045】
また、最も接近している通信相手との距離を基準に判断するだけでなく、ある特定の通信相手との距離を基準に節電モードにするか否かを判断することとしてもよい。さらには、通信相手の距離だけでなく、他のクライアントとの通信頻度が低い場合なども、節電モードにしても良い。
【0046】
局所ポリシー224のポリシー規則は、あらかじめユーザが、各種の入力装置305から入力し、外部記憶装置303に記憶されている。入力方法としては、以下の 3つの方法が考えられる。第 1 の方法は、図 13 に図示するような文字(テキスト)を直接入力する方法である。たとえば、クライアントが後述する図 3(c)に示すデスクトップコンピュータの場合は、入力装置305としてキーボード 253 から、直接、文字を入力することができる。また、図 3(a)または図 3(b)に示すPDAまたはウェアラブルコンピュータなどの場合は、文字入力のためのキーを有しないが、ディスプレイ 220 上にタッチパネルを表示させて、仮想キーボードにより、文字を入力することが可能である。また、無線 LAN または Bluetooth 経由で、文字入力可能な他のコンピュータと接続することにより文字を入力することもできる。
【0047】
第 2 の方法は、メニューを使用してポリシー規則を入力する方法である。図13 に示すような各種のポリシー規則をあらかじめ用意し、これらを使用するか否かを当該ユーザがメニューによって選択することにより、局所ポリシー224 の内容を決めることができる。
【0048】
第 3 の方法は、ウィンドウシステムや WWW におけるフォームを使用し、ポリシー規則を入力する方法である。第 3 の方法は、第 1 の方法に比べ入力内容が制限されるが、距離や属性値などの数値や文字列値を入力することができるため、第 2 の方法よりはきめ細かいポリシー規則を定義することができる。
【0049】
以上で、図2のクライアント201の説明を終了する。なお、クライアント201 のなかで、マイクロフォン 211、カメラ 213、ポインティングデバイス 226、イヤフォン 217 およびディスプレイ 220 はハードウェアによって実現され、オーディオエンコーダ 212、ビデオエンコーダ 214 および電源制御部 225 はソフトウェア、ハードウェアまたはこれらのくみあわせによって実現される。また、オーディオ通信部 215、ビデオ通信部 218、空間モデラ 221 およびポリシー・セッション制御部223 は、通常、ソフトウェアによって実現される。
【0050】
次に、図3を参照し、クライアント201、202、203の種類を例示する。
【0051】
図3(a)に示すクライアントは、PDAまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体230は、カメラ213、ディスプレイ220、ポインティングデバイス226、およびアンテナ237を有し、本体230に接続されたヘッドセットは、イヤフォン 217およびマイクロフォン211を有する。
【0052】
ポインティングデバイス226は、前進ボタン231、後退ボタン232、左移動ボタン233、右移動ボタン234、選択ボタン235およびジョグダイヤル236を有する。例えば、前進ボタン231を押すことによって、仮想空間内で数10cm前進し、後退ボタン232を押すことによって仮想空間内で数10cm後退し、左移動ボタン233を押すことによって仮想空間内で数度左に回転し、右移動ボタン234を押すことによって仮想空間内で数度右に回転することが考えられる。ジョグダイヤル236は、前進ボタン231および後退ボタン232と同等の機能を実現し、微小な前進または後退から大幅な前進または後退までを、少ない操作回数によって実行することができる。なお、ポインティングデバイス226に、左移動ボタン233および右移動ボタン234と同等の機能を有するジョグダイヤルを、もう1つ装着することにより、回転に関しても微小な回転から大きな回転までを、少ない操作回数によって実行することも考えられる。また、図示するヘッドセットは、本体230に有線接続されているが、BluetoothまたはIrDA(赤外線)などにより無線接続することも可能である。また、当該クライアントは、アンテナ237を用いて無線LANによりネットワーク101に接続する。
【0053】
図3(b)に示すクライアントは、ウェアラブル・コンピュータの例を示したものである。眼鏡のつるのようなクライアント本体241は、マイクロフォン211、カメラ213、イヤフォン217およびディスプレイ220を有する。
【0054】
ディスプレイ220は、ヘッドマウントディスプレイであり、このクライアント本体241を装着するユーザの数10cm前方に仮想的な映像を結像するか、あるいは、ユーザの前方に3次元の映像を結像する。なお、本実施形態では、非透過型のヘッドマウントディスプレイとしているが、透過型のヘッドマウントディスプレイとしてもよい。透過型のヘッドマウントディスプレイの場合は、実空間上に仮想空間の映像を重ねることにより、仮想空間における方向を直接に表現することができる。さらに、透過型の立体ディスプレイ、すなわち映像を実空間上に立体的に重ね合わせるディスプレイを使用することにより、方向だけでなく距離も直接的に表現することができる。これにより、直観的なユーザ・インタフェースを実現することが可能である。
【0055】
また、図3(b)には、ポインティングデバイス226が表示されていないが、ディスプレイ220内に前後方向および左右方向の加速度を検出する加速度センサが内蔵されており、この加速度センサをポインティングデバイス226として使用する。例えば、加速度センサが、ユーザが頭部を前方に移動することによって発生する前向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数10cm〜数m前進する。また、加速度センサが、ユーザが頭部を後方に移動することによって発生する後ろ向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数10cm 〜数m後退する。また、ユーザが頭部を左まわり、または右回りに回転することによって発生する加速度を、加速度センサが検出すると、加速度の強さに応じて、仮想空間内で数度〜数10度左回転、または、数度〜数10度右回転する。この加速度センサを使用することにより、ユーザが目または手を使用する必要がなくなり、他の作業に目または手を使用することができるようになる。従って、ユーザが実空間上で移動しながら、または、他の作業を行いながら、容易に仮想空間上のユーザの位置を変更することができる。また、当該クライアントは、図示しない通信装置により無線LANまたはBluetoothを経由してネットワーク101に接続することが考えられる。
【0056】
図3(c)に示すクライアントは、デスクトップ・コンピュータを示す。コンピュータ本体251には、マイクロフォン211、カメラ213、ポインティングデバイス226、ディスプレイ220、イヤフォンの代りの機能を有するスピーカ 252、およびキーボード253が接続されている。このポインティングデバイス226には、トラックボールを使用している。マウスを使用した場合には、移動範囲が制限され、移動範囲を超えて移動するためにはマウスを持ち上げる必要が生じる。しかし、トラックボールを使用した場合は、無限に回転させることができるため、平面上でどのような位置にも容易に移動することができるという利点がある。また、スピーカ252として、4チャンネル、5.1チャンネルなど、3個以上のステレオ再生用スピーカを使用することにより、後方からの音声も容易に表現することができる。また、当該クライアントはツイスト線によってLANに接続され、さらにネットワーク101に接続することが考えられる。
【0057】
次に、図4を参照し、ディスプレイ220への仮想空間の表示について説明する。図4に示す表示内容は、クライアント201を使用する第1のユーザが、クライアント202およびクライアント203を使用する第2および第3のユーザと、仮想空間を共有している場合を例にしたものである。
【0058】
図4(a)においては、3次元グラフィックス技術を使用したレンダリングを行っている。すなわち、空間モデラ221がメモリ302または外部記憶装置303に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報などの3次元のデータから2次元画像を作成し、ディスプレイ220に表示する。
【0059】
図4(a)では、仮想空間内における自らの位置より定まる視点から、仮想空間に配置された壁面、天井、床面、オブジェクトとして通信相手のユーザを表現する2つのアバタ412、413、衝立421を眺めることで得られる2次元画像を表示する。仮想空間内の視点を変える場合は、ポインティングデバイス226等により、自らの位置を変更あるいは向きを変更することにより、前記視点が変更し、その位置からの眺めがリアルタイムで画面上に現れる。
【0060】
アバタ412は、クライアント202を使用する第2のユーザを現し、アバタ413はクライアント203を使用する第3のユーザを現したものである。なお、図4には表示されていないが、クライアント202のカメラ213が撮影した第2のユーザの映像はアバタ412に、クライアント203のカメラ213が撮影した第3のユーザの映像はアバタ413に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャマップも回転するので、第2および第3のユーザが仮想空間内でどの向きを向いているか把握できる。図4(a)においてはアバタ412、アバタ413を図形(または映像)のみで表示しているが、アバタ412、アバタ413に対応するユーザのユーザ情報(例えば、アドレスなど文字情報)を、図形の近傍に表示することも可能である。
【0061】
衝立421は、仮想空間の物体の1つであり、特定の方向からの音を遮り、仮想空間内での会議などを円滑におこなうために設けられる。衝立421は仮想空間を仕切る一種の壁であり、衝立を設けることにより視界および音声が遮られる。本実施形態では、衝立は、ユーザがクライアント201の入力装置305から、衝立の識別子、大きさ、位置、材質などを入力し、空間モデラ221がこれらを受付けて、プレゼンスプロバイダ222を経由してプレゼンスサーバ110に通知することによって、衝立を任意に設置することができる。また衝立の撤去命令と撤去すべき識別子をユーザから受付けることによって、特定の衝立を撤去することもできる。衝立421が与える音響効果は、音声3次元グラフィクス技術および3次元オーディオ技術を使用することによって、シミュレートされる。音声に関しては、3次元オーディオAPIがもつobstructionの機能を使用して実現する。
【0062】
図4(b) においては、3次元グラフィクス技術を使用せず、平面図で仮想空間を表示したものである。空間モデラ221がメモリ302または外部記憶装置303に記憶している仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報をもとに、真上から仮想空間に配置された通信相手のユーザを表現する第2のアバタ412および第3のアバタ413と、クライアント201のユーザを表現する第1のアバタ411と、衝立421を眺めることで得られる2次元画像を表示している。
【0063】
クライアント201を使用する第1のユーザ(自ユーザ)であるアバタ411を表示することにより、クライアント 201 のユーザと、通信相手のクライアント202、203のユーザとの位置関係を正確に表現することができる。また、図示していないが、ディスプレイ220上に縮尺を表示することにより、距離も正確に表現することができる。さらに、クライアント 201 のユーザの背後に存在するユーザも表示することができるため、背後から接近するユーザも見落とす危険が少ないという利点がある。なお、各アバタに関するユーザ情報を図形の近傍に表示可能とすることについては、図4(a) の場合と同様である。
【0064】
なお、ディスプレイ220への仮想空間の表示法としては、次の2通りのうちのいずれかを選択することができる。第1の方法は、仮想空間の表示を常に固定し、クライアント201のユーザを表示された仮想空間中で移動または回転させて表示する方法である。第2の方法は、クライアント201の位置と向きを固定し、クライアント201を中心として仮想空間や仮想空間中の他のユーザが相対的に移動し回転するように表示する方法である。図4(a)においては、第2の方法を使用している。図4(b)においては、第1の方法、第2の方法のいずれを使用することもできる。
【0065】
第1の方法には、仮想空間の中でのクライアント201 のユーザの位置がわかり易いという利点があり、第2の方法には、音声とグラフィクス表示との関係がわかりやすいという利点がある。
【0066】
次に、図 5 から図 10 を参照し、クライアント201 における処理手順を説明する。
【0067】
図 5 は、クライアント201 をネットワーク 101 に接続するときの処理手順である。本実施形態においては、常時接続型のコミュニケーション・システムとしているため、図 5 の接続手順はクライアント201 の電源投入時に実行される。また、ユーザがユーザ名を入力または変更した際にも本接続手順が実行される。
【0068】
まずステップ 511において、ネットワーク 101 への接続のために、ポリシー・セッション制御部223は、ユーザの識別情報および認証情報を含むログインメッセージを、SIP プロキシサーバ120 に送信する。SIP プロキシサーバ120 はログインメッセージを受け付け、登録サーバ130 に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ130は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ110 にユーザの識別情報を送付する。
【0069】
SIP プロキシサーバ120と登録サーバ130 との通信には、IETF のドキュメント RFC 3261 において規定されたプロトコル SIP (Session Initiation Protocol) の REGISTER メッセージを使用することが考えられる。SIP プロキシサーバ120は、REGISTER メッセージを定期的に登録サーバ130に送信し、また、クライアント201 の IP アドレスが変更された場合もREGISTER メッセージを登録サーバ130に送信する。なお、SIP のプロトコルよりも、強力な認証・セキュリティ機能を実現する場合は、他のプロトコルを使用して認証要求メッセージを登録サーバ130 に送信することとしてもよい。
【0070】
また、クライアント201のプレゼンスプロバイダ 222と、プレゼンスサーバ110 との通信には、固有のプロトコルを使用することもできるが、IETF のドキュメント RFC 3265 (Session Initiation Protocol (SIP)−Specific Event Notification) に記述された SIP の SUBSCRIBE メッセージ、または、これを拡張したメッセージを使用することができる。SUBSCRIBE メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するメッセージであり、イベント要求メッセージともいう。したがって、プレゼンスサーバ110 との通信においては、プレゼンスサーバ110 を相手として指定して、プレゼンスサーバ110が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベント、すなわち仮想空間の生成や消滅などの通知を要求すればよい。ユーザ識別子であるアドレスが user1@servers.com のユーザが、仮想空間のリスト rooms@servers.com に対して送るメッセージは、次のようになる。
前記のメッセージは、実際には前記の仮想空間のリストに対してではなくプレゼンスサーバ110 に送られる。これは、プレゼンスサーバ110 があらかじめ登録サーバ130 に rooms@servers.com に対応する IP アドレスとしてプレゼンスサーバ110 の IP アドレスを登録することによって実現される。SUBSCRIBE メッセージによってイベントの通知を求めると、これに対応するイベントの通知は RFC 3265 に記述された SIP の NOTIFY メッセージによって送られる。
【0071】
ポリシー・セッション制御部223 がSIP のメッセージ送受信を行うため、SUBSCRIBE メッセージを使用する場合にはプレゼンスプロバイダ222 は、ポリシー・セッション制御部223 およびSIP プロキシサーバ120 を経由してプレゼンスサーバ110 との通信を行う。
【0072】
なお、ユーザの入場者数が多い仮想空間においては、全てのイベントに関して通知を受けることは、クライアント201 に必要以上に負荷をかけることになるので、前記の SUBSCRIBE メッセージに、局所ポリシー224 の一部を加工した情報を付加し、例えば重要なユーザのみのイベントに関して通知を受けることにすることにより、プレゼンスサーバ110 において、あらかじめイベントをフィルタし、重要なイベントだけの通知を受けるように指定することもできる。
【0073】
つぎにステップ 512において、プレゼンスプロバイダ 222は、プレゼンスサーバ110 から部屋リストを受け取る。なお、ステップ 511 において、 SUBSCRIBE メッセージを使用した場合には、前述のイベント通知メッセージとして NOTIFY メッセージの形式で前記の部屋リストが送られる。すなわち、NOTIFY メッセージの内容として部屋リストが含まれる。そして、ステップ 513において、プレゼンスプロバイダ 222は、受け取った部屋リストをディスプレイ 220 に表示する。
【0074】
図 6 は、ユーザがディスプレイ 220 に表示された部屋リストの中から入場したい部屋を選択したときのクライアント201 の処理手順を示す。ユーザが部屋を選択すると、ステップ 611において、クライアント201のプレゼンスプロバイダ 222 は、プレゼンスサーバ110 に ユーザの識別情報および仮想空間内における位置情報を指定した入場メッセージ (enter) を送信する。入場メッセージの送信は、固有のプロトコルを使用することもできるが、SIP の SUBSCRIBE メッセージを使用することもできる。すなわち、受信者を選択した部屋とした SUBSCRIBE メッセージを入場メッセージとして使用する。SUBSCRIBE メッセージは、当該選択した部屋の仮想空間において発生したイベント(例えば、ユーザの入退場または移動、仮想空間属性の変更など)の通知を要求する。user1@servers.com のアドレスをもつユーザが部屋名 room1@servers.com の部屋に入場する場合は、次のようなヘッダを有し、内容として前記のユーザの位置情報を有するメッセージを送信する。
なお、部屋の選択については、通常は 1 個の部屋を選択するが、複数の部屋を同時に選択することも可能である。複数の部屋を選択したときには、プレゼンスプロバイダ222 は、選択した全ての部屋に対する入場メッセージを、プレゼンスサーバ110 に送信する。
【0075】
次にステップ 612 において、プレゼンスプロバイダ222は、プレゼンスサーバ110 から選択した部屋に入場しているユーザの入場者リストを受け取る。入場メッセージとして SUBSCRIBE メッセージを使用した場合は、これに対応する NOTIFY メッセージの形式で、プレゼンスプロバイダ222に入場者リストが送られる。
なお、入場者リストには少なくとも、部屋に入場しているユーザのユーザ識別情報、および仮想空間内における位置情報が含まれているものとする。
【0076】
次にステップ 613 において、ポリシー・セッション制御部223が、前記の入場者リストに含まれるユーザ毎に、後述する通信要求出力手順(図9参照)を実行し、各ユーザとの通信条件を決定する。
【0077】
また、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ222がプレゼンスサーバ110にユーザ識別情報を含んだ退場メッセージを送信する。
【0078】
図 7 は、ユーザがプレゼンスを変更する場合、すなわち仮想空間における部屋の中で移動するときの処理手順である。移動はユーザがポインティング・デバイス 226 を操作することにより、空間モデラ221 に移動情報が入力される。空間モデラ 221は、ポインティングデバイス 226 からの入力を検知すると、ステップ 711において、ユーザの部屋の中の元の位置とポインティングデバイス 226 からの入力された移動情報とを用いて、ユーザの移動後の位置を算出する。次に、ステップ 712において、空間モデラ 221は、前記移動後の位置をオーディオレンダラ216、グラフィクスレンダラ219 およびプレゼンスプロバイダ 222 に通知する。オーディオレンダラ216は、仮想空間内の通知された移動後の位置でどのように通信相手の音声が聞こえるかを計算し、オーディオ通信部215から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント201を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、3次元音響を更新する。また、グラフィクスレンダラ219は、仮想空間内の通知された移動後の位置に基づいて視点を変更し、仮想空間上でどのように通信相手が見えるかを計算して、その位置からの眺めで画面上に出力するイメージデータを作成し、3次元グラフィクスを更新する。
【0079】
次に、ステップ 713において、プレゼンスプロバイダ 222 は移動後の位置をプレゼンスサーバ110 に通知する。SIP プロトコルを使用する場合は、 NOTIFY メッセージを使用する。なお、NOTIFY メッセージは、通常 SUBSCRIBE メッセージを受信した結果として送信されるが、前記の NOTIFY メッセージに対応する SUBSCRIBE メッセージは存在しない。そのための代替案としては、プレゼンスサーバ110 がクライアント 201 から入場メッセージを受信した際に、入場者リストを返信するだけでなく、前記の NOTIFY メッセージに対応する SUBSCRIBE メッセージを送信することが考えられる。この 入場者リストの送信時に併せて、イベント要求メッセージであるSUBSCRIBE メッセージを送信するようにすれば、その内容として NOTIFY メッセージの要求頻度または要求時間間隔を指定することが可能となる。これにより、プレゼンスサーバ110 の処理負荷が高いときには、クライアント201 からの NOTIFY メッセージの頻度を低下させることによって、処理負荷を下げることができる。さらに、既に SUBSCRIBE メッセージを送信したクライアントに対しても、それを無効にして新たな SUBSCRIBE メッセージを送付することによって、要求頻度または要求時間間隔を改めて指定することができる。
【0080】
次に、ステップ 714において、プレゼンスサーバ110はプレゼンスプロバイダ 222 から通知された移動後の位置にもとづき、入場者リストにおけるユーザの位置を更新する。次に、ステップ 715において、クライアント201のポリシー・セッション制御部223が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順(図9参照)を実行して、各ユーザとの通信条件を決定する。
【0081】
なお、ポインティングデバイス 226 におけるイベント発生が頻繁であるときは、イベント発生の度にステップ 712からステップ715 を実行すると負荷が大きすぎるため、ステップ 711 において、頻度を判定して、前回のイベント発生から一定の時間が経過している場合にのみ、ステップ 712からステップ715 を実行するようにすることもできる。
【0082】
図 8 は、プレゼンスの変更入力、すなわち、プレゼンスサーバ110 がクライアント201に他のユーザの位置を通知した場合の処理手順を示したものである。
【0083】
プレゼンスサーバ110は、他のクライアントのユーザの位置の変更をクライアント201のプレゼンスプロバイダ 222に通知する。この通知を受けて、ステップ 811 において、プレゼンスプロバイダ 222 は空間モデラ 221 に変更されたユーザの位置を通知する。空間モデラ221は、通知された位置を記憶し、そしてオーディオレンダラ216 およびグラフィクスレンダラ219 に通知された位置を通知する。オーディオレンダラ216 およびグラフィクスレンダラ219 は、図7のステップ712と同様に、通知された位置にもとづいて、3次元音響および 3次元グラフィクスを更新する。
【0084】
次にステップ 812 において、空間モデラ 221がクライアント201のユーザの位置と、位置の変更通知を受けたユーザとの仮想空間上の部屋における距離を算出し、ポリシー・セッション制御部223に通知する。そして、ステップ 813 において、ポリシー・セッション制御部223が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順(図9参照)を実行して、各ユーザとの通信条件を決定する。
【0085】
なお、図7の通信要求出力手順(ステップ715)と、図8の通信要求出力手順(ステップ813)において、通信条件を2度決定しているが、これはクライアント毎に設定されている局所ポリシー224が、通信元のクライアントと通信先のクライアントとの間で整合性のない(あるいは、双方一致しない)通信条件を有する場合を考慮したものである。
【0086】
次に、図9を参照し、ポリシー・セッション制御部223 がクライアントにおいて発生する各種の要求にもとづいてSIPサーバ112を経由し、他のクライアントに対して通信要求を出力する手順を説明する。図9の処理手順は、SIP サーバ120が、最低限のインテリジェンスしか持たず、ほとんどの処理をクライアント において行う方式の処理手順である。
【0087】
まず始めに、ポリシー・セッション制御部223が、仮想空間内における当該ユーザと通信相手のユーザとの距離と、前述の局所ポリシー224 とにもとづいて新通信条件を決定する。具体的には、ポリシー・セッション制御部223は、局所ポリシー224 に含まれる全てのポリシー規則について、ステップ 911 および 912 の処理を実行する。ステップ 911 においては、当該ポリシー規則の条件部を当該通信が満たすか否かを判定し、満たしている場合は、ステップ 912 において、ポリシー規則の動作部を実行する。すなわち、オーディオ通信部 215 またはビデオ通信部 218の通信条件を、ポリシー規則の動作部に記載されている内容に設定する。一方、ステップ 911 において、当該ポリシー規則の条件部を満たしていない場合は、ステップ912の動作部を実行せず、次にステップ913において、全てのポリシー規則がステップ 911 および 912 の処理を実行したが否かを判定する。全てのポリシー規則が前記処理を実行した場合は、この実行により設定された通信条件を新通信条件と決定してステップ914(現在の通信条件を判定)に進み、未だ処理していないポリシー規則がある場合は、未処理のポリシー規則についてステップ 911を実行する。
【0088】
ここで、図 13 に示すポリシー規則を例にステップ 911 および 912 の処理を具体的に説明する。
【0089】
第 1 のケースとして、当該ユーザからみて通信相手のユーザが 60 m 離れた位置にいるときは、ポリシー規則 1311 とポリシー規則 1315 とが適用される。すなわち、ポリシー規則 1311 に従って接続は切断される。ポリシー規則 1315 は接続されているときだけに有効なため、この場合、動作部は無効(すなわち実行されない)である。従って、このケースにおける新通信条件は、切断要求である。
【0090】
第 2 のケースとして、当該ユーザからみて通信相手のユーザが 30 m 離れた位置にいるときは、ポリシー規則 1312 とポリシー規則 1315 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該の通信相手と接続されていない場合は当該通信相手と接続される。次に、ポリシー規則 1315 に従って、オーディオ通信部 215 は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 218 は、不明瞭かつ低帯域幅に加工された映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声、および低品質の映像の送信である。
【0091】
なお、音声を聞き取り不能にするには、音声の振幅を数 ms 〜 数 10 ms の時間にわたって平均し、当該の音声とは全く異なる音声 (たとえば正弦波) を、この振幅になるように変調すればよい。これにより、発声していることは認識できるが、全く聞き取るができない音声を生成することができる。また、映像を不明瞭にするには、圧縮率の高い MPEG 形式にコーディングされた信号として表現すればよい。これによって帯域幅もあわせて減少させることができる。
【0092】
また、当該ユーザと通信相手が異なるポリシー規則を保持している場合は、後述する通信要求入力手順(図10参照)のステップ 1013 の通信条件の変更において、弱い方の通信条件にそろえられる。すなわち、より明瞭度が低い方、あるいは聞き取り可能なポリシーと聞き取る不可能なポリシーとがある場合は、聞き取り不可能な方の通信条件を設定する。これにより、第1のクライアントから第2のクライアントへの通信する場合と、第2のクライアントから第1のクライアントへの通信する場合で、同じ通信条件が実現される。
【0093】
第 3 のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有する場合であって、前記の通信相手のユーザが 5 m 離れた位置にいるときは、ポリシー規則 1312 とポリシー規則 1313 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該通信相手と接続されていなければ接続される。また、ポリシー規則 1313 に従って、オーディオ通信部 215 は特殊な加工を施さない広帯域の音声を当該通信相手に送信し、ビデオ通信部 218 は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、高品質の音声および低品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 2 のケースの場合と同様で弱い方の通信条件にそろえられる。
【0094】
第 4 のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有しない場合であって、前記の通信相手のユーザが 5 m はなれた位置にいるときは、ポリシー規則 1312 とポリシー規則 1314 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該の通信相手と接続されていなければ接続される。ポリシー規則 1314 に従って、オーディオ通信部 215 は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 218 は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声および高品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 2 のケースの場合と同様で弱い方の通信条件にそろえられる。
【0095】
次に、ステップ 914 において、現在の通信条件とステップ911からステップ913で決定した新通信条件とにもとづき、通信先のクライアントに対して行う通信要求の判定(振り分け)を行う。この判定により、現在は未接続で、接続を要求する第1のケース、現在は接続中で、切断を要求する第2のケース、現在は未接続で、通信条件を変更する第3のケースのいずれかに振り分けられる。第 1 のケースにおいてはステップ 915 に進み、第2 のケースにおいてはステップ 917 に進み、第 3 のケースにおいてはステップ 919 に進む。
【0096】
第1のケースはステップ 915 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアントに対し、新通信条件を提示して接続を要求する。接続要求には SIP の INVITE メッセージを使用する。INVITE メッセージは宛先のユーザを会話に招待することを意味する。
【0097】
user1@servers.com というアドレスを持つユーザのクライアント201 が、 user2@servers.com というアドレスを持つユーザのクライアント202 に対して接続要求する場合は、ポリシー・セッション制御部223は、次のようなヘッダを有し、内容として新通信条件を含んだメッセージを送信する。
通信条件を提示するためのプロトコルとしては、IETF のドキュメント RFC 2327 によって規定されたプロトコル SDP (Session Description Protocol) があり、INVITE メッセージの内容を表現するために従来から使用されている。ただし、本実施形態における新通信条件の提示には、SDP を拡張する必要がある。
【0098】
次に、ステップ 916 において、接続要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、接続要求中であることの記録は、通信相手からの返事が一定時間以内に到着しない場合、INVITE メッセージを再送する際に使用される。なお、ポリシー・セッション制御部223は、当該通信相手から接続要求に対する返事を受信したときに、前記記録をクリアする。
【0099】
第2のケースは、ステップ 917 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアント202 または 203 に対し、通信の切断を要求する。通信を切断するためには通常は SIP の BYE メッセージを使用し、本実施形態においても BYE メッセージを使用することは可能である。しかしBYE メッセージは、通信相手の返事を待たずに接続を切るため、切断のためにクライアント201 と、通信相手のクライアントとの間でポリシー規則の整合性をとるために調停・交渉が必要な場合には、BYE メッセージを使用せず、接続の場合と同様に INVITE メッセージを使用する。すなわち、INVITE メッセージの内容として通信切断要求を記述する。通信切断要求は、例えば通信速度として 0 を指定した SDP メッセージによって表現することが可能である。
【0100】
次に、ステップ 918 において、切断要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、切断要求中であることの記録、および、記録のクリアについては、ステップ916と同様である。
【0101】
第3のケースは、ステップ 919 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアントに対し、通信条件の変更を要求する。通信条件の変更も、変更後の新通信条件を内容として含む SIP の INVITE メッセージを使用し、変更する通信条件は SDP によって記述する。次に、ステップ 918 において通信条件変更要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、通信条件変更要求中であることの記録、および、記録のクリアについては、ステップ916と同様である。
【0102】
図 10 は、通信相手のクライアント から、 SIP プロキシサーバ120 を経由してポリシー・セッション制御部223 に対して送信された通信要求の入力処理手順を示す。通信要求がポリシー・セッション制御部223に到着すると、まずステップ 1011 において、ポリシー・セッション制御部223は、局所ポリシー224 の全てのポリシー規則を参照して、送信された要求条件が妥当であるかどうかを判定する。そして、前記の要求条件が、そのままで妥当だと判定された場合はステップ 1012 に進み、前記の要求条件の一部を変更すれば妥当な条件になると判定された場合はステップ 1013 に進み、妥当でないと判定されたときにはステップ 1014 に進む。
【0103】
ステップ 1012 においては 、ポリシー・セッション制御部223は、SIPプロキシサーバ120 を経由して、内容を添付しないSIP の OK (200) メッセージを要求元に対して返信し、ステップ 1015 に進む。前記 OK メッセージは、内容を伴わないことにより、通信相手の要求をそのまま受け入れたことを表現している。ステップ 1013 においては、ポリシー・セッション制御部223は、 SIP プロキシサーバ120 を経由して、クライアント 201 において一部変更した通信条件を内容として添付した SIP の OK メッセージを要求元に対して返信し、ステップ 1015 に進む。
【0104】
ステップ 1015 においては、通信相手の通信要求をそのままで妥当と判断したとき(ステップ1012)はその通信条件を、通信相手の通信要求を一部変更したとき(ステップ1013)は変更後の通信条件を、オーディオ通信部 215 およびビデオ通信部 218 に反映させて、通信要求入力手順を終了する。
【0105】
ステップ 1016 においては、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信要求を拒否するNGメッセージとしてSIPの Not acceptable (406) メッセージを要求元に返信し要求を拒絶し、通信要求入力手順を終了する。
【0106】
以上でクライアントにおける各種処理手順の説明を終了する。
【0107】
次にプレゼンスサーバ110 の機能構成および処理手順について説明する。なお、登録サーバ130 および SIP プロキシサーバ120 については、 SIP を使用する従来の通信と同じため、説明を省略する。
【0108】
図11は、プレゼンスサーバ110 の機能構成を示す。プレゼンスサーバ110は、クライアントと各種情報の送受信をするためのインタフェース部111と、クライアントからのメッセージ種別を判定する判定部112と、判定結果に応じた処理およびインタフェース部111に対して送信頻度の制御を行う処理部113と、仮想空間の属性、仮想空間で発生したイベント(ユーザの入退場、移動等)、部屋リスト、入場者リスト等を、管理し記憶する記憶部114とを有する。記憶部114には、あらかじめ、プレゼンスサーバ110が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する(図5、図6参照)。その後、クライアントは仮想空間に入場したユーザの各種メッセージを受付け、プレゼンスサーバ110に送信する。これにより各仮想空間内に、各種のイベントが発生する。なお、記憶部114はこれらの情報をメモリ302または外部記憶装置303に記憶する。またこれらの機能は、プレゼンスサーバ110のメモリ302にロードまたは記憶された所定のプログラムを、CPU301が実行することにより実現される。
【0109】
図12は、プレゼンスサーバ110 の処理手順を示したものである。プレゼンスサーバ110 は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ110 が停止するまで行う。まず、ステップ 1211 において、インタフェース部111は、クライアントからのメッセージを待ち、メッセージを受信すると、ステップ 1212 において、判定部112が受付けたメッセージの種類を判定する。メッセージが、ログインメッセージの場合はステップ 1221 に進み、入場メッセージの場合はステップ 1231 に進み、移動メッセージの場合はステップ 1235 に進み、退場メッセージの場合はステップ 1241 に進む。SIPのプロトコルを使用する場合、SUBSCRIBE メッセージであれば判定部112はログインメッセージと判定し、特定の部屋に関する値として 0 を含む ”Expires” ヘッダを持たない SUBSCRIBE メッセージであれば判定部112は入場メッセージと判定し、NOTIFY メッセージであれば処理部112は移動メッセージと判定し、特定の部屋に関する値として 0 を含む ”Expires” ヘッダを持つ SUBSCRIBE メッセージであれば処理部112は退場メッセージと判定する。
【0110】
ログインメッセージの場合(ステップ 1221)は、プレゼンスサーバ110の処理部113は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部111に指示し、インタフェース部111は部屋リストを送信する。その後、ステップ1211に戻り、次のメッセージを待つ。SIP を使用する場合は、部屋リスト名 (アドレス:rooms@servers.com) をヘッダの送信者とし、内容として部屋リストを含む NOTIFY メッセージをクライアントに送信する。例えば、当該クライアントのユーザのアドレスが user1@servers.com の場合は、メッセージ・ヘッダは次のようになる。
入場メッセージの場合(ステップ 1231)は、処理部113はメッセージ送信元クライアントのユーザのアドレスを、指定された部屋の入場者リストに追加し、当該ユーザの仮想空間における位置はメッセージで指定された位置情報の位置とする。次にステップ 1232 において、処理部113は当該ユーザ以外の全入場者のアドレスとユーザの位置とをメッセージ送信元クライアントに送信するようインタフェース部111に指示する。インタフェース部111は、前記指示に従い送信元クライアントに送信する。そして後述するステップ 1236に進む。SIP を使用する場合は、内容として全入場者のアドレスとユーザ位置とを含む NOTIFY メッセージを送信する。例えば、ユーザアドレスがuser1@servers.com で、指定された部屋がroom1@servers.com の場合は、次のようなヘッダをもつメッセージを送信する。
なお、プレゼンス変更出力手順(図7参照)のステップ 713 において、 SUBSCRIBE メッセージを受信するようにプロトコルを設定した場合は、ステップ 1232で前記 NOTIFY メッセージを送信した後、当該ユーザのアドレスを指定した SUBSCRIBE メッセージを当該ユーザに送信する。例えば、次のようなヘッダをもつメッセージを送信する。
移動メッセージの場合(ステップ 1235)は、処理部113は送信元クライアンのユーザの仮想空間内の位置を、移動メッセージで受付けた移動位置に更新し、入場者リストを更新する。そして、ステップ 1236 において、処理部113は対象となる部屋の、メッセージ移動したユーザのクライアント以外の全ての入場者のクライアントに、当該ユーザ名と当該ユーザの位置とを通知するようインタフェース部111に指示する。インタフェース部111は、前記指示に従いクライアントに送信する。なお、入場メッセージの場合(ステップ 1231)の場合も同じである。そして、ステップ1211に戻る。SIP を使用する場合は、当該部屋 のアドレス(room1@servers.com)を送信者とし、内容としては当該ユーザのアドレスと位置とを含む NOTIFY メッセージを送信する。送信先のユーザのアドレスが user2@servers.com であれば、メッセージヘッダはつぎのようになる。
なお、ステップ 1235 が実行されるたびに、ステップ 1236において全入場者に NOTIFY メッセージを送ると通信量が膨大になる可能性がある。これを防ぐために、処理部113は、ステップ 1235において前回の NOTIFY メッセージを送ってから一定の時間が経過するまで NOTIFY メッセージを送信しないようにインタフェース部111に指示することが考えられる。この場合、インタフェース部111は、処理部113の指示により、一定の時間内に受付けられた移動メッセージの情報をまとめて NOTIFY メッセージの内容として送信する。
また、処理部113は、記憶部114に記憶されているNOTIFY メッセージの送信先のユーザと、移動メッセージを通知したユーザとの仮想空間における距離が一定の値より近い場合(比較的近距離の場合)は、前記の一定の時間をこれより短い時間にすることによって頻繁に通知を行う(高頻度の通知)ようにし、逆に両者の距離が一定の値より遠い場合(比較的遠距離の場合)は、前記の一定の時間をこれより長い時間にすることによって通知の頻度を下げる(低頻度の通知)ようにしてもよい。例えば、仮想空間におけるユーザ間の一定の距離を10mとした場合は、送信先のユーザとの距離が5mの場合は、前記一定の時間を0.2秒として、つまり0.2秒間隔で移動メッセージを当該クライアントに送信する。一方、送信先のユーザとの距離が12mの場合は、前記一定の時間を1秒として、つまり1秒間隔で移動メッセージを当該クライアントに送信する。
【0111】
また、送信間隔あるいは送信頻度は、前述のようにある一定の距離より遠いまたは近い場合の2段階の制御に限定するものではない。例えば、距離に比例して送信間隔または送信頻度を変化させる方法、あるいは、送信間隔または送信頻度を変化させる距離の閾値を複数設定し、距離に応じた送信間隔または送信頻度を制御する方法などが考えられる。これにより、きめ細かい、送信制御が可能となる。
【0112】
これにより送信先のユーザにとって近くに存在するユーザの状況変化の伝達を妨げることなく、遠くに存在するユーザの通信頻度を低下させることにより通信量を削減することが可能となる。
【0113】
なお、プレゼンスサーバ110 が各クライアントの局所ポリシー244 に登録されたポリシー規則の一部または全部を、あらかじめ各クライアントから収集しプレゼンスサーバ110内に保持することも考えられる。この場合は、プレゼンスサーバ110が各クライアントの局所ポリシー244に登録されたポリシー規則の一部または全部をあらかじめ各クライアントから受け取ることにより、上記のような距離だけではなく、処理部113は局所ポリシー244に記載されている送信先ユーザの重要性にもとづいて通信を制御することができる。すなわち、送信先ユーザが重要なときはクライアント毎にきめ細かい送信頻度また送信時間間隔によってNOFITY メッセージを送信することができる。
【0114】
退場メッセージの場合(ステップ 1241)は、処理部113は、当該ユーザを入場者リストから削除し、次にステップ 1242 において、処理部113は当該ユーザ以外の全ての入場者に当該ユーザが部屋から退場したことを通知するようにインタフェース部111に指示する。インタフェース部111は、前記指示に従いクライアントに送信する。そして、ステップ1211に戻り、クライアントからのメッセージを待つ。SIP を使用する場合は、当該の部屋を送信者とし内容として退場したユーザ名と削除されたことを示すメッセージとを含む NOFITY メッセージを送信する。メッセージヘッダは前述のステップ 1136のメッセージヘッダと同様である。
【0115】
以上で本実施形態の説明を終了する。
【0116】
本発明により、プレゼンスサーバは仮想空間に入場した全てのユーザの位置を把握することができ、全てのユーザに整合がとれた仮想空間属性情報と各ユーザに関する情報とが配布されるため、仮想空間そのもの、および仮想空間内におけるユーザのプレゼンス(すなわち存在感または存在位置)を、ユーザ間で整合させることができる。これにより、仮想空間においてユーザ同士が自然に会話することができ、円滑なコミュニケーションを図ることができる
また、局所ポリシーに仮想空間を共有するユーザのなかで状況把握や暗黙知流通に重要なユーザについてはユーザが遠距離にいるときであっても高品質な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには比較的低品質な音声を送受信するか、または接続を切るようにポリシーを記述する。これにより、重要なユーザに関しては状況を把握しやすくし暗黙知の流通を促進するとともに、それ以外のユーザはネットワーク帯域幅などの資源を必要以上に浪費することを回避でき、クライアント間での平均通信量を削減することができる。また、併せて電池などのバッテリーの資源消費量を減少させることもできる。
【0117】
また、局所ポリシー仮想空間を共有するユーザのなかで親密なユーザについては、ユーザが遠距離にいるときであっても明瞭な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには明瞭度を低下させた音声を送信するか、音声を他の音に置き換えた信号を送受信するか、または接続を切るようにポリシーを記述する。これにより、親密でないユーザにプライベートな会話を聴取される可能性が低くなり、プライバシーを保護することができる。
【0118】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、以下に本実施形態の一部を変更した3つの実施形態について説明する。
【0119】
第1に、前記の実施形態においては、セッション制御またはセッション管理は、ほとんどクライアント201 が行い、SIP プロキシサーバ120 はインテリジェンスを持っていない。またオーディオおよびビデオの通信はピア・トゥー・ピアで、サーバを介さずに行う形態である。マルチキャストを使用した場合は、この方法においてもネットワーク負荷を抑えることができる。しかしながら、ネットワーク101がユニキャスト・ネットワークの場合は、この方法ではネットワーク負荷が高くなる。また、仮想空間内において当該ユーザの近傍に多数の他のユーザが存在する場合は、クライアントの処理負荷が高くなり、処理不能に陥る危険がある。これを回避するためには、複数のオーディオまたはビデオ信号を独立に処理する機能を各クライアントからサーバに移すことが考えられる。
【0120】
例えば、各クライアントからのオーディオ信号、ビデオ信号を収集し束ねるために、専用の通信サーバをネットワーク 101 に接続する。前記通信サーバは各クライアントから送られるオーディオ信号を束ねて 1 本または少数本の RTPストリームを作り、このRTP ストリームを各クライアントに送信する。ビデオ信号についても 同様に1 本または少数本の RTP ストリームを作り各クライアントに送信する。オーディオ信号またはビデオ信号を束ねるだけではネットワーク負荷は抑えられないが、接続数を減らすことによりクライアントの負荷は軽減させることが可能である。さらに、オーディオレンダラ216、グラフィクスレンダラ219 の機能を前記通信サーバにおいて実現した場合は、1 個のオーディオ信号またはビデオ信号だけを含むストリームを各クライアントに送信すればよいため、ネットワーク負荷を抑えることができる。ただし、そのためには通信サーバが各クライアントの空間モデラ 221 が有する情報を逐次、プレゼンスサーバ110 から受信する必要があり、またプレゼンスサーバ110 は各ユーザの位置を常に高頻度で把握する必要がある。
【0121】
この構成においては、図9の通信要求出力手順のかわりに、クライアント201 は前記の通信サーバに対して接続を要求する。すなわち、新通信条件を前記の通信サーバに送信すると、前記の通信サーバが通信相手のクライアントとの交渉を行い、現在の通信条件と指定された新通信条件とから実際の新通信条件を決定し、要求元のクライアント201 と通信相手のクライアント全てに、新通信条件を含んだ INVITE メッセージを送付するか、または BYE メッセージを送付する。前記の INVITE メッセージには、通信先として通信サーバを指定した SDPメッセージが含まれる。そのため、各クライアントは前記の通信サーバにオーディオ信号またはビデオ信号を送信する。
【0122】
また、クライアント201 は、通信サーバから他のクライアントの通信要求の妥当性を判断するために、図10に示す通信要求入力手順について必要である。しかし、あらかじめ局所ポリシー244の一部または全部を前記の通信サーバに送信しておくことにより、前記の通信要求入力手順の一部または全部を、通信サーバ側で行うようにして、クライアント201の負荷を軽減させることができる。
【0123】
第 2 に、今まで説明した実施形態では、ユーザ移動時のクライアント 201 とプレゼンスサーバ110 との間の通信に SIP の SUBSCRIBE−NOTIFY に代表されるイベント通知型のプロトコルを使用していた。しかしながら、イベント通知型のプロトコルかわりに、同期型のプロトコルを使用することもできる。すなわち、ビデオ信号またはオーディオ信号の送受信のように、定期的に当該ユーザおよび他のユーザの位置を送受信することができる。ユーザが常にまたは頻繁に移動し、それを迅速に他のユーザに伝達する必要がある環境においては、同期型のプロトコルを使用した方が、クライアント 201 およびプレゼンスサーバ110のオーバヘッドが少ない。
【0124】
第 3 に、今まで説明した実施形態では、ユーザの位置または移動を入力するためにポインティングデバイス 226 を使用していた。しかし、あらかじめ空間モデラ 221 が複数の位置の候補を計算してディスプレイ 220 に表示する。そしてユーザが、ポインティングデバイス 226 または他のキーを使用して前記の候補のなかの 1 個を選択することによって、ユーザの位置を入力することも可能である。候補を計算する方法としては、ユーザが、仮想空間内にいる他のユーザのなかから会話したい 1 人または複数人の相手をポインティングデバイス 226 または他のキーを使用して選択し、空間モデラ 221 が前記の相手が前記の仮想空間内で形成する図形における重心を計算し、前記の重心の位置の周囲の数点を候補とする方法がある。ただし、この方法においては前記の計算によって求められる位置の近傍に、会話と無関係なユーザが含まれる可能性あるが、これについては、会話と無関係なユーザがいない複数の位置を候補とすることにより回避することができる。このとき、会話を成立させるためには、移動を入力するユーザだけでなく、会話したい相手のユーザにも位置の選択を促す必要がある。すなわち、会話相手のユーザのクライアントに対して計算された位置を送信し、前記クライアントが現在の位置と送信された位置とを候補とするメニューを表示し、会話相手のユーザが前記の候補のなかの1個を選択する必要がある。以上のメニュー選択によって決定された位置は、さらにポインティングデバイス 226 を使用することによって変更することも可能である。
【0125】
【発明の効果】
以上のように、本発明によれば、仮想空間および仮想空間内のユーザの位置、存在感などのプレゼンスを、ユーザ間で整合させるため、ユーザは仮想空間において自然に会話することができる。また、各クライアントに通信に関するポリシー規則を保持して通信を制御することにより、電池またはネットワーク帯域幅などの資源消費量を減少させることができ、プライバシーを保護することができる。
【図面の簡単な説明】
【図1】本実施形態におけるネットワーク構成図である。
【図2】本実施形態におけるクライアントの構成図である。
【図3】本実施形態におけるクライアントの種類を例示したものである。
【図4】本実施形態における仮想空間のディスプレイ表示画面例である。
【図5】本実施形態におけるクライアントのネットワークへの接続処理フロー図である。
【図6】本実施形態におけるクライアントの入場処理フロー図である。
【図7】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図8】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図9】本実施形態におけるクライアントの通信要求出力処理フロー図である。
【図10】本実施形態におけるクライアントの通信要求入力処理フロー図である。
【図11】本実施形態におけるプレゼンスサーバの機能構成図である。
【図12】本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。
【図13】本実施形態における局所ポリシーを例示したものである。
【図14】本実施形態における各装置のハードウェア構成図である。
【符号の説明】
101…ネットワーク、110…プレゼンスサーバ120…SIPプロキシサーバ130…登録サーバ、201、202、203…クライアント、211…マイクロフォン、212…オーディオエンコーダ、213…カメラ、214…ビデオエンコーダ、215…オーディオ通信部、216…オーディオレンダラ、217…イヤフォン、218…ビデオ通信部、219…グラフィクスレンダラ、220…ディスプレイ、221…空間モデラ、222…プレゼンスプロバイダ、223…ポリシー・セッション制御部、224…局所ポリシー、225…電源制御部
【発明の属する技術分野】
本発明は、人間同士がメディアを通じ、主に音声を使用して会話するための通信端末および通信サーバに関する。
【0002】
【従来の技術】
本発明に関連する第 1 の従来技術として、京都大学において開発された会議システム FreeWalk がある(例えば、非特許文献1および非特許文献2参照)。Freewalk は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を3次元グラフィクスによって見ることができる。3次元グラフィクス技術は、3次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するAPI(Application Programming Interface)として、業界標準であるOpenGL(http://www.opengl.org/)およびMicrosoft社のDirect3Dなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。なお、非特許文献1および2においては、距離に従って音声が減衰するようにしているが、後述する3次元オーディオ技術は使用していない。
【0003】
本発明に関連する第2の従来技術として、Interval Research Corporation において開発された会議システムSomewireがある(例えば、特許文献1、特許文献2および非特許文献3参照)。Somewire は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Somewire において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするGUI(グラフィカル・ユーザ・インタフェース) より、直観的な物理的 (tangible) インタフェースを有する。なお、Somewire においては、距離に従って音声は減衰せず、3次元オーディオ技術は使用していない。
【0004】
本発明に関連する第3の従来技術として、ヒューレット・パッカード社において開発された3次元分散オーディオ技術を使用した会議システムがある(例えば、非特許文献4参照)。3次元分散オーディオ技術は、3次元オーディオ技術をネットワークで接続されたシステム(いわゆる分散環境)において適用した技術である。そして、3次元オーディオ技術は、3次元の音響空間をシミュレートする技術であり、これを実現するための API としては Loki Entertainment Software 社などによって規定された業界標準である Open AL (http://www.opengl.org/),Microsoft 社の DirectSound 3D、Creative Technology 社の EAX 2.0 (http://www.sei.com/algorithms/eax20.pdf) などがある。この3次元オーディオ技術を使用することにより、ヘッドフォン、2チャンネルまたは4チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。なお、3次元オーディオ技術は立体音響再生技術の1つであるが、立体音響再生技術には3次元オーディオ技術の他に単純な立体音響再生技術もある。例えば、ヘッドフォンにおける左右のスピーカに音量差を設けることによって、複数の音を分離して再生する立体音響再生技術がある。
【0005】
【特許文献1】
US 5,889,843
【特許文献2】
US 6,262,711 B1
【非特許文献1】
中西 英之,吉田 力,西村 俊和,石田 亨,「FreeWalk: 3次元仮想空間を用いた非形式的なコミュニケーションの支援」,情報処理学会論文誌,Vol.39, No.5,pp.1356−1364,1998。
【0006】
【非特許文献2】
Nakanishi,H.,Yoshida,C.,Nishimura,T.,and Ishida,T.,「FreeWalk: A 3D Virtual Space for Casual Meetings」,IEEE MultiMedia,April−June 1999,pp.2028.
【非特許文献3】
Singer,A.,Hindus,D.,Stifelman,L.,and White,S.,「Tangible Progress: Less Is More In Somewire Audio Spaces」,ACM CHI ’99 (Conference on Human Factors in Computing Systems),pp.104−112,May 1999.
【非特許文献4】
Low,C.,and Babarit,L.,「Distributed 3D Audio Rendering」,7th International World Wide Web Conference (WWW7),1998,http://www7.scu.edu.au/programme/fullpapers/1912/com1912.htm.
【0007】
【発明が解決しようとする課題】
上記の従来技術は、IP ネットワークを利用した常時接続で、かつ、多数者間での会話が可能な会議システムを採用している。
【0008】
しかし、常時接続の会議システムでは、仮想空間そのもの、および仮想空間内におけるユーザや物体のプレゼンス(すなわち存在感)を、ユーザ間で整合させることが望まれる。具体的には、仮想空間が天井や壁面を有する部屋であれば、その広さ、残響特性などが属性として存在するが、部屋の存在感を決めるこれらの属性に関する値を各ユーザが共有する必要がある。仮想空間の属性、特に残響特性は仮想空間内における距離について、ユーザの知覚の決定に寄与するため、仮想空間の属性をユーザ間で共有することは非常に重要である。また、第1のユーザが仮想空間内で認識している自分の存在位置と、第2のユーザが認識している第1のユーザの存在位置とを、両ユーザ間で整合させる必要がある。この整合は全てのユーザの間でとる必要がある。
【0009】
また、常時接続の会議システムでは、ユーザ間通信量などのネットワーク資源および電池などの端末資源の消費量を減少させることが望まれる。常時接続において、接続している間ずっと大量のパケットを送信し続けると、ネットワークを不必要に混雑させる。そして、ネットワークの混雑を解決するためにネットワーク帯域幅を広げると、通信コストは非常に高価になる。また、使用する端末が携帯用端末の場合は、最低限でも1日は充電せずに電池で動作できるようにするのが好ましい。しかし常時、通信モジュールや CPU を最高速度で動作させると電池の消耗が大きく、1日の間電池をもたせることが困難である。静寂時にパケット送信を止める技術は既に開発されている。しかし、この技術では信号特性だけで送信するかどうかを判断するため、暗黙知の流通を促進するために閾値を下げると通信量があまり減少せず、閾値を上げると暗黙知の流通が妨げられる、という問題がある。なお、暗黙知とは、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識(ノウハウ、仕事のやり方等)をいう。
【0010】
また、常時接続の会議システムでは、プライバシーを保護することが望まれる。従来の技術として列挙した会議システムにおいては、1つの仮想空間内にいるユーザは何時でも誰でも他のユーザの会話を聞くことができるが、この場合は電話のような1対1の会話の場合と同等のレベルのプライバシー保護を実現することができない。
【0011】
本発明は上記事情を考慮してなされたものであり、本発明の目的は仮想空間内におけるユーザのプレゼンスを、ユーザ間で整合させ、かつプライバシーを保護する使い勝手の良いヒューマン・コミュニケーション・システムを提供することである。
【0012】
【課題を解決するための手段】
上記目的達成のために、ヒューマン・コミュニケーション・システムは、複数のクライアント端末とサーバ装置を有し、各クライアント端末は各ユーザの仮想空間における位置情報をサーバに送信し、サーバは仮想空間における各ユーザの位置情報を一元的に管理、記憶することにより、各クライアント間に仮想空間内におけるユーザのプレゼンス(存在感)の整合性を保持することが可能である。また、各クライアント端末は、他のクライアント端末との通信セッションを制御することにより、資源消費量の削減およびプライバシー保護を図ることが可能である。
【0013】
例えば、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有する。そして、前記複数のクライアント端末各々は、自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段とを有し、前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段とを有するヒューマン・コミュニケーション・システムを提供する。
【0014】
また、仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、前記複数のユーザが使用する複数のクライアント端末を有する。そして、前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信するヒューマン・コミュニケーション・システムを提供する。
【0015】
【発明の実施の形態】
以下に本発明の実施の形態について説明する。
【0016】
図1は、本実施の形態におけるヒューマン・コミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント201、202、203と、プレゼンスを管理するプレゼンスサーバ110と、セッション制御を行うSIP プロキシサーバ120と、ユーザの登録・認証をおこなう登録サーバ130とが、インターネット等のネットワーク101を介して接続されている。なお、本実施の形態では3台のクライアントを有しているが、クライアントの数は3台に限定されず、2台または4台以上であってもよい。また、本実施形態では、ネットワーク101は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130は、複数個存在する。本実施形態においては、前記単一のドメインのドメイン名として、servers.com を使用する。
【0017】
次に、ヒューマン・コミュニケーション・システムのハードウェア構成について説明する。
【0018】
図14は、クライアント201、202、203、プレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130の各装置のハードウェア構成を示したものである。
【0019】
クライアント201、202、203は、プログラムに従ってデータの加工・演算を行なうCPU301と、CPU301が直接読み書き可能なメモリ302と、ハードディスク等の外部記憶装置303と、外部システムとデータ通信をするために通信装置304と、キーボード、マウスなどの入力装置304と、ディスプレイまたはプリンタ等の出力装置306とを有する一般的なコンピュータシステムを利用することができる。例えば、PDA(Personal Digital Assistant)、PC(Personal Computer)、ウェアラブルコンピュータなどである。なお、クライアントの具体例については、図3において後述する。また、入力装置305および出力装置306については、図2において詳述する。
【0020】
プレゼンスサーバ110、SIP プロキシサーバ120および登録サーバ130は、少なくともプログラムに従ってデータの加工・演算を行なうCPU301と、CPU301が直接読み書き可能なメモリ302と、ハードディスク等の外部記憶装置303と、外部システムとデータ通信をするために通信装置304を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【0021】
なお、上記の各装置の後述する各機能は、メモリ302にロードまたは記憶された所定のプログラム(クライアント201、202、203の場合はクライアント用のプログラム、プレゼンスサーバ110の場合はプレゼンスサーバ用のプログラム、SIP プロキシサーバ120の場合はSIP プロキシサーバ用のプログラム、そして、登録サーバ130の場合は登録サーバ用プログラム)を、CPU301が実行することにより実現される。
【0022】
次に、図2を参照しクライアント201の入力装置305および出力装置306と、機能構成とについて説明する。なお、クライアント202、203においても同様の構成とする。
【0023】
クライアント201は、入力装置305として、マイクロフォン211と、カメラ213と、ポインティングデバイス226とを有する。出力装置306として、イヤフォン217とディスプレイ220とを有する。ポインティングデバイス226は、ユーザが自分自身の仮想空間上における移動情報を入力するための入力装置であり、例えばマウス、キーボードなどである。
【0024】
機能構成としては、音声をディジタル信号に変換するオーディオエンコーダ212と、3次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行うオーディオレンダラ216と、画像をディジタル信号に変換するビデオエンコーダ214と、3次元グラフィクス技術を使用して照明など仮想空間の属性から帰結する処理を行うグラフィクスレンダラ219と、入力された移動情報から仮想空間上での存在および存在位置などのプレゼンスを計算する入力空間モデラ221、前記プレゼンスに関する情報を通信するプレゼンスプロバイダ222と、他のクライアントとの間でオーディオ信号をリアルタイムに送受信するオーディオ通信部215と、他のクライアントとの間でビデオ信号をリアルタイムに送受信するビデオ通信部218と、通信セション制御しポリシーを管理するポリシー・セッション制御部223と、当該クライアントのポリシーを保持する局所ポリシー224と、消費電力を低下させ電池の消耗を防ぐ電源制御部225とを有する。
【0025】
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間であって、プレゼンスサーバ110が管理している。ユーザがある仮想空間に入場すると、プレゼンスサーバ110は、その仮想空間の属性、および、その仮想空間に存在する他のユーザや物体の情報を送信し、空間モデラ221がこれらの情報と仮想空間内における自らの位置を、メモリ302または外部記憶装置303に格納する。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。また、仮想空間内の物体として衝立などがある。
【0026】
つぎに、各機能の動作について音声、映像、プレゼンス、セッション制御の順に説明する。
【0027】
音声については、マイクロフォン211がクライアント201を使用するユーザの音声や周囲の音声を収集し、オーディオエンコーダ212に送付する。そして、オーディオエンコーダ212は、前記の音声をディジタル信号に変換してオーディオレンダラ216に出力する。また、オーディオ通信部215は、他の1台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ216に出力する。
【0028】
次に、オーディオレンダラ216は、オーディオエンコーダ212およびオーディオ通信部215から出力されたディジタルの出力信号を入力する。そして、オーディオレンダラ216は、3次元オーディオ技術を使用して、空間モデラ221が保持する聴覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手の音声が聞こえるかを計算する。次に、オーディオレンダラ216は、オーディオ通信部215から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリング、衝立による音の減衰などの処理を行い、クライアント201を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と通信相手との相対的な位置から帰結する処理によって、音声を定位させ、再生する。
【0029】
また、オーディオレンダラ216は、必要に応じて、オーディオエンコーダ212からの出力に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行ったうえで、クライアント201を使用するユーザの頭部の位置にレンダリングする。このオーディオレンダラ216により生成された音声は、イヤフォン217に出力され、これをユーザが聴取する。
【0030】
画像については、カメラ213がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ214に送付する。そして、ビデオエンコーダ214は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ219に出力する。また、ビデオ通信部218は、他の1台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ219に出力する。次に、グラフィクスレンダラ219は、ビデオエンコーダ 214 およびビデオ通信部218からのディジタルの出力信号を入力する。そして、グラフィクスレンダラ219は、3次元グラフィクス技術を使用して、空間モデラ221が保持する視覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手が見えるかを計算(座標変換)する。次に、グラフィクスレンダラ219は、ビデオ通信部218から出力される通信相手のユーザの画像に対して、前記計算により自分の位置から見た視点で、隠れて見えないはずの部分を消去し、また、仮想空間の照明などによる陰影など、仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。
【0031】
このグラフィクスレンダラ219により生成された映像は、ディスプレイ220に出力され、クライアント201を使用するユーザの視点からの映像に再生され、ユーザは必要に応じてディスプレイ220の出力を参照する。なお、グラフィクスレンダラ219は、3次元グラフィクス技術を使用せずにより簡潔な仮想空間表示をおこなうこともできる。
【0032】
なお、クライアント201は音声による通信を主として行う装置であるため、入力装置としてマイクロフォン211は必須の装置であるが、カメラ213は必ずしも必要ではない。なお、カメラ213が存在しない場合は、ビデオエンコーダ214等も不要である。
【0033】
また、音声または画像のリアルタイム通信には、IETF (Internet Engineering Task Force) が発行したドキュメントRFC 1889に記述されたプロトコルであるRTP(Real−time Transport Protocol) が使用される。音声または画像の通信において、多少の遅延増加が許される場合は、オーディオ通信部215またはビデオ通信部218と、他のクライアントとの通信は、音声または画像の通信を行う通信プロキシサーバを別に設けて、この通信プロキシサーバを経由して、他のクライアントとの音声または画像の通信を行うこともできる。
【0034】
次にプレゼンスについては、ポインティングデバイス226が、ユーザからの位置情報または変位情報の入力を受付け、これをディジタル信号に変換して空間モデラ221に入力する。空間モデラ221は、あらかじめプレゼンスサーバ110から送信された仮想空間の属性(空間の大きさ、残響特性など)および仮想空間内の各ユーザの位置を保持しており、ポインティングデバイス 226 からの入力により、仮想空間内における前記ユーザの位置および向きを変化させる。具体的には、ポインティングデバイス226から前進信号を受け取ると、ユーザの仮想空間内での位置を前進させ、後退信号を受け取ると、ユーザの仮想空間内での位置を後退させる。また、ポインティングデバイス226から左移動信号を受け取ると、向きを左に回転させ、右移動信号を受け取ると、向きを右に回転させる。ポインティングデバイス226としてマウスを使用する場合には、例えば左ボタンを押した状態で前進、後退、左移動、右移動のドラッグ操作をすることにより、前記の各変化を入力することができる。
【0035】
そして、空間モデラ221は、クライアント201を使用するユーザの仮想空間内の位置情報をプレゼンスプロバイダ222に送信し、プレゼンスプロバイダ222はプレゼンスサーバ110にこの情報を送信する。また、プレゼンスプロバイダ222は、他のユーザの仮想空間内の位置情報を、プレゼンスサーバ110から受信し、空間モデラ221にこの情報を引き渡し、モデラ221はクライアント201を使用するユーザの仮想空間内の位置情報と、他のユーザの仮想空間内の位置情報とを保持する。なお、空間モデラ221は、前記他のユーザの仮想空間内の位置情報をネットワーク101を経由して受信するため、他のユーザの仮想空間内の位置に関しては、遅延やジッタの発生が避けられない。一方、ポインティングデバイス226から受け取る自ユーザの位置は、ネットワーク101を経由しないため、遅延をほとんど発生しない。このため、クライアント201のユーザは、リアルタイムで移動後の自分の位置をディスプレイ220上で確認することができ、容易なポインティングデバイス226の操作が可能である。
【0036】
次に、セッション制御について説明する。ポリシー・セッション制御部223は、SIP プロキシサーバ120を経由し、他のクライアントのポリシー・セッション制御部と通信して、オーディオ通信部215およびビデオ通信部218の通信を制御する。
【0037】
ポリシー・セッション制御部223は、あらかじめクライアント201の外部記憶装置303に記憶されている局所ポリシー224と、空間モデラ221が保有する仮想空間における通信相手との距離を参照して、通信相手のクライアントと接続するか否か、接続する場合においては音声または画像の品質を判断し、通信を制御する。例えば、局所ポリシー224のポリシー条件に、「仮想空間における通信相手との距離が一定の値を超える場合は通信を切断し、一定の値以内であれば通信を接続する。」と記憶されている場合は、ポリシー・セッション制御部223は、空間モデラが有する仮想空間における通信相手との距離と、前記一定の値とを比較し、接続の可否を判断する。
【0038】
次に、図13を参照し局所ポリシー224について説明する。
【0039】
クライアント201の外部記憶装置303に記憶された局所ポリシー224は、通信条件が記載されたポリシー規則を有し、ポリシー規則は1つ以上存在する。各ポリシー規則は、条件部と動作部とを有し、条件部に記述された条件が満たされた場合に、動作部に記述された動作を実行する。例えば、図示するポリシー規則 1311は、条件部が通信相手 (RemoteSite) と当該ユーザとの距離が50 m を超えていることであり、動作部は、前記条件部が満たされた場合(すなわち、50m を超えている場合は)は接続しないと、いう通信条件である。同様に、ポリシー規則1312は、もし通信相手と当該ユーザとの距離が50m 以内であれば接続するという通信条件である。また、ポリシー規則1313 は、もし通信相手と当該ユーザとの距離が 10 m 以内であり、かつ、通信相手が当該ユーザと親密であればビデオの画質を明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 1314 は、もし通信相手と当該ユーザとの距離が 10 m 以内であり、かつ、通信相手が当該ユーザと親密でなければ、ビデオの画質を不明瞭にし、オーディオの音質を明瞭にするという通信条件である。また、ポリシー規則 1315 は、もし通信相手と当該ユーザとの距離が 10 m を超えていればビデオの画質を不明瞭にし、オーディオの音質を聞き取り不能にするという通信条件である。
【0040】
なお、通信相手が当該ユーザと親密であるとは、当該ユーザと通信相手との情報交換が重要であり、そのために当該ユーザのプライバシーを通信相手にある程度知られてもよいことをいう。また、当該ユーザにとって重要な通信相手とは、例えば仮想空間を使用する他のユーザの中で、文字や言葉、数字といった情報および知識では表現できない、伝達しにくい情報および知識である暗黙知(ノウハウ、仕事のやり方等)の流通に必要なユーザなどのことをいう。ポリシー規則1313に示すように、親密なユーザが仮想空間上で一定の距離が離れている場合でも、高品質な音声および映像を受信するようにポリシー規則に記述することが可能である。具体的には、ポリシー規則に、親密なユーザのアドレスを指定することで、個別にユーザを特定することが可能である。なお、それ以外のユーザについては、他のポリシー規則を適用し、遠距離にいる場合は比較的低品質な音声および映像を受信するか、または接続を切る。このような、通信制御を行うことにより、重要なあるいは親密なユーザに関しては、比較的高品質の通信を確保して、そのユーザ状況を把握し易くし暗黙知の流通を促進することができ、一方、重要でないその他のユーザについては、必要以上に資源を浪費することを回避することができる。また、クライアント同士の平均通信量も削減することができる。
【0041】
また、いままで説明した局所ポリシー224を使用した通信制御の例は、ある一定の距離を基準に、映像および音声を高品質にするか、または低品質にするかを制御している。しかしながら、この2段階の制御だけでなく、距離に応じて段階的に映像および音声の品質を、制御することも考えられる。例えば、距離に比例して徐々に品質を低下させたり、また、品質を変化させるための距離の閾値を複数設け、段階的に品質を制御することも可能である。
【0042】
インターネットにおいては、往復の通信条件を独立に設定することができるが、局所ポリシー244においては、通信の往復の方向を指定せずいずれの方向にも同一の条件を使用することを前提としている。このような前提をおいているのは、通信条件が方向によって著しくことなっていると円滑なコミュニケーションおよびプライバシー保護を妨げる危険が高いからである。例えば、第 1 のユーザと第 2 のユーザとの通信において、第 1 のユーザは第 2 のユーザを認知できない場合であるが、第 2 のユーザは第 1 のユーザを認知できるとする。この場合、第 1 のユーザは第 2 のユーザを認知できないため第 2 のユーザに聞かれては具合の悪い会話をし、一方、第 2 のユーザは第 1 のユーザを認知できるため、第 2 のユーザにとって具合の悪いその会話を知ることになるという事態が発生するためである。なお、ポリシー規則に通信の方向を指定することによって、通信方向毎に異なるポリシーを指定することも可能である。
【0043】
また、図示しないが、電源制御のためには、例えば次のようなポリシー規則を記述することが考えられる。
ここで nearest RemoteSite は、特定の通信相手ではなく最も近接した通信相手を意味している。すなわち、上記のポリシー規則は、もし最も接近している通信相手との距離が 10 m より大きければ、電源を節電モードにするということを意味する。節電モードにおいては、クライアント の CPU 周波数を低下させるため、オーディオおよびグラフィクスの再生品質が低下する可能性があるが、電池などのバッテリーの資源消費量が減少または節約され、より長時間の連続使用を可能にすることができる。ポリシー・セッション制御部223は、上記のポリシー規則を参照し、条件部に合致した場合は、電源制御部225に所定の信号(節電モード)を送り、この信号により、電源制御部225は、クライアント201のプログラムを実行するCPU301の動作周波数を低下させ、あるいは使用しないハードウェア・ブロックの電源を切断するなどにより消費電力を低下させ、電池の消耗を防ぐ。これにより、電池などのバッテリーの資源消費量を減少させることができる。
【0044】
なお、前記の電源制御の例は、ある一定の距離を基準に節電モードとするか否かを制御している。しかしながら、この2段階の制御だけでなく、距離に応じて段階的に電源制御をすることも考えられる。例えば、距離に比例してCPU301の動作周波数を低下させることが考えられる。また、電源を制御するための距離の閾値を複数設け、ある閾値より遠い距離の場合は、不要な装置(例えば、カメラ213、ディスプレイ220など)の回路を順次切断することなどが考えられる。
【0045】
また、最も接近している通信相手との距離を基準に判断するだけでなく、ある特定の通信相手との距離を基準に節電モードにするか否かを判断することとしてもよい。さらには、通信相手の距離だけでなく、他のクライアントとの通信頻度が低い場合なども、節電モードにしても良い。
【0046】
局所ポリシー224のポリシー規則は、あらかじめユーザが、各種の入力装置305から入力し、外部記憶装置303に記憶されている。入力方法としては、以下の 3つの方法が考えられる。第 1 の方法は、図 13 に図示するような文字(テキスト)を直接入力する方法である。たとえば、クライアントが後述する図 3(c)に示すデスクトップコンピュータの場合は、入力装置305としてキーボード 253 から、直接、文字を入力することができる。また、図 3(a)または図 3(b)に示すPDAまたはウェアラブルコンピュータなどの場合は、文字入力のためのキーを有しないが、ディスプレイ 220 上にタッチパネルを表示させて、仮想キーボードにより、文字を入力することが可能である。また、無線 LAN または Bluetooth 経由で、文字入力可能な他のコンピュータと接続することにより文字を入力することもできる。
【0047】
第 2 の方法は、メニューを使用してポリシー規則を入力する方法である。図13 に示すような各種のポリシー規則をあらかじめ用意し、これらを使用するか否かを当該ユーザがメニューによって選択することにより、局所ポリシー224 の内容を決めることができる。
【0048】
第 3 の方法は、ウィンドウシステムや WWW におけるフォームを使用し、ポリシー規則を入力する方法である。第 3 の方法は、第 1 の方法に比べ入力内容が制限されるが、距離や属性値などの数値や文字列値を入力することができるため、第 2 の方法よりはきめ細かいポリシー規則を定義することができる。
【0049】
以上で、図2のクライアント201の説明を終了する。なお、クライアント201 のなかで、マイクロフォン 211、カメラ 213、ポインティングデバイス 226、イヤフォン 217 およびディスプレイ 220 はハードウェアによって実現され、オーディオエンコーダ 212、ビデオエンコーダ 214 および電源制御部 225 はソフトウェア、ハードウェアまたはこれらのくみあわせによって実現される。また、オーディオ通信部 215、ビデオ通信部 218、空間モデラ 221 およびポリシー・セッション制御部223 は、通常、ソフトウェアによって実現される。
【0050】
次に、図3を参照し、クライアント201、202、203の種類を例示する。
【0051】
図3(a)に示すクライアントは、PDAまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体230は、カメラ213、ディスプレイ220、ポインティングデバイス226、およびアンテナ237を有し、本体230に接続されたヘッドセットは、イヤフォン 217およびマイクロフォン211を有する。
【0052】
ポインティングデバイス226は、前進ボタン231、後退ボタン232、左移動ボタン233、右移動ボタン234、選択ボタン235およびジョグダイヤル236を有する。例えば、前進ボタン231を押すことによって、仮想空間内で数10cm前進し、後退ボタン232を押すことによって仮想空間内で数10cm後退し、左移動ボタン233を押すことによって仮想空間内で数度左に回転し、右移動ボタン234を押すことによって仮想空間内で数度右に回転することが考えられる。ジョグダイヤル236は、前進ボタン231および後退ボタン232と同等の機能を実現し、微小な前進または後退から大幅な前進または後退までを、少ない操作回数によって実行することができる。なお、ポインティングデバイス226に、左移動ボタン233および右移動ボタン234と同等の機能を有するジョグダイヤルを、もう1つ装着することにより、回転に関しても微小な回転から大きな回転までを、少ない操作回数によって実行することも考えられる。また、図示するヘッドセットは、本体230に有線接続されているが、BluetoothまたはIrDA(赤外線)などにより無線接続することも可能である。また、当該クライアントは、アンテナ237を用いて無線LANによりネットワーク101に接続する。
【0053】
図3(b)に示すクライアントは、ウェアラブル・コンピュータの例を示したものである。眼鏡のつるのようなクライアント本体241は、マイクロフォン211、カメラ213、イヤフォン217およびディスプレイ220を有する。
【0054】
ディスプレイ220は、ヘッドマウントディスプレイであり、このクライアント本体241を装着するユーザの数10cm前方に仮想的な映像を結像するか、あるいは、ユーザの前方に3次元の映像を結像する。なお、本実施形態では、非透過型のヘッドマウントディスプレイとしているが、透過型のヘッドマウントディスプレイとしてもよい。透過型のヘッドマウントディスプレイの場合は、実空間上に仮想空間の映像を重ねることにより、仮想空間における方向を直接に表現することができる。さらに、透過型の立体ディスプレイ、すなわち映像を実空間上に立体的に重ね合わせるディスプレイを使用することにより、方向だけでなく距離も直接的に表現することができる。これにより、直観的なユーザ・インタフェースを実現することが可能である。
【0055】
また、図3(b)には、ポインティングデバイス226が表示されていないが、ディスプレイ220内に前後方向および左右方向の加速度を検出する加速度センサが内蔵されており、この加速度センサをポインティングデバイス226として使用する。例えば、加速度センサが、ユーザが頭部を前方に移動することによって発生する前向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数10cm〜数m前進する。また、加速度センサが、ユーザが頭部を後方に移動することによって発生する後ろ向きの加速度を検出すると、加速度の強さに応じて仮想空間内で数10cm 〜数m後退する。また、ユーザが頭部を左まわり、または右回りに回転することによって発生する加速度を、加速度センサが検出すると、加速度の強さに応じて、仮想空間内で数度〜数10度左回転、または、数度〜数10度右回転する。この加速度センサを使用することにより、ユーザが目または手を使用する必要がなくなり、他の作業に目または手を使用することができるようになる。従って、ユーザが実空間上で移動しながら、または、他の作業を行いながら、容易に仮想空間上のユーザの位置を変更することができる。また、当該クライアントは、図示しない通信装置により無線LANまたはBluetoothを経由してネットワーク101に接続することが考えられる。
【0056】
図3(c)に示すクライアントは、デスクトップ・コンピュータを示す。コンピュータ本体251には、マイクロフォン211、カメラ213、ポインティングデバイス226、ディスプレイ220、イヤフォンの代りの機能を有するスピーカ 252、およびキーボード253が接続されている。このポインティングデバイス226には、トラックボールを使用している。マウスを使用した場合には、移動範囲が制限され、移動範囲を超えて移動するためにはマウスを持ち上げる必要が生じる。しかし、トラックボールを使用した場合は、無限に回転させることができるため、平面上でどのような位置にも容易に移動することができるという利点がある。また、スピーカ252として、4チャンネル、5.1チャンネルなど、3個以上のステレオ再生用スピーカを使用することにより、後方からの音声も容易に表現することができる。また、当該クライアントはツイスト線によってLANに接続され、さらにネットワーク101に接続することが考えられる。
【0057】
次に、図4を参照し、ディスプレイ220への仮想空間の表示について説明する。図4に示す表示内容は、クライアント201を使用する第1のユーザが、クライアント202およびクライアント203を使用する第2および第3のユーザと、仮想空間を共有している場合を例にしたものである。
【0058】
図4(a)においては、3次元グラフィックス技術を使用したレンダリングを行っている。すなわち、空間モデラ221がメモリ302または外部記憶装置303に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報などの3次元のデータから2次元画像を作成し、ディスプレイ220に表示する。
【0059】
図4(a)では、仮想空間内における自らの位置より定まる視点から、仮想空間に配置された壁面、天井、床面、オブジェクトとして通信相手のユーザを表現する2つのアバタ412、413、衝立421を眺めることで得られる2次元画像を表示する。仮想空間内の視点を変える場合は、ポインティングデバイス226等により、自らの位置を変更あるいは向きを変更することにより、前記視点が変更し、その位置からの眺めがリアルタイムで画面上に現れる。
【0060】
アバタ412は、クライアント202を使用する第2のユーザを現し、アバタ413はクライアント203を使用する第3のユーザを現したものである。なお、図4には表示されていないが、クライアント202のカメラ213が撮影した第2のユーザの映像はアバタ412に、クライアント203のカメラ213が撮影した第3のユーザの映像はアバタ413に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャマップも回転するので、第2および第3のユーザが仮想空間内でどの向きを向いているか把握できる。図4(a)においてはアバタ412、アバタ413を図形(または映像)のみで表示しているが、アバタ412、アバタ413に対応するユーザのユーザ情報(例えば、アドレスなど文字情報)を、図形の近傍に表示することも可能である。
【0061】
衝立421は、仮想空間の物体の1つであり、特定の方向からの音を遮り、仮想空間内での会議などを円滑におこなうために設けられる。衝立421は仮想空間を仕切る一種の壁であり、衝立を設けることにより視界および音声が遮られる。本実施形態では、衝立は、ユーザがクライアント201の入力装置305から、衝立の識別子、大きさ、位置、材質などを入力し、空間モデラ221がこれらを受付けて、プレゼンスプロバイダ222を経由してプレゼンスサーバ110に通知することによって、衝立を任意に設置することができる。また衝立の撤去命令と撤去すべき識別子をユーザから受付けることによって、特定の衝立を撤去することもできる。衝立421が与える音響効果は、音声3次元グラフィクス技術および3次元オーディオ技術を使用することによって、シミュレートされる。音声に関しては、3次元オーディオAPIがもつobstructionの機能を使用して実現する。
【0062】
図4(b) においては、3次元グラフィクス技術を使用せず、平面図で仮想空間を表示したものである。空間モデラ221がメモリ302または外部記憶装置303に記憶している仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報をもとに、真上から仮想空間に配置された通信相手のユーザを表現する第2のアバタ412および第3のアバタ413と、クライアント201のユーザを表現する第1のアバタ411と、衝立421を眺めることで得られる2次元画像を表示している。
【0063】
クライアント201を使用する第1のユーザ(自ユーザ)であるアバタ411を表示することにより、クライアント 201 のユーザと、通信相手のクライアント202、203のユーザとの位置関係を正確に表現することができる。また、図示していないが、ディスプレイ220上に縮尺を表示することにより、距離も正確に表現することができる。さらに、クライアント 201 のユーザの背後に存在するユーザも表示することができるため、背後から接近するユーザも見落とす危険が少ないという利点がある。なお、各アバタに関するユーザ情報を図形の近傍に表示可能とすることについては、図4(a) の場合と同様である。
【0064】
なお、ディスプレイ220への仮想空間の表示法としては、次の2通りのうちのいずれかを選択することができる。第1の方法は、仮想空間の表示を常に固定し、クライアント201のユーザを表示された仮想空間中で移動または回転させて表示する方法である。第2の方法は、クライアント201の位置と向きを固定し、クライアント201を中心として仮想空間や仮想空間中の他のユーザが相対的に移動し回転するように表示する方法である。図4(a)においては、第2の方法を使用している。図4(b)においては、第1の方法、第2の方法のいずれを使用することもできる。
【0065】
第1の方法には、仮想空間の中でのクライアント201 のユーザの位置がわかり易いという利点があり、第2の方法には、音声とグラフィクス表示との関係がわかりやすいという利点がある。
【0066】
次に、図 5 から図 10 を参照し、クライアント201 における処理手順を説明する。
【0067】
図 5 は、クライアント201 をネットワーク 101 に接続するときの処理手順である。本実施形態においては、常時接続型のコミュニケーション・システムとしているため、図 5 の接続手順はクライアント201 の電源投入時に実行される。また、ユーザがユーザ名を入力または変更した際にも本接続手順が実行される。
【0068】
まずステップ 511において、ネットワーク 101 への接続のために、ポリシー・セッション制御部223は、ユーザの識別情報および認証情報を含むログインメッセージを、SIP プロキシサーバ120 に送信する。SIP プロキシサーバ120 はログインメッセージを受け付け、登録サーバ130 に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ130は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ110 にユーザの識別情報を送付する。
【0069】
SIP プロキシサーバ120と登録サーバ130 との通信には、IETF のドキュメント RFC 3261 において規定されたプロトコル SIP (Session Initiation Protocol) の REGISTER メッセージを使用することが考えられる。SIP プロキシサーバ120は、REGISTER メッセージを定期的に登録サーバ130に送信し、また、クライアント201 の IP アドレスが変更された場合もREGISTER メッセージを登録サーバ130に送信する。なお、SIP のプロトコルよりも、強力な認証・セキュリティ機能を実現する場合は、他のプロトコルを使用して認証要求メッセージを登録サーバ130 に送信することとしてもよい。
【0070】
また、クライアント201のプレゼンスプロバイダ 222と、プレゼンスサーバ110 との通信には、固有のプロトコルを使用することもできるが、IETF のドキュメント RFC 3265 (Session Initiation Protocol (SIP)−Specific Event Notification) に記述された SIP の SUBSCRIBE メッセージ、または、これを拡張したメッセージを使用することができる。SUBSCRIBE メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するメッセージであり、イベント要求メッセージともいう。したがって、プレゼンスサーバ110 との通信においては、プレゼンスサーバ110 を相手として指定して、プレゼンスサーバ110が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベント、すなわち仮想空間の生成や消滅などの通知を要求すればよい。ユーザ識別子であるアドレスが user1@servers.com のユーザが、仮想空間のリスト rooms@servers.com に対して送るメッセージは、次のようになる。
前記のメッセージは、実際には前記の仮想空間のリストに対してではなくプレゼンスサーバ110 に送られる。これは、プレゼンスサーバ110 があらかじめ登録サーバ130 に rooms@servers.com に対応する IP アドレスとしてプレゼンスサーバ110 の IP アドレスを登録することによって実現される。SUBSCRIBE メッセージによってイベントの通知を求めると、これに対応するイベントの通知は RFC 3265 に記述された SIP の NOTIFY メッセージによって送られる。
【0071】
ポリシー・セッション制御部223 がSIP のメッセージ送受信を行うため、SUBSCRIBE メッセージを使用する場合にはプレゼンスプロバイダ222 は、ポリシー・セッション制御部223 およびSIP プロキシサーバ120 を経由してプレゼンスサーバ110 との通信を行う。
【0072】
なお、ユーザの入場者数が多い仮想空間においては、全てのイベントに関して通知を受けることは、クライアント201 に必要以上に負荷をかけることになるので、前記の SUBSCRIBE メッセージに、局所ポリシー224 の一部を加工した情報を付加し、例えば重要なユーザのみのイベントに関して通知を受けることにすることにより、プレゼンスサーバ110 において、あらかじめイベントをフィルタし、重要なイベントだけの通知を受けるように指定することもできる。
【0073】
つぎにステップ 512において、プレゼンスプロバイダ 222は、プレゼンスサーバ110 から部屋リストを受け取る。なお、ステップ 511 において、 SUBSCRIBE メッセージを使用した場合には、前述のイベント通知メッセージとして NOTIFY メッセージの形式で前記の部屋リストが送られる。すなわち、NOTIFY メッセージの内容として部屋リストが含まれる。そして、ステップ 513において、プレゼンスプロバイダ 222は、受け取った部屋リストをディスプレイ 220 に表示する。
【0074】
図 6 は、ユーザがディスプレイ 220 に表示された部屋リストの中から入場したい部屋を選択したときのクライアント201 の処理手順を示す。ユーザが部屋を選択すると、ステップ 611において、クライアント201のプレゼンスプロバイダ 222 は、プレゼンスサーバ110 に ユーザの識別情報および仮想空間内における位置情報を指定した入場メッセージ (enter) を送信する。入場メッセージの送信は、固有のプロトコルを使用することもできるが、SIP の SUBSCRIBE メッセージを使用することもできる。すなわち、受信者を選択した部屋とした SUBSCRIBE メッセージを入場メッセージとして使用する。SUBSCRIBE メッセージは、当該選択した部屋の仮想空間において発生したイベント(例えば、ユーザの入退場または移動、仮想空間属性の変更など)の通知を要求する。user1@servers.com のアドレスをもつユーザが部屋名 room1@servers.com の部屋に入場する場合は、次のようなヘッダを有し、内容として前記のユーザの位置情報を有するメッセージを送信する。
なお、部屋の選択については、通常は 1 個の部屋を選択するが、複数の部屋を同時に選択することも可能である。複数の部屋を選択したときには、プレゼンスプロバイダ222 は、選択した全ての部屋に対する入場メッセージを、プレゼンスサーバ110 に送信する。
【0075】
次にステップ 612 において、プレゼンスプロバイダ222は、プレゼンスサーバ110 から選択した部屋に入場しているユーザの入場者リストを受け取る。入場メッセージとして SUBSCRIBE メッセージを使用した場合は、これに対応する NOTIFY メッセージの形式で、プレゼンスプロバイダ222に入場者リストが送られる。
なお、入場者リストには少なくとも、部屋に入場しているユーザのユーザ識別情報、および仮想空間内における位置情報が含まれているものとする。
【0076】
次にステップ 613 において、ポリシー・セッション制御部223が、前記の入場者リストに含まれるユーザ毎に、後述する通信要求出力手順(図9参照)を実行し、各ユーザとの通信条件を決定する。
【0077】
また、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ222がプレゼンスサーバ110にユーザ識別情報を含んだ退場メッセージを送信する。
【0078】
図 7 は、ユーザがプレゼンスを変更する場合、すなわち仮想空間における部屋の中で移動するときの処理手順である。移動はユーザがポインティング・デバイス 226 を操作することにより、空間モデラ221 に移動情報が入力される。空間モデラ 221は、ポインティングデバイス 226 からの入力を検知すると、ステップ 711において、ユーザの部屋の中の元の位置とポインティングデバイス 226 からの入力された移動情報とを用いて、ユーザの移動後の位置を算出する。次に、ステップ 712において、空間モデラ 221は、前記移動後の位置をオーディオレンダラ216、グラフィクスレンダラ219 およびプレゼンスプロバイダ 222 に通知する。オーディオレンダラ216は、仮想空間内の通知された移動後の位置でどのように通信相手の音声が聞こえるかを計算し、オーディオ通信部215から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント201を使用するユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、3次元音響を更新する。また、グラフィクスレンダラ219は、仮想空間内の通知された移動後の位置に基づいて視点を変更し、仮想空間上でどのように通信相手が見えるかを計算して、その位置からの眺めで画面上に出力するイメージデータを作成し、3次元グラフィクスを更新する。
【0079】
次に、ステップ 713において、プレゼンスプロバイダ 222 は移動後の位置をプレゼンスサーバ110 に通知する。SIP プロトコルを使用する場合は、 NOTIFY メッセージを使用する。なお、NOTIFY メッセージは、通常 SUBSCRIBE メッセージを受信した結果として送信されるが、前記の NOTIFY メッセージに対応する SUBSCRIBE メッセージは存在しない。そのための代替案としては、プレゼンスサーバ110 がクライアント 201 から入場メッセージを受信した際に、入場者リストを返信するだけでなく、前記の NOTIFY メッセージに対応する SUBSCRIBE メッセージを送信することが考えられる。この 入場者リストの送信時に併せて、イベント要求メッセージであるSUBSCRIBE メッセージを送信するようにすれば、その内容として NOTIFY メッセージの要求頻度または要求時間間隔を指定することが可能となる。これにより、プレゼンスサーバ110 の処理負荷が高いときには、クライアント201 からの NOTIFY メッセージの頻度を低下させることによって、処理負荷を下げることができる。さらに、既に SUBSCRIBE メッセージを送信したクライアントに対しても、それを無効にして新たな SUBSCRIBE メッセージを送付することによって、要求頻度または要求時間間隔を改めて指定することができる。
【0080】
次に、ステップ 714において、プレゼンスサーバ110はプレゼンスプロバイダ 222 から通知された移動後の位置にもとづき、入場者リストにおけるユーザの位置を更新する。次に、ステップ 715において、クライアント201のポリシー・セッション制御部223が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順(図9参照)を実行して、各ユーザとの通信条件を決定する。
【0081】
なお、ポインティングデバイス 226 におけるイベント発生が頻繁であるときは、イベント発生の度にステップ 712からステップ715 を実行すると負荷が大きすぎるため、ステップ 711 において、頻度を判定して、前回のイベント発生から一定の時間が経過している場合にのみ、ステップ 712からステップ715 を実行するようにすることもできる。
【0082】
図 8 は、プレゼンスの変更入力、すなわち、プレゼンスサーバ110 がクライアント201に他のユーザの位置を通知した場合の処理手順を示したものである。
【0083】
プレゼンスサーバ110は、他のクライアントのユーザの位置の変更をクライアント201のプレゼンスプロバイダ 222に通知する。この通知を受けて、ステップ 811 において、プレゼンスプロバイダ 222 は空間モデラ 221 に変更されたユーザの位置を通知する。空間モデラ221は、通知された位置を記憶し、そしてオーディオレンダラ216 およびグラフィクスレンダラ219 に通知された位置を通知する。オーディオレンダラ216 およびグラフィクスレンダラ219 は、図7のステップ712と同様に、通知された位置にもとづいて、3次元音響および 3次元グラフィクスを更新する。
【0084】
次にステップ 812 において、空間モデラ 221がクライアント201のユーザの位置と、位置の変更通知を受けたユーザとの仮想空間上の部屋における距離を算出し、ポリシー・セッション制御部223に通知する。そして、ステップ 813 において、ポリシー・セッション制御部223が、入場者リストに含まれるユーザ毎に後述する通信要求出力手順(図9参照)を実行して、各ユーザとの通信条件を決定する。
【0085】
なお、図7の通信要求出力手順(ステップ715)と、図8の通信要求出力手順(ステップ813)において、通信条件を2度決定しているが、これはクライアント毎に設定されている局所ポリシー224が、通信元のクライアントと通信先のクライアントとの間で整合性のない(あるいは、双方一致しない)通信条件を有する場合を考慮したものである。
【0086】
次に、図9を参照し、ポリシー・セッション制御部223 がクライアントにおいて発生する各種の要求にもとづいてSIPサーバ112を経由し、他のクライアントに対して通信要求を出力する手順を説明する。図9の処理手順は、SIP サーバ120が、最低限のインテリジェンスしか持たず、ほとんどの処理をクライアント において行う方式の処理手順である。
【0087】
まず始めに、ポリシー・セッション制御部223が、仮想空間内における当該ユーザと通信相手のユーザとの距離と、前述の局所ポリシー224 とにもとづいて新通信条件を決定する。具体的には、ポリシー・セッション制御部223は、局所ポリシー224 に含まれる全てのポリシー規則について、ステップ 911 および 912 の処理を実行する。ステップ 911 においては、当該ポリシー規則の条件部を当該通信が満たすか否かを判定し、満たしている場合は、ステップ 912 において、ポリシー規則の動作部を実行する。すなわち、オーディオ通信部 215 またはビデオ通信部 218の通信条件を、ポリシー規則の動作部に記載されている内容に設定する。一方、ステップ 911 において、当該ポリシー規則の条件部を満たしていない場合は、ステップ912の動作部を実行せず、次にステップ913において、全てのポリシー規則がステップ 911 および 912 の処理を実行したが否かを判定する。全てのポリシー規則が前記処理を実行した場合は、この実行により設定された通信条件を新通信条件と決定してステップ914(現在の通信条件を判定)に進み、未だ処理していないポリシー規則がある場合は、未処理のポリシー規則についてステップ 911を実行する。
【0088】
ここで、図 13 に示すポリシー規則を例にステップ 911 および 912 の処理を具体的に説明する。
【0089】
第 1 のケースとして、当該ユーザからみて通信相手のユーザが 60 m 離れた位置にいるときは、ポリシー規則 1311 とポリシー規則 1315 とが適用される。すなわち、ポリシー規則 1311 に従って接続は切断される。ポリシー規則 1315 は接続されているときだけに有効なため、この場合、動作部は無効(すなわち実行されない)である。従って、このケースにおける新通信条件は、切断要求である。
【0090】
第 2 のケースとして、当該ユーザからみて通信相手のユーザが 30 m 離れた位置にいるときは、ポリシー規則 1312 とポリシー規則 1315 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該の通信相手と接続されていない場合は当該通信相手と接続される。次に、ポリシー規則 1315 に従って、オーディオ通信部 215 は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 218 は、不明瞭かつ低帯域幅に加工された映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声、および低品質の映像の送信である。
【0091】
なお、音声を聞き取り不能にするには、音声の振幅を数 ms 〜 数 10 ms の時間にわたって平均し、当該の音声とは全く異なる音声 (たとえば正弦波) を、この振幅になるように変調すればよい。これにより、発声していることは認識できるが、全く聞き取るができない音声を生成することができる。また、映像を不明瞭にするには、圧縮率の高い MPEG 形式にコーディングされた信号として表現すればよい。これによって帯域幅もあわせて減少させることができる。
【0092】
また、当該ユーザと通信相手が異なるポリシー規則を保持している場合は、後述する通信要求入力手順(図10参照)のステップ 1013 の通信条件の変更において、弱い方の通信条件にそろえられる。すなわち、より明瞭度が低い方、あるいは聞き取り可能なポリシーと聞き取る不可能なポリシーとがある場合は、聞き取り不可能な方の通信条件を設定する。これにより、第1のクライアントから第2のクライアントへの通信する場合と、第2のクライアントから第1のクライアントへの通信する場合で、同じ通信条件が実現される。
【0093】
第 3 のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有する場合であって、前記の通信相手のユーザが 5 m 離れた位置にいるときは、ポリシー規則 1312 とポリシー規則 1313 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該通信相手と接続されていなければ接続される。また、ポリシー規則 1313 に従って、オーディオ通信部 215 は特殊な加工を施さない広帯域の音声を当該通信相手に送信し、ビデオ通信部 218 は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、高品質の音声および低品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 2 のケースの場合と同様で弱い方の通信条件にそろえられる。
【0094】
第 4 のケースとして、当該ユーザからみて通信相手のユーザが親密な関係である旨のポリシー規則を有しない場合であって、前記の通信相手のユーザが 5 m はなれた位置にいるときは、ポリシー規則 1312 とポリシー規則 1314 とが適用される。すなわち、ポリシー規則 1312 に従って、まだ当該の通信相手と接続されていなければ接続される。ポリシー規則 1314 に従って、オーディオ通信部 215 は、聞き取り不能かつ低帯域幅に加工された音声が当該通信相手に送信し、ビデオ通信部 218 は特殊な加工を施さない広帯域の映像を当該通信相手に送信する。従って、このケースにおける新通信条件は、接続要求で、低品質の音声および高品質の映像の送信である。なお、当該ユーザと通信相手とが、異なるポリシー規則を保持している場合は、第 2 のケースの場合と同様で弱い方の通信条件にそろえられる。
【0095】
次に、ステップ 914 において、現在の通信条件とステップ911からステップ913で決定した新通信条件とにもとづき、通信先のクライアントに対して行う通信要求の判定(振り分け)を行う。この判定により、現在は未接続で、接続を要求する第1のケース、現在は接続中で、切断を要求する第2のケース、現在は未接続で、通信条件を変更する第3のケースのいずれかに振り分けられる。第 1 のケースにおいてはステップ 915 に進み、第2 のケースにおいてはステップ 917 に進み、第 3 のケースにおいてはステップ 919 に進む。
【0096】
第1のケースはステップ 915 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアントに対し、新通信条件を提示して接続を要求する。接続要求には SIP の INVITE メッセージを使用する。INVITE メッセージは宛先のユーザを会話に招待することを意味する。
【0097】
user1@servers.com というアドレスを持つユーザのクライアント201 が、 user2@servers.com というアドレスを持つユーザのクライアント202 に対して接続要求する場合は、ポリシー・セッション制御部223は、次のようなヘッダを有し、内容として新通信条件を含んだメッセージを送信する。
通信条件を提示するためのプロトコルとしては、IETF のドキュメント RFC 2327 によって規定されたプロトコル SDP (Session Description Protocol) があり、INVITE メッセージの内容を表現するために従来から使用されている。ただし、本実施形態における新通信条件の提示には、SDP を拡張する必要がある。
【0098】
次に、ステップ 916 において、接続要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、接続要求中であることの記録は、通信相手からの返事が一定時間以内に到着しない場合、INVITE メッセージを再送する際に使用される。なお、ポリシー・セッション制御部223は、当該通信相手から接続要求に対する返事を受信したときに、前記記録をクリアする。
【0099】
第2のケースは、ステップ 917 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアント202 または 203 に対し、通信の切断を要求する。通信を切断するためには通常は SIP の BYE メッセージを使用し、本実施形態においても BYE メッセージを使用することは可能である。しかしBYE メッセージは、通信相手の返事を待たずに接続を切るため、切断のためにクライアント201 と、通信相手のクライアントとの間でポリシー規則の整合性をとるために調停・交渉が必要な場合には、BYE メッセージを使用せず、接続の場合と同様に INVITE メッセージを使用する。すなわち、INVITE メッセージの内容として通信切断要求を記述する。通信切断要求は、例えば通信速度として 0 を指定した SDP メッセージによって表現することが可能である。
【0100】
次に、ステップ 918 において、切断要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、切断要求中であることの記録、および、記録のクリアについては、ステップ916と同様である。
【0101】
第3のケースは、ステップ 919 において、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信相手のクライアントに対し、通信条件の変更を要求する。通信条件の変更も、変更後の新通信条件を内容として含む SIP の INVITE メッセージを使用し、変更する通信条件は SDP によって記述する。次に、ステップ 918 において通信条件変更要求中であることをポリシー・セッション制御部223 内において記録し、通信要求出力手順を終了する。通信相手からの返事を待たずに終了するのは、前記の要求に対する返事が直ちに送信されるとは限らないためである。また、通信条件変更要求中であることの記録、および、記録のクリアについては、ステップ916と同様である。
【0102】
図 10 は、通信相手のクライアント から、 SIP プロキシサーバ120 を経由してポリシー・セッション制御部223 に対して送信された通信要求の入力処理手順を示す。通信要求がポリシー・セッション制御部223に到着すると、まずステップ 1011 において、ポリシー・セッション制御部223は、局所ポリシー224 の全てのポリシー規則を参照して、送信された要求条件が妥当であるかどうかを判定する。そして、前記の要求条件が、そのままで妥当だと判定された場合はステップ 1012 に進み、前記の要求条件の一部を変更すれば妥当な条件になると判定された場合はステップ 1013 に進み、妥当でないと判定されたときにはステップ 1014 に進む。
【0103】
ステップ 1012 においては 、ポリシー・セッション制御部223は、SIPプロキシサーバ120 を経由して、内容を添付しないSIP の OK (200) メッセージを要求元に対して返信し、ステップ 1015 に進む。前記 OK メッセージは、内容を伴わないことにより、通信相手の要求をそのまま受け入れたことを表現している。ステップ 1013 においては、ポリシー・セッション制御部223は、 SIP プロキシサーバ120 を経由して、クライアント 201 において一部変更した通信条件を内容として添付した SIP の OK メッセージを要求元に対して返信し、ステップ 1015 に進む。
【0104】
ステップ 1015 においては、通信相手の通信要求をそのままで妥当と判断したとき(ステップ1012)はその通信条件を、通信相手の通信要求を一部変更したとき(ステップ1013)は変更後の通信条件を、オーディオ通信部 215 およびビデオ通信部 218 に反映させて、通信要求入力手順を終了する。
【0105】
ステップ 1016 においては、ポリシー・セッション制御部223は、SIP プロキシサーバ120 を経由して、通信要求を拒否するNGメッセージとしてSIPの Not acceptable (406) メッセージを要求元に返信し要求を拒絶し、通信要求入力手順を終了する。
【0106】
以上でクライアントにおける各種処理手順の説明を終了する。
【0107】
次にプレゼンスサーバ110 の機能構成および処理手順について説明する。なお、登録サーバ130 および SIP プロキシサーバ120 については、 SIP を使用する従来の通信と同じため、説明を省略する。
【0108】
図11は、プレゼンスサーバ110 の機能構成を示す。プレゼンスサーバ110は、クライアントと各種情報の送受信をするためのインタフェース部111と、クライアントからのメッセージ種別を判定する判定部112と、判定結果に応じた処理およびインタフェース部111に対して送信頻度の制御を行う処理部113と、仮想空間の属性、仮想空間で発生したイベント(ユーザの入退場、移動等)、部屋リスト、入場者リスト等を、管理し記憶する記憶部114とを有する。記憶部114には、あらかじめ、プレゼンスサーバ110が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する(図5、図6参照)。その後、クライアントは仮想空間に入場したユーザの各種メッセージを受付け、プレゼンスサーバ110に送信する。これにより各仮想空間内に、各種のイベントが発生する。なお、記憶部114はこれらの情報をメモリ302または外部記憶装置303に記憶する。またこれらの機能は、プレゼンスサーバ110のメモリ302にロードまたは記憶された所定のプログラムを、CPU301が実行することにより実現される。
【0109】
図12は、プレゼンスサーバ110 の処理手順を示したものである。プレゼンスサーバ110 は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ110 が停止するまで行う。まず、ステップ 1211 において、インタフェース部111は、クライアントからのメッセージを待ち、メッセージを受信すると、ステップ 1212 において、判定部112が受付けたメッセージの種類を判定する。メッセージが、ログインメッセージの場合はステップ 1221 に進み、入場メッセージの場合はステップ 1231 に進み、移動メッセージの場合はステップ 1235 に進み、退場メッセージの場合はステップ 1241 に進む。SIPのプロトコルを使用する場合、SUBSCRIBE メッセージであれば判定部112はログインメッセージと判定し、特定の部屋に関する値として 0 を含む ”Expires” ヘッダを持たない SUBSCRIBE メッセージであれば判定部112は入場メッセージと判定し、NOTIFY メッセージであれば処理部112は移動メッセージと判定し、特定の部屋に関する値として 0 を含む ”Expires” ヘッダを持つ SUBSCRIBE メッセージであれば処理部112は退場メッセージと判定する。
【0110】
ログインメッセージの場合(ステップ 1221)は、プレゼンスサーバ110の処理部113は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部111に指示し、インタフェース部111は部屋リストを送信する。その後、ステップ1211に戻り、次のメッセージを待つ。SIP を使用する場合は、部屋リスト名 (アドレス:rooms@servers.com) をヘッダの送信者とし、内容として部屋リストを含む NOTIFY メッセージをクライアントに送信する。例えば、当該クライアントのユーザのアドレスが user1@servers.com の場合は、メッセージ・ヘッダは次のようになる。
入場メッセージの場合(ステップ 1231)は、処理部113はメッセージ送信元クライアントのユーザのアドレスを、指定された部屋の入場者リストに追加し、当該ユーザの仮想空間における位置はメッセージで指定された位置情報の位置とする。次にステップ 1232 において、処理部113は当該ユーザ以外の全入場者のアドレスとユーザの位置とをメッセージ送信元クライアントに送信するようインタフェース部111に指示する。インタフェース部111は、前記指示に従い送信元クライアントに送信する。そして後述するステップ 1236に進む。SIP を使用する場合は、内容として全入場者のアドレスとユーザ位置とを含む NOTIFY メッセージを送信する。例えば、ユーザアドレスがuser1@servers.com で、指定された部屋がroom1@servers.com の場合は、次のようなヘッダをもつメッセージを送信する。
なお、プレゼンス変更出力手順(図7参照)のステップ 713 において、 SUBSCRIBE メッセージを受信するようにプロトコルを設定した場合は、ステップ 1232で前記 NOTIFY メッセージを送信した後、当該ユーザのアドレスを指定した SUBSCRIBE メッセージを当該ユーザに送信する。例えば、次のようなヘッダをもつメッセージを送信する。
移動メッセージの場合(ステップ 1235)は、処理部113は送信元クライアンのユーザの仮想空間内の位置を、移動メッセージで受付けた移動位置に更新し、入場者リストを更新する。そして、ステップ 1236 において、処理部113は対象となる部屋の、メッセージ移動したユーザのクライアント以外の全ての入場者のクライアントに、当該ユーザ名と当該ユーザの位置とを通知するようインタフェース部111に指示する。インタフェース部111は、前記指示に従いクライアントに送信する。なお、入場メッセージの場合(ステップ 1231)の場合も同じである。そして、ステップ1211に戻る。SIP を使用する場合は、当該部屋 のアドレス(room1@servers.com)を送信者とし、内容としては当該ユーザのアドレスと位置とを含む NOTIFY メッセージを送信する。送信先のユーザのアドレスが user2@servers.com であれば、メッセージヘッダはつぎのようになる。
なお、ステップ 1235 が実行されるたびに、ステップ 1236において全入場者に NOTIFY メッセージを送ると通信量が膨大になる可能性がある。これを防ぐために、処理部113は、ステップ 1235において前回の NOTIFY メッセージを送ってから一定の時間が経過するまで NOTIFY メッセージを送信しないようにインタフェース部111に指示することが考えられる。この場合、インタフェース部111は、処理部113の指示により、一定の時間内に受付けられた移動メッセージの情報をまとめて NOTIFY メッセージの内容として送信する。
また、処理部113は、記憶部114に記憶されているNOTIFY メッセージの送信先のユーザと、移動メッセージを通知したユーザとの仮想空間における距離が一定の値より近い場合(比較的近距離の場合)は、前記の一定の時間をこれより短い時間にすることによって頻繁に通知を行う(高頻度の通知)ようにし、逆に両者の距離が一定の値より遠い場合(比較的遠距離の場合)は、前記の一定の時間をこれより長い時間にすることによって通知の頻度を下げる(低頻度の通知)ようにしてもよい。例えば、仮想空間におけるユーザ間の一定の距離を10mとした場合は、送信先のユーザとの距離が5mの場合は、前記一定の時間を0.2秒として、つまり0.2秒間隔で移動メッセージを当該クライアントに送信する。一方、送信先のユーザとの距離が12mの場合は、前記一定の時間を1秒として、つまり1秒間隔で移動メッセージを当該クライアントに送信する。
【0111】
また、送信間隔あるいは送信頻度は、前述のようにある一定の距離より遠いまたは近い場合の2段階の制御に限定するものではない。例えば、距離に比例して送信間隔または送信頻度を変化させる方法、あるいは、送信間隔または送信頻度を変化させる距離の閾値を複数設定し、距離に応じた送信間隔または送信頻度を制御する方法などが考えられる。これにより、きめ細かい、送信制御が可能となる。
【0112】
これにより送信先のユーザにとって近くに存在するユーザの状況変化の伝達を妨げることなく、遠くに存在するユーザの通信頻度を低下させることにより通信量を削減することが可能となる。
【0113】
なお、プレゼンスサーバ110 が各クライアントの局所ポリシー244 に登録されたポリシー規則の一部または全部を、あらかじめ各クライアントから収集しプレゼンスサーバ110内に保持することも考えられる。この場合は、プレゼンスサーバ110が各クライアントの局所ポリシー244に登録されたポリシー規則の一部または全部をあらかじめ各クライアントから受け取ることにより、上記のような距離だけではなく、処理部113は局所ポリシー244に記載されている送信先ユーザの重要性にもとづいて通信を制御することができる。すなわち、送信先ユーザが重要なときはクライアント毎にきめ細かい送信頻度また送信時間間隔によってNOFITY メッセージを送信することができる。
【0114】
退場メッセージの場合(ステップ 1241)は、処理部113は、当該ユーザを入場者リストから削除し、次にステップ 1242 において、処理部113は当該ユーザ以外の全ての入場者に当該ユーザが部屋から退場したことを通知するようにインタフェース部111に指示する。インタフェース部111は、前記指示に従いクライアントに送信する。そして、ステップ1211に戻り、クライアントからのメッセージを待つ。SIP を使用する場合は、当該の部屋を送信者とし内容として退場したユーザ名と削除されたことを示すメッセージとを含む NOFITY メッセージを送信する。メッセージヘッダは前述のステップ 1136のメッセージヘッダと同様である。
【0115】
以上で本実施形態の説明を終了する。
【0116】
本発明により、プレゼンスサーバは仮想空間に入場した全てのユーザの位置を把握することができ、全てのユーザに整合がとれた仮想空間属性情報と各ユーザに関する情報とが配布されるため、仮想空間そのもの、および仮想空間内におけるユーザのプレゼンス(すなわち存在感または存在位置)を、ユーザ間で整合させることができる。これにより、仮想空間においてユーザ同士が自然に会話することができ、円滑なコミュニケーションを図ることができる
また、局所ポリシーに仮想空間を共有するユーザのなかで状況把握や暗黙知流通に重要なユーザについてはユーザが遠距離にいるときであっても高品質な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには比較的低品質な音声を送受信するか、または接続を切るようにポリシーを記述する。これにより、重要なユーザに関しては状況を把握しやすくし暗黙知の流通を促進するとともに、それ以外のユーザはネットワーク帯域幅などの資源を必要以上に浪費することを回避でき、クライアント間での平均通信量を削減することができる。また、併せて電池などのバッテリーの資源消費量を減少させることもできる。
【0117】
また、局所ポリシー仮想空間を共有するユーザのなかで親密なユーザについては、ユーザが遠距離にいるときであっても明瞭な音声を送受信するようにポリシーを記述し、それ以外のユーザについては遠距離にいるときには明瞭度を低下させた音声を送信するか、音声を他の音に置き換えた信号を送受信するか、または接続を切るようにポリシーを記述する。これにより、親密でないユーザにプライベートな会話を聴取される可能性が低くなり、プライバシーを保護することができる。
【0118】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、以下に本実施形態の一部を変更した3つの実施形態について説明する。
【0119】
第1に、前記の実施形態においては、セッション制御またはセッション管理は、ほとんどクライアント201 が行い、SIP プロキシサーバ120 はインテリジェンスを持っていない。またオーディオおよびビデオの通信はピア・トゥー・ピアで、サーバを介さずに行う形態である。マルチキャストを使用した場合は、この方法においてもネットワーク負荷を抑えることができる。しかしながら、ネットワーク101がユニキャスト・ネットワークの場合は、この方法ではネットワーク負荷が高くなる。また、仮想空間内において当該ユーザの近傍に多数の他のユーザが存在する場合は、クライアントの処理負荷が高くなり、処理不能に陥る危険がある。これを回避するためには、複数のオーディオまたはビデオ信号を独立に処理する機能を各クライアントからサーバに移すことが考えられる。
【0120】
例えば、各クライアントからのオーディオ信号、ビデオ信号を収集し束ねるために、専用の通信サーバをネットワーク 101 に接続する。前記通信サーバは各クライアントから送られるオーディオ信号を束ねて 1 本または少数本の RTPストリームを作り、このRTP ストリームを各クライアントに送信する。ビデオ信号についても 同様に1 本または少数本の RTP ストリームを作り各クライアントに送信する。オーディオ信号またはビデオ信号を束ねるだけではネットワーク負荷は抑えられないが、接続数を減らすことによりクライアントの負荷は軽減させることが可能である。さらに、オーディオレンダラ216、グラフィクスレンダラ219 の機能を前記通信サーバにおいて実現した場合は、1 個のオーディオ信号またはビデオ信号だけを含むストリームを各クライアントに送信すればよいため、ネットワーク負荷を抑えることができる。ただし、そのためには通信サーバが各クライアントの空間モデラ 221 が有する情報を逐次、プレゼンスサーバ110 から受信する必要があり、またプレゼンスサーバ110 は各ユーザの位置を常に高頻度で把握する必要がある。
【0121】
この構成においては、図9の通信要求出力手順のかわりに、クライアント201 は前記の通信サーバに対して接続を要求する。すなわち、新通信条件を前記の通信サーバに送信すると、前記の通信サーバが通信相手のクライアントとの交渉を行い、現在の通信条件と指定された新通信条件とから実際の新通信条件を決定し、要求元のクライアント201 と通信相手のクライアント全てに、新通信条件を含んだ INVITE メッセージを送付するか、または BYE メッセージを送付する。前記の INVITE メッセージには、通信先として通信サーバを指定した SDPメッセージが含まれる。そのため、各クライアントは前記の通信サーバにオーディオ信号またはビデオ信号を送信する。
【0122】
また、クライアント201 は、通信サーバから他のクライアントの通信要求の妥当性を判断するために、図10に示す通信要求入力手順について必要である。しかし、あらかじめ局所ポリシー244の一部または全部を前記の通信サーバに送信しておくことにより、前記の通信要求入力手順の一部または全部を、通信サーバ側で行うようにして、クライアント201の負荷を軽減させることができる。
【0123】
第 2 に、今まで説明した実施形態では、ユーザ移動時のクライアント 201 とプレゼンスサーバ110 との間の通信に SIP の SUBSCRIBE−NOTIFY に代表されるイベント通知型のプロトコルを使用していた。しかしながら、イベント通知型のプロトコルかわりに、同期型のプロトコルを使用することもできる。すなわち、ビデオ信号またはオーディオ信号の送受信のように、定期的に当該ユーザおよび他のユーザの位置を送受信することができる。ユーザが常にまたは頻繁に移動し、それを迅速に他のユーザに伝達する必要がある環境においては、同期型のプロトコルを使用した方が、クライアント 201 およびプレゼンスサーバ110のオーバヘッドが少ない。
【0124】
第 3 に、今まで説明した実施形態では、ユーザの位置または移動を入力するためにポインティングデバイス 226 を使用していた。しかし、あらかじめ空間モデラ 221 が複数の位置の候補を計算してディスプレイ 220 に表示する。そしてユーザが、ポインティングデバイス 226 または他のキーを使用して前記の候補のなかの 1 個を選択することによって、ユーザの位置を入力することも可能である。候補を計算する方法としては、ユーザが、仮想空間内にいる他のユーザのなかから会話したい 1 人または複数人の相手をポインティングデバイス 226 または他のキーを使用して選択し、空間モデラ 221 が前記の相手が前記の仮想空間内で形成する図形における重心を計算し、前記の重心の位置の周囲の数点を候補とする方法がある。ただし、この方法においては前記の計算によって求められる位置の近傍に、会話と無関係なユーザが含まれる可能性あるが、これについては、会話と無関係なユーザがいない複数の位置を候補とすることにより回避することができる。このとき、会話を成立させるためには、移動を入力するユーザだけでなく、会話したい相手のユーザにも位置の選択を促す必要がある。すなわち、会話相手のユーザのクライアントに対して計算された位置を送信し、前記クライアントが現在の位置と送信された位置とを候補とするメニューを表示し、会話相手のユーザが前記の候補のなかの1個を選択する必要がある。以上のメニュー選択によって決定された位置は、さらにポインティングデバイス 226 を使用することによって変更することも可能である。
【0125】
【発明の効果】
以上のように、本発明によれば、仮想空間および仮想空間内のユーザの位置、存在感などのプレゼンスを、ユーザ間で整合させるため、ユーザは仮想空間において自然に会話することができる。また、各クライアントに通信に関するポリシー規則を保持して通信を制御することにより、電池またはネットワーク帯域幅などの資源消費量を減少させることができ、プライバシーを保護することができる。
【図面の簡単な説明】
【図1】本実施形態におけるネットワーク構成図である。
【図2】本実施形態におけるクライアントの構成図である。
【図3】本実施形態におけるクライアントの種類を例示したものである。
【図4】本実施形態における仮想空間のディスプレイ表示画面例である。
【図5】本実施形態におけるクライアントのネットワークへの接続処理フロー図である。
【図6】本実施形態におけるクライアントの入場処理フロー図である。
【図7】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図8】本実施形態におけるクライアントのユーザの移動処理フロー図である。
【図9】本実施形態におけるクライアントの通信要求出力処理フロー図である。
【図10】本実施形態におけるクライアントの通信要求入力処理フロー図である。
【図11】本実施形態におけるプレゼンスサーバの機能構成図である。
【図12】本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。
【図13】本実施形態における局所ポリシーを例示したものである。
【図14】本実施形態における各装置のハードウェア構成図である。
【符号の説明】
101…ネットワーク、110…プレゼンスサーバ120…SIPプロキシサーバ130…登録サーバ、201、202、203…クライアント、211…マイクロフォン、212…オーディオエンコーダ、213…カメラ、214…ビデオエンコーダ、215…オーディオ通信部、216…オーディオレンダラ、217…イヤフォン、218…ビデオ通信部、219…グラフィクスレンダラ、220…ディスプレイ、221…空間モデラ、222…プレゼンスプロバイダ、223…ポリシー・セッション制御部、224…局所ポリシー、225…電源制御部
Claims (18)
- 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、
前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有し、
前記複数のクライアント端末各々は、
自クライアント端末の自ユーザの位置に関する情報を前記サーバ装置に送信するクライアント送信手段と、前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するクライアント受信手段と、前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段と、を有し、
前記サーバ装置は、
前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段と、を有すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項1記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するイメージ作成手段を有すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項1記載のヒューマン・コミュニケーション・システムにおいて、
前記立体音響再生手段は、前期複数のユーザ各々の前記仮想空間における位置および前記仮想空間の属性情報に基づいて、前記他ユーザ各々の音声に適用する音響効果を制御すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項2記載のヒューマン・コミュニケーション・システムにおいて、
前記イメージ作成手段は、前記複数のユーザ各々の前記仮想空間における位置および前記仮想空間の属性情報に基づいて、前記複数のユーザ各々を表すオブジェクトおよびその他の構造物を表すオブジェクトが前記仮想空間に配置されたイメージデータを作成すること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項1に記載のヒューマン・コミュニケーション・システムにおいて、
前記サーバ装置は、前記複数のクライアント端末への送信を制御するための処理手段を有し、
前記処理手段は、前記記憶手段に記憶された仮想空間における前記自ユーザと前記他ユーザ各々との距離に応じて、自ユーザの位置情報を他ユーザのクライアント端末に送信する送信頻度または送信間隔を制御すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項5に記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、通信相手の属性および通信相手との距離に従って通信を制御する通信条件を記憶する局所ポリシー記憶手段をそれぞれ有し、
前記サーバ装置の前記処理手段は、前記複数のクライアント端末の局所ポリシー記憶手段を取得し、前記局所ポリシー記憶手段を参照して、前記複数のクライアント各々に他ユーザ各々の位置情報を送信する送信頻度または送信時間間隔を決定すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項1に記載のヒューマン・コミュニケーション・システムにおいて、
前記サーバ送信手段は、前記複数のクライアント端末に対して、前記クライアント端末の自ユーザの位置に関する情報を、前記サーバ装置に送信することを要求するイベント要求メッセージを送信し、
前記イベント要求メッセージには、前記複数のクライアント端末から前記サーバ装置へ送信する際の送信頻度または送信間隔が指定され、
前記複数のクライアント端末は、前記送信された送信頻度または送信間隔に従って、自ユーザの位置に関する情報を、前記サーバ装置に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション・システムであって、
前記複数のユーザが使用する複数のクライアント端末を有し、
前記複数のクライアント端末各々は、通信セッションを制御するセッション制御手段と、通信条件を記憶する局所ポリシー記憶手段とを有し、
自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、
前記自クライアント端末の自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他ポリシー・セッション制御手段に通信要求を送信し、
前記他ポリシー・セッション制御手段は、前記他局所ポリシー記憶手段を参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自ポリシー・セッション制御手段に送信し、適合しない場合は通信拒否を前記自ポリシー・セッション制御手段に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項8に記載されたヒューマン・コミュニケーション・システムにおいて、
前記他ポリシー・セッション制御手段は、前記指定された通信条件を変更した通信条件を添付して、通信許可を前記自ポリシー・セッション制御手段に送信すること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項8に記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段を有し、
前記自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、空間モデル化手段から取得した仮想空間内における前記自ユーザと他ユーザとの間の距離に応じて、他ユーザのクライアント端末との通信を切断するか、または低品質の通信とすること
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項8に記載のヒューマン・コミュニケーション・システムにおいて、
前記通信は、音声または映像のうち少なくともいずれか1つを使用し、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段を有し、
前記自ポリシー・セッション制御手段は、自局所ポリシー記憶手段を参照し、空間モデル化手段から取得した前記仮想空間内における前記自ユーザと他ユーザとの間の距離に応じて、他ユーザのクライアント端末との通信に使用する音声または画像を不明瞭にするか、または、音声または画像の一部を他の音声または画像に置換し、聞き取り不可能な音声または読み取り不可能な映像とすること、
を特徴とするヒューマン・コミュニケーション・システム。 - 請求項8記載のヒューマン・コミュニケーション・システムにおいて、
前記ポリシー・セッション制御手段は、前記局所ポリシー記憶手段を参照し、通信に使用する帯域幅を変更することを
特徴とするヒューマン・コミュニケーション・システム。 - 請求項8記載のヒューマン・コミュニケーション・システムにおいて、
前記複数のクライアント端末各々は、仮想空間における前記自ユーザの位置情報と前記他ユーザの位置情報を保持する空間モデル化手段と、電源の供給を制御する電源制御手段とを有し、
前記自ポリシー・セッション制御手段は、空間モデル化手段から取得した仮想空間内における自ユーザと自ユーザに最も近い他ユーザとの距離に応じて、前記電源制御手段に所定の信号を送信し、
前記電源制御手段は、前期所定の信号を受け取ると、消費電力を低下させること、
を特徴とするヒューマン・コミュニケーション・システム。 - 仮想空間を用いて複数のユーザが複数のクライアント端末を用いて会話を実現するヒューマン・コミュニケーション・システムにおけるサーバ装置であって、
前記サーバ装置は、前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの位置に関する情報を受信するサーバ受信手段と、前記受信した情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を記憶する記憶手段と、前記複数のクライアント各々に前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段と、を有すること
を特徴とするヒューマン・コミュニケーション・システムにおけるサーバ装置。 - 請求項14に記載のサーバにおいて、
前記サーバ装置は、前記複数のクライアント端末への送信を制御するための処理手段を有し、
前記処理手段は、前記記憶手段に記憶された仮想空間における前記自ユーザと前記他ユーザ各々との距離に応じて、自ユーザの位置情報を他ユーザのクライアント端末に送信する送信頻度または送信間隔を制御すること、
を特徴とするヒューマン・コミュニケーション・システムにおけるサーバ装置。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
自クライアント端末の自ユーザの位置に関する情報を、前記仮想空間における前記複数のユーザ各々の位置を管理するサーバ装置に送信するステップと、
前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の位置に関する情報を受信するステップと、
前記自ユーザおよび前記他ユーザ各々の位置に関する情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出するステップと、
前記算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御するステップと、を行うこと
を特徴とするヒューマン・コミュニケーション方法。 - 請求項16記載のヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するステップを行うこと
を特徴とするヒューマン・コミュニケーション方法。 - 仮想空間を用いた複数のユーザの会話を実現するヒューマン・コミュニケーション方法であって、
前記複数のユーザが使用する複数のクライアント端末各々は、
自クライアント端末の自ユーザが、自ユーザ以外のユーザである他ユーザの他クライアント端末と通信するときに、
前記自クライアント端末は、自クライアント端末の通信条件を記憶する自局所ポリシーを参照し、他ユーザが通信条件に適合するかどうかを判定し、適合するときは前記通信条件を指定し、他クライアント端末に通信要求を送信するステップと、
前記他クライアント端末は、他クライアント端末の通信条件を記憶する他局所ポリシーを参照し、前記指定された通信条件が適合するかどうかを判定し、適合する場合は通信許可を前記自クライアント端末に送信し、適合しない場合は通信拒否を前記自クライアント端末に送信するステップと、を行うこと
を特徴とするヒューマン・コミュニケーション方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003147801A JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
US10/697,553 US7197126B2 (en) | 2003-05-26 | 2003-10-31 | Human communication system |
CNB2004100074340A CN100556055C (zh) | 2003-05-26 | 2004-03-03 | 人际通信*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003147801A JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004348647A true JP2004348647A (ja) | 2004-12-09 |
Family
ID=33447625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003147801A Pending JP2004348647A (ja) | 2003-05-26 | 2003-05-26 | ヒューマン・コミュニケーション・システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7197126B2 (ja) |
JP (1) | JP2004348647A (ja) |
CN (1) | CN100556055C (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006229379A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム |
WO2010023963A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | アバター表示方法、アバター表示装置および記憶媒体 |
WO2010041360A1 (ja) * | 2008-10-08 | 2010-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
US7796739B2 (en) | 2008-04-25 | 2010-09-14 | Kabushiki Kaisha Toshiba | Presence management system, presence notification method, server unit, and terminal device |
JP2011120238A (ja) * | 2009-12-04 | 2011-06-16 | Samsung Electronics Co Ltd | デジタルリビングネットワークアライアンスネットワークにおける電力消費を減らすための方法及び装置 |
US8826151B2 (en) | 2009-09-15 | 2014-09-02 | Ricoh Company, Limited | Information processing apparatus and computer-readable medium for virtualizing an image processing apparatus |
JP2016511892A (ja) * | 2013-02-06 | 2016-04-21 | フェイスブック,インク. | 周辺ロケーション更新のグループ化 |
WO2016185740A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN107155150A (zh) * | 2017-07-14 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006025281A (ja) * | 2004-07-09 | 2006-01-26 | Hitachi Ltd | 情報源選択システム、および方法 |
US7765257B2 (en) * | 2005-06-29 | 2010-07-27 | Cisco Technology, Inc. | Methods and apparatuses for selectively providing privacy through a dynamic social network system |
JP4608400B2 (ja) * | 2005-09-13 | 2011-01-12 | 株式会社日立製作所 | 音声通話システムおよび音声通話中におけるコンテンツの提供方法 |
US7779004B1 (en) | 2006-02-22 | 2010-08-17 | Qurio Holdings, Inc. | Methods, systems, and products for characterizing target systems |
US7593354B2 (en) * | 2006-03-22 | 2009-09-22 | Musigy Usa, Inc. | Method and system for low latency high quality music conferencing |
WO2007129942A1 (en) * | 2006-05-05 | 2007-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for a virtual meeting |
TWI302609B (en) * | 2006-07-11 | 2008-11-01 | Compal Electronics Inc | Method for tracking vocal target |
JP4470934B2 (ja) * | 2006-10-20 | 2010-06-02 | 日本電気株式会社 | プロキシ・サーバ、通信システム、通信方法及びプログラム |
US8559646B2 (en) * | 2006-12-14 | 2013-10-15 | William G. Gardner | Spatial audio teleconferencing |
US7849420B1 (en) | 2007-02-26 | 2010-12-07 | Qurio Holdings, Inc. | Interactive content representations enabling content sharing |
US7840903B1 (en) | 2007-02-26 | 2010-11-23 | Qurio Holdings, Inc. | Group content representations |
US9098167B1 (en) * | 2007-02-26 | 2015-08-04 | Qurio Holdings, Inc. | Layered visualization of content representations |
US8843373B1 (en) * | 2007-06-07 | 2014-09-23 | Avaya Inc. | Voice quality sample substitution |
US8260266B1 (en) | 2007-06-26 | 2012-09-04 | Qurio Holdings, Inc. | Method and system for third-party discovery of proximity-based services |
JP5059517B2 (ja) * | 2007-08-09 | 2012-10-24 | 京セラ株式会社 | 無線通信装置および通信制御方法 |
US9111285B2 (en) | 2007-08-27 | 2015-08-18 | Qurio Holdings, Inc. | System and method for representing content, user presence and interaction within virtual world advertising environments |
JP5000432B2 (ja) * | 2007-08-29 | 2012-08-15 | 京セラ株式会社 | 通信装置および通信制御方法 |
US9131016B2 (en) * | 2007-09-11 | 2015-09-08 | Alan Jay Glueckman | Method and apparatus for virtual auditorium usable for a conference call or remote live presentation with audience response thereto |
US8261307B1 (en) | 2007-10-25 | 2012-09-04 | Qurio Holdings, Inc. | Wireless multimedia content brokerage service for real time selective content provisioning |
US9602295B1 (en) | 2007-11-09 | 2017-03-21 | Avaya Inc. | Audio conferencing server for the internet |
JP4445559B2 (ja) * | 2008-05-30 | 2010-04-07 | 株式会社東芝 | プレゼンスサービス提供システムとそのサーバユニット |
US8645507B2 (en) * | 2008-11-05 | 2014-02-04 | Siemens Enterprise Communications, Inc. | Power management for a communications system |
JP4743305B2 (ja) * | 2009-01-06 | 2011-08-10 | ソニー株式会社 | 境界定義による機能制御方法、境界定義による機能制御システム、境界定義による機能制御サーバ及びプログラム |
US8234332B2 (en) * | 2009-04-22 | 2012-07-31 | Aventura Hq, Inc. | Systems and methods for updating computer memory and file locations within virtual computing environments |
US9367512B2 (en) * | 2009-04-22 | 2016-06-14 | Aventura Hq, Inc. | Systems and methods for dynamically updating virtual desktops or virtual applications in a standard computing environment |
US20110055703A1 (en) * | 2009-09-03 | 2011-03-03 | Niklas Lundback | Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System |
US8363810B2 (en) * | 2009-09-08 | 2013-01-29 | Avaya Inc. | Method and system for aurally positioning voice signals in a contact center environment |
US8144633B2 (en) * | 2009-09-22 | 2012-03-27 | Avaya Inc. | Method and system for controlling audio in a collaboration environment |
JP2011070511A (ja) * | 2009-09-28 | 2011-04-07 | Sony Corp | 端末装置、サーバ装置、表示制御方法、及びプログラム |
US8547880B2 (en) * | 2009-09-30 | 2013-10-01 | Avaya Inc. | Method and system for replaying a portion of a multi-party audio interaction |
KR101569037B1 (ko) * | 2009-12-03 | 2015-11-16 | 삼성전자주식회사 | 컨트롤 포인트, 화상형성장치, 및 인쇄 제어 방법 |
US8959097B2 (en) * | 2010-03-12 | 2015-02-17 | International Business Machines Corporation | Privacy-preserving method for skimming of data from a collaborative infrastructure |
TW201141226A (en) * | 2010-05-04 | 2011-11-16 | Utw Technologies Corp | Virtual conversing method |
US8744065B2 (en) | 2010-09-22 | 2014-06-03 | Avaya Inc. | Method and system for monitoring contact center transactions |
US9736312B2 (en) | 2010-11-17 | 2017-08-15 | Avaya Inc. | Method and system for controlling audio signals in multiple concurrent conference calls |
US9084079B2 (en) * | 2010-11-19 | 2015-07-14 | Qualcomm Incorporated | Selectively formatting media during a group communication session |
CN103959344B (zh) * | 2011-12-20 | 2017-03-01 | 英特尔公司 | 跨越多个设备的增强现实表示 |
KR101888491B1 (ko) | 2012-01-11 | 2018-08-16 | 삼성전자주식회사 | 가상 공간 이동 장치 및 방법 |
US9204099B2 (en) * | 2012-02-01 | 2015-12-01 | Magor Communications Corporation | Videoconferencing system providing virtual physical context |
US9838824B2 (en) | 2012-12-27 | 2017-12-05 | Avaya Inc. | Social media processing with three-dimensional audio |
US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
US9301069B2 (en) * | 2012-12-27 | 2016-03-29 | Avaya Inc. | Immersive 3D sound space for searching audio |
US9892743B2 (en) | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
US10375353B2 (en) * | 2015-12-11 | 2019-08-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN106254815A (zh) * | 2016-08-09 | 2016-12-21 | 张北江 | 远程安防视频会议的视频文件传输方法及*** |
CN106303363A (zh) * | 2016-08-09 | 2017-01-04 | 张北江 | 监控***中视频会议超高清传输方法及*** |
CN106101599A (zh) * | 2016-08-09 | 2016-11-09 | 张北江 | 高清视频文件在远程监控会议中的选择方法及*** |
US10558421B2 (en) * | 2017-05-22 | 2020-02-11 | International Business Machines Corporation | Context based identification of non-relevant verbal communications |
US10623694B2 (en) * | 2018-03-16 | 2020-04-14 | Lenovo (Singapore) Pte Ltd | Appropriate modification of video call images |
CN109660911A (zh) | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 录音音效处理方法、装置、移动终端及存储介质 |
CN110035250A (zh) * | 2019-03-29 | 2019-07-19 | 维沃移动通信有限公司 | 音频处理方法、处理设备、终端及计算机可读存储介质 |
US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US11070768B1 (en) * | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
WO2023051703A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 一种音频渲染***和方法 |
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU6646096A (en) | 1995-08-03 | 1997-03-05 | Interval Research Corporation | Computerized interactor systems and methods for providing same |
US5889843A (en) | 1996-03-04 | 1999-03-30 | Interval Research Corporation | Methods and systems for creating a spatial auditory environment in an audio conference system |
JP4232231B2 (ja) * | 1998-09-30 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
US6850496B1 (en) * | 2000-06-09 | 2005-02-01 | Cisco Technology, Inc. | Virtual conference room for voice conferencing |
-
2003
- 2003-05-26 JP JP2003147801A patent/JP2004348647A/ja active Pending
- 2003-10-31 US US10/697,553 patent/US7197126B2/en not_active Expired - Fee Related
-
2004
- 2004-03-03 CN CNB2004100074340A patent/CN100556055C/zh not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006229379A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム |
US7796739B2 (en) | 2008-04-25 | 2010-09-14 | Kabushiki Kaisha Toshiba | Presence management system, presence notification method, server unit, and terminal device |
WO2010023963A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | アバター表示方法、アバター表示装置および記憶媒体 |
JP5310729B2 (ja) * | 2008-09-01 | 2013-10-09 | 日本電気株式会社 | アバター表示方法、アバター表示装置およびプログラム |
US8622840B2 (en) | 2008-10-08 | 2014-01-07 | Sony Corporation | Information processing device and information processing method |
WO2010041360A1 (ja) * | 2008-10-08 | 2010-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
JP2010092304A (ja) * | 2008-10-08 | 2010-04-22 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
US8826151B2 (en) | 2009-09-15 | 2014-09-02 | Ricoh Company, Limited | Information processing apparatus and computer-readable medium for virtualizing an image processing apparatus |
JP2011120238A (ja) * | 2009-12-04 | 2011-06-16 | Samsung Electronics Co Ltd | デジタルリビングネットワークアライアンスネットワークにおける電力消費を減らすための方法及び装置 |
US9317099B2 (en) | 2009-12-04 | 2016-04-19 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing power consumption in digital living network alliance network |
JP2016511892A (ja) * | 2013-02-06 | 2016-04-21 | フェイスブック,インク. | 周辺ロケーション更新のグループ化 |
WO2016185740A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2016185740A1 (ja) * | 2015-05-18 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10477336B2 (en) | 2015-05-18 | 2019-11-12 | Sony Corporation | Information processing device, information processing method, and program |
US11128972B2 (en) | 2015-05-18 | 2021-09-21 | Sony Corporation | Information processing device, information processing method, and program |
CN107155150A (zh) * | 2017-07-14 | 2017-09-12 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
CN107155150B (zh) * | 2017-07-14 | 2019-07-26 | 郑州云海信息技术有限公司 | 一种防噪音耳机的通讯方法、装置及*** |
Also Published As
Publication number | Publication date |
---|---|
CN100556055C (zh) | 2009-10-28 |
CN1574870A (zh) | 2005-02-02 |
US7197126B2 (en) | 2007-03-27 |
US20040240652A1 (en) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7197126B2 (en) | Human communication system | |
US11418440B2 (en) | Routing virtual area based communications | |
JP4546151B2 (ja) | 音声コミュニケーション・システム | |
US20060008117A1 (en) | Information source selection system and method | |
JP5723905B2 (ja) | 共用仮想領域通信環境における自動化されたリアルタイム・データ・ストリーム切換え | |
US7533346B2 (en) | Interactive spatalized audiovisual system | |
JP5232239B2 (ja) | 共用仮想領域通信環境における自動化されたリアルタイム・データ・ストリーム切換え | |
EP2761809B1 (en) | Method, endpoint, and system for establishing a video conference | |
KR20120118019A (ko) | 공간 통신 환경을 위한 웹 브라우저 인터페이스 | |
US20240106747A1 (en) | Routing Virtual Area Based Communications | |
WO2009134259A1 (en) | Communication between scheduled and in progress event attendees | |
WO2016002331A1 (ja) | 情報処理装置、情報処理方法およびコンテンツ共有システム | |
WO2009134261A1 (en) | Messaging between events | |
JP2006094315A (ja) | 立体音響再生システム | |
US20110069143A1 (en) | Communications Prior To A Scheduled Event | |
TWI492592B (zh) | 在共享虛擬區通訊環境中之自動化即時資料串流交換技術 | |
Yasumoto et al. | Ravitas: Realistic voice chat framework for cooperative virtual spaces | |
JPH09288645A (ja) | 大部屋的仮想オフィスシステム | |
JP5602688B2 (ja) | 音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法 | |
Kanada | Simulated virtual market place by using voiscape communication medium |