JP4546151B2 - 音声コミュニケーション・システム - Google Patents

音声コミュニケーション・システム Download PDF

Info

Publication number
JP4546151B2
JP4546151B2 JP2004155733A JP2004155733A JP4546151B2 JP 4546151 B2 JP4546151 B2 JP 4546151B2 JP 2004155733 A JP2004155733 A JP 2004155733A JP 2004155733 A JP2004155733 A JP 2004155733A JP 4546151 B2 JP4546151 B2 JP 4546151B2
Authority
JP
Japan
Prior art keywords
user
space
users
virtual space
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004155733A
Other languages
English (en)
Other versions
JP2005341092A (ja
JP2005341092A5 (ja
Inventor
泰 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004155733A priority Critical patent/JP4546151B2/ja
Priority to US10/914,647 priority patent/US7634073B2/en
Priority to CN200410087444.XA priority patent/CN1703065A/zh
Publication of JP2005341092A publication Critical patent/JP2005341092A/ja
Publication of JP2005341092A5 publication Critical patent/JP2005341092A5/ja
Application granted granted Critical
Publication of JP4546151B2 publication Critical patent/JP4546151B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/30—Determination of the location of a subscriber
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42025—Calling or Called party identification service
    • H04M3/42085—Called party identification service
    • H04M3/42093—Notifying the calling party of information on the called or connected party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、人間同士がメディアを通じ、主に音声を使用して会話するための技術に関する。
特許文献１には、ＧＰＳ技術を利用して、携帯電話の発信ユーザの位置情報と、通信相手の位置情報とに基づいて、両者の相対的な位置情報を表示するナビゲーションシステムが開示されている。
また、仮想空間を用いた会議システムとして、京都大学において開発された会議システム FreeWalk がある（例えば、非特許文献１および非特許文献２参照）。Freewalk は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を３次元グラフィクスによって見ることができる。３次元グラフィクス技術は、３次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するAPI(Application Programming Interface)として、業界標準であるOpenGL(http://www.opengl.org/)およびMicrosoft社のDirect３Dなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。なお、非特許文献１および２においては、距離に従って音声が減衰するようにしているが、後述する３次元オーディオ技術は使用していない。
また、Interval Research Corporation において開発された会議システムSomewireがある（例えば、特許文献２、特許文献３および非特許文献３参照）。Somewire は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Somewire において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするGUI(グラフィカル・ユーザ・インタフェース) より、直観的な物理的 (tangible) インタフェースを有する。なお、Somewire においては、距離に従って音声は減衰せず、３次元オーディオ技術は使用していない。
また、ヒューレット・パッカード社において開発された３次元分散オーディオ技術を使用した会議システムがある（例えば、非特許文献４参照）。３次元分散オーディオ技術は、３次元オーディオ技術をネットワークで接続されたシステム（いわゆる分散環境）において適用した技術である。そして、３次元オーディオ技術は、３次元の音響空間をシミュレートする技術であり、これを実現するための API としては Loki Entertainment Software 社などによって規定された業界標準である Open AL (http://www.opengl.org/)，Microsoft 社の DirectSound ３D、Creative Technology 社の EAX ２.０ (http://www.sei.com/algorithms/eax２０.pdf) などがある。この３次元オーディオ技術を使用することにより、ヘッドフォン、２チャンネルまたは４チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。
特開２００２−２３６０３１ ＵＳ ５，８８９，８４３ ＵＳ ６，２６２，７１１ Ｂ１ 中西 英之，吉田 力，西村 俊和，石田 亨，「FreeWalk: ３次元仮想空間を用いた非形式的なコミュニケーションの支援」，情報処理学会論文誌，Vol．３９， No．５，pp．１３５６-１３６４，１９９８。
Nakanishi，H．，Yoshida，C．，Nishimura，T．，and Ishida，T．，「FreeWalk: A ３D Virtual Space for Casual Meetings」，IEEE MultiMedia，April-June １９９９，pp．２０２８． Singer，A．，Hindus，D．，Stifelman，L．，and White，S．，「Tangible Progress: Less Is More In Somewire Audio Spaces」，ACM CHI '９９ (Conference on Human Factors in Computing Systems)，pp．１０４-１１２，May １９９９． Low，C．，and Babarit，L．，「Distributed ３D Audio Rendering」，７th International World Wide Web Conference (WWW７)，１９９８，http://www７.scu.edu.au/programme/fullpapers/１９１２/com１９１２.htm.
さて、携帯電話の通信相手が、自分と近い場所（姿が見える位置）に存在する場合であっても、発見しにくいことがある。例えば、混雑した遊園地や都心の駅などでは、通信相手の姿が見える距離で携帯電話を介して会話をしていても、通信相手を人ごみの中から発見して、近づくことは困難である。また、建設現場などでは、姿が見えない共同作業者の作業場所（配置）を把握することが必要な場合がある。
また、仮想空間上の通信相手（メディアを通してコミュニケーションしている相手）が、実空間上で近くに存在する場合、通信相手の仮想空間上での３次元オーディオ技術によるメディア音と、実空間での直接音とが異なる方向または距離から聞こえる場合がある。これにより、実空間上で近くに存在する通信相手の呼びかけに対して別の方向を向いて答えてしまう、などの不都合が発生する。
特許文献１では、地図上で相手の位置を表示しているが、音声を通じて相手の位置を認識させることについては考慮されていない。また、特許文献２、３および非特許文献１から４に記載の会議システムでは、実空間上の通信相手の位置については考慮されていない。
本発明は上記事情を考慮してなされたものであり、本発明の目的は、実空間と仮想空間とを関連付け、実空間における通信相手の相対的な位置および方向を身体感覚として把握可能な音声コミュニケーション・システムを提供することである。
上記課題を解決するために、本発明では、実空間における複数のユーザ各々の位置情報に基づいて、仮想空間における複数のユーザ各々の位置を算出する。
例えば、仮想空間を用いた複数のユーザの会話を実現する音声コミュニケーション・システムであって、複数のユーザ各々の実空間上の位置を管理するサーバ装置と、複数のユーザが使用する複数のクライアント端末とを有する。複数のクライアント端末各々は、自クライアント端末の自ユーザの実空間上の位置に関する位置情報を検知する位置検知手段と、検知手段が検知した自ユーザの実空間上の位置情報をサーバ装置に送信するクライアント送信手段と、サーバ装置から自ユーザ以外のユーザである他ユーザ各々の実空間上の位置に関する位置情報を受信するクライアント受信手段と、自ユーザおよび他ユーザ各々の実空間における位置情報に基づいて複数のユーザ各々の仮想空間における位置を算出する空間モデル化手段と、空間モデル化手段が算出した位置に基づいて他ユーザの各々の音声に適用する音響効果を制御する音響制御手段と、を有する。サーバ装置は、複数のクライアント端末各々から、クライアント端末の自ユーザの実空間上の位置情報を受信するサーバ受信手段と、サーバ受信手段が受信した複数のユーザ各々の実空間上の位置情報を記憶する記憶手段と、複数のクライアント各々に、記憶手段が記憶している前記クライアント端末の他ユーザ各々の位置情報を送信するサーバ送信手段と、を有する。
本発明によれば、実空間における通信相手の相対的な位置および方向が、通信相手の音声（メディア音）によって、身体感覚として容易に把握することができる。そのため、ユーザは、仮想空間および実空間において、自然に会話することができる。
以下に本発明の実施の形態について説明する。
図１は、本発明の一実施形態が適用された音声コミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント２０１、２０２、２０３と、プレゼンスを管理するプレゼンスサーバ１１０と、セッション制御を行うSIP プロキシサーバ１２０と、ユーザの登録・認証をおこなう登録サーバ１３０とが、インターネット等のネットワーク１０１を介して接続されている。プレゼンスは、仮想空間そのものと、仮想空間内における各ユーザの位置情報（存在感）である。
なお、本実施形態では３台のクライアントを有しているが、クライアントの数は３台に限定されず、２台または４台以上であってもよい。また、本実施形態では、ネットワーク１０１は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ１１０、SIP プロキシサーバ１２０および登録サーバ１３０は、複数個存在する。
次に、音声コミュニケーション・システムのハードウェア構成について説明する。
図２は、クライアント２０１、２０２、２０３、プレゼンスサーバ１１０、SIP プロキシサーバ１２０および登録サーバ１３０の各装置のハードウェア構成を示したものである。
クライアント２０１、２０２、２０３は、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、入力装置３０４と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、PDA（Personal Digital Assistant）、ウェアラブルコンピュータ、PC（Personal Computer）など携帯用のコンピュータシステムである。なお、入力装置３０５および出力装置３０６については、図３において後述する。
プレゼンスサーバ１１０、SIP プロキシサーバ１２０および登録サーバ１３０は、少なくともプログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
なお、上記各装置の後述する各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（クライアント２０１、２０２、２０３の場合はクライアント用のプログラム、プレゼンスサーバ１１０の場合はプレゼンスサーバ用のプログラム、SIP プロキシサーバ１２０の場合はSIP プロキシサーバ用のプログラム、そして、登録サーバ１３０の場合は登録サーバ用プログラム）を、ＣＰＵ３０１が実行することにより実現される。
次に、図３を参照しクライアント２０１の入力装置３０５および出力装置３０６と、機能構成とについて説明する。なお、クライアント２０２、２０３においても同様の構成とする。
クライアント２０１は、入力装置３０５として、マイクロフォン２１１と、カメラ２１３と、ＧＰＳ受信装置２３１と、地磁気センサ２３２と、操作部（不図示）とを有する。出力装置３０６として、３次元オーディオ技術対応のヘッドフォン２１７と、ディスプレイ２２０とを有する。ＧＰＳ受信装置２３１は、少なくとも３個のＧＰＳ衛星からのＧＰＳ信号を受信する。そして、ＧＰＳ受信装置２３１は、少なくとも３個のＧＰＳ衛星に対して、クライアント２０１とＧＰＳ衛星間の距離および距離の変化率を測定し、クライアント２０１を携帯しているユーザの実空間での現在位置を算出する。地磁気センサ２３２は、地球が保持している磁場を検出し、検出結果からクライアント２０１を携帯しているユーザの実空間での向き（方位）を算出する。なお、地磁気センサ２３２は、移動体が回転した角度を検出するジャイロであってもよい。
機能構成としては、オーディオエンコーダ２１２と、オーディオレンダラ２１６と、ビデオエンコーダ２１４、グラフィクスレンダラ２１９と、空間モデラ２２１と、プレゼンスプロバイダ２２２と、オーディオ通信部２１５と、ビデオ通信部２１８と、セッション制御部２２３と、を有する。
オーディオエンコーダ２１２は、音声をディジタル信号に変換する。オーディオレンダラ２１６は、３次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行う。ビデオエンコーダ２１４は、画像をディジタル信号に変換する。グラフィクスレンダラ２１９は、仮想空間の属性から帰結する処理を行う。空間モデラ２２１は、ＧＰＳ受信装置２３１および地磁気センサ２３２から実空間での位置情報および方位情報を受け付けて、仮想空間上でのユーザの位置や向きなどのプレゼンスを計算する。プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０との間で、前記実空間でのユーザの位置情報および方位情報を送受信する。オーディオ通信部２１５は、他のクライアントとの間でオーディオ信号をリアルタイムに送受信する。ビデオ通信部２１８は、他のクライアントとの間でビデオ信号をリアルタイムに送受信する。セッション制御部２２３は、SIP プロキシサーバ１２０を経由して、他のクライアントやプレゼンスサーバ１１０との間で、通信セションを制御する。
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間であって、プレゼンスサーバ１１０が管理している。ユーザがある仮想空間に入場すると、プレゼンスサーバ１１０は、その仮想空間の属性、および、その仮想空間に存在する他のユーザの実空間での位置情報および方位情報を送信する。そして、空間モデラ２２１は、送信されたこれらの情報と、ＧＰＳ受信装置２３１および地磁気センサ２３２から入力された自ユーザの実空間での位置情報および方位情報と、をメモリ３０２または外部記憶装置３０３に格納する。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。
つぎに、各機能の動作についてプレゼンス、音声、映像の順に説明する。
プレゼンスについては、ＧＰＳ受信装置２３１および地磁気センサ２３２が、実空間における自ユーザの位置および方位を算出し、空間モデラ２２１に自ユーザの位置情報および方位情報を入力する。空間モデラ２２１は、あらかじめプレゼンスサーバ１１０から送信された仮想空間の属性（空間の大きさ、残響特性など）と、仮想空間内の他の各ユーザの実空間の位置情報および方位情報とをメモリ３０２または外部記憶装置３０３に保持している。空間モデラ２２１は、仮想空間の属性と、実空間上の他ユーザおよび自ユーザの位置情報とから、実空間と仮想空間とのマッピングを行う。仮想空間に自ユーザと複数の他ユーザが存在する場合、空間モデラ２２１は、実空間上で自ユーザに相対的に近い他のユーザを、仮想空間上でも自ユーザに相対的に近い位置に配置する。なお、実空間から仮想空間へのマッピングは、実空間上での位置情報をスケールダウンして仮想空間上の位置とする線形マッピング（線形写像）であっても、非線形マッピング（非線形写像）であってもよい。以下に非線形マッピングについて説明する。
図４は、arctan(x)を用いた実空間と仮想空間との非線形マッピングの一例を模式的に示したものである。図示する非線形マッピングでは、共通の座標系として実空間の座標（位置情報）を使用する。図４には、実空間を示す紙面に垂直な平面ｐと、自ユーザの実空間上の位置ｕと、第３の他ユーザの実空間上の位置ｃと、が記載されている。すなわち、平面 ｐ のｕ, ｃ をふくむ切断線が紙面（図４）に記載されている。また、図４には、自ユーザの仮想空間を示す平面 ｐ に接する球 ｓ の断面と、第３の他のユーザの仮想空間を示す平面 ｐ に接する球 ｑ の断面と、が記載されている。そして、実空間の平面ｐのａ地点には第１の他ユーザが、ｂ 地点には第２の他ユーザが存在しているものとする。
この場合、空間モデラ２２１は、他ユーザとの距離 d を arctan(d/r) （r は定数) すなわち球 ｓ 上の円弧の長さ (の定数倍) に変換する。具体的には、実空間上 ａ 地点にいる (自ユーザからの実空間上での距離がｕ から ａ までの線分の長さである) 第１の他ユーザを仮想空間上の ａ' 地点に (自ユーザからの距離がｕ から ａ' までの円弧の長さになるように)、マッピング（配置）する。また、空間モデラ２２１は、同様に、実空間上ｂ地点にいる第２の他ユーザを仮想空間上のｂ'地点に、実空間上ｃ地点にいる第３の他ユーザを仮想空間上のｃ'地点に、マッピング（配置）する。すなわち、空間モデラ２２１は、実空間である平面ｐの各地点を、仮想空間である球面上ｓ に座標変換する。なお、上記の説明においては、紙面（図面）の都合上、他ユーザはすべて前記の切断線上に存在するものとした。しかしながら、２人以上の他ユーザが、自ユーザをふくむ同一直線上に存在しない場合であっても、３次元空間上において同様にマッピングすることができる。
また、実空間上で図示しない無限遠点に他ユーザが存在する場合は、仮想空間上のｄ´地点に当該ユーザをマッピング（配置）する。このように無限遠を有限距離にマッピングすることにより、同一の仮想空間上に存在する他ユーザがどんなに遠い距離にいる場合であっても会話をすることができる。なお、空間モデラ２２１は、仮想空間である球ｓ の上部半球を、平らにのばした状態で各地点ａ'、ｂ'、ｃ'、ｄ'をマッピングする。
また、空間モデラ２２１は、仮想空間である球 ｓ の半径 r (または、半径rの定数倍の数) を仮想空間属性として、メモリ３０２または外部記憶装置３０３に保持している。そして、空間モデラ２２１は、メモリ等３０２、３０３に保持している球ｓ の半径 rを用いて仮想空間である球ｓを設定する。なお、仮想空間属性である球ｓ の半径 rは、プレゼンスサーバ１１０によって管理され、各クライアントの空間モデラ２２１に通知される。すなわち、同じ仮想空間上に存在する全てのユーザの仮想空間である球 ｓ の半径 rは一致している。これにより、各ユーザの距離に関する感覚を一致させることができる。
また、球ｑは、実空間上のｃ地点に存在する第３の他ユーザの仮想空間である。第３の他ユーザの空間モデラ２２１は、自ユーザの空間モデラ２２１と同様に、arctan(x)を用いて、実空間上でｕ地点にいる自ユーザを、仮想空間上のｕ' '地点にマッピング（配置）する。
そして、空間モデラ２２１は、仮想空間上にマッピングされた各ユーザの方位情報を用いて、各ユーザの方向を設定する。なお、地磁気センサ２３２の方向とユーザの方向とが一致していない場合（地磁気センサ２３２の装着位置が固定されていない場合など）、または、磁気の乱れのために地磁気センサ２３２が正確に方位を指示しない場合には、以下の操作を行うことも考えられる。たとえば、正確に方位を指示させるために、ユーザが、特定の方位 (たとえば北) を向いて操作部２２６（図８参照）のリセットボタンを押す。空間モデラ２２１は、リセットボタンからの信号を受けて、その時点での方向を、前記の特定の方位とみなすように地磁気センサ２３２からの出力を補正する。また、上記のような絶対方位（特定方位）に基づく補正のかわりに、他ユーザの実空間上での方向と仮想空間上での方向とを一致させる方法が考えられる。たとえば、ユーザが、近傍にいる他ユーザの方向を向いてリセットボタンを押すことによって、実空間上での方向と仮想空間上での相対的な方向とを一致するように補正することもできる。このような複数の補正方法がクライアントに実装されている場合には、ユーザはまず方法を選択してからリセットボタンを押す。
なお、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、自ユーザの実空間における位置情報および方位情報をプレゼンスサーバ１１０に送信する。また、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、他のユーザの実空間における位置情報および方位情報を、プレゼンスサーバ１１０から受信する。すなわち、空間モデラ２２１は、ネットワーク１０１を経由して、他のユーザの実空間における位置情報および方位情報を受信するため、他のユーザの仮想空間内の位置や向きに関しては、遅延やジッタの発生が避けられない。一方、自ユーザの位置や向きに関しては、ＧＰＳ受信装置２３１および地磁気センサ２３２から空間モデラ２２１に直接入力されるため、遅延はほとんど発生しない。
音声については、マイクロフォン２１１がクライアント２０１を使用するユーザの音声を収集し、オーディオエンコーダ２１２に送付する。そして、オーディオエンコーダ２１２は、前記の音声をディジタル信号に変換してオーディオレンダラ２１６に出力する。また、オーディオ通信部２１５は、他の１台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ２１６に出力する。
オーディオレンダラ２１６には、オーディオエンコーダ２１２およびオーディオ通信部２１５から出力されたディジタルの出力信号が入力される。そして、オーディオレンダラ２１６は、３次元オーディオ技術を使用して、空間モデラ２２１が保持する聴覚的な仮想空間属性、および、仮想空間上にマッピングされた自ユーザおよび他ユーザの位置にもとづいて、仮想空間上でどのように他ユーザ（通信相手）の音声が聞こえるかを計算する。以下、図５、６を用いて、オーディオレンダラ２１６について具体的に説明する。
図５は、通信相手（他ユーザ）である音源の方向および距離を模式的に示した図である。図５では、人を真上から示した人頭１と、通信相手である音源２とを示している。人頭１は、向きを示すために鼻１１を有している。すなわち、人頭１は、鼻１１が付加されている方向３に向いている。３次元オーディオ技術においては、おもに人頭１のまわりでの音響の変化のしかた (インパルス応答) をあらわす HRIR (Head Related Impulse Response) と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。そして、HRIR は、音源２と人頭１との距離４、および、人頭１と音源との角度 (水平角度および垂直角度)５ によって決定される。なお、メモリ３０２または外部記憶装置３０３には、あらかじめダミーへッド（人頭１）を使用して各距離および各角度毎に測定したHRIRの数値が記憶されているものとする。また、HRIRの数値には、左チャネル用（ダミーヘッドの左耳で測定したもの）と、右チャネル用（ダミーヘッドの右耳で測定したもの）とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。
図６は、オーディオレンダラ２１６の処理を示した図である。オーディオレンダラ２１６は、各音源（他ユーザ）に関して RTP (Real-time Transport Protocol) によって受信される 1 パケットごと (通常は 20 ms ごと) に、下記の計算をおこなう。図示するように、オーディオレンダラ２１６は、各音源に関して、信号列 si[t] (t = 1, ...) および音源の仮想空間内での座標 (xi, yi) の入力を受け付ける（Ｓ６１）。なお、仮想空間内での各音源の座標については、空間モデラ２２１から入力される。空間モデラ２２１は、仮想空間上に各音源（他ユーザ）をマッピング（配置）した後、各音源の座標（仮想空間の位置情報）をオーディオレンダラ２１６に入力する。また、各音源の信号列は、オーディオ通信部２１５から入力される。
そして、オーディオレンダラ２１６は、入力された座標を用いて、自ユーザと音源との距離および角度 (azimuth) を、音源ごとに計算する（Ｓ６２）。なお、自ユーザは、仮想空間の中心（座標（0,0））に存在するものとする。そして、オーディオレンダラ２１６は、自ユーザとの距離および角度 (azimuth)に対応するHRIR を、メモリ３０２または外部記憶装置３０３にあらかじ記憶されたHRIRの数値の中から特定する（Ｓ６３）。なお、オーディオレンダラ２１６は、メモリ３０２等に記憶されたHRIRの数値を補間することによって算出したHRIRの数値を使用することとしてもよい。
そして、オーディオレンダラ２１６は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの左チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、左チャネル信号を生成する（Ｓ６４）。そして、オーディオレンダラ２１６は、各音源からの左チャネル信号を全て加算する（Ｓ６５）。また、オーディオレンダラ２１６は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの右チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、右チャネル信号を生成する（Ｓ６６）。そして、オーディオレンダラ２１６は、各音源からの右チャネル信号を全て加算する（Ｓ６７）。
次に、オーディオレンダラ２１６は、加算後の左チャネルの信号に残響を付加する（Ｓ６８）。すなわち、オーディオレンダラ２１６は、仮想空間の属性による音響の変化の仕方 (インパルス応答) にもとづいて残響を計算する。残響の計算には、FIR (有限インパルス応答) とよばれる計算法と、IIR (無限インパルス応答) とよばれる計算法がある。これらの計算法は、ディジタルフィルタに関する基本的な方法であるため、ここでは説明を省略する。また、オーディオレンダラ２１６は、加算後の右チャネルの信号に、左チャネルと同様に残響を付加する（Ｓ６９）。HRIR の特定（Ｓ６３）および残響の計算（Ｓ６８、Ｓ６９）は、前記のように１パケットごとにおこなうが、たたみこみ計算（Ｓ６４、Ｓ６６）においては、つぎのパケットに繰り越すべき部分が生じる。そのため、特定したHRIRまたは入力された信号列をつぎのパケットの処理まで保持する必要がある。
このように、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手のユーザの音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリングなどの処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と通信相手との相対的な位置から帰結する処理によって、音声を定位させ、再生する。これにより、直接は音声が聞こえない通信相手のいる方向を身体感覚的に容易に把握することができる。
なお、オーディオレンダラ２１６は、必要に応じて、オーディオエンコーダ２１２からの出力された自ユーザ音声に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行ったうえで、クライアント２０１を使用するユーザの頭部の位置にレンダリングすることとしてもよい。オーディオレンダラ２１６により生成された自ユーザの音声は、ヘッドフォン２１７に出力され、これを自ユーザが聴取する。すなわち、自ユーザの音声の直接音を自ユーザに聴取させると奇異な印象をあたえることがあり、とくに遅延が大きいと自らの発声に支障を与えるため、通常は自ユーザに自ユーザ自身の音声を聴取させない。しかしなから、直接音については聴取させず、遅延を数 10 ms の範囲におさえた残響だけを聴取させることも可能である。これによって、自ユーザの仮想空間内での位置や仮想空間の大きさに関する身体感覚を把握させることができる。
画像については、カメラ２１３がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ２１４に送付する。そして、ビデオエンコーダ２１４は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ２１９に出力する。また、ビデオ通信部２１８は、他の１台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ２１９に出力する。次に、グラフィクスレンダラ２１９は、ビデオエンコーダ ２１４ およびビデオ通信部２１８からのディジタルの出力信号を入力する。
そして、グラフィクスレンダラ２１９は、空間モデラ２２１が保持する視覚的な仮想空間属性、仮想空間における通信相手の位置および自分の位置にもとづいて、仮想空間上でどのように通信相手が見えるかを計算（座標変換）する。次に、グラフィクスレンダラ２１９は、ビデオ通信部２１８から出力される通信相手のユーザの画像に対して、前記計算により自分の位置から見た視点で仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。このグラフィクスレンダラ２１９により生成された映像は、ディスプレイ２２０に出力され、クライアント２０１を使用するユーザの視点からの映像に再生され、ユーザは必要に応じてディスプレイ２２０の出力を参照する。
図７は、ディスプレイ２２０に表示される仮想空間の一例である。図４に示す表示内容は、クライアント２０１を使用する自ユーザが、クライアント２０２およびクライアント２０３を使用する第１および第２の他ユーザと、仮想空間を共有している場合を例にしたものである。図示する例では、平面図で仮想空間を表示したものである。空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している仮想空間の属性、仮想空間内における自らの位置および他のユーザの情報をもとに、真上から仮想空間に配置されたクライアント２０１の自ユーザを表現する自アバタ４１１と、通信相手のユーザを表現する第１の他アバタ４１２および第２の他アバタ４１３と、を眺めることで得られる２次元画像を表示している。グラフィクスレンダラ２１９は、クライアント２０１の自ユーザの位置と向きを固定し、自ユーザを中心として仮想空間や仮想空間中の他のユーザが相対的に移動し回転するように表示する。実空間上で自ユーザが移動または向きが変更した場合は、ＧＰＳ受信装置２３１または地磁気センサ２３２からの入力を受けて空間モデラ２２１が仮想空間のマッピングを行うことにより、仮想空間や仮想空間中の他のユーザが相対的に移動・回転した画面がリアルタイムで表示される。また、図示する例では、北を示す方位情報４２０が表示されている。
これにより、自ユーザと、通信相手である他ユーザ（クライアント２０２、２０３）との仮想空間における位置関係を表現することができる。また、自ユーザの向きを前方に固定することにより、音声とグラフィクス表示との整合性が確保され、他ユーザの位置・方向を身体感覚として把握することができる。また、自ユーザの背後に存在する他ユーザも表示することができるため、背後から接近する他ユーザも見落とす危険が少ないという利点がある。
なお、図示していないが、ディスプレイ２２０上に縮尺を表示することにより、他ユーザとの仮想空間上の距離も正確に表現することができる。たとえば、複数の縮尺の候補のなかからラジオボタン等によって縮尺を選択できるようにしたり、スクロールバースライダー（scroll bar slider）によって縮尺を連続的に変更できるようにすることが考えられる。これらのボタンやスクロールバースライダーを操作すると即時に表示された平面図の縮尺が変更されるようにすることによって、遠方の様子を確認したり、部屋内（仮想空間内）での自ユーザの位置を確認したり、あるいは近傍をより詳細に観察したりすることができる。
また、図示していないが、クライアント２０１のカメラ２１３が撮影した自ユーザの映像はアバタ４１１に、クライアント２０２のカメラ２１３が撮影した第１の他ユーザの映像はアバタ４１２に、クライアント２０３のカメラ２１３が撮影した第２の他ユーザの映像はアバタ４１３に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャも回転するので、第１および第２のユーザが仮想空間内でどの向きを向いているか把握できる。
なお、音声または画像のリアルタイム通信には、IETF (Internet Engineering Task Force) が発行したドキュメントRFC 3550に記述されたプロトコルであるRTP(Real-time Transport Protocol) が使用される。音声または画像の通信において、多少の遅延増加が許される場合は、オーディオ通信部２１５またはビデオ通信部２１８と、他のクライアントとの通信は、音声または画像の通信を行う通信プロキシサーバを別に設けて、この通信プロキシサーバを経由して、他のクライアントとの音声または画像の通信を行うこともできる。
以上で、図２のクライアント２０１の説明を終了する。なお、クライアント２０１ のなかで、マイクロフォン ２１１、カメラ ２１３、ＧＰＳ受信装置２３１および地磁気センサ２３２、ヘッドフォン２１７ およびディスプレイ ２２０ はハードウェアによって実現される。また、オーディオエンコーダ ２１２およびビデオエンコーダ ２１４は、ソフトウェア、ハードウェアまたはこれらの組み合せによって実現される。また、オーディオ通信部 ２１５、ビデオ通信部 ２１８、空間モデラ ２２１ およびセッション制御部２２３ は、通常、ソフトウェアによって実現される。
次に、図８を参照し、クライアント２０１、２０２、２０３の種類を例示する。
図８（ａ）に示すクライアントは、PDAまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体２３０は、カメラ２１３、ディスプレイ２２０、操作部２２６、アンテナ２３７および、ＧＰＳ受信装置２３１を有する。また、本体２３０に接続されたヘッドセットは、ヘッドフォン２１７、マイクロフォン２１１および地磁気センサ２３２を有する。地磁気センサ２３２をヘッドフォン２１７内（ヘッドバンド上部等）に設置することにより、ユーザに対して常にほぼ一定の角度（前方に向いて）で地磁気センサ２３２を装着することができる。操作部２２６は、クライアント２０１に各種の指示を入力するための指示ボタン２４１〜２４５を有する。なお、指示ボタン２４１〜２４５には、ヘッドセットを装着する際にヘッドフォン２１７に設置された地磁気センサ２３２の方向を合わせるためのリセットボタンが含まれている。また、図示するヘッドセットは、本体２３０に有線接続されているが、BluetoothまたはIrDA(赤外線)などにより無線接続することも可能である。また、当該クライアントは、アンテナ２３７を用いて無線LANによりネットワーク１０１に接続する。
図８（ｂ）に示すクライアントは、ウェアラブル・コンピュータの例を示したものである。眼鏡のつるのようなクライアント本体２４１は、マイクロフォン２１１、カメラ２１３、ヘッドフォン２１７、ディスプレイ２２０、ＧＰＳ受信装置２３１、および、地磁気センサ２３２を有する。ディスプレイ２２０は、ヘッドマウントディスプレイであり、このクライアント本体２４１を装着するユーザの数１０cm前方に仮想的な映像を結像するか、あるいは、ユーザの前方に３次元の映像を結像する。なお、図８（ｂ）のクライアントは、有線または無線で接続された図示しない操作部２２６を有する。
次に、図９から図１２を参照し、クライアント２０１における処理手順を説明する。
図９は、クライアント２０１ をネットワーク １０１ に接続するときの処理手順である。図示する接続手順は、クライアント２０１の電源投入時に実行される。まず、セッション制御部２２３は、ユーザの識別情報および認証情報を含むログインメッセージを、SIP プロキシサーバ１２０ に送信する（Ｓ９０１）。SIP プロキシサーバ１２０ は、ログインメッセージを受け付け、登録サーバ１３０ に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ１３０は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ１１０ にユーザの識別情報を送付する。クライアントと登録サーバ１３０ との通信には、IETF のドキュメント RFC 3261 において規定されたプロトコル SIP (Session Initiation Protocol) の REGISTER メッセージを使用することが考えられる。クライアントは、SIP プロキシサーバ１２０を経由して、REGISTER メッセージを定期的に登録サーバ１３０に送信する。
また、クライアント２０１のプレゼンスプロバイダ ２２２と、プレゼンスサーバ１１０ との通信には、IETF のドキュメント RFC 3265に記述された SIP の SUBSCRIBE メッセージを使用することができる。SUBSCRIBE メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するイベント要求メッセージである。プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ に対して、プレゼンスサーバ１１０が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベントの通知を要求する。なお、プレゼンスプロバイダ２２２ は、SUBSCRIBE メッセージを使用する場合には、セッション制御部２２３およびSIP プロキシサーバ１２０ を経由してプレゼンスサーバ１１０ と通信を行う。
つぎに、プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ から部屋リストを受け取る（Ｓ９０２）。なお、Ｓ９０１において、 SUBSCRIBE メッセージを使用した場合には、イベント通知メッセージとして NOTIFY メッセージを用いて前記の部屋リストが送られる。そして、プレゼンスプロバイダ ２２２は、受け取った部屋リストをディスプレイ ２２０ に表示する（Ｓ９０３）。
図１０は、ユーザがディスプレイ ２２０ に表示された部屋リストの中から入場したい部屋を選択したときのクライアント２０１ の処理手順を示す。クライアント２０１のプレゼンスプロバイダ ２２２ は、操作部２２６を用いて入力された部屋の選択指示を受け付ける（Ｓ１００１）。そして、プレゼンスプロバイダ ２２２ は、プレゼンスサーバ１１０ に入場メッセージ (enter) を送信する（Ｓ１００２）。入場メッセージには、自ユーザの識別情報と、自ユーザの実空間内における位置情報および方位情報とが含まれる。なお、自ユーザの位置情報および方位情報は、ＧＰＳ受信装置３２１および地磁気センサ３２２が算出して、空間モデラ２２１に入力される。そして、空間モデラ２２１は、入力された位置情報および方位情報を、メモリ３０２または外部記憶装置３０３に記憶する。プレゼンスプロバイダ２２２は、メモリ３０２または外部記憶装置３０３に記憶された位置情報および方位情報を読み出し、入場メッセージに含めて送信する。
入場メッセージの送信は、SIP の SUBSCRIBE メッセージを使用することもできる。すなわち、選択した部屋を受信者をとする SUBSCRIBE メッセージを入場メッセージとして使用する。SUBSCRIBE メッセージは、当該選択した部屋の仮想空間において発生したイベント（例えば、ユーザの入退場または移動、仮想空間属性の変更など）の通知を要求する。
次に、プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０ から選択した部屋に入場している他ユーザの入場者リストを受け取る（Ｓ１００３）。入場メッセージとして SUBSCRIBE メッセージを使用した場合は、これに対応する NOTIFY メッセージの形式で、プレゼンスプロバイダ２２２に入場者リストが送られる。なお、入場者リストには少なくとも、部屋に入場している他ユーザの識別情報と、実空間内における位置情報および方位情報と、指定された部屋の仮想空間属性と、が含まれているものとする。仮想空間属性には、図４に示す仮想空間である球ｓの半径ｒまたは当該半径ｒの定数倍の数（以下、「仮想空間半径等」）が含まれる。
なお、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ２２２がプレゼンスサーバ１１０にユーザ識別情報を含んだ退場メッセージを送信する。
図１１は、ユーザがプレゼンスを変更する場合、すなわち実空間において移動した場合の処理手順である。まず、空間モデラ２２１は、ＧＰＳ受信装置２３１および地磁気センサ２３２から位置情報および方位情報（以下、「位置情報等」）の入力を受け付ける（Ｓ１１０１）。そして、空間モデラ２２１は、メモリ３０２または外部記憶装置３０３（以下、「メモリ等」）に記憶されている位置情報等と、Ｓ７１１で受け付けた位置情報等とを比較し、両者が異なるか否かを判別する（Ｓ１１０２）。なお、メモリ等には、ＧＰＳ受信装置２３１および地磁気センサ２３２から前回入力された位置情報等が記憶されている。
受け付けた位置情報等がメモリ等に記憶された位置情報等と同じ場合、すなわち、自ユーザが実空間において移動せず、かつ、向きも変わっていない場合（Ｓ１１０２：ＮＯ）、空間モデラ２２１は、以降の処理を行わず、Ｓ１１０１に戻る。
受け付けた位置情報等がメモリ等に記憶された位置情報等と異なる場合、すなわち、自ユーザが実空間において移動、または、向きを変えた場合（Ｓ１１０２：ＹＥＳ）、空間モデラ２２１は、受け付けた位置情報等をメモリ等に記憶する。そして、空間モデラ２２１は、移動後の位置情報等を用いて、仮想空間のマッピングまたは自ユーザの向きを変更する（Ｓ１１０３）。仮想空間のマッピングは、図４において説明した実空間と仮想空間の非線形マッピングである。空間モデラ２２１は、自ユーザを仮想空間の中心に配置し、同一仮想空間内に存在する他のユーザの位置を非線形に再配置する。
次に、空間モデラ２２１は、移動後の仮想空間の位置情報等をオーディオレンダラ２１６、グラフィクスレンダラ２１９ およびプレゼンスプロバイダ ２２２ に通知する（Ｓ１１０４）。オーディオレンダラ２１６は、図６で説明したように、実空間の位置情報等に基づいてマッピングされた仮想空間内の自ユーザの位置および向きにおいて、どのように通信相手である他ユーザの音声が聞こえるかを計算する。そして、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手の他ユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント２０１を使用する自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、３次元音響を更新する。また、グラフィクスレンダラ２１９は、実空間の位置情報に基づいてマッピングされた仮想空間内の自ユーザの位置および自ユーザの向きに基づいて視点を変更し、仮想空間上でどのように通信相手が見えるかを計算（座標変換）する（図７参照）。そして、グラフィクスレンダラ２１９は、当該位置および向きからの眺めで画面上に出力するイメージデータを作成し、表示画面を更新する。
次に、プレゼンスプロバイダ２２２は、移動後の実空間上の位置情報等をプレゼンスサーバ１１０ に通知する（Ｓ１１０５）。SIP プロトコルを使用する場合は、 NOTIFY メッセージを使用する。なお、NOTIFY メッセージは、通常 SUBSCRIBE メッセージを受信した結果として送信される。そのため、プレゼンスサーバ１１０ がクライアント２０１ から入場メッセージを受信した際に、入場者リストを返信するとともに、前記 NOTIFY メッセージに対応する SUBSCRIBE メッセージを送信することが考えられる。なお、プレゼンスサーバ１１０は、プレゼンスプロバイダ ２２２ から通知された実空間上の位置情報等を受け付け、入場者リストにおける当該ユーザの位置情報等を更新する。
図１２は、プレゼンスの変更入力、すなわち、プレゼンスサーバ１１０ がクライアント２０１に他のユーザの実空間の位置情報等を通知した場合の処理手順を示したものである。
空間モデラ２２１は、プレゼンスプロバイダ ２２２を介して、他のクライアントの他ユーザの実空間上の位置情報等をプレゼンスサーバ１１０から受け付ける（Ｓ１２０１）。なお、プレゼンスサーバ１１０は、図１１のＳ１１０５においてクライアント２０１から送信された位置情報等を、当該送信元のクライアント以外のクライアントに通知（送信）する。そして、空間モデラ２２１は、通知された実空間の位置情報等をメモリ等に記憶部に記憶する。そして、空間モデラ２２１は、通知された位置情報等を用いて、他ユーザを仮想空間上にマッピング、または、他ユーザの向きを変更する（図４参照）。そして、空間モデラ２２１は、オーディオレンダラ２１６およびグラフィクスレンダラ２１９に、移動後の仮想空間の位置情報等を通知する（Ｓ１２０３）。オーディオレンダラ２１６ およびグラフィクスレンダラ２１９ は、図１１のＳ１１０４で説明したように、通知された他ユーザの位置および向きにもとづいて、当該他ユーザの３次元音響および表示画面を更新する。
次にプレゼンスサーバ１１０ の機能構成および処理手順について説明する。なお、登録サーバ１３０ および SIP プロキシサーバ１２０ については、 SIP を使用する従来の通信と同じため、説明を省略する。
図１３は、プレゼンスサーバ１１０ の機能構成を示す。プレゼンスサーバ１１０は、クライアントと各種情報の送受信をするためのインタフェース部１１１と、クライアントからのメッセージ種別を判定する判定部１１２と、判定結果に応じた処理を行う処理部１１３と、仮想空間の属性、仮想空間で発生したイベント（ユーザの入退場、移動等）、部屋リスト、入場者リスト等を、管理し記憶する記憶部１１４とを有する。記憶部１１４には、あらかじめ、プレゼンスサーバ１１０が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する（図９、図１０参照）。その後、クライアントは、仮想空間に入場したユーザの各種のイベントをプレゼンスサーバ１１０に送信する。これにより各仮想空間内には、各種のイベントが発生する。なお、記憶部１１４はこれらの情報をメモリ３０２または外部記憶装置３０３に記憶する。
図１４は、プレゼンスサーバ１１０ の処理手順を示したものである。プレゼンスサーバ１１０ は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ１１０ が停止するまで行う。まず、インタフェース部１１１は、クライアントからのメッセージを待つ（Ｓ１４１１）。メッセージを受信すると、判定部１１２は、インタフェース部１１１が受け付けたメッセージの種類を判定する（Ｓ１４１２）。
メッセージがログインメッセージの場合、処理部１１３は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部１１１に指示する（Ｓ１４２１）。インタフェース部１１１は、部屋リストをメッセージ送信元のクライアントに送信し、その後Ｓ１４１１に戻り、次のメッセージを待つ。
メッセージが入場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを、指定された部屋の入場者リストに追加する（Ｓ１４３１）。すなわち、処理部１１３は、入場メッセージに含まれている、当該ユーザの識別情報と、当該ユーザの実空間上の位置情報および方位情報と、を入場者リストに追加する。次に、処理部１１３は、指定された部屋の全入場者（但し、当該ユーザ以外）の識別情報と実空間上の位置情報および方位情報と、をメッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。また、処理部１１３は、指定された部屋の仮想空間属性を、メッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。仮想空間属性には、図４に示す仮想空間である球ｓの半径ｒまたは当該半径ｒの定数倍の数（以下、「仮想空間半径等」）が含まれる。インタフェース部１１１は、前記指示に従い送信元クライアントに送信する（Ｓ１４３２）。そして後述するＳ１４３６に進む。
移動メッセージの場合、処理部１１３は、入場者リストにおけるメッセージ送信元クライアント（ユーザ）の実空間上の位置情報および方位情報を更新する（Ｓ１４３５）。なお、実空間上の位置情報および方位情報は、移動メッセージに含まれている。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアントに（但し、メッセージ送信元クライアントは除く）、メッセージ送信元クライアントのユーザの識別情報と、実空間上の位置情報および方位情報と、を通知するようインタフェース部１１１に指示する（Ｓ１４３６）。インタフェース部１１１は、前記指示に従いクライアントに送信し、Ｓ１４１１に戻る。なお、入場メッセージの場合（Ｓ１４３１）も、同様である。
退場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを入場者リストから削除する（Ｓ１４４１）。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアントに（但し、メッセージ送信元クライアントは除く）、当該ユーザが部屋から退場したことを通知するようにインタフェース部１１１に指示する（Ｓ１４４２）。インタフェース部１１１は、前記指示に従いクライアントに送信し、Ｓ１４１１に戻る。
なお、図示しないが、プレゼンスサーバ１１０ は、プレゼンスサーバ１１０の管理者からの要求（入力）を受け付けて、仮想空間属性を変更することとしてもよい。例えば、判定部１１２は、プレゼンスサーバ１１０の入力手段３０５から入力された仮想空間半径等の変更指示を受け付ける。この仮想空間半径等の変更指示には、変更対象の部屋を識別する識別情報と、変更後の仮想空間半径等とが含まれる。そして、処理部１１３は、記憶部１１４に記憶された変更対象の部屋の仮想空間半径等を変更する。そして、処理部１１３は、記憶部１１４に記憶された入場者リストを読み出し、変更対象の部屋に入場している全てのユーザのクライアントに変更後の仮想空間半径等を通知する。通知を受けたクライアントの空間モデラ２２１は、図４に示す変更後の仮想空間半径等の球ｓ上に、実空間上の各ユーザをマッピングする。
以上で本発明の一実施形態について説明した。
本実施形態の音声コミュニケーション・システムでは、各ユーザの実空間の位置および方向に基づいて各ユーザを仮想空間上にマッピングする。これにより、実空間では音声（直接音）が聞こえない離れた場所にいる通信相手であっても、当該通信相手の音声（メディア音）によって、当該通信相手の相対的な位置・方向を身体感覚として容易に把握することができる。そのため、人ごみの中でも、通信相手を容易に発見し、また、通信相手に近づくことができる。
また、本実施形態では、通信相手の存在する方向が、実空間と仮想空間とで一致している。そのため、実空間での音声（直接音）が聞こえる至近距離に通信相手が存在する場合であっても、実空間上の音声（直接音）と、仮想空間上での音声（メディア音）とが異なる方向から聞こえることがない。したがって、仮想空間上での音声（メディア音）の呼びかけに対して、別の方向を向いて答えるなどの不都合が生じない。
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
例えば、本実施形態のクライアント２０１は、カメラ２１３、ビデオエンコーダ２１４等を有し、ディスプレイ２２０に仮想空間のイメージデータを出力する。しかしながら、本発明は、音声による通信を主とした音声コミュニケーション・システムであるため、クライアント２０１は、ディスプレイ２２０に仮想空間のイメージデータを出力しなくてもよい。この場合、クライアント２０１は、カメラ２１３、ビデオエンコーダ２１４、ディスプレイ２２０等を有しない。
また、本実施形態のグラフィクスレンダラ２１９は、平面図（2次元データ）を用いて、仮想空間を表現している（図７参照）。しかしながら、グラフィクスレンダラ２１９は、３次元グラフィクス技術を使用して、より明確な仮想空間表示をおこうこととしてもよい。すなわち、空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自ユーザおよび他のユーザの位置および方向などの３次元のデータから２次元画像を作成し、ディスプレイ２２０に表示することとしてもよい。
また、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手のユーザの音声（メディア音）に、以下の処理を行うこととしてもよい。例えば、オーディオレンダラ２１６は、メディア音に、実際の音声（直接音）ではありえないインパルス応答をもつフィルタリングを行う。または、オーディオレンダラ２１６は、実際の音声（直接音）とは異なった、音源との距離感を認識させるための残響を通信相手のユーザの音声（メディア音）に付加する。または、オーディオレンダラ２１６は、通信相手のユーザの音声（メディア音）に、ノイズを付加する。これにより、実空間内で実際の音声（直接音）が聞こえる至近距離に通信相手のユーザが存在する場合であっても、通信相手の音声が、直接音であるかメディア音であるかを容易に判別することができる。
また、実空間上で実際の音声（直接音）が聞こえる距離に通信相手が存在する場合、通信相手の実際の音声（直接音）とオーディオ通信部２１５から出力される音声（メディア音）との両方が聞こえる。この場合、メディア音の遅延が小さいとメディア音によって定位し、逆に、メディア音の遅延が大きすぎると直接音とは無関係の独立した音源として聞こえるなどにより混乱が生じる。そのため、所定の至近距離に通信相手が存在する場合、オーディオレンダラ２１６は、通信相手の音声（メディア音）の遅延時間を一定の範囲に制御することとしてもよい。メディア音の遅延は、直接音より大きくかつ一定の範囲内であれば、メディア音は直接音の残響（エコー）として聞こえるため、直接音によって定位し、混乱の発生を防止することができる。また、オーディオレンダラ２１６は、所定の至近距離に存在する通信相手の音声（メディア音）の音量を、一定量または一定の割合、下げることとしてもよい。これにより、メディア音しか聞こえない遠方の通信相手の音量とバランスをとることができる。
なお、実空間上で、直接音が聞こえる所定の至近距離に通信相手が存在するか否かは、無線通信技術のBluetoothを用いることが考えられる。すなわち、Bluetoothによってデータの送受信が可能な場合は、所定の至近距離に通信相手が存在すると判別する。
また、本実施形態のクライアントは、ＧＰＳ受信装置２３１および地磁気センサ２３２を用いて、ユーザ（クライアント）の位置および方位を検出する。しかしながら、ユーザ（クライアント）の位置および方位を検出するために、センサーネットを用いることとしてもよい。センサーネットを用いることで、ユーザが屋内でクライアントを使用する場合であっても、ユーザの位置および方位を検出することができる。
また、本実施形態ではクライアント各々が、直接、音声通信をおこない、他のクライアントから入力された音声を３次元化する（図６参照）。しかしながら、クライアントの処理能力および通信能力が低い場合は、これらの処理をサーバが行うこととしてもよい。すなわち、図１の示すネットワーク構成に新たな音響サーバを追加することが考えられる。以下に、音響サーバを有する実施形態について説明する。
図１５は、音響サーバを有する実施形態のネットワーク構成図である。図示するネットワーク構成は、音響サーバ１４０を有する点において、図１のネットワーク構成と異なる。また、各クライアント２０１、２０２、２０３は、図３に示すクライアントの構成と以下の点において異なる。すなわち、オーディオレンダラ２１６ は、音声３次元化の処理（図６参照）を行わない単純な音声デコーダである。また、オーディオ通信部２１５は、他のクライアントと直接通信するかわりに、音響サーバ１４０と通信する。
図１６は、音響サーバ１４０の構成図である。図示するように、音響サーバ１４０は、オーディオ受信部１４１と、オーディオレンダラ１４２と、ミキサ１４３と、オーディオ送信部１４４と、をそれぞれ少なくとも１つ有する。すなわち、音響サーバ１４０は、クライアントの数だけ（すなわち、クライアント毎に）これらの処理部１４１〜１４４を有するものとする。なお、音響サーバ１４０は、オーディオ受信部１４１、オーディオレンダラ１４２、ミキサ１４３およびオーディオ送信部１４４を、クライアントの数だけ有することなく、それぞれ1つのプログラムまたは装置を時分割で使用することによって実現することとしてもよい。
また、音響サーバ１４０は、空間モデラ１４５を有する。空間モデラ１４５は、プレゼンスサーバ１１０から、実空間上における各ユーザの位置および仮想空間の属性（仮想空間半径等）を受信し、図３に示すクライアントの空間モデラ２２１と同様の処理により、仮想空間上の各ユーザの位置をマッピング（配置）する。
オーディオ受信部１４１は、各クライアントのオーディオ通信部２１５から入力された音声を受信する。オーディオレンダラ１４２は、音声３次元化を行い、各クライアントに対応して、それぞれ２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を、クライアント毎に対応付けられた各ミキサ１４３に出力する。すなわち、オーディオレンダラ１４２は、空間モデラ１４５が配置した仮想空間上の各ユーザの位置に基づいて、図３に示すクライアントのオーディオレンダラ２１６の音源の入力（図６：Ｓ６１）、距離・角度の計算（Ｓ６２）、ＨＲＩＲの特定（Ｓ６３）、および、たたみこみ計算（Ｓ６４、Ｓ６６）と、同様の処理を行う。ミキサ１４３は、各オーディオレンダラ１４２から２チャンネルの信号データを受け付けて、図３に示すクライアントのオーディオレンダラ２１６のミキシング処理(Ｓ６５、Ｓ６７)および残響計算(Ｓ６８、Ｓ６９)と同様の処理を行う。そして、ミキサ１４３は、オーディオ送信部１４４に、２チャンネルの信号データを出力する。オーディオ送信部１４４は、この信号データをクライアントに送信する 。
次にプレゼンスサーバ１１０とクライアントの処理について説明する。プレゼンスサーバ１１０は、図１４のＳ１４３２、Ｓ１４３６およびＳ１４４２において、各クライアントにユーザ名、当該ユーザの位置および仮想空間半径等を通知する際に、あわせて音響サーバ１４０にも、ユーザ名、当該ユーザの位置および仮想空間半径等を通知する。これにより、各クライアントは、部屋に入場すると音響サーバ１４０の既定の通信ポートとの間で (または、入場時にプレゼンスサーバ１１０から通知されるポートとの間で) 音声通信を行う。すなわち、各クライアントのオーディオ通信部２１５は、音響サーバ１４０に１チャンネルの音声ストリームを送信し、音響サーバ１４０から２チャンネルの音声ストリームを受信する。
次に音響サーバ１４０の処理について説明する。クライアント毎に対応付けられたオーディオ受信部１４１各々は、各クライアントから音声ストリームを受信し、バッファリングすることによって全入力クライアントからの音声ストリーム間で同期させた (対応づけた) 信号データを、クライアント毎に対応付けられたオーディオレンダラ１４２に送る。このバッファリング (プレイアウト・バッファリング) の方法については、たとえば次の文献に記述されている。
Colin Perkins 著: RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003).
そして、オーディオレンダラ１４２は、空間モデラ１４５が配置した仮想空間上の各ユーザの位置に基づいて、距離・角度の計算と、ＨＲＩＲの特定、たたみ込み計算（図６：Ｓ６２〜Ｓ６４、Ｓ６６）の処理を行う。そして、ミキサ１４３は、ミキシング処理(図６：Ｓ６５、Ｓ６７)および残響計算(図６：Ｓ６８、Ｓ６９)を行い、各クライアントに対応して、それぞれ２チャンネルの信号データを出力する。そして、オーディオ送信部１４４は、この信号データを対応するクライアントに送信する 。これにより、クライアントの処理能力が低い場合であっても、音声３次元化を実現することができる。
また、上記説明した音響サーバ１４０の機能を、プレゼンスサーバ１１０が有することとしてもよい。すなわち、音響サーバ１４０を別途備えることなく、プレゼンスサーバ１１０が、ユーザの位置、仮想空間属性等を管理するだけでなく、あわせて音響サーバ１４０の処理を行うこととしてもよい。
本実施形態におけるネットワーク構成図である。 本実施形態における各装置のハードウェア構成図である。 本実施形態におけるクライアントの構成図である。 本実施形態における実空間と仮想空間のマッピングを模式的に示した図である。 本実施形態における音源の方向と距離を模式的に示した図である。 本実施形態におけるオーディオレンダラの処理を模式的に示した図である。 本実施形態における仮想空間のディスプレイ表示画面例である。 本実施形態におけるクライアントの種類を例示したものである。 本実施形態におけるクライアントのネットワークへの接続処理フロー図である。 本実施形態におけるクライアントの入場処理フロー図である。 本実施形態におけるクライアントの自ユーザの移動処理フロー図である。 本実施形態におけるクライアントの他ユーザの移動処理フロー図である。 本実施形態におけるプレゼンスサーバの機能構成図である。 本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。 音響サーバを有する実施形態におけるネットワーク構成図である。 音響サーバを有する実施形態における音響サーバの機能構成図である。
符号の説明
１０１…ネットワーク、１１０…プレゼンスサーバ、１２０…ＳＩＰプロキシサーバ、１３０…登録サーバ、２０１、２０２、２０３…クライアント、２１１…マイクロフォン、２１２…オーディオエンコーダ、２１３…カメラ、２１４…ビデオエンコーダ、２１５…オーディオ通信部、２１６…オーディオレンダラ、２１７…ヘッドフォン、２１８…ビデオ通信部、２１９…グラフィクスレンダラ、２２０…ディスプレイ、２２１…空間モデラ、２２２…プレゼンスプロバイダ、２２３…セッション制御部、２３１…ＧＰＳ受信装置、２３２…地磁気センサ

Claims (7)

  1. 仮想空間を用いた複数のユーザの会話を実現する音声コミュニケーション・システムであって、
    前記複数のユーザ各々の実空間上の位置を管理するサーバ装置と、前記複数のユーザが使用する複数のクライアント端末とを有し、
    前記複数のクライアント端末各々は、
    自クライアント端末の自ユーザの実空間上の位置に関する位置情報を検知する位置検知手段と、
    前記検知手段が検知した自ユーザの実空間上の位置情報を前記サーバ装置に送信するクライアント送信手段と、
    前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の実空間上の位置に関する位置情報を受信するクライアント受信手段と、
    前記自ユーザおよび前記他ユーザ各々の実空間における前記位置情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、
    前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段と、を有し、
    前記サーバ装置は、
    前記複数のクライアント端末各々から、前記クライアント端末の自ユーザの実空間上の前記位置情報を受信するサーバ受信手段と、
    前記サーバ受信手段が受信した前記複数のユーザ各々の実空間上の前記位置情報を記憶する記憶手段と、
    前記複数のクライアント各々に、前記記憶手段が記憶している前記クライアント端末の他ユーザ各々の前記位置情報を送信するサーバ送信手段と、を有し、
    前記位置検知手段は、実空間において前記自ユーザが向いている方向を、さらに検知し、
    前記位置情報には、実空間における前記自ユーザまたは前記他ユーザの向きを示す方位情報が含まれ、
    前記複数のクライアント端末各々の前記空間モデル化手段は、前記自ユーザを前記仮想空間の中心に配置し、前記自ユーザおよび前記他ユーザの前記位置情報から算出される前記自ユーザと前記他ユーザ各々との実空間上での距離および方向に応じて、前記他ユーザ各々の前記仮想空間における位置を算出し、
    前記音響制御手段は、実空間における前記自ユーザまたは前記他ユーザの前記方位情報に基づいて前記他ユーザ各々の音声に適用する音響効果を制御すること
    を特徴とする音声コミュニケーション・システム。
  2. 請求項１記載の音声コミュニケーション・システムにおいて、
    前記音響再生手段は、前記複数のユーザ各々の前記仮想空間における位置および前記仮想空間の属性情報に基づいて、前記他ユーザ各々の音声に適用する音響効果を制御すること
    を特徴とする音声コミュニケーション・システム。
  3. 請求項１記載の音声コミュニケーション・システムにおいて、
    前記複数のクライアント端末各々は、前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するイメージ作成手段を有すること
    を特徴とする音声コミュニケーション・システム。
  4. 請求項３記載の音声コミュニケーション・システムにおいて、
    前記イメージ作成手段は、前記仮想空間における自ユーザの位置と向きを常に固定し、自ユーザを中心として前記仮想空間および前記他ユーザを相対的に移動または回転させたイメージデータを作成すること
    を特徴とする音声コミュニケーション・システム。
  5. 請求項１記載の音声コミュニケーション・システムにおいて、
    前記サーバ装置の前記記憶手段には、前記仮想空間の属性が記憶され、
    前記サーバ送信手段は、前記複数のクライアント各々に、前記仮想空間の属性を送信し、
    前記クライアント受信手段は、前記サーバ装置から前記仮想空間の属性を受信し、
    前記空間モデル化手段は、前記仮想空間の属性に基づいて、前記複数のユーザ各々の前記仮想空間における位置を算出し、
    前記音響制御手段は、前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御すること
    を特徴とする音声コミュニケーション・システム。
  6. 仮想空間を用いた複数のユーザの会話を実現する音声コミュニケーション・システムにおける、前記ユーザが使用するクライアント端末であって、
    自クライアント端末の自ユーザの実空間上の位置に関する位置情報を検知する位置検知手段と、
    前記検知手段が検知した自ユーザの実空間上の位置情報を、前記複数のユーザ各々の実空間上の位置を管理するサーバ装置に送信する送信手段と、
    前記サーバ装置から自ユーザ以外のユーザである他ユーザ各々の実空間上の位置に関する位置情報を受信する受信手段と、
    前記自ユーザおよび前記他ユーザ各々の実空間における前記位置情報に基づいて前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、
    前記空間モデル化手段が算出した位置に基づいて前記他ユーザの各々の音声に適用する音響効果を制御する音響制御手段と、を有し、
    前記位置検知手段は、実空間において前記自ユーザが向いている方向を、さらに検知し、
    前記位置情報には、実空間における前記自ユーザまたは前記他ユーザの向きを示す方位情報が含まれ、
    前記空間モデル化手段は、前記自ユーザを前記仮想空間の中心に配置し、前記自ユーザおよび前記他ユーザの前記位置情報から算出される前記自ユーザと前記他ユーザ各々との実空間上での距離および方向に応じて、前記他ユーザ各々の前記仮想空間における位置を算出し、
    前記音響制御手段は、実空間における前記自ユーザまたは前記他ユーザの前記方位情報に基づいて前記他ユーザ各々の音声に適用する音響効果を制御すること
    を特徴とするクライアント端末。
  7. 仮想空間を用いて複数のユーザが複数のクライアント端末を用いて会話を実現する音声コミュニケーション・システムにおける音響サーバ装置であって、
    前記複数のクライアント端末各々から、前記クライアント端末のユーザの音声を受信する音声受信手段と、
    外部システムから、前記複数のクライアント端末の複数のユーザの実空間上の前記位置情報を受信し、当該複数のユーザ各々の位置情報に基づいて、前記複数のユーザ各々の前記仮想空間における位置を算出する空間モデル化手段と、
    前記空間モデル化手段が算出した位置に基づいて、前記複数のクライアント毎に、前記複数のユーザの各々の音声に適用する音響効果を制御する音響制御手段と、
    前記複数のクライアント毎に、前記音響制御手段が制御した複数のユーザの音声を送信する音声送信手段と、を有し、
    前記位置情報には、実空間における前記複数のクライアント端末の各自ユーザまたは前記自ユーザ以外のユーザである他ユーザの向きを示す方位情報が含まれ、
    前記空間モデル化手段は、前記複数のクライアント端末の各自ユーザを前記仮想空間の中心に配置し、前記自ユーザおよび前記他ユーザの前記位置情報から算出される前記自ユーザと前記他ユーザ各々との実空間上での距離および方向に応じて、前記他ユーザ各々の前記仮想空間における位置を算出し、
    前記音響制御手段は、実空間における前記自ユーザまたは前記他ユーザの前記方位情報に基づいて前記他ユーザ各々の音声に適用する音響効果を制御すること
    を特徴とする音響サーバ装置。
JP2004155733A 2004-05-26 2004-05-26 音声コミュニケーション・システム Expired - Fee Related JP4546151B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004155733A JP4546151B2 (ja) 2004-05-26 2004-05-26 音声コミュニケーション・システム
US10/914,647 US7634073B2 (en) 2004-05-26 2004-08-10 Voice communication system
CN200410087444.XA CN1703065A (zh) 2004-05-26 2004-08-10 语音通信***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004155733A JP4546151B2 (ja) 2004-05-26 2004-05-26 音声コミュニケーション・システム

Publications (3)

Publication Number Publication Date
JP2005341092A JP2005341092A (ja) 2005-12-08
JP2005341092A5 JP2005341092A5 (ja) 2007-05-10
JP4546151B2 true JP4546151B2 (ja) 2010-09-15

Family

ID=35425274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004155733A Expired - Fee Related JP4546151B2 (ja) 2004-05-26 2004-05-26 音声コミュニケーション・システム

Country Status (3)

Country Link
US (1) US7634073B2 (ja)
JP (1) JP4546151B2 (ja)
CN (1) CN1703065A (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164212A (ja) * 2004-11-10 2006-06-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4419073B2 (ja) * 2004-11-11 2010-02-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
DE102005000820B4 (de) * 2004-12-08 2007-07-05 Carl Zeiss Ag Verfahren zum Verbessern der Sehfähigkeit einer sehbehinderten Person und Sehhilfe
JP4608400B2 (ja) * 2005-09-13 2011-01-12 株式会社日立製作所 音声通話システムおよび音声通話中におけるコンテンツの提供方法
GB2437399B (en) * 2006-04-19 2008-07-16 Big Bean Audio Ltd Processing audio input signals
JP4893257B2 (ja) * 2006-11-17 2012-03-07 ヤマハ株式会社 音像位置制御装置
US9602295B1 (en) 2007-11-09 2017-03-21 Avaya Inc. Audio conferencing server for the internet
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
JP4920637B2 (ja) * 2008-05-28 2012-04-18 株式会社東芝 Ｓｉｐ電話システム、データ伝送方法、サーバユニットおよび電話端末
JP5170682B2 (ja) * 2008-10-09 2013-03-27 シャープ株式会社 通信端末
US9348845B2 (en) * 2008-10-31 2016-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for verifying geographical descriptiveness of media file
JP5366043B2 (ja) * 2008-11-18 2013-12-11 株式会社国際電気通信基礎技術研究所 音声記録再生装置
JP4743305B2 (ja) 2009-01-06 2011-08-10 ソニー株式会社 境界定義による機能制御方法、境界定義による機能制御システム、境界定義による機能制御サーバ及びプログラム
EP2216974A1 (en) * 2009-02-04 2010-08-11 Alcatel Lucent Method of providing a communication service
JP5458664B2 (ja) * 2009-05-20 2014-04-02 株式会社ニコン ヘッドマウントディスプレイ装置及び通信システム
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences
US8144633B2 (en) * 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US8892138B2 (en) * 2009-11-27 2014-11-18 Telefonaktiebolaget L M Ericsson (Publ) Transferring messages in a communications network
US8898567B2 (en) 2010-04-09 2014-11-25 Nokia Corporation Method and apparatus for generating a virtual interactive workspace
US9235268B2 (en) * 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace
US20110271207A1 (en) * 2010-04-30 2011-11-03 American Teleconferencing Services Ltd. Location-Aware Conferencing
JP5589708B2 (ja) * 2010-09-17 2014-09-17 富士通株式会社 端末装置および音声処理プログラム
US8744065B2 (en) 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
US9736312B2 (en) * 2010-11-17 2017-08-15 Avaya Inc. Method and system for controlling audio signals in multiple concurrent conference calls
US9084079B2 (en) 2010-11-19 2015-07-14 Qualcomm Incorporated Selectively formatting media during a group communication session
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9961208B2 (en) * 2012-03-23 2018-05-01 Dolby Laboratories Licensing Corporation Schemes for emphasizing talkers in a 2D or 3D conference scene
US9412375B2 (en) * 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
US9185508B2 (en) 2013-08-30 2015-11-10 Gleim Conferencing, Llc Multidimensional virtual learning system and method
US9197755B2 (en) * 2013-08-30 2015-11-24 Gleim Conferencing, Llc Multidimensional virtual learning audio programming system and method
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
US9307331B2 (en) 2013-12-19 2016-04-05 Gn Resound A/S Hearing device with selectable perceived spatial positioning of sound sources
DK2887695T3 (en) * 2013-12-19 2018-05-07 Gn Hearing As A hearing aid system with selectable perceived spatial location of audio sources
JP5971316B2 (ja) * 2013-12-25 2016-08-17 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
WO2017030985A1 (en) 2015-08-14 2017-02-23 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US10375353B2 (en) * 2015-12-11 2019-08-06 Sony Corporation Information processing apparatus, information processing method, and program
CN105741833B (zh) * 2016-03-14 2021-05-11 腾讯科技（深圳）有限公司 语音通信数据处理方法和装置
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
CN106131355B (zh) * 2016-07-05 2019-10-25 华为技术有限公司 一种声音播放方法及装置
JP6812803B2 (ja) * 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107358962B (zh) * 2017-06-08 2018-09-04 腾讯科技（深圳）有限公司 音频处理方法及音频处理装置
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
EP3652867B1 (en) * 2017-07-14 2021-05-26 Dolby Laboratories Licensing Corporation Mitigation of inaccurate echo prediction
EP3496417A3 (en) * 2017-12-06 2019-08-07 Oticon A/s Hearing system adapted for navigation and method therefor
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
CN112601170B (zh) * 2020-12-08 2021-09-07 广州博冠信息科技有限公司 声音信息处理方法及装置、计算机存储介质、电子设备
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US12022235B2 (en) 2022-07-20 2024-06-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment
CN115550600A (zh) * 2022-09-27 2022-12-30 阿里巴巴（中国）有限公司 识别音频数据声音来源的方法、存储介质和电子设备
CN116390008B (zh) * 2023-05-31 2023-09-01 泉州市音符算子科技有限公司 一种实现特定区域内免提式的无感扩音***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056626A (ja) * 1996-08-13 1998-02-24 Hitachi Software Eng Co Ltd テレビ会議システム
JP2001251698A (ja) * 2000-03-07 2001-09-14 Canon Inc 音響処理システム及びその制御方法並びに記憶媒体
JP2002281468A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 電子会議システム
JP2003069968A (ja) * 2001-08-28 2003-03-07 Internal Corp 現実感を伴う電子会議の実現方法
JP2003287426A (ja) * 2002-03-28 2003-10-10 Hitachi Kokusai Electric Inc Ｇｐｓ測位装置及び位置情報表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6646096A (en) * 1995-08-03 1997-03-05 Interval Research Corporation Computerized interactor systems and methods for providing same
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5889843A (en) * 1996-03-04 1999-03-30 Interval Research Corporation Methods and systems for creating a spatial auditory environment in an audio conference system
GB2349055B (en) * 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
JP3434487B2 (ja) * 2000-05-12 2003-08-11 株式会社イサオ 位置連動式チャットシステム、そのための位置連動式チャット方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US6941127B2 (en) * 2000-12-12 2005-09-06 Yamaha Corporation Portable telephone apparatus
JP2002236031A (ja) 2001-02-06 2002-08-23 Kenwood Corp ナビゲーションシステム
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056626A (ja) * 1996-08-13 1998-02-24 Hitachi Software Eng Co Ltd テレビ会議システム
JP2001251698A (ja) * 2000-03-07 2001-09-14 Canon Inc 音響処理システム及びその制御方法並びに記憶媒体
JP2002281468A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 電子会議システム
JP2003069968A (ja) * 2001-08-28 2003-03-07 Internal Corp 現実感を伴う電子会議の実現方法
JP2003287426A (ja) * 2002-03-28 2003-10-10 Hitachi Kokusai Electric Inc Ｇｐｓ測位装置及び位置情報表示方法

Also Published As

Publication number Publication date
JP2005341092A (ja) 2005-12-08
US7634073B2 (en) 2009-12-15
US20050265535A1 (en) 2005-12-01
CN1703065A (zh) 2005-11-30

Similar Documents

Publication Publication Date Title
JP4546151B2 (ja) 音声コミュニケーション・システム
US20060008117A1 (en) Information source selection system and method
US20240031474A1 (en) Smartphone with User Interface to Externally Localize Telephone Calls
JP4426484B2 (ja) 音声会議システム、会議端末および音声サーバ
US7533346B2 (en) Interactive spatalized audiovisual system
Härmä et al. Augmented reality audio for mobile and wearable appliances
US7197126B2 (en) Human communication system
US8958569B2 (en) Selective spatial audio communication
JP2005341092A5 (ja)
US20140219485A1 (en) Personal communications unit for observing from a point of view and team communications system comprising multiple personal communications units for observing from a point of view
US11047965B2 (en) Portable communication device with user-initiated polling of positional information of nodes in a group
US11838686B2 (en) SpaeSee video chat system
CN111492342B (zh) 音频场景处理
US11297456B2 (en) Moving an emoji to move a location of binaural sound
US10757240B1 (en) Headset-enabled ad-hoc communication
US9516417B2 (en) Boundary binaural microphone array
JP2006094315A (ja) 立体音響再生システム
US20240031759A1 (en) Information processing device, information processing method, and information processing system
JP6587047B2 (ja) 臨場感伝達システムおよび臨場感再現装置
US11696085B2 (en) Apparatus, method and computer program for providing notifications
Cohen et al. Cyberspatial audio technology
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体
Karjalainen et al. Application Scenarios of Wearable and Mobile Augmented Reality Audio
Ahrens et al. Designing low-dimensional interaction for mobile navigation in 3d audio spaces
Schäfers et al. Designing low-dimensional interaction for mobile navigation in 3D audio spaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100701

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees