JP2000244487A - 多人数参加型仮想空間コミュニケーションシステム - Google Patents

多人数参加型仮想空間コミュニケーションシステム

Info

Publication number
JP2000244487A
JP2000244487A JP11040273A JP4027399A JP2000244487A JP 2000244487 A JP2000244487 A JP 2000244487A JP 11040273 A JP11040273 A JP 11040273A JP 4027399 A JP4027399 A JP 4027399A JP 2000244487 A JP2000244487 A JP 2000244487A
Authority
JP
Japan
Prior art keywords
processing
virtual space
voice data
center device
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11040273A
Other languages
English (en)
Inventor
Shunsuke Konagai
俊介 小長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP11040273A priority Critical patent/JP2000244487A/ja
Publication of JP2000244487A publication Critical patent/JP2000244487A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 仮想空間コミュニケーションシステムにおけ
る音像定位による高臨場感を実現するために、センター
装置の規模の拡大を伴わず、通信回線を含みさまざまな
処理能力の端末に対応する多人数参加型仮想空間コミュ
ニケーションシステムの提供。 【解決手段】 本発明の多人数参加型仮想空間コミュニ
ケーションシステムは、個々の使用者の端末装置の能力
と通信回線の速度に応じて、音声データの処理方法およ
び分配方法を変更する。端末装置は、自らの音声データ
処理能力と通信回線速度に応じた音声データの処理方法
および分配方法をセンター装置に要求し、分配された音
声データを処理し、出力する。センター装置は、個々の
端末装置からの音声データの処理方法および分配方法の
要求を受け付け、それに応じて音声データの処理および
分配を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の使用者が、
様々に異なった処理能力の端末装置から、これも様々に
異なった通信回線を通して、センター装置と通信し、セ
ンター装置で創られた2次元もしくは3次元の仮想空間
内でコミュニケーションを行う、多人数参加型仮想空間
コミュニケーションシステムの音声通信に関するもので
ある。
【0002】
【従来の技術】従来の多人数参加型仮想空間コミュニケ
ーションシステムの音声通信方法には大まかにわけて以
下の三つの方法がある。
【0003】第一は複数の端末装置からセンター装置に
送られた音声データを、センター装置がミキシングし、
ミキシングされたディジタル音声データを、各端末に分
配する方法である。この場合、各端末は1人分の音声デ
ータを送信し、ミキシングされた1人分の音声データを
受信する。
【0004】第二は複数の端末装置が、それぞれ通信を
行う複数の端末装置との間で、センター装置を介さず
に、直接音声データの送受信を行い、必要に応じてミキ
シング処理を行う方法である。この場合、各端末は複数
人分の音声データを送信し、複数人分の音声データを受
信する。
【0005】第三は複数の端末装置からセンター装置に
送られた音声データを、それらを必要とする端末にその
まま分配し、各端末が必要に応じてミキシング処理を行
う方法である。この場合、各端末は1人分の音声データ
を送信し、複数人分の音声データを受信する。
【0006】
【発明が解決しようとする課題】従来の多人数参加型仮
想空間コミュニケーションシステムの音声通信方法のう
ち、第1のセンター装置でミキシングを行う方法は、シ
ステム総体として送受信する音声データの量が、他の二
つの方法と比較して少なくすむという利点がある。
【0007】これは、端末装置にとっては、必要とする
通信回線の容量が小さくてよいという利点になってい
る。
【0008】また、音声データのミキシングをセンター
装置で行うため、端末装置に音声データのミキシング能
力を必要としないという利点もある。
【0009】しかし、多人数参加型仮想空間コミュニケ
ーションシステムでは、仮想空間における参加者の位置
関係によって、他の参加者からの音声を音像定位するこ
とによって、仮想空間の臨場感を高めることができる。
【0010】一例として、図2は仮想空間における参加
者A、B、Cの位置関係をあらわす。ここで、参加者B
と参加者Cが同時にしゃべった場合、参加者Aの端末で
は、参加者Aとの仮想空間内での距離に応じて、参加者
Bの音声を大きく、参加者Cの音声を小さく出力するこ
とで、臨場感を高めることが可能となる。
【0011】また、参加者Aの端末が複数のスピーカー
からなる音声出力機能を備えているならば、参加者Bの
音声を左に、参加者Cの音声を右に音像定位させて、よ
り臨場感を高めることが可能となる。
【0012】このような音像定位処理は、仮想空間中の
参加者の位置によって異なるため、センター装置が音声
データをミキシングする第一の方法で、音像定位処理を
行おうとすると、センター装置は参加者毎に異なったミ
キシング処理を行う必要があり、センター装置の規模が
大きくなるという問題があった。
【0013】従来の多人数参加型仮想空間コミュニケー
ションシステムの音声通信方法のうち、第二の端末どう
しがセンター装置を介さずに音声データをやりとりする
方法は、ミキシング処理を個々の端末が行うために、音
像定位処理のために大規模なセンター装置を必要としな
いという利点がある。
【0014】しかし、この方法の場合、システム総体と
して送受信する音声データの量が多くなるという問題が
あった。これは、端末装置にとっては、必要とする通信
回線の容量が大きいという問題である。
【0015】また、音像定位処理を含めたミキシング処
理を、端末装置が受け持つため、端末装置の規模が大き
くなるという問題があった。
【0016】一般に、多人数参加型仮想空間コミュニケ
ーションシステムは、汎用のパーソナルコンピュータに
専用のソフトウェアを付加して、その端末装置とするた
め、個々の参加者の使用する端末装置の処理能力は、様
々に異なっている。また、通信回線の速度も、個々の端
末装置で異なっていることが多い。
【0017】このような多人数参加型仮想空間コミュニ
ケーションシステムでは、音声通信に、第二の端末どう
しがセンター装置を介さずに音声データをやりとりする
方法を採用した場合、遅い通信回線や小さな処理能力の
パーソナルコンピュータでは、システムの端末として不
十分であるという問題があった。
【0018】従来の多人数参加型仮想空間コミュニケー
ションシステムの音声通信方法のうち、第三の音声デー
タを一旦センター装置に集めた後、必要に応じて端末装
置に分配し、音像定位を含めたミキシング処理を個々の
端末が行う方法は、第二の方法と同様に音像定位処理の
ために大規模なセンター装置を必要としないという利点
がある。
【0019】また、システム総体として送受信する音声
データ量は第一の方法よりは多いが、第二の方法よりは
少なく済む。
【0020】しかしこの方法の場合、センター装置は、
各端末宛てにそれぞれ必要とする音声データを、別個に
送信するため、センター装置に大きなデータ送信能力が
必要になるという問題がある。
【0021】また、音像定位処理を含めたミキシング処
理を、端末装置が行うため、端末装置の規模が大きくな
るという、第二の方法の問題は解決されていない。つま
り、第二の方法と同様に小さな処理能力のパーソナルコ
ンピュータではシステムの端末として不十分であるとい
う問題があった。
【0022】本発明の目的は、仮想空間コミュニケーシ
ョンシステムにおける音像定位による高臨場感を実現す
るために、センター装置の規模の拡大を伴わず、通信回
線を含みさまざまな処理能力の端末に対応する多人数参
加型仮想空間コミュニケーションシステムを提供するこ
とである。
【0023】
【課題を解決するための手段】このような課題を解決す
るために請求項1の発明は、個々の使用者の端末装置の
能力と通信回線の速度に応じて、音声データの処理方法
および分配方法を変更するようにしたものである。
【0024】請求項2の発明は、請求項1において、端
末装置が、自らの音声データ処理能力と通信回線速度に
応じた音声データの処理方法および分配方法をセンター
装置に要求し、分配された音声データをサーバでミキシ
ングを行わずに、複数の音声データを分配された場合
は、仮想空間内での位置関係に応じた音像定位処理を行
った後に出力し、仮想空間内での位置関係に応じた音像
定位処理を含めたミキシングを全てサーバで行った場合
にはそのまま出力し、一部の参加者の声だけをミキシン
グし他の参加者の声をミキシングせずにそれら複数の音
声データを分配された場合にはミキシングされずに分配
された音声データに仮想空間内での位置関係に応じた音
像定位処理を行い、ミキシングされた音声データと、さ
らにミキシングして出力する等と、サーバに要求した処
理方法および分配方法に応じて処理および出力するよう
にしたものである。
【0025】請求項3の発明は、請求項1において、セ
ンター装置が、個々の端末装置からの音声データの処理
方法および分配方法要求を受け付け、それに応じて各端
末に対して、複数の音声データをミキシングせずに分配
したり、仮想空間内での位置関係に応じた音像定位処理
を含めたミキシングを行った音声データを分配したり、
一部の参加者の声だけをミキシングし他の参加者の声を
ミキシングせずにそれら複数の音声データを分配したり
と、音声データの処理および分配を行うようにしたもの
である。
【0026】本発明による多人数参加型仮想空間コミュ
ニケーションシステムでは、個々の端末装置の音声デー
タ処理能力および通信回線の速度に応じて、音声データ
の処理方法および分配方法を変更するため、音像定位処
理を行う場合に、音像定位処理を含めたミキシングを行
う処理能力を有する端末装置に対しては、それらの処理
を端末装置に割り振り、十分な処理能力の無い端末装置
に対してのみ、センター装置でそれらの処理を行うこと
で、音像定位処理を含めたミキシング機能のための、セ
ンター装置の規模の拡大を押さえることができる。
【0027】また、センター装置の処理能力の許す限
り、センター装置で音像定位を含めたミキシングを行う
ことで、システム総体として送受信する音声データ量
を、従来の第三の方法より小さくすることができる。同
時に、音声データ処理能力の低いパーソナルコンピュー
タをも、音像定位による高い臨場感を有する仮想空間コ
ミュニケーションシステムの端末装置として利用でき
る。
【0028】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して、詳細に説明する。図1は本発明の
実施の形態の例を示す構成図である。本発明の仮想空間
コミュニケーションシステムは、センター装置1と、複
数の端末装置21〜2nと、仮想空間コミュニケーション
サーバ11と、センター装置1と端末装置21〜2nとを
接続する通信回線31〜3nと、センター装置1と仮想空
間コミュニケーションサーバ11とを接続する通信回線
0と、仮想空間コミュニケーションサーバ11と端末
装置21〜2nとを接続する通信回線41〜4nにより構成
されている。
【0029】センター装置1は、端末からの要求や音声
データからなるメッセージを受信する受信バッファ4
と、メッセージを分析して振り分けるメッセージハンド
ラ5と、各サービス固有の処理を行うサービス対応処理
部61〜6mと、音声データ処理方法に関する端末装置の
要求を受付け、分析して処理する音声データ処理・分配
方法情報処理部9と、各端末の音声データ処理方法およ
び分配方法の要求を記憶する処理・分配方法情報記憶部
10と、サービス対応処理部によって処理された音声デ
ータを端末装置に送信する送信バッファ7と、通信制御
部8とを備えている。サービス対応処理部61〜6mはそ
れぞれ例えば、複数の音声データをミキシングせずに分
配する音声データ処理方法および分配方法、仮想空間内
での位置関係に応じた音像定位処理を含めたミキシング
を全て行った音声データを分配する音声データ処理およ
び分配方法、一部の参加者の声だけをミキシングし他の
参加者の声をミキシングせずにそれら複数の音声データ
を分配する音声データ処理および分配方法等に対応す
る。ここで行う具体的な音声データ処理方法および分配
方法は本発明の本質には関係しないので詳細は記さな
い。また、サーバに備えられるサービス対応処理部の数
および処理内容は、サーバの音声データ処理能力や音声
データ送信能力に応じて異なってかまわない。
【0030】センター装置1は、複数の端末装置21
nから音声データ処理方法および分配方法に関する要
求を受けつけ、その要求に従って、同じく端末装置21
〜2nから送信された音声データを、各端末装置の要求
に対応して処理し、端末装置21〜2nに分配する機能を
持っている。
【0031】仮想空間コミュニケーションサーバ11
は、仮想空間コミュニケーションにおける処理を実行す
るサーバであり、独立して設置されているかセンター装
置に併設されているかあるいはセンター装置に内蔵され
ているかは限定されるものではない。
【0032】端末装置21〜2nは、使用者の音声を受け
る音声入力部21と、センター装置1あるいは仮想空間
コミュニケーションサーバ11との通信を行う通信制御
部25と、センター装置1へ音声データの処理方法およ
び分配方法を通知する音声データ処理・配信方法通知部
22と、処理した音声データを出力する音声出力部26
とを少なくとも備えている。また、端末装置21〜2n
中には、上記構成要素の他に、センター装置1から受け
取った音声データに音像定位処理を含めたミキシング処
理を施す音声データ処理部23と、端末装置のモニタに
仮想空間における音像定位処理結果の位置関係を制御す
る仮想空間制御部24とを備えた端末装置もある。いず
れにしても、端末装置21〜2nは使用者の入力した音声
を音声信号としてセンター装置1に送信し、センター装
置1から送信された音声データを出力する。
【0033】次に、本発明の実施例の動作を図面を用い
て説明する。図3は本発明の実施例の動作を示すフロー
チャートである。端末装置に、センター装置1から受け
取った音声データに音像定位処理を含めたミキシング処
理を施す音声データ処理部23と、端末装置のモニタに
仮想空間における音像定位処理結果の位置関係を制御す
る仮想空間制御部24とを備えた端末装置の場合のフロ
ーチャートである。
【0034】センター装置1は端末装置21〜2nから音
声データ処理方法に関する要求を受けつけ(S10
1)、音声データ処理・分配方法情報処理部9が各端末
の要求を処理・分配方法情報記憶部10に記憶する(S
102)。端末装置21〜2nは音声入力部21に入力さ
れた音声を通信制御部25を通じてセンター装置1に送
信する(S103)。センター装置1は端末装置21
nから音声データを受信バッファ4で受信し(S10
4)、音声データ処理・分配方法情報処理部9が、処理
・分配方法情報記憶部10を参照し、各端末からの要求
に対応するサービス対応処理部をサービス対応処理部6
1〜6mから選択して、メッセージハンドラ5を通じて音
声データを引き渡す。音声データを渡されたサービス対
応処理部61〜6mでは、それぞれ定められた音声データ
処理を行った(S105)後に、これもそれぞれ定めら
れた分配方法に従い、送信バッファ7を通じて端末装置
1〜2nへと送信する(S106)。端末装置21〜2n
は通信制御部25でセンター装置1から受信した音声デ
ータに音声データ処理部23でミキシングや音像定位処
理を加えた後(S107)、音声出力部26を通じて出
力する(S108)。
【0035】センター装置1とその各部の機能は、CP
Uを主体とする制御部によるプログラムの読み出し、解
読実行により行わせることができる。
【0036】
【発明の効果】以上の説明により、本発明による多人数
参加型仮想空間コミュニケーションシステムでは、個々
の使用者の端末装置の処理能力と通信回線の速度に応じ
て、音声データの処理方法および分配方法を変更するた
め、音像定位による高臨場感を実現しようとすると、従
来の、センター装置のみで音像定位処理を含めたミキシ
ングを行う方法で問題となった、センター装置の規模の
拡大を防止している。また、従来の、端末装置のみで音
像定位処理を含めたミキシングを行う方法で問題となっ
た、処理能力の低いパーソナルコンピュータを端末装置
として利用出来ないという問題も解決した。
【図面の簡単な説明】
【図1】本発明の多人数参加型仮想空間コミュニケーシ
ョンシステムの実施の形態の例を示す構成図である。
【図2】多人数参加型仮想空間コミュニケーションシス
テムの仮想空間における参加者の位置関係模式図であ
る。
【図3】本発明の実施例の動作を示すフローチャートで
ある。
【符号の説明】
1 センター装置 21、22、2n 端末装置 30、31、32、3n、41、42、4n 通信回線 4 受信バッファ 5 メッセージハンドラ 61、62、6m サービス対応処理部 7 送信バッファ 8、 通信制御部 9 音声データ処理・分配方法情報処理部 10 音声データ処理・分配方法情報 11 仮想空間コミュニケーションサーバ 21 音声入力部 22 音声データ処理・配信方法通知部 23 音声データ処理部 24 仮想空間制御部 25 通信制御部 26 音声出力部
フロントページの続き Fターム(参考) 5B089 GA21 JA17 JA33 JB05 KA11 KB04 KD01 KH14 LB13 5C064 AA06 AC06 AC08 AC16 5K015 AA00 AB00 AB01 JA00 JA01 JA10 JA11 5K030 JT02 LD08 LE17 9A001 BB04 CC02 HH15 JJ12 JJ27

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の使用者が、様々に異なった処理能
    力の端末装置から、これも様々に異なった通信回線を通
    して、センター装置と通信し、センター装置で創られた
    2次元もしくは3次元の仮想空間内でコミュニケーショ
    ンを行う多人数参加型仮想空間コミュニケーションシス
    テムにおいて、 個々の使用者の端末装置の処理能力と通信回線の速度に
    応じて、音声データの処理方法および分配方法を変更す
    る手段を有することを特徴とする多人数型仮想空間コミ
    ュニケーションシステム。
  2. 【請求項2】 前記端末装置が、 自らの音声データ処理能力と通信回線速度に応じた音声
    データの処理方法および分配方法をセンター装置に要求
    する手段と、 センター装置から前記要求による処理と分配された音声
    データの内さらに複数の使用者の位置関係によって音像
    定位を処理する手段を有する請求項1記載の多人数参加
    型仮想空間コミュニケーションシステム。
  3. 【請求項3】 前記センター装置が、 個々の端末装置からの音声データの処理方法および分配
    方法の要求情報を受け付け、前記要求情報を記憶する手
    段と、 前記要求情報に応じて音声データの使用者の位置関係に
    よる音像定位の処理および分配を行う手段を有する請求
    項1記載の多人数参加型仮想空間コミュニケーションシ
    ステム。
JP11040273A 1999-02-18 1999-02-18 多人数参加型仮想空間コミュニケーションシステム Pending JP2000244487A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11040273A JP2000244487A (ja) 1999-02-18 1999-02-18 多人数参加型仮想空間コミュニケーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11040273A JP2000244487A (ja) 1999-02-18 1999-02-18 多人数参加型仮想空間コミュニケーションシステム

Publications (1)

Publication Number Publication Date
JP2000244487A true JP2000244487A (ja) 2000-09-08

Family

ID=12576037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11040273A Pending JP2000244487A (ja) 1999-02-18 1999-02-18 多人数参加型仮想空間コミュニケーションシステム

Country Status (1)

Country Link
JP (1) JP2000244487A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049558A (ja) * 2007-08-15 2009-03-05 Yahoo Japan Corp 仮想空間提供サーバ及びシステム
US7656824B2 (en) 2001-12-15 2010-02-02 Thomson Licensing Method and system for providing a private conversation channel in a video conference system
CN101189048B (zh) * 2005-06-08 2011-05-25 科乐美数码娱乐株式会社 用户声音合成装置、假想空间共有***及计算机控制方法
JP2012511213A (ja) * 2008-12-05 2012-05-17 ソーシャル・コミュニケーションズ・カンパニー リアルタイムカーネル
US10003624B2 (en) 2009-01-15 2018-06-19 Sococo, Inc. Realtime communications and network browsing client
JP7517500B2 (ja) 2016-11-25 2024-07-17 ソニーグループ株式会社 再生装置、再生方法、およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656824B2 (en) 2001-12-15 2010-02-02 Thomson Licensing Method and system for providing a private conversation channel in a video conference system
CN101189048B (zh) * 2005-06-08 2011-05-25 科乐美数码娱乐株式会社 用户声音合成装置、假想空间共有***及计算机控制方法
US8219388B2 (en) 2005-06-08 2012-07-10 Konami Digital Entertainment Co., Ltd. User voice mixing device, virtual space sharing system, computer control method, and information storage medium
JP2009049558A (ja) * 2007-08-15 2009-03-05 Yahoo Japan Corp 仮想空間提供サーバ及びシステム
US9055131B2 (en) 2007-10-24 2015-06-09 Social Communications Company Realtime kernel
US10158689B2 (en) 2007-10-24 2018-12-18 Sococo, Inc. Realtime kernel
JP2012511213A (ja) * 2008-12-05 2012-05-17 ソーシャル・コミュニケーションズ・カンパニー リアルタイムカーネル
JP2013084283A (ja) * 2008-12-05 2013-05-09 Social Communications Company リアルタイムカーネル
US10003624B2 (en) 2009-01-15 2018-06-19 Sococo, Inc. Realtime communications and network browsing client
JP7517500B2 (ja) 2016-11-25 2024-07-17 ソニーグループ株式会社 再生装置、再生方法、およびプログラム

Similar Documents

Publication Publication Date Title
US6370564B2 (en) Computer system architecture and method for multi-user, real-time applications
CN101895556B (zh) 沉浸式音频通信
JP2544581B2 (ja) 会議システム制御方法、会議装置及び会議システム
CN106254311A (zh) 直播方法和装置、直播数据流展示方法和装置
US20060069747A1 (en) Audio signal transmission system, audio signal transmission method, server, network terminal device, and recording medium
JP7476327B2 (ja) オーディオデータ処理方法、遅延時間取得方法、サーバ、及びコンピュータプログラム
CN108989381A (zh) 一种远程交互方法及***
JPH08320840A (ja) マルチユーザ対話型仮想環境用の通信サーバおよびその使用方法
JP2000244487A (ja) 多人数参加型仮想空間コミュニケーションシステム
JP3452348B2 (ja) 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
JPS58155467A (ja) 分配デ−タ処理システム、分配デ−タ処理回路網作動方法及びデ−タ処理方法
CN106648142A (zh) 基于云计算的输入输出控制方法及装置
JP3027793B2 (ja) 仮想空間共有装置
JP3276057B2 (ja) 3次元仮想世界表示システム
CN114849224A (zh) 一种信息处理方法、装置、设备及可读存储介质
JP3455418B2 (ja) ネットワークゲームシステム
JPH1199276A (ja) 遊技場用表示システム
JP2000236330A (ja) クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
JPH11288393A (ja) ネットワークゲームシステム
CN111880758B (zh) 一种远程控制方法及服务器
RU2168758C2 (ru) Способ и система контроля дистанционного процессора в условиях операционной системы параллельного действия в реальном времени (оспдрв)
JP3019291B2 (ja) 仮想空間共有装置
CN111355597B (zh) 组播方法、***及存储介质
CN117955945B (zh) 同场景下用户间的多音频线路同步方法、***及存储介质
JP3082887B2 (ja) マルチユーザ仮想空間システムにおけるオブジェクト間通信方法