JP3780536B2 - シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法 - Google Patents

シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法 Download PDF

Info

Publication number
JP3780536B2
JP3780536B2 JP22452094A JP22452094A JP3780536B2 JP 3780536 B2 JP3780536 B2 JP 3780536B2 JP 22452094 A JP22452094 A JP 22452094A JP 22452094 A JP22452094 A JP 22452094A JP 3780536 B2 JP3780536 B2 JP 3780536B2
Authority
JP
Japan
Prior art keywords
character
user terminal
virtual space
image
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22452094A
Other languages
English (en)
Other versions
JPH0887605A (ja
Inventor
宏明 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22452094A priority Critical patent/JP3780536B2/ja
Publication of JPH0887605A publication Critical patent/JPH0887605A/ja
Application granted granted Critical
Publication of JP3780536B2 publication Critical patent/JP3780536B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、例えば所定の都市空間を設計し、その都市空間の問題点などをテストする場合に用いて好適なシミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法に関する。
【0002】
【従来の技術】
最近、バーチャルリアリティ(仮想現実空間)を利用した装置が開発されている。
【0003】
例えば、住宅を設計する場合において、所定の間取りや仕様を決定すると、それに対応する住宅の画像をバーチャルリアリティで生成し、その画像を、その住宅を発注した注文者に対して、ヘッドマウントディスプレイなどを用いて表示する装置が知られている。発注者は、このヘッドマウントディスプレイに表示されるバーチャルリアリティから、自分があたかもその住宅において実際に生活しているような感覚で、その住宅を体験し、テストすることができる。これにより、単に設計図面上から住宅を見る場合に比べて、住宅の不便な点などを容易に発見することができる。
【0004】
同様に、住宅ではなく、都市空間をバーチャルリアリティとして提供する装置も知られている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来のこのような装置は、複数のユーザが同時にバーチャルリアリティを体験(テスト)することができず、従って、複数の人間が所定の空間を同時に利用することによる問題点などを発見することができない課題があった。
【0006】
本発明はこのような状況に鑑みてなされたものであり、複数の利用者が所定の空間を同時に利用する場合における問題点などをテストすることを可能にするものである。
【0007】
【課題を解決するための手段】
本発明のシミュレーションシステムは、受信手段は、仮想空間上において対応するキャラクタを有し、キャラクタの位置を入力して、供給手段に送信し、供給手段は、キャラクタの位置におけるキャラクタの視点からの画像またはキャラクタを含む仮想空間の俯瞰視点からの画像に対応する描画情報を記憶手段から読み出して、受信手段に供給するとともに、受信手段から供給されたキャラクタの位置のデータを他の受信手段に供給し、受信手段は、供給手段から、キャラクタの位置に対応する描画情報と、自分以外の受信手段のキャラクタの位置の提供を受けて自分のキャラクタの位置におけるキャラクタの視点からの仮想空間画像を生成するか、または描画情報と、自分以外のキャラクタの位置のデータと、自分のキャラクタの位置のデータとを用いて、自分のキャラクタの画像を含む俯瞰視点からの仮想空間画像を生成し、供給手段は、仮想空間において地域が指定されることにより、ユーザ操作に応じてキャラクタに対応する音声信号の合成を行う範囲を設定する設定手段をさらに備え、供給手段は、設定手段により設定された範囲内に位置する複数のキャラクタに対応する音声信号を合成して、受信手段に供給することを特徴とする。
【0008】
受信手段と供給手段の少なくとも一方は、自分のキャラクタを表示せず、自分以外のキャラクタを表示するキャラクタモードと、自分以外のキャラクタと自分のキャラクタの両方を表示する俯瞰モードとを切り換える俯瞰モード切換手段を設けることができる。
【0009】
受信手段と供給手段の少なくとも一方には、俯瞰モード時における俯瞰視点を入力する俯瞰視点入力手段をさらに設けることができる。
【0010】
前記供給手段は、複数のキャラクタに対応する音声信号を合成する合成モードと、特定のキャラクタに対応する音声信号を授受する独立モードとを選択する選択手段を備えることができる。
前記受信手段は、供給手段から提供された画像データと他のユーザ端末のキャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成することができる。
本発明の仮想空間提供装置は、仮想空間を形成するデータを記憶する記憶手段と、複数のユーザ端末から、ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータを受信する受信手段と、受信したユーザ端末に対応するキャラクタの位置におけるキャラクタの視点からの画像またはキャラクタを含む仮想空間の俯瞰視点からの画像に対応する描画情報を記憶手段から読み出してユーザ端末に送信すると共に、ユーザ端末から受信したキャラクタの位置のデータを他のユーザ端末に送信する送信手段と、複数のユーザ端末から受信したキャラクタに対応する音声信号を合成する合成手段と、仮想空間において地域が指定されることにより、キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段とを備え、合成手段は、設定手段により設定された範囲内に位置する複数のユーザ端末の音声信号を合成し、送信手段は、合成した音声信号をユーザ端末にさらに送信することを特徴とする。
前記合成手段は、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成することができる。
複数のユーザ端末から受信した音声信号を合成して送信するモードと、特定のユーザ端末から受信した音声信号を送信するモードとを選択する選択手段を更に備えることができる。
本発明の仮想空間提供方法は、複数のユーザ端末から、ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータを受信する受信ステップと、受信したユーザ端末に対応するキャラクタの位置におけるキャラクタの視点からの画像またはキャラクタを含む仮想空間の俯瞰視点からの画像に対応する描画情報をユーザ端末に送信する送信ステップと、ユーザ端末から受信したキャラクタの位置のデータを他のユーザ端末に送信するステップと、仮想空間において地域が指定されることにより、キャラクタに対応する音声信号の合成を行う範囲を設定するステップと、設定された範囲内に位置する複数のユーザ端末から受信した音声信号を合成するステップとを備え、合成した音声信号をユーザ端末にさらに送信することを特徴とする。
前記合成ステップは、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成することができる。
本発明のユーザ端末装置は、自己に対応する仮想空間上のキャラクタの位置を入力する入力手段と、入力された自己に対応する仮想空間上のキャラクタの位置に対応するデータをシミュレーション装置に送信する送信手段と、送信した自己に対応するキャラクタの位置に対応するデータに対応する描画情報をシミュレーション装置から受信すると共に、他のユーザ端末装置のキャラクタの位置のデータを受信する受信手段と、仮想空間の画像の表示モードについて、自己に対応するキャラクタの視点からの画像を表示するキャラクタモードか、または自己に対応するキャラクタを含む仮想空間の俯瞰視点からの画像を表示する俯瞰モードのいずれかを選択するモード選択手段と、モード選択手段によりキャラクタモードが選択されている場合、描画情報と他のユーザ端末装置のキャラクタの位置のデータを用いて、自己に対応する仮想空間上のキャラクタの位置におけるキャラクタの視点からの仮想空間画像を生成し、モード選択手段により俯瞰モードが選択されている場合、描画情報と、他のユーザ端末装置のキャラクタの位置のデータと、自己のキャラクタの位置のデータとを用いて、自己のキャラクタの画像を含む俯瞰視点からの仮想空間画像を生成する生成手段とを備え、受信手段は、仮想空間において地域が指定されることにより、 キャラクタに対応する音声信号の合成を行う範囲が設定され、設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、合成された音声信号を前記シミュレーション装置から受信することを特徴とする。
前記生成手段は、描画情報と他のユーザ端末装置のキャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成することができる。
前記生成手段は、描画情報と他のユーザ端末装置のキャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成することができる。
キャラクタモードと俯瞰モードとを切り替える俯瞰モード切替手段を更に備えることができる。
【0011】
【作用】
上記構成のシミュレーションシステムにおいては、受信手段は、キャラクタの位置に対応する画像データと、自分以外の受信手段のキャラクタの位置の提供を受けて仮想空間画像を生成する。従って、複数のキャラクタが同時に所定の仮想現実空間を利用する場合における各種の問題点を把握することが可能となる。
【0012】
【実施例】
図1は、本発明のシミュレーションシステムの構成例を表している。この実施例においては、複数の(N台の)ユーザ端末3−1乃至3−Nが、例えば光ファイバを利用した広帯域通信網を介してシミュレーション装置1に接続されている。シミュレーション装置1はデータベース2を有し、このデータベース2には、仮想現実空間を形成する画像データが記憶されている。
【0013】
ユーザ端末3−1乃至3−Nは、仮想現実空間上において、対応するキャラクタを有し、そのキャラクタの位置と視点に対応するデータをシミュレーション装置1に供給すると、シミュレーション装置1は、このキャラクタの位置と視点に対応する画像データをデータベース2より読み出し、ユーザ端末3−1乃至3−Nに供給するようになされている。
【0014】
図2は、シミュレーション装置1の構成例を示している。同図に示すように、シミュレーション装置1はCPU21を備え、このCPU21は、ROM22に記憶されているプログラムに従って各種の処理を実行するようになされている。RAM23には、CPU21が各種の処理を実行する上において必要なデータ、プログラム等が適宜記憶されるようになされている。通信装置24は、ユーザ端末3(3−1乃至3−N)に対して所定のデータを授受するようになされている。
【0015】
表示装置25は、CRT、LCDなどを備え、シミュレーション装置1が提供する仮想現実空間の画像をモニタすることができるように、インタフェース28に接続されている。このインタフェース28にはまた、マイク26とスピーカ27が接続されており、所定の音声信号をユーザ端末3に供給したり、ユーザ端末3からの音声信号をモニタすることができるようになされている。
【0016】
また、シミュレーション装置1は入力装置29を備え、インタフェース28を介して、各種の入力を行うことができるようになされている。この入力装置29は、キーボード29a、マウス29b、視点入力装置29c、移動入力装置29d、俯瞰モード切換釦29e、俯瞰視点入力装置29f、合成モード切換釦29g、地域指定装置29hを有している。
【0017】
キーボード29aは、所定の文字や記号などを入力するとき操作されるようになされている。マウス29bは、所定の位置を指定するとき操作されるようになされている。視点入力装置29cは、シミュレーション装置1の対応するキャラクタの視点を入力するとき操作される。これにより、キャラクタの視点を上下左右の方向に移動させたり、所定の画像をズームすることができるようになされている。また、移動入力装置29dは、キャラクタを前後左右の方向に、所定の速度で移動させるための入力を行うことができるようになされている。
【0018】
俯瞰モード切換釦29eは、表示装置25に仮想現実空間の画像を表示させるモードを、キャラクタモードまたは俯瞰モードに切り換えるとき操作される。キャラクタモードにおいては、対応するキャラクタの視点からの画像が表示され、俯瞰モードにおいては、対応するキャラクタを含む仮想現実空間の画像を俯瞰視点から見た画像が表示される。俯瞰視点入力装置29fは、俯瞰モード時において、表示装置25に表示する画像の俯瞰視点を入力するとき操作される。
【0019】
また、合成モード切換釦29gは、合成モードと単独モードを切り換えるとき操作される。単独モード時においては、所定のユーザ端末3またはシミュレーション装置1と、それらにより指定された他のユーザ端末3との間における音声信号のみが相互に授受される。これに対して、合成モード時においては、所定の仮想現実空間内に位置するキャラクタに対応するユーザ端末3より入力される音声信号を、全て合成して、それらのユーザ端末3に対して伝送される。
【0020】
図3は、ユーザ端末3(3−1乃至3−N)の構成例を示している。ユーザ端末3はCPU41を備え、このCPU41は、ROM42に記憶されているプログラムに従って各種の処理を実行するようになされている。RAM43には、CPU41が各種の処理を実行する上において必要なデータやプログラム等が適宜記憶されるようになされている。通信装置44は、シミュレーション装置1に対してデータを授受するようになされている。
【0021】
表示装置45は、CRT、LCDなどを備え、CG(コンピュータグラフィック)の3次元画像や、通常のビデオカメラなどにより撮影された3次元の画像を表示することができるようになされている。マイク46は、音声信号を、シミュレーション装置1や他のユーザ端末に出力するとき利用される。また、スピーカ47は、シミュレーション装置1や他のユーザ端末より音声信号が伝送されてきたとき、これを出力する。入力装置49は、各種の入力を行うとき操作されるようになされている。
【0022】
このユーザ端末3の入力装置49におけるキーボード49a乃至俯瞰視点入力装置49fは、図2に示したシミュレーション装置1の入力装置29におけるキーボード29a乃至俯瞰視点入力装置29fと対応するものである。
【0023】
インタフェース48は、表示装置45、マイク46、スピーカ47、および入力装置49に対するデータのインタフェースを構成している。
【0024】
図4は、図1に示したシミュレーション装置1により提供される仮想現実空間を模式的に表している。同図に示すように、この仮想現実空間は、町を構成しており、キャラクタC(例えばユーザ端末3−1のキャラクタ)や、キャラクタD(例えばユーザ端末3−2のキャラクタ)が、この町(仮想現実空間)を移動することができるようになされている。
【0025】
キャラクタCは、仮想現実空間における位置と視点から、例えば図5に示すような画像を見ることになる。即ち、キャラクタモード時、ユーザ端末3−1の表示装置25には、図5に示すような画像がシミュレーション装置1から提供され、表示される。そして、そのキャラクタCの視点と位置を、視点入力装置49cと移動入力装置49dを操作することで変更すると、それに対応して、シミュレーション装置1から供給される仮想現実空間を形成する3次元画像が変化される。
【0026】
同様に、キャラクタDが対応するユーザ端末3−2の表示装置には、キャラクタモード時、図6に示すような画像がシミュレーション装置1から提供され、表示される。そして、その表示画像も、キャラクタDの視点と位置を移動させることで変化される。
【0027】
図4に示す状態において、キャラクタCはキャラクタDの方向を見ている。従って、図5に示すように、ユーザ端末3−1の表示装置25に表示される画像(仮想現実空間)には、キャラクタDが表示されている。
【0028】
同様に、図4において、キャラクタDはキャラクタCの方向を見ている。このため、図6に示すように、ユーザ端末3−2の表示装置25に表示される画像(仮想現実空間)には、キャラクタCが表示される。
【0029】
これに対して、例えばユーザ端末3−2において俯瞰モードを指定すると、図4に示すように、自分のキャラクタCを含む俯瞰的画像が表示される。
【0030】
次に、図7乃至図10のフローチャートを参照して、ユーザ端末3とシミュレーション装置1の動作について説明する。
【0031】
図7は、ユーザ端末3の処理例を表している。最初にステップS1において、ユーザ端末3の俯瞰モード切換ボタン49eを操作して、俯瞰モードまたはキャラクタモードのいずれかを設定する。次にステップS2において、位置または視点を変更するか否かを判定する。キャラクタモード時においては、キャラクタの仮想現実空間内における位置を、移動入力装置49dを操作することで入力する。またキャラクタの視点を、視点入力装置49cを操作することで入力する。俯瞰モード時においては、その位置は、移動入力装置49dを操作することで入力され、俯瞰視点は、俯瞰視点入力装置49fを操作することで入力される。
【0032】
位置または視点を変更したとき、ステップS3に進み、位置または視点に対応するデータをシミュレーション装置1に出力する処理が実行される。即ち、CPU41は、視点入力装置49c、移動入力装置49d、俯瞰視点入力装置49fなどの操作に対応するデータを、通信装置44を介してシミュレーション装置1へ出力する。
【0033】
シミュレーション装置1においては、図8を参照して後述するように、この位置と視点のデータを受信したとき、ステップS22において、この位置と視点に対応する画像データをデータベース2より読み出し、ユーザ端末3に出力する。
【0034】
そこで、ユーザ端末3においては、ステップS4において、シミュレーション装置1が出力した描画情報を受信し、それに対応して、仮想現実空間を形成する、例えば都市計画画像を生成する。
【0035】
即ち、CPU41は、シミュレーション装置1より、描画情報を通信装置44を介して受信したとき、この描画情報を一旦RAM43に記憶させる。そして、この描画情報に対応して3次元の仮想現実空間を形成する画像を生成し、インタフェース48を介して表示装置45に表示させる。これにより、表示装置45には、例えば計画した都市の3次元画像が表示される。
【0036】
ステップS3とステップS4の処理は、位置または視点が変更された場合においてのみ実行される。位置または視点を変更する必要がない場合、既に表示装置45に表示されている画像を変化させる必要がない。従って、この場合においては、ステップS3とステップS4の処理はスキップされる。
【0037】
次にステップS5に進み、現在のモードが俯瞰モードであるか否かが判定される。俯瞰モードである場合においては、ステップS6に進み、自分のキャラクタの画像を、視点入力装置49cと移動入力装置49dを操作することで、入力した視点と位置に対応して生成する。そして、自分のキャラクタの画像を表示装置45に出力し、表示させる。
【0038】
現在のモードが俯瞰モードではない場合、即ち、キャラクタモードである場合、自分のキャラクタの位置と視点に対応する画像が表示装置45に表示されるため、自分のキャラクタの画像は、自分の表示装置45に表示させる必要はない。そこで、この場合においては、ステップS6の処理はスキップされる。
【0039】
次にステップS7に進み、他のユーザ端末3またはシミュレーション装置1のキャラクタの位置と視点のデータを受信する。そしてステップS8において、ステップS7で受信した位置と視点のデータから、そのキャラクタの位置または視点が変更されたか否かを判定し、変更された場合においては、ステップS9に進み、その新たな位置または視点におけるキャラクタの画像を生成し、これを表示装置45に出力し、表示させる。
【0040】
これに対して、ステップS8において、他のキャラクタの位置または視点が変更されていないと判定された場合においては、ステップS9の処理はスキップされる。即ち、そのキャラクタの画像は変更されない。
【0041】
次にステップS10に進み、モード(俯瞰モードまたはキャラクタモード)を変更するか否かを判定し、変更しない場合においては、ステップS2に戻り、それ以降の処理を繰り返し実行する。
【0042】
これに対して、モードを変更する場合においては、ステップS1に戻り、新たなモードを設定し、ステップS2に進み、それ以降の処理を繰り返す。
【0043】
以上のようにして、例えばユーザ端末3−2において、キャラクタモードを指定した場合、自分のキャラクタの位置と視点に対応して、例えば図6に示すような画像が表示装置45に表示される。
【0044】
これに対して、俯瞰モードを設定した場合においては、その位置と俯瞰視点に対応して、図4に示すような画像が表示装置45に表示される。
【0045】
図8は、ユーザ端末3が、図7のフローチャートに示すような処理を実行した場合におけるシミュレーション装置1の処理例を表している。最初にステップS21において、ユーザ端末3より、対応するキャラクタの位置または視点を変更するデータを受信するまで待機し、受信したとき、ステップS22に進み、受信した位置または視点データに対応する描画情報をデータベース2より読み出し、その位置または視点データを出力したユーザ端末3に出力する。このステップS22で出力したデータが、ユーザ端末3において、図7のステップS4において受信され、処理されることになる。
【0046】
次にステップS23に進み、ステップS21で受信した位置または視点データを、関連する他のユーザ端末にも出力する。このステップS23で出力したデータが、ユーザ端末3において、図7のステップS7において受信される。
【0047】
尚、ここにおいて、他のユーザ端末が関連するか否かは、そのユーザ端末の位置と視点から判断される。即ち、例えばユーザ端末3−1のキャラクタCの位置または視点が変更された場合、このキャラクタCを表示装置に表示しているユーザ端末であって、ユーザ端末3−1以外のユーザ端末が、ここにおける関連する他のユーザ端末となる。
【0048】
ステップS23の処理の後、ステップS21に戻り、同様の処理が繰り返し実行される。
【0049】
尚、図8には、ユーザ端末3の操作に対応するシミュレーション装置1の処理を説明したが、シミュレーション装置1は、ユーザ端末3が有する機能を同様に有しており、図7を参照して説明したユーザ端末3の処理は、シミュレーション装置1においても同様に行うことができるようになされている。
【0050】
以上のようにして、各ユーザ端末3の表示装置45と、シミュレーション装置1の表示装置25には、仮想現実空間における都市の画像が所定の数のキャラクタの画像とともに、表示される。
【0051】
次に図9のフローチャートを参照して、ユーザ端末3における他のユーザ端末3またはシミュレーション装置1との音声信号による会話処理について説明する。
【0052】
最初にステップS31において、現在のモードが合成モードであるか否かが判定され、合成モードではない場合(独立モードである場合)、ステップS32に進み、相手画像を指定する処理が実行される。即ち、ユーザ端末3は、例えばマウス49bを操作して、対応するカーソル(図示せず)を、会話を行う相手として指定したいキャラクタ上に配置し、クリックすることで、キャラクタの指定を行う。
【0053】
次にステップS33に進み、指定された相手を特定するためのデータをシミュレーション装置1に出力する処理を実行する。即ち、ユーザ端末3のCPU41は、指定されたキャラクタに対応するデータをシミュレーション装置1に出力する。
【0054】
シミュレーション装置1は、図10のフローチャートを参照して後述するように、ユーザ端末3より、この相手を指定するデータを受信したとき、ステップS54において、これを、指定されたユーザ端末に出力する。指定データを受信した他のユーザ端末は、これに応答するとき、図9のステップS43でOK信号を出力する。シミュレーション装置1は、このOK信号を受信したとき、図10のステップS57で、指定したユーザ端末と指定されたユーザ端末の通信網を接続する処理を実行する。
【0055】
そこで、ユーザ端末3においては、図9のステップS34において、OK信号の受信を確認した後、ステップS35において、指定した相手と音声信号による双方向の会話を実行する。
【0056】
このとき、所定のユーザ端末3のマイク46より入力した音声信号は、インタフェース48、通信装置44を介してシミュレーション装置1に出力される。シミュレーション装置1は、上述したように、音声信号による通信網の接続を行っているため、この音声信号は、指定されたキャラクタが対応するユーザ端末3に出力される。そして、そのユーザ端末3のスピーカ47より出力される。
【0057】
同様に、指定されたユーザ端末3のマイク46より入力した音声信号が、キャラクタを指定したユーザ端末のスピーカ47に出力される。これにより、双方向の音声信号による会話が行われる。
【0058】
この会話は、ステップS36において、ユーザ端末3のキーボード49aの所定のキーを操作するなどして終了が指令されるか、ステップS37において、モードが合成モードに変更されたと判定されるまで繰り返し実行される。
【0059】
ステップS36において、会話の終了が指令されたと判定された場合においては、ステップS38に進み、終了信号を出力する処理が実行される。
【0060】
シミュレーション装置1は、この終了信号を受信したとき、図10のステップS58でこれを検出し、通信網の接続を解除する処理を実行する。
【0061】
一方、ステップS31において、モードが合成モードであると判定された場合においては、ステップS39に進み、所定の仮想現実空間内における空間(地域)内に位置する不特定のキャラクタに対応するユーザ端末またはシミュレーション装置との会話が実行される。
【0062】
即ち、図10を参照して後述するように、合成モード時においては、ステップS62において、所定の地域内に位置する複数のキャラクタ間において、相互に会話を行うことができるようになされる。従って、ユーザ端末3においては、この合成モードが終了されたとステップS40において判定されるまで、所定の地域内の不特定のキャラクタに対応するユーザ端末またはシミュレーション装置との会話を行うことが可能となる。
【0063】
単独モードにおける会話を行っている最中に、ステップS37において、合成モードに変更されたと判定された場合においては、ステップS37からステップS39に進み、それ以降の処理が同様に実行される。
【0064】
図10は、シミュレーション装置1における会話処理の例を表している。最初にステップS51において、合成モードまたは独立モードの設定処理が行われる。この設定は、シミュレーション装置1の合成モード切換釦29gを操作することで行われる。次にステップS52において、設定されたモードが合成モードであるか否かが判定され、合成モードではない(独立モードである)と判定された場合においては、ステップS53に進み、ユーザ端末3より所定のキャラクタを指定する指定データが受信されたか否かが判定される。指定データが受信されたと判定された場合、ステップS54に進み、指定データを、指定されたキャラクタが対応するユーザ端末3に出力する。
【0065】
次にステップS55に進み、指定データを供給したユーザ端末からOK信号が受信されたか否かを判定する。OK信号が受信されていない場合、ステップS56に進み、モードを独立モードから合成モードに変更するか否かを判定し、変更しない場合においては、ステップS53に戻り、それ以降の処理を繰り返す。
【0066】
ステップS55において、OK信号を受信したと判定した場合、ステップS55からステップS57に進み、キャラクタを指定したユーザ端末と、OK信号を出力したユーザ端末とを、音声信号による会話が可能なように通信網を接続する処理を実行する。
【0067】
次にステップS58に進み、会話終了信号が受信されたか否かが判定され、受信されない場合、ステップS59に進み、独立モードが変更されたか否かが判定され、変更されない場合、ステップS57に戻る。これにより、キャラクタを指定したユーザ端末またはシミュレーション装置と、指定されたキャラクタのユーザ端末またはシミュレーション装置との間で、双方向の音声信号による会話が継続される。
【0068】
ユーザ端末3が、図9のステップS38において終了信号を出力し、シミュレーション装置1において、図10のステップS58でこれを受信したとき、ステップS53に戻り、それ以降の処理を繰り返す。また、ステップS59において、独立モードから合成モードに変更するか否かを判定し、変更する場合、ステップS51に戻り、合成モード切換ボタン29gを操作して、所定のモードを設定する処理を実行する。
【0069】
ステップS51において、合成モード切換ボタン29gを操作することで、合成モードを設定した場合、ステップS52からステップS60に進み、合成モードを設定する地域を指定するか否かが判定される。合成モードを設定する地域を指定する場合、ステップS61に進み、地域指定処理が実行される。
【0070】
即ち、合成モードを適用する地域を設定する場合、入力装置29の地域指定装置29hを操作して、合成モードを適用する地域として所定の地域が指定される。
【0071】
例えば、仮想現実空間を形成する都市空間において、その所定のブロックのビルや住居において停電が発生したことを想定し、その場合における各キャラクタの動きを把握したいような場合、そのブロック内において合成モードを設定することができる。あるいはまた、仮想現実空間を形成する所定の位置に、道路を形成し、その道路を走行する車輌による騒音の及ぼす影響を調べるような場合において、その道路から所定の範囲内の地域を指定することができる。
【0072】
ステップS60において、特に地域を指定する必要がないと判定された場合、ステップS61の地域指定処理はスキップされる。この場合においては、全ての地域(仮想現実空間を形成する全ての空間)に合成モードが設定されることになる。
【0073】
次にステップS62に進み、指定された地域、あるいは全ての空間に位置するキャラクタに対応するユーザ端末3の音声信号による通信網を相互に接続し、ステップS63において、それらによる音声信号による会話を行わせる。この処理は、ステップS64において、合成モードから独立モードへモードを変更すると判定されるまで繰り返し実行される。
【0074】
この合成モード時においては、合成モードが設定されている地域内においては、その地域に位置するキャラクタの対応するユーザ端末が発生する音声信号が全て合成されて、他のユーザ端末に供給される。これに対して、独立モードにおいては、キャラクタを指定したユーザ端末と、指定されたキャラクタに対応するユーザ端末との間においてのみ会話が行われる。
【0075】
しかしながら、このような会話は、現実の空間においては有り得ないことである。即ち、現実の空間においては、常に周囲のキャラクタからの音声信号が入力されている。換言すれば、このような意図しない周囲のキャラクタからの音声信号が入力されている状態が、より自然に近い状態である。従って、より自然に近い状態を実現するには、この合成モードが設定される。
【0076】
但し、所定の地域内に位置するキャラクタが発生する音声信号を、全て同一レベルで合成し、各ユーザ端末に供給するようにすると、各ユーザ端末において、音声信号を実質的に聞き取ることが困難になる。そこで、各ユーザ端末に対しては、その対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタが出力する音声信号は、その距離が遠いほど大きく減衰するようにして合成する。このようにすることで、より現実空間に近い臨場感を発生させることができる。
【0077】
この仮想現実空間において提供される画像は、基本的にコンピュータグラフィックスにより生成された精度の高い画像である。従って、これをあらゆる角度から見ることで、現実の空間における都市空間と殆ど同様の体験を、各ユーザ端末に体験させることができる。
【0078】
この仮想現実空間には、多数のビルや住居、川などが適宜配置される。そして、複数のユーザ端末に対応するキャラクタを移動させる処理を実行させることによって、その都市空間における問題点を把握することが可能となる。
【0079】
【発明の効果】
以上の如く、本発明のシミュレーションシステムによれば、自分自身のキャラクタの位置、自分以外のキャラクタの位置に対応して、仮想空間画像を生成するようにしたので、より現実空間に近い状態で、仮想現実空間を体験させることが可能となる。また、仮想現実空間における問題点などを実際にテストし、判断することが可能となる。
【図面の簡単な説明】
【図1】本発明のシミュレーションシステムの構成例を示すブロック図である。
【図2】図1のシミュレーション装置1の構成例を示すブロック図である。
【図3】図1のユーザ端末3の構成例を示すブロック図である。
【図4】図1のシミュレーションシステムにより形成される仮想現実空間を説明する図である。
【図5】図4のキャラクタCからの視野を説明する図である。
【図6】図4のキャラクタDからの視野を説明する図である。
【図7】図1のユーザ端末3の処理を説明するフローチャートである。
【図8】図1のシミュレーション装置1の処理を説明するフローチャートである。
【図9】図1のユーザ端末3の会話処理を説明するフローチャートである。
【図10】図1のシミュレーション装置1の会話処理を説明するフローチャートである。
【符号の説明】
1 シミュレーション装置
2 データベース
3,3−1乃至3−N ユーザ端末
21 CPU
22 ROM
23 RAM
24 通信装置
25 表示装置
26 マイク
27 スピーカ
28 インタフェース
29 入力装置
29a キーボード
29b マウス
29c 視点入力装置
29d 移動入力装置
29e 俯瞰モード切換釦
29f 俯瞰視点入力装置
29g 合成モード切換釦
29h 地域指定装置
41 CPU
42 ROM
43 RAM
44 通信装置
45 表示装置
46 マイク
47 スピーカ
48 インタフェース
49 入力装置
49a キーボード
49b マウス
49c 視点入力装置
49d 移動入力装置
49e 俯瞰モード切換釦
49f 俯瞰視点入力装置

Claims (14)

  1. 3次元の仮想空間を形成する画像データを記憶する記憶手段と、
    前記記憶手段に記憶されている仮想空間の画像データを供給する供給手段と、
    前記供給手段より前記仮想空間の画像データを受信して、仮想空間画像を生成する、前記供給手段に接続された複数の受信手段と
    を備えるシミュレーションシステムにおいて、
    前記受信手段は、前記仮想空間上において対応するキャラクタを有し、前記キャラクタの位置を入力して、前記供給手段に送信し、
    前記供給手段は、前記キャラクタの位置における前記キャラクタの視点からの画像または前記キャラクタを含む前記仮想空間の俯瞰視点からの画像に対応する描画情報を前記記憶手段から読み出して、前記受信手段に供給するとともに、前記受信手段から供給された前記キャラクタの位置のデータを他の前記受信手段に供給し、
    前記受信手段は、前記供給手段から、前記キャラクタの位置に対応する前記描画情報と、自分以外の前記受信手段のキャラクタの位置の提供を受けて自分のキャラクタの位置における前記キャラクタの視点からの仮想空間画像を生成するか、または前記描画情報と、自分以外のキャラクタの位置のデータと、自分のキャラクタの位置のデータとを用いて、自分のキャラクタの画像を含む俯瞰視点からの仮想空間画像を生成し、
    前記供給手段は、前記仮想空間において地域が指定されることにより、ユーザ操作に応じて前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段をさらに備え、
    前記供給手段は、前記設定手段により設定された範囲内に位置する複数の前記キャラクタに対応する音声信号を合成して、受信手段に供給する
    ことを特徴とするシミュレーションシステム。
  2. 前記受信手段と供給手段の少なくとも一方は、自分のキャラクタを表示せず、自分以外のキャラクタを表示するキャラクタモードと、自分以外のキャラクタと自分のキャラクタの両方を表示する俯瞰モードとを切り換える俯瞰モード切換手段を有する
    ことを特徴とする請求項1に記載のシミュレーションシステム。
  3. 前記受信手段と供給手段の少なくとも一方は、前記俯瞰モード時における俯瞰視点を入力する俯瞰視点入力手段を備える
    ことを特徴とする請求項2に記載のシミュレーションシステム。
  4. 前記供給手段は、複数の前記キャラクタに対応する音声信号を合成する合成モードと、特定のキャラクタに対応する音声信号を授受する独立モードとを選択する選択手段を備える
    ことを特徴とする請求項に記載のシミュレーションシステム。
  5. 前記受信手段は、前記供給手段から提供された前記画像データと他のユーザ端末の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成する
    ことを特徴とする請求項1に記載のシミュレーションシステム。
  6. ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置において、
    仮想空間を形成するデータを記憶する記憶手段と、
    複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータを受信する受信手段と、
    受信した前記ユーザ端末に対応するキャラクタの位置における前記キャラクタの視点からの画像または前記キャラクタを含む前記仮想空間の俯瞰視点からの画像に対応する描画情報を前記記憶手段から読み出して前記ユーザ端末に送信すると共に、前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信する送信手段と、
    複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号を合成する合成手段と、
    前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段とを備え、
    前記合成手段は、前記設定手段により設定された範囲内に位置する複数の前記ユーザ端末の音声信号を合成し、
    前記送信手段は、前記合成した音声信号を前記ユーザ端末にさらに送信する
    ことを特徴とする仮想空間提供装置。
  7. 前記合成手段は、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成する
    ことを特徴とする請求項に記載の仮想空間提供装置。
  8. 複数のユーザ端末から受信した音声信号を合成して送信するモードと、特定のユーザ端末から受信した音声信号を送信するモードとを選択する選択手段を更に備える
    ことを特徴とする請求項に記載の仮想空間提供装置。
  9. ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置の仮想空間提供方法において、
    複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータを受信する受信ステップと、
    受信した前記ユーザ端末に対応するキャラクタの位置における前記キャラクタの視点からの画像または前記キャラクタを含む前記仮想空間の俯瞰視点からの画像に対応する描画情報を前記ユーザ端末に送信する送信ステップと、
    前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信するステップと、
    前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定するステップと、
    前記設定された範囲内に位置する複数の前記ユーザ端末から受信した前記音声信号を合成するステップとを備え、
    前記合成した音声信号を前記ユーザ端末にさらに送信する
    ことを特徴とする仮想空間提供方法。
  10. 前記合成ステップは、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成する
    ことを特徴とする請求項に記載の仮想空間提供方法。
  11. シミュレーション装置から仮想空間を形成するデータの提供を受けるユーザ端末装置において、
    自己に対応する仮想空間上のキャラクタの位置を入力する入力手段と、
    前記入力された自己に対応する仮想空間上のキャラクタの位置に対応するデータを前記シミュレーション装置に送信する送信手段と、
    送信した自己に対応するキャラクタの位置に対応するデータに対応する描画情報を前記シミュレーション装置から受信すると共に、他のユーザ端末装置の前記キャラクタの位置のデータを受信する受信手段と、
    前記仮想空間の画像の表示モードについて、自己に対応するキャラクタの視点からの画像を表示するキャラクタモードか、または自己に対応するキャラクタを含む仮想空間の俯瞰視点からの画像を表示する俯瞰モードのいずれかを選択するモード選択手段と、
    前記モード選択手段により前記キャラクタモードが選択されている場合、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応する仮想空間上のキャラクタの位置における前記キャラクタの視点からの仮想空間画像を生成し、前記モード選択手段により前記俯瞰モードが選択されている場合、前記描画情報と、他のユーザ端末装置のキャラクタの位置のデータと、自己のキャラクタの位置のデータとを用いて、自己のキャラクタの画像を含む俯瞰視点からの仮想空間画像を生成する生成手段とを備え、
    前記受信手段は、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信する
    ことを特徴とするユーザ端末装置。
  12. 前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成する
    ことを特徴とする請求項11に記載のユーザ端末装置。
  13. 前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する
    ことを特徴とする請求項21に記載のユーザ端末装置。
  14. 前記キャラクタモードと俯瞰モードとを切り替える俯瞰モード切替手段を更に備える
    ことを特徴とする請求項21に記載のユーザ端末装置。
JP22452094A 1994-09-20 1994-09-20 シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法 Expired - Fee Related JP3780536B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22452094A JP3780536B2 (ja) 1994-09-20 1994-09-20 シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22452094A JP3780536B2 (ja) 1994-09-20 1994-09-20 シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005350248A Division JP3815509B2 (ja) 2005-12-05 2005-12-05 シミュレーションシステム、仮想空間提供装置および方法、並びにユーザ端末装置および仮想空間画像生成方法

Publications (2)

Publication Number Publication Date
JPH0887605A JPH0887605A (ja) 1996-04-02
JP3780536B2 true JP3780536B2 (ja) 2006-05-31

Family

ID=16815091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22452094A Expired - Fee Related JP3780536B2 (ja) 1994-09-20 1994-09-20 シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法

Country Status (1)

Country Link
JP (1) JP3780536B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP3378726B2 (ja) * 1996-05-24 2003-02-17 富士通株式会社 機械装置の設計/製造工程支援装置
JPH1021215A (ja) * 1996-06-28 1998-01-23 Ritsumeikan サイバースペースの作成方法及びその作成装置
JP2019040328A (ja) * 2017-08-24 2019-03-14 株式会社フォトロン 情報配信装置及び情報配信システム
JP6971282B2 (ja) * 2019-08-30 2021-11-24 株式会社コロプラ プログラム、方法、および情報端末装置
JP7191181B2 (ja) * 2019-08-30 2022-12-16 株式会社コロプラ プログラム、方法、および情報端末装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3036162B2 (ja) * 1991-10-22 2000-04-24 ソニー株式会社 仮想空間共有方法及び仮想空間共有サーバ
JP3376593B2 (ja) * 1991-11-14 2003-02-10 株式会社日立製作所 地図データ表示装置
JP2997590B2 (ja) * 1991-11-29 2000-01-11 株式会社東芝 電子会議システムおよび端末装置
JPH06149275A (ja) * 1992-10-30 1994-05-27 Sega Enterp Ltd 三次元仮想空間情報を考慮した三次元仮想音像形成装置

Also Published As

Publication number Publication date
JPH0887605A (ja) 1996-04-02

Similar Documents

Publication Publication Date Title
JP4152432B2 (ja) 仮想現実回路網
US6813473B1 (en) Remote laboratory
JP4190590B2 (ja) 仮想現実空間提供方法および仮想現実空間提供装置
JPH09247637A (ja) 映像音声通信システム、映像通信システム、送信端末及び受信端末
JP3815509B2 (ja) シミュレーションシステム、仮想空間提供装置および方法、並びにユーザ端末装置および仮想空間画像生成方法
JP3780536B2 (ja) シミュレーションシステム、仮想空間提供装置及び方法、並びにユーザ端末装置及び仮想空間画像生成方法
WO2018012628A1 (ja) 画像表示装置及び画像表示システム
JP3036162B2 (ja) 仮想空間共有方法及び仮想空間共有サーバ
JP4327545B2 (ja) 現場監視システムおよび現場監視方法
JP3674993B2 (ja) 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JP2022139693A (ja) 情報処理サーバ、および、仮想空間提供システム
US6028609A (en) Picture display method and apparatus
KR101496899B1 (ko) 가상 디바이스 시뮬레이션을 이용한 원격 도움 시스템 및 그 서비스 방법과, 튜토리얼 서비스 장치 및 그 방법
JP2913624B1 (ja) 災害体験模擬装置
KR102540516B1 (ko) AR(Augmented Reality) 컨텐츠를 제공하는 장치, 사용자 단말 및 방법
KR100238072B1 (ko) 화상회의시스템을 위한 가상공간 구현장치
JPH09102051A (ja) 音場制御方法および装置
WO2023190093A1 (ja) 通信システム
WO2023190091A1 (ja) 仮想現実会議システム
JPH0424914B2 (ja)
Retik et al. Integrating virtual reality and telepresence to remotely monitor construction sites: A ViRTUE project
JPH096577A (ja) 画像表示装置及び画像表示方法
JP2003101989A (ja) 仮想鑑賞方法、鑑賞サーバ装置、端末、プログラム
JP2002245294A (ja) 仮想空間を利用したモデル住宅システム
JPH08205112A (ja) 協同作業インタフェース制御装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060227

LAPS Cancellation because of no payment of annual fees