JPH09244845A - ３次元仮想空間表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元表示された仮想的な空間に複数の人が
参加する仮想環境を実現する３次元仮想空間表示方法に
おいて、仮想環境を構築するデータを予め準備しておく
際の、コンテンツ作成の手間を省き、仮想環境に広がり
を持たせる。 【解決手段】 複数の計算機の内１台をサーバ２とし、
残りをクライアント１とし、ネットワーク等で接続す
る。クライアント１は、顔画像と位置情報か、または実
世界画像かを明示してサーバ２に送信する。サーバ２
は、位置情報と顔画像の場合は取りまとめて全クライア
ントに対してデータ送信し、実世界画像の場合は、識別
フラグを立てたテーブルと共に画像をデータ送信する。
クライアント１側では、顔画像の場合には仮想環境のユ
ーザ分身であるアバタに配置し、実世界画像の場合には
背景やオブジェクト等に配置して、実世界画像を仮想環
境の世界で利用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ（ＰＣ）やワークステーション（ＷＳ）などの計
算機上で、街や家などの３次元表示された仮想的な空間
を作り、計算機ネットワークや公衆回線を介して複数の
人が参加する仮想環境を構築する技術分野にかかわり、
参加者が入力した実世界の映像を仮想環境内に取り込ん
で利用する３次元仮想空間表示技術に関するものであ
る。

【０００２】

【従来の技術】従来より、ＰＣやＷＳなどの計算機上
で、街や家などの３次元表示された仮想的な空間を作
り、この仮想的な空間に複数の人（ユーザ）が参加する
仮想環境を構築する技術がある。このような３次元表示
された仮想的な空間に複数の人（ユーザ）が参加する仮
想環境では、予め仮想環境を構築する背景やオブジェク
ト等のデータを準備しておく必要がある。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の仮想空間表示では、仮想環境を構成するオブジェク
トのデータを予め作成しておく必要があるため、コンテ
ンツ作成の手間がかかるという問題や、利用できる仮想
環境を構築するデータが限られているために、仮想環境
の広がりに欠けるという問題があった。

【０００４】本発明は、このような問題点を解決するた
めのものであり、その目的は、ＰＣやＷＳなどの計算機
上で、３次元表示された仮想的な空間に複数の人が参加
する仮想環境を実現する際に、コンテンツ作成の手間を
省き、また、仮想環境に広がりを与えることができる３
次元仮想空間表示方法を提供することにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の第１の発明は、計算機上の３次元仮想空間
内で自分の分身としての人物画像と他のユーザの人物画
像を配置することによって実現する３次元仮想空間表示
方法において、現実環境の画像を入力する段階と、前記
入力した画像を前記計算機上の３次元仮想空間内に取り
込んで用いる段階と、を有することを特徴とする３次元
仮想空間表示方法を手段とする。

【０００６】また、本発明の第２の発明は、上記第１の
発明の３次元仮想空間表示方法において、３次元仮想空
間を有する計算機が複数存在し、該複数の計算機はネッ
トワークを介して接続され、現実環境の画像を入力する
段階では、該入力された現実環境の画像をネットワーク
を介して前記複数の計算機に分配する過程を有し、入力
した画像を計算機上の３次元仮想空間内に取り込んで用
いる段階では、前記分配された画像を当該分配された計
算機上の３次元仮想空間内に取り込んで用いる過程を有
することを特徴とする。この第２の発明は、ネットワー
ク結合された計算機システムによる仮想環境を構築する
上で好適である。

【０００７】また、本発明の第３の発明は、上記第２の
発明の３次元仮想空間表示方法において、複数の計算機
は、一つをサーバ装置とし残りを端末装置として、サー
バ装置が端末装置からユーザの人物画像と位置情報を取
りまとめて端末装置へ分配し、各端末装置上の３次元仮
想空間内で自分の分身としての人物画像と他のユーザの
人物画像を配置するものとし、入力された現実環境の画
像をネットワークを介して複数の計算機に分配する過程
では、端末装置で入力した現実環境の画像をサーバ装置
に送信する過程と、端末装置から送信された前記現実環
境の画像をサーバ装置が複数の端末装置に分配する過程
とを有し、前記分配された画像を当該分配された計算機
上の３次元仮想空間内に取り込んで用いる過程では、前
記分配された画像を当該分配された端末装置の３次元仮
想空間内に取り込んで用いる過程を有することを特徴と
する。この第３の発明は、一つのサーバ装置がユーザ情
報を統一的に管理する点で好適である。

【０００８】また、本発明の第４の発明は、上記第３の
発明の３次元仮想空間表示方法において、端末装置で入
力した現実環境の画像をサーバ装置に送信する過程で
は、現実環境の画像と人物画像を区別する画像種別情報
とともに画像を送信し、端末装置から送信された前記現
実環境の画像をサーバ装置が複数の端末装置に分配する
過程では、各画像と各画像種別情報について作成したテ
ーブルとを送信し、分配された画像を当該分配された端
末装置の３次元仮想空間内に取り込んで用いる過程で
は、サーバ装置から分配された前記テーブルの画像種別
情報に基づいて画像の配置を選択することを特徴とす
る。この第４の発明は、端末装置での画像の描画処理を
容易にする点で好適である。

【０００９】さらに、本発明の第５の発明は、上記第２
の発明の３次元仮想空間表示方法において、複数の計算
機は、一つをサーバ装置とし残りを端末装置として、サ
ーバ装置が端末装置からユーザの人物画像と位置情報を
取りまとめて端末装置へ分配し、各端末装置上の３次元
仮想空間内で自分の分身としての人物画像と他のユーザ
の人物画像を配置するものとし、入力された現実環境の
画像をネットワークを介して複数の計算機に分配する過
程では、現実環境の画像を入力する特定の端末装置から
前記画像を分配しようとする端末装置へ新規パスを形成
する過程と、前記特定の端末装置から前記新規パスを形
成した端末装置へ直接に前記現実環境の画像を分配する
過程とを有することを特徴とする。この第５の発明は、
端末装置間で迅速なコミュニケーションを行う上で好適
である。

【００１０】以上の本発明では、ＰＣやＷＳなどの計算
機上で、３次元表示された仮想的な空間に複数の人が参
加する仮想環境を実現する時に、一参加者が入力した実
世界の現実環境の画像を仮想環境内に取り込み、仮想環
境の世界の一部として利用することにより、仮想環境内
の新たなオブジェクト作成を容易にしてコンテンツ作成
の手間を省くとともに、仮想環境と実世界の垣根を取り
払い、コミュニケーションの幅を広げるなど、仮想環境
に広がりを与えることを可能とする。従来の技術には、
このような仮想環境を実現する３次元仮想空間表示方法
はない。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を、図
を用いて詳細に説明する。

【００１２】図１に、本発明の適用の対象となる、仮想
環境を実現するためのシステム構成を示す。図１のよう
に、本システムは複数の計算機（ＰＳやＷＳなど）から
構成されており、これらの複数の計算機は、１台が仮想
環境内におけるユーザの位置情報を管理するサーバ２と
なり、残りのｎ台がユーザ対応のクライアント１−１、
１−２、…１−ｎ（以下、代表する場合は１と記す）と
なるように構成され、ネットワークや公衆回線等で相互
に接続されている。クライアント１は、ユーザの仮想環
境内での移動などの操作によって変化する位置情報と、
ユーザの例えば顔画像などを人物画像としてサーバ２に
対して送信する。サーバ２は、クライアント１から送ら
れてきた位置情報と顔画像などを取りまとめ、全クライ
アントに対して全ユーザ分の位置情報と顔画像のデータ
送信を行なう。

【００１３】図２に、本発明の利用形態例のイメージ図
を示す。ここでは、実世界の映像を取り込んで発信する
クライアントを発信クライアント、その他の、映像を受
信するクライアントを受信クライアントとする。図２の
ように、発信クライアントは、マシンに附属しているカ
メラによって実世界の映像を取り込む。受信クライアン
トは、発信クライアントによって入力された映像をコン
ピュータ上に実現された仮想空間の中で、他のオブジェ
クトと同様に扱うことができる。

【００１４】発信クライアントが画像を送信するための
仕組みとしては、（１）サーバを介する、（２）新たに
通信のパスを張るという２つの実施形態例の方法が考え
られる。（１）の場合の処理の流れを図４に、（２）の
場合の処理の流れを図５に示す。各処理の内容は、後に
説明する。

【００１５】実世界の映像を仮想空間内で利用するため
のユーザインタフェースとして、仮想環境の背景すべて
を、受信した実世界の映像に置き換える、仮想空間内の
オブジェクトに張り付け表示する、といった方法が考え
られる。

【００１６】また、カメラを用いる場合は実世界から入
力される情報は映像のみであるが、他のセンサと組み合
わせることによって実世界のオブジェクトから付加的な
情報を得ることも可能になる。発信クライアントと受信
クライアントの間の画像転送が、サーバを介するか、新
たに通信のパスを張るかに依存しない実現例として、図
書館の窓口の係員と通信を行ない、図書に付けられたセ
ンサからの情報を受けながら蔵書を探し、関連文献を見
つけるといった場面が考えられる。その利用のイメージ
図を図３に示す。図３では、蔵書検索の利用者が図書の
ある場所におり、図書館の係員が遠隔地にいる。利用者
は、本棚の映像を仮想環境中に入力し、係員と共有して
いる。仮想環境内で、利用者の探している本を係員が指
し示すことで図書の場所を教えたり、センサとの通信に
よって認識された図書の関連の情報を引き出したりする
ことが可能になる。

【００１７】《実施形態例１：サーバを介する場合の処
理の流れ》本発明の第１の実施形態例における処理のフ
ローチャートは、図４の通りである。

【００１８】発信クライアントから入力された実世界の
映像をサーバを介して他の参加者に送信する第１の実施
形態例による方法は、図１にあるように、サーバ２が各
クライアント１から送信されてくる顔画像を配送する仕
組みを利用することで実現する。

【００１９】サーバ２は、本来、クライアント１から送
られてくる顔画像をまとめ、クライアントに対して送信
しているが、本発明における構成では、サーバ２から配
送するデータとして、クライアント１から送信される映
像リソースの種別フラグをまとめた例えば図６に示すよ
うなテーブルを新たに作成し、クライアント１からの入
力映像がユーザの顔画像であるか否（否の場合が実世界
の映像を意味する）かを種別フラグで識別可能にする。

【００２０】まず、第１の実施形態例におけるクライア
ント１側の処理を示すと、以下のとおりである。

【００２１】（１）入力切替 クライアント１から入力される映像は、実世界の映像で
ある場合の他に、ユーザの顔画像である場合がある。

【００２２】顔画像は、ユーザの仮想空間内における分
身であるアバタに張り付けられるよう処理されるので、
仮想空間内で新たなオブジェクトとして利用される実世
界の映像とは区別される必要がある。

【００２３】クライアント１は、ユーザによるカメラの
方向転換やボタンクリックなどの明示的な操作によっ
て、転送画像がユーザの自画像ではないことをサーバ２
に通知する。

【００２４】図４のＳ１に対応する。

【００２５】（２）画像入力 クライアント１のマシンに取り付けられているカメラに
よって、ユーザは自分の身の回りの映像を入力する。

【００２６】図４のＳ２に対応する。

【００２７】（３）画像送信 入力した映像をサーバ２に対して転送する。

【００２８】図４のＳ３に対応する。

【００２９】（４）画像受信 サーバ２によってまとめられたすべてのクライアントか
らの映像入力を受信する。

【００３０】映像の他に、それぞれユーザの顔画像であ
るのか否かの対応テーブル（図６）を受信することによ
って、各送信クライアントからの入力映像を識別する。

【００３１】図４のＳ４に対応する。

【００３２】（５）描画 サーバ２から送信されてきた画像と対応テーブルを元に
して、識別された送信クライアントからの映像を取り出
す。

【００３３】顔画像と判断されたものは、参加者の位置
情報を基に他の参加者のアバタ上に描画する。

【００３４】実世界の映像と判断されたものは、背景や
仮想空間内のオブジェクト上に描画する。

【００３５】図４のＳ５に対応する。

【００３６】次に、第１の実施形態例におけるサーバ側
の処理を示すと、以下のとおりである。

【００３７】（１）画像切替 クライアント１からの通知により、そのクライアント１
から送信されてくる画像がユーザの顔画像かどうかを判
断する。

【００３８】顔画像であれば受信した画像を他のユーザ
に配送するだけだが、顔画像ではない場合、他のクライ
アントからの画像と識別するための処理を行なう。

【００３９】図４のＳ６に対応する。

【００４０】（２）映像種別フラグをたてる。

【００４１】クライアント１から送信される画像が顔画
像ではないと判断された場合、図６のように、対応テー
ブル中の該当クライアントの部分のフラグをたてること
によって、他のクライアントからの入力画像と識別を行
なう。

【００４２】図４のＳ７に対応する。

【００４３】（３）画像受信 クライアント１から画像を受信する。

【００４４】図４のＳ８に対応する。

【００４５】（４）送信画像テーブル作成 すべてのクライアントから画像を受信した後、再びクラ
イアントに送信するための画像データのテーブルを作成
する。

【００４６】図４のＳ９に対応する。

【００４７】（５）画像送信 サーバ２側の（４）で作成した、すべてのクライアント
からの画像をテーブルにしたものを各クライアント側に
送信する。

【００４８】この時、先に（２）で画像内容の識別のた
めの作成したクライアントテーブルを、画像データのテ
ーブルとともに送信する。

【００４９】図４のＳ１０に対応する。

【００５０】《実施形態例２：クライアント間通信を行
なう場合の処理の流れ》本発明の第２の実施形態例の方
法による実世界の画像の配送、利用の処理のフローチャ
ートは図５のとおりである。

【００５１】通常は、サーバを介して参加者全員の顔画
像の転送を行なっているが、特定のクライアント１の操
作により、そのクライアント１が、実世界の映像を共有
するｎ対地のクライアント間に閉じた新たな通信パスを
開き、周囲の実世界映像をｎ人に対して送信する。ま
た、終了の操作によって、クライアント間のコネクショ
ンを閉じ、サーバを介した通常の顔画像転送に戻る。

【００５２】まず、発信クライアント１側の処理を示す
と、以下のとおりである。

【００５３】（１）入力切替 発信クライアント１は、カメラからの入力映像がユーザ
の顔画像ではないことを、カメラの方向転換や、ボタン
クリックなどの明示的な操作によって入力する。

【００５４】図５のＳ１１に対応する。

【００５５】（２）新規パス作成 発信クライアント１からの入力を顔画像以外の映像にす
ると、発信クライアント１から入力される実世界の映像
を共有するｎ対地のメンバに対して、既存のサーバとの
通信ポートに加えて、新たにポートの確保を要求し（ｎ
＋１）人に閉じたコネクションを張る。

【００５６】この時、共有するメンバは発信クライアン
ト１から見て、近傍ｎ人であることや、また、仮想空間
内の特定の場所（部屋）に存在しているユーザなどとい
った限定の方法が考えられる。

【００５７】図５のＳ１２に対応する。

【００５８】（３）背景オブジェクト作成 発信クライアント１から入力された実世界の映像を描画
するためのオブジェクトを仮想空間内で作成する。

【００５９】背景全面に描画する方法や、ホワイトボー
ドや窓を模したオブジェクトに描画するといった掲示方
法が考えられるが、入力される映像は仮想空間内では２
次元の画像であるので必ず描画の対象となるオブジェク
トが必要となる。

【００６０】図５のＳ１３に対応する。

【００６１】（４）画像入力 発信クライアント１のマシンに取り付けられているカメ
ラによって、ユーザは自分の身の回りの映像を入力す
る。

【００６２】図５のＳ１４に対応する。

【００６３】（５）画像送信 入力した映像を他のクライアント１′に対して転送す
る。

【００６４】図５のＳ１５に対応する。

【００６５】（６）描画 入力した映像を、背景やオブジェクトに描画する。

【００６６】図５のＳ１６に対応する次に、受信クライ
アント１′側の処理を示すと、以下のとおりである。

【００６７】（１）新規パス作成 発信クライアント１から通知を受けて、発信クライアン
ト１から入力される実世界の映像を共有するメンバに閉
じた新たな通信パスをはる。

【００６８】この時、共有するメンバは発信クライアン
ト１から見て、近傍ｎ人であることや、また、仮想空間
内の特定の場所（部屋）に存在しているユーザなどとい
った限定の方法が考えらえる。

【００６９】図５のＳ１７に対応する。

【００７０】（２）背景オブジェクト作成 発信クライアント１から入力された実世界の映像を描画
するためのオブジェクトを仮想空間内で作成する。

【００７１】背景全面に描画する方法や、ホワイトボー
ドや窓を模したオブジェクトに描画するといった提示方
法が考えられるが、入力される映像は仮想空間内では２
次元の画像であるので必ず描画の対象となるオブジェク
トが必要となる。

【００７２】図５のＳ１８に対応する。

【００７３】（３）受信待ち 発信クライアント１からの実世界映像の受信を待機す
る。ループを回している状態になる。

【００７４】図５のＳ１９に対応する。

【００７５】（４）画像受信 発信クライアントからの実世界映像を受信する。

【００７６】図５のＳ２０に対応する。

【００７７】（５）描画 受信した映像を背景オブジェクトに描画する。

【００７８】図５のＳ２１に対応する。

【００７９】

【発明の効果】以上で説明したように、本発明によれ
ば、パーソナルコンピュータ（ＰＣ）やワークステーシ
ョン（ＷＳ）などの計算機上で、３次元表示された仮想
的な空間に複数の人が参加する仮想環境を実現し、実世
界から取り込んだ現実環境画像を仮想環境内で利用する
仕組みを提供することができる。

【００８０】そのため、仮想環境内で新たなオブジェク
トを作成することが容易になり、コンテンツを作成する
手間が省ける。さらに、実世界の情報を仮想環境内で利
用することで、コミュニケーションの幅を広げるなど仮
想環境に広がりを持たせることが可能となる。

【図面の簡単な説明】

【図１】本発明を実施する仮想環境を実現するためのシ
ステム構成例を示す図である。

【図２】本発明の利用形態例を説明するイメージ図であ
る。

【図３】上記利用形態例として図書館での蔵書検索例を
説明するイメージ図である。

【図４】本発明の第１の実施形態例を示すサーバを介し
た場合の処理の流れ図である。

【図５】本発明の第２の実施形態例を示すクライアント
間通信を行う場合の処理の流れ図である。

【図６】本発明の第１の実施形態例におけるクライアン
ト名と映像内容の対応関係のテーブルの構成例を示す図
である。

【符号の説明】

１−１，１−１，…，１−ｎ…クライアント（計算機） ２…サーバ（計算機）

Claims (5)

【特許請求の範囲】
1. 【請求項１】 計算機上の３次元仮想空間内で自分の分
   身としての人物画像と他のユーザの人物画像を配置する
   ことによって実現する３次元仮想空間表示方法におい
   て、 現実環境の画像を入力する段階と、 前記入力した画像を前記計算機上の３次元仮想空間内に
   取り込んで用いる段階と、 を有することを特徴とする３次元仮想空間表示方法。
2. 【請求項２】 ３次元仮想空間を有する計算機が複数存
   在し、該複数の計算機はネットワークを介して接続さ
   れ、 現実環境の画像を入力する段階では、該入力された現実
   環境の画像をネットワークを介して前記複数の計算機に
   分配する過程を有し、 入力した画像を計算機上の３次元仮想空間内に取り込ん
   で用いる段階では、前記分配された画像を当該分配され
   た計算機上の３次元仮想空間内に取り込んで用いる過程
   を有することを特徴とする請求項１記載の３次元仮想空
   間表示方法。
3. 【請求項３】 複数の計算機は、一つをサーバ装置とし
   残りを端末装置として、サーバ装置が端末装置からユー
   ザの人物画像と位置情報を取りまとめて端末装置へ分配
   し、各端末装置上の３次元仮想空間内で自分の分身とし
   ての人物画像と他のユーザの人物画像を配置するものと
   し、 入力された現実環境の画像をネットワークを介して複数
   の計算機に分配する過程では、端末装置で入力した現実
   環境の画像をサーバ装置に送信する過程と、端末装置か
   ら送信された前記現実環境の画像をサーバ装置が複数の
   端末装置に分配する過程とを有し、 前記分配された画像を当該分配された計算機上の３次元
   仮想空間内に取り込んで用いる過程では、前記分配され
   た画像を当該分配された端末装置の３次元仮想空間内に
   取り込んで用いる過程を有することを特徴とする請求項
   ２記載の３次元仮想空間表示方法。
4. 【請求項４】 端末装置で入力した現実環境の画像をサ
   ーバ装置に送信する過程では、現実環境の画像と人物画
   像を区別する画像種別情報とともに画像を送信し、 端末装置から送信された前記現実環境の画像をサーバ装
   置が複数の端末装置に分配する過程では、各画像と各画
   像種別情報について作成したテーブルとを送信し、 分配された画像を当該分配された端末装置の３次元仮想
   空間内に取り込んで用いる過程では、サーバ装置から分
   配された前記テーブルの画像種別情報に基づいて画像の
   配置を選択することを特徴とする請求項３記載の３次元
   仮想空間表示方法。
5. 【請求項５】 複数の計算機は、一つをサーバ装置とし
   残りを端末装置として、サーバ装置が端末装置からユー
   ザの人物画像と位置情報を取りまとめて端末装置へ分配
   し、各端末装置上の３次元仮想空間内で自分の分身とし
   ての人物画像と他のユーザの人物画像を配置するものと
   し、 入力された現実環境の画像をネットワークを介して複数
   の計算機に分配する過程では、 現実環境の画像を入力する特定の端末装置から前記画像
   を分配しようとする端末装置へ新規パスを形成する過程
   と、 前記特定の端末装置から前記新規パスを形成した端末装
   置へ直接に前記現実環境の画像を分配する過程とを有す
   ることを特徴とする請求項２記載の３次元仮想空間表示
   方法。