JP2001092990A

JP2001092990A - ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体

Info

Publication number: JP2001092990A
Application number: JP26565399A
Authority: JP
Inventors: Daisuke Minoura; 大祐箕浦; Shohei Sugawara; 昌平菅原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-09-20
Filing date: 1999-09-20
Publication date: 2001-04-06

Abstract

(57)【要約】【課題】３次元仮想空間システムにおいて操作者の表
情をリアルタイムに伝える。【解決手段】自情報受信部１０は、視線方向、操作者
の音声、初期入力顔映像処理部１３で作成された３次元
顔モデル、表示顔方向判定部１４で決定された操作者の
実写顔映像または全ての方向から撮影された操作者の実
写顔映像をデータ送信部１５から３次元仮想空間表示装
置の他者情報受信部２０に送信する。他者情報受信部２
０では、表示顔方向判定部２３で決定された方向の実写
顔映像または３次元CG顔モデルを顔映像表示部２６また
は顔モデル表示部２５により表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の参加者がそ
れぞれ複数の計算機端末を使い通信回線を介して通信
し、コンピュータグラフィックス技術を用いて構築され
た３次元仮想空間を複数の参加者が共有するシステムに
おける３次元仮想空間参加者表示方法に関する。

【０００２】

【従来の技術】従来技術として情報処理学会第５７回全
国大会、発表番号５M―８で発表された３次元仮想空間
参加者表示方法がある。この方法では、仮想空間の参加
者の全身を予め多方向から撮影したアバタテクスチャを
用意し、他の参加者から見える方向にふさわしいように
アバタテクスチャを切り替えて表示している。また、映
像処理の技術において、人物の顔を撮影した場合に映像
中の色成分を輝度、彩度、色相に分解し、色相において
肌色を表していると思われる領域を固定的に設定して、
映像中の背景から人物の顔領域を抽出する技術が広く使
われている。

【０００３】

【発明が解決しようとする課題】従来の分身の表示方法
として、１方向から撮影した顔の実映像をそのまま胴体CG映像
に接合して表示する方法と、実映像を基に人手で３次元空間を板状の領域を作成
し、そこに実映像を貼り付けて分身の映像を作成し表示
する方法があった。

【０００４】の方法は、他の参加者が横から見たと
き、その表情がわからない。

【０００５】の方法は、人手で行うため数時間以上の
時間がかかりリアルタイムに表示することができないと
いう欠点があった。

【０００６】本発明の目的は、３次元仮想空間において
操作者の表情をリアルタイムに伝えることができる３次
元仮想空間参加者表示方法、装置、および３次元仮想空
間参加者表示プログラムを記録した記録媒体を提供する
ことにある。

【０００７】

【課題を解決するための手段】本発明は、仮想空間およ
び操作者の分身の状況に基づいいて、実写映像と３次元
胴体モデルの合成および実写顔映像から作成した３次元
顔モデルと３次元胴体モデルの合成のいずれかを選択し
て表示するものである。

【０００８】実映像をそのまま表示する場合、複数方向
から顔画像を撮影し、操作者自身あるいは他の参加者の
視線方向に基づいて、表示する顔映像を選択する。これ
によって、操作者自身や他の参加者の視線方向によらず
に操作者の表情の表示が可能となる。

【０００９】３次元顔モデルによって表示する場合、標
準的な骨格モデルを予め用意しておき、撮影した顔画像
をその骨格モデルに適用して顔モデルを作成して表示す
る。これにより、３次元顔モデル作成の自動化およびリ
アルタイム処理が可能となる。

【００１０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１１】図１（１）、（２）は本発明の一実施形態
の３次元仮想空間表示装置の送信側、受信側の処理構成
図である。

【００１２】３次元仮想空間表装置は他の仮想空間利用
者が使用する端末に自分の情報を送信する自情報送信部
１０と他の仮想空間利用者が使用する端末から各利用者
の情報を受信する他者情報受信部２０を有している。自
情報送信部１０は視線方向入力部１１と顔映像撮影部１
２と顔表示方向判定部１３と初期入力顔映像処理部１４
とデータ送信部１５と音声入力部１６とを有している。
他者情報受信部２０はデータ受信部２１と顔表示方法判
定部２２と表示顔方向判定部２３と音圧検知部２４と顔
モデル表示部２５と顔映像表示部２６を有している。

【００１３】視線方向入力部１１は操作者が仮想空間を
移動するためのマウス等の入力装置である。顔映像撮影
部１２は操作者の実写顔映像を撮影する。初期入力顔映
像処理部１３は顔映像撮影部１２で操作者を撮影し、仮
想空間中で操作者に似せた３次元顔モデルを作成する。
表示顔方向判定部１４はどのカメラから撮影された操作
者の顔の様子をその操作者以外の仮想空間利用者が使用
する端末に表示される仮想空間に表示させるか決定す
る。音声入力部１６は操作者の発声を入力するための、
マイク等の入力装置である。データ送信部１５は、視線
方向入力部１１から入力された情報をもとに決定された
操作者の仮想空間における視点位置および視点方向、３
次元顔モデル、操作者の発した音声データ、およびすべ
ての方向から撮影された操作者の実写顔映像、あるいは
表示顔方向判定部１４で決定された方向から撮影された
操作者の実写顔映像のみをこの操作者以外の仮想空間利
用者が使用する３次元仮想空間表示装置の他者情報受信
部２０に送信する。

【００１４】データ受信部２１は他の仮想空間利用者が
使用する３次元仮想空間表示装置の自情報送信部１０か
ら送信された視点位置および視点方向、他の仮想空間利
用者が発した音声データ、他の利用者すべての方向から
撮影された実写顔映像、あるいはそのうちの１枚の実写
顔映像、３次元顔モデルを受信する。顔表示方法判定部
２２は予め設定した仮想空間の状況に応じて顔モデルを
表示するか顔映像を表示するかを決定する。顔映像表示
部２６は、操作者の背景を除去し、胴体モデルと表示上
適切になるように表示するための顔映像の位置補正を行
い、顔映像を表示する。表示顔方向判定部２３は他の仮
想空間利用者が使用する３次元仮想空間表示装置の自情
報送信部１０から、全ての方向から撮影された操作者の
実写顔映像が送信されて来た場合にその相手との仮想空
間中の相対位置および方向の関係から判断してその利用
者がどの実写顔映像を表示するかを決定する。顔モデル
表示部２５は他の仮想空間利用者が使用する３次元仮想
空間表示装置の初期入力顔映像処理部１３で作成された
顔モデルを表示する。音圧検知部２４は他の仮想空間利
用者から受信した音声データを検知し、その状態を顔モ
デル表示部２５に伝達する。

【００１５】ここで、表示顔方向判定部が送信側と受信
側にある理由を説明する。

【００１６】まず、本発明の３次元仮想空間表示装置は
自情報送信部と他者情報送信部のペアで１セットとなっ
ている。

【００１７】各参加者は自分の情報を他の参加者に送信
し、他の参加者から情報をもらって自端末上に他者のア
バタを表示する。自分の端末に自分のアバタは表示され
ない。自分の顔映像を他者に送信する場合に、全ての方
向から撮影した顔映像の全てを相手に送信し、自分との
相対位置および方向の関係から相手に表示すべき顔映像
を選択させる場合と、自分が相手との相対位置および方
向の関係を計算し、必要となるある角度から撮影された
顔映像のみを送信する場合がある。前者の場合は相手の
３次元仮想空間表示装置の他者情報受信部２０にある表
示顔方向判定部２３が必要となり、後者の場合は自分の
３次元仮想空間表示装置の自情報送信部１０にある表示
顔方向判定部１４が必要となる。

【００１８】この機構は、仮想空間に参加する人数の規
模に応じて、各操作者の端末の計算機負荷と通信負荷を
適切な状態に保つために必要である。参加人数が少ない
時は自端末の計算負荷軽減および相手の仮想空間中での
動きに合わせて機敏に顔映像を切り替えるために全ての
顔映像を送って相手に顔方向を選択させる方法を採る。
参加人数が多い時は通信負荷軽減および相手情報の処理
負荷軽減のために、自端末で顔方向を判定し必要な角度
から撮影された顔映像のみを送信する。

【００１９】図２は３次元仮想空間表示装置の操作者端
末の周囲の様子を示す図である。計算機の前に座ってい
る仮想空間に参加する操作者３６の顔を撮影する５台の
カメラ３１〜３５が設置されている。これら５台のカメ
ラ３１〜３５は、操作者３６の頭上から見た図である。
図３に示すように、正面を１２時の方向としたときに、
９時、１０時３０分、１時３０分、３時の５方向のそれ
ぞれ設置されており、それぞれの角度から操作者の顔を
撮影する。４１〜４５はそれぞれカメラ３１〜３５で撮
影した映像を示し、４６は操作者の位置、４７は観察さ
れる参加者の位置を示している。

【００２０】図４は初期入力顔映像処理部１３の処理の
詳細を示すフローチャートである。本処理部では操作者
に似せたモデルを作成する（ステップ５１）。１２時の
方向から撮影した顔映像を利用する。撮影時には図５に
見られるように顔の中心線と眼の高さを揃えるためのガ
イドライン６１、６２を表示し、操作者はそれに沿うよ
うに撮影位置を調節する。次に、撮影した映像から顔の
領域を抽出する（ステップ５２）。映像全体を色相によ
る領域分けをし、ガイドライン６１、６２の交差部分を
含む領域を顔部分として抽出する。抽出した顔領域の中
でガイドライン６１、６２と交差する領域から両眼およ
び口の位置を特定する。撮影した映像中の両眼の距離、
および眼から口までの距離に基づいて、予め一般化３次
元頭部CGモデルの大きさを操作者の顔の縮尺に適合する
ように伸縮して調節する（ステップ５３）。調節した顔
モデルに抽出した顔領域を貼り付ける（ステップ５
４）。以上のようにして作成された顔モデルは必要な状
況で顔モデル表示部２５に表示される。

【００２１】図６は顔映像表示部２６の処理の詳細を示
すフローチャートである。まず、初期入力顔映像を第１
フレーム、初期入力顔映像を撮影した直後に撮影した顔
映像を第２フレームとする（ステップ７１）。また、初
期入力顔映像が抽出した顔映像の平均色相を記録してお
く。図７に示すように第１フレームと第２フレームの差
分をとった差分映像を用意する。差分映像には第１フレ
ームと第２フレームの間で移動した被写体の情報のみが
残る。次に、第２フレームについて第１フレームと同様
の手法を用いて色相による領域分割を行う（ステップ７
２）。ここで、第１フレームの顔領域と重なりが大きい
領域、かつ第２フレームの領域の平均色相が記録した第
１フレームの平均色相に最も近い領域を第２フレームか
ら抽出し、第２フレームにおける顔領域とする（ステッ
プ７３）。また、この抽出した領域の平均色相を新たに
次の処理のための第１フレームの平均色相として記録し
ておく。その後、差分映像と重なりが大きい領域のう
ち、第２フレームにおける顔領域と隣接する領域を抽出
する。以上の方法によって第２フレームから操作者の領
域を抽出する。抽出された領域は、アフィン変換（映像
解析ハンドブック東京大学出版会発行p.４２７）を用い
て位置の補正および大きさの補正を行った後表示する
（ステップ７４〜７６）。以上を顔表示処理の１サイク
ルとし、上記の第２フレームを新たに第１フレーム、上
記の第２フレームの直後に撮影された映像を新たに第２
フレームとして処理サイクルを繰り返す。

【００２２】図８は表示顔方向判定部１４、２３の処理
の詳細である。角度θは参加者同士の正面方向がなす角
度である。θ＜―１１２.５°、１１２.５°＜θでは顔
表示方法判定部２２の判断により、顔映像を表示せず顔
モデルを表示する。―９０゜≦θ≦９０゜のときは表示
顔方向判定部１４の判断によって、相手との角度に見合
った顔映像を表示する。すなわち、―１１２.５°≦θ
＜―６７.５゜のときは図３の記号４１が示す角度の顔
映像を、―６７.５°≦θ＜―２２.５゜のときは図３の
記号４２が示す角度の顔映像を、―２２.５°≦θ＜２
２.５゜のときは図３の記号４３が示す角度の顔映像
を、２２.５°≦θ＜６７.５゜のときは図３の記号４４
が示す角度の顔映像を、２２.５°≦θ＜６７.５゜のと
きは図３の記号４４が示す角度の顔映像を、６７.５°
≦θ≦１１２.５゜のときは図３の記号４５が示す角度
の顔映像を表示する。

【００２３】顔表示方法判定部２２は、仮想空間に予め
設置した場所において顔映像を表示し、それ以外では顔
モデルを表示させる。それぞれの場合のアバタの表示方
法を図９に示す。顔映像を表示する場合は、胴体モデル
の上に顔表示用スクリーン９３を立て、そのスクリーン
９３に顔映像を添付する。スクリーン９３は常に観察者
の方向を向くようにする。本実施形態では、用意された
会議室のテーブルについた参加者同士が互いに見る顔が
顔モデルから顔映像に切り替わるように設定した。

【００２４】図１０はCG顔モデル表示時のアバタを表
す。マイクを通じて入力された他の操作者の発声に応じ
て顔モデルの表示を切り替える。音圧検知部２４は操作
者の発声状況を顔モデル表示部２５に伝える。顔モデル
表示部２５は発声が確認されるときは開口している顔モ
デル１０２を表示し、発声が確認されないときは閉口し
ている顔モデル１０１を表示するように切り替える。

【００２５】図１１（１）、（２）は本発明の実施形態
の仮想空間表示装置の構成図である。３次元仮想空間表
示装置の自情報送信部（図１１（１））は入力装置１１
１と撮影装置１１２とマイク１３と記憶装置１１４と送
信装置１１５と記録媒体１１６とデータ処理装置１１７
から構成されている。入力装置１１１は視線方向を入力
するための、例えばマウスである。マイク１３は図１中
の音声入力部１６に相当する。撮影装置１１２は操作者
の顔を撮影するカメラである。記憶装置１１４はハード
ディスクである。送信装置１１５は実写顔映像、３次元
顔モデル等を仮想空間表示装置の他者情報受信部（図１
１（２））に送信するためのものである。記録媒体１１
６は図１中の１１、１３〜１５の各部からなる３次元仮
想空間表示プログラムが記録されている、フロッピィデ
ィスク、CD―ROM、光磁気ディスク等の記録媒体であ
る。データ処理装置１１７は記録媒体１１６から３次元
仮想空間参加者表示プログラムを読み込んで、これを実
行するCPUである。

【００２６】３次元仮想空間表示装置の他者情報受信部
（図１１（２））は受信装置１２１と記憶装置１２２と
表示装置１２３と記録媒体１２４とデータ処理装置１２
５で構成されている。受信装置１２１は送信装置１１５
から送信されたデータを受信する。記憶装置１２２はハ
ードディスクである。表示装置１２３は他の操作者の実
写映像または３次元ＣＧ顔モデルを表示するディスプレ
イである。記録媒体１２４は図１中の２１〜２６の各部
からなる３次元仮想空間表示プログラムが記録されてい
る、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気ディス
ク等の記録媒体である。データ処理装置１２５は記録媒
体１２４から３次元仮想空間表示プログラムを組み込ん
で、これを実行するＣＰＵである。

【００２７】

【発明の効果】以上説明したように、本発明によれば、
操作者の顔の撮影における照明条件や背景条件によらず
に顔領域の抽出ができ、また３次元仮想空間においてリ
アルタイムに操作者の表情および視線方向を伝えること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施形態の３次元仮想空間参加者表
示装置の処理構成図である。

【図２】操作者端末の前に座っている操作者の顔を撮影
するカメラ３１〜３５の配置を示す図である。

【図３】各カメラ３１〜３５で撮影される操作者の顔を
示す図である。

【図４】初期入力顔画像処理部１３の処理を示すフロー
チャートである。

【図５】初期入力顔画像の撮影の様子を示す図である。

【図６】顔映像表示部２６の処理を示すフローチャート
である。

【図７】顔映像処理の説明図である。

【図８】表示顔方向判定における参加者同士の位置関係
を示す図である。

【図９】仮想空間内のアバタの表示方法の説明図であ
る。

【図１０】操作者の発声状況によるアバタの顔の表示方
法の違いを示す図である。

【図１１】本発明の実施形態の３次元仮想空間表示装置
の構成図である。

【符号の説明】

１０３次元仮想空間表示装置の自情報送信部１１視線方向入力部１２顔表示撮影部１３初期入力顔映像処理部１４表示顔方向判定部１５データ送信部１６音声入力部２０３次元仮想空間表示装置の他者情報受信部２１データ受信部２２顔表示方法判定部２３表示顔方向判定部２４音圧検知部２５顔モデル表示部２６顔映像表示部３１操作者の右から顔を撮影するカメラ３２操作者の右斜め前から顔を撮影するカメラ３３操作者の正面からの顔を撮影するカメラ３４操作者の左斜め前から顔を撮影するカメラ３５操作者の左顔を撮影するカメラ３６操作者３７システム仮想空間表示装置４１カメラ３１で撮影した映像４２カメラ３２で撮影した映像４３カメラ３３で撮影した映像４４カメラ３４で撮影した映像４５カメラ３５で撮影した映像４６観察者の位置４７観察される参加者の位置６１撮影時に顔の中心位置を調整するためのガイド
ライン６２撮影時に目の高さを調整するためのガイドライ
ン８１観察される操作者の位置および視線方向８２観察者の位置および視線方向９１ CGモデルで顔を表示したアバタ９２映像で顔を表示したアバタ９３顔映像を表示するためのスクリーン１０１操作者が音を発していないときに他の利用者
の３次元仮想空間表示装置に表示されるアバタの顔１０２操作者が音を発しているときに他の利用者の
３次元仮想空間表示装置に表示されるアバタの顔１１１入力装置１１２撮影装置１１３マイク１１４記憶装置１１５送信装置１１６記録媒体１１７データ処理装置１２１受信装置１２２記憶装置１２３表示装置１２４記録媒体１２５データ処理装置

Claims

【特許請求の範囲】

【請求項１】複数の利用者がそれぞれ計算機端末を使
い通信回線を介して通信し、３次元仮想空間を共有する
３次元仮想空間システムにおける３次元仮想空間参加者
表示方法であって、仮想空間および操作者の分身の状況
に応じて、実写顔映像と３次元CG胴体モデルの合成また
は実写顔映像から作成した３次元CG顔モデルと３次元CG
胴体モデルの合成によって操作者の分身を仮想空間中に
表示する３次元仮想空間参加者表示方法。
【請求項２】撮影した操作者の顔映像からリアルタイ
ムに操作者自身の顔の画像を添付した３次元CG顔モデル
を作成する、請求項１記載の３次元仮想空間参加者表示
方法。
【請求項３】撮影した映像から仮想空間表示装置の操
作者以外の背景部分を除去し、操作者の頭部映像を３次
元CGモデルの胴体と接合して表示する、請求項１または
２記載の３次元仮想空間参加者表示方法。
【請求項４】複数方向から顔を撮影し、参加者の操作
によるその参加者の分身の首の振りに合わせて、あるい
は他の参加者が見る方向に合わせてその顔の映像を表示
する、請求項１から３のいずれか１項記載の３次元仮想
空間参加者表示方法。
【請求項５】操作者の発声の有無に応じて口が開閉し
た３次元CG顔モデルを表示する、請求項１から４のいず
れか１項記載の３次元仮想空間参加者表示方法。
【請求項６】複数の利用者が通信回線を介して通信
し、３次元仮想空間を共有する３次元仮想空間システム
における３次元仮想空間表示装置おいて、操作者の仮想空間における視線方向を入力する視線方向
入力部と、仮想空間中で、撮影された操作者に似せた３次元ＣＧ顔
モデルを作成する初期入力顔映像処理部と、操作者の実写顔映像を異なった方向から撮影する顔映像
撮影部と、操作者の音声を入力する音声入力部と、どの顔映像撮影部から撮影された操作者の顔の様子を該
操作者以外が使用する端末に表示される仮想空間に表示
するかを決定する表示顔方向判定部と、前記視線方向入力部で入力された視線方向、前記音声入
力部で入力された音声、前記初期入力顔映像処理部で作
成された３次元顔モデル、前記顔映像撮影部で撮影され
た実写顔映像のうち、前記表示顔方向判定部で決定され
た顔映像撮影部で撮影された実写顔映像、あるいは全て
の方向から撮影された実写顔映像を３次元仮想空間表示
装置の他者情報受信部に送信するデータ送信部を有する
ことを特徴とする３次元仮想空間表示装置。
【請求項７】請求項６記載の３次元仮想空間表示装置
から送信されたデータを受信するデータ受信部と、仮想空間および操作者の分身の状況に応じて、実写顔映
像と３次元CG胴体モデルを合成したものを表示するか、
実写顔映像から作成した３次元CG顔モデルと３次元CG胴
体モデルを表示するかを決定する顔表示方法判定部と、前者の顔表示方法が選択された場合に、操作者の背景を
除去し、３次元CG胴体モデルと表示上適切な位置となる
ように表示するための顔映像の位置補正を行い、顔映像
を表示する顔映像表示部と、請求項６の３次元仮想空間表示装置から、全ての方向か
ら撮影された操作者の実写顔映像が送信されてきた場合
に、仮想空間中での他の操作者の分身との相対位置およ
び方向に基づいて、その相手のどの実写映像を表示する
かを決定する表示顔方向判定部と、前記顔表示方法判定部において後者の顔表示方法が選択
された場合に、前記初期入力顔映像処理部で作成された
顔モデルを表示する顔モデル表示部を有することを特徴
とする３次元仮想空間表示装置。
【請求項８】同じ仮想空間に参加する他の操作者の発
声を検知し、前記顔モデル表示部に伝達する音圧検知部
をさらに有し、前記顔モデル表示部は発声が伝達される
と、開口している顔モデルを表示する、請求項７記載の
装置。
【請求項９】前記初期入力顔映像処理部は、操作者の
顔を撮影し、撮影した映像から顔の領域を抽出し、抽出
した顔領域の中で両眼および口の位置を特定し、撮影し
た映像中の両眼の距離、および眼から口までの距離に基
づいて、予め一般化３次元頭部CGモデルの大きさを操作
者の顔の縮尺に適合するように伸縮して調節、調節した
顔モデルに抽出した顔領域を貼り付ける、請求項６記載
の装置。
【請求項１０】前記顔映像表示部は、まず、初期入力
顔映像を第１フレーム、初期入力顔映像を撮影した直後
に撮影した顔映像を第２フレームとし、初期入力顔映像
から抽出した顔領域の平均色相を記録しておき、第１フ
レームと第２フレームの差分をとった差分映像を用意
し、第２フレームについて色相による領域分割を行い、
第１フレームの顔領域と重なりが大きい領域、かつ第２
フレームの領域の平均色相が記録した第１フレームの平
均色相に最も近い領域を第２フレームから抽出し、第２
フレームにおける顔領域と、この抽出した領域の平均色
相を新たに次の処理のための第１フレームの平均色相と
して記録しておき、その後、差分映像と重なりが大きい
領域のうち、第２フレームにおける顔領域と隣接する領
域を抽出し、抽出した領域に位置および大きさの補正を
行った後表示することを、前記第２のフレームを新たに
第１フレーム、前記第２フレームの直後に撮影された映
像を新たに第２フレームとして繰り返す、請求項７また
は８記載の装置。
【請求項１１】複数の利用者が通信回線を介して通信
し、３次元仮想空間を共有する３次元仮想空間システム
における３次元仮想空間表示プログラムであって、操作者の仮想空間における視線方向を入力する視線方向
入力処理と、仮想空間中で、撮影された操作者に似せた３次元モデル
を作成する初期入力顔映像処理と、どの顔映像撮影部から撮影された操作者の顔の様子を該
操作者以外が使用する端末に表示される仮想空間に表示
するかを決定する表示顔方向判定処理と、前記視線方向入力処理で入力された視線方向、前記初期
入力顔映像処理で作成された３次元顔モデル、前記撮影
された実写顔映像のうち、前記表示顔方向判定処理で決
定された顔映像撮影部で撮影された実写顔映像、あるい
は全ての方向から撮影された実写顔映像を３次元仮想空
間表示装置の他者情報受信部に送信するデータ送信処理
をコンピュータに実行させるための３次元仮想空間表示
プログラムを記録した記録媒体。
【請求項１２】請求項１１記載のデータ送信処理から
送信されたデータを受信するデータ受信処理と、仮想空間および操作者の分身の状況に応じて、実写顔映
像と３次元CG胴体モデルを合成したものを表示するか、
実写顔映像から作成した３次元CG顔モデルと３次元CG胴
体モデルを表示するかを決定する顔表示方法判定処理
と、前者の顔表示方法が選択された場合に、操作者の背景を
除去し、３次元CG胴体モデルと表示上適切な位置となる
ように表示するための顔映像の位置補正を行い、顔映像
を表示する顔映像表示処理と、請求項１１のデータ送信処理から全ての方向から撮影さ
れた操作者の実写顔映像が送信されてきた場合に、仮想
空間中での他の操作者の分身との相対位置および方向に
基づいて、その相手のどの実写顔映像を表示するかを決
定する表示顔方向判処理と、前記顔表示方法判定処理において後者の顔表示方法が選
択された場合に、前記初期入力顔映像処理で作成された
顔モデルを表示する顔モデル表示処理をコンピュータに
実行させるための３次元仮想空間表示プログラムを記録
した記録媒体。
【請求項１３】前記顔モデル表示処理は、同じ仮想空
間に参加する他の操作者の発声を検知し、前記顔モデル
表示部に伝達する音圧検知部から発声が伝達されると、
開口している顔モデルを表示する、請求項１２記載の記
録媒体。
【請求項１４】前記初期入力顔映像処理は、操作者の
顔を撮影し、撮影した映像から顔の領域を抽出し、抽出
した顔領域の中で両眼および口の位置を特定し、撮影し
た映像中の両眼の距離、および眼から口までの距離に基
づいて、予め一般化３次元頭部CGモデルの大きさを操作
者の顔の縮尺に適合するように伸縮して調節、調節した
顔モデルに抽出した顔領域を貼り付ける、請求項１１記
載の記録媒体。
【請求項１５】前記顔映像表示処理は、まず、初期入
力顔映像を第１フレーム、初期入力顔映像を撮影した直
後に撮影した顔映像を第２フレームとし、初期入力顔映
像から抽出した顔領域の平均色相を記録しておき、第１
フレームと第２フレームの差分をとった差分映像を用意
し、第２フレームについて色相による領域分割を行い、
第１フレームの顔領域と重なりが大きい領域、かつ第２
フレームの領域の平均色相が記録した第１フレームの平
均色相に最も近い領域を第２フレームから抽出し、第２
フレームにおける顔領域と、この抽出した領域の平均色
相を新たに次の処理のための第１フレームの平均色相と
して記録しておく。その後、差分映像と重なりが大きい
領域のうち、第２フレームにおける顔領域と隣接する領
域を抽出し、抽出した領域に位置および大きさの補正を
行った後表示することを、前記第２のフレームを新たに
第１フレーム、前記第２フレームの直後に撮影された映
像を新たに第２フレームとして繰り返す、請求項１２ま
たは１３に記載の記録媒体。