JP2627487B2 - 像の実時間認識合成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、人物などの像の動
作、姿勢などの実時間認識合成装置に関し、特に送信側
の像モデルを３次元ワイヤフレームモデルにカラーテク
スチャマッピングしたものにより構成し、この像モデル
を、コンピュータグラフィックス技術を用いて、生成さ
れた仮想空間に配置し、受信側の立体ディスプレイに、
像の動きを再現して立体表示する像の実時間認識合成装
置に関する。

【０００２】

【従来の技術】従来の像の実時間認識合成装置は、たと
えば１９９３年１月２５日発行、電子情報通信学会技術
研究報告ｐ．２３〜２８、「臨場感通信会議における３
次元画像の実時間表示」において開示されている。以下
その装置について説明する。

【０００３】図６は、従来の実時間認識合成装置の構成
図であり、図７は図６の表情検出器１０３の具体例であ
る。図中の矢印はデータの送られる方向を示している。

【０００４】実時間認識合成装置は、大きくは送信側の
システム１１と受信側のシステム１３とから構成されて
いる。送信側のシステム１１は、実空間１中の送信側の
人物３の体の動きを検出する体の動き検出器１０１と、
表情を検出する表情検出器１０３とから構成されてい
る。体の動き検出器１０１として、たとえばＶＰＬ社の
データグローブや、 Polhemus の磁気センサなどが使用
される。体の動き検出器１０１によって得られたデータ
は、体の動きパラメータ２１として受信側のシステム１
３中の画像合成部１１５へ送られる。

【０００５】また、表情検出器１０３は、図７に示すよ
うに顔２０９の表情筋の上の皮膚表面に、マーカー２０
３を止着しこれを頭部に固定したカメラ２０１により画
像２０５としてとらえる装置である。画像２０５中のマ
ーカー２０３の移動量はトラッキングされ、表情の動き
パラメータ２３として受信側システム１３中の画像合成
手段１１５へ送られる。

【０００６】一方、受信側システム１３には、予め送信
側の人物３をワイヤフレームモデルとカラーテクスチャ
によりモデル化した人物モデルデータベース１１１が用
意されている。３次元ワイヤフレームモデルは人体の表
面を三角形のパッチで近似したものであり、カラーテク
スチャは、人体表面の色彩情報である。

【０００７】画像合成部１１５において、人物モデルデ
ータベース１１１中の３次元ワイヤフレームモデルとカ
ラーテクスチャにより構成された人物モデルデータと、
送信されてきた体の動きパラメータ２１および表情の動
きパラメータ２３とが合成される。合成は、人物モデル
データの３次元ワイヤフレームモデルの各頂点座標を、
体の動きパラメータ２１と表情の動きパラメータ２３に
合わせ、移動させることにより行なわれる。

【０００８】合成された人物像５は、コンピュータグラ
フィックス技術を用いて生成された仮想空間７中に配置
される。受信側の立体ディスプレイ９には、人物像５を
含む仮想空間７が表示される。

【０００９】

【発明が解決しようとする課題】しかしながら、このよ
うな像の実時間認識合成装置では、像の動きをすべて動
きパラメータとして送信するため、像の微妙な変化を認
識、合成できないという問題があった。特に、人物の表
情などを送信するとき、コミュニケーションに重要な役
割を持つ、目のまわりの表情な微妙な変化を、顔に止着
したマーカーの変位の計測のみから認識、合成すること
は困難である。

【００１０】この問題を解決するために、エッジ検出な
どの画像処理技術を用いることが考えられる。それによ
り計測するデータを増やし、像の微妙な変化をある程度
認識、合成することが可能であるが、画像処理量が膨大
な量になるため、高価な画像処理装置を必要とし、また
処理情報量が増えることにより、処理速度が遅くなり、
実時間認識ができなくなることが考えられる。

【００１１】それゆえに、この発明の主たる目的は、像
の微妙な変化の再現が可能で、かつ通信データ量および
送信側の計測に必要な処理情報量および受信側の画像合
成に必要な処理情報量が十分に少なく、実用に適した像
の実時間認識合成装置を提供することである。

【００１２】

【課題を解決するための手段】前記目的を達成するた
め、本発明の像の実時間認識合成装置は、送信側の像モ
デルを、３次元ワイヤフレームモデルにカラーテクスチ
ャマッピングしたものにより像モデルデータとして構成
し、像モデルデータを、コンピュータグラフィックス技
術を用いて生成された仮想空間に配置し、受信側の立体
ディスプレイに、像の動きを再現して立体表示する、像
の実時間認識合成装置であって、像モデルデータを格納
する格納手段と、送信側の像モデルの動作などに基づ
く、動きパラメータを検出するパラメータ検出手段と、
送信側の像モデルの少なくとも一部を撮像して、画像デ
ータを検出する画像データ検出手段と、格納された像モ
デルデータと、検出された動きパラメータとを合成し
て、第１の画像データを生成する第１の合成手段と、格
納された像モデルデータと、検出された画像データとを
合成して、第２の画像データを生成する第２の合成手段
と、生成された第１の画像データと、生成された第２の
画像データとを合成して、第３の画像データを生成する
第３の合成手段と、生成された第３の画像データに基づ
いて、送信側の像モデルの動きを再現する像再現手段と
を備えることを特徴としている。

【００１３】

【作用】この発明による像の実時間認識合成装置は、以
下の作用を持つ。

【００１４】まず送信側から送られる像の動きパラメー
タと、受信側に予め保存されている像モデルデータを合
成し、第１の画像データとする。特に微妙な像の再現が
必要な部分は、送信側から画像データとして別個に送信
し、その画像データを受信側で像モデルデータと合成す
ることにより、第２の画像データとする。そして第１の
画像データと第２の画像データを合成したものを第３の
画像データとする。第３の画像データは受信側のディス
プレイに実時間で再現される。

【００１５】

【実施例】図１は、この発明の一実施例の実時間認識合
成装置を示す構成図、図２は、図１の表情検出器１０３
の具体例である。

【００１６】図中の矢印は、データの送られる方向を示
している。実時間認識装置は、大きくは送信側システム
１１と受信側システム１３とから構成される。

【００１７】送信側のシステム１１は、実空間１中の送
信側の人物３の体の動きを検出する体の動き検出器１０
１と、表情を検出する表情検出器１０３から構成されて
いる。体の動き検出器１０１として、たとえばＶＰＬ社
のデータグローブや、Polhemusの磁気センサが使用され
る。体の動き検出器１０１により得られたデータは、体
の動きパラメータ２１として、受信側システム１３へ送
信される。

【００１８】表示検出器１０３は、図２に示すように、
頭部に固定されたカメラ２０１により表情を撮影する装
置である。カメラ２０１は、顔２０９および顔２０９の
表情筋の上の皮膚表面に止着されたマーカー２０３を撮
像する。撮像された画像データ２０５中で、マーカー２
０３の移動方向、移動距離はトラッキングされ、顔マー
カーの動きパラメータ２３として、受信側システム１３
へと送られ、特に複雑な変化をする目のまわりのデータ
は、画像データ２５として受信側のシステム１３へ送ら
れる。

【００１９】受信側システム１３には、予め送信側の人
物３を３次元ワイヤフレームモデルとカラーテクスチャ
とによりモデル化した人物モデルデータベース１１１が
用意されている。

【００２０】３次元ワイヤフレームモデルは、人体の表
面を三角形のパッチで近似したものであり、カラーテク
スチャは人体表面の色彩情報であるる 体の動きパラメータ２１と顔マーカーの動きパラメータ
２３は、第１画像合成部１０５へ送られ、そこで人物モ
デルデータベース１１１から取出された３次元ワイヤフ
レームモデルおよびカラーテクスチャ２７と合成され
る。合成は具体的には３次元ワイヤフレームモデルの頂
点座標を体の動きパラメータ２１と顔マーカーの動きパ
ラメータ２３に合せて変形させることによって行なわれ
る。これにより、人体の動きや顔マーカーの動きによる
形状変化を再現する。

【００２１】一方画像データ２５は第２画像合成部１０
７へ送られ人物モデルデータベース１１１から取出され
た３次元ワイヤフレームモデル２９の所望の位置にマッ
ピングされる。マッピングはたとえばSilicon Graphics
社のワークステーションＯＮＹＸにより行なわれる。第
１画像合成部１０５と第２画像合成部１０７により得ら
れた画像データ３１，３３は、各々第３画像合成部へ送
られ合成される。合成された人物像５は、コンピュータ
グラフィックス技術を用いて生成された仮想空間７中に
配置される。受信側の立体ディスプレイ９には、人物像
５を含む仮想空間７が表示される。

【００２２】また、第１画像合成部により合成された画
像の色調データ４１と第２画像合成部により合成された
画像の色調データ４３は各々色調検査部１１３に送られ
そこで比較される。その差が所定値より大きい場合、そ
の差の情報３９を、人物モデルデータベース１１１へフ
ィードバックし、その差が小さくなるように人物モデル
データベース１１１中のカラーテクスチャを補正する。

【００２３】会議システムなどでは、照明条件などはあ
まり頻繁には変化しないので、この補正処理は数秒〜数
分に１回でよい。画像データ２５は、１秒間に数枚〜数
十枚送られてくるため、画像データ２５を補正するより
も、人物モデルデータベース１１１中のカラーテクスチ
ャを補正した方が、処理情報量を減らす上で有利であ
る。

【００２４】なお、図３から図５は、図１の実施例にお
いて第１画像合成部１０５により合成された画像と、第
２画像合成部１０７により合成された画像の境界での色
調の変化を目立たなくさせるために行なう処理を説明す
るための図である。

【００２５】図３において、人物モデルデータベース中
の人物モデルデータ２０７より取出された目のまわりの
３次元ワイヤフレームモデル２９は、第２画像合成手段
１０７へ送られ、画像データ２５と合成され、第２の画
像データ３３となる。一方、人物モデルデータ２０７よ
り取出された目のまわりを除く部分の３次元ワイヤフレ
ームモデルおよびカラーテクスチャ２７は、第１画像合
成手段１０５に送られ、体の動きパラメータ２１および
顔マーカーの動きパラメータ２３と合成され、第１の画
像データ３１となる。この第１の画像データ３１と第２
の画像データ３３が第３画像合成手段１０９へ送られ、
人物像５が合成される。

【００２６】このとき、第１の画像データと第２の画像
データの境界部を目立たなくさせるために、各々には色
調調整部分５０４に対応するデータが含まれている。色
調調整部分５０４は、図４に示されているように第１の
画像データ３１の領域と第２の画像データ３３の領域と
が重なる領域である。

【００２７】図４において、第１の画像データ３１の色
調調整部分５０４との境界点Ａでの色調データ６００、
第２の画像データ３３の色調調整部分５０４との境界点
Ｂでの色調データ６０２が、図のような色調レベルであ
ったとすると、その色調調整部分５０４の領域では第１
の画像データ３１の色調データ６００は、色調調整部分
５０４の領域中を、第２の画像データ３３の領域側へ進
むごとに線形的に減少させていき、色調調整部分５０４
の領域の第２の画像データ３３の領域側の境界点Ｂの位
置で０にする。この線形的な色調データの減少を６０６
に示す。

【００２８】同様に第２の画像データ３３の色調データ
６０２は、色調調整部分５０４の領域中を、第１の画像
データ３１の領域側へ進むごとに、線形的に減少させて
いき、色調調整部分５０４の領域の第１の画像データ３
１の領域側の境界点Ａの位置で０にする。この線形的な
色調データの減少を６０８に示す。

【００２９】そして、色調調整部分５０４の領域での色
調データは、第１の画像データの色調データ６０６と第
２の画像データの色調データ６０８を足し合せたもの
を、色調調整部分５０４での色調データ６０４とする。
この処理により第１の画像データ３１と第２の画像デー
タ３３の境界を目立たなくすることができる。

【００３０】図５に示すように、色調は第１の画像デー
タ３１と第２の画像データ３３の中でも場所により色調
レベルが異なる場合がある。その場合、その部分毎に図
４で示される色調調整処理をすれば良い。

【００３１】なお、この実施例では画像データとして送
信する部位を、目の部分に設定したが、口など他の部分
でもよい。

【００３２】また、この実施例では人物像を例に挙げた
が、動物などでも実施が可能である。

【００３３】

【発明の効果】以上のようにこの発明によると、像の変
化の単純な部分は動きパラメータとして送信し、像の変
化の複雑な部分は画像データとして送信するため、送信
する情報量が少なく画像処理を高速で行なうことができ
る。また像の中で複雑な変化をする部分についての変化
を正確に再現することが可能である。

【図面の簡単な説明】

【図１】この発明の一実施例による実時間認識合成装置
の構成とデータの送られる方向を示した図である。

【図２】図１の表情検出器の具体例を説明するための図
である。

【図３】図１の受信側システムの画像合成方法を説明す
るための図である。

【図４】図１の第３画像合成部での第１の画像データ３
１と第２の画像データ３３の境界部での色調調整の処理
を説明するための図である。

【図５】図４の処理方法を用いて図３の画像合成を具体
的に示した図である。

【図６】従来の実時間認識合成装置の構成と、データの
送られる方向を示した図である。

【図７】図６の表情検出器の具体例を説明するための図
である。

【符号の説明】

３ 送信側の人物 ５ 合成された人物像 ７ 仮想空間 ９ ディスプレイ ２１ 体の動きパラメータ ２３ 顔マーカーの動きパラメータ ２５ 画像データ １１１ 人物モデルデータベース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 北村 泰一 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール通 信システム研究所内 (56)参考文献 電子情報通信学会技術研究報告ＶＯ Ｌ．92，ＮＯ．443 Ｐ．23−28「臨場 感通信会議における３次元顔画像の実時 間表示」（1993．１．25)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 送信側の像モデルを、３次元ワイヤフレ
   ームモデルにカラーテクスチャマッピングしたものによ
   り像モデルデータとして構成し、前記像モデルデータ
   を、コンピュータグラフィックス技術を用いて生成され
   た仮想空間に配置し、受信側の立体ディスプレイに、像
   の動きを再現して立体表示する、像の実時間認識合成装
   置であって、 前記像モデルデータを格納する格納手段と、 前記送信側の像モデルの動作などに基づく、動きパラメ
   ータを検出するパラメータ検出手段と、 前記送信側の像モデルの少なくとも一部を撮像して、画
   像データを検出する画像データ検出手段と、 前記格納された像モデルデータと、前記検出された動き
   パラメータとを合成して、第１の画像データを生成する
   第１の合成手段と、 前記格納された像モデルデータと、前記検出された画像
   データとを合成して、第２の画像データを生成する第２
   の合成手段と、 前記生成された第１の画像データと、前記生成された第
   ２の画像データとを合成して、第３の画像データを生成
   する第３の合成手段と、 前記生成された第３の画像データに基づいて、前記送信
   側の像モデルの動きを再現する像再現手段とを備えた、
   像の実時間認識合成装置。