JPH0338188A - 動画像伝送方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はテレビ電話やテレビ会議に利用する動画像伝送
方式に関する。本発明は、伝送情報量を圧縮しながら、
より自然な画像を伝送することができる動画像・の伝送
方式に関する。

〔概要〕

本発明は、モデル画像を伝送しておき、その後の画像の
動き情報を伝送して、そのモデル画像に変形を加えて動
画像を合成して表示する動画像伝送方式において、 画像の動きによる濃度変化を等濃線情報として抽出して
伝送し、この等濃線情報によってモデル画像から合成さ
れた動画像の濃度を補正することにより、 より自然な動画像を少ない情報量の伝送で実現するもの
である。

〔従来の技術〕

テレビ電話やテレビ会議等に使用される顔の画像を伝送
する動画像伝送方式として、伝送情報量を圧縮して伝送
路の使用帯域を圧縮できる動画像伝送方式が種々研究さ
れている。このような動画像伝送方式として、知的符号
化方式が研究されている。

この方式はあらかじめモデル画像を１枚だけ通話に先立
って伝送しておき、通話中は通話者の顔の動きの情報の
みを伝送する方式である。より詳しく述べると、あらか
じめ、通話に先立って、送信側から受信側へ通話者の顔
のモデル画像（静止画像であり、無表情のもの）を１枚
伝送しておき、受信側では、このモデル画像に基づいて
通話者の顔の形状モデルを形成しておく。そして実際の
通話中は、送信側で通話者の顔各部の動きを認識してそ
の動きを解析し、この動きの解析情報を受信側に伝送す
る。受信側では受信した動きの解析情報に基づいて上述
のモデル画像に基づく形状モデルを変形して動画像を合
成し、これを表示するものである。

〔発明が解決しようとする問題点〕

このような従来の動画像伝送方式の問題として、顔の形
状変化に伴う顔面への照明の当たり方の変化の情報が伝
送されない問題がある。これは、顔の形状変化により顔
面への照明の当たり方すなわち照射角度が変化するため
、その部分の濃度値が動きに伴って変化する情報である
。仮に送信側で顔の動きが全く正確に抽出できたとして
も、この情報が伝送されなければ、受信側でモデルを変
形しただけでは送信側と同じ画像を再現することはでき
ない。

さらに具体例を挙げると、しわの表現が挙げられる。し
わは、顔面の形状が変化することによる影の部分として
表出するもので、モデル画像にはこれに関する濃度情報
は含まれていない。このため、モデルを変形するだけで
しわを表現することは不可能となっている。

本発明は、上述の問題点を解決するもので、入力画像の
濃度変化情報を等濃線情報として伝送してこの情報によ
り濃度補正を行うことにより、より人力画像に近い自然
な画像を伝送することができる動画像伝送方式を提供す
ることを目的とする。

〔問題点を解決するための手段〕

本発明は、送信側に、通話に先立ってモデル画像を伝送
する手段と、通話中の画像の動きを解析して動きの情報
を受信側に伝送する手段とを備え、受信側に、送信側か
ら伝送されてくる画像の動きの情報により上記モデル画
像を変形して動きを伴う画像を合成する手段を備えた動
画像伝送方式において、 送信側に、通話中の画像の濃度の等しい点を線で結んだ
等濃線情報を時系列的に抽出する手段と、この手段で抽
出された等濃線情報を順次受信側に伝送する手段とを備
え、受信側に受信した上記等濃線情報により上記合成さ
れた画像の濃度補正を行う手段を備えたことを特徴とす
る。

また、本発明は、送信側に、通話中の入力画像の濃度の
等しい点を線で結んだ等濃線を抽出する手段と、抽出さ
れた等濃線を符号化する手段とを備え、受信側に、受信
した等濃線情報から濃淡画像を復元する手段と、モデル
画像から動き合成によって合成された画像の等濃線を抽
出する手段と、抽出した等製線から上記合成された画像
の濃淡画像を復元する手段と、上記受信した等製線情報
から復元した濃淡画像と上記モデル画像から合皮された
画像の濃淡画像との濃度差を算出する手段と、この濃度
差により上記合皮された画像の濃度補正を行う手段とを
備えることができる。

〔作用〕

本発明では、まず通話に先立って通話者の静止したモデ
ル画像を伝送しておく。受信側ではこのモデル画像から
特徴点を抽出して特徴点のデータとして蓄積しておく。

通話中は、送信側で入力画像の特徴点を抽出して画像の
動きの情報として受信側に伝送し、受信側ではこの情報
により、モデル画像を変形して合成画像を作成する。

送信側では、画像の動きの情報とともに、その画像の濃
度を等製線情報の時系列情報として抽出してこれを受信
側に順次伝送する。受信側ではこの等製線情報に基づい
てモデル画像から変形された合成画像の濃度補正を行っ
て出力画像として受信側の通話者に表示する。

このよ゛うに、等製線情報を用いることにより、伝送情
報量を削減できるから全画素の濃度情報を伝送するより
伝送効率が向上する。また、等製線の時間的変化は、顔
面の動きをよく表しているから自然な復元画像を得るこ
とができる。

〔実施例〕

以下本−発明の実施例を図面に基づいて説明する。

第１図は本発明一実施例の動画像伝送方式の構成を示す
ブロック図である。

この実施例の動画像伝送方式は、送信側は通話者１の顔
面を撮影する撮像手段２と、この撮像手段２で撮像され
た画像を解析する画像解析手段３と、この画像解析手段
３で解析された画像情報を伝送路５上に送出する送信手
段４とを備える。また受信側は、伝送路５上の画像情報
を受信する受信手段６と、この受信手段６で受信した画
像情報から動画像を合皮する画像合成手段７と合皮した
動画像を通話者９に表示する画像表示手段８とを備える
。なお、この撮像手段２は通常のテレビ撮像機であり、
画像表示手段８はテレビ表示機である。

送信側の画像解析手段３は、撮像手段２で撮影した通話
者ｌの画像情報から、通話に先立って受信側に伝送する
静止画像であるモデル画像を抽出して受信側に伝送する
モデル画像抽出子役３１と、通話中の通話者ｌの顔面の
動きを解析して動きの情報を出力する動き解析手段３２
と、通話中の通話者１の顔面の濃度の情報である等製線
を抽出する等製線抽出手段３３とを備える。

また受信側の画像合成手段７は、通話に先立って受信し
たモデル画像からその特徴点を抽出するモデル作成手段
７１と、受信した動きの情報に基づいて上記作成された
モデル画像を変形して動き合成が行われた合成画像を作
成する動き合成手段７２と、受信した等製線情報に基づ
いて動き合成が行われた合成画像の濃度補正を行う濃度
補正手段７３とを備える。

なお、この動画像伝送方式は双方向性であり、逆方向伝
送も同様の構成で行われる。

本発明の特徴とするところは、自然な動画像を生成する
ために、動きに伴う顔面の反射程度の変化情報を情報量
を削減し、かつ顔面の大まかな濃度分布をよく表す等製
線として抽出して受信側に伝送し、受信側でこの等製線
に基づいて復元した画像とモデル画像から復元された画
像の濃度との差分を算出して動き合成がなされた合成画
像にこの差分を加算して濃度補正を行って通話中の自然
な画像を伝送するところにある。

次に本実施例動画像伝送方式における画像処理の流れの
ブロック図を第２図に示す。このブロック図は第１図に
おける画像解析手段３と画像合成手段７とが行う画像処
理の詳細を示している。

本実施例動画像伝送方式での画像処理は、大きく分けて
モデル作成、動きの解析および合成、等製線の抽出およ
び濃度補正の３つに分けられる。

以下それぞれの画像処理について詳細に説明する。

（１）モデル作成 本実施例では、先見的知識として、受信側に通話者１の
モデル画像を１枚用意し、このモデル画像に基づき通話
者１の顔形状を表すワイヤーフレームを作成しておく。

このワイヤーフレーム作成手順について説明する。

まず、送信側で通話者ｌの顔画像の１枚をモデル画像１
１１として撮像手段２からの人力より抽出する。この顔
画像は静止画像であり無表情のものである。このモデル
画像を通話に先立ち受信側に伝送する。受信側では、受
信したモデル画像１１２から通話者１の顔の特徴点１２
０点および虹彩の中心と半径を抽出する。ついでこの顔
の特徴点を用いてワイヤーフレーム構成点３８５点の位
置を線形的に算出する。そして特徴点とワイヤーフレー
ムの構成点を３角フレームにより接続して、モデルワイ
ヤーフレーム１１４とする。そして、上述のモデル画像
１１２、モデルの特徴点く虹彩の中心と半径の情報も含
む）情報１１３、モデルワイヤーフレーム１１４を知識
データベース１１５　に記憶しておく。

（２）動きの解析および合成 通話中の通話者１の顔の動きは、送信側で特徴点に基づ
いて抽出して受信側に伝送し、受信側でこの動きの情報
に基づいてモデル画像を変形して顔の動きのある画像を
合成する。この動きの解析および抽出は、顔の各器官、
例えば目、鼻等の位置に基づいて行う。

まず、動きの解析に先立って、その処理を簡素化するた
めに、顔の各器官の大まかな位置を示す領域すなわち候
補領域を設定する。この候補領域設定処理は、通話の初
期フレームでは局所的しきい値を用いた２値化画像から
各器官を表す領域を逐次的に探索することにより行い、
以降のフレームでは前のフレームで抽出された特徴点を
用いて行う。

この候補領域内で微分および細線化を行い、顔の各器官
の輪郭線、すなわち特徴線を抽出する。

この時の微分マスクの種類や大きさあるいは細線化のア
ルゴリズム等は抽出する特徴線によって異なるものとす
′る。

次に抽出された特徴線上の１２０点を特徴点として抽出
しこれを受信側に伝送する。また、虹彩の中心および半
径は、目の候補領域内の微分画像を用いて、その微分値
を重みとするハフ変換を行うことにより抽出し、上述の
特徴点とともに特徴点情報１２２として受信側へ伝送す
る。

この送信側での動きの解析動作のフローチャートを第３
図に示す。

受信側での動きを合成した合成画像の作成は、ワイヤー
フレームを用いたモデル画像のアフィン変換を基本とし
て行う。

まず、受信した特徴点情報１２３内の人力画像の特徴点
１２０点を用いてモデル画像のワイヤーフレーム作成と
同様の処理により入力ワイヤーフレーム１２４を作成す
る。次に知識データベース１１５からモデルワイヤーフ
レーム１２６を取り出し、このモデルワイヤーフレーム
１２６と、入力ワイヤーフレーム１２４とを用いてモデ
ル画像１２８の変形を行う。この変形はモデルワイヤー
フレーム１２６の各３角フレームに含まれるモデル画像
の画素を入力ワイヤーフレーム１２４の対応する３角フ
レーム内へとアフィン変換することにより行う。得られ
た画像が合成画像１２９である。

次に、目の内部は、モデル画像および人力画像の虹彩の
中心と半径の情報を用いて、虹彩の部分はモデル画像の
虹彩の部分から、白目の部分はモデル画像の白目の部分
からそれぞれの画素をアフィン変換して合成する。これ
により合成画像１３０が得られる。

この受信側での画像の合成動作のフローチャートを第４
図に示す。

（３）等導線による合成画像の濃度補正ここで、画像中
の等しい濃度値を持つ画素を結ぶことにより得られる線
を等ａ線と呼ぶことにする。

送信側では、画像の濃度値を検出するために、まず、人
力画像１２１を画像のダイナミックレンジを８等分する
しきい値を用いて量子化する。この量子化された画像に
対して、注目画素を中心とする９×９画素のマスクを用
いる多数決論理によって画像を平滑化する。これは平滑
化により雑音を拾った画素であるとか、周辺の画素と相
違するような値の画素を平均化するためのものである。

そして、平滑化された入力画像１２１の濃度値の変化す
る部分すなわち実際には上記８レベルの境界を等濃線１
３１として抽出する。この抽出した等濃線をチェーン符
号により符号化して、受信側へ伝送する。このチェーン
符号化方法としては、例えば等濃線のある１点の座標を
開始点として、その線の方向を８方向あるいは４方向と
して指定する符号化がある。

この送信側での等濃線の抽出動作のフローチャートを第
５図に示す。

この人力画像の濃度を等濃線として抽出することにより
、全ての画素についての濃度の変化を伝送することに比
べて受信側に伝送する情報量を減縮することが可能であ
る。

受信側では、受信した符号化された等濃線の情報を復号
化し等濃線１３４を得る。また、受信側では送信側と同
様な処理によってモデル画像に基づいて動きの補正がな
された合成画像１３０から等濃線１３６を抽出する。

そして人力画像の等濃線１３４と合成画像の等濃線１３
６とを等製線間の画素の濃度値を補間することにより、
濃淡画像１３５および１３７へと変換する。

この補間方法としては、等製線間のある１つの画素につ
いて、上下左右の交差する等濃線と交点までの距離を求
めて、濃度値の内挿を行う補間方法がある。また４点で
はなく、上下、左右方向にそれぞれ２点以上の交差点を
求めて濃度値を内挿することも可能である。

この濃淡画像の復元は、伝送された等濃線の情報は送信
側で濃度情報を大まかな情報として抽出して圧縮した情
報であるため、顔面の全画素について等濃線の情報から
補間によって濃度値を大まかに復元するものである。ま
た合成画像１３０からの等濃線１３６の抽出とその等濃
線１３６からの濃淡画像１３７の復元は、入力画像から
復元した濃淡画像１３５との差分をとるために、人力画
像１２１　と同一の動き合成がされた合成画像に基づい
て、その両者の濃度差を比較するためである。

なお、本実施例では、最初に伝送されたモデル画像には
細かい濃度情報を含んでいるため、濃度情報のすべてを
送るのではなく、大まかな濃度分布の変化として受信側
でその差分を検出できる等製線情報として送り、受信側
でその差分を検出してこれを最初のモデル画像の濃度値
情報に対して加算する構成としている。

このように、人力画像１２１の等濃線を変換して得られ
た濃淡画像１３５は、入力画像１２１の大まかな濃度分
布を、合成画像１３０の等濃線を変換して得られた濃淡
画像１３７は合成画像の大まかな濃度分布をそれぞれ表
していると考えられる。そこで、顔面の変化による濃度
変化分は、これらの差をとることにより概算できる。そ
こで、二つの濃淡画像１３５と合成画像から復元した濃
淡画像１３７との差分をとると、濃度の変化分となる差
分画像１３８が得られる。この差分画像１３８を合成画
像１３０に加算することにより、濃度変化分の補正がな
された出力画像１４０が得られる。

ここで、出力画像１４０を画像表示手段８に出力する際
には顔面に背景も合成して出力する。

この受信側での濃度補正動作のフローチャートを第６図
に示す。

さらに本実施例によって画像変換されていく第２図に対
応する画像の模式的例を第７図に示す。

〔発明の効果〕

以上説明したように、本発明は、口の内部などのモデル
画像にない部分が自然に合成され、顔面の動きによる濃
度の変化をよく表す等製線情報として伝送されるため、
しわ等の形状変換に伴う濃度変化が自然に合成されるた
め、より自然な動画像を伝送することができる。また、
顔面の濃度情報を全画素についてではなく、圧縮されチ
ェーン符号化可能な等；Ｑ線情報として送ることができ
るため、その伝送情報量が少なくてすみ、伝送効率を改
善することができる。

【図面の簡単な説明】

第１図は本発明一実施例を示すブロック構成国。 第２図は実施例の処理動作を説明するブロック図。 第３図ないし第６図は実施例の各処理を説明するフロー
チャート。 第７図は実施例の処理画像例を示す図。 １．９・・・通話者、２・・・撮像手段、３・・・画像
解析手段、４・・・送信手段、５・・・伝送路、６・・
・受信手段、７・・・画像合成手段、８・・・画像表示
手段、３１・・・モデル画像抽出手段、３２・・・動き
解析手段、３３・・・等製線抽出手段、７１・・・モデ
ル作成手段、７２・・・動き合成手段、７３・・・濃度
補正手段。

Claims (1)

1. 【特許請求の範囲】 １、送信側に、通話に先立ってモデル画像を伝送する手
   段と、通話中の画像の動きを解析して動きの情報を受信
   側に伝送する手段とを備え、 受信側に、送信側から伝送されてくる画像の動きの情報
   により上記モデル画像を変形して動きを伴う画像を合成
   する手段を備えた 動画像伝送方式において、 送信側に、通話中の画像の濃度の等しい点を線で結んだ
   等濃線情報を時系列的に抽出する手段と、この手段で抽
   出された等濃線情報を順次受信側に伝送する手段と を備え、 受信側に受信した上記等濃線情報により上記合成された
   画像の濃度補正を行う手段を備えたことを特徴とする動
   画像伝送方式。 ２、送信側に、 通話中の入力画像の濃度の等しい点を線で結んだ等濃線
   を抽出する手段と、 抽出された等濃線を符号化する手段と を備え、 受信側に、 受信した等濃線情報から濃淡画像を復元する手段と、 モデル画像から動き合成によって合成された画像の等濃
   線を抽出する手段と、 抽出した等濃線から上記合成された画像の濃淡画像を復
   元する手段と、 上記受信した等濃線情報から復元した濃淡画像と上記モ
   デル画像から合成された画像の濃淡画像との濃度差を算
   出する手段と、 この濃度差により上記合成された画像の濃度補正を行う
   手段と を備えた請求項１に記載の動画像伝送方式。