JP3055152B2

JP3055152B2 - 動画像信号の符号化・復号化方法およびその装置

Info

Publication number: JP3055152B2
Application number: JP12520290A
Authority: JP
Inventors: 淳一大木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1990-05-15
Filing date: 1990-05-15
Publication date: 2000-06-26
Anticipated expiration: 2015-06-26
Also published as: JPH0420192A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、帯域圧縮技術を用いた動画像信号の符号化
・復号化方法およびその符号化・復号化装置に関する。

（従来の技術）従来の帯域圧縮技術を用いた動画像信号の符号化方式
としては、たとえば1989年電子情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この符号化方式
は、まず画面内から顔領域を抽出してマップを作成す
る。そして、画像符号化部でフレーム間フレーム内適応
予測を行い、この時もし顔領域であれば最終段まで符号
化を行い、それ以外の領域であれば１つ前の段階で符号
化を止めることにより符号量を減らしている。

（発明が解決しようとする課題）しかしながら上述した符号化式では、顔以外の背景の
部分も粗く符号化するから背景部分の余計な画像により
無駄な情報が発生してしまう。また、連続する画面間に
おいて背景部分から顔部分に変化したとすると、粗い符
号化から細かい符号化に変るため、予測誤差信号がかな
り発生してしまい、無駄な情報を符号化することになっ
てしまう。

（課題を解決するための手段）本発明の動画像信号の符号化方法は、入力する動画像
信号の各画面内の相関および各画面間の相関を利用して
画面内のある定められた領域を符号化する動画像信号の
符号化方法において、前記定められた領域内に存在する
被写体の各画面における動きの方向量を検出するにあた
り、画面を予め定められた複数画素からなるブロックに
分割し、予め定められた領域内でブロック毎に画面間で
の動きを示すベクトルを求め、求められた動ベクトルの
発生頻度を調べ、発生頻度が最も高いベクトルの値を代
表動ベクトルとし、代表動ベクトルに従って画面内にお
ける定められた領域の位置を移動して当該領域を符号化
する。

本発明の動画像信号の復号化方法は、入力する動画像
信号の各画面内の相関および各画面間の相関を利用して
画面内のある定められた領域を符号化した符号化信号を
各画面内の相関および各画面間の相関を利用して復号化
し、復号化した前記画面内のある定められた領域の画像
信号で表される画像を予め定められた大きさに拡大す
る。

本発明の動画像信号の符号化装置は、入力する動画像
信号を１画面分蓄えて外部から与えられる読み出しアド
レス信号が示す前記蓄えた動画像信号の１画面における
ある定められた領域の画像信号を出力する記憶手段と、
該記憶手段から出力される画像信号と前記入力動画像信
号とを入力して該２つの信号がそれぞれ表す２つの画面
間における各ブロックの動きの方向量を検出する検出手
段と、前記動きの方向量の頻度分布を測定して最も発生
頻度の高い動きの方向量を決定する頻度分布測定手段
と、該頻度分布計測手段から出力される動きの方向量で
入力する動画像信号の１画面の予め定めてある領域の位
置を変更し、該変更した領域を示す読み出しアドレス信
号を前記記憶手段に出力するアドレス制御手段と、前記
記憶手段から出力される画像信号を直交変換、動き補償
等で符号化する符号化手段とを備える。

本発明の動画像信号の復号化装置は、前述した動画像
信号の符号化装置から出力される各画面におけるある定
められた領域の符号化信号を入力し、該符号化信号を逆
直交変換、動き補償等で復号化する復号化手段と、該復
号化手段で復号化された動画像信号に予め定めてある画
素補間を施して出力する補間手段とを備える。

（作用）テレビ電話などでは、話者の顔の部分をおもに注視す
ることから、背景部分を削除し、おもに顔の部分を符号
化すれば背景からの無駄な情報発生を取除くことが簡単
にできる。符号化にあたっては、たとえば第４図に示す
ように、話者の顔を含む領域にあたる画面の中央部分に
水平方向にｈ画素、垂直方向ｖラインのウインドウを定
め、斜線で示された背景部分の画像は削除し、符号化を
行わない。このときウインドウの位置が固定であるこ
と、話者が働いた時に被写体がウインドウから外れてし
まうことがある。従って、話者の動きに合わせてウイン
ドウを移動させることが必要になる。ウインドウの移動
には、以下に示す方法を用いる。

まず、話者の顔を含む領域が画面間で、どの方向にど
れだけ動いたかを把握することが必要になる。動きの方
向および動きの量を把握するには、動き補償の原理を利
用することができる。動き補償の方法としては、たとえ
ば二宮らによる、“「動き補償フレーム間符号化方式」
信学論（Ｂ）J63−Ｂ、11、pp.1140−1147、昭51−11"
が知られている。この方法は、１枚の画面の画像を小さ
なブロックに分割し、各ブロック毎に、記憶されている
前画面の画像の中で最も高い相関をもつブロックを算出
し、該当するブロック間の位置の差（動ベクトル）と、
この該当するブロック間で空間的に同じ位置にある画素
の振幅値の差（動き補償予測誤差）を伝送する方法であ
る。

本発明においては、前画面の話者の顔を含む領域が、
現画面のどの位置に移動したかを求めて現画面における
ウインドウの位置を移動させる。従って、前画面から現
画面の間に話者がどの方向に、どれだけ動いたかを示す
動ベクトルを求めることになる。動ベクトルを求めるに
は、第５図の時刻ｔにおける前画面の話者の顔を含む領
域を複数のブロックに分割し、該各ブロックが時刻t1に
おける現画面の画像の中で最も高い相関を示す位置を算
出し、各ブロックの動ベクトルを求める。この時、話者
の動きは平行移動だけに限らず回転なども含み、複雑な
動きとなることもある。従って、各ブロックの動ベクト
ルは、少しづつ異なる場合があり、ブロック毎の動ベク
トルでそのブロックを移動させるとブロック単位でデコ
ボコが発生し綺麗なウインドウを描けなくなることがあ
る。従って、ウインドウを綺麗に移動させるためには、
ウインドウ内の話者の動きを１つの動きで代表し、剛体
の運動に近似する必要がある。

話者の動きを剛体の動きに近似するためには、ウイン
ドウ内の動きを最も良く表す代表動ベクトルを推定する
ことが鍵となる。代表動ベクトルを求めるためには、ウ
インドウ内の各ブロックの動ベクトルの発生頻度の分布
を取り、発生頻度の最も高い動ベクトルを代表動ベクト
ルとする。この様にして求めた代表動ベクトルによりウ
インドウを移動させる。前画面から現画面へのウインド
ウの移動は、第５図において前画面のウインドウの左上
の角の位置を原点とすると、その原点を求めた代表動ベ
クトルvt1によって現画面上に移動することにより、現
画面のウインドウの原点の位置を決定することができ
る。そしてウインドウ内の画像信号を読み出すには、ウ
インドウの左上角の原点から水平方向にｈ画素読み出す
毎に、水平方向の読み出しアドレスをリセットし垂直方
向の読み出しアドレスを１進める。この様にしてウイン
ドウ内を走査し、話者の顔を含む領域を符号器に与え
る。符号器は、ウインドウ処理された信号を直交変換、
動き補償などを用いて符号化して冗長度を低減して伝送
する。

次に、復号画像の処理方法について説明する。復号器
は、符号器でウインドウ処理され、直交変換、動き補償
などを用いて符号化されて伝送されてきた信号を、逆直
交交換、動き補償などを用いて復号化し、ウインドウ処
理された画像（以下ウインドウ画像と呼ぶ）を再生す
る。再生されたウインドウ画像は、第６図（ａ）に示す
ようにそのままディスプレイに表示すると、ディスプレ
イの1/nの大きさに表示されることになる。この状態で
は、復号画像が小さく見にくいので補間処理により第６
図（ｂ）に示す様なウインドウ画像の拡大を行う。例え
ばウインドウ画像を水平垂直に２倍に拡大する場合を例
に挙げて、第７図を参照しながら説明する。第７図の上
の部分にウインドウ画像を、第７図の下の部分に拡大画
像の補間方法を示す。補間を行うにあたってウインドウ
画像（復号画像）を水平方向に１画素おきに並べ、垂直
方向にも１ラインおきに並べる。例えば画素１−１と画
素１−２の間に補間される画素１−12は、画素１−１と
画素１−２の水平方向の２画素の平均値により補間され
る。画素２−１と画素２−２の間に補間される画素２−
12は、画素１−12と同様に画素２−１と画素２−２の水
平方向の２画素の平均値により補間される。画素１−１
と画素２−１の垂直方向の２画素の間のラインに補間さ
れる画素12−１は、画素１−１画素２−１の垂直方向の
２画素の平均値により補間される。画素１−２と画素２
−２の垂直方向の２画素の間のラインに補間される画素
12−２も画素12−１と同様に、画素１−２と画素２−２
の垂直方向の２画素の平均値により補間される。補間画
素により構成されるラインの画素12−12は、画素１−
１、画素１−２、画素２−１、画素２−２の４画素の平
均値により補間される。この様にウインドウ画像に補間
処理を加え、視覚的にみて滑らかで良好な拡大画像を得
る。

（実施例）次に、図面を参照して本発明について説明する。

第１図は本発明の動画像信号の符号化装置の一実施例
を示すブロック図である。入力する動画像信号101は、
フレームメモリ１およびベクトル検出器２に供給され
る。フレームメモリ１は入力する動画像信号101を１画
面分書込み、およそ１フレーム時間遅延させる。そし
て、アドレス制御回路４から供給されるアドレス制御信
号102によって示される第４図に示されるようなウイン
ドウ内の画像を読み出し、その画像信号103をベクトル
検出器２および符号器５に供給する。ベクトル検出器２
は、フレームメモリ１から供給される前画面のウインド
ウ内画像信号103を、複数の画素から成るブロックに分
割してそのブロック毎に、入力する現フレームの動画像
信号101の中で最も相関をもつブロックを算出し、該当
するブロック間の位置の差を求めてこれを動ベクトルと
する。ベクトル検出器２で求められたウインドウ内の各
ブロックの動ベクトル104は、頻度分布測定器３に供給
される。頻度分布測定器３は、ベクトル検出器３から供
給される動ベクトル104の発生頻度を計数し、最も発生
頻度が高かった動ベクトルを代表動ベクトルとする。頻
度分布測定器３で求められた代表動ベクトル105は、ア
ドレス制御回路４に供給される。アドレス制御回路４
は、第４図に示されるような予め定められた水平方向ｈ
画素、垂直方向ｖラインのウインドウ画像を読み出すた
めのアドレス信号を発生する。初期状態では、予め画面
の中央部分にウインドウを定めており、読み出しアドレ
ス信号を発生する。そして、次のフレームからは、頻度
分布測定器３から供給される代表動ベクトルに従って、
ウインドウの原点を移動させ、新たなウインドウ画像読
み出しアドレス信号を発生する。アドレス制御回路４で
発生したアドレス制御信号102は、フレームメモリ１に
供給される。符号器５は、フレームメモリ１から供給さ
れるウインドウの画像信号103を、直交変換、動き補償
などを用いて符号化して冗長性を低減する。この時の動
き補償には、前記ベクトル検出器２で求められた動ベク
トルを用いることも勿論可能である。符号器５で符号化
され冗長度が低減されたウインドウ画像信号106は、伝
送路に出力される。

次に、第２図および第３図を参照して本発明の復号化
装置について説明する。第２図は本発明の動画像信号の
復号化装置の一実施例を示すブロック図であり、符号化
されたウインドウ画像信号106が復号器６に供給され
る。復号器６は、符号化された冗長度が低減されたウイ
ンドウ画像信号106を逆直交変換、動き補償などを用い
て、もとの時間軸に復元する。復号器６で復号化された
ウインドウの画像信号107は、補間回路７に供給され、
このとき復号器７は、第７図の拡大画像に示すように、
水平方向には１画素おきに復号信号を出力し、垂直方向
にも１ラインおきに復号化されたウインドウ画像信号を
出力する。復号器６は、１フレーム毎にウインドウ画像
の先頭のタイミングでリセット信号108を発生し、該リ
セット信号108を補間回路７に供給する。

第３図は復号化されたウインドウ画像を水平垂直に２
倍に拡大する場合の補間回路７の一構成例を示すブロッ
ク図である。復号器６から供給される復号化されたウイ
ンドウの画像信号107は、Ｄタイプフリップフロップ7
1、加算器73およびラインメモリ79に供給される。Ｄタ
イプフリップフロップ71は、復号器６から供給される画
像信号107を１サンプル遅延させ、Ｄタイプフリップフ
ロップ72に供給する。Ｄタイプフリップフロップ72もＤ
タイプフリップフロップ71から供給された信号を１サン
プル遅延させ、加算器73,83および切換器86に供給す
る。加算器73は、復号器６から供給される画像信号107
と、Ｄタイプフリップフロップ72から供給される信号と
を加算する。加算器73の出力信号は、減衰器74に供給さ
れる。減衰器74は、加算器73から供給される信号が加算
処理によりもとの信号の２倍の振幅になっているから、
振幅を1/2に減衰させて水平方向の補間信号（第７図の
１−12、１−23、２−12など）を得る。減衰器74で得ら
れた水平方向の補間信号は、Ｄタイプフリップフロップ
75および加算器76に供給される。Ｄタイプフリップフロ
ップ75は、減衰器74から供給される補間信号を１サンプ
ル遅延させて、切換器86に供給する。ラインメモリ79は
復号器６から供給される画像信号107を１ライン時間遅
延させ、Ｄタイプフリップフロップ80および加算器82に
供給する。Ｄタイプフリップフロップ80は、ラインメモ
リ79から供給される信号１サンプル遅延し、Ｄタイプフ
リップフロップ81に供給する。Ｄタイプフリップフロッ
プ81は、Ｄタイプフリップフロップ80から供給される信
号を１サンプル遅延し、加算器82および加算器83に供給
する。加算器82は、ラインメモリ79から供給される信号
と、Ｄタイプフリップフロップ81から供給される信号と
を加算し、２倍の振幅をもった前ラインの補間信号を得
る。加算器82の出力信号である２倍の振幅をもった前ラ
インの補間信号は、減衰器78に供給される。減衰器78
は、加算器82から供給される２倍の振幅をもった前ライ
ンの補間信号の振幅を、1/2に減衰させて前ラインの水
平方向の補間信号を得る。減衰器78の出力信号である前
ラインの水平方向の補間信号は、加算器76に供給され
る。加算器76は、減衰器74から供給される現ラインの水
平方向の補間信号と、減衰器78から供給される前ライン
の水平方向の補間信号とを加算し、２倍の振幅をもった
補間ラインの信号を得る。加算器76の出力信号である２
倍の振幅をもった補間ラインの信号は、減衰器77に供給
される。減衰器77は、加算器76から供給される信号の振
幅を1/2に減衰し、補間ラインの信号（第７図の12−1
2、12−13など）を得る。減衰器77の出力信号は、Ｄタ
イプフリップ84に供給される。Ｄタイプフリップフロッ
プ84は、減衰器77から供給される信号を１サンプル遅延
して、切換器86に供給する。加算器83はＤタイプフリッ
プフロップ72から供給される現ラインの信号と、Ｄタイ
プフリップフロップ81から供給される前ラインに信号と
を加算し、２倍の振幅をもった補間ラインの信号を得
る。加算器83の出力信号は減衰器85に供給される。減衰
器85は、加算器83から供給される信号の振幅を1/2に減
衰し、補間ラインの信号（第７図の12−1,12−２など）
を得る。減衰器85の出力信号である補間ラインの信号
は、切換器86に供給される。切替信号発生器70は、復号
画素あるいは補間画素を切替えて出力させるための切替
信号のパターンを、予め定めて記憶しておく。例えば、
第７図の画素１−１を出力する時には、第３図のＤタイ
プフリップフロップ72から出力される復号信号に切替、
第７図の画素１−12を出力する時には、第３図のＤタイ
プフリップフロップ75から出力される水平方向の補間信
号に切替る。そして、第７図の画素12−１を出力する時
には第３図の減衰器85から出力される垂直方向の補間信
号に切替、第７図の画素12−12を出力する時には第４図
のＤタイプフリップフロップ84から出力される垂直水平
方向の補間信号に切替る。そして切替信号発生器70は、
復号器６からリセット信号108が与えられると、復号画
素または補間画素を切替えて出力させるための切替信号
を先頭画素の位置に戻し、１画素毎に復号信号あるい
は、補間信号を切替える切替信号を発生する。切替信号
発生器70の出力信号である切替信号は、切換器86に供給
される。切換器86は、切替信号発生器70から供給される
切替信号に従って、画素毎に復号信号または水平補間信
号、垂直補間信号、水平垂直補間信号のいずれの内の１
つを切替え選択して出力する。

ウインドウ画素をｎ倍に拡大する場合には、補間画素
を生成する時に補間画素の位置によって復号画素の重み
づけを変えることにより、視覚的に良好な拡大画像を得
ることができる。

切換器86の出力の拡大された画像信号109は、復号化
信号として外部に出力される。

（発明の効果）以上に詳しく説明したように、本発明の符号化方法お
よび符号化装置によれば、テレビ電話などでおもに注視
点となる話者の顔を含む領域を、ウインドウで切出して
話者の動きを追いかけて符号化することにより、ウイン
ドウから話者がはみ出してしまうこともなく、背景など
の余計な部分から発生する無駄な情報を削除することが
でき、符号化効率を高めることができる。また本発明の
復号化方法および復号化装置によれば、符号器から送ら
れてきたウインドウ画像を視覚的に見て滑らかに拡大す
ることができ、良好な復号画像を得ることができる。

【図面の簡単な説明】

第１図は本発明の動画像信号の符号化装置の一実施例を
示すブロック図、第２図は本発明の動画像信号の復号化
装置の一実施例を示すブロック図、第３図は第２図の実
施例における復号器６の一構成例を示すブロック図、第
４図は１枚の画面におけるウインドウを示す図、第５図
は画面間のウインドウの移動を示す図、第６図はウイン
ドウ画像の拡大を示す図、第７図はウインドウ画像の拡
大時における画素の補間を示す図である。１……フレームメモリ、２……ベクトル検出器、３……
頻度分布測定器、４……アドレス制御回路、５……符号
器、６……復号器、７……補間回路、70……切替信号発
生器、71,72,75,80,81,84……Ｄタイプフリップフロッ
プ、73,76,82,83……加算器、74,77,78,85……減衰器、
79……ラインメモリ、86……切換器。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＨ０４Ｎ 9/77 Ｇ０６Ｆ 15/66 ３３０Ｃ 11/04 15/70 ４１０ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 G06T 7/20 G06T 9/00 H04N 1/415 H04N 7/14 H04N 9/77 H04N 11/04

Claims

(57)【特許請求の範囲】

【請求項１】入力された動画像信号の各画面内の相関お
よび各画面間の相関を利用して画面内のある定められた
領域を符号化する動画像信号の符号化方法において、前
記定められた領域内に存在する被写体の各画面における
動きの方向量を検出するにあたり、画面を予め定められ
た複数画素からなるブロックに分割し、予め定められた
領域内でブロック毎に画面間での動きを示すベクトルを
求め、求められた動ベクトルの発生頻度を調べ、発生頻
度が最も高いベクトルの値を代表動ベクトルとし、代表
動ベクトルに従って画面内における定められた領域の位
置を移動して当該領域を符号化することを特徴とする動
画像信号の符号化方法。
【請求項２】入力された動画像信号の各画面内の相関お
よび各画面間の相関を利用して画面内のある定められた
領域を符号化復号化する動画像信号の符号化復号化方法
において、前記定められた領域内に存在する被写体の各
画面における動きの方向量を検出するにあたり、画面を
予め定められた複数画素からなるブロックに分割し、予
め定められた領域内でブロック毎に画面間での動きを示
すベクトルを求め、求められた動ベクトルの発生頻度を
調べ、発生頻度が最も高いベクトルの値を代表動ベクト
ルとし、代表動ベクトルに従って画面内における定めら
れた領域の位置を移動して当該領域を符号化することを
特徴とする動画像信号の符号化復号化方法。
【請求項３】入力する動画像信号の各画面内の相関およ
び各画面間の相関を利用して画面内のある定められた領
域を符号化復号化する動画像信号の符号化復号化方法に
おいて、前記定められた領域内に存在する被写体の各画
面における動きの方向量を検出するにあたり、画面を予
め定められた複数画素からなるブロックに分割し、予め
定められた領域内でブロック毎に画面間での動きを示す
ベクトルを求め、求められた動ベクトルの発生頻度を調
べ、発生頻度が最も高いベクトルの値を代表動ベクトル
とし、代表動ベクトルに従って画面内における定められ
た領域の位置を移動して当該領域を符号化し、符号化さ
れた信号を各画面内の相関および各画面間の相関を利用
して復号化し、復号化された動画像信号に対して拡大処
理を施すことを特徴とする動画像信号の符号化復号化方
法。
【請求項４】入力する動画像信号を１画面分蓄えて外部
から与えられる読み出しアドレス信号が示す前記蓄えた
動画像信号の画面におけるある定められた領域の画像信
号を出力する記憶手段と、該記憶手段から出力される画
像信号と前記入力動画像信号とを入力して該２つの信号
がそれぞれ表す２つの画面間における各ブロックの動き
の方向量を検出する検出手段と、前記動きの方向量の頻
度分布を測定して最も発生手段の高い動きの方向量を決
定する頻度分布測定手段と、該頻度分布計測手段から出
力される動きの方向量で入力する動画像信号の１画面の
予め定めてある領域の位置を変更し、該変更した領域を
示す読み出しアドレス信号を前記記憶手段に出力するア
ドレス制御手段と、前記記憶手段から出力される画像信
号を符号化する符号化手段とを備えることを特徴とする
動画像信号の符号化装置。
【請求項５】請求項４記載の符号化装置と、前記符号化
装置から出力される各画面におけるある定められた領域
の符号化信号を復号化する復号化手段を備えることを特
徴とする動画像信号の符号化復号化装置。
【請求項６】請求項５記載の符号化復号化装置と、前記
復号化手段で復号化された動画像信号に予め定めてある
画像補間を施して出力する補間手段を備えることを特徴
とする動画像信号の符号化復号化装置。