JP3405788B2

JP3405788B2 - 動画像符号化装置と動画像復号化装置

Info

Publication number: JP3405788B2
Application number: JP33285693A
Authority: JP
Inventors: 健志駄竹; 克己高橋; 尚明倉立; 光教面川; 尚吾山口; 和夫大関
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-03-04
Filing date: 1993-12-27
Publication date: 2003-05-12
Anticipated expiration: 2018-05-12
Also published as: JPH07170523A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置とそ
の動画像復号化装置に関する。

【０００２】

【従来の技術】画像符号化技術は、従来より画像通信、
放送、蓄積などに利用されている。画像符号化は、ファ
クシミリなどの静止画伝送であれば、なるべく高速に伝
送することを目的として行われ、またテレビ会議、テレ
ビ電話などの動画像通信であれば、なるべく狭い帯域ま
たは低いビットレートで伝送することを目的として行わ
れる。また、画像情報をディスクやメモリなどに記録す
る場合、できるだけ多くの画像を効率よく記録するため
に画像符号化技術が利用されている。

【０００３】図５に従来の動画像符号化装置のブロック
図を示す。入力された画像信号は、複数のブロックに分
割され、ブロック毎に前フレームの画像に対する動きを
示す動きベクトルが推定される。この動きベクトルによ
り前フレームの画像の動き補償を行い、入力画像との差
分をとる。この差分信号をＤＣＴ（離散コサイン変換）
し、量子化し、可変長符号化して出力する。

【０００４】ここでのＤＣＴに示されるように、従来の
変換符号化においては、変換方法（変換行列）は画像が
定常であるとの仮定のもとに単一の変換のみを用いて行
なっていた。また変換行列を複数用意し、切り替える行
列可変の適応ＫＬ変換符号化方式においては、変換行列
を選択するために固定の量子化に対し全探索するなどの
演算効率の悪い方式が検討されてきたため、動画像に対
する最適な方式が確立されていなかった。更にあらかじ
め用意されたＫＬ変換のなかから最適な変換を選択する
手法として入力の自己相関行列空間上での距離を用いる
手法、画像に方向性が常にあることを仮定した手法など
があったが、符号化誤差最小化の観点からは最適な方法
でないためその性能劣化が生じていた。

【０００５】一方、図５に示す従来の画像符号化方式に
おいて、仮に最適な変換方法が選択されたとしても、入
力画像信号に対し必ずブロック単位に平行移動させて動
き補償を行ない、ブロック単位に予測誤差の変換を行な
っていた。従って、低ビットレートになると予測誤差を
十分に伝送できないためブロック状の歪みが生じて画質
を劣化させていた。その上、動物体の背後から現れた背
景部分は予測できないため、符号化効率が低下してい
た。

【０００６】

【発明が解決しようとする課題】上述したように従来の
画像符号化方式では、ブロック単位に平行移動させて動
き補償を行っていた。従って、もしあるブロックが静止
領域と動領域にまたがっている場合、動領域に合わせて
平行移動させるか静止領域に合わせてそのままにしてお
くかのどちらかである。どちらの場合でも片方の領域の
差分信号が大きくなる。また、人の目や口などのように
被写体が変形する場合もブロックの平行移動だけでは十
分な動き補償を行えない。また、被写体が回転したり、
カメラのズームにより被写体が拡大縮小した場合も同様
である。

【０００７】本発明は、上述した問題点を解決するため
になされたもので、被写体の動きを十分に補償し、高い
符号化効率が得られる動画像符号化装置を提供すること
を目的とする。

【０００８】また、その符号化されたデータを復号化す
る動画像復号化装置を提供する。

【０００９】

【課題を解決するための手段】請求項１の発明は、入力
画像信号から動物体を抽出して、この動きを解析するこ
とにより、前記入力画像信号と動き補償が行われた再構
成画像との差である残差信号と動きパラメータを出力す
る動物体解析手段と、前記動物体解析手段からの前記残
差信号を符号化して残差符号化情報を形成する残差符号
化手段と、前記動物体解析手段からの動きパラメータ
と、前記残差符号化手段からの前記残差符号化情報とを
用いて再構成画像信号を再構成する再構成手段と、前記
動物体解析手段からの前記動きパラメータと前記残差符
号化手段からの残差符号化情報とを可変長符号化する可
変長符号化手段とを有する動画像符号化装置であって、
前記動物体解析手段は、前記入力画像信号の中における
動領域全体の動きに関連したグローバル動きパラメータ
を推定するグローバル動き推定手段と、前記の入力画像
信号または再構成画像信号の中での動領域に多角形パッ
チを当てることで、前記動領域の部分の動きに関連した
多角形パッチ動きパラメータを推定することにより、前
記動領域内における細かい動きを推定する多角形パッチ
動き推定手段と、前記グローバル動き推定手段により推
定されたグローバル動きパラメータと前記多角形パッチ
動き推定手段により推定された多角形パッチ動きパラメ
ータにより前記再構成画像信号の動き補償を行う動き補
償手段とからなることを特徴とする動画像符号化装置で
ある。請求項２の発明は、前記動物体解析手段は、前記
入力画像信号から動領域を抽出する動領域抽出手段を備
えることを特徴とする請求項１記載の動画像符号化装置
である。請求項３の発明は、前記再構成画像信号の動領
域から特徴点を抽出する特徴点抽出手段を備え、前記特
徴点に多角形パッチの頂点が来るように多角形パッチを
当てることを特徴とする請求項２記載の動画像符号化装
置である。請求項４の発明は、前記多角形パッチ動き推
定手段は、前記特徴点抽出手段によって抽出された動領
域の中の特徴点の周囲に小さい多角形パッチを当てるこ
とにより、多角形パッチパラメータを推定し、さらに
は、より大きい多角形パッチを前記動領域に当てて、多
角形パッチパラメータを推定することを特徴とする請求
項３記載の動画像符号化装置である。請求項５の発明
は、前記動物体解析手段は、入力画像信号から時間的な
差分をとり、差分の大きな領域を画像の上下左右から探
索し、その領域を動領域とすることを特徴とする請求項
４記載の動画像符号化装置である。請求項６の発明は、
前記再構成画像信号から背景画像信号を構成する背景画
像信号構成手段を備え、前記動き補償手段は、前記背景
画像信号構成手段によって構成された背景画像信号によ
り、前記動領域の後ろから現れた背景の補償も行うこと
を特徴とする請求項１記載の動画像符号化装置である。
請求項７の発明は、可変長符号化データを受信し、この
符号化データを復号化し、画像信号中における動領域全
体の動きに関連したグローバル動きパラメータ、前記画
像信号中における動領域の部分の動きに関連した多角形
パッチ動きパラメータ及び残差符号に分離する可変長復
号化手段と、この可変長復号化手段から出力された残差
符号を復号して残差信号を出力する残差符号復号化手段
と、フレームメモリに蓄積された前フレームの復号画像
信号と、前記可変長復号化手段から出力されたグローバ
ル動きパラメータとから動領域全体の動き補償を行い、
グローバル動き補償画像信号を出力するグローバル動き
補償手段と、このグローバル動き補償手段から出力され
たグローバル動き補償画像と、前記可変長復号化手段か
ら出力された多角形パッチ動きパラメータとから動領域
内部の局所的な動き補償を行い、動き補償予測画像信号
を出力する多角形パッチ補償手段と、この多角形パッチ
補償手段から出力された動き補償予測画像信号と、前記
残差符号復号化手段から出力された残差符号を加算し
て、復号画像信号を構成し、この復号画像をフレームメ
モリに送る加算手段とよりなることを特徴とする動画像
復号化装置である。請求項８の発明は、入力画像信号か
ら動物体を抽出して、この動きを解析することにより、
前記入力画像信号と動き補償が行われた再構成画像との
差である残差信号と動きパラメータを出力する動物体解
析ステップと、前記動物体解析ステップにおける前記残
差信号を符号化して残差符号化情報を形成する残差符号
化ステップと、前記動物体解析ステップにおける動きパ
ラメータと、前記残差符号化ステップにおける前記残差
符号化情報とを用いて再構成画像信号を再構成する再構
成ステップと、前記動物体解析ステップにおける前記動
きパラメータと前記残差符号化ステップにおける残差符
号化情報とを可変長符号化する可変長符号化ステップと
を有する動画像符号化装置であって、前記動物体解析ス
テップは、前記入力画像信号の中における動領域全体の
動きに関連したグローバル動きパラメータを推定するグ
ローバル動き推定ステップと、前記の入力画像信号また
は再構成画像信号の中での動領域に多角形パッチを当て
ることで、前記動領域の部分の動きに関連した多角形パ
ッチ動きパラメータを推定することにより、前記動領域
内における細かい動きを推定する多角形パッチ動き推定
ステップと、前記グローバル動き推定ステップにおいて
推定されたグローバル動きパラメータと前記多角形パッ
チ動き推定ステップにおいて推定された多角形パッチ動
きパラメータにより前記再構成画像信号の動き補償を行
う動き補償ステップとからなることを特徴とする動画像
符号化方法である。請求項９の発明は、可変長符号化デ
ータを受信し、この符号化データを復号化し、画像信号
中における動領域全体の動きに関連したグローバル動き
パラメータ、前記画像信号中における動領域の部分の動
きに関連した多角形パッチ動きパラメータ及び残差符号
に分離する可変長復号化ステップと、この可変長復号化
ステップにおいて出力された残差符号を復号して残差信
号を出力する残差符号復号化ステップと、フレームメモ
リに蓄積された前フレームの復号画像信号と、前記可変
長復号化ステップにおいて出力されたグローバル動きパ
ラメータとから動領域全体の動き補償を行い、グローバ
ル動き補償画像信号を出力するグローバル動き補償ステ
ップと、このグローバル動き補償ステップにおいて出力
されたグローバル動き補償画像と、前記可変長復号化ス
テップにおいて出力された多角形パッチ動きパラメータ
とから動領域内部の局所的な動き補償を行い、動き補償
予測画像信号を出力する多角形パッチ補償ステップと、
この多角形パッチ補償ステップにおいて出力された動き
補償予測画像信号と、前記残差符号復号化ステップにお
いて出力された残差符号を加算して、復号画像信号を構
成し、この復号画像をフレームメモリに送る加算ステッ
プとよりなることを特徴とする動画像復号化方法であ
る。

【００１０】

【作用】請求項１の発明の動画像符号化装置について
説明する。

【００１１】動物体解析手段は、入力画像信号の中から
動物体を抽出して、この動きを解析することにより、再
構成画像との残差信号と動きパラメータとを出力する。
残差符号化手段は、前記動物体解析手段からの前記残差
信号を符号化して残差符号化情報を形成する。再構成手
段は、前記動物体解析手段からの前記動きパラメータと
前記残差符号化手段からの前記残差符号化情報とから画
像を再構成する。そして、可変長符号化手段は、前記動
物体解析手段からの前記動きパラメータと前記残差符号
化手段からの前記残差符号化情報とを可変長符号化す
る。

【００１２】これにより、入力画像信号から動領域を抽
出し、その領域だけ動き補償を施すので、動物体の境界
付近での動き補償の効率が向上する。また、動領域に多
角形パッチを当て、細かい動き推定を行うことにより、
目や口の変形にも対応できる動き補償を行うことができ
る。

【００１３】請求項７の発明の動画像復号化装置につい
て説明する。

【００１４】可変長復号化手段が、動画像符号化装置か
ら符号化データを受信し、可変長符号であるこの符号化
データを復号化し、グローバル動きパラメータ、多角形
パッチ動きパラメータ及び残差符号とに分離する。

【００１５】残差符号復号化手段が、この可変長復号化
手段から出力された残差符号を復号して残差信号を出力
する。

【００１６】グローバル動き補償手段が、フレームメモ
リに蓄積された前フレームの復号画像と、前記可変長復
号化手段から出力されたグローバル動きパラメータから
動領域全体の動き補償を行い、グローバル動き補償画像
を出力する。

【００１７】多角形パッチ補償手段が、このグローバル
動き補償手段から出力されたグローバル動き補償画像
と、前記可変長復号化手段から出力された多角形パッチ
動きパラメータから動領域内部の局所的な動き補償を行
い、動き補償予測画像を出力する。

【００１８】加算手段が、この多角形パッチ補償手段か
ら出力された動き補償予測画像と、前記残差符号復号化
手段から出力された残差符号を加算して、復号画像を作
成して、復号画像を出力すると共に、フレームメモリに
送る。

【００１９】

【実施例】（第１の発明）以下、第１の発明の動画像符号化装置の一実施例を図１
〜図１５を用いて説明する。

【００２０】図１は、動画像符号化装置のブロック図で
ある。

【００２１】入力端子１から入力された画像信号は、動
物体解析部２で動領域と静止領域に分割され、動領域の
抽出と動きパラメータの推定が行われる。その動きパラ
メータにより再構成画像の動き補償が行われ、入力画像
との差分がとられる。その残差信号は、残差符号化部４
で符号化される。動きパラメータ情報と残差符号化情報
は、可変長符号化器（ＶＬＣ）５で可変長符号化され出
力される。また、動きパラメータ情報と残差符号化情報
により再構成部３で画像が再構成される。

【００２２】残差符号化部４の方式としては、波形を効
率よく表現できる方式であれば何でも良く、例えば、残
差信号を量子化し、０でない画素値にアドレスを付けて
送る条件付き画素補充方式や、数画素まとめて一つのコ
ードで表現するベクトル量子化や、離散コサイン変換し
てから量子化して送る方式などが考えられる。

【００２３】図２は、動物体解析部２の一例を示すブロ
ック図である。

【００２４】入力端子１から入力された画像信号は、動
領域抽出部１１で動領域が抽出される。グローバル動き
推定部１２では、動領域全体の動きパラメータが推定さ
れる。その後、多角形パッチ動き推定部１３で、動領域
に多角形パッチが当てられ動領域の中の細かい動きが推
定される。入力端子１０から入力された再構成画像は、
グローバル動きパラメータと多角形動きパラメータによ
り、動き補償部１４で動き補償が行われる。入力画像と
動き補償された画像との差分がとられ、残差信号として
出力端子１６から出力される。

【００２５】動領域抽出部１１における動領域抽出の一
方法としては、入力画像の時間的差分、即ちフレーム間
差分をとり、閾値より大きい画素を動領域とし、ノイズ
成分を除去するために孤立点除去を行ったり、また、領
域の統合を行うことにより動領域を抽出する。しかし、
この方法では、動物体の平坦部分では、ほとんど差分が
でないため、図６のように、動領域が分離して、多くの
動領域に分割されてしまい、領域情報が増えてしまうと
いう問題がある。動領域抽出の別の方法としては、図７
のように、まずフレーム間差分をとり、左右から動物体
のエッジを探索し、その内側を動領域とする方法であ
る。この方法によると動領域が分離することはない。ま
た、左右だけでなく、上下左右から動物体のエッジを探
索することにより、更に正確に動領域の抽出ができる。

【００２６】グローバル動き推定部１２におけるグロー
バル動き推定は、図８及び下記の（１）式に示すよう
に、ある点（ｘ，ｙ）が別の点（ｘ’，ｙ’）に移動す
る写像を考え、動きパラメータａ〜ｆを求める。

【００２７】但し、ａ〜ｄは、回転、拡大、縮小、変形
を表現するパラメータで、ｅ，ｆは、平行移動を表すパ
ラメータである。

【００２８】

【数１】多角形パッチ動き推定部１３における多角形パッチ動き
推定は、図９に示すように１フレーム前の画像をグロー
バル動きパラメータで写像した後、多角形パッチを動領
域に当てる。ここでは、三角形パッチとした。現フレー
ム画像との誤差が最小になるように各三角形の頂点を移
動する。三角形の中の画像は、アフィン変換により写像
する。アフィン変換の式は、（１）式と同じであり、各
三角形毎にパラメータが異なる。伝送する情報として
は、各頂点の移動量だけでよい。

【００２９】動物体が移動したときに、光の当たり具合
が変化して、同じ対応点でも輝度が変化することがあ
る。これを補償するには、三角形パッチの頂点を２次元
平面内で移動するだけでなく、輝度値方向にも移動させ
る必要がある。ある点（ｘ，ｙ）が別の点（ｘ’，
ｙ’）に移動したときの輝度値方向の明るさ補正量を
ｚ’とすると、ｚ’＝ｋｘ＋ｌｙ＋ｍ ……（２）となる。パラメータｋ，ｌ，ｍは、三角形パッチの各頂
点の輝度値方向の移動量から求めることができる。

【００３０】図３は、動物体解析部２の他の実施例を示
すブロック図である。

【００３１】図２との違いは、特徴点抽出部１７と、人
物検出部１８があることである。特徴点抽出部１７によ
り、再構成画像から人の顔の目や口などの特徴点を抽出
する。その特徴点の周囲は、図１０に示すように三角形
パッチの大きさを小さくして、より細かい動きに対応で
きるようにする。または、図１１に示すように、特徴点
に合わせた形状の三角形パッチを当てて動き補償を行
い、更に固定形状の三角パッチを当てて動き補償を行う
ようにしても良い。特徴点は、入力画像から抽出するよ
うにしても良いが、再構成画像から抽出するようにする
と、受信側でも同じようにできるので、特徴点の位置情
報を送る必要がなくなる。

【００３２】この特徴点抽出は、人の顔のようにある程
度モデル化できる場合は高い確率で抽出が可能である
が、一般の画像の場合は抽出が難しい。したがって、人
物検出部１８で自動的に人物画像かどうか判断するか、
またはマニュアルでモードを切り替えて、一般画像の場
合は特徴点抽出をやめて固定の三角形パッチを使うよう
にすれば良い。または、人物画像用の符号化器と一般画
像の符号化器を用意し、切り替えるようにしてもよい。

【００３３】図４は、本発明の動物体解析部の更に別の
例を示すブロック図である。図２との違いは、背景画像
構成部１９があることである。再構成画像の中から長時
間静止している画素を背景メモリに書き込んでいき、背
景画像を構成する。この背景画像は、動物体の後ろから
背景が現れてきたときに使う。動物体の後ろから現れて
きた背景は、前回動領域で今回静止領域となった部分で
ある。この背景補償領域は、受信側でも分かるので、領
域情報を送る必要はない。

【００３４】領域の境界線の情報を送る方法として差分
チェーン符号がある。これは、図１２に示すように、進
むことができる８方向に番号を付け、最初はその番号を
送り、その次からは前の方向との差分を送る方法であ
る。境界線をそれほど正確に送る必要がない場合は、図
１３に示すように、代表点の位置だけを送り、その間を
スプライン曲線などの曲線で補間する方法もある。この
方法を使うと、動画像の場合、代表点のずれ量だけを送
れば良いので、さらに情報量を減らすことができる。

【００３５】静止領域と背景補償領域と動領域を合成す
るときに、切り貼りにより合成すると、境界線が強調さ
れるため視覚的に好ましくない。図１４は、背景と動領
域の信号を１次元で表現した図である。背景と動領域
は、カメラのボケや信号処理により信号がなまるため、
なだらかに接続されている。動領域が左に移動したとき
に、動領域を切りとって背景に貼りつけると、境界線が
シャープになり必要以上に目立ってしまう。そこで、境
界線付近をなだらかに減衰させ、オーバーラップさせる
ことにより、なめらかに接続することができる。

【００３６】図１５は、顔の画像を通信する場合のブロ
ック図であって、（ａ）は送信部、（ｂ）は受信部であ
る。

【００３７】送信部において、符号１００は、一般にパ
ラメ―タ符号化器と呼ばれている符号化部であって、本
発明の動領域を分離する符号化器、輪郭で分離する符号
化器、モデルベ―スト符号化器、分析合成符号化器また
は知的符号化器等である。符号１０２は、従来の波形符
号化器である。そして、入力信号をパラメ―タ検出器１
０４により顔の画像を含むか否かを検出して、自動的に
または手動で選択器１０６で選択して両者を切替え、顔
の画像を含む場合は、パラメ―タ符号化器１００で送出
し、含まない場合は、波形符号化器１０２で送出する。

【００３８】受信部においても、同様に、自動的にまた
は手動で選択器１０８で選択して両者を切替え、顔の画
像を含む場合は、パラメ―タ復号化器１１０で受信し、
含まない場合は、波形復号化器１１２で受信する。

【００３９】（第２の発明）第２の発明の一実施例である動画像復号化装置２００に
ついて図１６のブロック図に基づいて説明する。

【００４０】これは、図１に示した動画像符号化装置に
よって符号化された符号化データを復号する装置であ
る。

【００４１】動画像符号化装置からの符号化データが、
動画像復号化装置２００の入力端子２０１から入力さ
れ、可変長復号化器（ＶＬＤ）２０２で可変長符号の復
号化が行われ、動きパラメータと残差符号が出力され
る。動きパラメータは、動領域情報とグローバル動きパ
ラメータと多角形パッチ動きパラメータを含んでいる。

【００４２】残差符号復号化器２０４は、残差符号を復
号し、残差信号を出力する。

【００４３】グローバル動き補償回路２０７は、フレー
ムメモリ２０８に蓄積された前フレームの復号画像と動
領域情報とグローバル動きパラメータが入力され、動領
域全体の動き補償を行い、グローバル動き補償画像を出
力する。

【００４４】パラメータが入力され、動領域内部の局所
的な動き補償を行い、動き補償予測画像を出力する。

【００４５】加算器２０５は、動き補償予測画像と残差
符号を加算して、復号画像を作成して、復号画像を出力
端子２０９から出力すると共に、フレームメモリ２０８
に送る。

【００４６】これにより、図１に示した動画像符号化装
置によって符号化された符号化データを復号化できる。

【００４７】（第３の発明）図１７は本発明の第３の実施例のブロック構成図であ
る。入力画像はフレームメモリ３０８に格納された、時
間的に以前の画像データから動き予測回路３０９で作成
されるフレーム間またはフィールド間予測信号により差
分器３０１で予測差分される。時間方向予測は例えば１
６画素ｘ１６ラインのブロックの範囲までに関しマッチ
ングにより予測差分誤差の電力和または絶対値和の最小
となるブロックを探索することにより求まる。予測差分
信号は予め用意された直交変換の集合のなかから、選択
手段３０２により選択され変換演算器３０３へその選択
情報が送られる。選択手段３０２では、例えば入力信号
−この場合は予測残差信号−の自己相関行列を求め、予
め用意した直交変換に対応する自己相関行列とのユーク
リッド距離の最も近いものを選択する基準として演算を
行なう事ができる。変換は画像をＮｘＮ画素の小ブロッ
クＧに分割しＮｘＮの縦変換行列ＴｖとＮｘＮの横変換
行列ＴｎによりＦ＝ＴｖＧＴｎで表される行列変換を行なう。変換後のデータは量子化
器３０４で量子化され必要に応じ可変長符号化器３１０
で可変長符号化され、送出される。一方量子化結果は逆
量子化器３０５で逆量子化される。この場合、図１８の
ように一旦量子化した結果を逆量子化するのでなく、直
接逆量子化結果を生成しても良い。逆量子化結果は変換
した時の演算が選択手段３０２から送られ、これに対応
した逆変換の演算が逆変換器３０６で行なわれる。変換
は行列の係数としてメモリに格納しておき、選択手段の
指示により変換に使用する係数が読み出される。このと
き逆変換用の変換係数も読み出され逆変換器３０６に送
れば良い。この直交変換は正規直交変換であるため、逆
変換は転置行列であるから、変換用に読み出した係数は
そのまま配置を縦と横に関し変えるだけで使用できるの
で構成が簡略化できる。逆変換結果は動き予測回路３０
９から生成された予測信号と加算器３０７で加算され、
フレームメモリ３０８の内容が書き替えられる。選択手
段３０２で選択した変換を表すフラッグ信号が上記量子
化、符号化された信号とともに、送出される。上記直交
変換はＫＬ変換の場合最適となるが、他の近似的直交変
換を用いることもできる。

【００４８】図１９は本発明の第２の実施例である。動
き予測回路３０９で求められた時間方向予測信号、予測
残差信号、入力信号等を用いて、判定器３１１は符号化
モードの切り替えを指示する。すなわちまず、入力信号
と予測残差信号の電力和または絶対値和を比較し小さい
方を選択する選択を行なう。切り替えスイッチ３１２に
よりこの信号の切り替えがなされる。またこの選択され
た信号のブロック内電力和または絶対値和が一定のしき
い値以下の時以下の変換符号化を行なわず、これを示す
符号を送出する。またしきい値より大きい場合は適応変
換を行ない、これを示す符号と変換、量子化、符号化の
結果とともに送出する。この場合複数の変換から所望の
変換を選択した結果を示すフラッグ信号も合わせて送出
される。一方局所復号も上記判定結果により、まず予測
残差信号でなく入力信号が選択された時はスイッチ３１
３により動き補償予測信号ではなく０信号が逆変換結果
に加えられる。また変換演算への入力信号電力等がしき
い値以下で変換符号化を行なわないブロックはフレーム
メモリ３０８の内容も変更がなされない。

【００４９】図２０は本発明の第３の実施例である。符
号化に先立ち、送信機の制御部が受信機と通信し、予め
用意された変換のなかから用いる変換を限定して使用す
る取決めを行なう。例えば予め１６種の直交変換と１つ
のＤＣＴとの合計１７種が用意されている場合、１７種
全てを用いる場合、１６種の直交変換のみを用いる場
合、ＤＣＴのみ用いる場合などが考えられる。またＤＣ
Ｔを含め全体で１６種の変換を用意しておきハードウェ
アの状況により１６種、８種、４種、２種、ＤＣＴのみ
１種などの中から選ぶ形も可能である。このときどの行
列を選択したかの選択情報は最初に取り決めた変換の種
類数やその内容により変えることにより、より効率化を
図ることができる。

【００５０】図２１は本発明の第４の実施例である。本
実施例は、複数の変換を順次切り替えて変換し、変換後
に量子化し可変長符号化を行ない、符号化誤差と符号量
が所定の関数関係を保ったまま最適となる変換を選択す
るとともに、この選択結果を表す信号を合わせて伝送す
る行列可変の適応変換を行なうものであり、最適な変換
の選択法に関するものである。予め用意されたあらゆる
変換を試み、その中から最も効率の良い変換を選択する
ものである。このためまず変換後のデータと量子化後の
データの比較を行なう符号化誤差係数器３１４により誤
差が計算される。具体的には各ブロックの変換後と量子
化後データの差の２乗和を計算すれば良い。次に可変長
符号化後の符号量を計数器３１５で計数する。誤差は少
ない方が良く、符号量も少ない方が良いがこれらは対立
関係にあり、両者を総合的にＲ／Ｄ判定器３１６で判定
する必要がある。図２２にこのＲ／Ｄ判定器３１６の動
作原理を示す。すなわち横軸にビットレート、縦軸に誤
差をとった時、ビットレートと誤差が効率上等価な関係
にある点を結ぶと、図２２の曲線群のようになってい
る。この曲線上に計数器３１４、３１５で計測されたデ
ータを記入したものが、Ａ、Ｂ、Ｃ、Ｄ、Ｅの各点であ
ったとする。まずＡ点とＢ点は等しい価値であるが、こ
れより下にある点の方が、同ビットレートで誤差が小さ
いため効率が高くなっている。従ってＣ点に比べＤ点や
Ｅ点の方か高効率である。Ｄ点とＥ点は等価でありどち
らを選択しても良い。この時さらにＤ点かＥ点かのどち
らを選択するかのルールを決めておくこともできる。例
えば、レートがある範囲に入っている方を優先する、レ
ートが小さい方を優先する、両者を加味した判定マップ
を作成しておくなどが容易に考えられる。

【００５１】図２３は本発明の第５の実施例である。本
実施例は、複数の変換に対応する自己相関行列と自己相
関行列間の距離関係ネットワークを有し、入力画像信号
の自己相関行列と変換に対応する自己相関行列との距離
を演算する手段を有し、前記距離ネットワーク上で入力
と変換の自己相関行列の最小距離探索を行なうことを特
徴とする行列可変の適応変換を行なうものである。変換
行列に対応する自己相関行列の距離関係を図２４のよう
にネットワーク化しておくことにより、全部の変換行列
の中から最適なものを選択するのでなく、そのうちの一
部分の探索のみ行なえば良いため、演算量が大幅に減少
する。入力信号はまず自己相関行列が３１７で作成され
ネットワーク探索器３２０で探索される。係数メモリに
対応した自己相関行列はネットワーク化されメモリ３１
８に格納されている。ネットワークは図２４のように距
離関係をもとに各自己相関行列が整列されている。例え
ば第一段階で入力と初期値である１番の自己相関行列と
その近傍にある１から７までの自己相関行列と距離比較
がなされる。もし４が最小だったとすると同様に４近傍
の１、５、８、９、１０、３について探索される。４が
最小の時これを最適変換と決めることができる。距離で
ネットワーク化されているため、局所最適には陥らな
い。また全探索するより早く最適点に到達できる特徴を
持つ。

【００５２】図２５は本発明の第６の実施例である。こ
れは、入力の自己相関行列と最小距離にある変換に対応
した自己相関行列を求めた後、その自己相関行列に対応
した変換を含む部分変換の集合に対し、変換符号化結果
が局所的に最適となる変換を選択するものであり、図２
１の実施例と図２３の実施例の一般的組み合わせの一形
態である。自己相関行列空間での探索を行なった後、可
変長符号化まで行なう時などの最適変換の候補が絞り込
まれる。この限定された変換候補に対し、Ｒ／Ｄの観点
から最適変換を探索するものである。

【００５３】（第４の発明）以下、第４の発明の実施例を図面を用いて説明する。図
２６は、本発明の一実施例に係わる動画像符号化装置の
ブロック図である。入力端子３２１から入力された画像
信号は、動き補償回路３２２とサブバンド分割回路３２
３に入力される。動き補償回路３２２は、入力画像信号
と前フレーム画像信号とから動き解析を行ない、前フレ
ーム画像の動き補償を行なう。動き解析は、ブロック毎
に平行移動量を求めるブロックマッチング法でもよい
し、後述するように、まず動領域を抽出し動領域全体の
動きを求め、更に細かい動きを求める方法でもよい。こ
の動き補償された画像信号は、サブバンド分割回路３２
４で入力画像信号と同様に複数のサブバンドに分割され
る。図２７にサブバンド分割の例を示す。これは、まず
水平垂直それぞれに２つの周波数領域に分割し、ＬＬ、
ＨＬ、ＬＨ、ＨＨに４分割する。更に、ローバンドＬＬ
をＬＬＬ、ＬＨＬ、ＬＬＨ、ＬＨＨに４分割する。次
に、動き補償サブバンド画像と前フレームサブバンド画
像と背景サブバンド画像と無信号の中から適応予測回路
３２７で選択し、入力サブバンド画像と選択された予測
信号との差を残差符号化回路３２８で符号化する。次
に、残差符号化情報と適応予測情報と動き解析情報とが
可変長符号化回路３３３で可変長符号化され、出力端子
３３４から出力される。それと同時に、残差符号化情報
は、残差復号化回路３２９で復号化され、加算器３３０
で適応予測信号と加算される。加算された信号は、背景
予測回路３３１とフレームメモリ３３２に入力される。
背景予測回路３３１では、背景部分かどうかを判断し、
背景部分のみ蓄積する。フレームメモリ３３２の出力の
前フレームサブバンド画像信号は、サブバンド合成回路
３２５で各周波数成分が合成され、前フレーム画像が再
構成される。

【００５４】図２８は、本発明の動き補償回路の一例を
示すブロック図である。入力端子３４１から入力された
画像信号は、動領域抽出部３４３で動領域が抽出され
る。動領域抽出部の一方法としては、まずフレーム間差
分をとり、左右から動物体のエッジを探索し、その内側
を動領域とする方法である。この方法によると動領域が
分離することはない。また、左右だけでなく、上下左右
から動物体のエッジを探索することにより、更に正確に
動領域の抽出ができる。グローバル動き推定部３４４で
は、動領域全体の動きパラメータが推定される。グロー
バル動き推定は、下記の（３）式に示すように、ある点
（ｘ、ｙ）が別の点（ｘ’、ｙ’）に移動する写像を考
え、動きパラメータａ〜ｆを求める。ａ〜ｄは、回転、
拡大、縮小、変形を表現するパラメータで、ｅ、ｆは、
平行移動を表すパラメータである。

【００５５】

【数２】多角形パッチ動き推定部３４５では、動領域に多角形パ
ッチが当てられ動領域の中の細かい動きが推定される。
多角形パッチ動き推定は、図２９に示すように１フレー
ム前の画像をグローバル動きパラメータで写像した後、
多角形パッチを動領域に当てる。ここでは、三角形パッ
チとした。現フレーム画像との誤差が最小になるように
各三角形の頂点を移動する。三角形の中の画像は、アフ
ィン変換により写像する。アフィン変換の式は、（３）
式と同じであり、各三角形毎にパラメータが異なる。伝
送する情報としては、各頂点の移動量だけでよい。入力
端子３４２から入力された前フレーム画像は、グローバ
ル動きパラメータと多角形動きパラメータにより、動き
補償部３２６で動き補償が行なわれ出力端子３４８から
出力される。

【００５６】図３０は、本発明の背景予測回路の一例を
示すブロック図である。入力端子３５１から入力された
信号サブバンド画像は、静止時間計測部３５３で画素単
位または複数画素のブロック単位に静止している時間が
計測される。その静止時間が一定時間以上のときは、書
き込み制御部３５４で書き込み信号が発生され復号サブ
バンド画像が背景メモリ３５５に書き込まれる。また、
入力端子３５２から入力された適応予測選択信号が無信
号を示しているとき、すなわちフレーム内符号化されて
いるときも書き込み信号を発生させる。これは、過去の
信号で予測できない新しい画像信号が現れたときにフレ
ーム内符号化が選択されるのでその部分が背景である可
能性が高いからである。

【００５７】図３１は、本発明の適応予測回路の一例を
示すブロック図である。入力端子３６１から入力サブバ
ンド画像、入力端子３６２から動き補償サブバンド画
像、入力端子３６３から前フレームサブバンド画像、入
力端子３６４から背景サブバンド画像が入力され、評価
回路３６５に入力される。評価回路３６５では、入力サ
ブバンド画像に対する動き補償サブバンド画像、前フレ
ームサブバンド画像、背景サブバンド画像、無信号との
評価値が計算される。評価値としては、差分絶対値和ま
たは差分２乗和が計算される。前フレームサブバンド画
像の評価値が設定値以下のときは、セレクタ３６６で前
フレームサブバンド画像が予測信号として選択され出力
端子３６８から出力される。それ以外の時は、最も評価
値が小さいものが選択される。無信号が選択されたとき
は、予測信号は０となり、フレーム内符号化になる。

【００５８】図３２は、本発明の残差符号化回路の一例
を示すブロック図である。予測残差信号は、画素間の相
関はほとんどないが、局所的にはフレーム内符号化が選
択された場合などに高い相関が残っていることがある。
そのような局所的相関を利用して更に残差信号を小さく
することができる。入力端子３７１から入力された予測
残差信号は、予測部３７４により既に符号化された画素
を用いて予測され、その予測誤差が量子化器３７３で量
子化され出力端子３７７から出力される。また、量子化
信号と予測信号が加算器３７６で加算されメモリ３７５
に書き込まれ、次の画素の予測のために使われる。図３
３に、４ｘ４のブロックで処理する場合の例を示す。斜
線部分は、既に符号化の終了した部分である。先ず、ブ
ロック右下の画素Ｘ（４、４）が既に符号化の終了した
画素を用いて数２により予測され、予測誤差が量子化さ
れる。

【００５９】 P(4 、4)=(ah(4、4)X(0 、4)+av(4 、4)X(4 、0))/2 ……（４）量子化された予測誤差と予測値が加算されＸ（４、４）
が確定する。次に画素Ｘ（２、４）、Ｘ（４、２）が、
下記の（５）（６）式より予測され、予測誤差が量子化
される。

【００６０】 P(2 、4)=ah(2 、4)(X(0、4)+X(4、4))/2 ……（５） P(4 、2)=av(4 、2)(X(4、0)+X(4、4))/2 ……（６）次に、画素Ｘ（２、２）が（７）式により予測され、予
測誤差が量子化される。

【００６１】 P(2 、2)= (ah(2、2)(X(0、2)+X(4、2))+av(2、2)(X(2、0)+X(2、4)))/4 ……（７）同様にして、その間の画素も符号化される。ここで、予
測係数（ａｈ（ｉ、ｊ）、ａｖ（ｉ、ｊ）は、画素間相
関によって決まる。しかし、入力画像毎に画素間相関を
計算するのは現実的でないので、標準的な画像に対する
各バンドの画素間相関を調べ、その値により予測係数を
決定すればよい。

【００６２】量子化された予測誤差の符号化は、量子化
値が０の場合とそれ以外の場合に分けて符号化すればよ
い。図３４（ａ）は、黒い部分が量子化値が０でない画
素を示している。この位置情報を図３４（ｂ）のように
４分木で表現し可変長符号化する。そして、０でない量
子化値だけ可変長符号化する。

【００６３】（第５の発明）第５の発明の一実施例である動画像復号化装置について
図３５のブロック図に基づいて説明する。

【００６４】これは、第４の発明である動画像符号化装
置によって符号化された符号化データを復号する装置で
ある。

【００６５】入力端子４０１から、符号化データが入力
され、可変長復号化器４０２で可変長符号の復号化が行
われ、動きパラメータ、適応予測選択信号及び予測誤差
量子化信号が出力される。

【００６６】予測誤差量子化信号は、逆量子化器４０３
で逆量子化され、予測器４０５の出力と加算器４０４で
加算され、残差復号信号になる。この残差復号信号は、
メモリ４０６に書き込まれ、次の復号画素を予測するた
めに使われる。

【００６７】予測器４０５は、次の復号画素の近傍の既
に復号化された画素を用いて、次の復号画素を予測す
る。

【００６８】選択回路４０８は、無信号及び後述する動
き補償サブバンド画像信号、前フレームサブバンド画像
信号、サブバンド背景予測信号の４つの信号の中から１
つの信号を、適応予測選択信号により選択して、適応予
測信号として出力する。

【００６９】残差復号信号は、選択回路４０８からの適
応予測信号と、加算器４０７で加算され、サブバンド復
号画像が得られる。そして、このサブバンド復号画像
は、フレームメモリ４０９と背景予測回路４１０に出力
される。

【００７０】サブバンド復号画像は、フレームメモリ４
０９に書き込まれる。

【００７１】背景予測回路４１０は、サブバンド復号画
像の中から新しく送られてきた部分や長時間静止してい
る部分を選択的に、背景予測回路４１０の中の背景メモ
リに書き込む。そして、サブバンド背景予測信号として
選択回路４０８へ出力される。

【００７２】フレームメモリ４０９からのサブバンド復
号画像は、サブバンド合成器４１３で、ベースバンド復
号画像に合成され、出力端子４１４から出力される。ま
た、前フレームサブバンド画像信号として選択回路４０
８へ出力される。

【００７３】ベースバンド復号画像は、動き補償回路４
１２で動きパラメータに基づいて動き補償され、サブバ
ンド分割回路４１１でサブバンドに分割され、動き補償
サブバンド画像信号として選択回路４０８へ出力され
る。

【００７４】動画像符号化装置側が、図２８のようにグ
ローバル動き補償と多角形パッチ動き補償の２段階にな
っていれば、動画像復号化装置側も動き補償を２段階に
する必要がある。

【００７５】また、動画像符号化装置側に背景予測回路
が含まれていなければ、動画像復号化装置側も必要な
い。

【００７６】

【発明の効果】請求項１、８の発明は、入力画像信号か
ら動領域を抽出し、その領域だけ動き補償を施すので、
動物体の境界付近での動き補償の効率が向上する。ま
た、動領域に多角形パッチを当て、細かい動き推定を行
うことにより、目や口の変形にも対応できる動き補償を
行うことができる。

【００７７】請求項７、９の発明は、被写体の動きを十
分に補償し、サブバンドに分割して処理を行なうことに
より、高い符号化効率の符号化データを復号化できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像符号化装置のブ
ロック図。

【図２】本発明の動画像解析部の一例を示すブロック
図。

【図３】本発明の動画像解析部の別の例を示すブロック
図。

【図４】本発明の動画像解析部の更に別の例を示すブロ
ック図。

【図５】従来の動画像符号化装置の例を示すブロック
図。

【図６】フレーム間差分の孤立点除去と領域統合による
動領域抽出の説明図。

【図７】動領域境界の内側を動領域とする方法による動
領域抽出の説明図。

【図８】グローバル動き推定を説明する図。

【図９】三角形パッチ動き推定を説明する図。

【図１０】特徴点周囲の三角形パッチの大きさを小さく
し動き補償を行う方法を説明する図。

【図１１】三角形パッチの形状を特徴点に合わせて動き
補償を行う方法を説明する図。

【図１２】差分チェーン符号化を説明する図。

【図１３】代表点だけ送り、間を補間することにより境
界線を表現する図。

【図１４】背景と動領域を合成するやり方を説明する
図。

【図１５】顔の画像を通信する場合のブロック図であっ
て、（ａ）は送信部、（ｂ）は受信部である。

【図１６】第２の発明の動画像復号化装置のブロック
図。

【図１７】第３の発明の第１実施例のブロック図。

【図１８】第３の発明の第１実施例の量子化器と逆量子
化器の位置を示す図。

【図１９】第３の発明の第２実施例のブロック図。

【図２０】第３の発明の第３実施例のブロック図。

【図２１】第３の発明の第４実施例のブロック図。

【図２２】第３の発明の第４実施例のＲ／Ｄ判定器の動
作原理を示す図。

【図２３】第３の発明の第５実施例のブロック図。

【図２４】第３の発明の第５実施例の自己相関行列の距
離関係ネットワークを示す図。

【図２５】第３の発明の第６実施例のブロック図。

【図２６】第４の発明の動画像符号化装置のブロック
図。

【図２７】第４の発明のサブバンド分割の例を示す図。

【図２８】第４の発明の動き補償回路のブロック図。

【図２９】第４の発明の三角形パッチ動き推定を説明す
る図。

【図３０】第４の発明の背景予測回路のブロック図。

【図３１】第４の発明の適応予測回路のブロック図。

【図３２】第４の発明の残差符号化回路のブロック図。

【図３３】第４の発明の残差符号化処理を説明する図。

【図３４】第４の発明の量子化値が０でない画素位置の
符号化を説明する図。

【図３５】第５の発明の動画像復号化装置のブロック
図。

【符号の説明】

１…入力端子２…動物体解析部３…画像再構成部４…残差符号化部５…可変長符号化部６…出力端子１１…動領域抽出部１２…グローバル動き推定部１３…多角形パッチ動き推定部１４…動き補償部１７…特徴点抽出部１９…背景画像構成部３０１…差分器３０２…選択手段３０３…変換演算器３０４…量子化器３０５…逆量子化器３０６…逆変換器３０７…加算器３０８…フレームメモリ３０９…動き予測回路３１０…可変長符号器３１１…判定器３１２、３１３…切換えスイッチ３１４…符号化誤差計数器３１５…符号量計数器３１６…Ｒ／Ｄ判定器３１７…自己相関行列３１８…係数メモリ３１９…対応自己相関行列ネットワーク３２０…ネットワーク探索器３２１…入力端子３２２…動き補償回路３２３、３２４…サブバンド分割回路３２５…サブバンド合成回路３２６…減算器３２７…適応予測回路３２８…残差符号化回路３２９…残差復号化回路３３０…加算器３３１…背景予測回路３３２…フレームメモリ３３３…可変長符号化回路３３４…出力端子

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉立尚明大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者面川光教大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者山口尚吾大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者大関和夫大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (56)参考文献中屋雄一郎（外１名），３角形パッチの統合による領域分割に基づく動き補償方式，1991年画像符号化シンポジウム（ＰＣＳＪ91）第６回シンポジウム資料，日本，社団法人画像電子学会, 1991年10月７日，ＰＣＳＪ91，Ｐ．57 −60 ＨａｎｓＧｅｏｒｇ（外２名），ＯＢＪＥＣＴ−ＯＲＩＥＮＴＥＤＡＮＡＬＹＳＩＳ−ＳＹＮＴＨＥＳＩＳＣＯＤＩＮＧＯＦＭＯＶＩＮＧＩＭＡＧＥＳ，ＳｉｇｎａｌｐｒｏｃｅｓｓｉｎｇＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，ＥｌｓｅｖｉｅｒＳｃｉｅｎｃｅＰｕｂｌｉｓｈｅｒｓ，1989 年，Ｖｏｌ．１，Ｎｏ．２，ｐ．117− 138 ＤｉｒｋＡｄｏｌｐｈ（外１名）, １．15Ｍｂｉｔ／ｓｃｏｄｉｎｇｏｆｖｉｄｅｏｓｉｇｎａｌｓｉｎｃｌｕｄｉｎｇｇｌｏｂａｌｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎ，ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，ＥｌｓｅｖｉｅｒＳｃｉｅｎｃｅ，Ｐｕｂｌｉｓｈｅｒｓ，1991年，Ｖｏｌ．３，Ｎｏｓ．２−３，ｐ259−274 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】入力画像信号から動物体を抽出して、この
動きを解析することにより、前記入力画像信号と動き補
償が行われた再構成画像との差である残差信号と動きパ
ラメータを出力する動物体解析手段と、前記動物体解析手段からの前記残差信号を符号化して残
差符号化情報を形成する残差符号化手段と、前記動物体解析手段からの動きパラメータと、前記残差
符号化手段からの前記残差符号化情報とを用いて再構成
画像信号を再構成する再構成手段と、前記動物体解析手段からの前記動きパラメータと前記残
差符号化手段からの残差符号化情報とを可変長符号化す
る可変長符号化手段とを有する動画像符号化装置であっ
て、前記動物体解析手段は、前記入力画像信号の中における動領域全体の動きに関連
したグローバル動きパラメータを推定するグローバル動
き推定手段と、前記の入力画像信号または再構成画像信号の中での動領
域に多角形パッチを当てることで、前記動領域の部分の
動きに関連した多角形パッチ動きパラメータを推定する
ことにより、前記動領域内における細かい動きを推定す
る多角形パッチ動き推定手段と、前記グローバル動き推定手段により推定されたグローバ
ル動きパラメータと前記多角形パッチ動き推定手段によ
り推定された多角形パッチ動きパラメータにより前記再
構成画像信号の動き補償を行う動き補償手段とからなる
ことを特徴とする動画像符号化装置。
【請求項２】前記動物体解析手段は、前記入力画像信号から動領域を抽出する動領域抽出手段
を備えることを特徴とする請求項１記載の動画像符号化
装置。
【請求項３】前記再構成画像信号の動領域から特徴点を
抽出する特徴点抽出手段を備え、前記特徴点に多角形パ
ッチの頂点が来るように多角形パッチを当てることを特
徴とする請求項２記載の動画像符号化装置。
【請求項４】前記多角形パッチ動き推定手段は、前記特徴点抽出手段によって抽出された動領域の中の特
徴点の周囲に小さい多角形パッチを当てることにより、
多角形パッチパラメータを推定し、さらには、より大き
い多角形パッチを前記動領域に当てて、多角形パッチパ
ラメータを推定することを特徴とする請求項３記載の動
画像符号化装置。
【請求項５】前記動物体解析手段は、入力画像信号から時間的な差分をとり、差分の大きな領
域を画像の上下左右から探索し、その領域を動領域とす
ることを特徴とする請求項４記載の動画像符号化装置。
【請求項６】前記再構成画像信号から背景画像信号を構
成する背景画像信号構成手段を備え、前記動き補償手段は、前記背景画像信号構成手段によっ
て構成された背景画像信号により、前記動領域の後ろか
ら現れた背景の補償も行うことを特徴とする請求項１記
載の動画像符号化装置。
【請求項７】可変長符号化データを受信し、この符号化
データを復号化し、画像信号中における動領域全体の動
きに関連したグローバル動きパラメータ、前記画像信号
中における動領域の部分の動きに関連した多角形パッチ
動きパラメータ及び残差符号に分離する可変長復号化手
段と、この可変長復号化手段から出力された残差符号を復号し
て残差信号を出力する残差符号復号化手段と、フレームメモリに蓄積された前フレームの復号画像信号
と、前記可変長復号化手段から出力されたグローバル動
きパラメータとから動領域全体の動き補償を行い、グロ
ーバル動き補償画像信号を出力するグローバル動き補償
手段と、このグローバル動き補償手段から出力されたグローバル
動き補償画像と、前記可変長復号化手段から出力された
多角形パッチ動きパラメータとから動領域内部の局所的
な動き補償を行い、動き補償予測画像信号を出力する多
角形パッチ補償手段と、この多角形パッチ補償手段から出力された動き補償予測
画像信号と、前記残差符号復号化手段から出力された残
差符号を加算して、復号画像信号を構成し、この復号画
像をフレームメモリに送る加算手段とよりなることを特
徴とする動画像復号化装置。
【請求項８】入力画像信号から動物体を抽出して、この
動きを解析することにより、前記入力画像信号と動き補
償が行われた再構成画像との差である残差信号と動きパ
ラメータを出力する動物体解析ステップと、前記動物体解析ステップにおける前記残差信号を符号化
して残差符号化情報を形成する残差符号化ステップと、前記動物体解析ステップにおける動きパラメータと、前
記残差符号化ステップにおける前記残差符号化情報とを
用いて再構成画像信号を再構成する再構成ステップと、前記動物体解析ステップにおける前記動きパラメータと
前記残差符号化ステップにおける残差符号化情報とを可
変長符号化する可変長符号化ステップとを有する動画像
符号化装置であって、前記動物体解析ステップは、前記入力画像信号の中における動領域全体の動きに関連
したグローバル動きパラメータを推定するグローバル動
き推定ステップと、前記の入力画像信号または再構成画像信号の中での動領
域に多角形パッチを当てることで、前記動領域の部分の
動きに関連した多角形パッチ動きパラメータを推定する
ことにより、前記動領域内における細かい動きを推定す
る多角形パッチ動き推定ステップと、前記グローバル動き推定ステップにおいて推定されたグ
ローバル動きパラメータと前記多角形パッチ動き推定ス
テップにおいて推定された多角形パッチ動きパラメータ
により前記再構成画像信号の動き補償を行う動き補償ス
テップとからなることを特徴とする動画像符号化方法。
【請求項９】可変長符号化データを受信し、この符号化
データを復号化し、画像信号中における動領域全体の動
きに関連したグローバル動きパラメータ、前記画像信号
中における動領域の部分の動きに関連した多角形パッチ
動きパラメータ及び残差符号に分離する可変長復号化ス
テップと、この可変長復号化ステップにおいて出力された残差符号
を復号して残差信号を出力する残差符号復号化ステップ
と、フレームメモリに蓄積された前フレームの復号画像信号
と、前記可変長復号化ステップにおいて出力されたグロ
ーバル動きパラメータとから動領域全体の動き補償を行
い、グローバル動き補償画像信号を出力するグローバル
動き補償ステップと、このグローバル動き補償ステップにおいて出力されたグ
ローバル動き補償画像と、前記可変長復号化ステップに
おいて出力された多角形パッチ動きパラメータとから動
領域内部の局所的な動き補償を行い、動き補償予測画像
信号を出力する多角形パッチ補償ステップと、この多角形パッチ補償ステップにおいて出力された動き
補償予測画像信号と、前記残差符号復号化ステップにお
いて出力された残差符号を加算して、復号画像信号を構
成し、この復号画像をフレームメモリに送る加算ステッ
プとよりなることを特徴とする動画像復号化方法。