JP3235453B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を少ない符号
化量で伝送蓄積する画像符号化装置に関するものであ
る。

【０００２】

【従来の技術】カメラの左右に振ったりまたズームを行
なうことによる生じる画面全体の動きを補償することが
できれば、画像の符号化効率が改善されることが期待で
きる。従来のこのような画面全体の動き補償を用いた高
能率画像符号化方式として上倉一人、渡辺裕："動画像
符号化におけるグローバル動き補償法",電子情報信学論
B-1, Vol. J76-B-I, No. 12, pp. 944-952, 1993.があ
る。

【０００３】この方式では、カメラのパン・ズーム操作
によって生じる画像の全画面の動きを推定し補償する。
以後、画面全体の動き補償をグローバル動き補償と呼
ぶ。図５に、この従来の動き補償方式を実行する画像符
号化装置のブロック図を示す。図５において、５０１は
残差符号化部、５０２は残差復号化部、５０３はフレー
ムメモリ、５０４は動き予測部１、５０５は３パラメー
タ予測部、５０６はグローバル動き補償部、５０７は局
所動き補償部１、５０８は動き予測部２、５０９は動き
補償部２、５１０は比較器、５１１は差分器、５１２は
加算器、５１３は動き情報多重化部である。

【０００４】理解を容易にするために、５０１、５０
２、５１２、５０３、５０４、５０７、５１１の構成
は、ＭＰＥＧ１（「ア ビデオ コンプレッション ス
タンダードフォー マルチメディア アプリケーション
ズ」 Le Gall, D.: "MPEG:A Video Compression Standa
rd for Multimedia Applications", Trans. ACM, 199
1,Aprilに記載）に基づく画像符号化装置と同一のもの
とする。

【０００５】本発明の実施の形態として後に説明する画
像符号化装置と復号化装置もＭＰＥＧ１に基づく装置で
ある。したがって、残差符号化部５０１はＭＰＥＧ１準
拠のデジタルコサイン変換（ＤＣＴ）と量子化器および
ハフマン符号化器で構成される。また残差復号化部はＭ
ＰＥＧ１準拠の逆量子化部とデジタルコサイン逆変換器
から構成される。この従来例では、後述の実施の形態と
同様、ブロックマッチングにより動きベクトルを求め
る。これを図６に示す。図６は従来例と後述の実施の形
態に共通するブロックマッチングを説明する図である。

【０００６】図６において、領域Ｒは１６画素×１６画
素のブロック領域である。動き予測部１(504）では入力
画像に対して、１フレーム前を参照画像として、動き予
測部２(508）は、後述のグローバル動き補償された画像
を参照画像としてブロックマッチングを行なう。ブロッ
クマッチングは式１に示す誤差絶対値和の計算を行な
い、式２に示すように最少誤差絶対値となる偏位(p,q）
をそのブロックの実測された動きベクトルとする。式１
において、ｇt（ｘ，ｙ）はフレームｔ、画面位置
（ｘ，ｙ）における輝度値を表している。そして、式３
に示すように最も値の小さくなる偏位を探索して原推定
（p，q）を得る。この（p，q）は１／２画素精度で求ま
っている。

【０００７】

【数１】

【０００８】

【数２】

【０００９】ＭＰＥＧ１では１フレーム前の復号化結果
とと現在の入力フレームとの間で動きベクトルを求め、
１６×１６のブロック（以後マクロブロックとよぶ）の
平行移動による動き補償が行なわれる。これは局所動き
補償部1（507）で実行される。これに加えて従来例で
は、カメラの左右上下の動きとズームによるグルーバル
動き補償が実現されている。

【００１０】今、画面全体のズーム係数をZ,平行移動量
を水平にH0,垂直にV0,ズーム中心を(x0,y0）とすると、
入力画像における画面全体の任意位置(x,y）のグローバ
ル動き量は式３,式４で表せる。

【００１１】

【数３】

【００１２】

【数４】

【００１３】さらに、j行，i列のマクロブロック中心位
置を(xij, yij)とすると、式５，式６の定義からマクロ
ブロック中心の動きベクトル(uij, vij)は式７として表
現できる。

【００１４】

【数５】

【００１５】

【数６】

【００１６】

【数７】

【００１７】従来例では、動き予測部1（504）の出力か
ら２個以上のマクロブロックの動きベクトルを取りだ
し、式８を３パラメータ予測部(505)が実行する。

【００１８】式８は、各マクロブロックで観測された動
きベクトルと予測される動きベクトルの２乗誤差和が最
小となる計算式である。

【００１９】式８のＰは式９に示すように取り出したマ
クロブロックの位置から求まる実対称行列で、予め計算
しておくことができる。

【００２０】

【数８】

【００２１】

【数９】

【００２２】この計算されたグローバルパラメータ（Z,
H,V）を用いてグローバル動き補償部（506）が式３に示
す変形を行なう。この変形は、入力画像の各画素位置
(x,y)について、式３に従って動きベクトルを計算し、
フレームメモリ（503)から得られた動きベクトルにより
示される画素位置の画素値を求めることによって実行さ
れる。グローバル動き補償の動きベクトルは１／４画素
精度で求められ、近傍整数位置の４画素値の線形補間と
して求められる。さらにこの変形された画像上でマクロ
ブロック単位の動き予測を動き予測部2（508）が行な
う。比較器（510)は、マクロブロック単位で、ＭＰＥＧ
１と同様のマクロブロック動き補償画像と前フレームの
グローバル動き補償後のマクロブロック動き補償画像の
うち誤差の少ない予測方法を選択する。

【００２３】図５中、動きベクトル情報は、マクロブロ
ック単位での選択結果SW、動きベクトルmv1またはmv2、
そして、グローバルパラメータgが動き情報多重化部（5
13）で多重化されて送出される。この従来例では、ブロ
ックマッチング法によって算出されるブロック毎の動き
ベクトルを利用し、反復計算を行なうことなく簡単な積
和演算のみで全画面のパラメータを算出している。また
グローバル動き補償の動画像符号化への適用に際して、
ブロック単位の適応的なＯＮ／ＯＦＦ制御法を提案して
いる。

【００２４】

【発明が解決しようとする課題】

「課題１」前記した従来例では、カメラの水平垂直の首
振りおよびズームによって生じる動きを補償することが
できる。しかし、前記したグローバル動き補償の構成で
は、残差符号化を行なわないと予測画像の空間解像度が
フレーム毎に低下するという課題が存在する。

【００２５】グローバル動き補償で得られる画素単位の
動きベクトルは一般に整数値ではない。このために、近
傍画素値から内挿補間により画素値を算出する。これに
よって、残差符号化により画素値を更新しないかぎり、
予測画像の空間解像度がフレームが更新される度に低下
する。残差符号化を行なえば高い解像度を維持できる
が、そのための符号量が増える。グローバル動き補償に
より高能率に動画像を符号化するためには、解像度低下
の少ない動き補償方式が必要である。

【００２６】「課題２」予測画像符号化では、符号化
側、復号化側で予測画像が一致しなければならない。前
記した従来例では、グローバル動き補償の動きベクトル
は各画素位置について１／４画素精度で一致しなければ
ならないことになる。このために、式３のズームに関す
る項Ｚの符号化精度は、各画素位置について１／４画素
精度一致する程度必要になる。ところが、この精度は位
置に関する乗数であることから画像の大きさに依存す
る。これは符号化装置の将来の拡張を考えると好ましく
ない。またグローバル動き補償のためのアドレス計算も
画像が大きくなると高い演算精度が要求される。

【００２７】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、ｎ×ｎドットの画素ブロックを符号化対
象フレームとし、時間的に前後する復号化されたフレー
ムを短期参照フレームとして記憶する短期フレームメモ
リと、前記符号化対象フレームと前記短期参照フレーム
の間の、局所的な対応を局所動きベクトルとして検出す
る局所動きベクトル検出手段と、前記局所的動きベクト
ルを用いて前記短期フレームメモリから画像を読み出し
て予測画像を生成する短期動き補償手段と、符号化対象
フレームに対して前記短期参照フレームよりも更新され
る間隔が長い復号化されたフレームを長期参照フレーム
として記憶する長期フレームメモリと、前記符号化対象
フレームと１フレーム前の画像との間の絶対値誤差をｕ
(x 、 y），ｖ(x 、 y)（ｘ、ｙは画面上の任意の点；ｕ，ｖ
は画素位置（ｘ、ｙ）における動きベクトル）を変数と
する２次関数として表現し、ｕ，ｖとアフィン変換パラ
メータａとの関係式を作成し、前記２次関数を前記アフ
ィン変換パラメータａの偏微分が零ベクトルであるとし
て、前記絶対値誤差が最小となる値を得ることにより、
全画面の動きをアフィン変換パラメータａとして推定す
るアフィンパラメータフレーム間推定部と、前記アフィ
ンパラメータフレーム間推定部からの出力から前後する
フレーム間のアフィンパラメータを合成するアフィンパ
ラメータ更新手段と、前記アフィンパラメータ更新手段
のアフィンパラメータを用いて前記長期フレームメモリ
から画像を読み出して予測画像を生成する全画面動き補
償手段とを備えた画像符号化装置である。

【００２８】

【００２９】

【００３０】

【発明の実施の形態】本発明は、前記課題１を解決する
もので、画像のフレーム系列を入力とし、符号化対象フ
レームに対して時間的に前後する復号化されたフレーム
を短期参照フレームとして記憶する短期フレームメモリ
と、前記符号化対象フレームと前記短期参照フレームの
間の、局所的な対応を局所動きベクトルとして検出する
局所動きベクトル検出手段と、前記局所的動きベクトル
を用いて前記短期フレームメモリから画像を読み出して
予測画像を生成する短期動き補償手段と、符号化対象フ
レームに対して前記短期参照フレームよりも更新される
間隔が長い復号化されたフレームを長期参照フレームと
して記憶する長期フレームメモリと、前記符号化対象フ
レームと前記長期参照フレームの間の、全画面の対応を
画面上の任意の位置の動きベクトルをその位置を変数と
する多項式関数のパラメータとして検出する全画面動き
検出手段と、前記多項式関数のパラメータを用いて前記
長期フレームメモリから画像を読み出して予測画像を生
成する全画面動き補償手段とを備え、前記短期動き補償
手段と全画面動き補償手段とを適応的に選択して予測符
号化を行なう画像符号化装置である。

【００３１】

【００３２】

【００３３】本発明の画像符号化装置では、短期フレー
ムメモリは符号化対象フレームに対して時間的に前後す
る復号化されたフレームを短期参照フレームとして記憶
する。局所動きベクトルは検出手段とは、短期参照フレ
ームと符号化対象フレームの局所的な対応を局所動きベ
クトルとして検出する。そして、短期動き補償手段が、
局所的動きベクトルを用いて前記短期フレームメモリか
ら画像を読み出して予測画像を生成する。

【００３４】一方、長期フレームメモリは符号化対象フ
レームに対して短期フレームメモリよりも更新される間
隔が長い復号化されたフレームを長期参照フレームとし
て記憶する。全画面動き検出手段は、長期参照フレーム
と符号化対象フレームの全画面の対応を画面上の任意の
位置の動きベクトルをその位置を変数とする多項式関数
のパラメータとして検出する。

【００３５】全画面動き補償手段は多項式関数のパラメ
ータを用いて前記長期フレームメモリから画像を読み出
して予測画像を生成する。画像符号化装置は、この短期
メモリからの局所的な動き補償画像と、長期メモリから
の動き補償画像を適応的に選択して予測符号化を行な
う。全画面動き補償は、更新間隔の長いフレームデータ
を用いて行なわれることになる。

【００３６】

【００３７】

【００３８】

【００３９】

【００４０】

【００４１】

【００４２】

【００４３】

【００４４】

【００４５】

【００４６】

【００４７】

【００４８】

【００４９】（第１の実施の形態） 以下、本発明の実施の形態を図面を用いて説明する。本
発明の画像符号化装置の一実施の形態を図１を用いて、
本発明の画像復号化装置の一実施の形態を図２を用いて
説明する。

【００５０】図１は画像符号化装置の構成図で、図中10
1は残差符号化部、102は残差復号化部、103はフレーム
メモリ、104は動き予測部1、105はアフィンパラメータ
フレーム間推定部、106はアフィンパラメータ更新部、1
07はテンプレートメモリ、108はアフィン動き補償部、1
09は局所動き補償部１、110は動き予測部２、111は動き
補償部２、112は比較器、113は加算器、114は差分器、1
15は開閉器、116は動き情報多重化部である。

【００５１】図２は画像復号化装置の構成図で、図中20
1は残差復号化部、202はフレームメモリ、203は局所動
き補償部1、204はアフィン動き補償部、205は局所動き
補償部2、206は動き情報分離部、207は選択器、208はテ
ンプレートメモリ、209は開閉器、210は加算器である。

【００５２】本実施の形態は、その基本構成として従来
例と同くＭＰＥＧ１に基づく符号化装置と復号化装置を
とる。

【００５３】図１に示す画像符号化装置の構成中、残差
符号化部（101）、残差復号化部（102）加算器（11
3）、フレームメモリ（103）、動き予測部1（103）、局
所動き補償部1（109）、差分器(114）と図２に示す画像
復号化装置の構成中、残差復号化部（201）、加算器（2
10）、フレームメモリ（202）、局所動き補償部1（20
3）は従来例で引用したＭＰＥＧ１に基づく符号化装置
および復号化装置と同一の構成をとる。したがって、残
差符号化部(103）はＭＰＥＧ１準拠のデジタルコサイン
変換（ＤＣＴ）と量子化器およびハフマン符号化器で構
成される。また残差復号化部（102、201）はＭＰＥＧ１
準拠の逆量子化部とデジタルコサイン逆変換器から構成
される。

【００５４】符号化装置の入力画像と復号化装置の出力
画像は縦横240×352画素で構成される。また動きベクト
ル検出のための相関演算を行なうブロックは縦１６画
素、横１６画素で構成されている。

【００５５】以上のように構成された第１の実施の形態
についてＭＰＥＧ１および従来例との相違点を示すこと
により説明する。

【００５６】局所動き予測部1（104）は図６に示すよう
に入力画像のブロック情報Ｒを読みだすと同時に偏位
（ｕ，ｖ）を１画素毎に変化させながら、フレームメモ
リ（１０3)から前フレームのブロック情報Ｒ’を読みだ
し、式１に示す相関演算を行なう。これは従来例におけ
る局所動き予測部1（504）と同じ動作である。結果とし
て、式２に示すように、最も値の小さくなる偏位を探索
して原推定（p，q）を得る。この（p，q）は１／２画素
精度で求まっている。

【００５７】以上の演算は、各ブロックについて行わ
れ、結果は局所動き補償部(109）へ送られＭＰＥＧ１と
同様のマクロブロック動き補償が行なわれる。

【００５８】本実施の形態では、従来例とは異なり式１
０の６パラメータで表現されるアフィン変換によりグロ
ーバル動き補償を行なう。なお式１０において、a0〜a5
はアフィンパラメータ、x,y入力画像の画素位置、（u∧
(x,y,),v∧(x,y))は画素位置における動きベクトルであ
る。以下にこのアフィンパラメータを求める過程を説明
する。

【００５９】

【数１０】

【００６０】式１に示す相関演算により、各ブロックに
ついて最小偏位を求める過程で、式１１に示す最小偏位
近傍の絶対値誤差の並びＳが計算されている。（）^tは
行列の転置を表している。各ブロックの（p，q）とＳは
アフィンパラメータフレーム間推定部（105）へ送られ
る。

【００６１】

【数１１】

【００６２】アフィンパラメータフレーム間推定部（10
5）では式１２から式１７の演算を行ない相関パラメー
タを計算する。

【００６３】

【数１２】

【００６４】

【数１３】

【００６５】

【数１４】

【００６６】

【数１５】

【００６７】

【数１６】

【００６８】

【数１７】

【００６９】以上の相関パラメータの演算は、各ブロッ
クについて行なわれる。相関パラメータは次の意味を持
っている。式１２〜式１７の係数が求まっていることに
より、入力画像からみた１フレーム前の画像への各ブロ
ックの絶対値誤差を式１８に示す動きベクトル（ｕ，
ｖ）を変数とする２次関数として表現できる。

【００７０】式１８に示すEi,jはブロックの絶対値誤差
の位置（p，q）でのテーラー展開として表現されてい
る。この関数により、相関を評価する。

【００７１】

【数１８】

【００７２】ここで、アフィン動き補償部（108）では
式19，式20で表現されるアフィン変換により全画面の変
形を行なう。(u(x,y),v(x,y))は位置(x,y)における動き
ベクトルで、式20はアフィン変換パラメータの並びから
なるベクトルを表している。

【００７３】

【数１９】

【００７４】

【数２０】

【００７５】式１９，式２０に示すようにアフィンパラ
メータにより各ブロックの動きベクトルは記述されるか
ら、変分原理により各絶対値誤差関数の総和を最小とす
る必要条件として式２１に示すようにアフィン変換パラ
メータａの偏微分が零ベクトルとならなくてはならない
オイラー式が導き出せる。これは式２２の行列で表現で
きる。

【００７６】アフィンパラメータフレーム間推定部（10
5）はさらに式18から式23（6×6行列）と式24（6×1行
列）の行列を求め、最後に式25によりアフィン変換パラ
メータを求める。

【００７７】なお、式23，式24において、(xj,yi)はブ
ロックi,jの中心位置である。

【００７８】

【数２１】

【００７９】

【数２２】

【００８０】

【数２３】

【００８１】

【数２４】

【００８２】

【数２５】

【００８３】一方、開閉器（115）はN（N≧１）フレー
ム単位に閉じてフレームメモリ（103）の内容をテンプ
レートメモリ（107）へコピーする。

【００８４】この実施の形態では、N＝10とする。すな
わちフレームメモリ（103）が１フレーム毎に更新され
るのに対して、テンプレートメモリ（107)は１０フレー
ム毎に更新される。前述のアフィンパラメータフレーム
間推定部（105)の動作は入力画像からみた１フレーム前
の復号画像の対応位置をアフィンパラメータとして求め
るものであった。アフィン動き補償部（108)は入力画像
からみてテンプレートメモリ（107)に記憶されている１
フレーム前からから９フレーム前の範囲の復号画像を変
形するものであるから、アフィンパラメータフレーム間
推定部（105)の出力をそのまま用いることはできない。
そこでアフィン変換が式１０に示すように入力画像の画
素位置について線形式であることを利用して前後するフ
レーム間のアフィンパラメータを合成することにより求
める。これはアフィンパラメータ更新部（106）で実現
される。

【００８５】アフィンパラメータ更新部（106)は、１フ
レーム前の入力画像からみたテンプレートメモリ（107)
内の画像へのアフィン変換パラメータをa〜0〜a〜5とし
て記憶している。このパラメータは開閉器（115)と連動
して、新しくテンプレートメモリ(107)へ画像が記憶さ
れる毎に全て0にリセットされる。a〜0〜a〜5とアフィ
ンパラメータフレーム間推定部（105)より得られたa0〜
a5を用いて、式２６〜式３１により入力画像からみたテ
ンプレートメモリ（107)に記憶されている復号画像への
アフィン変換パラメータa'0〜a'5を求める。得られたa'
0〜a'5をa〜0〜a〜5にフレーム毎に代入して繰返し更新
を行なう。

【００８６】

【数２６】

【００８７】

【数２７】

【００８８】

【数２８】

【００８９】

【数２９】

【００９０】

【数３０】

【００９１】

【数３１】

【００９２】アフィン動き補償部（108）ではa'0〜a'5
を用いて式10に示す動きベクトルを入力画像の全ての画
素位置について計算し、テンプレートメモリ(107）中の
画像上で得られた動きベクトル移動した画素位置の画素
値を求めることにより実行される。グローバル動き補償
の動きベクトルは1/4画素精度で求められ、近傍整数位
置の４画素値の線形補間として求められる。さらにこの
変形された画像上でマクロブロック単位の動き予測を動
き予測部2（110）が行なう。局所動き補償部（111）、
比較器（112）、差分器（114）、残差符号化部（10
1）、残差復号化部（102）、加算器（113）の動作は従
来例と同じである。

【００９３】動きベクトル情報は、マクロブロック単位
での選択結果SW、動きベクトルmv1あるいはmv2、そして
アフィンパラメータaが動き情報多重化部（116）で多重
化されて送出される。

【００９４】次に図２を用いて図１の符号化装置に対応
する復号化装置の動作を説明する。動き情報分離部（20
6）は、動き情報多重化部（116）の出力を入力として、
マクロブロック単位での選択結果SW、動きベクトルmv1
あるいはmv2、そしてアフィンパラメータaが分離復号さ
れる。

【００９５】SWにより、所動き補償部1（203）の動作も
しくはアフィン動き補償部(204）と局所動き補償部（20
5）の組合せ動作が選択される。選択器(207）はSWを基
にいずれかの出力を選択する。

【００９６】画像復号化装置の他の構成では残差復号化
部（201）、フレームメモリ(202）、局所動き補償部1
（203）、アフィン動き補償部(204）局所動き補償部2
（205）テンプレートメモリ（208）、開閉器（209）、
加算器（210）の動作は既に説明した図１の同名ブロッ
クと同じである。開閉器（209）は、符号化装置側の開
閉器（115）と同期して１０フレーム毎にテンプレート
メモリ（208）の内容を更新する。

【００９７】以上に説明した本実施の形態では、従来例
と比較して以下の特長を持つ。 （1）従来例では、動き予測部1（504）の出力は動きベ
クトルだけであり、全画面の動きを記述するパラメータ
はこの動きベクトルを基にして計算されている。しか
し、局所的な相関演算では、輝度変化のない領域では局
所動きベクトルは不定となる。また輝度変化があっても
単調な輪郭周辺では動きベクトルは輪郭接線方向に自由
度を持ち、局所動きベクトルは同様に不定となる。した
がって、従来例に示した２段階のパラメータ推定法では
大きな推定誤差が危惧される。一方本実施の形態に示し
た手法では自由度を２次関数で定量的に表現し、２次関
数の総和の最小化を計ることにより、本来ならば不定と
なる局所動きベクトルの影響を押えて、より安定にパラ
メータ推定できることが期待される。

【００９８】（2）グローバル動き補償が１０フレーム
間隔で更新されるテンプレートを基に実行されるため
に、残差符号化を行なわない予測画像の空間解像度が徐
々に低下するという問題が従来例と比較して軽減され
る。

【００９９】なお、時間軸上、入力画像と最大９フレー
ム離れた画像とのアフィンパラメータを直接にブロック
相関で求めることは、各画素における動きベクトルが大
きくなる可能性があることから、難しい。そこで、本実
施の形態では、前後するフレーム間でアフィンパラメー
タを求めておき、これを合成して長いフレーム間隔のア
フィンパラメータを求めている。

【０１００】（実施の形態２） 次に、画像符号化装置の一実施の形態を図３、図４を用
いて説明する。

【０１０１】図３は、画像符号化装置の構成図で、図中
301は残差符号化部、302は残差復号化部、303はフレー
ムメモリ、304は動き予測部1、305は代表点動きベクト
ルフレーム間推定部、306は代表点動きベクトル更新
部、307はテンプレートメモリ、308は代表ベクトル内挿
動き補償部、309は局所動き補償部１、310は開閉器、31
1は動き情報多重化部、312は比較器、313は加算器、314
は差分器である。

【０１０２】図４は画像復号化装置の構成図で、図中40
1は残差復号化部、402はフレームメモリ、403は局所動
き補償部1、404は代表ベクトル内挿動き補償部、405は
テンプレートメモリ、406は動き情報分離部、407は選択
器、408は開閉器、409は加算器である。

【０１０３】なお、動き情報多重化部(311）を除き、同
名であれば図３の構成要素の動作は図１中の構成要素と
同じである。同様に動き情報分離部(406）を除き、図４
の構成要素の動作は図２中の構成要素と同じである。

【０１０４】第２の実施の形態と第１の実施の形態の差
異は、 (1)グローバル動き補償後の局所動き補償を行なわな
い。 (2)アフィンパラメータの更新、伝送を3代表点の動きベ
クトルで行なう。 (3)グローバル動き補償は3代表点の動きベクトルの内挿
で行なう。 という３点である。以下にこの差異を述べる。

【０１０５】まず、前記図３と図４の構成中、符号化装
置では、動き情報多重化部（311）が動きベクトルmv，
４倍され整数値に量子化された代表点動きベクトルの差
分表現(s0,t0),(s1,t1),(s2,t2),マクロブロック単位で
の選択結果SWを多重化し，これに対応して図４の復号化
装置では動き情報分離部（406）がmv,(s0,t0),(s1,t1),
(s2,t2),SWの3情報を分離復号する動作が異なる。

【０１０６】アフィンパラメータの推定は、以下の方法
で求める。式32に示すようにアフィンパラメータaは同
一直線上にない3点o,h,vの動きが定まれば求めることが
できる。Poは式33に示すoの位置に関する行列、Voは式3
4に示すoの位置の動きベクトルである。h,vについても
同様である。

【０１０７】

【数３２】

【０１０８】

【数３３】

【０１０９】

【数３４】

【０１１０】本実施の形態ではo,h,vの位置を入力画像
上の(0,0),(H,0),(0,V)の位置に定めた。

【０１１１】H，Vは画像の大きさでH=352,V=240であ
る。次に、画面上の図７に示すように新たにTL,TR,C,B
L,BRの５点を観測位置として選び、代表点動きベクトル
フレーム間推定部（305)では、動きベクトル予測部1（3
04）の出力の中で上記５つのブロック相関の結果を用い
てアフィンパラメータを計算する。この手順を図８に示
す。５点の名から３点の組合せを順に選び式25によりア
フィンパラメータａを求める。そして、得られたアフィ
ンパラメータによりo,h,vの位置の動きベクトルを１／
４画素精度で求め、記憶する。

【０１１２】全ての組合せについて、動きベクトルをo,
h,vの位置について求め、中間値を結果とする。これをV
o,Vh,Vvとすると、これが１フレーム間のアフィンパラ
メータの別表現である。第１の実施の形態では、アフィ
ンパラメータを合成することにより、入力画像とテンプ
レートとのアフィンパラメータを求めた。

【０１１３】本実施の形態では、代表点動きベクトル更
新部(306）が、１フレーム前の入力画像からみたテンプ
レートメモリ(307）内の画像への対応を代表点動きベク
トルV〜o,V〜h,V〜vとして記憶している。

【０１１４】この代表点動きベクトルは開閉器(310）と
連動して、新しくテンプレートメモリ(307)へ画像が記
憶される毎に全て０ベクトルにリセットされる。V〜o,V
〜h,V〜vと代表点動きベクトルフレーム間推定部(305）
より得られたVo,Vh,Vvを用いて、式35〜式37により入力
画像からみたテンプレートメモリ（307)に記憶されてい
る復号画像へのアフィン変換パラメータV'o,V'h,V'vを
求める。得られたV'o,V'h,V'vをV〜o,V〜h,V〜vにフレ
ーム毎に代入して繰返し更新を行なう。

【０１１５】そして，V'o,V'h,V'vを４倍にして整数化
した値の並び(U4o,V4o),(U4h,V4h),(U4v,V4v)を以下の
差分形式(s0,s1,s2,t0,t1,t2)に変換して伝送する。

【０１１６】

【数３５】

【０１１７】

【数３６】

【０１１８】

【数３７】

【０１１９】ここで，差分形式は各々以下に示す通りと
なる。 s0=U4o s1=U4h-U4o s2=U4v-U4o t0=V4o t1=V4h-V4o t2=V4v-V4o この差分データは表1に示す可変長符号に変換されて符
号化される。

【０１２０】これには国際標準化機構（ISO）における
静止画符号化標準JPEG「ジェイペグテクニカルスペシフ
ィケーション」（ISO/IEC JTC1/SC29/WG10: JPEG Techn
icalSpeicification, JPEG8-R8,1998年8月）で採用され
ている符号化方法を用いる。この符号化方法では差分デ
ータに対するカテゴリSSSSとハフマン符号を求める。こ
こでSSSSは差分データをグループ分けするための変数で
あり、差分が正の場合には差分を2進表現した場合に上
位ビットからからみて最初に”1”が立つ最下位ビット
の番号であり、差分が負の場合は差分値−１を２進表現
した場合に上位ビットからみて最初に”０”が立つ最下
位ビットの番号である。

【０１２１】カテゴリに対応する（表１）のハフマン符
号を伝送することにより、差分値のカテゴリが分かる
が、これだけでは差分データを特定することができない
ために、ハフマン符号の後に付加ビットを加える。SSSS
はこの付加ビットのビット長に対応しており差分が正の
場合には差分の最下位ビットからSSSSビットを、差分が
負の場合には差分値−１の最下位ビットからSSSSビット
が付加ビットとなる。

【０１２２】このようにして、(s0,s1,s2,t0,t1,t2）の
各々に対して、カテゴリSSSSのハフマン符号と付加ビッ
トが可変長符号として伝送される。この符号化は動き情
報多重化部（311）で行なうものとする。

【０１２３】

【表１】

【０１２４】動き情報分離部(406）では、ビットストリ
ームの中からSSSSに対応するハフマン符号を見つけてカ
テゴリSSSSを復号する。引き続いてSSSSビット分の付加
ビットを読み込み、付加ビットの先頭ビットが1の場合
には差分が正、0の場合には差分が負であると判断す
る。

【０１２５】負である場合、付加ビットを2進表現とし
これに1を加えた後、SSSS＋１ビット目から上に１を詰
めて負数に変換する。

【０１２６】第１の実施例では、アフィンパラメータａ
を伝送して式10により入力画面上の各画素位置の動きベ
クトルを計算していた。本実施例では、等価的に(U4o,V
4o),(U4h,V4h),(U4v,V4v)を内挿補間することにより計
算する。

【０１２７】式32に従えば、３点o,h,vの動きベクトル
より、アフィンパラメータoは式38と式39より求まる。

【０１２８】

【数３８】

【０１２９】

【数３９】

【０１３０】展開すれば、動きベクトルは式40，41とし
て得られることになる。これは、３点o,h,vの動きベク
トルを位置に応じて中割して求めていることになる。

【０１３１】

【数４０】

【０１３２】

【数４１】

【０１３３】各画素位置について、1／4精度を保証し、
かつ符号化側と復号化側でグローバル動き補償はによる
予測画像を同一とするために、式42と式43に示す式を整
数演算として行なうことが考えられる。

【０１３４】

【数４２】

【０１３５】

【数４３】

【０１３６】式42と式43において,（X,Y）は入力画面上
の画素位置、V4(X,Y)，V4(X,Y)はその位置における４倍
された整数動きベクトル、(U4o,V4o)は４倍された位置o
における整数動きベクトル、(U4h,V4h),(U4v,V4v)はそ
れぞれ画面右上端、左下端の動きベクトルである。

【０１３７】この計算の実際は、本実施例では、(U4o,V
4o),(U4h,V4h),(U4v,V4v）は、差分形式（s0,s1,s2,t0,
t1,t2）で伝送されることを利用する。

【０１３８】すなわりち代表ベクトル内挿動き補償部
（308）では、式42と式43は式44,式45として実現され
る。

【０１３９】

【数４４】

【０１４０】

【数４５】

【０１４１】またこの時、s1,s2,t1,t2の全てが零であ
ることが分かった場合は、式44，式45の計算を簡略化す
る。すなわちs0，t0で定まる並行移動のみとしてs1,s2,
t1,t2に関するグローバル動き補償のための計算を省略
して行なう。

【０１４２】本実施の形態の特長は以下にまとめられ
る。 (1)第１の実施の形態と比較して第２の実施の形態で
は、グローバル動き補償後の動き予測を省略しているた
め、画像符号化装置では比較的に処理の重いブロックマ
ッチング処理が従来の技術に記したＭＰＥＧ１と同じ規
模に収まっている。

【０１４３】(2)全画面動きが５つのブロック相関によ
り求めているために処理負荷が軽い。また、５つのブロ
ック相関の中から３つのブロック相関を選び、これから
代表点o,h,vの動きベクトルを計算しその成分の中間値
を選ぶことにより、画面全体とは異なる動きがあっても
その影響を受け難い構成になっている。

【０１４４】(3)代表点o,h,vを直交する位置に選び、こ
の点の動きベクトル伝送することにより、動き補償の際
の座標計算が簡略化されている。これにより高い演算精
度を補償することができる。

【０１４５】(4)代表点を差分形式で可変長符号化する
ことにより、アフィン変換が単純な並行移動の場合は(s
0,t0)により並行移動が表され、他のs1,s2,t1,t2は全て
零になる。従って、並行移動が水平に1画素であるとす
ると、合計１５ビットでアフィン変換パラメータが伝送
できることになる。

【０１４６】（表１）では１／４画素精度の動きを−５
１１．７５〜＋５１２画素の範囲で表現することができ
るが、これを固定長符号化で行なうとすると１２ビット
×６＝７２ビット必要になる。これと比べると通常の動
きベクトルの範囲では発生ビット量を抑えることができ
る。また画像の変形が並行移動だけで行なえるのか、一
般的なアフィン変換を行う必要があるのかの判定が差分
表現から簡単に判定することができる。これにより、グ
ローバル動き補償のためのアドレス計算は、簡略化して
行なうことができる利点が生じてくる。

【０１４７】なお、本実施例で述べたグローバル動きデ
ータの伝送方法は、グローバル動き補償がアフィン変換
の場合を述べたが、双一次補間による変換あるいは透視
変換下での平面の動きモデルに拡張することができる。
いずれの場合も８パラメータの変換であり、新たに画面
右下端点の座標位置（H,V）における１／４画素精度動
きベクトル(U4hv,V4hv）を伝送することより実現でき
る。双一次補間による場合、式46，式47に示すように８
つのパラメータで画面全体の動きが記述される。

【０１４８】

【数４６】

【０１４９】

【数４７】

【０１５０】ここで、 s0=U4o s1=U4h-U4o s2=U4v-U4o s3=U4o-U4h-U4v+U4hv t0=V4o t1=V4h-V4o t2=V4v-V4o t3=V4o-V4h-V4v+V4hv とすると、双一次補間による場合、動きベクトルは

【０１５１】

【数４８】

【０１５２】

【数４９】

【０１５３】で表現することができる。ここで(s3,t3)
＝(0,0)であれば、アフィン変換と同じ処理、(s0,t0)以
外が全て零であれば、並行移動と同じ処理となる。透視
変換における平面の動きモデルの場合は、やや複雑な計
算となるが、いずれの場合も(s3,t3)＝(0,0)であるかど
うか、(s0,t0)以外が零であるかどうかアフィン変換、
並行移動との自動切替が行なえるため、上記した差分形
式での画像端点の動きベクトル伝送の利点は大きい。

【０１５４】

【発明の効果】以上のように、本発明によれば、グロー
バル動き補償によって生じる予測画像の解像度低下を従
来技術に比して低減することができる。これにより、カ
メラの首振りおよびズームによって生じる動きを補償す
ることから、より少ない情報伝送量で画像を伝送するこ
とが可能となる。

【０１５５】また、動きベクトルを内挿補間しグローバ
ル動き補償を行なうことから、アドレス計算の複雑さが
減り演算精度を高く保つことができる。したがって、符
号化側と復号化側の予測画像の一致を容易にとることが
でき、結果としてグローバル動き補償による効率の良い
予測画像符号化を行うことができる。

【０１５６】

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における画像符号化
装置の構成図

【図２】同第１の実施の形態における画像復号化装置の
構成図

【図３】本発明の第２の実施の形態における画像符号化
装置の構成図

【図４】同第２の実施の形態における画像復号化装置の
構成図

【図５】従来の画像符号化装置の構成図

【図６】ブロック相関法の原理図

【図７】第２の実施の形態における代表点と観測点を示
す線図

【図８】第２の実施の形態における代表点動きベクトル
フレーム間推定部の動作図

【符号の説明】

１０１，３０１ 残差符号化部 １０２，２０１，３０２，４０１ 残差復号化部 １０３，２０２，３０３，４０２ フレームメモリ １０４，１１０，３０４ 局所動き予測部 １０５ アフィンパラメータフレーム間推定部 １０６ アフィンパラメータ更新部 １０７，２０８，３０７，４０５ テンプレートメモリ １０８，２０４ アフィン動き補償部 １０９，１１０，２０３，２０５，３０９，４０３ 局
所動き補償部 １１２，３１２ 比較器 １１３，２１０，３１３，４０９ 加算器 １１４，３１４ 差分器 １１６，３１１ 動き情報多重部 １１５，２０９，３１０，４０８ 開閉器 ２０６，４０６ 動き情報分離部 ２０７，４０７ 選択器 ３０５ 代表点動きベクトルフレーム間推定部 ３０６ 代表点動きベクトル更新部 ３０８，４０４ 代表ベクトル内挿動き補償部 SW マクロブロック単位での予測選択結果SW mv1,mv2 マクロブロック動きベクトル g グローバル動き補償パラメータ a アフィン動き補償パラメータ U4,V4 ４倍され整数値に量子化された代表点動きベク
トル

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 ｎ×ｎドットの画素ブロックを符号化対
   象フレームとし、時間的に前後する復号化されたフレー
   ムを短期参照フレームとして記憶する短期フレームメモ
   リと、 前記符号化対象フレームと前記短期参照フレームの間
   の、局所的な対応を局所動きベクトルとして検出する局
   所動きベクトル検出手段と、 前記した局所的動きベクトルを用いて前記短期フレーム
   メモリから画像を読み出して予測画像を生成する短期動
   き補償手段と、 符号化対象フレームに対して前記短期参照フレームより
   も更新される間隔が長い復号化されたフレームを長期参
   照フレームとして記憶する長期フレームメモリと、 前記符号化対象フレームと１フレーム前の画像との間の
   絶対値誤差をｕ(x 、 y），ｖ(x 、 y)（ｘ、ｙは画面上の任
   意の点；ｕ，ｖは画素位置（ｘ、ｙ）における動きベク
   トル）を変数とする２次関数として表現し、ｕ，ｖとア
   フィン変換パラメータａとの関係式を作成し、前記２次
   関数を前記アフィン変換パラメータａの偏微分が零ベク
   トルであるとして、前記絶対値誤差が最小となる値を得
   ることにより、全画面の動きをアフィン変換パラメータ
   ａとして推定するアフィンパラメータフレーム間推定部
   と、 前記アフィンパラメータフレーム間推定部からの出力か
   ら前後するフレーム間のアフィンパラメータを合成する
   アフィンパラメータ更新手段と、 前記アフィンパラメータ更新手段のアフィン パラメータ
   を用いて前記長期フレームメモリから画像を読み出して
   予測画像を生成する全画面動き補償手段とを備えた画像
   符号化装置。