JPH0884337A

JPH0884337A - データ処理装置及びその方法

Info

Publication number: JPH0884337A
Application number: JP21006194A
Authority: JP
Inventors: Hideaki Ueda; 秀明植田; Hirohisa Yamaguchi; 博久山口
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1994-09-02
Filing date: 1994-09-02
Publication date: 1996-03-26
Anticipated expiration: 2020-06-02
Also published as: US5815602A; JP3655651B2

Abstract

(57)【要約】【目的】本発明の目的は、動画像の動き推定を高速、
かつ高精度に行うことができるデータ処理装置を提供す
ることである。【構成】本発明によるデータ処理装置は、アダマール
変換部１１０、第１段階処理部１２０、第２段階処理部
１３０、及び動き補償回路１４０を備えている。アダマ
ール変換部１１０は、現フレームの画像データ１２と、
参照されるフレームの画像データ３４とを受け取り、そ
れらの画像データをアダマール変換する。第１段階処理
部１２０は、ターゲットブロックについて、アダマール
変換されたデータのうち選択された複数の低周波係数を
用いて、参照フレームのアダマール係数とブロックマッ
チングを行う。第２段階処理部１３０は、第１段階処理
部１２０で求められたブロックマッチング位置を参照
し、参照フレームの画像データ内にサーチ範囲を定め、
このサーチ範囲内でターゲットブロックの動きベクトル
を求める。動き補償回路１４０は、動きベクトルに基づ
き動き補償された画像データを出力する

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル画像データの
高能率符号化（データ圧縮）に関し、特に、動画像にお
ける動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）
に関する。

【０００２】

【従来の技術】近年、半導体集積技術の進展に伴い、デ
ジタル画像データ等の高能率符号化（データ圧縮）技術
が急速に進められている。こうした技術は、画像信号や
音声信号などの種々のデータを統合的に扱うマルチメデ
ィアシステムや、デジタルＨＤＴＶ等におけるデータの
伝送及び蓄積に不可欠なものである。

【０００３】連続したフレーム／フィールドにおける画
像データ（動画像）は、空間方向と時間方向の３次元デ
ータからなるものである。こうした画像データの空間方
向の冗長性は、２次元ＤＣＴ（離散コサイン変換）など
を用いて効果的に削減することが可能であり、他方、時
間方向の冗長性は、フレーム／フィールド間の符号化、
例えば、動き補償（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔ
ｉｏｎ）によるフレーム／フィールド間の予測符号化に
より削減可能である。

【０００４】動き補償によるフレーム／フィールド間の
予測符号化は、単にフレーム／フィールド間の差分を符
号化するのではなく、物体の動き情報、すなわちフレー
ム間の物体の空間的な変位である動きベクトルを検出
し、その動きベクトルに基づいて得られた予測値との差
分を符号化し、データ圧縮をより効果的にするものであ
る。

【０００５】動き推定を行うためには２つのアプローチ
がある。ペル・リカーシブアルゴリズム（ｐｅｌ−ｒｅ
ｃｕｒｓｉｖｅａｌｇｏｒｉｔｈｍ）と、ブロックマ
ッチングアルゴリズム（ＢＭＡ）である。一般に、後者
は、前者よりもより精度がよく、ＭＰＥＧ標準に採用さ
れている。ブロックマッチングによる動き推定アルゴリ
ズムについての簡単な方法は、フルサーチと呼ばれるも
のである。フルサーチは、サーチ範囲内のすべての位置
をサーチし、画素間の絶対差分の合計の最小値によって
動きベクトルを提供するものである。フルサーチの結果
は、フレーム間差分において最も正確なベクトルを与え
るものである。しかし、フルサーチの実行は、非常に高
価であるとともに時間を要し、リアルタイムハードウェ
アにとって必ずしも実用的であるとはいえない。

【０００６】このような理由により、種々の高速動き推
定アルゴリズムの研究が成されてき。これらのアルゴリ
ズムは、演算の複雑さ（演算量）を減少させる方法によ
って、２つのグループに分類される。１つは、ステップ
毎のアプローチでサーチ位置数を減少させる方法であ
る。もう１つは、絶対画素差分の合計を求める代わり
に、別な基準、すなわちひずみ（Ｄｉｓｔｏｒｔｉｏ
ｎ）測定を用いて各ブロックの比較演算を減少させる方
法である。

【０００７】前者のグループは、３段階の階層サーチ
（３ＳＨＳ）、２次元ロガリズムサーチ（Ｌｏｇａｒｉ
ｔｈｍｉｃＳｅａｒｃｈ）、及び並列階層一次元サー
チを含む。また、後者のグループは、積分投影法（Ｉｎ
ｔｅｇｒａｌＰｒｏｊｅｃｔｉｏｎ）を用いた特徴に
基づくブロックマッチングアルゴリズムを含む。画素の
サブサンプリングは、ブロック内の画素の断片を使用す
るものであり、これもまた各ブロックの比較の演算を減
少させるものである。さらに、両グループの技術の組み
合わせにより、改良された結果を得ることもできる。例
えば、３段階階層サーチ（３ＳＨＳ）に組み合わされた
積分投影法を用いたアルゴリズムである。

【０００８】

【発明が解決しようとする課題】一般に、前者のグルー
プの方法は、サーチされる位置が、最も一致する位置か
ら遠ざかるにつれて、ひずみが単調に増加することを前
提とする。しかしながら、このことは、必ずしも正しく
はなく、動きベクトルが、最小値ではなく、極小値でト
ラップされてしまうことがある。さらに、アルゴリズム
の不規則なデータフロー及び複雑な制御が、ハードウェ
アの実用化にとって欠点となる場合もある。

【０００９】他方、後者のグループの方法は、比較的実
現することが容易であり、また、積分投影法よりも適切
な変換を用いることによる、改良の余地がまだまだ残さ
れているように思われる。過去において、ブロックマッ
チングの動き推定アルゴリズムのための適切な変換は、
未だ研究されていない。このアプローチにより演算の複
雑さを低減させるためには、少ない数の変換係数によっ
てブロックの主な特徴を表す必要があり、なお且つ係数
は、簡単に計算されるものでなければならない。もし、
非常に少ない計算で、すべての位置をサーチすることが
できるのならば、このアルゴリズムは、フルサーチと比
べて非常に高速なものとすることが可能であり、しか
も、フルサーチに匹敵するサーチ精度を達成することも
可能である。

【００１０】本発明の目的は、動画像の動き推定を高
速、かつ高精度に行うことができるデータ処理装置及び
その方法を提供することである。本発明の他の目的は、
直交変換、例えばアダマール変換に基づく動き推定によ
り高速ブロックマッチング可能なデータ処理装置及びそ
の方法を提供することである。

【００１１】本発明の他の目的は、ディジタル画像デー
タ処理においてシストリックアレイアーキテクチャに適
合するデータ処理装置及びその方法を提供することであ
る。本発明の他の目的は、低コスト、高品質のビデオエ
ンコーダとして利用できるデータ処理装置及びその方法
を提供することである。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係るデータ処理装置は、第１、第２のフレ
ーム（またはフィールド）をそれぞれ構成する第１、第
２の画像データを直交変換、例えばアダマール変換し、
変換された各第１、第２の変換データを出力する変換手
段と、前記変換手段に接続され、前記第１の画像データ
に対応する前記第１の変換データと、前記第２の変換デ
ータとを比較し、前記第１の画像データの動きを推定す
る推定手段と、前記推定手段から第２の画像データの予
測値を求め、予測値と第１の画像データの差分を符号化
する手段とを有する。

【００１３】好ましくは、推定手段は、第１の変換デー
タの選択された幾つかの係数（例えば低周波）のみを用
いて第２の変換データとブロックマッチングされる。つ
まり、アダマール変換を行うことにより、エネルギーの
多くが低周波成分に集中され、少ない係数でブロックの
主な特徴を表すことができ、マッチング処理に要される
時間を削減することが可能となる。

【００１４】また、好ましくは、推定手段は、アダマー
ル係数を用いた動き推定からサーチ領域を第２の画像デ
ータ内に定め、このサーチ範囲において第１画像データ
の動きベクトルを検出する。

【００１５】また、本発明に係るデータ処理方法は、第
１、第２のフレームまたはフィールドをそれぞれ構成す
る第１、第２の画像データをそれぞれアダマール変換す
るステップと、前記第１の画像データに対応する第１の
変換データと、前記第２の画像データに対応する第２の
変換データとのマッチングを行い、最適なマッチング位
置を示す動き推定情報を算出するステップと、前記動き
推定情報に基づき動き補償された第２の画像データを出
力するステップと、第１の画像データと前記動き補償さ
れた第２の画像データとの差分を符号化するステップを
含むものである。

【００１６】好ましくは、動き推定情報を提供するため
に、第１、第２の変換データのマッチング後に、さら
に、該マッチングの結果から第２の画像データのサーチ
領域を特定し、第１の画像データをサーチ領域内でサー
チするステップを含む。

【００１７】

【作用】本発明は、上述したように、高速ブロックマッ
チングの実行について、アダマール（Ｈａｄａｍａｒ
ｄ）変換に基づく動き予測を提案する。アダマール変換
は、離散コサイン変換（ＤＣＴ）に類似した直交変換で
あり、ＤＣＴは、画像信号の圧縮について非常に優れた
変換を行うものの１つであると考えられている。アダマ
ール変換は、係数を加算と減算だけで計算することがで
きるので、ＤＣＴと比べて非常に少ない演算でよい。本
発明のアルゴリズムは、以下の説明で示すように、サー
チ精度をほとんど劣化させることなく、フルサーチと比
較して１／５ないし１／１０以下に演算量を低減させる
ことができる。他の技術、つまり適応型インデッキシン
グ（ＡｄａｐｔｉｖｅＩｎｄｅｘｉｎｇ）と結合させ
て、演算量を数１０分の１程度にを減少させることがで
きる。本発明のアルゴリズムの規則的なデータフロー及
び簡単な制御は、特にシストリックアレイプロセッサの
ようなハードウェアへの実用化において、優れた効果を
発揮することができる。

【００１８】

【実施例】以下、本発明の好適な実施例について説明す
る。図１は、一般的な画像データ符号化回路の構成を示
すブロック図である。現フレームを構成するディジタル
画像データ１２は、動き補償を施された参照フレームの
ディジタル画像データ１４と減算器１６により差分をと
られ、離散コサイン変換部（ＤＣＴ）１８へ供給され
る。ＤＣＴによる変換を施されたデータは、量子化部２
０により、量子化され、そして、可変長符号化部２２に
より符号化され、伝送される。

【００１９】また、量子化されたデータは、逆量子化部
２４へ供給され、逆量子化された後、ＩＤＣＴ２６によ
り逆ＤＣＴ変換され、加算器２８により画像データ１４
と加算される。加算器２８からの画像データは、フレー
ムメモリ３０に供給され、１フレーム前（場合によって
は、前のフィールドや、後のフレームまたはフィールド
を参照することがある）の画像データとして出力される
ようメモリ内に蓄積される。動き補償部３２は、現フレ
ームの画像データ１２と、フレームメモリ３０からの前
フレームの画像データ３４を受け取り、現フレーム内の
１６＊１６画素のブロックについて動きベクトルを求
め、その動きベクトルによって動き補償された画像デー
タ１４（予測値）を減算器１６へ供給する。

【００２０】本実施例による動き推定アルゴリズムは、
アダマール変換を利用するものであり、これについて説
明する。図２は、本実施例に係る動き補償部の内部構成
を示すブロック図である。

【００２１】動き補償部３２は、画像データについてア
ダマール変換を行うアダマール変換部１１０と、アダマ
ール変換部１１０に接続された第１段階処理部１２０
と、現フレーム及び前フレームの画像データを受け取
り、かつ第１段階処理部１２０に接続された第２段階処
理部１３０と、第２段階処理部１３０に接続された動き
補償回路１４０とを有する。

【００２２】アダマール変換部１１０は、現フレーム
（４８０＊７０４画素）の画像データ１２と、フレーム
メモリ３０からの前フレーム（４８０＊７０４画素）の
画像データ３４を受け取り、直交変換の一種であるアダ
マール変換を行う。アダマール行列は、変換行列の要素
が＋１または−１のため、変換を加減算だけで行うこと
ができるという特徴を持つ（詳細は後述）。

【００２３】第１段階処理部１２０は、アダマール変換
部１１０によって変換された係数データ１１２、１１４
を受け取り、ブロックマッチングを行う。本実施例によ
る第１段階処理部１２０は、現フレームの係数データ１
１２から１６＊１６画素のブロック（以下、ターゲット
ブロック）の係数データを抽出し、また、前フレームの
係数データ１１４から垂直方向（−１６，＋１５）、水
平方向（−６４，＋６３）のサーチウィンドウ内の係数
データを抽出する。そして、ターゲットブロックについ
てのブロックマッチングを行い、マッチング位置を算出
する。

【００２４】第２段階処理部１３０は、第１段階処理部
１２０により得られたマッチング位置を受け取り、マッ
チング位置から前フレームの画像データ内にサーチウィ
ンドウを特定し、ターゲットブロックについての最終的
な動きベクトルを求める。ここでは、アダマール変換さ
れた係数データを用いるのではなく、一般のフルサーチ
と同様の画像データを用いた処理が実行される。

【００２５】動き補償回路１４０は、第２段階処理部１
３０により検出された動きベクトルに応じた予測値、す
なわち動き補償された画像データ１４を減算器１６（図
１）へ供給するものである。

【００２６】以下に、（１）アダマール変換特性、
（２）アダマール変換に基づく動き推定アルゴリズム、
（３）本アルゴリズムの演算量、（４）ＭＰＥＧテスト
シーケンスを用いたシミュレーション結果を詳細に説明
する。

【００２７】（１）アダマール変換特性画像Ｘ（ｉ，ｊ）（０≦ｉ，ｊ≦Ｎ−１）のブロックに
ついての２次元アダマール変換は、次のように表され
る。

【数１】〔Ｆ（ｕ，ｖ）〕＝〔Ｔ〕〔Ｘ（ｉ，ｊ）〕〔Ｔ〕^t 式（１）

【００２８】ここで、Ｔはアダマール変換行列である。
次数Ｎ＝２ⁿのアダマール変換行列は、次式によって定
義される。

【数２】ここで、

【数３】項ｋ_mとｌ_mは、ｋとｌの２進表示の各ビット状態であ
る。アダマール変換行列は、対称行列である。すなわ
ち、〔Ｔ〕^t＝〔Ｔ〕である。８＊８のブロックサイズ
のケースでは、Ｔは、以下のように表される。

【数４】

【００２９】本実施例では、８＊８のブロックサイズを
取り扱うこととする。ここで、式（４）は、連続的に順
序付けされたアダマール変換行列であり、他方、式
（２）は、自然型アダマール変換の定義であることに留
意を要する。これらの２つのアダマール変換は、同一組
の基底関数を有する同一の変換であるが、基底関数の順
序に差異を生ずる。それ故、変換係数は、異なる順序で
配置される。なお、以後の説明において、アダマール変
換係数の要素のいかなる記載、例えば（０，２）要素の
ような記載は、式（４）の定義に対応するものとする。

【００３０】また、電力スペクトラムを解析するため
に、式（１）は次のように表される。

【数５】〔ｆ（ｗ）〕＝〔Ｔ’〕〔ｘ（ｚ）〕式（５）ここで、〔ｆ（ｗ）〕^t＝〔ｆ₀₀...f₇₇〕，〔ｘ
（ｚ）〕^t＝〔ｘ₀₀...x₇₇〕，〔Ｔ’〕は式（２）から
導出された６４＊６４アダマール変換行列である。

【００３１】共分散は、以下のように定義される。

【数６】〔Ｅ（ｆｆ^t) 〕＝〔Ｔ’〕〔Ｅ（ｘｘ^t）〕〔Ｔ’〕^t ＝〔Ｔ’〕〔Ｒ〕〔Ｔ’〕^t 式（６）

【００３２】ここで、Ｅ（）は、統計上の期待値を表
し、Ｒは画素領域の共分散行列である。式（６）の左辺
をアダマール変換領域の電力スペクトラムとして定義す
る。マトリックスＲの詳細は、画像信号と統計上の画像
モデルの特性によって決定される。マトリックスＲは独
立マルコフ過程に従って設計され、自己相関係数ρを有
するという最も簡単なケースを仮定すると、マトリック
スＲは次のように表される。

【数７】ここで、ｉとｊはマトリックスの座標を表し、Ｎはブロ
ックのサイズ（＝８）である。

【００３３】〔Ｅ（ｆｆ^t）〕の対角線上の要素は、入
力画素信号に関して各アダマール変換係数に分配された
平均電力を表す。図３は、自己相関係数ρ＝０、９５の
ケースで計算されたアダマール変換領域の電力スペクト
ラムを示すものである。同図に示すように、エネルギー
が、低周波数のアダマール変換係数に集中していること
がわかる。例えば、信号エネルギーの７７％（０，０）
の係数（直流（ＤＣ）要素）に集中し、信号エネルギー
の９１％が５つの低周波要素（０，０），（０，１），
（０，２），（１，０）及び（２，０）に集中してい
る。

【００３４】（２）アダマール変換に基づく動き予測ア
ルゴリズム上述したように、アダマール変換は、信号ブロックの特
徴の大部分を、幾つかの低周波係数に集中させている。
言い替えれば、ブロックのおおよその特徴は、ごく少数
の係数によって表すことができる。つまり、アダマール
変換領域内の低周波係数を用いて動き推定を実行できる
ことを意味する。演算の複雑さの低減は、各ブロックの
比較を実行するための少ない演算数によって達成するこ
とができる。

【００３５】本実施例のアダマール変換行列は、８行＊
８列で構成される。従って、例えば１６＊１６のターゲ
ットブロックは、図４に示すように、４つの８＊８ブロ
ックに分割され、そして、各ブロックは図５に示すよう
にアダマール変換される（図中、マーク“Ｏ”は、低周
波係数の選択例を示す）。

【００３６】こうして、第１段階処理部１１０は、係数
データ１１２から取り出された１６＊１６のターゲット
ブロックと、前フレーム内の所定のサーチウィンドゥと
の間で、係数データを比較することによりブロックマッ
チングを行う。ターゲットブロックの係数の内、マッチ
ングに供されるのは、低周波係数だけであり、例えば、
上述した５つの要素（０，０），（０，１），（０，
２），（１，０）及び（２，０）が用いられる（図５の
マークを付けられた要素）。ターゲットブロックのマッ
チングに、どの低周波要素を用いるかは、予め設定して
おく必要がある。こうして、８＊８のブロックについて
の最小のひずみ（Ｄｉｓｔｏｒｔｉｏｎ）を有するマッ
チング位置（Ｖ’_x'Ｖ’_y）が低周波アダマール変換係
数の絶対誤差の合計を用いて検出される。このひずみ関
数は、以下のように表される。

【００３７】

【数８】ここで、

【数９】

【００３８】１６＊１６のターゲットブロックのマッチ
ング位置は、式（８）により求められた８＊８の４つの
ブロックについてのひずみＤの和として定義される。こ
のように、選択された低周波要素に対応する少数の組み
合わせを計算するだけで、マッチング位置の検出が可能
となる。

【００３９】通常は、第１段階の処理結果として、ベス
トに近いマッチングを達成することができる。しかしな
がら、第１段階では、低周波係数だけしか考慮していな
いため、（Ｖ’_x'Ｖ’_y）とベストマッチ位置との間
で、わずかな不一致を生じさせるかもしれない。このよ
うな理由から、本実施例では、第２段階において近隣フ
ルサーチを実行する。フルサーチは、画素間の絶対誤差
の合計の最小を求める方法である。

【００４０】第２段階処理部１２０は、現フレームと前
フレームの画像データ１２、３４と、第１段階処理部１
１０で求められたマッチング位置（Ｖ’_x'Ｖ’_y）を受
け取り、当該マッチング位置の近隣においてフルサーチ
を実行する。サーチ範囲は、（Ｖ’_x'Ｖ’_y）の近隣の
垂直及び水平方向（−２、＋２）である。つまり、第１
段階で求められたマッチング位置を基準として、その近
隣の範囲において、さらに、画素精度（場合によって
は、半画素精度）のマッチングを行うことにより、より
高精度の動き予測を可能にする。こうして最終的なマッ
チングによりターゲットブロックの動きベクトルが求め
られる。動き補償回路１４０は、第２段階処理部１３０
からの動きベクトルを受け取り、動き補償された前フレ
ームの画像データ１４を出力する。

【００４１】（３）本実施例に係るアルゴリズムの演算
量本実施例によるアルゴリズムでは、一連の加算と減算を
実行しなければならない。式（４）に示す２√２の除算
は必要ではない、なぜなら、２√２の除算なしで同一の
動きベクトルを得ることができるからである。フルサー
チもまた、一連の加算と減算を必要とするだけである。
こうして、従来のフルサーチと比較した場合の、本アル
ゴリズムによる加減算数を演算の複雑さとして考えるこ
とができる。

【００４２】後述のシミュレーション条件は、画像サイ
ズを４８０＊７０４、ブロックサイズを１６＊１６、サ
ーチ範囲を垂直方向（−１６，＋１５）；水平方向（−
６４，＋６３）、サーチを画素精度（整数サーチのみ）
とし、これに対応するアルゴリズムの演算の複雑さを求
める。

【００４３】図６は、使用された係数とアルゴリズムの
高速化ファクター間の関係をまとめたものである。ここ
で、第１段階で使用された低周波係数が、８＊８ブロッ
クについて、３つの（０，０），（０，１），（１，
０）であれば、使用された係数の数は、１６＊１６のブ
ロックサイズ全体で１２（＝３＊４）となる。高速化フ
ァクターは、同じフルサーチ範囲のフルサーチを“１”
とした場合の時間比を表すものであり、例えば“１８．
３”であれば、フルサーチの１／１８．３の処理時間を
意味する。高速化ファクターの上限は、２５６を、使用
された係数の数で割った値であり、使用された数が“１
２”であれば、２１．３となり、フルサーチの１／２
１．３の処理時間が限界であることを意味する。つま
り、高速化ファクターは、上限のファクターから、第１
段階処理以外の例えば、第２段階処理やアダマール係数
の計算、その他の処理に費やした時間を考慮したもので
ある。

【００４４】本実施例のアルゴリズムでは、いかなるケ
ースにおいても、幾つかの低周波係数を使用するだけで
あり、係数は前処理によって効果的に計算され、演算の
複雑さは、主に、式（８）でカウントされるべきアダマ
ール変換係数の数によって決定される。選択されたアダ
マール変換係数及び近隣フルサーチについてのオーバー
ヘッド計算は、後述するようにかなり少ない。

【００４５】以下の説明では、（０，０），（０，
１），（０，２），（１，０）及び（２，０）の５つの
係数を選択した場合についての演算の複雑さ（演算量）
を求める。なお、他の係数を選択した場合についても、
同一の方法により計算される。

【００４６】先ず、本実施例のアルゴリズムでは、同一
のアダマール変換係数が繰り返し使用されることを理解
しておく必要がある。これは、以下の２つの理由による
ものである。（イ）１ブロック及び他のブロックについてのサーチ範
囲が互いに重複する。参照フレーム内のある画素は、最
大２７ブロックで、サーチ範囲内に存在する。（ロ）１６＊１６ブロックが８＊８ブロックに分割され
る。従って、サーチ範囲内の８＊８ブロックは、最大４
つのマッチング位置で使用される。

【００４７】従って、８＊８ブロックのすべてにおい
て、前処理として、予め必要なアダマール変換係数のす
べてを計算しておくことが望ましい。参照される前フレ
ームには、全体で４７３＊６９７個の８＊８ブロックが
存在する。

【００４８】次に、アダマール変換係数についての合理
的な求め方について説明する。図７は、８＊８アダマー
ル変換の基底関数の１部を示すものである。同図におい
て、例えば、（０，０）は、アダマール変換の直流成分
であり、画像データの各画素値の合計に１／８を掛けた
ものに等しい。（１，０）は、上述したようにアダマー
ル変換の低周波係数であり、これは、４行＊８列の上半
分の画像データの各画素値の合計に１／８を乗じたもの
（白い部分）から、黒い部分で示す４行＊８列の下半分
の画像データの各画素値の合計に１／８を乗じたものを
減算した値に等しい。

【００４９】このような点に鑑み、アダマール変換係数
を計算するために、最初に、参照フレーム内のすべての
８＊８ブロックについて、１＊８，８＊１，２＊８，８
＊２，４＊８及び８＊４サブブロックの画素値の合計を
計算しておくことが望ましい。そして、これらのサブブ
ロックの値の適当な組み合わせの加減算により、適宜所
望のアダマール変換係数を容易に求めることができる。
その際、同一のサブブロックの値は、同一の８＊８ブロ
ックの他のアダマール変換係数の計算、さらに、他の８
＊８ブロックのアダマール変換係数の計算にも用いるこ
とが可能である。

【００５０】図８は、上記方法によるアダマール変換係
数を計算するためのデータフローを示すものである。参
照フレームの８＊８ブロックの各画素データ２１０につ
いて、８＊１のサブブロック２２０の画素値の合計を求
め、この合計を利用して８＊２のサブブロック２３０の
合計を求め、さらに、８＊２の合計を利用して８＊４の
サブブロック２４０の合計を求める。１＊８、２＊８、
４＊８のサブブロック２５０、２６０、２７０について
も同様である。こうして、これらのいくつかのサブブロ
ックの値を加算、または減算することにより、アダマー
ル変換係数データ２８０が求められる。

【００５１】また、サーチウィンドゥ内の１６＊１６の
参照ブロック（８＊８に分割）と、ターゲットブロック
（８＊８に分割）とのマッチングを行い、引き続き、サ
ーチウィンドゥ内で参照ブロックを１画素分水平にシフ
ト（場合によっては、これ以外の水平及び垂直シフト）
させて、次のマッチング計算が行われる。この場合、参
照ブロック内の１＊８のサブブロックを例にとると、先
に用いられた１＊８のサブブロックが、次のマッチング
で、１列分水平シフトされた１＊８のサブブロックの値
が必要となる。しかし、一度、１＊８サブブロックの値
が計算されれば、同一行の次の１＊８サブブロックの値
は、前に計算された値から１回の減算及び１回の加算で
求めることができる（図９参照）。つまり、

【数１０】が計算されると、次のサブブロックの値Ｉ（１）は、Ｉ
（０）−Ｘ（０）＋Ｘ（８）でよい。こうしたアダマー
ル変換係数は、上述したように、予め計算して求めてお
くので、マッチング毎に計算を行う必要はない。

【００５２】ここで、フレーム内のすべての１＊８サブ
ブロックの値についての計算回数を求めると、

【数１１】（７＋２＊６９６）＊４８０＝６７１，５２０式（１０）８＊１サブブロックについての計算は、

【数１２】（７＋２＊４７２）＊７０４＝６６９，５０４式（１１）２つの１＊８サブブロックの値の合計から得られた２＊
８サブブロックの値と、２つの８＊１サブブロックの値
の合計から得られた８＊２サブブロックの値についての
計算回数は、それぞれ以下のようである。

【００５３】

【数１３】６９７＊４７９＝３３３，８６３式（１２）

【数１４】４７３＊７０３＝３３２，５１９式（１３）２つの２＊８サブブロックの値の合計から得られた４＊
８サブブロックの値と、２つの８＊２サブブロックの値
の合計から得られた８＊４サブブロックの値についての
計算回数は、それぞれ以下のようである。

【数１５】６９７＊４７７＝３３２，４６９式（１４）

【数１６】４７３＊７０１＝３３１，５７３式（１５）

【００５４】５つの選択されたアダマール変換係数を計
算するために、各８＊８ブロックについて、７回の加算
または減算を必要とする。つまり、要素（０，０）は、
２つの８＊４サブブロック（あるいは４＊８サブブロッ
ク）の加算、要素（０，１）は、２つの８＊４サブブロ
ックの減算、要素（０，２）は、１つの８＊４サブブロ
ックと２つの８＊２サブブロックとの加減算、要素
（１，０）は、２つの４＊８サブブロックの減算、要素
（２，０）は、１つの４＊８サブブロックと２つの２＊
８サブブロックとの加減算から求められる。

【００５５】こうして、参照フレーム内のアダマール変
換係数を計算すると、

【数１７】７＊４７３＊６９７＝２，３０７，７６７式（１６）全体で、

【数１８】６７１，５２０＋６６９，５０４＋３３３，８６３＋３３２，５１９＋３３２，４６９＋３３１，５７３＋２３０，７７６７＝４，９７９，２１５式（１７）

【００５６】これは、１フレーム内の選択されたアダマ
ール変換係数（５つの低周波係数）についての計算時間
である。従って、１つの動きベクトルについてのアダマ
ール変換の計算時間は、次式に等しい。

【数１９】

【００５７】次に、現フレームの４つの８＊８ブロック
に分割される１６＊１６ターゲットブロックの係数につ
いての計算回数を求める。１＊８と８＊１の各サブブロ
ックの値は７回の加算によって計算される。従って、１
つの８＊８ブロック内の８つの１＊８と８＊１サブブロ
ックの値の計算回数は、

【数２０】７＊８＊２＝１１２式（１９）２つの１＊８サブブロックの値の加算から得られる４つ
の２＊８サブブロックと、２つの８＊１サブブロックの
値の加算から得られる４つの８＊２サブブロックについ
ての計算回数は、

【数２１】４＊２＝８式（２０）２つの２＊８サブブロックの値の加算から得られる３つ
の４＊８サブブロックと、２つの８＊２サブブロックの
値の加算から得られる３つの８＊４サブブロックについ
ての計算回数は、

【数２２】３＊２＝６式（２１）

【００５８】上記サブブロックの値から選択されたアダ
マール係数を計算するため、７回の計算を要する。こう
して、４つの８＊８ブロックに分割される現在のブロッ
クの係数についての計算回数は、

【数２３】（１１２＋８＋６＋７）＊４＝５３２式（２２）以上のようにして、アダマール変換の計算回数が求めら
れる。アダマール変換領域における第１段階の比較で
は、

【数２４】（５＊４）＊２＊３２＊１２８＝１６３，８４０式（２３）（３２＊１２８サーチ位置の各々について５＊４の加算
と５＊４の減算）第２段階における（−２，＋２）近隣のフルサーチにつ
いて、

【数２５】２５６＊２＊５＊５＝１２，８００式（２４）（５＊５サーチ位置の各々について２５６の加算と２５
６の減算）

【００５９】こうして、動きベクトルについてのアダマ
ール変換に基づく動き推定の計算回数は、式（１８）＋
式（２２）＋式（２３）＋式（２４）である

【数２６】３７７２．１＋５３２＋１６３，８４０＋１２，８００＝１８０，９４４．１式（２５）他方、同一サーチウィンドウに対するフルサーチの計算
回数は、

【数２７】２５６＊２＊３２＊１２８＝２，０９７，１５２式（２６）こうして、高速化ファクターは、

【数２８】

【００６０】式（２５）に示すように、計算回数の大部
分は第１段階のアダマール変換領域のマッチングに要さ
れ、高速化ファクターの上限を決定する。この場合、例
えば、高速化ファクターの上限が１２．８（＝２５６／
２０）である。実際に、高速化ファクターは、アダマー
ル変換と近隣フルサーチのオーバーヘッド計算により、
１２．８から１１．６へわずかに減少する。

【００６１】ここで、１つの動きベクトルについて選択
されたアダマール変換係数に、３７７１．１＋５３２＝
４３０４．１の計算回数を要することに留意すべきであ
る（式（１８）（２２））。１つの動きベクトルについ
て３２＊１２８＝４０９６のサーチ位置を有する。これ
は、１つのサーチ位置についてアダマール変換の必要と
される計算回数が、わずか４３０４．１／４０９６＝
１．０５であることを意味する。ブロックごとの比較に
よる計算回数である、（５＊４）＊２＝４０（式２３）
よりもはるかに小さい値である。

【００６２】（４）シミュレーション結果シミュレーションは、７つのＭＰＥＧテストシーケンス
の各２フレームについて合計１４フレームを対象に行わ
れ、各フレームを直前のフレームで補償するようにし
た。シミュレーションの条件は、以下のようにＭＰＥＧ
標準の単純化したものであった。

【００６３】予測モード：フレームモード、画像サイズ：４８０＊７０４、ブロックサイズ：１６＊１６、サーチ範囲：垂直方向（−１６．＋１５）、水平方向
（−６４，＋６３）、

【００６４】（１）画素精度（整数サーチ）シミュレーションについては、画像シーケンスのインタ
レース構造を考慮して、第１段階において３つのケース
の係数パターン群を実行することとした。インタレース
構造は、（７，０）係数（図７参照）において大きなエ
ネルギーを発生するものである。テストされた３つのケ
ースを以下に示す（図１０参照）。

【００６５】（ａ）対称−１２，対称−２０，対称−２
８，対称−３６，対称−４４；対角線に関して対称とな
るように、（０，ｖ）と（ｕ，０）要素の同一数を使用
するものである。数字は、第１段階の１６＊１６ブロッ
クにつき使用されるアダマール変換係数の数を意味す
る。例えば、“１２”は、各８＊８ターゲットブロック
において、使用する係数を３つ選択したことを意味し、
同様に“２０”であれば係数を５つ選択したことを意味
する。

【００６６】（ｂ）非対称−１６，非対称−２４，非対
称−３２，非対称−４０，非対称−４８；８＊８アダマ
ール変換係数マトリックスにおいてもう１つの（ｕ，
０）要素を使用したものである。

【００６７】（ｃ）対称＋（７，０）−１６，対称＋
（７，０）−２４，対称＋（７，０）−３２，対称＋
（７，０）−４０，対称＋（７，０）−４８アダマール変換係数マトリックスに、低周波数要素
（０，ｖ）と（ｕ，０）と同一の数を使用するととも
に、（７，０）要素を使用するものである。言い替えれ
ば、上記（ａ）の対称のものに、（７，０）を加えたも
のである。

【００６８】なお、図１０（ａ）は対称−２０、（ｂ）
は非対称−２４、（ｃ）は対称＋（７，０）−２４を示
し、マーク“Ｏ”が使用される係数を示す。図１１は、
サーチ精度劣化と使用されたアダマール変換係数の数と
の間の関係をｄＢスケール上に示すものである。ここで
は、“ＦＯＯＴＢＡＬＬ”のフレーム＃１３２、＃１３
３と、“ＢＩＣＹＣＬＥ”，“ＣＡＲ”，“ＣＨＥＥＲ
ＬＥＡＤＥＲＳ”，“ＦＬＯＷＥＲＧＡＲＤＥＮ”，
“ＭＯＢＩＬＥ＆ＣＡＬＥＮＤＡＲ”，“ＴＡＢＬＥ
ＴＥＮＮＩＳ”のフレーム＃２、＃３の１４フレームに
ついて動き補償を行った。

【００６９】サーチ精度は、１４フレームのすべてを通
じての補償されたフレームと、原フレームの画素間の自
乗誤差の和によって測定され、フルサーチのものと対比
される。自乗誤差の和の測定は粗いが、簡単でかつエン
コーダに依存しない測定法である。フルサーチは、図１
１には示されないが、０．０ｄＢ−２５６に対応する。
１／４または１／８の画素サブサンプリング法の後に
（−２，＋２）近隣フルサーチを行った場合（つまり、
第１段階のアダマール領域でのマッチングを画素サブサ
ンプリングによるマッチングに置き換えることを意味す
る）についても比較のために図１１に示してある。これ
らは、横軸の６４と３２にそれぞれ対応する。アダマー
ル変換に基づく動き推定は、画素サブサンプリング方法
よりも少ない計算で、より優れたサーチ精度を達成する
ことができるということがわかる。

【００７０】本実施例において、さらに他の計算低減方
法を有する技術、いわゆる適応型インデックシング技術
を組み合わせた場合のシミュレーションを実行した。こ
の技術によって、サーチ範囲内の各２または４（もしく
はそれ以上）の位置が、周囲のブロックの動きベクトル
を参照しながら第１段階でサーチされる。換言すれば、
第１段階の動きフィールドがサブサンプリングされる。
どのサブサンプリング格子が第１段階で選択されるべき
かということを決定することに関し、周囲のロックで得
られた動きベクトルを参照することによって、第１段階
で最小位置がサーチされる可能性が大きくなる。こうし
て、サーチ精度は、サーチ範囲内のすべての位置が第１
段階でサーチされるケースに近づくように保たれる。第
２段階の近隣フルサーチは、アダマール変換に基づく動
き推定のみの場合と同一の方法として適用される。シミ
ュレーションは、アダマール変換に基づく動き推定のみ
のケースにおいて比較的良い精度を示した。係数パター
ンの６つのケース、非対称−１６、対称−２０、対称＋
（７，０）−２４、３２、４０、４８について実行され
た。図１２は、第１段階での１／２，１／４及び１／８
サーチ位置でのケースのシミュレーション結果を示すも
のである。すべての位置が第１段階でサーチされたケー
ス（１／１）の結果も示してある。アダマール変換に基
づく動き推定と適用型インデックシング技術の組み合わ
せのアルゴリズムは、フルサーチに近いサーチ精度を達
成することができ、その一方で、計算の複雑さを数１０
倍減少することができる。例えば、計算が１／１８で劣
化が０．１２ｄＢ、計算が１／３６で劣化が０．１８ｄ
Ｂである。

【００７１】尚、本実施例では、１フレーム前の画像デ
ータを参照フレームとして用いたが、これに限らず、前
のフィールドや、後のフレームあるいはフィールドを参
照フレームまたは参照フィールドとして用いることも可
能である。また、本実施例によれば、ＭＰＥＧ−１やＭ
ＰＥＧ−２（１６＊１６画素、または８＊１６画素のブ
ロックサイズを処理単位とする）に利用することも可能
である。

【発明の効果】本発明において、アダマール変換に基づ
く動き推定は、高速ブロックマッチングアルゴリズムに
対する解決として提案されたものである。本発明の動き
予測アルゴリズムは、高速性、規則性、単純化、及び優
れた精度の点で利点を有する。アダマール変換に基づく
動き推定と適応型インデックシング技術の組み合わせ
は、ほとんどサーチ精度を損なうことなく、数１０倍程
度計算の複雑さを低減することができる。実際に、高速
化ファクターは、達成される精度にほとんど反比例す
る。また、本発明のアルゴリズムは、シストリックアレ
イアーキテクチャーに適するもので、それは、その規則
性及び単純性によるものである。このアルゴリズムをハ
ードウェア実装に適用することで、低コスト、高品質ビ
デオエンコーダが近い将来に現実の技術となることが期
待できる。

【図面の簡単な説明】

【図１】一般的な画像データ符号化回路の構成を示すブ
ロック図。

【図２】本実施例の動き補償部の内部構成を示すブロッ
ク図である。

【図３】自己相関係数ρ＝０．９５の場合におけるアダ
マール変換領域の電力スペクトラムを示す図。

【図４】１６＊１６ブロックが４つの８＊８ブロックに
分割された状態を示す図。

【図５】各８＊８ブロックがアダマール変換された状態
を示す図。

【図６】使用されたアダマール係数とアルゴリズムの高
速化ファクター間の関係を示す図。

【図７】８＊８アダマール変換の基底関数の１部を示す
図。

【図８】本実施例におけるアダマール変換係数を計算す
るためのデータフローを示す図。

【図９】１＊８サブブロックの値の計算方法を示す図。

【図１０】シミュレーションに用いたアダマール変換係
数の例を示す図。

【図１１】サーチ精度劣化と使用されるアダマール変換
係数の数との関係を示す図。

【図１２】アダマール変換に基づく動き推定と適応型イ
ンデックシング技術の組み合わせにおけるサーチ精度劣
化と高速化ファクターとの関係を示す図である。

【符号の説明】

１２、３４画像データ３２動き補償部１１０アダマール変換部１２０第１段階処理部１３０第２段階処理部１４０動き補償回路

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】第１、第２の画像データを受け取り、第
１、第２の画像データをそれぞれ直交変換し、変換され
た各第１、第２の変換データを出力する変換手段と、前記変換手段に接続され、前記第１の変換データと、前
記第２の変換データとを比較することにより、前記第１
の画像データの動きを推定する推定手段と、前記推定手段の推定結果に基づき、前記第１の画像デー
タを符号化する符号化手段とを有するデータ処理装置。
【請求項２】請求項第１項において、前記変換手段
は、前記第１、第２の画像データをアダマール変換する
ことを特徴とするデータ処理装置。
【請求項３】請求項第１項または２項において、前記
推定手段は、前記第１の変換データの選択された幾つか
の係数のみを用いて第２の変換データと比較することを
特徴とするデータ処理装置。
【請求項４】請求項第１項ないし３項のいずれかにお
いて、前記推定手段は、前記第１、第２の画像データを
受け取り、前記第１の画像データの動きの推定結果から
前記第２の画像データ内にサーチ領域を特定し、前記サ
ーチ領域内で前記第１の画像データの動きベクトルを検
出し、前記動きベクトルを前記符号化手段へ供給するこ
とを特徴とするデータ処理装置。
【請求項５】請求項第１項ないし第４項のいずれかに
おいて、前記符号化手段は、前記推定手段の推定結果に
より動き補償された第２の画像データと前記第１の画像
データとの差分を符号化することを特徴とするデータ処
理装置。
【請求項６】請求項第１項ないし第５項のいずれかに
おいて、前記第１の画像データは現フレームまたはフィ
ールドを構成する所定のブロックサイズの画像データで
あり、前記第２の画像データは参照されるフレームまた
はフィールドを構成する画像データであり、前記推定手
段は、前記第１の変換データと前記第２の変換データに
それぞれ対応する第１のブロックと第２のブロックのマ
ッチングを行い、第１のブロックについての動きの推定
を行うことを特徴とするデータ処理装置。
【請求項７】第１、第２のフレームまたはフィールド
をそれぞれ構成する第１、第２の画像データであって、
第１の画像データを第２の画像データから予測する予測
手段と、前記予測手段によって予測された予測値と前記
第１の画像データの差分を符号化する手段とを有するデ
ータ処理装置において、前記予測手段は、前記第１、第２の画像データをそれぞ
れアダマール変換し、前記第１、第２の画像データをに
各々対応する第１、第２の変換データを出力する変換手
段と、前記第１、第２の変換データ間で、前記予測値を
提供するためにマッチングを行う手段とを有することを
特徴とするデータ処理装置。
【請求項８】第１、第２のフレームまたはフィールド
をそれぞれ構成する第１、第２の画像データをそれぞれ
アダマール変換し、前記第１の画像データに対応する第１の変換データと、
前記第２の画像データに対応する第２の変換データとの
マッチングを行い、最適なマッチング位置を示す動き推
定情報を算出し、前記動き推定情報に基づき動き補償された第２の画像デ
ータを出力し、第１の画像データと前記動き補償された第２の画像デー
タとの差分を符号化することを特徴とするデータ処理方
法。
【請求項９】請求項第８項のデータ処理方法は、前記
第１、第２の変換データのマッチング後に、さらに、該
マッチングの結果から第２の画像データのサーチ領域を
特定し、前記第１の画像データを前記サーチ領域内でサ
ーチすることにより前記動き推定情報を提供することを
特徴とするデータ処理方法。