JPH02145079A

JPH02145079A - 動き補償演算方法

Info

Publication number: JPH02145079A
Application number: JP63298722A
Authority: JP
Inventors: Atsumichi Murakami; 篤道村上; Naoto Kaneshiro; 直人金城
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1988-11-26
Filing date: 1988-11-26
Publication date: 1990-06-04

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］この発明は動き補償演算方法、特にビデオ・コーデック
等に適用して動き補償の演算量を低減するに好適な動き
補償演算方法に関するものである。

［従来の技術］第４図は例えば文献「画像のダイナミック多段ベクトル
量子化」　（電子通信学会論文誌’８５／ＩＶｏ１．Ｊ
６ｇ−Ｂ　Ｎｏ、１　　ｐ６８〜ｐ７Ｂ村上篤道、伊藤
敦、浅井光太部　共著）に示される従来の動き補償演算
方法を実施した画像符号化伝送装置の概略構成図である
。図において、（１）は時系列的に連続した複数のフレ
ームで構成される画像データの入力信号、（２）は入力
信号（１）の現在のフレームと前回の入力信号（１）と
して与えられた前フレーム信号（３）の相関近似計算に
より予測信号を求める動き補償部、（４）は予測信号ブ
ロックの位置を表わすべく動き補償部（２）に入力され
る動きベクトル情報、（５）は動き補償部（２）から出
力される予測信号、（６）は入力信号（１）と予測信号
（５）との差分信号を符号化して動き補償された信号と
して出力する符号化部、（７）は符号化部（６）で符号
化された動き補償信号を復号化する復号化部、（８）は
復号化部（７）からの信号と動き補償部（２）からの信
号を加算して再生データに戻しこれを記憶するフレーム
・メモリである。

以上のような構成において、次に第５図の説明図に従っ
てその作用を説明する。

動き補償処理とは入力信号（１）の第５図（Ａ）に示し
た現フレームの特定の位置の１１Ｘ１２のサイズのブロ
ックＸに対して第５図（Ｂ）に示した前フレームの探索
範囲Ｓ内のＭ個のブロックとの歪量を計算し、最小歪を
与える最小歪ブロックｙの入力ブロック位置に対する相
対位置つまり動きベクトルＶを求めるとともに、このブ
ロックの信号を予測信号とするものである。

今、与えられたフレーム内の探索範囲Ｓ内で探索対象と
なる動きベクトルＶの個数をＭ（２以上の整数）とする
。特定の動きベクトルＶの位置の前フレーム・ブロック
と現在の入力ブロックとの歪量として差分絶対値和を用
いた場合、歪量はｄｉ−Σ　ｌ　ｙｌｈ−ｘｈ　ｌ　　
　　　−（１）−ｔとなる。

ここで、入力ブロックｘ＝　（ｘｉ　ｓ　ｘ２・・・ｘ
ｋｌ、探索対象ブロック）’ｉ　−（ｙｉｌ、ｙｔ２・
・・ｙｌｋｌｉ−１〜Ｍ、Ｍ及びＫは固定値である。そ
して、動きベクトルＶはＶ−Ｖｌ　１ｍ１ｎｄ１　１　ｉ−１〜Ｍ）　　　・・
・（２）で求められる。

第６図はかかる動きベクトルＶの検出の演算フローを示
すが、ステップＳ１ではに個のサンプル点でそれぞれの
歪ｆｆ１ｄｉを（１）式に基づいて計算し、次のステッ
プＳ２では歪量の最小値りとこれを与える位置Ｉを比較
して、歪量ｄｉ＜最小値りなら、Ｄ−ｄｉとし併せてＩ
ｍｉとする。この操作を探索ベクトルの回数骨繰り返し
、つまり（２）式の条件に従った演算処理を実施して最
終的な歪の最小値りとこれを与える位置■を求める。

以上のような演算は時系列的に入力される各フレームの
周期内に実行する必要があるため、高速のディジタル信
号処理プロセッサが必要となってくる。第７図は例えば
昭和６１年度通信学会通信部門全国大会シンポジウム予
稿（Ｎｏ、５１０−１）に示された動き補償演算方法を
実施可能な周知のディジタル信号処理装置のブロック図
である。図において示すように、この方式は同時に２つ
のデータの読み出し、書き込みが可能なデュアル・ボー
トの内部データ・メモリである２ポートＲＡ　Ｍ　（１
１）、この２ポートＲＡ　Ｍ　（１１）の読み出しまた
は書き込みデータのアドレスを算出するアドレス生成部
（１２）、演算に伴うデータの内部転送に用いられるデ
ータ・バス（１３）、２ポートＲＡ　Ｍ　（１１）内の
データを選択するセレクタ（１４）及び（１５）、セレ
クタ（１４）で選択された被演算データを保持するレジ
スタ（１Ｂ）、セレクタ（１５）で選択された演算デー
タを保持するレジスタ（１７）、レジスタ（１６）及び
（１７）の各データを乗算する乗算器（１８）、乗算器
（１８）のデータを保持するレジスタ（１９）、レジス
タ（１Ｂ）の出力とアキュムレータ（２４）を選択する
セレクタ（２０）、レジスタ（１７）の出力とレジスタ
（１９）の出力を選択するセレクタ（２１）、セレクタ
（２０）、　（２１）の各出力を人力して演算する算術
論理演算器（２２）、この算術論理演算器（２２）の出
力と図示しない外部用データ・レジスタからデータ・バ
ス（１３）に与えられるデータを選択するセレクタ（２
３）から構成されている。ちなみに、アキュムレータ（
２４）は算術論理演算器（２２）の出力を保持し、累算
等に使用するものである。

上記のようなディジタル信号処理プロセッサは２人力１
出力の乗算器（１８）と２人力１出力の算術論理演算器
（２２）およびアキュムレータ（２４）を直列接続した
構成によりバイブライン処理を行ない、積和演算を実質
的に１マシン・サイクルで実行することができる。これ
らの処理は内蔵されたマイクロプログラムのフェッチ・
デコードおよびデー夕の読み出し、演算、演算結果書き
込みを並列パイプライン処理で実行するディジタル信号
処理プロセッサによる処理により実施され、各部は命令
マイクロモードに基づいて制御される。そして、３以上
の複数のそれぞれ独立したデータ系列に対する複数人力
１出力演算を実行する場合、演算を数段階に分けて２人
力１出力演算を数回実行して初期の演算数を実現するこ
とになる。

このようなディジタル信号処理プロセッサを用いて動き
補償処理を実行した場合の処理時間は１人カブロック当
たりの積和演算がＫＸＭ回必要であり、比較や更新等の
処理をＭ回実施するのに要する時間の合計で決まるマシ
ン・サイクル数となる。通常、比較更新処理サイクル数
は積和演算に比べて十分に小さいので１ブロツク当たり
の動き補償演算量は殆どＫＸＭ回のマシン−サイクル数
となる。

ところが、以上のような演算は時系列的に入力される各
フレームの周期に対応した時間によって決定されるため
、ディジタル信号処理プロセッサの１回当たりの演算処
理時間によっては、大量の積和演算を短時間で処理する
ために並列処理を行なう必要がある。

例えば、本件出願人による特願昭６３−６３６９５号の
ようなディジタル信号処理方式によれば、複数の入力に
対して１度の演算でこれらを演算処理でき中間結果格納
のためのアドレス制御やメモリへの転送処理を省くこと
ができるので、高速に３以上の複数人力ｌ出力の演算を
実行することができる。

［発明が解決しようとする課題］従来の動き補償演算方法は以上のように実施されるので
、ディジタル信号処理プロセッサを用いて演算処理を実
行する場合に所要演算量が非常に多いため必要な演算時
間を確保するためにはディジタル信号処理プロセッサで
の並列処理を行わなければならず、ハードウェアの複雑
化や大規模化が避けられないという問題点があった。

この発明は上記のような課題を解決するためになされた
もので、画像符号化装置の動き補償部をディジタル信号
処理プロセッサで構成するに当たり、ディジタル信号処
理プロセッサの並列使用個数を抑えハードウェアの簡潔
化と小型化を計ることのできる動き補償演算方法を得る
ことを目的とする。

［課題を解決するための手段］この発明にかかる動き補償演算方法は、時系列的に順次
入力される複数のフレームから成るディジタル画像デー
タの現在の入力フレームを複数のブロックに分割し、入
力フレーム中のブロックに近似するパターンを前回の入
力フレームの中から探索し、最も近似する最小歪のブロ
ックを予測信号として符号化処理する動き補償において
、現在の入力フレームのブロックと前回の入力フレーム
の中のＭ個（Ｍは正の整数）のブロックとの間でそれぞ
れのブロック内画素の差分および累算を利用してパター
ン間近似を計算して最小歪を与えるブロックを検出する
に当たり、パターン近似度計算に用いる画素数を最大に
個（ｋは１以上でかつ１ブロック内全画素数以下の整数
）とし、参照画素数がＫ個より小の時点での近似度計算
中にｎ回（ｎは１以上の整数）の中間チェックを行ない
、それぞれの時点における累算値がそれぞれの中間チェ
ック時点に応じて設定されたしきい値より大の時は残り
の画素に付いての計算を実施せず、そのブロックは最小
歪ブロックを求める比較対象範囲外とし、中間チェック
の全ての時点での累算値がしきい値を下回ったブロック
の中から最小歪を持つブロックを演算検出する動き補償
演算方法を提供するものである。

［作用］この発明における動き補償演算方法は入力ブロックとブ
ロック間の歪量が大きなブロックについては歪演算中の
中間チェックで歪量が大きくなることを予測して残りの
演算を取り止め、ブロック間歪量が小さいと予測される
ブロックについてのみ完全な歪量の演算を実施すること
によって無駄な演算を排し必要な時間を限られたディジ
タル信号処理プロセッサで実施することを可能としてい
る。

［実施例］以下図面を参照しながらこの発明の詳細な説明する。

第１図はこの発明の一実施例に係る動き補償演算方法を
実現するためのフローチャート、第２図はこの発明にお
ける歪量演算中間チェック方式の説明図、第３図はこの
発明の歪演算の中間チェック方式におけるブロック内サ
ンプル点の画素サンプル配置図である。

さて、この演算処理に先立っては先ず前回のフレーム・
データにおけるＭ個の探索対象ブロック中、１番目のブ
ロックについて従来と同様、ブロック内の全画素につい
ての歪量を計算しこの時の歪量を最小歪とする。なお、
歪量としては差分絶対値和を当てる。次の２番目以降の
ブロックについての歪量演算は全ての画素についても差
分絶対値を求めるのではなく中間チェックポイントを設
けその時点での中間歪量がある値を超えていた場合にそ
のブロックの最終歪量は最小歪りより小さくならないも
のと判断して残りの歪量演算を取り止める。

今、現在の入力フレームのブロックと前回の入力フレー
ムの中のＭ個（Ｍは正の整数）のブロックとの間でそれ
ぞれのブロック内画素の差分および累算によりパターン
間の近似を計算して最小歪を与えるブロックを検出する
ものとし、パターン近似度計算に用いる画素数を最大に
個（ｋは１以上でかつ１ブロック内全画素数以下の整数
）とし、参照画素数がＫ個より小の時点での近似度計算
中に４回の中間チェックを行ない、中間チェック・ポイ
ントを１／４サンプル点毎に設けるものとする。第３図
はこの場合の歪量演算に用いるサンプル点の例を示して
おり、図において０は１回目の歪量計算サンプル点、×
は２回目の歪量計算サンプル点、Δは３回目の歪量計算
サンプル点、◎は４回目の歪量計算サンプル点である。

第２図において全サンプル点をに個とした場合、第１、
第２、第３の中間チェック・ポイントにおいてしきい値
をそれぞれｄｌｏ、ｄ２°、ｄ３゛とする。

この時、ｄｉ’霞Ｄ／４　＋ｔｈｌ　　　　・・・　（
３−１）ｄ２°＝　　Ｄ／２＋ｔｈｚ　　　　　・・・
　（３−２）ｄ３°−３Ｄ／４＋　ｔｈ３　　　　　・
・・　（３−３）とする。なお、ｔｈｌ　、　ｔｈ２　
、ｔｈ３はそれぞれ独立に設定するものとする。中間歪
量として第１、第２、第３の中間歪量をそれぞれｄｌｌ
　、　ｄｌ２　、ｄｌ３とする。

この場合、ｄｌｌは第３図における第１回目歪量の値で
あり、ｄｌ２はｄｌｌに２回目歪量を累算した値であり
、ｄｌ３はｄｌ２に３回目歪量を累算した値となる。従
って、４回目歪量を累算した値は全サンプル点を用いた
歪量となる。

以上の中間チェック・ポイントにおける歪量判定に基づ
いて歪量が大となるブロックは最終チェック・ポイント
に達する前にキャンセルされ、無駄な演算処理を省くこ
とができる。つまり、ステップＳ１でにサンプル点での
歪計算で得られた歪Ｑｄ１ｌが次のステップＳ２の判定
でｄｌｌ＞ｄｉ”ならばそのブロックはキャンセルし、
そうでなければステップＳ３に行って演算を継続しにサ
ンプル点での歪計算で歪ｊｌｄｉ２を演算する。そして
、次のステップＳ４の判定でｄｌ２＞ｄ２°ならばこれ
をキャンセルしそうでなければステップＳ５に行って演
算を継続する。そして、Ｋサンプル点での歪計算で歪量
ｄ１３を演算する。そして、次のステップＳ６の判定で
ｄＨ＞ｄ３’ならばこれをキャンセルしそうでなければ
ステップＳ７に行ってにサンプル点での歪量ｄ１を計算
し、比較および更新を行なう。

以上のようにして、最終のステップまで処理を行なった
場合、従来方法と同様の全画素を用いた歪量演算と同様
の結果が得られることになり、この時の歪量ｄ１が最小
歪りよりも小の場合は新たに最小歪りの値をｄｌと更新
してそのインデックスｉを動きベクトル・インデックス
として更新する。

このような演算処理をＭ番目のブロックまで探索ベクト
ル数に対応する回数だけ繰り返し実施して最終的な歪の
最小値りとこれを与える動きを示すベクトルｆｆ１ｌを
求めることができる。

なお、上記実施例では歪量演算に差分絶対値和を用いた
場合を例示したが差分２乗和を用いてもよい。

また、上記実施例では動き補償演算の場合について説明
したが内積ベクトル量子化演算についても同様に実施可
能であり同様な効果を得ることができる。ただし、この
場合は中間チェック・ポイントにおけるしきい値との大
小関係は上記実施例と逆になるのはもちろんである。

［発明の効果］以上のように、この発明によればブロック間歪量計算に
中間チェックを入れるようにして、この中間チェックの
結果で以降の演算を継続するか否かを判断するため、無
駄な演算を省略でき動き補償処理全体の所要演算量を効
果的に抑え、画像符号化装置のハードウェアを簡略化し
て少数のディジタル信号処理プロセッサで実施可能にな
るという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例に係る動き補償演算方法を
説明するためのフローチャート図、第２図はこの発明に
おける中間チェック方式の説明図、第３図はこの発明の
中間チェック方式における画素サンプル配置図、第４図
は従来の動き補償演算方法を実施するための装置のブロ
ック図、第５図は動き補償方法の一例を示す説明図、第
６図は従来の動き補償演算方法のフローチャート図、第
７図は周知のディジタル信号処理装置のブロック図であ
る。図において、（１）は入力信号、（２）は動き補償部、
（８）は符号化　部、（７）は復号化部、（８）は・フ
レーム・メモリ、（１１）は２Ｐ−ＲＡＭ、（１２）は
アドレス生成部、（１３）はデータ・バス、（１４）、
（１５）、尚、図中同一符号は同一または相当部分を示
す。代理人　弁理士　大　岩　増　雄（外２名）！／！に騒に％Ｋサンプル数第２図この発明における中間チェック方式の説明図第４図従来の動き補償演算方法を実施するための装置のブロッ
ク図第３図この発明の中間チェック方式における画素サンプル配置
図前フレーム現在フレーム（Ｂ）（Ａ）第５図動き補償方法の一例を示す説明図周知のディジタル信号処理装置のブロック図第７図手続補正書（自発）

Claims

【特許請求の範囲】

時系列的に順次入力される複数のフレームから成るディ
ジタル画像データの現在の入力フレームを複数のブロッ
クに分割して現在の入力フレームのブロックと前回の入
力フレームの中のＭ個（Ｍは正の整数）のブロックとの
間でそれぞれのブロック内画素の差分および累算により
パターン間の近似を計算して最小歪を与えるブロックを
検出するに当たり、パターン近似度計算に用いる画素数
を最大Ｋ個（ｋは１以上でかつ１ブロック内全画素数以
下の整数）とし、参照画素数がＫ個より小の時点での近
似度計算中にｎ回（ｎは１以上の整数）の中間チェック
を行ない、それぞれの時点における累算値がそれぞれの
中間チェック時点に応じて設定されたしきい値より大の
時はそのブロックは最小歪ブロックを求める比較対象範
囲外とし、中間チェックの全ての時点での累算値がしき
い値を下回ったブロックの中から最小歪を持つブロック
を演算検出することを特徴とする動き補償演算方法。