JP2011010297A - 誤差絶対値和の推定システム及び推定方法 - Google Patents

Abstract

【課題】本発明は、誤差絶対値和の推定システム及び推定方法を提供する。
【解決手段】本発明の誤差絶対値和の推定システムは、参照フレームの候補ブロックに対する現在のフレームのマクロブロックの誤差絶対値和を推定することに用いられ、前記マクロブロックは複数のサブブロックを備え、前記マクロブロック及び前記候補ブロックの画素数は同じであり、前記誤差絶対値和の推定システムは、探索比較モジュール及び演算モジュールを備える。本発明は、誤差絶対値和の推定方法も提供する。
【選択図】図７

Description

本発明は、誤差絶対値和の推定システム及び推定方法に関するものである。

動画像符号化は、現在のフレーム（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）と参照フレーム（Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ）との間の差異を伝送データとして、順序に従い、エンコード、デコード及び補償することを示す。時間的に連続したフレーム間の関連性は非常に高いので、非常に大きな差異が発生する確率が非常に小さい。そのため、エンコーダ端から完全な画像を出力せず、残差（Ｒｅｓｉｄｕａｌ）及び動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）差異値だけを出力する場合、伝送するデータを大幅に減少し、効率的に伝送することができ、圧縮率向上の目的を達成する。

動画像符号化モードは、同じ画像内で予測するイントラ予測モード（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）及び２つの画像の間で予測するインター予測モード（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）に分けられ、前記インター予測モードは、動きベクトル探索方法によって動きベクトルを獲得することを必要とする。快速動きベクトル探索演算法は、ブロックマッチング（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ）を基礎とする演算法である。現在のフレームを複数のマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ，ＭＢ）に分割し、且つこれらのマクロブロックと参照フレームの探索区域内の候補ブロック（Ｃａｎｄｉｄａｔｅ Ｂｌｏｃｋ）とを比較して、マッチングする相対位置を探し、各々のブロックの左上方の点座標はブロックの座標を代表し、マッチングするブロックを探し当てた場合、相対位置の変位量は動きベクトルである。動きベクトル及び残差をエンコード、デコード及び補償し画像を再生して、演算量を少なくし、かつ演算の複雑性を低下させることができ、動きベクトルを探す予測は動きベクトル探索（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）と呼ばれる。

ブロックマッチングを基礎とする動きベクトル探索演算法では、常に誤差絶対値和（Ｓｕｍ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）をブロックマッチングの条件とし、異なる演算法を用いる場合、算出したＳＡＤに基づき、異なった探索経路又は探索方式を用いる。

従来のSADの計算式は、（数式１）である。

前記計算式において、Ｍは、マクロブロックと候補ブロックの横方向における画素数であり、Ｎは、マクロブロックと候補ブロックの縦方向における画素数であり、（ｘ，ｙ）は、現在のフレームのマクロブロックｆ_ｔの左上角の画素の座標であり、（ｘ＋ｊ，ｙ＋ｋ）は、参照フレームの候補ブロックｆ_ｔ−１の左上角の画素の座標であり、マクロブロックと候補ブロックのサイズはＭ＊Ｎである。SADが最小の場合、マクロブロックと候補ブロックとがマッチングする。対応する候補ブロックの画素の座標とマクロブロックの画素の座標とを減算して、移動方向を決定する。その最大な欠点は、マクロブロックの全ての画素の誤差絶対値を合計しなければSADを決めることができない点で、従って複雑な計算を必要とする。

本発明の目的は、前記課題を解決し、マクロブロックの全ての画素の誤差絶対値を合計しなくても、SADを決めることができ、計算量を効果的に減少させ、且つブロックマッチングを基礎とする動きベクトル探索演算法に適用する誤差絶対値和の推定システム及び推定方法を提供することである。

前記目的を達成するため、本発明に係る誤差絶対値和の推定システムは、参照フレームの候補ブロックに対する現在のフレームのマクロブロックの誤差絶対値和を推定することに用いられ、前記マクロブロックは、複数のサブブロックを備え、前記マクロブロックの画素数と前記候補ブロックの画素数は同じであり、各々のサブブロックから複数の画素を選択してサンプル画素として、且つ前記候補ブロック内で各々のサンプル画素の画素値と最も近い画素値を有する画素を探す探索比較モジュールと、各々のサンプル画素の画素値から前記候補ブロック内の対応する画素の画素値を減算してから、その差分の絶対値を計算することにより、各々のサンプル画素の誤差絶対値を算出して、且つ各々のサブブロックの全てのサンプル画素の誤差絶対値の平均値を計算し、前記平均値に対応するサブブロックの画素数を乗算して、各々のサブブロックのサブ誤差絶対値和を算出し、前記マクロブロックの全てのサブブロックのサブ誤差絶対値和を加算して、前記マクロブロックの誤差絶対値和を算出する演算モジュールと、を備える。

前記目的を達成するため、本発明に係る誤差絶対値和の推定方法は、参照フレームの候補ブロックに対する現在のフレームのマクロブロックの誤差絶対値和を推定することに用いられ、前記マクロブロックは複数のサブブロックを備え、探索比較モジュールによって、各々のサブブロックから一部分の画素を選択してサンプル画素とするステップと、前記探索比較モジュールによって、１つの候補ブロック内で各々のサンプル画素の画素値に最も近い画素値を有する画素を探し、且つ前記候補ブロックの画素数と前記マクロブロックの画素数は同じであるステップと、演算モジュールによって、前記各々のサンプル画素の画素値から前記候補ブロック内の対応する画素の画素値を減算し、且つその差分の絶対値を計算することにより、各々のサンプル画素の誤差絶対値を算出するステップと、前記演算モジュールによって、各々のサブブロックの全てのサンプル画素の誤差絶対値の平均値を計算し、前記平均値に対応するサブブロックの画素数を乗算して、各々のサブブロックのサブ誤差絶対値和を算出するステップと、前記演算モジュールによって、前記マクロブロックの全てのサブブロックのサブ誤差絶対値和を加算して、前記マクロブロックの誤差絶対値和を算出するステップと、判断モジュールによって、前記マクロブロックの誤差絶対値和と予定値とを比較して、前記誤差絶対値和が前記予定値より小さい場合、前記マクロブロックに対する動きベクトル探索を終了するステップと、を備える。

本発明に係わる誤差絶対値和の推定システム及び推定方法は、従来の計算方式に取って代わることができ、予測したSADを用いることにより、全ての画素の誤差絶対値を計算する必要がなく、前記誤差絶対値和の推定システムの演算量を少なくし、かつ演算の複雑性を低下させる。また、従来の計算方式と比べると、前記誤差絶対値和の推定システム及び推定方法は、SADをより早く予測して、動きベクトル探索の演算法において、費やされる推定時間を短縮し、且つ演算の複雑性を下げる。また、前記誤差絶対値和の推定システム及び推定方法では、従来の計算方式と異なる、予定値を設定する方式によって、マクロブロックに対する動きベクトル探索を早く終えることができ、推定効率を高め、推定誤差を減少する。前記誤差絶対値和の推定システム及び推定方法は、ブロックマッチングを基礎とする動きベクトル探索演算法に適用し、ビデオ圧縮技術に対して、ブロックマッチングを基礎とする動きベクトル探索演算法において、ＳＡＤをマッチング条件とすることができる。

本発明の実施形態に係る誤差絶対値和の推定システムのブロック図である。 図１に示すブロック区分モジュールが１つのマクロブロックを複数のサブブロックに分けることを示す図である。 図２に示すマクロブロックを示す図である。 図２に示すサブブロックを示す図である。 図２のマクロブロックに対応する探索区域を示す図である。 図５の探索区域の中心候補ブロックを示す図である。 本発明の実施形態に係る誤差絶対値和の推定方法のフローチャートである。

以下、図面を参照して、本発明の実施形態について説明する。

図１に示したように、本発明の誤差絶対値和推定システム１は、動画像を圧縮する際、現在のフレーム及び参照フレームを比較して、現在のフレームの１つのマクロブロックのSADを算出することに用いられる。本実施形態において、前記現在のフレーム及び前記参照フレームは、前記動画像における連続する２つのフレームである。前記SAD推定システム１は、ブロック分割モジュール１０と、探索比較モジュール２０と、演算モジュール３０と、判断モジュール４０と、を備える。

図２及び図３に示したように、前記現在のフレームは、複数のマクロブロックを備え、前記ブロック分割モジュール１０は、各々のマクロブロックを複数のサブブロックに分割する。本実施形態において、前記複数のマクロブロックの中の１つのマクロブロック１００を例として説明する。前記マクロブロック１００は、九つのサブブロックＳＭＢ１〜ＳＭＢ９に分割され、各々のサブブロックは、Ｍ＊Ｎ個の画素１０１を含み、Ｍは、サブブロックの横方向における画素１０１の数であり、Ｎは、サブブロックの縦方向における画素１０１の数である。例えば、サブブロックＳＭＢ１において、その横方向に沿って五つの画素１０１を有し、その縦方向に沿って五つの画素１０１を有する。本実施形態において、前記マクロブロック１００は、１６行１６列に配列された２５６個の画素１０１を備える。

図４に示したように、前記サブブロックＳＭＢ１は、５行５列に配列された２５個の画素１０１を備える。

図５及び図６に示したように、前記参照フレームは、複数のマクロブロックのそれぞれに対応する複数の探索区域を有し、各々の探索区域は複数の候補ブロックを備え、前記候補ブロックの大きさは、対応するマクロブロックの大きさと同じである。本実施形態において、前記マクロブロック１００に対応する、前記参照フレームにおける探索区域２００を例として説明する。前記探索区域２００は、複数の候補ブロック２１０を備え、各候補ブロック２１０は、複数の画素２１１を備え、且つ各候補ブロック２１０の画素２１１の数量は、前記マクロブロック１００の画素１０１の数量と同じであり、換言すると、各候補ブロック２１０の大きさは、前記マクロブロック１００の大きさと同じである。前記探索区域２００の候補ブロック２１０の数量は、（２Ｘ＋１）＊（２Ｙ＋１）であり、Ｘは、前記探索区域２００の中心候補ブロック２２０の左側又は右側の候補ブロック２１０の数量であり、Ｙは、前記探索区域２００の中心候補ブロック２２０の上側又は下側の候補ブロック２１０の数量であり、本実施形態において、Ｘ及びＹは全て７であり、前記探索区域２００は、１５行１５列に配列された２２５個の候補ブロック２１０を備える。

前記探索比較モジュール２０は、前記マクロブロック１００と少なくとも１つの候補ブロック２１０とを比較して、前記マクロブロック１００にマッチングする、前記探索区域２００における候補ブロック２１０を探す。比較過程において、所定の順序によって、前記探索比較モジュール２０は、前記マクロブロック１００と複数の候補ブロック２１０とを比較し、且つ前記マクロブロック１００にマッチングする候補ブロック２１０を探す。例えば、前記探索比較モジュール２０は、まず前記マクロブロック１００と前記探索区域２００の中心候補ブロック２２０とを比較して、もし前記中心候補ブロック２２０が前記マクロブロック１００にマッチングすると、前記マクロブロック１００と他の候補ブロック２１０とを比較せず、もし前記中心候補ブロック２２０が前記マクロブロック１００にマッチングしないと、前記マクロブロック１００と前記中心候補ブロック２２０に隣り合う他の候補ブロック２１０とを比較する。他の実施形態において、他の比較順序を採用することもでき、例えば、前記探索区域２００の各候補ブロック２１０と前記マクロブロック１００とを左側から右側へ順に比較して、前記マクロブロック１００にマッチングする候補ブロック２１０を探す。

前記マクロブロック１００にマッチングする候補ブロック２１０を探す際、前記SAD推定システム１は、前記サブブロックＳＭＢ１〜ＳＭＢ９のサブ誤差絶対値和（Ｓｕｂ Ｓｕｍ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＳＡＤ）を加算して、前記マクロブロック１００のSADを算出する。前記SADを算出する過程において、前記探索比較モジュール２０は、各々のサブブロックＳＭＢ１〜ＳＭＢ９から複数の画素１０１を選択してサンプル画素１０２とする。本実施形態において、前記サンプル画素１０２は、図３及び図４における斜線で示す画素である。前記サブブロックＳＭＢ１を例とすると、前記探索比較モジュール２０は、前記サブブロックＳＭＢ１の中心の１つの画素及びその周囲の四つの画素をサンプル画素１０２とする。前記探索比較モジュール２０は、各サンプル画素１０２の画素値を前記中心候補ブロック２２０の全ての画素２１１の画素値と比較して、前記中心候補ブロック２２０内で各サンプル画素１０２の画素値に最も近い画素値を有する画素２１１を探し、前記画素値は、前記参照フレーム及び前記現在のフレームにおける各画素の影像特徴を示し、即ち影像輝度などであり、いずれか１つのサンプル画素１０２の画素値と前記中心候補ブロック２２０の対応する画素２１１の画素値との間の差異が最も小さい時、前記２つの画素の影像特徴が最も似ている。

前記サブブロックＳＭＢ１の左上角のサンプル画素１０２を例として、前記探索比較モジュール２０は、前記サンプル画素１０２の画素値と前記中心候補ブロック２２０の全ての画素２１１の画素値とを比較してから、前記中心候補ブロック２２０内で前記サンプル画素１０２の画素値に最も近い画素値を有する画素２２１を探し、前記方法によって、前記中心候補ブロック２２０内で他のサンプル画素１０２の画素値に最も近い画素値を有する画素２１１を探すこともできる。

前記演算モジュール３０は、各サンプル画素１０２の画素値から、各サンプル画素１０２の画素値に最も近い画素値を有する、前記中心候補ブロック２２０内の画素２１１の画素値を減算してから、その差分の絶対値を計算することにより、各サンプル画素１０２の誤差絶対値を算出する。さらに、前記演算モジュール３０は、各サブブロックＳＭＢ１〜ＳＭＢ９において、全てのサンプル画素１０２の誤差絶対値の平均値を計算し、前記平均値に対応する各サブブロックの画素１０１の総数量を乗算すると、各サブブロックＳＭＢ１〜ＳＭＢ９のＳSADを算出することができる。

前記判断モジュール４０は、前記SADと予定値とを比較して、もし前記SADが前記予定値より小さいと、前記マクロブロック１００が前記中心候補ブロック２２０にマッチングすることを示し、即ち前記参照フレーム上の前記マクロブロック１００の相対位置を確定し、前記SADを０と設定して、前記マクロブロック１００と前記探索区域２００における他の候補ブロック２１０とを比較せず、前記マクロブロック１００の動きベクトル探索を終了する。前記SADが前記予定値より大きい場合、続いて前記マクロブロック１００の他の候補ブロック２１０に対するSADを推定して、最終的にに最も小さいSADを算出し、前記参照フレーム内で前記マクロブロック１００にマッチングする候補ブロック２１０を探し、前記マクロブロック１００に対する動きベクトル探索を実現する。前記予定値は、ユーザーが自主的に設定することができる。

図７に示したように、本発明の誤差絶対値和の推定方法は、前記SAD推定システム１に応用し、且つ以下のステップを備える。

ステップＳ１：パラメーターｉを０になるように初期化する。前記ｉは、前記サブブロックＳＭＢ１〜ＳＭＢ９の序列番号を示し、例えば、ｉが２であると、第２サブブロックＳＭＢ２を示す。

ステップＳ２：前記探索比較モジュール２０は、第ｉサブブロック中心の１つの画素１０１及びその周囲の四つの画素１０１を選択して、サンプル画素１０２とする。

ステップＳ３：前記探索比較モジュール２０は、前記第ｉサブブロックの全てのサンプル画素１０２の誤差絶対値の平均値を計算する。前記探索比較モジュール２０は、まず、前記第ｉサブブロックの各サンプル画素１０２の画素値と前記探索区域２００の１つの候補ブロック２１０、例えば前記中心候補ブロック２２０の全ての画素２１１の画素値とを比較して、前記中心候補ブロック２２０内で各サンプル画素１０２の画素値と最も近い画素値を有する画素２１１を探し、且つ前記第ｉサブブロックの各サンプル画素１０２の画素値から、各サンプル画素１０２の画素値に最も近い画素値を有する、前記中心候補ブロック２２０内の画素２１１の画素値を減算してから、その差分の絶対値を計算することにより、各サンプル画素１０２の誤差絶対値を算出して、前記第ｉサブブロックの全てのサンプル画素１０２の誤差絶対値の平均値を算出する。

ステップＳ４：前記演算モジュール３０は、ｉが１、５、６又は７であるか否かを判断し、もしｉが１、５、６又は７であると、ステップＳ５を実行し、もしｉが１、５、６又は７ではないと、ステップＳ６を実行する。

ステップＳ５：第ｉサブブロック（ＳＭＢ１、ＳＭＢ５、ＳＭＢ６又はＳＭＢ７）のサンプル画素１０２の誤差絶対値の平均値に２５を乗算して、第ｉサブブロックのＳSADを計算し、且つステップＳ９を実行する。

ステップＳ６：ｉが２、３、８又は９であるか否かを判断し、もしｉが２、３、８又は９であると、ステップＳ７を実行し、もしｉが２、３、８又は９ではないと、ステップＳ８を実行する。

ステップＳ７：第ｉサブブロック（ＳＭＢ２、ＳＭＢ３、ＳＭＢ８又はＳＭＢ９）のサンプル画素１０２の誤差絶対値の平均値に３０を乗算して、第ｉサブブロックのＳSADを計算し、且つステップＳ９を実行する。

ステップＳ８：サブブロックＳＭＢ４のサンプル画素１０２の誤差絶対値の平均値に３６を乗算して、前記サブブロックＳＭＢ４のＳSADを計算し、且つステップＳ９を実行する。

ステップＳ９：算出したＳSADを加算してSADを算出し、且つｉの値に１を加える。

ステップＳ１０：ｉが１０であるか否かを判断し、ｉが１０ではないと、ステップＳ２に戻り、ｉが１０であると、ステップＳ１１を実行する。

ステップＳ１１：前記判断モジュール４０は、前記SADが予定値より小さいか否かを判断し、もし前記SADが前記予定値より小さいと、ステップＳ１２を実行する。

ステップＳ１２：前記SADを０に設定し、前記マクロブロック１００と前記中心候補ブロック２２０との比較を終了し、且つ前記マクロブロック１００に対する動きベクトル探索を終了する。

前記SADが前記予定値より小さくない場合、前記マクロブロック１００と前記中心候補ブロック２２０との比較を終了し、前記方法によって、続いて前記マクロブロック１００と前記探索区域２００の他の候補ブロック２１０とを比較して、最も小さいSADを算出し、前記マクロブロック１００にマッチングする候補ブロック２１０を探すことができる。

前記誤差絶対値和の推定システム及び推定方法は、従来の計算方式に取って代わることができ、予測したSADを用いることにより、全ての画素の誤差絶対値を計算する必要がなく、前記誤差絶対値和の推定システムの演算量を少なくし、かつ演算の複雑性を効果的に低下させる。

本発明の誤差絶対値和の推定システム及び推定方法は、SADを予測して、動きベクトル探索の演算法において、費やされる推定時間を短縮し、且つ演算の複雑性を低下させる。

本発明は、予定値を設定する方式によって、マクロブロックに対する動きベクトル探索を早く終えることができ、推定効率を高め、推定誤差を減少する。

前記誤差絶対値和の推定システム及び推定方法は、ブロックマッチングを基礎とする動きベクトル探索演算法に適用し、ビデオ圧縮技術に対して、ブロックマッチングを基礎とする動き探索演算法において、ＳＡＤをマッチング条件とすることができる。

以上本発明を実施形態に基づいて具体的に説明したが、本発明は、上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であり、本発明の保護範囲は、以下の特許請求の範囲から決まる。

１ 誤差絶対値和推定システム
１０ ブロック分割モジュール
２０ 探索比較モジュール
３０ 演算モジュール
４０ 判断モジュール
１００ マクロブロック
１０１，２１１，２２１ 画素
１０２ サンプル画素
２００ 探索区域
２１０ 候補ブロック
２２０ 中心候補ブロック
ＳＭＢ１，ＳＭＢ２，ＳＭＢ３，ＳＭＢ４，ＳＭＢ５，ＳＭＢ６，ＳＭＢ７，ＳＭＢ８，ＳＭＢ９ サブブロック

Claims (5)

1. 参照フレームの候補ブロックに対する現在のフレームのマクロブロックの誤差絶対値和を推定することに用いられ、前記マクロブロックは、複数のサブブロックを備え、前記マクロブロックの画素数と前記候補ブロックの画素数は同じであり、
   各サブブロックから複数の画素を選択してサンプル画素として、且つ前記候補ブロック内で各サンプル画素の画素値と最も近い画素値を有する画素を探す探索比較モジュールと、
   各サンプル画素の画素値から前記候補ブロック内の対応する画素の画素値を減算してから、その差分の絶対値を計算することにより、各サンプル画素の誤差絶対値を算出して、且つ各サブブロックの全てのサンプル画素の誤差絶対値の平均値を計算し、前記平均値に対応するサブブロックの画素数を乗算して、各サブブロックのサブ誤差絶対値和を算出し、前記マクロブロックの全てのサブブロックのサブ誤差絶対値和を加算して、前記マクロブロックの誤差絶対値和を算出する演算モジュールと、
   を備えることを特徴とする誤差絶対値和推定システム。
2. 前記誤差絶対値和推定システムは、前記マクロブロックを複数のサブブロックに分割するブロック分割モジュールをさらに備えることを特徴とする請求項１に記載の誤差絶対値和推定システム。
3. 前記現在のフレーム及び前記参照フレームは、動画像における連続する２つのフレームであることを特徴とする請求項１に記載の誤差絶対値和推定システム。
4. 参照フレームの候補ブロックに対する現在のフレームのマクロブロックの誤差絶対値和を推定することに用いられ、前記マクロブロックは複数のサブブロックを備える誤差絶対値和の推定方法であって、
   探索比較モジュールによって、各サブブロックから一部分の画素を選択してサンプル画素とするステップと、
   前記探索比較モジュールによって、１つの候補ブロック内で各サンプル画素の画素値に最も近い画素値を有する画素を探し、且つ前記候補ブロックの画素数と前記マクロブロックの画素数は同じであるステップと、
   演算モジュールによって、前記各サンプル画素の画素値から前記候補ブロック内の対応する画素の画素値を減算し、且つその差分の絶対値を計算することにより、各サンプル画素の誤差絶対値を算出するステップと、
   前記演算モジュールによって、各サブブロックの全てのサンプル画素の誤差絶対値の平均値を計算し、前記平均値に対応するサブブロックの画素数を乗算して、各サブブロックのサブ誤差絶対値和を算出するステップと、
   前記演算モジュールによって、前記マクロブロックの全てのサブブロックのサブ誤差絶対値和を加算して、前記マクロブロックの誤差絶対値和を算出するステップと、
   判断モジュールによって、前記マクロブロックの誤差絶対値和と予定値とを比較して、前記誤差絶対値和が前記予定値より小さい場合、前記マクロブロックに対する動きベクトル探索を終了するステップと、
   を備えることを特徴とする誤差絶対値和の推定方法。
5. 前記判断モジュールは、前記誤差絶対値和を０に設定する方式によって、前記マクロブロックに対する動きベクトル探索を終了することを特徴とする請求項４に記載の誤差絶対値和の推定方法。

Images