JP3856262B2

JP3856262B2 - Motion compensation encoding apparatus, motion compensation encoding method, and motion compensation code recording medium

Info

Publication number: JP3856262B2
Application number: JP7486598A
Authority: JP
Inventors: 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1998-03-09
Filing date: 1998-03-09
Publication date: 2006-12-13
Anticipated expiration: 2018-03-09
Also published as: JPH11262018A

Description

【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化に係り、特に動き補償画像間予測処理を行い、そこで動きベクトル情報を符号化して復号側に伝送するものに関する。
【０００２】
【従来の技術】
＜動き補償画像符号化＞
動画像の高能率符号化において、画像間予測を行う際に動きに合わせて画像の各部分をブロック毎に移動させてから予測する手法がある。このような画像の空間的な移動処理は動き補償と呼ばれ、ＭＰＥＧ等国際標準方式でも広く用いられている。動き補償は一般に１６×１６画素乃至８×８画素単位で行われ、画像の動き（動きベクトル）もその単位で求められる。
動きベクトル（ＭＶ）の精度としては、１画素または２分の１画素（０．５画素）が一般的である。０．５画素の場合は空間的に移動した画素を、更に内挿して本来の画素の中間に相当する画素を作る。画像間予測で動き補償を用いた場合、復号化でも符号化と同じ動き補償を行う必要があるので、ＭＶは符号化され復号側に伝送される。
【０００３】
＜従来の符号化装置＞
図７に上記のような動き補償を行う符号化装置の構成例を示す。
画像入力端子１から入来する画像信号は、予測減算器２において動き補償予測器７２から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ３は８×８画素単位で離散コサイン変換（ＤＣＴ）の変換処理を行い、得られた係数を量子化器４に与える。
量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器９に与える。一般に、量子化のステップ幅は転送レートを一定に保持するために発生符号量により制御される。
可変長符号化器５はジグザグスキャンと呼ばれる順序で、２次元の８×８個の係数を１次元に配列変換し、係数を０の連続数と０以外の係数の値としてハフマン符号で符号化する。このようにして符号列となった画像間予測残差信号は、多重化器１０で動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子１１より出力される。
【０００４】
一方、逆量子化器９及び逆ＤＣＴ１６ではＤＣＴ３及び量子化器４の逆処理が行われ、画像間予測残差を再生する。得られた予測残差には加算器１５で予測信号が加算され再生画像となり、画像メモリ１４に蓄えられる。画像メモリ１４からは再生画像が動き推定器７１と動き補償予測器７２とに与えられる。
逆量子化器９から画像メモリ１４までの処理は局部復号と呼ばれ、基本的に復号化装置と同じ処理となる。動き補償予測器７２は、動き推定器７１から与えられる動きベクトルに従って、画像メモリ１４に蓄積されている画像をブロック毎に移動させ、画像間予測信号を得る。動き補償された予測信号は、減算器２及び加算器１５に与えられる。
【０００５】
動き推定器７１では、動き補償のブロック単位で画像メモリ１４に蓄積されている再生画像を移動させて入力画像とブロックマッチングを取り、最もマッチングが良好となる（誤差の少ない）移動をＭＶとする。得られたＭＶは動き補償予測器７２の他に、符号化のためＭＶ符号化器７３にも与えられる。ＭＶの精度は０．５画素である。
ＭＶ符号化器７３では、符号化済みの前（通常は左）ブロックの値と符号化対象となるブロックのベクトル値を水平成分、垂直成分毎に比較し、その差分値をハフマン符号で符号化する。得られたＭＶの符号列は多重化器１０で、画像間予測残差の符号列と多重化される。
【０００６】
＜従来の画像復号化装置＞
図７の動き補償符号化装置に対応する復号化装置について以下に説明する。
図８は、その復号化装置の構成を示したものである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトル（ＭＶ）の符号列とに分離される。画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた８×８の係数は逆量子化器９に与えられる。逆量子化器９、逆ＤＣＴ１６で再生予測残差となり、加算器１５で予測信号が加算され再生画像となる。
【０００７】
このようにして得られた再生画像は、画像出力端子２４から出力されると共に画像メモリ１４に与えられる。動き補償予測器７２では、ＭＶ復号化器８１から与えられるＭＶに従って、画像メモリ１４に蓄えられている画像を動き補償し、得られた画像間予測信号を加算器１５に与える。ここで、加算器１５、逆量子化器９、逆ＤＣＴ１６の動作は図７の符号化装置のものと同じである。
一方、多重分離器２２で分離されたＭＶの符号列は、ＭＶ復号化器８１で図７の可変長符号化器７３の逆処理が行われ、得られたＭＶ情報が動き補償予測器７２に与えられる。
【０００８】
【発明が解決しようとする課題】
従来の動き補償符号化装置は、画像の内容に関係なく固定的に動きベクトル（ＭＶ）の精度が設定されていた。そのため、自己相関が低い（高い周波数成分が多い）画像は、ＭＶの精度が不十分で予測誤差が発生し、早い動き等で自己相関が高くなる（高い周波数成分が少なくなる）画像は、高いＭＶの精度は必要なく、逆にＭＶの情報が無駄になる。このような問題は、動き補償のブロックを小さくし、ＭＶの情報量が多くなる程顕著になる。
本発明は以上の点に着目してなされたもので、所定精度で仮に求められたＭＶの変化の程度と画像の高い周波数成分の程度を判定基準として、ＭＶを複数個束ねた単位でＭＶの精度を選定することで適切なＭＶの精度で動き補償することになり、符号量削減が可能になる動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
そこで、本発明は、上記課題を解決するために以下の装置及び方法を提供するものである。
（１）動き補償画像間予測をして符号化を行う動画像の動き補償符号化装置において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求める仮動き推定手段と、
前記仮動きベクトルの変化の程度を前記ブロックが複数統合された統合ブロック単位で求める動きベクトル活性度検出手段と、
前記入力画像の空間的に高い周波成分の程度を前記統合ブロック単位で求める高周波成分検出手段と、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定する動きベクトル精度選択手段と、
前記選定の動きベクトル精度で実際の動き補償で用いる動きベクトルを求める本動き推定手段と、
前記動きベクトルを用い動き補償画像間予測信号を形成する手段と、
前記動きベクトルを符号化する手段とを有することを特徴とする動き補償符号化装置。
（２）上記（１）に記載された動き補償符号化装置において、
前記動きベクトル活性度検出手段は、
仮動きベクトルの空間的差分を得る差分検出手段と、
前記差分検出手段の出力が供給されて前記差分の絶対値を得る絶対値化手段と、
前記絶対値化手段の出力が供給されて前記絶対値を統合ブロック単位に加算して平均値を得る累積加算手段とを有する構成としたことを特徴とする動き補償符号化装置。
（３）動き補償画像間予測をして符号化を行う動画像の動き補償符号化方法において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求め、
前記仮動きベクトルの変化の程度を、前記ブロックが複数統合された統合ブロック単位で求め、
前記入力画像の空間的に高い周波成分の程度を、前記統合ブロック単位で求め、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定し、
前記精度で実際の動き補償で用いる動きベクトルを求め、
前記動きベクトルを用い、動き補償画像間予測信号を形成し、
前記動きベクトルの情報を符号化することを特徴とする動き補償符号化方法。
【００１０】
（作用）
本発明では、仮に求められた動きベクトル（ＭＶ）の変化の程度と画像の高い周波数成分の程度とを判定基準に使うが、ＭＶの変化の程度は動きベクトル情報量と密接に関係し、画像の高い周波数成分の程度は、動き補償画像間予測で必要となる動きベクトルの精度と密接に関係する。それらに基づきＭＶを複数個束ねた単位でＭＶの精度を選定することで、画像間予測残差の符号量とＭＶの符号量の関係で、総符号量の少なくなるＭＶの精度が選定される。
動き補償精度の情報が追加されるが、数十ブロックで１乃至２ビット程度の情報量なので無視できる程度である。
【００１１】
【発明の実施の形態】
＜動き補償符号化装置の実施例＞
本発明の動き補償符号化装置の一実施例について、以下に図１、図２乃至図６と共に説明する。図１は、その構成を示したもので、図７の従来例と同一構成要素には同一付番を記してある。図１には、図７と比較して仮動き推定器６、高域検出器７、活性度検出器１２、ＭＶ精度選択器１３がある。また、動き推定器１７、動き補償予測器８、可変長符号化器１８の動作が従来例と異なる。
実施例において、従来例と異なるのは動き補償画像間予測処理であり、予測残差の符号化処理や局部復号処理は同じである。従って、図１で画像入力端子１、減算器２、ＤＣＴ３、量子化器４、可変長符号化器５、逆量子化器９、加算器１５、逆ＤＣＴ１６、符号出力端子１１の動作は従来例と同じである。
【００１２】
以下本発明の特徴となる動き推定及び動き補償、ＭＶ情報の符号化について説明する。
画像入力端子１を介して入来する入力信号（入力画像）は、減算器２の他に仮動き推定器６、高域検出器７にも供給される。
仮動き推定器６では、入力信号から従来例と同様な動き補償のブロック単位で１画素精度の仮ＭＶが求められ、活性度検出器１２に与えられる。
活性度検出器１２では、図６に示されるような６４個の動き補償ブロックが束ねられた統合ブロック単位で、ＭＶの活性度が求められ、ＭＶ精度判定器１３に与えられる。
【００１３】
ＭＶ活性度検出器１２の具体的な処理回路の一実施例の構成を図３に示す。
活性度検出は、ＭＶ値の水平方向成分と垂直方向成分との夫々に施される。
ＭＶ値は差分検出器３１で差分が取られ、その差分値が絶対値化器３２に与えられる。差分はＭＶ符号化器１８の処理に合わせて、符号化が横の隣接ブロックとの差分なら、ここにおいても横の隣接ブロックとの差分を取る。絶対値化器３２は、差分値を絶対値にし、累積加算器３３に与える。累積加算器３３は、絶対値化された値を統合ブロック分の６４個分加算し、さらに水平成分と垂直成分を加算して平均値を得る。双方向予測等、ＭＶが２つある場合は、両方のＭＶを別々に加算して、その値の少ない方を出力する。
【００１４】
一方、高域検出器７は入力信号から統合ブロック単位で、高い周波数成分がどの程度かを検出して、その結果をＭＶ精度判定器１３に与える。
高域検出器７の内部処理回路の一実施例の構成を図４に示す。入力画像は６４×６４画素の大ブロック単位で、各画素に高域通過フィルタ（ＨＰＦ）が施される。
空間ＨＰＦ４１は、図のような２次元の演算または垂直及び水平の縦続処理で、ＤＣ成分を含む低い周波数成分が抑圧される。低域が抑圧された空間ＨＰＦ４１の出力信号は、絶対値化器４２で絶対値にされ、累積加算器４３に与えられる。
累積加算器４３は、絶対値を統合ブロックの4096画素分加算して、平均値を得る。
【００１５】
ＭＶ精度判定器１３は、高域検出器７の出力と活性度検出器１２の出力とから得られる２つの値から、ＭＶの精度を１画素とするか、０．５画素とするか、又は、０．２５画素とするかを図５に示したようなＭＶ精度判定表のグラフの基準に照らして、統合ブロック毎に決定する。決定されたＭＶの精度（１、０．５、又は、０．２５画素精度）は、動き推定器１７に与えられる。ＭＶ精度判定器１３は、大ブロック毎に入力される２値から、予め統計的に求められ発生符号量に基づき設定された２次元閾値によりＭＶの精度を決定する。具体的には図５に示したようなグラフをＭＶ精度判定表として、ＭＶ活性度が低く、高域（高周波成分）が多い場合は０．２５画素精度と判定し、逆にＭＶ活性度が高く、高域が少ない場合は１画素精度と判定する。両者の中間程度の場合には０．５画素精度とする。
【００１６】
動き推定器１７は、与えられたＭＶの精度で、与えられた入力画像及び局部復号画像とからＭＶを求める。動き推定器１７により求められたＭＶの情報は、動き補償予測器８とＭＶ符号化器１８とに与えられる。なお、ＭＶの情報には画素精度の情報も含まれる。
動き推定器１７でＭＶは新たに求めても良いが、仮動き推定器６で求めた仮ＭＶを用いても良い。最も処理量の少ない方法は、ＭＶの精度が１画素の場合は、仮ＭＶをそのままＭＶとする方法である。そして精度が０．５画素なら、１画素精度の仮ＭＶを基準に周辺ＭＶに付いて０．５画素精度で再探索し、求められた０．５画素精度ＭＶを最終的なＭＶとする。ＭＶの精度が０．２５画素の場合は、前記方法で０．５画素のＭＶを求めた後に、それを基準に０．２５精度で再探索し、求められた０．２５画素精度ＭＶを最終的なＭＶとする。
【００１７】
動き補償予測器８は、与えられたＭＶに従って画像メモリ１４に保持されている再生画像を空間的に移動させ、画像間予測信号として減算器２と加算器１５に与える。ＭＶは精度が変化するので、１画素の場合は画素単位の移動処理のみで済むが、０．５精度と０．２５精度の場合はリサンプル処理が必要になり、その精度が異なる。
【００１８】
ＭＶ符号化器１８は、基本的な処理動作は従来例と同じであるが、各ＭＶの値はＭＶの精度で正規化して、ＭＶの精度の情報を別に付けるのが合理的である。つまり、差分に対する可変長符号表は整数値に対するもの１種類を用意し、１画素精度の場合はそのまま、０．５画素精度の場合は値を２倍し、０．２５画素精度の場合はその値を４倍して、すべて整数として共通の符号表を用いる。そして、統合ブロック単位で、ＭＶの精度の符号を付随させる。
【００１９】
ＭＶの精度の情報は統合ブロックの６４×６４画素に対して１乃至２ビットであり、符号量としては無視できる程度である。
図１には構成上特に記載はないが、ＭＶの精度の判定には少なくとも１統合ブロック分の処理時間がかかるので、その時間だけ動き推定器１７以降の処理は遅延させる必要がある。
また、通常のラスタースキャンの画像信号は、処理に合わせてブロックや統合ブロックの順に配列変換される。
【００２０】
＜動き補償符号記録媒体の実施例＞
図１に示す本発明の動き補償符号化装置から出力される符号列を、動き補償符号記録媒体に記録する。
この場合、動き補償符号記録媒体は、入力画像から動き補償のブロックが複数個統合されたブロック単位でＭＶの精度を選定し、その精度で実際の動き補償で用いるＭＶを求めて画像間予測符号化を行って得た予測残差の符号列と、前記ＭＶの情報を統合されたブロック単位でＭＶの精度の情報を有する形態で符号化して得たＭＶの符号列とを多重化して得られた符号列を記録したものとなる。
この符号列は、従来例の符号化装置より出力される符号列と比較して、単位時間当たりの符号量が少なく、同一容量の記録媒体に、より長時間の情報を記録をすることが出来る。
【００２１】
＜動き補償復号化装置の実施例＞
本発明の動き補償符号化装置に対応する復号化装置の一実施例について、以下に図と共に説明する。
図２は、その復号化装置の構成を示したもので、従来例と同一構成要素には同一番号を付してある。図２は図８と比較してＭＶ復号化器２５、動き補償予測器８の動作が異なる。実施例において、従来例と異なるのは動き補償画像間予測処理であり、符号入力端子２１、多重分離器２２、可変長復号化器２３、逆量子化器９、逆ＤＣＴ１６、加算器１５、画像出力端子２４、画像メモリ１４の夫々の動作は、基本的には従来例と同じである。
【００２２】
図２に示す多重分離器２２で分離されたＭＶ情報は、ＭＶ復号化器２５で、図１のＭＶ符号化器１８の逆処理が行われる。その際、統合ブロック毎に、挿入されているＭＶの画素精度の情報も復号化される。
得られたＭＶの整数値は、ＭＶの精度値を乗じてＭＶを再生し、動き補償予測器８に与える。動き補償予測器８は、そのＭＶに基づいて、図１と同様な予測信号を形成する。
【００２３】
【発明の効果】
本発明では、所定精度の仮動きベクトル（ＭＶ）の変化の程度と、画像の高い周波数成分の程度を求めるが、ＭＶの変化の程度は動きベクトル情報量と密接に関係し、画像の高い周波数成分の程度は動き補償画像間予測で必要となる動き補償の精度と密接に関係する。それらに基づきＭＶを複数個束ねた単位でＭＶの精度を選定することで、画像間予測残差の符号量とＭＶの符号量の関係で、最も合理的に総符号量の少なくなる精度が選定される。
【００２４】
従って、従来動き補償の精度が不十分で予測残差の符号量が多かったり、ＭＶの精度が不必要に細かくてＭＶ符号量が多かった画像の部分で符号量が削減され、総符号量が低く押さえられる。逆に発生符号量（転送レート）を一定にとると、符号量制御で量子化が細かくなり、再生画像の品質が向上する。
仮ＭＶは、そのまま実際のＭＶの基として使えるので、処理量の増加も僅かで済む。
【００２５】
また、本発明では、従来例の符号化装置より出力される符号列と比較して、単位時間当たりの符号量が少なく出来、同一容量の記録媒体に、より長時間の情報を記録可能な記録媒体を提供出来る。
【図面の簡単な説明】
【図１】本発明の動き補償符号化装置の一実施例の構成例を示す図である。
【図２】本発明の動き補償復号化装置の一実施例の構成例を示す図である。
【図３】本発明のＭＶ活性度検出器の一実施例の処理の構成を示す図である。
【図４】本発明の高域検出器の一実施例の処理の構成を示す図である。
【図５】本発明のＭＶ精度判定での閾値の一実施例を示す図である。
【図６】本発明の一実施例の動き補償ブロックと統合ブロックの関係を示した図である。
【図７】従来の動き補償符号化装置の構成の一例を示す図である。
【図８】従来の動き補償復号化装置の構成の一例を示す図である。
【符号の説明】
１画像入力端子
２減算器
３ＤＣＴ
４量子化器
５可変長符号化器
６仮動き推定器（仮動き推定手段）
７高域検出器（高周波成分検出手段）
８動き補償予測器（動き補償画像間予測信号を形成する手段）
９逆量子化器
１０多重化器
１１符号出力端子
１２ＭＶ活性度検出器（動きベクトル活性度検出手段）
１３ＭＶ精度判定器（動きベクトル精度選択手段）
１４画像メモリ
１５加算器
１６逆ＤＣＴ
１７動き推定器（本動き推定手段）
１８ＭＶ符号化器（動きベクトルを符号化する手段）
２１符号入力端子
２２多重分離器
２３可変長復号化器
２４画像出力端子
２５、８１ＭＶ復号化器
３１差分検出器
３２、４２絶対値化器
３３、４３累積加算器
４１空間ＨＰＦ
７１動き推定器
７２動き補償予測器
７３ＭＶ符号化器[0001]
BACKGROUND OF THE INVENTION
In order to efficiently transmit, store, and display images, it is related to high-efficiency coding that converts image information into digital signals with a smaller code amount, and in particular performs motion compensation inter-picture prediction processing, where motion vector information is encoded. The transmission to the decoding side.
[0002]
[Prior art]
<Motion compensated image coding>
In high-efficiency coding of moving images, there is a method of performing prediction after moving each part of an image for each block in accordance with movement when performing inter-image prediction. Such spatial movement processing of an image is called motion compensation and is widely used in international standard systems such as MPEG. The motion compensation is generally performed in units of 16 × 16 pixels to 8 × 8 pixels, and the motion (motion vector) of the image is also determined in that unit.
As the accuracy of the motion vector (MV), one pixel or one-half pixel (0.5 pixel) is generally used. In the case of 0.5 pixel, a pixel corresponding to the middle of the original pixel is created by further interpolating the spatially moved pixel. When motion compensation is used in inter-picture prediction, it is necessary to perform motion compensation that is the same as that in encoding, so that MV is encoded and transmitted to the decoding side.
[0003]
<Conventional Encoding Device>
FIG. 7 shows a configuration example of an encoding apparatus that performs motion compensation as described above.
The image signal coming from the image input terminal 1 is subtracted from the inter-picture prediction signal given from the motion compensated predictor 72 in the prediction subtracter 2 and given to the DCT 3 as a prediction residual. The DCT 3 performs discrete cosine transform (DCT) conversion processing in units of 8 × 8 pixels, and gives the obtained coefficient to the quantizer 4.
The quantizer 4 quantizes the coefficient with a predetermined step width, and supplies the coefficient that has become a fixed-length code to the variable-length encoder 5 and the inverse quantizer 9. In general, the quantization step width is controlled by the amount of generated codes in order to keep the transfer rate constant.
The variable-length encoder 5 converts a two-dimensional 8 × 8 coefficient into a one-dimensional array in an order called a zigzag scan, and encodes the coefficient with a Huffman code as a continuous number of zeros and a coefficient value other than zero. To do. The inter-picture prediction residual signal thus converted into a code string is multiplexed with the code string of the motion vector (MV) by the multiplexer 10 and output from the code output terminal 11.
[0004]
On the other hand, the inverse quantizer 9 and the inverse DCT 16 perform the inverse processing of the DCT 3 and the quantizer 4 to reproduce the inter-picture prediction residual. A prediction signal is added to the obtained prediction residual by the adder 15 to form a reproduced image, which is stored in the image memory 14. A reproduced image is supplied from the image memory 14 to the motion estimator 71 and the motion compensated predictor 72.
The processing from the inverse quantizer 9 to the image memory 14 is called local decoding and is basically the same processing as the decoding device. The motion compensation predictor 72 moves the image stored in the image memory 14 for each block according to the motion vector given from the motion estimator 71, and obtains an inter-image prediction signal. The motion-compensated prediction signal is supplied to the subtracter 2 and the adder 15.
[0005]
The motion estimator 71 moves the reproduced image stored in the image memory 14 in units of motion compensation blocks to perform block matching with the input image, and sets MV as the movement with the best matching (small error). . The obtained MV is given not only to the motion compensated predictor 72 but also to the MV encoder 73 for encoding. The accuracy of MV is 0.5 pixel.
In the MV encoder 73, the value of the previous (normally left) block that has been encoded and the vector value of the block to be encoded are compared for each horizontal component and vertical component, and the difference value is encoded by the Huffman code. To do. The obtained MV code string is multiplexed by the multiplexer 10 with the code string of the inter-picture prediction residual.
[0006]
<Conventional Image Decoding Device>
A decoding apparatus corresponding to the motion compensation encoding apparatus of FIG. 7 will be described below.
FIG. 8 shows the configuration of the decoding apparatus.
The code coming from the code input terminal 21 is separated by the demultiplexer 22 into an inter-picture prediction residual code string and a motion vector (MV) code string. The code sequence of the inter-picture prediction residual is returned to a fixed length code by the variable length decoder 23, and the obtained 8 × 8 coefficient is given to the inverse quantizer 9. A reproduction prediction residual is obtained by the inverse quantizer 9 and the inverse DCT 16, and a prediction signal is added by the adder 15 to obtain a reproduction image.
[0007]
The reproduced image thus obtained is output from the image output terminal 24 and is given to the image memory 14. The motion compensation predictor 72 performs motion compensation on the image stored in the image memory 14 in accordance with the MV supplied from the MV decoder 81, and provides the obtained inter-image prediction signal to the adder 15. Here, the operations of the adder 15, the inverse quantizer 9, and the inverse DCT 16 are the same as those of the encoding apparatus of FIG.
On the other hand, the MV code string separated by the demultiplexer 22 is subjected to the inverse process of the variable length encoder 73 of FIG. 7 by the MV decoder 81, and the obtained MV information is sent to the motion compensated predictor 72. Given.
[0008]
[Problems to be solved by the invention]
In the conventional motion compensation encoding apparatus, the accuracy of the motion vector (MV) is fixedly set regardless of the content of the image. For this reason, an image with low autocorrelation (many high frequency components) has an insufficient MV accuracy and a prediction error occurs, and an image with high autocorrelation (high frequency components decrease) due to fast movement or the like is high. The accuracy of MV is not necessary, and MV information is wasted. Such a problem becomes more prominent as the motion compensation block is reduced and the information amount of MV is increased.
The present invention has been made paying attention to the above points. The MV is a unit obtained by bundling a plurality of MVs by using the degree of change in MV temporarily obtained with a predetermined accuracy and the degree of high frequency components of the image as a criterion. An object of the present invention is to provide a motion compensation coding apparatus, a motion compensation coding method, and a motion compensation code recording medium capable of reducing a code amount by performing motion compensation with appropriate MV precision by selecting precision. And
[0009]
[Means for Solving the Problems]
Accordingly, the present invention provides the following devices and methods in order to solve the above Symbol challenges.
(1) In a motion compensation coding apparatus for moving pictures that performs coding by performing motion compensation inter-picture prediction,
Provisional motion estimation means for obtaining a provisional motion vector with a predetermined accuracy for each block of motion compensation from an input image;
Motion vector activity detection means for obtaining a degree of change of the temporary motion vector in an integrated block unit in which a plurality of the blocks are integrated;
High-frequency component detection means for obtaining the degree of spatially high frequency components of the input image in units of the integrated blocks;
From the degree of change of the provisional motion vector and the degree of the high frequency component, the degree of change of the provisional motion vector is low, and when the degree of the high frequency component is large, the accuracy of the motion vector is high. On the other hand, the motion vector accuracy for selecting the accuracy of the motion vector in units of the integrated blocks so that the accuracy of the motion vector is low when the degree of change of the temporary motion vector is high and the degree of the high frequency component is small. A selection means;
The present motion estimation means for obtaining a motion vector used in actual motion compensation with the selected motion vector accuracy;
Means for forming a motion compensated inter-picture prediction signal using the motion vector;
A motion compensation coding apparatus comprising: means for coding the motion vector.
(2) In the motion compensation encoding apparatus described in (1) above,
The motion vector activity detection means includes
Difference detection means for obtaining a spatial difference of the provisional motion vector;
Absolute value means for obtaining an absolute value of the difference by supplying an output of the difference detection means;
A motion compensation coding apparatus comprising: cumulative addition means for supplying an output of the absolute value converting means and adding the absolute values in units of integrated blocks to obtain an average value.
(3) In a motion compensation coding method for a moving image in which motion compensation inter prediction is performed for encoding,
A temporary motion vector with a predetermined accuracy is obtained for each motion compensation block from the input image,
The degree of change in the temporary motion vector is determined in units of integrated blocks in which a plurality of the blocks are integrated,
The degree of spatially high frequency components of the input image is determined in units of the integrated block,
From the degree of change of the provisional motion vector and the degree of the high frequency component, the degree of change of the provisional motion vector is low, and when the degree of the high frequency component is large, the accuracy of the motion vector is high. Conversely, when the degree of change of the temporary motion vector is high and the degree of the high frequency component is small, the accuracy of the motion vector is selected in units of the integrated blocks so that the accuracy of the motion vector is low,
A motion vector used in actual motion compensation with the accuracy is obtained,
Using the motion vector to form a motion compensated inter-picture prediction signal;
A motion compensation encoding method, wherein the motion vector information is encoded.
[0010]
(Work)
In the present invention, the degree of change in the motion vector (MV) obtained and the degree of the high frequency component of the image are used as criteria. However, the degree of change in the MV is closely related to the amount of motion vector information. The degree of the high frequency component is closely related to the accuracy of the motion vector required for the motion compensated inter-picture prediction. Based on these, by selecting the MV accuracy in a unit in which a plurality of MVs are bundled, the accuracy of the MV that reduces the total code amount is selected based on the relationship between the code amount of the inter-picture prediction residual and the MV code amount. .
Information on motion compensation accuracy is added, but it is negligible because the information amount is about 1 to 2 bits in tens of blocks.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
<Example of Motion Compensation Encoding Device>
An embodiment of the motion compensation coding apparatus of the present invention will be described below with reference to FIGS. 1 and 2 to 6. FIG. 1 shows the configuration, and the same reference numerals are given to the same components as those of the conventional example of FIG. 1 includes a temporary motion estimator 6, a high frequency detector 7, an activity detector 12, and an MV accuracy selector 13 as compared with FIG. 7. In addition, the operations of the motion estimator 17, the motion compensation predictor 8, and the variable length encoder 18 are different from the conventional example.
In the embodiment, the difference from the conventional example is a motion compensated inter-picture prediction process, and the encoding process and the local decoding process of the prediction residual are the same. Accordingly, in FIG. 1, the operations of the image input terminal 1, the subtractor 2, the DCT 3, the quantizer 4, the variable length encoder 5, the inverse quantizer 9, the adder 15, the inverse DCT 16, and the code output terminal 11 are conventional examples. Is the same.
[0012]
The following describes motion estimation, motion compensation, and MV information encoding, which are features of the present invention.
An input signal (input image) coming through the image input terminal 1 is supplied to the temporary motion estimator 6 and the high frequency detector 7 in addition to the subtracter 2.
In the temporary motion estimator 6, a temporary MV with one pixel accuracy is obtained from the input signal in units of motion compensation blocks similar to the conventional example, and is supplied to the activity detector 12.
In the activity detector 12, the MV activity is obtained in units of integrated blocks in which 64 motion compensation blocks as shown in FIG. 6 are bundled, and is given to the MV accuracy determiner 13.
[0013]
The configuration of an embodiment of a specific processing circuit of the MV activity detector 12 is shown in FIG.
The activity detection is performed for each of the horizontal component and the vertical component of the MV value.
The MV value is differenced by the difference detector 31, and the difference value is given to the absolute value calculator 32. In accordance with the processing of the MV encoder 18, if the difference is the difference with the horizontal adjacent block, the difference is also taken here with the horizontal adjacent block. The absolute value calculator 32 converts the difference value into an absolute value and gives it to the cumulative adder 33. The cumulative adder 33 adds 64 absolute block values for the integrated block, and further adds a horizontal component and a vertical component to obtain an average value. When there are two MVs such as bi-directional prediction, both MVs are added separately and the one with the smaller value is output.
[0014]
On the other hand, the high frequency detector 7 detects how much high frequency components are in units of integrated blocks from the input signal and gives the result to the MV accuracy determiner 13.
The configuration of an embodiment of the internal processing circuit of the high frequency detector 7 is shown in FIG. The input image is a large block unit of 64 × 64 pixels, and a high-pass filter (HPF) is applied to each pixel.
In the space HPF 41, low frequency components including DC components are suppressed by two-dimensional calculation as shown in the figure or vertical and horizontal cascade processing. The output signal of the spatial HPF 41 in which the low frequency is suppressed is converted to an absolute value by the absolute value converter 42 and is supplied to the cumulative adder 43.
The cumulative adder 43 adds the absolute values for 4096 pixels of the integrated block to obtain an average value.
[0015]
The MV accuracy determiner 13 determines whether the MV accuracy is 1 pixel, 0.5 pixels, or two values obtained from the output of the high frequency detector 7 and the output of the activity detector 12, or , 0.25 pixel is determined for each integrated block in light of the criteria of the graph of the MV accuracy judgment table as shown in FIG. The determined MV accuracy (1, 0.5, or 0.25 pixel accuracy) is provided to the motion estimator 17. The MV accuracy determiner 13 determines the accuracy of the MV based on a two-dimensional threshold that is statistically obtained in advance from the binary values input for each large block and set based on the generated code amount. Specifically, using the graph as shown in FIG. 5 as an MV accuracy determination table, when the MV activity is low and the high frequency (high frequency component) is large, it is determined as 0.25 pixel accuracy, and conversely, the MV activity is If it is high and the high frequency is small, it is determined that the accuracy is one pixel. In the case of an intermediate level between the two, 0.5 pixel accuracy is set.
[0016]
The motion estimator 17 obtains the MV from the given input image and the locally decoded image with the given MV accuracy. The MV information obtained by the motion estimator 17 is provided to the motion compensated predictor 8 and the MV encoder 18. The MV information includes pixel accuracy information.
Although the MV may be newly obtained by the motion estimator 17, the temporary MV obtained by the temporary motion estimator 6 may be used. The method with the smallest processing amount is a method in which the temporary MV is used as it is when the MV accuracy is one pixel. If the accuracy is 0.5 pixel, the temporary MV with 1 pixel accuracy is used as a reference and the surrounding MV is searched again with 0.5 pixel accuracy, and the obtained 0.5 pixel accuracy MV is set as the final MV. When the accuracy of the MV is 0.25 pixel, after obtaining the MV of 0.5 pixel by the above method, the search is performed again with the accuracy of 0.25 based on the MV, and the obtained 0.25 pixel accuracy MV is finally obtained. MV.
[0017]
The motion compensated predictor 8 spatially moves the reproduced image held in the image memory 14 according to the given MV, and provides it to the subtracter 2 and the adder 15 as an inter-picture prediction signal. Since the accuracy of MV changes, in the case of one pixel, only a pixel-unit moving process is required, but in the case of 0.5 precision and 0.25 precision, resampling processing is required, and the precision differs.
[0018]
The basic processing operation of the MV encoder 18 is the same as that of the conventional example, but it is reasonable to normalize the values of each MV with the accuracy of the MV and separately attach the information of the accuracy of the MV. In other words, a variable length code table for the difference is prepared for one type for integer values, and in the case of 1 pixel accuracy, the value is doubled in the case of 0.5 pixel accuracy, and in the case of 0.25 pixel accuracy. The value is multiplied by 4 and a common code table is used as all integers. And the code | symbol of the precision of MV is attached in an integrated block unit.
[0019]
The information on the accuracy of MV is 1 to 2 bits for 64 × 64 pixels of the integrated block, and the code amount is negligible.
Although there is no particular description in the configuration in FIG. 1, it takes a processing time for at least one integrated block to determine the accuracy of the MV. Therefore, it is necessary to delay the processing after the motion estimator 17 by that time.
In addition, an image signal of a normal raster scan is converted in order of blocks and integrated blocks in accordance with processing.
[0020]
<Example of Motion Compensation Code Recording Medium>
The code string output from the motion compensation coding apparatus of the present invention shown in FIG. 1 is recorded on the motion compensation code recording medium.
In this case, the motion compensation code recording medium selects the accuracy of the MV for each block in which a plurality of motion compensation blocks are integrated from the input image, and obtains the MV to be used in the actual motion compensation with the accuracy, thereby inter-picture prediction code. Obtained by multiplexing the prediction residual code string obtained by performing the encoding and the MV code string obtained by encoding the MV information in a form having the MV accuracy information in integrated block units. The code string is recorded.
This code string has a smaller code amount per unit time than a code string output from a conventional encoding apparatus, and can record information for a longer time on a recording medium of the same capacity. .
[0021]
<Example of Motion Compensated Decoding Device>
An embodiment of a decoding apparatus corresponding to the motion compensation encoding apparatus of the present invention will be described below with reference to the drawings.
FIG. 2 shows the configuration of the decoding apparatus, and the same reference numerals are given to the same components as in the conventional example. 2 differs from FIG. 8 in the operations of the MV decoder 25 and the motion compensated predictor 8. In the embodiment, the motion-compensated inter-picture prediction process is different from the conventional example. The code input terminal 21, the demultiplexer 22, the variable length decoder 23, the inverse quantizer 9, the inverse DCT 16, the adder 15, the image The operations of the output terminal 24 and the image memory 14 are basically the same as in the conventional example.
[0022]
The MV information separated by the demultiplexer 22 shown in FIG. 2 is reversely processed by the MV decoder 25 in the MV encoder 18 of FIG. At this time, the information on the pixel accuracy of the inserted MV is also decoded for each integrated block.
The obtained integer value of the MV is multiplied by the accuracy value of the MV to reproduce the MV, and is given to the motion compensation predictor 8. The motion compensated predictor 8 forms a prediction signal similar to that in FIG. 1 based on the MV.
[0023]
【The invention's effect】
In the present invention, the degree of change in the temporary motion vector (MV) with a predetermined accuracy and the degree of the high frequency component of the image are obtained. The degree of change in the MV is closely related to the amount of motion vector information, and the high frequency of the image. The degree of the component is closely related to the accuracy of motion compensation required for motion compensated inter-picture prediction. Based on these, by selecting the MV accuracy in a unit of a plurality of MVs, the accuracy with which the total code amount decreases most reasonably is selected based on the relationship between the code amount of the inter-picture prediction residual and the MV code amount. Is done.
[0024]
Therefore, the code amount is reduced in the part of the image where the accuracy of the conventional motion compensation is insufficient and the prediction residual code amount is large, or the MV accuracy is unnecessarily fine and the MV code amount is large, and the total code amount is reduced. Hold down low. On the other hand, if the generated code amount (transfer rate) is constant, the quantization becomes fine by the code amount control, and the quality of the reproduced image is improved.
Since the temporary MV can be used as it is as the basis of the actual MV, the increase in the processing amount is small.
[0025]
Further, in the present invention, the code amount per unit time can be reduced compared to the code string output from the conventional encoding apparatus, and recording capable of recording information for a longer time on a recording medium of the same capacity is possible. Media can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of an embodiment of a motion compensation encoding apparatus according to the present invention.
FIG. 2 is a diagram illustrating a configuration example of an embodiment of a motion compensation decoding apparatus according to the present invention.
FIG. 3 is a diagram showing a processing configuration of an embodiment of an MV activity detector according to the present invention.
FIG. 4 is a diagram showing a processing configuration of an embodiment of the high frequency detector of the present invention.
FIG. 5 is a diagram showing an example of a threshold in MV accuracy determination according to the present invention.
FIG. 6 is a diagram illustrating a relationship between a motion compensation block and an integrated block according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a configuration of a conventional motion compensation encoding apparatus.
FIG. 8 is a diagram illustrating an example of a configuration of a conventional motion compensation decoding apparatus.
[Explanation of symbols]
1 Image input terminal 2 Subtractor 3 DCT
4 Quantizer 5 Variable length encoder 6 Temporary motion estimator (provisional motion estimation means)
7 High frequency detector (high frequency component detection means)
8 motion compensated predictor (means for forming a motion compensated inter-picture prediction signal)
9 Inverse quantizer 10 Multiplexer 11 Code output terminal 12 MV activity detector (motion vector activity detector)
13 MV accuracy determiner (motion vector accuracy selection means)
14 Image memory 15 Adder 16 Inverse DCT
17 Motion estimator (main motion estimation means)
18 MV encoder (means for encoding motion vector)
21 Code input terminal 22 Demultiplexer 23 Variable length decoder 24 Image output terminal 25, 81 MV decoder 31 Difference detector 32, 42 Absolute value converter 33, 43 Cumulative adder 41 Spatial HPF
71 Motion Estimator 72 Motion Compensated Predictor 73 MV Encoder

Claims

動き補償画像間予測をして符号化を行う動画像の動き補償符号化装置において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求める仮動き推定手段と、
前記仮動きベクトルの変化の程度を前記ブロックが複数統合された統合ブロック単位で求める動きベクトル活性度検出手段と、
前記入力画像の空間的に高い周波成分の程度を前記統合ブロック単位で求める高周波成分検出手段と、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定する動きベクトル精度選択手段と、
前記選定の動きベクトル精度で実際の動き補償で用いる動きベクトルを求める本動き推定手段と、
前記動きベクトルを用い動き補償画像間予測信号を形成する手段と、
前記動きベクトルを符号化する手段とを有することを特徴とする動き補償符号化装置。In a motion compensation coding apparatus for a motion picture that performs coding by performing motion compensation inter-picture prediction,
Provisional motion estimation means for obtaining a provisional motion vector with a predetermined accuracy for each block of motion compensation from an input image;
Motion vector activity detection means for obtaining a degree of change of the temporary motion vector in an integrated block unit in which a plurality of the blocks are integrated;
High-frequency component detection means for obtaining the degree of spatially high frequency components of the input image in units of the integrated blocks;
From the degree of change of the provisional motion vector and the degree of the high frequency component, the degree of change of the provisional motion vector is low, and when the degree of the high frequency component is large, the accuracy of the motion vector is high. On the other hand, the motion vector accuracy for selecting the accuracy of the motion vector in units of the integrated blocks so that the accuracy of the motion vector is low when the degree of change of the temporary motion vector is high and the degree of the high frequency component is small. A selection means;
The present motion estimation means for obtaining a motion vector used in actual motion compensation with the selected motion vector accuracy;
Means for forming a motion compensated inter-picture prediction signal using the motion vector;
A motion compensation coding apparatus comprising: means for coding the motion vector.

請求項１に記載された動き補償符号化装置において、
前記動きベクトル活性度検出手段は、
仮動きベクトルの空間的差分を得る差分検出手段と、
前記差分検出手段の出力が供給されて前記差分の絶対値を得る絶対値化手段と、
前記絶対値化手段の出力が供給されて前記絶対値を統合ブロック単位に加算して平均値を得る累積加算手段とを有する構成としたことを特徴とする動き補償符号化装置。The motion compensation encoding apparatus according to claim 1,
The motion vector activity detection means includes
Difference detection means for obtaining a spatial difference of the provisional motion vector;
Absolute value means for obtaining an absolute value of the difference by supplying an output of the difference detection means;
A motion compensation coding apparatus comprising: cumulative addition means for supplying an output of the absolute value converting means and adding the absolute values in units of integrated blocks to obtain an average value.

動き補償画像間予測をして符号化を行う動画像の動き補償符号化方法において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求め、
前記仮動きベクトルの変化の程度を、前記ブロックが複数統合された統合ブロック単位で求め、
前記入力画像の空間的に高い周波成分の程度を、前記統合ブロック単位で求め、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定し、
前記精度で実際の動き補償で用いる動きベクトルを求め、
前記動きベクトルを用い、動き補償画像間予測信号を形成し、
前記動きベクトルの情報を符号化することを特徴とする動き補償符号化方法。In a motion compensation coding method of a moving image that performs coding by performing motion compensation inter-image prediction,
A temporary motion vector with a predetermined accuracy is obtained for each motion compensation block from the input image,
The degree of change in the temporary motion vector is determined in units of integrated blocks in which a plurality of the blocks are integrated,
The degree of spatially high frequency components of the input image is determined in units of the integrated block,
From the degree of change of the provisional motion vector and the degree of the high frequency component, the degree of change of the provisional motion vector is low, and when the degree of the high frequency component is large, the accuracy of the motion vector is high. Conversely, when the degree of change of the temporary motion vector is high and the degree of the high frequency component is small, the accuracy of the motion vector is selected in units of the integrated blocks so that the accuracy of the motion vector is low ,
A motion vector used in actual motion compensation with the accuracy is obtained,
Using the motion vector to form a motion compensated inter-picture prediction signal;
A motion compensation encoding method, wherein the motion vector information is encoded.