JP2005167976A - 動きベクトル検出装置及び動きベクトル検出プログラム - Google Patents

Abstract

【課題】 ＭＰＥＧのピクチャタイプを考慮して、Ｂピクチャの場合は周辺ブロックの参照を禁止又は制限する従来装置では、Ｐピクチャの演算量の増加は抑制できず、また、Ｂピクチャの符号化効率が低下してしまう。
【解決手段】 探索初期点決定手段１１２は、階層ＭＶと周辺ＭＶの中から、最小誤差評価値点ａを与えるものを検出し、最小誤差評価値点ａのみを探索初期点とする。動きベクトル探索手段１１３は、参照画像信号と符号化画像信号により得られる画像中の、例えば探索初期点を中心とする±２画素の探索範囲のすべての探索点と誤差評価値を求める。動きベクトル決定・出力手段１０８は、最小の誤差評価値を持つ探索点を最小誤差評価値点ｂとして検出し、この最小誤差評価値点ｂに基づくベクトルを動きベクトルに決定する。これにより、無駄な探索を省くことができ、また、Ｂピクチャの符号化効率も向上する。
【選択図】 図１

Description

本発明は動きベクトル検出装置及び動きベクトル検出プログラムに係り、特に動画像の圧縮符号化の際の動き補償に必要な動きベクトルを検出する動きベクトル検出装置及び動きベクトル検出プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化対象画像と参照画像の各ブロック（すなわち、予め定めた数の画素からなる二次元集合体）の相対位置関係を示す動きベクトルが必要である。この動きベクトルは、ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。

上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違を絶対差分和や差分二乗和などで表現した予測誤差や、動きベクトル符号量やＤＣＴ（離散コサイン変換:Discrete Cosine Transform）係数符号量に基づいた符号量換算などで表現したものである。以下、誤差評価値を小さくするための動きベクトル検出装置について説明する。

最も小さい誤差評価値を検出できる動きベクトル検出装置として、フルサーチを用いた動きベクトル検出装置がある。フルサーチは参照フレーム内の探索範囲内のすべての候補点を総当りに調べて、最小の誤差評価値を与える動きベクトルを検出するものである。フルサーチでは、探索範囲内において、必ず最小の誤差評価値を持つ点が検出できるが、探索範囲内のすべての候補点を総当りに調べるため、膨大な演算量が必要という課題がある。

フルサーチの演算量を削減するために、階層型動きベクトル検出法による動きベクトル検出装置がある。この動きベクトル検出装置は、図３に示すように、解像度を低下させた縮小画像３０１において、縮小画像対応ブロック３０２の動きベクトル３０３を求め、その求められた動きベクトル３０３を縮小画像３０１の縮小率に基づき伸張することにより、元の画像３０４に対応させた階層動きベクトル３０６を求める。そして、元の画像３０４において、階層動きベクトル３０６を探索初期点３０７として、探索初期点３０７に基づき、動きベクトル探索範囲３０８を決定し、この動きベクトル探索範囲３０８で、動きベクトルを探索するものである。ここで、縮小画像対応ブロック３０２は、元の画像３０４における符号化対象ブロック３０５を、縮小画像３０１に対応させたものである。

また、縮小画像を作成せずに、元の画像の対象ブロックの画素のうち代表画素だけをブロックマッチングの対象とする間引きサーチでも、階層動きベクトルを算出することができるため、このような間引きサーチも階層型動きベクトル検出法に含まれる。

階層型動きベクトル検出装置は、少ない演算量で探索初期点とする階層動きベクトル３０６が求まるため、演算量が削減されるが、大局的な動きしかとらえられない階層動きベクトル３０６が、真の動きとかけ離れていると、探索が追いつかず、符号化効率が低下するという課題がある。

また、フルサーチの演算量を削減するための別の装置として、周辺ブロック参照法による動きベクトル検出装置がある。この動きベクトル検出装置は、周辺ブロックの動きベクトルのうち、少なくとも一つを探索初期点として動きベクトルを探索するものである。ここで周辺ブロックとは、図４に示すように、符号化対象となっている符号化対象ブロック４０５に隣接するブロック４０１〜４０４とブロック４０６〜４０９のうち、既に動きベクトルが求められているブロックとする。一般に、動きベクトルを求める順序はブロック４０１、４０２、４０３、・・・、４０９の順なので、符号化対象ブロック４０５の動きベクトルを探索する際に、既に動きベクトルが求められているブロックは４０１〜４０４である。

周辺ブロック参照法による動きベクトル検出装置は、既に求められている動きベクトルを探索初期点として利用するため、新たな探索初期点を算出する演算量が必要なく、演算量が大幅に削減されるが、周辺ブロックにない新たな動きが発生した場合には、探索が追いつかず、符号化効率が低下するという課題がある。

階層型動きベクトル検出法の課題と、周辺ブロック参照法の課題を解決するために、階層型動きベクトル検出法と周辺ブロック参照法を組み合わせた動きベクトル検出装置がある。この動きベクトル検出装置は、階層型動きベクトル検出法で求めた動きベクトルと、周辺ブロック参照法で求めた動きベクトルのうち、誤差評価値のより小さい方を動きベクトルとするものである。

この動きベクトル検出装置は、階層型動きベクトル検出法の課題である、縮小画像で間違った動きベクトルを求めてしまった場合には、周辺ブロック参照法で求められた動きベクトルが採用されるため、符号化効率は低下しない。また、周辺ブロック参照法の課題である、周辺ブロックにない新たな動きが発生した場合には、階層型動きベクトルで求められた動きベクトルが採用されるため符号化効率は低下しない。このように階層型動きベクトル検出法と、周辺ブロック参照法を組み合わせることにより、それぞれの動きベクトル検出方法の課題を解決できる。

しかし、この動きベクトル検出装置の演算量は、階層型動きベクトル検出法による演算量と、周辺ブロック参照法による演算量がかかってしまうため、演算量が増加してしまうという課題がある。

そこで、階層型動きベクトル検出法と周辺ブロック参照法を組み合わせた動きベクトル検出装置の課題である演算量を削減するために、ＭＰＥＧのピクチャタイプを考慮して、双方向予測符号化画像であるＢピクチャの場合は周辺ブロックの参照を禁止（又は制限）する動きベクトル検出装置が従来から知られている（例えば、特許文献１参照）。

以下、この従来の動きベクトル検出装置の構成について図１１を用いて説明する。図１１は、従来の動きベクトル検出装置の一例のブロック図を示す。この従来の動きベクトル検出装置は、図１１に示すように、参照画像メモリ１０１と、符号化画像メモリ１０２と、階層ＭＶ算出手段１０３と、周辺ＭＶメモリ１０４と、周辺ＭＶ提供制御手段１０５と、動きベクトル探索手段１０６と、探索点／誤差評価値メモリ１０７と、動きベクトル決定・出力手段１０８とから構成されている。

参照画像メモリ１０１は、入力される参照画像信号を記憶する。符号化画像メモリ１０２は、入力される符号化対象画像信号を記憶する。

階層ＭＶ算出手段１０３は、参照画像信号と符号化対象画像信号とから、元の画像より解像度の低い縮小画像を作成し、その縮小画像において、対応する符号化対象ブロックの動きベクトル（ＭＶ）を求めた後、その求められた動きベクトルを縮小画像の縮小率に基づき伸張することにより、元の画像に対応させた動きベクトルを階層ＭＶとして算出する。この階層ＭＶは動きベクトル探索手段１０６に供給される。なお、縮小画像を作成せずに、元の画像の対象ブロックの画素のうち代表画素だけをブロックマッチングの対象とする間引きサーチでも、階層動きベクトル（階層ＭＶ）を算出することができる。

周辺ＭＶメモリ１０４は、符号化対象ブロックの周辺ＭＶを記憶する。周辺ＭＶ提供制御手段１０５は、符号化対象ブロックの周辺ＭＶを、動きベクトル探索手段１０６に提供するものであるが、ＭＰＥＧのピクチャタイプを考慮して、周辺ＭＶの提供を制御するものである。例えば、Ｂピクチャの場合は周辺ＭＶの提供を禁止（又は制限）することで、Ｂピクチャの演算量の増加を抑制できる。

ここで、周辺ＭＶ提供制御手段１０５の動作について図１２のフローチャートを用いて説明する。まず、周辺ＭＶ提供制御手段１０５は、入力された符号化画像のピクチャタイプを示すピクチャタイプ信号がＢピクチャを示しているかどうか判定する（ステップＳ２１）。Ｂピクチャを示している場合は、周辺ＭＶメモリ１０４からの周辺ＭＶを提供しない又は周辺ＭＶを制限して動きベクトル探索手段１０６に提供する（ステップＳ２２）。Ｂピクチャを示していない場合（フレーム間順方向予測符号化画像であるＰピクチャの場合）は、周辺ＭＶメモリ１０４に記憶されているすべての周辺ＭＶを動きベクトル探索手段１０６に提供する（ステップＳ２３）。

再び図１１に戻って説明するに、動きベクトル探索手段１０６は、階層ＭＶ算出手段１０３から階層ＭＶを探索初期点として入力されると共に、周辺ＭＶ提供制御手段１０５から周辺ＭＶが探索初期点として入力され、それぞれの探索初期点に対して、例えば探索初期点を中心に±２画素などの探索を行い、探索点と誤差評価値を、探索点／誤差評価値メモリ１０７に記憶するものである。

動きベクトル決定・出力手段１０８は、動きベクトル探索をした点のうち、最小誤差評価値点ｂを検出し、最小誤差評価値点ｂに基づくベクトルを動きベクトルに決定し、決定された動きベクトルを、出力端子１０９からこの装置の外部に出力すると共に、周辺ＭＶメモリ１０４に記憶する。この従来の動きベクトル検出装置では、階層型動きベクトル検出法と、周辺ブロック参照法を組み合わせて動きベクトルを検出する際に、ＭＰＥＧのピクチャタイプを考慮して、Ｂピクチャの場合は周辺ブロックの参照を禁止（又は制限）することで、Ｂピクチャの演算量の増加を抑制することができる。

特開平８−２６５７７３号公報

しかるに、図１１に示した従来の動きベクトル検出装置では、Ｐピクチャの場合に、動きベクトル探索手段１０６が階層ＭＶと周辺ＭＶを探索初期点として利用して動きベクトルを探索するようにしているが、階層ＭＶは１本だが、周辺ＭＶは最大４本あるため、階層ＭＶと周辺ＭＶ（合計最大５本）をすべて探索初期点にしてしまうため、演算量が増加してしまう。

また、Ｂピクチャの場合は、周辺ＭＶの提供を禁止することで、階層ＭＶのみが探索初期点となり、演算量の増加を抑制できるが、階層型動きベクトル検出で動きベクトルを求めるより、周辺ブロック参照で動きベクトルを求めた方が良い場合にも、階層型動きベクトル検出で動きベクトルを求めてしまうため、符号化効率が低下してしまうという課題がある。

本発明は上記の点に鑑みなされたもので、階層ＭＶと蓄積ＭＶのうち、最小誤差評価値点を与えるものを検出し、最小誤差評価値点のみを探索初期点として動きベクトル探索を行うことで、符号化効率が低下せずに、Ｐピクチャ、Ｂピクチャともに演算量を削減し得る動きベクトル検出装置及び動きベクトル検出プログラムを提供することを目的とする。

また、本発明の他の目的は、すべてのピクチャタイプ（Ｐピクチャ、Ｂピクチャ）において、符号化効率をさらに向上し得ると共に、ピクチャタイプに依存しない、簡単に構成可能な動きベクトル検出装置を提供することにある。

上記目的を達成するため、第１の発明の動きベクトル検出装置は、動画像である符号化対象画像の動き補償予測符号化で必要となる、符号化対象画像と参照画像とのそれぞれの予め定められた画素数の二次元画素集合体であるブロックの相対位置関係を示す動きベクトルを、符号化対象画像と参照画像との各ブロック間の誤差評価値が小さくなるように検出する動きベクトル検出装置であって、符号化対象画像と参照画像とから作成した、元の画像より解像度を低下させた画像での、符号化対象画像の符号化対象ブロックと参照画像のブロックの相対位置関係を示す動きベクトルを求めた後、求められた動きベクトルを解像度の低下に対応して伸張することにより、階層動きベクトルとして算出する階層動きベクトル算出手段と、符号化対象ブロックの動きベクトル検出よりも以前に検出した動きベクトルである蓄積動きベクトル、及び蓄積動きベクトルより算出した算出動きベクトルのうちの少なくとも一方の動きベクトルと、階層動きベクトル算出手段で算出した階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定する探索初期点決定手段と、参照画像の中における、符号化対象ブロックの探索初期点に基づいて定められる探索範囲内の探索点と、その探索点に対応する誤差評価値とを探索する動きベクトル探索手段と、動きベクトル探索手段により探索された探索点のうち、動きベクトル探索手段で探索した誤差評価値が最小値である探索点を最小誤差評価値点ｂとして検出し、その最小誤差評価値点ｂに基づくベクトルを、符号化対象画像と参照画像の各ブロック間の相対的位置関係を示す動きベクトルに決定して出力する動きベクトル決定・出力手段とを有する構成としたものである。

また、上記の目的を達成するため、第２の発明の動きベクトル検出装置は、第１の発明の階層動きベクトル算出手段を、符号化対象画像と参照画像とから、元の画像より解像度を低下させた縮小画像を作成し、その縮小画像において対応する符号化対象ブロックと参照画像のブロックの相対位置関係を示す動きベクトルを求めた後、その求められた動きベクトルを縮小画像の縮小率に基づき伸張することにより、元の画像に対応させた動きベクトルを階層動きベクトルとして算出する構成としたことを特徴とする。

また、上記の目的を達成するため、第３の発明の動きベクトル検出装置は、第１の発明の探索初期点決定手段を、蓄積動きベクトルとして、符号化対象となっている符号化対象ブロックに隣接する、既に動きベクトルが求められている周辺ブロックの動きベクトルを用い、その周辺ブロックの動きベクトルと階層動きベクトル算出手段で算出した階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定する構成としたことを特徴とする。

また、上記の目的を達成するため、第４の発明の動きベクトル検出装置は、第１の発明の探索初期点決定手段を、蓄積動きベクトルに基づいて算出される算出動きベクトルとして、参照画像において符号化対象ブロックと空間的に同じ場所に位置するブロックが持つ参照画像動きベクトルと、参照画像が複数ある場合の既に求めた参照画像に対するマルチ参照動きベクトルと、符号化対象ブロックに隣接する、既に動きベクトルが求められている周辺ブロックの動きベクトルに基づいて予測した予測動きベクトルとのうち、少なくともいずれか一の動きベクトルと、階層動きベクトル算出手段で算出した階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定する構成としたことを特徴とする。

また、上記の目的を達成するため、第５の発明の動きベクトル検出装置は、第１の発明の動きベクトル探索手段を、探索範囲内の探索パターン中心の探索点を、探索初期点決定手段で決定された探索初期点とし、その探索初期点及びその周辺の予め定めた複数の各探索点について、それぞれ符号化対象ブロックと対応する位置の参照画像のブロックとの間の誤差評価値をそれぞれ算出し、算出した誤差評価値が最小である探索点が探索パターン中心の探索点となるまで、誤差評価値がより小さい方の周辺の探索点に探索パターンの中心を移動して動きベクトルを探索する追跡サーチを行う構成としたことを特徴とする。

更に、上記の目的を達成するため、第６の発明の動きベクトル検出プログラムは、上記の第１の発明の動きベクトル検出装置を、コンピュータにより実現させるためのプログラムとしたことを特徴とする。

本発明では、符号化対象ブロックの動きベクトル検出よりも以前に検出した動きベクトルである蓄積動きベクトル、及び蓄積動きベクトルより算出した算出動きベクトルのうちの少なくとも一方の動きベクトルと、階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定し、参照画像の中における、符号化対象ブロックの上記の探索初期点に基づいて定められる探索範囲内の探索点と、その探索点に対応する誤差評価値とから最終的な動きベクトルを検出するようにしたため、無駄な探索を省くことができ、また、階層動きベクトルと、周辺ブロックの動きベクトルである周辺動きベクトルのすべてを探索初期点として、それぞれについて動きベクトル探索を行う従来装置に比べて演算量を大幅に低減できる。また、本発明では、蓄積動きベクトル以外に、符号化対象ブロックと同位置の参照画像が持つ参照画像動きベクトルや、参照画像が複数ある場合の既に求めた参照画像に対するマルチ参照動きベクトルや、予測動きベクトル（ＰＭＶ）なども利用することができる。

また、ＭＰＥＧのピクチャタイプを考慮して、Ｂピクチャの場合は、周辺ブロックなどの蓄積動きベクトルの参照を禁止（又は制限）することで、Ｂピクチャの演算量の増加を抑制する従来装置に比べて、本発明では、Ｐピクチャの場合の演算量を少なくできる。また、本発明では、Ｂピクチャの場合も、周辺ブロックの参照ができ、更には、ＭＰＥＧのピクチャタイプを考慮する必要が無く、Ｐピクチャ、Ｂピクチャに関係なく同様に動きベクトルの検出ができる。

本発明によれば、階層動きベクトルと蓄積動きベクトルのうち、最小誤差評価値点を与えるものを検出し、最小誤差評価値点のみを探索初期点として動きベクトル探索を行うことにより、階層動きベクトルと周辺動きベクトルのすべてを探索初期点として、それぞれについて動きベクトル探索を行う従来装置に比べて、演算量を大幅に低減できると共に、誤差評価値が最小となる可能性の高い点を探索しつつ、無駄な探索を省くことができ、符号化効率を低下させずに、Ｐピクチャ、Ｂピクチャともに演算量を削減できる。

また、本発明によれば、蓄積動きベクトルである周辺動きベクトルの他に、蓄積動きベクトルから算出した動きベクトルである、符号化対象ブロックと同位置の参照画像が持つ参照画像動きベクトルや、参照画像が複数ある場合の既に求めた参照画像に対するマルチ参照動きベクトルや、予測動きベクトル（ＰＭＶ）なども利用することで、探索初期点候補が増え、探索初期点に対応する誤差評価値が小さくなるため、符号化効率を更に向上させることができる。

また、探索初期点からの動きベクトル探索手段として、追跡サーチを行う場合、階層動きベクトルと蓄積動きベクトルのうち、最小誤差評価値点を与えるものを探索初期点としている本発明では、探索初期点の誤差評価値は小さいため、探索初期点の誤差評価値が小さいほど符号化効率が向上し演算量が削減される追跡サーチの効果をより引き出せる。

更に、本発明によれば、階層動きベクトルと蓄積動きベクトルを共に探索初期点候補として同様に扱えるため、装置の構成を簡単にでき、また、ＭＰＥＧのピクチャタイプを考慮する必要が無く、Ｐピクチャ、Ｂピクチャに関係なく同様に動きベクトルの検出ができるため、装置の構成を簡単にできる。

次に、本発明の実施の形態について図面を参照しながら説明する。図１は本発明になる動きベクトル検出装置の一実施の形態のブロック図を示す。同図中、図１１と同一構成部分には同一符号を付してある。

本実施の形態は、参照画像メモリ１０１と、符号化画像メモリ１０２と、階層ＭＶ算出手段１０３と、探索点／誤差評価値メモリ１０７と、動きベクトル決定・出力手段１０８と、ＭＶメモリ１１１と、探索初期点決定手段１１２と、動きベクトル探索手段１１３とから構成されており、図１１の従来の動きベクトル検出装置と比較して、周辺ＭＶメモリ１０４の替わりにＭＶメモリ１１１を設け、周辺ＭＶ提供制御手段１０５の替わりに探索初期点決定手段１１２を設け、この探索初期点決定手段１１２により決定された探索初期点に基づき、動きベクトル探索手段１１３が動きベクトルを探索するものである。

次に、本実施の形態の動作について説明する。ＭＰＥＧ方式により圧縮符号化されるべき動画像信号である符号化対象画像信号は、符号化画像メモリ１０２に供給されて記憶される。また、参照画像信号が参照画像メモリ１０１に供給されて記憶される。この参照画像信号は、局部復号化される前の画像信号でも局部復号化された後の画像信号でもどちらでもよい。

階層ＭＶ算出手段１０３は、参照画像メモリ１０１から読み出された参照画像信号と、符号化画像メモリ１０２から読み出された符号化対象画像信号とから、元の画像より解像度の低い縮小画像を作成し、その縮小画像において、対応する符号化対象ブロックの動きベクトル（ＭＶ）を求め、その求められた動きベクトルを縮小画像の縮小率に基づき伸張することにより、元の画像に対応させた動きベクトルを階層ＭＶとして算出する。この階層ＭＶは探索初期点決定手段１１２に供給される。

また、前述したように、縮小画像を作成せずに、元の画像の対象ブロックの画素のうち代表画素だけをブロックマッチングの対象とする間引きサーチでも、階層ＭＶを算出することができる。この間引きサーチでは、図１０において、元の画像の間引きブロック１００１の動きベクトル１００２をまず求める。ここで、間引きブロック１００１は、黒丸で示す代表画素１００３と、白丸で示すその他の画素１００４とからなり、その他の画素１００４は間引いて代表画素１００３のみをブロックマッチングの対象とする元の画像より解像度を低下させた画像であり、この間引きブロック１００１から符号化対象ブロックと参照画像ブロックとの間の動きベクトル１００２を求める。

そして、この動きベクトル１００２を、上記の代表画素１００３に対するその他の画素１００４の割合である間引き率（前記図３における縮小率に相当）に基づき伸張することにより、すべての画素が存在する元の画像に対応させた図１０に１００５で示す動きベクトルを階層ＭＶとして求める。この階層ＭＶ１００５を探索初期点１００６として、探索初期点１００６に基づき、動きベクトル探索範囲１００７を決定し、この動きベクトル探索範囲１００７で、動きベクトルを探索する。

一方、ＭＶメモリ１１１には、動きベクトル決定・出力手段１０８から出力された動きベクトルのうち、符号化対象ブロックの探索初期点候補となる蓄積ＭＶが記憶されている。蓄積ＭＶとは、例えば符号化対象となっている符号化対象ブロックに隣接し、既に動きベクトルが求められている周辺ブロックの動きベクトル（周辺ＭＶ）などである。探索初期点決定手段１１２は、上記の蓄積ＭＶ及び蓄積ＭＶから算出したＭＶの少なくともいずれか一方により探索初期点を決定する。ここで、蓄積ＭＶから算出したＭＶとは、後述するように、参照画像において、符号化画像の符号化対象ブロックと空間的に同じ場所に位置するブロックが持つＭＶ（参照画像ＭＶ）や、参照画像が複数ある場合の既に求めた参照画像に対する動きベクトル（マルチ参照ＭＶ）や、予測動きベクトル（ＰＭＶ）などである。

次に、上記の蓄積ＭＶから算出したＭＶのうち、まず、参照画像ＭＶを図５を用いて説明する。図５（Ｂ）に示す符号化対象画像の符号化対象ブロック５０１に対し、参照画像において符号化対象ブロック５０１と同じ場所に位置する図５（Ａ）に示すブロック５０２の動きベクトル５０３を参照画像ＭＶとする。参照画像ＭＶは、このままでもよいが、一般には図６に示すように、フレーム間距離を考慮して蓄積動きベクトルから算出する。

例えば、図６に示すように、表示順で参照画像の参照している画像１１のフレーム番号が１、符号化対象画像１２のフレーム番号が２、参照画像１３のフレーム番号が３であり、また、参照画像１３の動きベクトル５０３の座標が（２，−２）で表されるものとすると、参照画像ＭＶは、蓄積動きベクトルである参照画像の動きベクトル５０３を、−１／２（＝｛（符号化対象画像１２のフレーム番号）−（参照画像１３のフレーム番号）｝／｛（参照画像１３のフレーム番号）−（参照画像の参照している画像１１のフレーム番号）｝＝（２−３）／（３−１））倍に伸張することにより得られるため、参照画像ＭＶ６０１の座標は、（−１，１）となる。参照画像ＭＶは参照画像がＩピクチャ以外の場合は存在する。

次に、上記のマルチ参照ＭＶを図７を用いて説明する。図７に示すように、符号化対象画像２３の２枚の参照画像を第１の参照画像２１及び第２の参照画像２２の２つとし、第１の参照画像２１に対する動きベクトル７０１は既に検出されているとする。この場合、マルチ参照ＭＶは、蓄積ベクトルである符号化対象画像の符号化対象ブロックの参照画像２１に対する動きベクトル７０１を、符号化画像と参照画像のフレーム間距離を考慮して算出した動きベクトル７０２である。

例えば、図７に示すように、表示順で第２の参照画像２２のフレーム番号が１、第１の参照画像２１のフレーム番号が２、符号化対象画像２３のフレーム番号が３であり、第１の参照画像２１に対する動きベクトル７０１の座標が（−３，１）の場合、マルチ参照ＭＶの座標は、第１の参照画像２１に対する動きベクトル７０１を２（＝｛（符号化対象画像２３のフレーム番号）−（第２の参照画像２２のフレーム番号）｝／｛（符号化対象画像２３のフレーム番号）−（第１の参照画像２１のフレーム番号）｝＝（３−１）／（３−２））倍に伸張することにより、（−６，２）が算出される。

また、フレーム間距離を考慮した伸縮をせずに、参照画像２１の動きベクトル７０１をマルチ参照ＭＶとすることもできる。マルチ参照ＭＶは、参照画像が複数ある場合に、２枚目以降の参照画像に対する動きベクトル検出の場合に存在する。

次に、上記のＰＭＶについて説明する。ＰＭＶは、動きベクトルを符号化する際の差分動きベクトル（ＤＭＶ）算出に使用され、動きベクトルがＰＭＶに近いほどＤＭＶは小さくなり、動きベクトル符号量が減少する。ＰＭＶの算出方法は符号化規格毎に異なるが、周辺ＭＶの中央値（メジアン）をＰＭＶとする方法を例に図８を用いて説明する。符号化対象ブロック８０４の周辺ブロックを８０１、８０２、８０３とし、それぞれのブロックに対応した動きベクトルを８０５、８０６、８０７とする。動きベクトル８０５が（２，−３）、動きベクトル８０６が（４，−４）、動きベクトル８０７が（−２，−５）の各座標で表される場合、ｘ成分のメジアンは２であり、ｙ成分のメジアンは−４なのでＰＭＶは（２，−４）である。このようにＰＭＶを周辺ＭＶのメジアンとする場合、周辺ＭＶにない新たなＭＶがＰＭＶとして算出されることがある。

このように、符号化対象ブロックの動きベクトル検出よりも以前に検出した動きベクトルである蓄積ＭＶとしての周辺ＭＶだけでなく、符号化対象ブロックと同位置の参照画像が持つＭＶ（参照画像ＭＶ）や、参照画像が複数ある場合の既に求めた参照画像に対する動きベクトル（マルチ参照ＭＶ）や、予測動きベクトル（ＰＭＶ）などの蓄積ＭＶから算出したＭＶも利用することで、周辺ＭＶのみを用いる従来装置と比較して、探索初期点候補が増え、探索初期点に対応する誤差評価値が小さくなるため、符号化効率を更に向上させることができる。

再び図１に戻って説明するに、探索初期点決定手段１１２は、階層ＭＶ算出手段１０３からの階層ＭＶと、ＭＶメモリ１１１から得られる蓄積ＭＶ及び蓄積ＭＶから算出した算出ＭＶのうちの少なくとも一方の中から、最小誤差評価値点ａを与えるものを検出し、最小誤差評価値点ａのみを探索初期点として、動きベクトル探索手段１１３に供給する。

ここで、探索初期点決定手段１１２の動作について図２のフローチャートを用いて更に詳細に説明するが、簡単のため蓄積ＭＶが周辺ＭＶのみの場合を例に挙げて説明する。まず、階層ＭＶ算出手段１０３で求めた階層ＭＶでの誤差評価値Ｅｈを、例えばブロック間の絶対差分和に基づいて求める（ステップＳ１１）。上記の絶対差分和は、符号化対象画像信号の符号化対象ブロックと、参照画像信号の参照ブロックの対応する画素の差分絶対値を順次加算した合計値（総和）である。

次に、４本ある周辺ＭＶの各誤差評価値Ｅｓ１〜Ｅｓ４を、例えば上記の誤差評価値Ｅｈと同様にブロック間の絶対対差分和に基づいて求める（ステップＳ１２）。ここで、階層ＭＶや周辺ＭＶは、符号化対象画像信号の符号化対象ブロックと参照画像信号の参照ブロックの相対位置を示している。

なお、上記の説明では周辺ＭＶが４本ある場合の例としたが、画像の端の場合など周辺ＭＶが４本ない場合は、存在する周辺ＭＶのみ誤差評価値を求める。また、周辺ＭＶを図４の４０１〜４０４と定義したが、定義はこれに限らない。例えば、周辺ＭＶを４０２〜４０４とすることもできる。

続いて、探索初期点決定手段１１２は、求めた誤差評価値Ｅｈ、Ｅｓ１〜Ｅｓ４の中で、最小の誤差評価値をもつ点（動きベクトル）を最小誤差評価値点ａとする（ステップＳ１３）。最後に、探索初期点決定手段１１２は、最小誤差評価値点ａを探索初期点として決定して動きベクトル探索手段１１３に供給する（ステップＳ１４）。

なお、探索初期点決定手段１１２は、上記の説明では階層ＭＶと周辺ＭＶの各誤差評価値が最も少ない値をもつ点を最小誤差評価値点ａに決定したが、蓄積ＭＶである周辺ＭＶと、その蓄積ＭＶから算出される算出ＭＶ（前記参照画像ＭＶ、マルチ参照ＭＶ及びＰＭＶ）とのうちの少なくとも一つのＭＶの誤差評価値と、階層ＭＶの誤差評価値Ｅｈとから最小誤差評価値点ａを求めるように構成される。従って、探索初期点決定手段１１２は、ＭＶメモリ１１１から得られる蓄積ＭＶから、前記参照画像ＭＶ、マルチ参照ＭＶ及びＰＭＶのうち、少なくともどれか一つの算出ＭＶを算出して最小誤差評価値点を求めるものとして予め定めたときは、その算出ＭＶを算出する算出機能と、その算出ＭＶの誤差評価値Ｅｓを、例えば上記の誤差評価値Ｅｈと同様にブロック間の絶対対差分和に基づいて求める機能を有する。

再び図１に戻って説明するに、動きベクトル探索手段１１３は、探索初期点決定手段１１２から探索初期点（最小誤差評価値点ａ）が入力されると共に、参照画像メモリ１０１から読み出された参照画像信号と、符号化画像メモリ１０２から読み出された符号化対象画像信号とが入力され、参照画像信号による参照画像中の、例えば探索初期点（最小誤差評価値点ａ）を中心とする±２画素の探索範囲のすべての点（画素）の探索を行い、これにより探索点を得ると共に、例えばブロック間の絶対差分和に基づいて探索点の誤差評価値を求め、これらの探索点とその誤差評価値を探索点／誤差評価値メモリ１０７に対応付けて記憶する。

上記の動きベクトル探索手段１１３による動きベクトル探索動作について更に説明するに、動きベクトル探索手段１１３は、図９（Ａ）に示すように、上記の参照画像９０１の中の、上記の符号化対象画像信号による符号化対象ブロック９０２の探索初期点（最小誤差評価値点ａ）９０３に基づき、同図（Ｂ）に示すように、探索初期点（最小誤差評価値点ａ）９０３を中心とする、±２画素の探索範囲９０４の中の黒丸で示すすべての点（画素）の探索を行って探索点を得た後、その探索点の誤差評価値を求める。

なお、ここでは、探索方法を、探索初期点を中心とする±２画素の探索範囲のすべての探索点を探索する方法を例としたが、探索初期点に基づいて定められる所定探索範囲内を探索する探索方法はすべて利用可能であり、所定探索範囲は任意に決定することができる。例えば、公知の特許文献（特開２００３−８７７９９号公報）に記載されているような与えられた探索初期点より追跡サーチをしてもよい。

追跡サーチは、誤差評価値がより小さい方に探索中心を移動して動きベクトルを探索する方法であり、例えば、探索原点から所定の探索パターンに従って探索点を移動するに際し、探索パターン中心の探索点とその周辺の複数の各探索点の符号化対象画像の符号化対象ブロック内の各画素のデータと対応する位置の参照画像のブロック内の各画素のデータとの差分絶対値の総和をそれぞれ算出し、算出した差分絶対値の総和が最小である探索点が上記の周辺の複数の各探索点のうちの一つであるときには、上記差分絶対値の総和が最小である周辺の探索点を次の探索パターン中心とするように探索点を移動して再び上記の動作を行うことを、探索パターン中心の探索点の上記差分絶対値の総和が最小となるまで繰り返し、上記差分絶対値の総和が最小である探索パターン中心の探索点を動きベクトルとして求める公知の方法である。

この追跡サーチでは、所定探索範囲内のすべての探索点を探索しなくて済み、演算量が削減される。追跡サーチは探索初期点に対応する誤差評価値が小さいほど符号化効率が向上し演算量が削減される効果があるが、階層ＭＶと蓄積ＭＶや算出ＭＶのうち、最小誤差評価値点を与えるものを探索初期点としている本実施の形態では、探索初期点に対応する誤差評価値が小さいため、追跡サーチの効果をより引き出せる。

動きベクトル決定・出力手段１０８は、探索点／誤差評価値メモリ１０７に記憶された探索点と誤差評価値を入力として受け、最小の誤差評価値を持つ探索点を最小誤差評価値点ｂとして検出し、参照画像上のこの最小誤差評価値点ｂと符号化対象画像との相対位置で表現されるベクトルを動きベクトルに決定し、決定された動きベクトルを、出力端子１０９を介して本機外部に出力すると共に、ＭＶメモリ１１１に蓄積ＭＶとして記憶する。

このように、本発明によれば、階層動きベクトルと蓄積動きベクトル又は算出動きベクトルとのうち、最小誤差評価値点を与えるものを検出し、最小誤差評価値点のみを探索初期点として動きベクトル探索を行うことにより、階層動きベクトルと周辺動きベクトルのすべてを探索初期点として、それぞれについて動きベクトル探索を行う従来装置に比べて、演算量を大幅に低減できると共に、誤差評価値が最小となる可能性の高い点を探索しつつ、無駄な探索を省くことができ、符号化効率を低下させずに、Ｐピクチャ、Ｂピクチャともに演算量を削減でき、また、ＭＰＥＧのピクチャタイプを考慮して、Ｂピクチャの場合は周辺ブロックの参照を禁止（又は制限）することでＢピクチャの演算量の増加を抑制する従来装置に比べて、Ｐピクチャの場合の演算量を少なくできる。

また、蓄積ＭＶである周辺ＭＶの他に、符号化対象ブロックと同位置の参照画像が持つＭＶ（参照画像ＭＶ）や、参照画像が複数ある場合の既に求めた参照画像に対する動きベクトル（マルチ参照ＭＶ）や、予測動きベクトル（ＰＭＶ）などの蓄積ＭＶから算出した算出ＭＶも利用することで、探索初期点候補が増え、探索初期点に対応する誤差評価値が小さくなるため、符号化効率を更に向上させることができる。

また、探索初期点からの動きベクトル探索手段として、追跡サーチを行う場合、階層ＭＶと蓄積ＭＶ又は算出ＭＶとのうち、最小誤差評価値点を与えるものを探索初期点としている本発明では、探索初期点に対応する誤差評価値は小さいため探索初期点に対応する誤差評価値が小さいほど符号化効率が向上し演算量が削減される追跡サーチの効果をより引き出せる。

更に、本発明によれば、階層動きベクトルと蓄積動きベクトルを共に探索初期点候補として同様に扱えるため、装置の構成を簡単にでき、また、ＭＰＥＧのピクチャタイプを考慮する必要が無く、Ｐピクチャ、Ｂピクチャに関係なく同様に動きベクトルの検出ができるため、装置の構成を簡単にできる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば上記の動きベクトル検出装置の機能をコンピュータに実現させるための動きベクトル検出プログラムも含むものである。この動きベクトル検出プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の動きベクトル検出装置の一実施の形態のブロック図である。 図１中の探索初期点決定手段の動作説明用フローチャートである。 階層ＭＶ算出方法の一例の説明図である。 周辺ブロック参照法の周辺ブロックの説明図である。 参照画像ＭＶの説明図である。 参照画像ＭＶの算出説明図である。 マルチ参照ＭＶの算出説明図である。 ＰＭＶの算出説明図である。 動きベクトル探索の一例の説明図である。 間引きサーチによる階層ＭＶ算出方法の一例の説明図である。 従来の動きベクトル検出装置の一例のブロック図である。 図１１中の周辺ＭＶ提供制御手段の動作説明用フローチャートである。

符号の説明

１０１ 参照画像メモリ
１０２ 符号化画像メモリ
１０３ 階層ＭＶ算出手段
１０４ 周辺ＭＶメモリ
１０７ 探索点／誤差評価値メモリ
１０８ 動きベクトル決定・出力手段
１０９ 動きベクトル出力端子
１１１ ＭＶメモリ
１１２ 探索初期点決定手段
１１３ 動きベクトル探索手段

Claims (6)

1. 動画像である符号化対象画像の動き補償予測符号化で必要となる、前記符号化対象画像と参照画像とのそれぞれの予め定められた画素数の二次元画素集合体であるブロックの相対位置関係を示す動きベクトルを、前記符号化対象画像と前記参照画像との各ブロック間の誤差評価値が小さくなるように検出する動きベクトル検出装置であって、
   前記符号化対象画像と前記参照画像とから作成した、元の画像より解像度を低下させた画像での、前記符号化対象画像の符号化対象ブロックと前記参照画像のブロックの相対位置関係を示す動きベクトルを求めた後、求められた動きベクトルを前記解像度の低下に対応して伸張することにより、階層動きベクトルとして算出する階層動きベクトル算出手段と、
   前記符号化対象ブロックの動きベクトル検出よりも以前に検出した動きベクトルである蓄積動きベクトル、及び該蓄積動きベクトルより算出した算出動きベクトルのうちの少なくとも一方の動きベクトルと、前記階層動きベクトル算出手段で算出した前記階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定する探索初期点決定手段と、
   前記参照画像の中における、前記符号化対象ブロックの前記探索初期点に基づいて定められる探索範囲内の探索点と、その探索点に対応する誤差評価値とを探索する動きベクトル探索手段と、
   前記動きベクトル探索手段により探索された前記探索点のうち、前記動きベクトル探索手段で探索した前記誤差評価値が最小値である探索点を最小誤差評価値点ｂとして検出し、その最小誤差評価値点ｂに基づくベクトルを、前記符号化対象画像と前記参照画像の各ブロック間の相対的位置関係を示す動きベクトルに決定して出力する動きベクトル決定・出力手段と
   を有することを特徴とする動きベクトル検出装置。
2. 前記階層動きベクトル算出手段は、前記符号化対象画像と前記参照画像とから、元の画像より解像度を低下させた縮小画像を作成し、その縮小画像において対応する前記符号化対象ブロックと前記参照画像のブロックとの相対位置関係を示す動きベクトルを求めた後、その求められた動きベクトルを前記縮小画像の縮小率に基づき伸張することにより、前記元の画像に対応させた動きベクトルを前記階層動きベクトルとして算出することを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記探索初期点決定手段は、前記蓄積動きベクトルとして、符号化対象となっている前記符号化対象ブロックに隣接する、既に動きベクトルが求められている周辺ブロックの動きベクトルを用い、その周辺ブロックの動きベクトルと前記階層動きベクトル算出手段で算出した前記階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを前記最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定することを特徴とする請求項１記載の動きベクトル検出装置。
4. 前記探索初期点決定手段は、前記蓄積動きベクトルに基づいて算出される前記算出動きベクトルとして、前記参照画像において前記符号化対象ブロックと空間的に同じ場所に位置するブロックが持つ参照画像動きベクトルと、前記参照画像が複数ある場合の既に求めた参照画像に対するマルチ参照動きベクトルと、前記符号化対象ブロックに隣接する、既に動きベクトルが求められている周辺ブロックの動きベクトルに基づいて予測した予測動きベクトルとのうち、少なくともいずれか一の動きベクトルと、前記階層動きベクトル算出手段で算出した前記階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを前記最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定することを特徴とする請求項１記載の動きベクトル検出装置。
5. 前記動きベクトル探索手段は、前記探索範囲内の探索パターン中心の探索点を、前記探索初期点決定手段で決定された探索初期点とし、その探索初期点及びその周辺の予め定めた複数の各探索点について、それぞれ前記符号化対象ブロックと対応する位置の前記参照画像のブロックとの間の前記誤差評価値をそれぞれ算出し、算出した誤差評価値が最小である探索点が探索パターン中心の探索点となるまで、前記誤差評価値がより小さい方の周辺の探索点に探索パターンの中心を移動して動きベクトルを探索する追跡サーチを行うことを特徴とする請求項１記載の動きベクトル検出装置。
6. 動画像である符号化対象画像の動き補償予測符号化で必要となる、前記符号化対象画像と参照画像とのそれぞれの予め定められた画素数の二次元画素集合体であるブロックの相対位置関係を示す動きベクトルを、前記符号化対象画像と前記参照画像との各ブロック間の誤差評価値が小さくなるように、コンピュータに検出させる動きベクトル検出プログラムであって、
   前記コンピュータを、
   前記符号化対象画像と前記参照画像とから作成した、元の画像より解像度を低下させた画像での、前記符号化対象画像の符号化対象ブロックと前記参照画像のブロックの相対位置関係を示す動きベクトルを求めた後、求められた動きベクトルを前記解像度の低下に対応して伸張することにより、階層動きベクトルとして算出する階層動きベクトル算出手段と、
   前記符号化対象ブロックの動きベクトル検出よりも以前に検出した動きベクトルである蓄積動きベクトル、及び該蓄積動きベクトルより算出した算出動きベクトルのうちの少なくとも一方の動きベクトルと、前記階層動きベクトル算出手段で算出した前記階層動きベクトルとの各誤差評価値を求め、それらの誤差評価値のうち最小値の誤差評価値に対応する動きベクトルを最小誤差評価値点ａとして検出し、その最小誤差評価値点ａを探索初期点に決定する探索初期点決定手段と、
   前記参照画像の中における、前記符号化対象ブロックの前記探索初期点に基づいて定められる探索範囲内の探索点と、その探索点に対応する誤差評価値とを探索する動きベクトル探索手段と、
   前記動きベクトル探索手段により探索された前記探索点のうち、前記動きベクトル探索手段で探索した前記誤差評価値が最小値である探索点を最小誤差評価値点ｂとして検出し、その最小誤差評価値点ｂに基づくベクトルを、前記符号化対象画像と前記参照画像の各ブロック間の相対的位置関係を示す動きベクトルに決定して出力する動きベクトル決定・出力手段と
   して機能させることを特徴とする動きベクトル検出プログラム。
   

Images