JP4748191B2 - 動きベクトル検出装置、動きベクトル検出方法及びプログラム - Google Patents

Description

本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。

従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。

ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定する。その結果、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。

図２８は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２８の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、参照点メモリ２ａと注目点メモリ２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号を、最初に参照点メモリ２ａに記憶させ、さらに参照点メモリ２ａの記憶データを注目点メモリ２ｂに移して、参照点メモリ２ａと注目点メモリ２ｂとで１フレームの差がある画素信号を記憶させる。そして、注目点メモリ２ｂに記憶された画像信号の中の、注目点の画素値と、参照点メモリ２ａに記憶された画像信号の中の参照点として選定された画素位置の画素値とを読み出し、両信号の差分を絶対値検出部２ｃで検出する。検出した差分の絶対値のデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。

相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで評価値を積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。

図２９は、この図２８に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図２９（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ０とする。この注目点ｄ０が決まると、その注目点ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照点が、前フレームの注目点から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照点が求まることで、図２９（ｂ）に示されるように、その評価値が最も高い参照点と注目点との動き量から、動きベクトルが定まる。
この図２８，図２９に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
特開２００５−１７５８６９号公報

評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２９に示した従来方式では、注目点と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。

ところが、この従来手法による処理では、画像が平坦である箇所や縞模様の箇所などで、空間傾斜が全て、あるいは、一部の方向に対して、ほとんどない画像の場合には、上述した相関判定のみで評価値テーブルを作成すると、誤った動きを足しこんでしまう可能性があり、評価値テーブルの信頼性が低下してしまう。評価値テーブルの信頼性が低下すると、検出される動きベクトルの精度も低下してしまう。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。

本発明はかかる点に鑑みてなされたものであり、評価値テーブルを使用して動きベクトルを検出する場合の精度を向上させることを目的とする。また、複数の動きがある場合にも複数の動きを検出できるようにすることを目的とする。

本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、評価値を生成する処理と、評価値積算情報に基いて動きベクトルを抽出する処理と、抽出された候補となる動きベクトルの中から動きベクトルを決定する動きベクトル決定処理とを行う。
評価値積算情報を生成する処理として、画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行う。そして、カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、選別された注目画素と参照画素の差分が差分判定用閾値を超える場合に、評価値を評価値積算情報に足しこまない処理を行うことで、処理を行うことで、画素単位の評価値積算情報を形成する処理を行う。

本発明によると、評価値情報を生成する際に、相関値が高く動きベクトルの候補となる注目画素又は参照画素であることのカウント数が、閾値を超えている場合には、誤った候補が多数存在することになる。これは、誤った動きベクトルの候補検出が行われる可能性が非常に高い状態と言える。
即ち、ある１枚のフレームの画像内の特定の位置に表示される物体が、別のフレームで動いた先は１か所であり、動きベクトルの検出が全く誤りなく正しく検出されている理想状態を想定すると、注目画素と参照画素との対応が１対１となる。従って、特定の位置の画素が、閾値を超える多数の注目画素から、参照画素の候補として選定されたとき、正解でない動きベクトルの候補が多数存在することになる。参照画素から見た注目画素の候補が多数存在する場合も、同様に正解でない動きベクトルの候補が多数存在することになる。従って、その画素を参照画素又は注目画素の候補として動きベクトルを判断する処理を行うと、多数の誤った情報を参照した信頼性が低い動きベクトル検出が行われる可能性が高い。
ここで本発明においては、それぞれの位置の画素が、注目画素又は参照画素の候補となっていることの数を示すカウント数が、閾値を超えている場合には、誤った候補が多数存在していると見なして、動きの候補から除外することが行われる。このため、ある程度、精度の高い動き検出の候補だけが残るようになり、動き検出を行う上での適切な評価値テーブルが得られるようになる。

本発明によると、相関判定結果の度数分布である評価値テーブルを作成する際に、候補の数のカウント数と閾値との比較による処理で、閾値以上の数の候補としてカウントされている状態を除外することで、適切な評価値テーブルが得られるようになる。即ち、特定の位置の画素が、注目画素又は参照画素の候補として多数選ばれている状態を、誤りである可能性が高い候補が多数含まれているとして候補から除外することになり、評価値の候補を適切なものとなり、適切な評価値テーブルが得られるようになる。このため、画像の平坦部や繰り返しパターン部などの画素による動きの誤りを軽減することができ、信頼性の高い評価値テーブルを作成することが可能となり、検出される動きベクトルの精度を向上させることが可能になる。また、例えばサーチエリア内に複数の動きがあった場合でも、それぞれの動きに対する評価値が適切に得られて、複数の動きを同時に算出することが可能となる。

本発明の実施の形態の例について、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２
３．第１の実施の形態の構成例：図３
４．第１の実施の形態の処理例：図４
５．第１の実施の形態の処理の原理説明：図６
６．第１の実施の形態の例による処理状態の例：図７〜図１１
７．第１の実施の形態の変形例の説明
８．第２の実施の形態の構成例：図１２
９．第２の実施の形態の処理例：図１３
１０．第２の実施の形態の処理の原理説明：図１４，図１５
１１．第２の実施の形態の例による処理状態の例：図１６〜図２０
１２．第２の実施の形態の変形例の説明
１３．第３の実施の形態の構成例：図２１
１４．第３の実施の形態の処理例：図２２
１５．動きベクトル抽出部の構成及び動作例：図２３〜図２４
１６．動きベクトル決定部の構成及び動作例：図２５〜図２７
１７．各実施の形態に共通の変形例の説明

［１．動きベクトルを検出する全体構成の概要］
本発明の第１の実施の形態を、図１〜図１１を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。

図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、サーチエリアと同一の大きさの評価値テーブルを作成する。

評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給して、評価値テーブルから、候補ベクトルとして複数の動きベクトルを抽出する。ここでは、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル決定部１４に供給する。動きベクトル決定部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関を領域マッチング等により判定する。そして、最も相関の高い対応となった画素又はブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。

［２．動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１３）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。

そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成とする。図３の例は、評価値テーブルの形成時に、注目点と参照点の画素位置が、その位置を注目点又は参照点の候補とされた回数をカウントし、そのカウント結果により画素選別を行うものである。ここでの注目点とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置（注目画素）である。参照点とは、その注目点から動いた先である可能性がある点の画素位置（参照画素）である。参照点は、注目点とは後又は前の別のフレームで、注目点の画素位置の近傍（即ちサーチエリア内）の画素である。

本実施の形態で特徴となる構成である、図３の構成を説明する前に、注目点と参照点との関係について、図５を参照して説明する。
図５に示すように、現在のフレーム（現フレーム）Ｆ１１の１フレーム前の画像データである前フレームＦ１０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ１０とする。この注目点ｄ１０が決まると、その注目点ｄ１０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１１として評価値が算出される。

［３．第１の実施の形態の構成例］
図５に示したように注目点と参照点とを設定して、図３の構成により評価値テーブルのデータが生成される。
図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、参照点メモリ２１と注目点メモリ２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。この例では、参照点が１フレーム前の信号の例である。

そして、注目点メモリ２２に記憶された注目点の画素値と、参照点メモリ２１に記憶された参照点の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部４０に供給する。画素選別部４０は、相関判定部３０が出力する２値を選別するゲート部４１を備える。このゲート部４１を制御する構成として、参照点選別画素メモリ４２と、注目選別画素メモリ４３と、マッチング一致回数カウントメモリ４４とを備える。
参照点選別画素メモリ４２は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した参照点の１フレーム内の画素位置のデータを、参照点メモリ２１から取得して、記憶させる。この記憶を行うことで、参照点選別画素メモリ４２には、１フレーム内の各画素が、候補として選別された動きベクトルの参照点として何回判断されたかの値が蓄積される。
注目点選別画素メモリ４３は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の１フレーム内の画素位置のデータを、注目点メモリ２２から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ４３には、１フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。

このように候補として選別された参照点又は注目点として判断された回数をカウントさせるために、相関判定部３０で相関が高いと判断された場合の出力を、マッチング一致回数カウントメモリ４４に供給する構成としてある。そして、そのマッチング一致回数カウントメモリ４４の出力を、参照点選別画素メモリ４２と注目選別画素メモリ４３に供給して、両メモリ４２，４３に各画素位置が選別された参照点又は注目点となった回数をカウントさせる。

そして、参照点選別画素メモリ４２に記憶された１フレーム内の各画素の選別画素のカウント数と、注目点選別画素メモリ４３に記憶された１フレーム内の各画素の選別画素のカウント数とに基づいて、ゲート部４１での評価値の通過を制御する。
ここでの制御としては、参照点選別画素メモリ４２に記憶された選別画素のカウント数が、予め決められた（又は適応的に設定された）閾値を越えたか否か判断し、閾値を越えた場合に、その画素についての評価値がゲート部４１を通過するときに、通過を阻止させる。
同様に、注目点選別画素メモリ４３に記憶された選別画素のカウント数が、予め決められた（又は適応的に設定された）閾値を越えたか否か判断し、閾値を越えた場合に、その画素についての評価値がゲート部４１を通過するときに、通過を阻止させる。
なお、参照点と注目点とは、１フレーム期間異なるフレーム位置であるので、参照点選別画素メモリ４２の出力によりゲート部４１を制御するフレームと、注目点選別画素メモリ４３の出力によりゲート部４１を制御するフレームとは、１フレームずれている。

画素選別部４０のゲート部４１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

［４．第１の実施の形態の処理例］
図３の構成での処理動作を示したのが、図４のフローチャートである。
図４に沿って説明すると、図３に示した構成での処理は、注目点と参照点のマッチング一致回数から選別画素を決定して、評価値テーブルへの書き込みが行われるまでの処理である。以下のフローチャートでは、画素選別部４０での処理を中心にして説明する。なお、この図４のフローチャートは、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図３の構成での信号の流れとは一致していない。

まず、絶対値算出部２３での比較で、注目点と参照点との差分が閾値以下か否か判断する（ステップＳ２１）。ここで注目点と参照点との差分が閾値以下になるということは、動きベクトルの候補になるということである。
ステップＳ２１で閾値以下であると判断された場合には、そのときの注目点の画素位置のカウント値を、１つカウントアップさせると共に、参照点の画素位置のカウント値を、１つカウントアップさせる（ステップＳ２２）。それぞれのカウント値は、マッチング一致回数のカウント値であり、参照点選別画素メモリ４２と注目点選別画素メモリ４３に記憶される。

ステップＳ２２でカウントアップさせた後、及びステップＳ２１で閾値以下でないと判断された後には、１フレームの画像データ内の動き検出に使用する全ての画素について処理したか否か判断する（ステップＳ２３）。ここで１フレーム内の全ての画素についてのカウント処理が終了したと判断した場合には、画素選別処理に移る。

画素選別処理としては、現在判断している画素についての、そのマッチング一致回数のカウント値を、予め設定された閾値（又は適応的に設定された閾値）と比較する。ここで、それぞれの画素は、参照点としてのカウント値と、注目点としてのカウント値の双方を持つことになる。例えば、参照点としてのカウント値と、注目点としてのカウント値の双方で、その画素選別用の閾値以下となるか否か判断する（ステップＳ２４）。
この判断で、閾値以下となった注目点と参照点を選別画素とする（ステップＳ２５）。その選別画素を選定する処理を行った上で、注目点と参照点との差分が閾値以下か否か判断する（ステップＳ２６）。このステップＳ２６で判断するこの閾値は、ステップＳ２１で判断した閾値と同じである。

そして、ステップＳ２６で閾値以下であると判断することで、ゲート部４１を通過させて、該当する評価値を評価値テーブルに足し込みを実行させる（ステップＳ２７）。また、ステップＳ２４で画素選別用の閾値を越えていると判断した場合と、ステップＳ２６で注目点と参照点との差分が閾値を越えていると判断した場合には、該当する評価値の評価値テーブルへの書き込みを禁止させる（ステップＳ２８）。

［５．第１の実施の形態の処理の原理説明］
図６は、マッチング一致回数のカウント状態の例を示した図である。図６（ａ）は、注目点のマッチング一致回数の例を示し、図６（ｂ）は、参照点のマッチング一致回数の例を示す。
図６（ａ）の注目点のマッチング一致回数について説明すると、例えば前フレームＦ１０内の特定位置の画素ｄ１０を注目点とする。この注目点ｄ１０から見て、現フレームＦ１１内のサーチエリア（破線で示す）内に、注目点ｄ１０の輝度値と一定閾値以内の輝度値の画素として、５個の参照点ｄ１１〜ｄ１５が検出されたとする。このとき、注目点ｄ１０のマッチング一致回数のカウント値は５となる。

図６（ｂ）の参照点のマッチング一致回数について説明すると、例えば現フレームＦ１１内の特定位置の画素ｄ１１を参照点としたとき、その参照点ｄ１１を参照点とした前フレームＦ１０での注目点が、図示のように注目点ｄ７〜ｄ１０の４個存在していたとする。このとき、参照点ｄ１１のマッチング一致回数のカウント値は４となる。

実際の画像では、前フレームＦ１０での注目点ｄ１０の画素が動いた先の参照点の正解は、１つだけであり、図６（ａ）の例のように、１つの注目点から見て複数の参照点がある場合と、図６（ｂ）の例のように、１つの参照点から見て複数の注目点がある場合には、それぞれ正解の１つを除いた残りの候補は、全て正しくない（誤った）候補のデータである。
ここで、図３の構成及び図４のフローチャートによる処理では、注目点のマッチング一致回数が閾値を越えて多数存在する場合、及び、参照点のマッチング一致回数が閾値を越えて多数存在する場合を、それぞれ誤った候補が多数存在する状態であると判断する。そして、その誤った候補が多数存在する状態の評価値を、評価値テーブルに加算しないようにして、正しい動きベクトルが検出できるようにしたものである。
このようなマッチング一致回数を閾値と比較して制限する処理は、例えば、縞模様が繰り返されるパターンの画像などのように、同じ状態の画素が近隣に多数存在する場合に特に効果がある。

［６．第１の実施の形態の例による処理状態の例］
本実施の形態の処理構成で、実際に評価値テーブルを生成させた例を、図７以降を参照して説明する。
図７は、評価値テーブルの生成に使用したテスト画像の例を示した図である。図７（ａ）は、１フレームのテスト画像を示し、そのテスト画像中に、縞模様の２つの四角形状の領域が、矢印で示すように、フレームの変化で順に移動しているとする。図７（ｂ）は、この移動している縞模様のパターンを拡大して示したものであり、同じ形状が繰り返される状態であることを示している。

図８は、このテスト画像に対して、図３の処理構成で、マッチング一致の判断を行って得られた、マッチング一致回数のヒストグラムを示した図である。図８の横軸はマッチング一致回数のカウント値であり、縦軸はそのカウント値となった画素数を示す。
この図８の例では、マッチング一致回数のカウント値の最頻度値が１０３である。即ち、カウント値１０３となる画素が、１フレーム中に最も多く存在した状態である。

次に、図７のテスト画像に対して、図３の相関判定部３０の出力を、画素選別部４０で選別させずに、そのまま評価値テーブル算出部５０に供給して、評価値テーブルを生成させた場合の、１フレーム内の各画素位置での、各評価値の積算状況を図９に示す。つまり、図９の例は、本実施の形態の画素選別をしない従来例の特性図に相当する。
図９において、Ｖｘは水平方向の画素位置、Ｖｙは垂直方向の画素位置を示し、縦軸に積算値を示し、１フレーム内の各画素での評価値の積算状況を３次元的に示した図である。

この図９から判るように、図７のような同じ模様が繰り返されるパターンの画像の場合には、誤った評価値が多数積算されて、正しい評価値を判別するのが非常に困難な状況になっている。

これに対して、図７のテスト画像に対して、本実施の形態のマッチング一致回数による画素選別を行った例が、図１０及び図１１である。
図１０の例は、マッチング一致回数のカウント値を判断する閾値として、カウント値２０を設定し、その値２０を越えるものを制限し、カウント値２０以下の点（注目点及び参照点）の評価値を積算させた例である。
この図１０に示すようにマッチング一致回数のカウント値を固定値として制限することで、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。

図１１の例は、マッチング一致回数のカウント値を判断する閾値として、図８で説明した最頻度値のカウント値１０３を設定し、その値１０３を越えるものを制限し、カウント値１０３以下の点（注目点及び参照点）の評価値を積算させた例である。
この図１１に示すようにマッチング一致回数のカウント値を最頻度値として制限することでも、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。

［７．第１の実施の形態の変形例の説明］
なお、マッチング一致回数のカウント値を判断する閾値は、固定値にする場合と、最頻度値にする場合のいずれでもよい。いずれを選択した方が良いかは、扱う画像によって異なる。固定値とする場合には、画像のジャンルごとに固定値を決めるようにしてもよい。例えば比較的動きの早い画像がある可能性が高いスポーツの画像などの場合の固定値と、比較的動きが少ない画像である可能性が高い映画やドラマなどの画像の場合の固定値などのように、画像の種類に応じて複数種類の固定値を用意して、その複数種類の固定値の中から、適切なものを選択して設定するようにしてもよい。
また、最頻度値のように閾値を可変設定する場合には、毎フレーム毎に最頻度値を算出してもよいが、一度、最頻度値を設定すると、ある程度の期間（所定フレーム期間）、その設定した値を閾値に固定させるようにしてもよい。この場合、所定フレーム期間が経過すると、再度、最頻度値を算出して、閾値を再設定する。或いは、扱う画像信号から、絵柄の内容が大きく変化する、いわゆるシーンチェンジを検出したタイミングで、最頻度値を算出し直して、閾値を再設定するようにしてもよい。

また、最頻度値以外の条件で、閾値を設定するようにしてもよい。
例えば、マッチング一致回数のカウント値の平均値又は加重平均値を、閾値としてもよい。例えば１フレーム内で、マッチング一致回数が０から２０までの値に分布しているとき、閾値を１０に設定する。また例えば、１フレーム内で、マッチング一致回数が０から２までの値に分布しているとき、閾値を１に設定する。このようにして、平均値を閾値とした場合にも、良好な評価値の選別が行える。

また、ここまでの説明では、注目点と参照点のそれぞれで、マッチング一致回数のカウント値を判断して、評価値の通過を制限するようにしたが、注目点と参照点のいずれか一方でだけ、評価値のマッチング一致回数のカウントを行って、そのカウント値が閾値を越えるか否かで、評価値の通過を制限するようにしてもよい。

［８．第２の実施の形態の構成例］
次に、本発明の第２の実施の形態を、図１２〜図２０を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。注目画素（注目点）及び参照画素（参照点）の定義についても、第１の実施の形態で説明した定義と同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１２に示す構成としたものである。図１２の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図１２に示した本実施の形態の例では、評価値テーブル形成部１２での評価値テーブルの形成処理として、注目点と参照点のマッチング一致回数による制限の他に、他の注目点又は参照点に関する要因を加味して制限を加えるようにしたものである。ここでは、他の注目点及び参照点に関する要因として、注目点の画素又は参照点の画素と、それぞれに隣接する画素との空間傾斜が所定の条件に基づいて一定以上あると判断される場合を、評価値を積算させる場合とし、それ以外を制限させる。空間傾斜が一定以上ある場合の具体的な例については後述するが、ここでは空間傾斜パターン又は空間傾斜符号を使用して判断した結果を使用する。

図１２の例の構成について説明すると、相関演算部２０と、相関判定部３０については、図３に示した構成と同じである。即ち、入力端子１１に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。

そして、注目点メモリ２２に記憶された注目点の画素値と、参照点メモリ２１に記憶された参照点の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部６０に供給する。画素選別部６０は、相関判定部３０が出力する２値を選別するゲート部６１を備える。このゲート部６１を制御する構成として、参照点選別画素メモリ６２と、注目選別画素メモリ６３と、マッチング一致回数カウントメモリ６４とを備える。さらに画素選別部６０は、空間傾斜パターン算出部６５と、パターン比較部６６と、空間傾斜パターンメモリ６７とを備える。

画素選別部６０内の参照点選別画素メモリ６２と注目選別画素メモリ６３とマッチング一致回数カウントメモリ６４とでの処理については、図３に示した画素選別部４０内の各メモリ４２，４３，４４での処理構成と同じである。即ち、参照点選別画素メモリ６２は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した参照点の１フレーム内の画素位置のデータを、参照点メモリ２１から取得して、記憶させる。この記憶を行うことで、参照点選別画素メモリ６２には、１フレーム内の各画素が、候補として選別された動きベクトルの参照点として何回判断されたかの値が蓄積される。
注目点選別画素メモリ６３は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の１フレーム内の画素位置のデータを、注目点メモリ２２から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ６３には、１フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。

このように候補として選別された参照点又は注目点として判断された回数をカウントさせるために、相関判定部３０で相関が高いと判断された場合の出力を、マッチング一致回数カウントメモリ６４に供給する構成としてある。そして、そのマッチング一致回数カウントメモリ６４の出力を、参照点選別画素メモリ６２と注目選別画素メモリ６３に供給して、両メモリ６２，６３に各画素位置が選別された参照点又は注目点となった回数をカウントさせる。

そして、参照点選別画素メモリ６２に記憶された１フレーム内の各画素の選別画素のカウント数と、注目点選別画素メモリ６３に記憶された１フレーム内の各画素の選別画素のカウント数とに基づいて、ゲート部６１での評価値の通過を制御する。
ここまでのゲート部６１での評価値の通過を制御する処理構成は、第１の実施の形態と同じである。

そして本実施の形態においては、画素選別部６０として、空間傾斜パターン算出部６５と、パターン比較部６６と、空間傾斜パターンメモリ６７とを備えて、空間傾斜パターンを用いて、さらに画素選別する構成としてある。
空間傾斜パターン算出部６５では、１フレーム内のそれぞれの画素について、その画素に隣接する周囲の８画素との空間傾斜を算出して、空間傾斜パターンを算出する。算出した空間傾斜パターンは、パターン比較部６６に供給して、空間傾斜パターンメモリ６７に記憶された空間傾斜パターンと比較して、空間傾斜パターンを判定する。そして、判定した空間傾斜パターンに応じて、ゲート部６１での評価値の通過を制御する。

従って本実施の形態の画素選別部６０では、マッチング一致回数のカウント値が閾値以下であり、なおかつ、該当画素とその隣接画素との空間傾斜パターンが所定状態である場合にだけ、ゲート部６１で評価値が通過されて、評価値テーブルに積算されることになる。

画素選別部６０のゲート部６１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

［９．第２の実施の形態の処理例］
図１２の構成での処理動作を示したのが、図１３のフローチャートである。
この図１３のフローチャートにおいて、図４のフローチャートと同一処理については同一のステップ番号を付与してある。
図１３のフローチャートは、図４のフローチャートと同様に、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図１２の構成での信号の流れとは一致していない。

まず、現在ゲート部６１に供給されている評価値の画素が、パターン比較部６６での空間傾斜パターンの比較で、参照点と注目点の双方で、周辺画素との空間傾斜パターンが特定のパターンであるか判断する。そして、その判断で、参照点と注目点の双方で、特定の同じパターンであると判断した場合に、ゲート部６１に供給されている評価値の通過を許容し、特定のパターンでない場合には、ゲート部６１の通過を阻止させる（ステップＳ２０）。

そして、以後は、図４のフローチャートと同様にステップＳ２１からステップＳ２８の処理が行われて、そのパターン比較部６６での画素選別と同時に、マッチング一致回数のカウント値に基づいたゲート部６１の制御が行われる。
以下の処理について簡単に説明すると、空間傾斜パターンによる画素選別に続いて、絶対値算出部２３での比較で、注目点と参照点との差分が閾値以下か否か判断する（ステップＳ２１）。
ステップＳ２１で閾値以下であると判断された場合には、そのときの注目点と参照点の画素位置のカウント値を、１つずつカウントアップさせる（ステップＳ２２）。

このステップＳ２１での閾値比較とステップＳ２２でのカウントアップ処理を、１フレーム内の全ての画素について実行し（ステップＳ２３）、画素選別処理に移る。

画素選別処理としては、現在判断している画素についての、そのマッチング一致回数のカウント値を、予め設定された閾値（又は適応的に設定された閾値）と比較する。そして例えば、参照点としてのカウント値と、注目点としてのカウント値の双方で、その画素選別用の閾値以下となるか否か判断する（ステップＳ２４）。
この判断で、閾値以下となった注目点と参照点を選別画素とする（ステップＳ２５）。その選別画素を選定する処理を行った上で、注目点と参照点との差分が閾値以下か否か判断する（ステップＳ２６）。

そして、ステップＳ２６で閾値以下であると判断することで、ゲート部４１を通過させて、該当する評価値を評価値テーブルに足し込みを実行させる（ステップＳ２７）。また、ステップＳ２４で画素選別用の閾値を越えていると判断した場合と、ステップＳ２６で注目点と参照点との差分が閾値を越えていると判断した場合には、該当する評価値の評価値テーブルへの書き込みを禁止させる（ステップＳ２８）。

［１０．第２の実施の形態の処理の原理説明］
図１４は、図１２の構成及び図１３のフローチャートでの処理状態の概要を示した図である。
まず、図１４（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１１の１フレーム前の画像データである前フレームＦ１０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ１０とする。この注目点ｄ１０が決まると、その注目点ｄ１０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１１として評価値が算出される。

ここで本例においては、図１４（ｂ）に示すように、前フレームＦ１０内で、注目点に隣接する８画素との差分から、それぞれの方位ごとの空間傾斜符号を算出する。また、現フレームＦ１１内で、参照点に隣接する８画素との差分から、それぞれの方位ごとの空間傾斜符号を算出する。そして、それぞれの８方位の空間傾斜符号が、予め設定された特定の空間傾斜符号状態による空間傾斜パターンとなった場合を選別の条件とする。この空間傾斜パターンを使った選別の条件を、マッチング一致回数のカウント値と閾値との比較による選別の条件に加えて、ゲート部６１での通過を制御する。

この場合、図１４（ａ）及び（ｂ）に示すように、注目点と参照点との位置関係で決まる動き方位ｍを取得して、その動き方位を判断に使用するようにしてもよい。この場合には、例えば図１４（ｂ）に示すように、動き方位ｍの方向に注目画素と隣接する画素の空間傾斜符号を判断し、さらに、動き方位ｍの方向に参照画素と隣接する画素の空間傾斜符号を判断する。図１４（ｂ）中に、太い矢印で示したのが、空間傾斜符号を判断する方向である。そして、それぞれの空間傾斜符号が一致するとき、評価値をゲート部６１で通過させる処理を行う。
この動き方位を利用した空間傾斜符号の判断による選別と、マッチング一致回数のカウント値と閾値との比較による選別とを、ゲート部６１で行うようにしてもよい。或いは、空間傾斜パターンの比較による選別と、動き方位を利用した空間傾斜符号の判断による選別と、マッチング一致回数のカウント値と閾値との比較による選別とを組み合わせて行うようにしてもよい。

図１５は、注目点及び参照点を基準として、隣接画素との空間傾斜符号の判断を行う例を示した図である。
即ち、図１５の左上に示すように、注目点の画素を決めたとき、その注目点に隣接する８つの画素を隣接画素とする。そして、注目点の画素値と、隣接点の画素値とを比較して、画素値（輝度値）の差が、注目点を基準として一定範囲内であるか、一定範囲を＋方向に超えた場合であるか、一定範囲をマイナス方向に超えた場合であるか判断する。
図１５（ａ）は、注目点を基準として隣接画素との差が一定範囲内である場合であり、この場合は該当する隣接画素との空間傾斜なしとして、空間傾斜０とする。この空間傾斜０は、隣接画素との空間傾斜がほぼない状態である。図１５に示した差を判断する一定範囲を狭くすることで、空間傾斜なしと判断される差分の許容値が狭くなり、一定範囲を広くすることで、空間傾斜なしと判断される差分の許容値が広くなる。
図１５（ｂ）は、注目点を基準として、隣接画素の値の方が大きいために、一定範囲を＋方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号＋とする。
図１５（ｃ）は、注目点を基準として、隣接画素の値の方が小さいために、一定範囲を−方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号−とする。
図１５では、注目点の空間傾斜の符号を求める処理について説明したが、参照点の場合にも同じである。参照点の場合には、図１５の基準が参照点の画素値に変わり、隣接画素はその参照点に隣接する画素の値になる。

このようにして、隣接する８つの画素との空間傾斜の符号を判断して、その８つの隣接画素との符号状態から、基準位置の画素（注目画素又は参照画素）についての空間傾斜パターンを算出する。
ここでは、例えば図１６に示すように、注目点（又は参照点）とその周辺８画素の合計９画素による空間傾斜パターンＰとして、注目点ｄ１０とその周辺の８画素との間で全て同じ方向の符号による空間傾斜がある空間傾斜パターンとする。このような空間傾斜パターンは、注目点（又は参照点）の輝度が、周辺画素と全く異なる状態に相当する。
注目点と参照点の双方で、この図１６に示した空間傾斜パターンであるとき、該当するパターンの中心に位置する注目点及び参照点の評価値を、ゲート部６１で通過させる制御が行われる。但し、図１６に示した空間傾斜パターンは一例であって、その他の空間傾斜パターンであることを判断してもよい。
本実施の形態において、マッチング一致回数のカウント値に基づいて、評価値のゲート部６１の通過を制御する処理については、第１の実施の形態で、図６を参照して説明した原理と同じである。

このようにして、空間傾斜パターンによる評価値の選別と、マッチング一致回数のカウント値と閾値との比較による選別との双方の選別を行うことで、第１の実施の形態の処理構成に比べて、より評価値の候補を絞ることができ、良好な評価値テーブルが得られる。

［１１．第２の実施の形態の例による処理状態の例］
図７に示したテスト画像に対して、本実施の形態の処理を施して評価値テーブルを得た例について、図１７〜図２０を参照して説明する。
図１７は、図７のテスト画像に対して、図１２の処理構成で、図１６の空間傾斜パターンによる評価値の選別を行った評価値に対して、マッチング一致の判断を行って得られた、マッチング一致回数のヒストグラムを示した図である。図１７の横軸はマッチング一致回数のカウント値であり、縦軸はそのカウント値となった画素数を示す。
この図１７の例では、マッチング一致回数のカウント値の最頻度値が５であり、加重平均値が２５である。即ち、カウント値１０３となる画素が、１フレーム中に最も多く存在した状態であり、加重平均値が２５である。この図１７のヒストグラムは、図８のヒストグラムと比較すると判るように、評価値が大幅に絞られている。

次に、図７のテスト画像に対して、図１２の相関判定部３０の出力を、空間傾斜パターンによる評価値の選別だけを、画素選別部６０のゲート部６１で行った場合の、各評価値の積算状況の例を、図１８に参考に示す。
この図１８において、Ｖｘは水平方向の画素位置、Ｖｙは垂直方向の画素位置を示し、縦軸に積算値を示し、１フレーム内の各画素での評価値の積算状況を３次元的に示した図である。

この図１８から判るように、空間傾斜パターンを使用した選別を行うことで、図９に示した全く選別が行われていない状態に比べて、評価値が絞られていることが判る。但し、図１８の縦軸の値から判るように、ピーク位置の評価値の積算値はかなり高い値となっており、評価値の絞り込みが十分でない状態である。

これに対して、図７のテスト画像に対して、本実施の形態のマッチング一致回数による画素選別を行った例が、図１９及び図２０である。
図１９の例は、空間傾斜パターンを使用した選別を行い、さらにマッチング一致回数のカウント値を判断する閾値として、最頻度値であるカウント値５を設定し、その値５を越えるものを制限し、カウント値５以下の点（注目点及び参照点）の評価値を積算させた例である。
この図１９に示すようにマッチング一致回数のカウント値を固定値として制限することで、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。

図２０の例は、空間傾斜パターンを使用した選別を行い、さらにマッチング一致回数のカウント値を判断する閾値として、図１７で説明した加重平均値のカウント値２５を設定し、その値２５を越えるものを制限し、カウント値２５以下の点（注目点及び参照点）の評価値を積算させた例である。
この図２０に示すようにマッチング一致回数のカウント値を最頻度値として制限することでも、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。

［１２．第２の実施の形態の変形例の説明］
なお、この第２の実施の形態の場合には、マッチング一致回数のカウント値を判断する閾値を固定値にする例を示さなかったが、第１の実施の形態で説明した場合と同様に、常に予め決めた固定値の閾値としてもよい。最頻度値のように閾値を可変設定する場合の、その可変させるタイミングについても、第１の実施の形態で説明した各例が適用可能である。最頻度値以外の平均値などの条件で、閾値を設定するようにしてもよい点も、第１の実施の形態で説明した場合と同様である。

また、第２の実施の形態の場合にも、説明した処理構成では、注目点と参照点のそれぞれで、マッチング一致回数のカウント値を判断して、評価値の通過を制限するようにしたが、注目点と参照点のいずれか一方でだけ、評価値のマッチング一致回数のカウントを行って、そのカウント値が閾値を越えるか否かで、評価値の通過を制限するようにしてもよい。

さらに、この第２の実施の形態では、マッチング一致回数のカウント値以外の要因で、評価値テーブルへの積算を制限する処理として、空間傾斜パターン或いは空間傾斜符号の比較を適用するようにしたが、その他の処理を組み合わせるようにしてもよい。空間傾斜パターンについても、図１６に示したパターン以外の空間傾斜パターンとの一致を判断するようにしてもよい。

［１３．第３の実施の形態の構成例］
次に、本発明の第３の実施の形態を、図２１〜図２２を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。注目画素（注目点）及び参照画素（参照点）の定義についても、第１の実施の形態で説明した定義と同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図２１に示す構成としたものである。図２１の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図２０に示した本実施の形態の例では、評価値テーブル形成部１２での評価値テーブルの形成処理として、注目点と参照点のマッチング一致回数を用いて、評価値テーブルの重み付けを行う例としたものである。即ち、第１の実施の形態では、マッチング一致回数を用いて評価値の積算の制限を行うようにしたが、この第３の実施の形態では、マッチング一致回数に対応して、評価値テーブルの評価値の信頼性を複数段階に評価する重み付けを行う例である。

図２１の例の構成について説明すると、相関演算部２０と、相関判定部３０については、図３に示した構成と同じである。即ち、入力端子１１に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。

そして、注目点メモリ２２に記憶された注目点の画素値と、参照点メモリ２１に記憶された参照点の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部７０に供給する。画素選別部７０は、相関判定部３０が出力する２値を選別するゲート部７１を備える。このゲート部７１を制御する構成として、参照点選別画素メモリ７２と、注目選別画素メモリ７３と、パターン比較部７４と、空間傾斜パターンメモリ７５とを備える。さらに画素選別部７０は、マッチング一致回数カウントメモリ７６を備える。

画素選別部７０内の参照点選別画素メモリ７２と注目選別画素メモリ７３とマッチング一致回数カウントメモリ７６とでの処理については、図３に示した画素選別部４０内の各メモリ４２，４３，４４での処理構成と同じである。即ち、参照点選別画素メモリ７２は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した参照点の１フレーム内の画素位置のデータを、参照点メモリ２１から取得して、記憶させる。この記憶を行うことで、参照点選別画素メモリ７２には、１フレーム内の各画素が、候補として選別された動きベクトルの参照点として何回判断されたかの値が蓄積される。
注目点選別画素メモリ７３は、絶対値算出部２３での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の１フレーム内の画素位置のデータを、注目点メモリ２２から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ７３には、１フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。

このように候補として選別された参照点又は注目点として判断された回数をカウントさせるために、相関判定部３０で相関が高いと判断された場合の出力を、マッチング一致回数カウントメモリ７６に供給する構成としてある。マッチング一致回数カウントメモリ７６では、それぞれの画素位置でのマッチング一致回数のカウント値に応じた重み付け係数値を出力する。

また、パターン比較部７４では、空間傾斜パターン算出部７５で空間傾斜ありと判断された場合に、その空間傾斜パターンを注目点と参照点とで比較して、一致するか否か判断する。空間傾斜パターン算出部７５では、１フレーム内のそれぞれの画素について、その画素に隣接する周囲の８画素との空間傾斜を算出して、空間傾斜パターンの有無を算出する。
空間傾斜があり、かつその空間傾斜パターンが一致すると判断した場合には、そのときの相関判定部３０が出力する評価値をゲート部７１で通過させる。空間傾斜パターンが一致しない場合には、そのときの相関判定部３０が出力する評価値をゲート部７１で通過させない。
ゲート部７１を通過した評価値は、評価値テーブル算出部５０に供給して、評価値積算部５１で評価値テーブルメモリ５２内の評価値テーブルのデータに、該当する評価値を積算させる。

ここで、画素選別部７０内のマッチング一致回数カウントメモリ７６が出力する重み付け係数値を、評価値積算部５１に供給し、それぞれの画素位置の評価値の積算値に重み付け係数値を乗算する。重み付け係数値の例については後述するが、例えばマッチング一致回数が１のとき、係数値を１とし、マッチング一致回数が１から高くなるに従って係数値を１より小さい値とする。

このようにしてマッチング一致回数に応じた係数値が乗算された評価値を、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

［１４．第３の実施の形態の処理例］
図２１の構成での処理動作を示したのが、図２２のフローチャートである。
図２２のフローチャートは、図４のフローチャートと同様に、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図２１の構成での信号の流れとは一致していない。

まず、現在ゲート部７１に供給されている評価値の画素について、参照点と注目点の双方で、周辺画素との空間傾斜パターンが一致するか否か判断する。その判断で、参照点と注目点の双方で、特定の同じパターンであると判断した場合に、ゲート部７１に供給されている評価値の通過を許容し、特定のパターンでない場合には、ゲート部７１の通過を阻止させる（ステップＳ３１）。このステップＳ３１での処理は、空間傾斜パターンを使った画素選別を行ったことになる。

そして、参照点と注目点との差分が閾値以下か否か判断する（ステップＳ３２）。この差分が閾値以下か否かの判断は、相関判定部３０で行われる。ここで、差分値が閾値以下でない場合には、該当する画素の評価値の通過を阻止させ、評価値テーブルメモリ５２に記憶させる評価値テーブルには積算させない（ステップＳ３５）。

一方、ステップＳ３２で、参照点と注目点との差分が閾値以下であると判断した場合には、その注目点でのマッチング一致回数をカウントし、カウント結果をマッチング一致回数カウントメモリ７６に記憶させる（ステッ３３）。そして、記憶されたカウント値に基づいた係数値をマッチング一致回数カウントメモリ７６から出力する。

そして、ステップＳ３２で判断した注目点についての、評価値テーブルに積算する評価値を、マッチング一致回数メモリ７６に記憶されたマッチング一致回数を用いて重み付け乗算して、その乗算結果を評価値テーブルメモリ５２に記憶させる（ステップＳ３４）。

ステップＳ３４で乗算する係数値としては、例えば、ある注目点に対して、マッチング一致回数が１の場合は、理想状態であるとして、重み係数を１とし、その注目点の評価値１を評価値テーブルに積算させる。重み係数１であるということは、足し込み信頼性が１であるということである。また、マッチング一致回数が１より高くなった場合には、その値に応じて、重み係数値を１より小さくさせる。例えば、マッチング一致回数が１０の場合は、足し込みの信頼性は１／１０であるとして、重み係数を１／１０とし、その注目点の評価値０．１を評価値テーブルに積算させる。

このように、本実施の形態に記載のように、評価値テーブルとして形成されるそれぞれの評価値を、マッチング一致回数で重み付けした評価値とすることでも、評価値がマッチング一致回数に比例した評価値となり、良好な評価値が得られるようになる。

［１５．動きベクトル抽出部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図２３〜図２４を参照して説明する。
図２３は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第３の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部５０内の評価値テーブルメモリ５２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。

評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。

候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
あるいは、例えば動きベクトル抽出部１３の前段の評価値テーブル形成部１２（図１）での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図３の画素選別部４０などで画素選別に使用された、選別された注目点のデータを使う。その選別された注目点のデータを、評価値テーブル形成部１２から得て、選別された各注目点から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。

このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。

図２４は、図２３に示した動くベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。

その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。

［１６．動きベクトル決定部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル決定部１４の構成及び動作の例について、図２５〜図２７を参照して説明する。
図２５は、図１の動きベクトル決定部１４の構成例を示したものである。動きベクトル決定部１４は、１フレーム内のそれぞれの画素に、前段の動きベクトル抽出部１３から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目点としたとき、その注目点の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。

図２５に従って構成を説明すると、動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。

そして、注目点メモリ２１２に記憶された画像信号から、注目点を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。同様に、参照点メモリ２１１に記憶された画像信号から、参照点を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。このデータ読出し部２１３で読出される注目点と参照点の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。即ち、例えば候補ベクトルが１０個ある場合には、注目点からその１０個の候補ベクトルで動いた先の１０個の参照点が判断されることになる。

そして、データ読出し部２１３で読出された、注目点を中心とした固定領域の画素信号と、参照点を中心とした固定領域の画素信号とを、評価値算出部２１４に供給して、両固定領域の画素信号の差分が検出される。このようにして、評価値算出部２１４では、現在評価中の注目点と候補ベクトルで接続された全ての参照点の固定領域の画素信号を判断し、注目点を中心とした固定領域の画素信号と比較する。
そして、評価値算出部２１４では、比較の結果で、注目点を中心とした固定領域の画素信号と最も類似した固定領域を持った参照点を選定する。
選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部２１５に送る。ベクトル決定部２１５では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。

図２６のフローチャートは、この図２５のベクトル決定（割当て）処理動作例を示したフローチャートである。
図２６に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ１２２）。また、読出された候補ベクトルについての参照点の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ５１から読出す（ステップＳ１２３）。
そして、それぞれの固定ブロック内の各画素の画素レベル（画素値：ここでは輝度値）と、注目点について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する（ステップＳ１２４）。ここまでの処理を、現在の注目点についての全ての候補ベクトルで示された参照点について行う。
そして、複数の参照点ごとに注目点と比較して得た絶対値差分和の内で、値が最小になる参照点を探す。この処理で、値が最小になる参照点を判断すると、その判断された参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。

図２７は、この図２５の構成及び図２６のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目点ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目点ｄ１０と結ばれた参照点ｄ１１，ｄ１２が存在している。
このような図９の状態を想定すると、図２６のステップＳ２２では、フレームＦ１０内で、注目点ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値が判断される。同様に、図８のステップＳ２３では、フレームＦ１１内で、参照点ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値が、それぞれ判断される。

そして、固定ブロックＢ１１内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。同様に、固定ブロックＢ１２内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。そして、いずれの絶対値差分和の方が小さいか比較される。この比較で、例えば固定ブロックＢ１１を使った絶対値差分和の方が小さいと判断すると、その固定ブロックＢ１１の中心の参照点ｄ１１と、注目点ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目点ｄ１０の動きベクトルとして割り当てる。
なお、図２７では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目点に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目点だけを示してあるが、実際には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目点となる。

このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目点の周囲の画素の状態と、参照点の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。

［１７．各実施の形態に共通の変形例の説明］
なお、上述した各実施の形態では、注目点の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目点として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目点として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
また、注目点に対する参照点の選定処理についても、図６などに図示したサーチエリアＳＡは一例であり、注目点に対して様々なサイズのサーチエリアを設定する構成を適用することができる。

また、上述した各実施の形態では、動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。

また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。

本発明の実施の形態による装置構成例を示すブロック図である。 本発明の実施の形態による全体処理例を示すフローチャートである。 本発明の第１の実施の形態による評価値テーブル形成例（注目点，参照点のマッチング一致回数を用いて、画素選別した例）を示すブロック図である。 図３の例による処理を示したフローチャートである。 図３の例による参照点と注目点との関係を示した説明図である。 図３の例によるマッチング一致回数の概要を示す説明図である。 テスト画像の例を示す説明図である。 図３の例によるマッチング回数ヒストグラムの例を示す説明図である。 マッチング回数による選別をしない評価値テーブルの例を示した特性図である。 本発明の第１の実施の形態によるマッチング回数の選別をした例の評価値テーブルの例（閾値を固定した例）を示した特性図である。 本発明の第１の実施の形態によるマッチング回数の選別をした例の評価値テーブルの例（閾値を最頻度値とした例）を示した特性図である。 本発明の第２の実施の形態による評価値テーブル形成例（注目点，参照点のマッチング一致回数と、空間傾斜パターンを用いて、画素選別した例）を示すブロック図である。 図１２の例による処理を示したフローチャートである。 参照点と注目点の空間傾斜パターンと空間傾斜符号を示した説明図である。 本発明の第２の実施の形態による空間傾斜符号の例を示す説明図である。 本発明の第２の実施の形態による空間傾斜パターンの例を示す説明図である。 図１２の例によるマッチング回数ヒストグラムの例を示す説明図である。 本発明の第２の実施の形態によるマッチング回数の選別をした例の評価値テーブルの例を示した特性図である。 本発明の第２の実施の形態によるマッチング回数の選別をした例の評価値テーブルの例（閾値を最頻度値とした例）を示した特性図である。 本発明の第２の実施の形態によるマッチング回数の選別をした例の評価値テーブルの例（閾値を加重平均値とした例）を示した特性図である。 本発明の第３の実施の形態による評価値テーブル形成例（注目点，参照点のマッチング一致回数を用いた重み付けで画素選別した例）を示すブロック図である。 図２１の例による処理を示したフローチャートである。 本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。 図２３の例による処理を示したフローチャートである。 本発明の実施の形態による動きベクトル決定部の構成例を示すブロック図である。 図２５の例による処理を示したフローチャートである。 図２５の例による動きベクトル決定処理状態の例を示す説明図である。 従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。 従来の評価値テーブルデータ生成処理例の概要を示す説明図である。

符号の説明

１…画像信号入力端子、２…相関演算部、２ａ…参照点メモリ、２ｂ…注目点メモリ、２ｃ…絶対値算出部、３…相関判定部、３ａ…比較部、４…評価値テーブル算出部、４ａ…評価値積算部、４ｂ…評価値テーブルメモリ、５…評価値テーブルデータ出力端子、１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル決定部、１５…動きベクトル出力端子、１６…制御部（コントローラ）、２０…相関演算部、２１…参照点メモリ、２２…注目点メモリ、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別部、４１…ゲート部、４２…参照点選別画素メモリ、４３…注目点選別画素メモリ、４４…マッチング一致回数カウントメモリ、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、６０…画素選別部、６１…ゲート部、６２…参照点選別画素メモリ、６３…注目点選別画素メモリ、６４…マッチング一致回数カウントメモリ、６５…空間傾斜パターン算出部、６６…パターン比較部、６７…空間傾斜パターンメモリ、７０…画素選別部、７１…ゲート部、７２…参照点選別画素メモリ、７３…注目点選別画素メモリ、７４…パターン比較部、７５…空間傾斜パターン算出部、７６…マッチング一致回数カウントメモリ、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…評価値算出部、２１５…ベクトル決定部

Claims (8)

1. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値を形成し、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する評価値積算情報形成部と、
   前記評価値積算情報形成部が形成した評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定部とを備えた
   動きベクトル検出装置。
2. 前記評価値積算情報形成部は、
   前記評価値積算情報を形成させる際の候補に制限を加える要因として、前記評価値の画素選別用の所定の閾値との比較以外に、
   注目画素とその隣接画素に空間傾斜が一定値以上あり、参照画素とその隣接画素にも空間傾斜が一定以上である場合に、評価値を前記評価値積算情報に足しこむ処理を行い、前記空間傾斜が一定以上でない場合に、評価値を前記評価値積算情報に足しこまないようにした
   請求項１に記載の動きベクトル検出装置。
3. 前記空間傾斜が一定以上であることの判断は、
   注目画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
   参照画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
   注目画素および参照画素の空間傾斜パターンを比較して、空間傾斜パターンが同じと判断した場合である
   請求項２記載の動きベクトル検出装置。
4. 前記空間傾斜が一定以上であることの判断は、
   注目画素と参照画素との動き方向での、注目画素と隣接画素との空間傾斜符号と、参照画素と隣接画素との空間傾斜符号とが一致した場合である
   請求項２記載の動きベクトル検出装置。
5. 前記画素選別用の所定の閾値は、１つの画面内での各画素の前記カウント値の最頻度値である
   請求項１に記載の動きベクトル検出装置。
6. 前記画素選別用の所定の閾値は、１つの画面内での各画素の前記カウント値の平均値である
   請求項１に記載の動きベクトル検出装置。
7. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値を形成し、
   その評価値を積算した評価値積算情報を生成させる際に、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する処理を行い、
   前記評価値が足しこまれた前記評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理を行い、
   動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理を行う
   動きベクトル検出方法。
8. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値を形成する処理と、
   その評価値を積算した評価値積算情報を生成させる際に、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する処理と、
   前記評価値が足しこまれた前記評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理と、
   動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理を、
   情報処理装置に実装して実行させる
   プログラム。