JP2012227669A - 情報処理装置と情報処理方法およびプログラム - Google Patents

Abstract

【課題】 簡単な構成でグローバル動きベクトルの算出をより良い精度で可能とする。
【解決手段】低ビット基準画像生成部３１-cは、画素に割り当てるビット数の削減を基準画像に対して行い低ビット基準画像の画像データＤＶcbを生成する。低ビット参照画像生成部３１-rは、参照画像のビット数削減を行い低ビット参照画像の画像データＤＶrbを生成する。動きベクトル情報生成部４０は、低ビット基準画像と低ビット参照画像からブロック単位のローカル動きベクトルＬＭＶを検出して、検出したローカル動きベクトルＬＭＶの信頼度ＲＶＴを算出する。画像のビット数を削減することで、ローカル動きベクトルを簡単な構成で検出できる。信頼度に応じてローカル動きベクトルを用いてグローバル動きベクトルの算出を行えば、ビット数を削減した画像からローカル動きベクトルを検出した場合でも、より良い精度でグローバル動きベクトルを算出することが可能となる。
【選択図】 図１

Description

この技術は、情報処理装置と情報処理方法およびプログラムに関する。詳しくは、簡単な構成でグローバル動きベクトルの算出をより良い精度で可能とする。

従来、時間的に異なる画像中の物体の動きベクトルを検出して、検出した動きベクトルに基づき、例えば画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによる雑音低減化等が行われている。

このような動きベクトルを検出する方法としては、例えばブロックマッチング法が用いられている。ブロックマッチング法では、１つの画面を数画素からなるブロックに分割する。次に、ブロック化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロック化されてなる探索領域との間で、所定の評価関数を用いて画像の類似度を示す評価値を算出する。さらに、算出された評価値に基づき動きベクトルを検出する。

このようなブロックマッチング法では、検出対象のブロックと探索範囲内の各ブロックとの類似度を求める必要があり、動きベクトルの検出における計算量が大きくなってしまう。このため、特許文献１の技術では、解像度の低い上位階層で画素単位の動きベクトルの検出を行い、検出された画素単位の動きベクトルに基づき、上位階層における画素単位以下の精度の動きベクトルを検出する。さらに、画素単位以下の精度の動きベクトルに基づいて、上位階層よりも解像度の高い下位階層で動きベクトルを検出することで、動きベクトルの検出精度の向上と計算量の低減が行われている。

また、動きベクトルの検出では、ブロック単位の動きベクトルであるローカル動きベクトル（ＬＭＶ:Local Motion Vector）を検出する。また、検出したローカル動きベクトルから、１つのフレームに対応する１つの動きベクトルであるグローバル動きベクトル（ＧＭＶ:Global Motion Vector）を算出することが行われている。例えば、特許文献２の技術では、ローカル動きベクトルとブロック重みからグローバル動きベクトルを算出することが行われている。

特開平０７−２２２１５８号公報 特開２００９−６５３３２号公報

ところで、解像度の低い画像を用いて、評価値例えば差分絶対値和（ＳＡＤ: Sum of Absolute Difference）を算出して、差分絶対値和が最小となるブロックの位置から動きベクトルを検出する場合、解像度が低いことからブロック数は少なくなる。しかし、解像度の低い画像を用いてもブロックサイズが等しい場合、ローカル動きベクトルの検出のために画像を記憶するメモリの容量を少なくすることはできない。また、評価値を算出するロジック回路の回路規模を小さくすることもできない。さらに、検出されたローカル動きベクトルからグローバル動きベクトルを算出する場合、ローカル動きベクトルを検出するために用いられるメモリの容量や回路の規模を小さくすることができないことから、簡単な構成でグローバル動きベクトルを算出できない。

そこで、この技術では、簡単な構成でグローバル動きベクトルの算出をより良い精度で可能とする情報処理装置と情報処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する低ビット画像生成部と、低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う動きベクトル情報生成部とを有する情報処理装置にある。

この技術において、低ビット画像生成部は、画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する。動きベクトル情報生成部は、低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを例えばブロックマッチングによって検出する。また、ローカル動きベクトルの検出に用いた評価値または低ビット基準画像の少なくとも何れかを用いて、ローカル動きベクトルについての信頼度の算出を行う。動きベクトル情報生成部は、評価値を用いて信頼度を算出する場合、低ビット基準画像と低ビット参照画像のブロック間の類似度が高くなるに伴い所定値に近づく評価値を用いて、この評価値が所定値に最も近い第１極値と２番目に小さい第２極値との差分に基づいて信頼度を算出する。例えば評価値として差分絶対値和を用いて、差分絶対値和が最小となる第１極小値と２番目に小さくなる第２極小値との差分が大きくなるに伴い信頼度を高くする。また、動きベクトル情報生成部は、低ビット基準画像を用いて信頼度を算出する場合、ブロック画像の輝度勾配に関する角度情報のばらつきが少なくなるに伴い信頼度を高くする。さらに、動きベクトル情報生成部は、評価値に基づく信頼度と低ビット基準画像に基づく信頼度を算出した場合、例えば信頼度が２値情報であるときは、２つの信頼度の論理演算を行って信頼度の統合を行い、信頼度が多値情報であるときは、２つの信頼度を乗算することで信頼度の統合を行う。さらに、グローバル動きベクトル算出部を設けて、検出されたローカル動きベクトルと算出された信頼度から、基準画像と参照画像間の画像単位の１つの動きベクトルであるグローバル動きベクトルを算出する。

この技術の第２の側面は、画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する工程と、低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う工程とを含む情報処理方法にある。

この技術の第３の側面は、コンピュータで、画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する手順と、低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う手順とを実行させるプログラムにある。

なお、本技術のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

この技術によれば、画素に割り当てるビット数の削減を基準画像と参照画像に対して行うことにより生成された低ビット基準画像と低ビット参照画像ら、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルが検出される。また、検出したローカル動きベクトルについての信頼度が算出される。このため、ローカル動きベクトルを簡単な構成で検出できる。さらに、ローカル動きベクトルの信頼度が算出されることから、ローカル動きベクトルと信頼度に基づき、グローバル動きベクトルをより良い精度で検出することが可能となる。

第１の実施の形態の情報処理装置の構成を示す図である。 第１の実施の形態の情報処理装置における処理を示すフローチャートである。 １ビット画像を生成する場合の低ビット基準画像生成部の構成を示す図である。 １ビット画像を生成する場合の低ビット基準画像生成部における処理を示すフローチャートである。 ２ビット画像を生成する場合の低ビット基準画像生成部の構成を示す図である。 ２ビット画像を生成する場合の低ビット基準画像生成部における処理を示すフローチャートである。 ｎビット画像を生成する場合の低ビット基準画像生成部の構成を示す図である。 ｎビット画像を生成する場合の低ビット基準画像生成部における処理を示すフローチャートである。 比較結果と画素値の関係を例示した図である。 ブロックマッチング部の構成を示す図である。 ブロックマッチング部における処理を示すフローチャートである。 ＸＯＲ値計算処理を示すフローチャートである。 １次元評価値テーブルとして例示した図である。 第１信頼度算出部の構成を例示した図である。 第１信頼度算出部の処理を示すフローチャートである。 第２信頼度算出部の構成を例示した図である。 第２信頼度算出部の処理を示すフローチャートである。 信頼度統合部の構成を示す図である。 信頼度統合部で行われる処理を示すフローチャートである。 ブロック重み算出部の構成を例示した図である。 第２の実施の形態の情報処理装置の構成を示す図である。 第３の実施の形態の情報処理装置の構成を示す図である。 コンピュータのハードウェアの構成例を示す図である。

以下、技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．情報処理装置の構成
１−２．情報処理装置の処理動作
１−３．低ビット画像生成部の構成と動作
１−４．ブロックマッチング部の構成と動作
１−５．第１信頼度算出部の構成と動作
１−６．第２信頼度算出部の構成と動作
１−７．信頼度統合部の構成と動作
１−８．グローバル動きベクトル算出部の構成と動作
１−９．動き補償部の構成と動作
２．第２の実施の形態
３．第３の実施の形態
４．処理をプログラムにより実行する場合について

＜１．第１の実施の形態＞
本技術の情報処理装置では、画素に割り当てるビット数を削減するビット数削減処理を基準画像と参照画像に対して行い、ビット数の削減された低ビットの基準画像と参照画像を生成する。次に、情報処理装置は、低ビットの基準画像と参照画像を用いたブロックマッチングによるローカル動きベクトルの検出、および低ビットの基準画像やブロックマッチング結果に基づき信頼度の算出を行う。さらに、情報処理装置は、ローカル動きベクトルと信頼度からグローバル動きベクトルを検出して、検出したグローバル動きベクトルに基づき参照画像の動き補償を行う。ローカル動きベクトル（ＬＭＶ：Local Motion Vector）とは、個々のブロック単位の動きベクトルであり、グローバル動きベクトル（ＧＭＶ：Global Motion Vector）とは、１つのフレームに対応する１つの動きベクトルである。なお、以下の説明では、第１の実施の形態の情報処理装置の構成と動作について説明して、その後、情報処理装置を構成する各部について詳述する。

［１−１．情報処理装置の構成］
図１は、第１の実施の形態の情報処理装置の構成を示している。情報処理装置１０は、入力された画像データを記憶する画像メモリ部２１を有している。また、情報処理装置１０は、画素に割り当てるビット数の削減を行う低ビット基準画像生成部３１-c、低ビット参照画像生成部３１-rを有している。また、情報処理装置１０は、ローカル動きベクトルの検出と、検出したローカル動きベクトルの信頼度の算出を行う動きベクトル情報生成部４０を有している。さらに、情報処理装置１０は、検出されたローカル動きベクトルと算出された信頼度を用いてグローバル動きベクトルの算出を行うグローバル動きベクトル算出部５１を有している。なお、情報処理装置１０には、算出されたグローバル動きベクトルを用いて動き補償を行う動き補償部６１が設けられている。

画像メモリ部２１は、基準画像と参照画像の画像データを記憶する。画像メモリ部２１は、記憶している基準画像の画像データＤＶ-cを低ビット基準画像生成部３１-cに出力する。画像メモリ部２１は、記憶している参照画像の画像データＤＶ-rを低ビット参照画像生成部３１-rと動き補償部６１に出力する。

低ビット基準画像生成部３１-cは、基準画像の画像データＤＶ-cに対してビット数削減処理を行い、低ビット基準画像の画像データＤＶ-cbを生成する。また、低ビット基準画像生成部３１-cは、生成した低ビット基準画像の画像データＤＶ-cbを動きベクトル情報生成部４０のブロックマッチング部４１に出力する。例えば、低ビット基準画像生成部３１-cは、基準画像の８ビットの画像データに対してビット数削減処理を行い、１ビットである低ビット基準画像の画像データＤＶ-cbを生成してブロックマッチング部４１に出力する。

低ビット参照画像生成部３１-rは、参照画像の画像データＤＶ-rに対してビット数削減処理を行い、低ビット基準画像と等しいビット数の低ビット参照画像の画像データＤＶ-rbを生成する。また、低ビット参照画像生成部３１-rは、生成した低ビット参照画像の画像データＤＶ-rbを動きベクトル情報生成部４０のブロックマッチング部４１に出力する。例えば、低ビット参照画像生成部３１-rは、参照画像の８ビットの画像データに対してビット数削減処理を行い、１ビットである低ビット参照画像の画像データＤＶ-rbを生成してブロックマッチング部４１に出力する。

動きベクトル情報生成部４０は、ブロックマッチング部４１、第１信頼度算出部４２、第２信頼度算出部４３および信頼度統合部４４を有している。

ブロックマッチング部４１は、低ビット基準画像生成部３１-cから出力された低ビット基準画像の画像データＤＶ-cbと、低ビット参照画像生成部３１-rから出力された低ビット参照画像の画像データＤＶ-rbを用いてブロックマッチングを行う。ブロックマッチング部４１は、ブロック単位でマッチングを行いローカル動きベクトルＬＭＶを検出する。ブロックマッチング部４１は、検出したローカル動きベクトルＬＭＶをグローバル動きベクトル算出部５１に出力する。また、ブロックマッチング部４１は、ローカル動きベクトルＬＭＶを検出するために算出した評価値ＥＶを第１信頼度算出部４２に出力する。

第１信頼度算出部４２は、ブロックマッチング部４１から供給された評価値ＥＶを用いて、ブロックマッチング部４１で検出されたローカル動きベクトルＬＭＶについての信頼度ＲＶ１を算出する。第１信頼度算出部４２は算出した信頼度ＲＶ１を信頼度統合部４４に出力する。

第２信頼度算出部４３は、低ビット基準画像の画像データＤＶ-cbを用いて、ブロックマッチング部４１で検出されたローカル動きベクトルＬＭＶについての信頼度を算出する。第２信頼度算出部４３は、低ビット画像を用いてブロック単位で特徴量を求めて、この特徴量から信頼度ＲＶ２を算出する。第２信頼度算出部４３は算出した信頼度ＲＶ２を信頼度統合部４４に出力する。

信頼度統合部４４は、第１信頼度算出部４２で算出された信頼度ＲＶ１と第２信頼度算出部４３で算出された信頼度ＲＶ２を統合して、統合後の信頼度ＲＶＴをブロックマッチング部４１で算出されたローカル動きベクトルＬＭＶに対する信頼度とする。信頼度統合部４４は、統合後の信頼度ＲＶＴをグローバル動きベクトル算出部５１に出力する。

グローバル動きベクトル算出部５１は、動きベクトル情報生成部４０から供給されたローカル動きベクトルＬＭＶと信頼度ＲＶＴを用いてグローバル動きベクトルＧＭＶを算出して動き補償部６１に出力する。

情報処理装置１０には、動き補償部６１が設けられており、動き補償部６１は、グローバル動きベクトル算出部５１で算出されたグローバル動きベクトルＧＭＶに応じて参照画像の動き補償を行い、動き補償画像の画像データＤＶ-mcを出力する。

［１−２．情報処理装置の処理動作］
図２は、第１の実施の形態の情報処理装置における処理を示すフローチャートである。ステップＳＴ１で低ビット基準画像生成部３１-c，低ビット参照画像生成部３１-rは、低ビット画像の生成を行う。低ビット基準画像生成部３１-cは、基準画像の画像データＤＶ-cに対してビット数削減処理を行い、低ビット基準画像の画像データＤＶ-cbを生成する。低ビット参照画像生成部３１-rは、参照画像の画像データＤＶ-rに対してビット数削減処理を行い、低ビット参照画像の画像データＤＶ-rbを生成する。このように、低ビット基準画像生成部３１-c，低ビット参照画像生成部３１-rは、低ビット画像の生成を行ってステップＳＴ２に進む。

ステップＳＴ２でブロックマッチング部４１は、低ビット画像を用いたブロックマッチング処理を行う。ブロックマッチング部４１は、低ビット基準画像の画像データＤＶ-cbと低ビット参照画像の画像データＤＶ-rbをブロック単位で用いてブロックマッチング処理を行い、ローカル動きベクトルＬＭＶを検出してステップＳＴ３に進む。

ステップＳＴ３で第１信頼度算出部４２は、評価値に基づいて信頼度ＲＶ１の算出を行う。第１信頼度算出部４２は、ブロックマッチング処理で算出された評価値ＥＶを用いて、ローカル動きベクトルＬＭＶの信頼度ＲＶ１を算出してステップＳＴ４に進む。

ステップＳＴ４で第２信頼度算出部４３は、低ビット画像に基づく信頼度の算出を行う。第２信頼度算出部４３は、低ビット画像を用いてブロック単位で求めた特徴量から、ローカル動きベクトルＬＭＶの信頼度ＲＶ２を算出してステップＳＴ５に進む。なお、ステップＳＴ３とステップＳＴ４の処理は、並列して行うようにしてもよく、ステップＳＴ４の処理を先に行うようにしてもよい。

ステップＳＴ５で信頼度統合部４４は、信頼度統合処理を行う。信頼度統合部４４は、ステップＳＴ３で算出された信頼度ＲＶ１とステップＳＴ４で算出された信頼度ＲＶ２の統合を行い、統合後の信頼度ＲＶＴを生成してステップＳＴ６に進む。

ステップＳＴ６でグローバル動きベクトル算出部５１は、グローバル動きベクトルＧＭＶの算出を行う。グローバル動きベクトル算出部５１は、ステップＳＴ２で算出されたローカル動きベクトルＬＭＶとステップＳＴ５で得られた統合後の信頼度ＲＶＴを用いてグローバル動きベクトルＧＭＶを算出して、ステップＳＴ７に進む。

ステップＳＴ７で動き補償部６１は、動き補償画像の生成を行う。動き補償部６１は、ステップＳＴ６で算出されたグローバル動きベクトルＧＭＶに応じて参照画像の動き補償を行い、動き補償画像の画像データＤＶ-mcを生成して処理を終了する。

なお、情報処理装置は、ステップＳＴ６までの処理を行い、他の機器でグローバル動きベクトルの算出や参照画像の動き補償を行うようにしてもよい。また、情報処理装置は、ステップＳＴ７までの処理を行い、他の機器で参照画像の動き補償を行うようにしてもよい。

［１−３．低ビット画像生成部の構成と動作］
次に、低ビット画像の生成について説明する。低ビット基準画像生成部３１-cは、基準画像のフィルタ処理を行い、フィルタ処理前とフィルタ処理後で画像データの比較を画素毎に行って、比較結果からビット数を削減した基準画像の画像データＤＶ-cbを生成する。同様に、低ビット参照画像生成部３１-rは、参照画像のフィルタ処理を行い、フィルタ処理前とフィルタ処理後で画像データの比較を画素毎に行って、比較結果からビット数を削減した参照画像の画像データＤＶ-rbを生成する。

図３は、１ビット画像を生成する場合の低ビット基準画像生成部３１-cの構成を示している。なお、低ビット基準画像生成部３１-cと同様に低ビット参照画像生成部３１-rが構成されており、低ビット参照画像生成部３１-rは、参照画像に対して低ビット基準画像生成部３１-cと同様な処理を行う。

低ビット基準画像生成部３１-cは、フィルタ処理部３１１と画像比較部３１２を有している。フィルタ処理部３１１は、基準画像の画像データＤＶ-cのフィルタ処理を行う。フィルタ処理部３１１は、例えば平均フィルタ（Mean Filter）やバンドパスフィルタ(Band-pass Filter)あるいは疑似平均フィルタ等の何れかを用いて、基準画像の画像データＤＶ-cのフィルタ処理を行う。

フィルタ処理部３１１は、平均フィルタを用いる場合、式（１）の演算を行い、画素位置（ｘ，ｙ）のフィルタ処理後の画素データＩ'（ｘ，ｙ）を算出する。なお、Ｉ（ｉ，ｊ）は基準画像の画素データを示しており、Ｎは画素数である。

フィルタ処理部３１１は、バンドパスフィルタを用いる場合、式（２）の演算を行い、画素位置（ｘ，ｙ）のフィルタ処理後の画素データＩ'（ｘ，ｙ）を算出する。なお、式（２）において「Ｋ」はフィルタ特性を決定するための係数であり、例えば式（３）に示す値とする。

フィルタ処理部３１１は、疑似平均フィルタを用いる場合、式（４）の演算を行い、画素位置（ｘ，ｙ）のフィルタ処理後の画素データＩ'（ｘ，ｙ）を算出する。

画像比較部３１２は、基準画像の画像データとフィルタ処理後の画像データを比較して、比較結果を示す１ビットの信号を低ビット基準画像の画像データとする。

図４は、１ビット画像を生成する場合の低ビット基準画像生成部３１-cにおける処理を示すフローチャートである。ステップＳＴ１１で低ビット基準画像生成部３１-cは、基準画像のフィルタ処理を行う。低ビット基準画像生成部３１-cは、基準画像の画像データＤＶ-cに対して平均フィルタやバンドパスフィルタ等のフィルタ処理を行ってステップＳＴ１２に進む。

ステップＳＴ１２で低ビット基準画像生成部３１-cは、フィルタ処理結果が基準画像以下であるか否か判別する。低ビット基準画像生成部３１-cは、フィルタ処理後の画像データと基準画像の画像データに対して、各画像位置での画素データの比較を行う。低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データ以下である場合ステップＳＴ１３に進む。また、低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データよりも大きい場合ステップＳＴ１４に進む。 ステップＳＴ１３で低ビット基準画像生成部３１-cは、画素値を「１」に設定してステップＳＴ１５に進む。

ステップＳＴ１４で低ビット基準画像生成部３１-cは、画素値を「０」に設定してステップＳＴ１５に進む。

ステップＳＴ１５で低ビット基準画像生成部３１-cは、全画素の比較が完了したか否か判別する。低ビット基準画像生成部３１-cは、全画素の比較が完了していない場合ステップＳＴ１２に戻り、次の画素について比較を行う。また、低ビット基準画像生成部３１-cは、全画素の比較が完了した場合処理を終了する。

このように、フィルタ処理前とフィルタ処理後で画像データの比較を画素毎に行って、比較結果から画素に割り当てるビット数が１ビットとされた画像を生成できる。

次に、低ビット基準画像生成部３１-cで、２ビットの画像を生成する場合やｎビットの画像を生成する場合について説明する。図５は、２ビット画像を生成する場合の低ビット基準画像生成部３１-cの構成を示している。

低ビット基準画像生成部３１-cは、フィルタ処理部３１１ａ，３１１ｂと、画像比較部３１２ａ，３１２ｂを有している。フィルタ処理部３１１ａは、基準画像の画像データのフィルタ処理を行う。フィルタ処理部３１１ａは、上述のように平均フィルタやバンドパスフィルタあるいは疑似平均フィルタ等の何れかを用いて、基準画像の画像データのフィルタ処理を行う。画像比較部３１２ａは、基準画像の画像データとフィルタ処理後の画像データを比較して、比較結果を示す１ビットの信号を２ビット画像の最下位ビットデータとする。フィルタ処理部３１１ｂは、フィルタ処理部３１１ａと異なるフィルタ特性で基準画像の画像データのフィルタ処理を行う。フィルタ処理部３１１ｂは、フィルタ処理部３１１ａと同様に、平均フィルタやバンドパスフィルタあるいは疑似平均フィルタ等の何れかを用いて、基準画像の画像データのフィルタ処理を行う。画像比較部３１２ｂは、基準画像の画像データとフィルタ処理後の画像データを比較して、比較結果を示す１ビットの信号を２ビット画像の最上位ビットデータとする。

このように、フィルタ処理前とフィルタ処理後で画像データの比較を画素毎に行って、比較結果から画素に割り当てるビット数が２ビットとされた画像データＤＶを生成できる。

図６は、２ビット画像を生成する場合の低ビット基準画像生成部３１-cにおける処理を示すフローチャートである。ステップＳＴ２１で低ビット基準画像生成部３１-cは、基準画像の第１フィルタ処理を行う。低ビット基準画像生成部３１-cは、基準画像の画像データに対して平均フィルタやバンドパスフィルタ等の第１フィルタ処理を行ってステップＳＴ２２に進む。

ステップＳＴ２２で低ビット基準画像生成部３１-cは、第１フィルタ処理結果が基準画像以下であるか否か判別する。低ビット基準画像生成部３１-cは、フィルタ処理後の画像データと基準画像の画像データを用いて、各画像位置での画素データの比較を行う。低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データ以下である場合ステップＳＴ２３に進む。また、低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データよりも大きい場合ステップＳＴ２４に進む。

ステップＳＴ２３で低ビット基準画像生成部３１-cは、画素値を「１」に設定して、２ビット画像の最下位ビットデータとしてステップＳＴ２５に進む。

ステップＳＴ２４で低ビット基準画像生成部３１-cは、画素値を「０」に設定して、２ビット画像の最下位ビットデータとしてステップＳＴ２５に進む。

ステップＳＴ２５で低ビット基準画像生成部３１-cは、基準画像の第２フィルタ処理を行う。低ビット基準画像生成部３１-cは、基準画像の画像データに対して、ステップＳＴ２１とは異なるフィルタ特性で平均フィルタやバンドパスフィルタ等の第２フィルタ処理を行ってステップＳＴ２６に進む。

ステップＳＴ２６で低ビット基準画像生成部３１-cは、第２フィルタ処理結果が基準画像以下であるか否か判別する。低ビット基準画像生成部３１-cは、フィルタ処理後の画像データと基準画像の画像データを用いて、各画像位置での画素データの比較を行う。低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データ以下である場合ステップＳＴ２７に進む。また、低ビット基準画像生成部３１-cは、フィルタ処理結果の画素データが基準画像の画素データよりも大きい場合ステップＳＴ２８に進む。

ステップＳＴ２７で低ビット基準画像生成部３１-cは、画素値を「１」に設定して、２ビット画像の最上位ビットデータとしてステップＳＴ２９に進む。

ステップＳＴ２８で低ビット基準画像生成部３１-cは、画素値を「０」に設定して、２ビット画像の最上位ビットデータとしてステップＳＴ２９に進む。

ステップＳＴ２９で低ビット基準画像生成部３１-cは、全画素の比較が完了したか否か判別する。低ビット基準画像生成部３１-cは、全画素の比較が完了していない場合ステップＳＴ２２に戻り、次の画素について比較を行う。また、低ビット基準画像生成部３１-cは、全画素の比較が完了した場合に処理を終了する。

このように、フィルタ処理前とフィルタ処理後で画像データの比較を画素毎に行って、比較結果から画素に割り当てるビット数が２ビットとされた画像を生成できる。

次に、ｎビットの画像を生成する場合について説明する。図７は、ｎビット画像を生成する場合の低ビット基準画像生成部３１-cの構成を示している。

低ビット基準画像生成部３１-cは、フィルタ処理部３１１と、閾値設定部３１３と画像比較部３１４を有している。フィルタ処理部３１１は、基準画像の画像データＤＶ-cのフィルタ処理を行う。フィルタ処理部３１１は、上述のように平均フィルタやバンドパスフィルタあるいは疑似平均フィルタ等の何れかを用いて、基準画像のフィルタ処理を行う。

閾値設定部３１３は、フィルタ処理後の画像データのシフト処理を行い、フィルタ処理後の画像データやシフト処理後の画像データを閾値として設定する。また、閾値設定部３１３は、設定した閾値を画像比較部３１４に出力する。

画像比較部３１４は、基準画像の画像データと画像比較部３１４から出力された閾値を画素毎に比較して、比較結果を示すｎビットの信号を低ビット基準画像の画像データＤＶ-cbとする。

図８は、ｎビット画像を生成する場合の低ビット基準画像生成部３１-cにおける処理を示すフローチャートである。ステップＳＴ３１で低ビット基準画像生成部３１-cは、基準画像のフィルタ処理を行う。低ビット基準画像生成部３１-cは、基準画像の画像データに対して平均フィルタやバンドパスフィルタ等のフィルタ処理を行ってステップＳＴ３２に進む。

ステップＳＴ３２で低ビット基準画像生成部３１-cは閾値の設定を行う。低ビット基準画像生成部３１-cは、フィルタ処理後の画像データのシフト処理を行い、フィルタ処理後の画像データやシフト処理後の画像データを閾値として設定してステップＳＴ３３に進む。例えば２ビットの画像を生成する場合、低ビット基準画像生成部３１-cは、フィルタ処理後の画像データから予め設定したシフト量だけ減少させた画像データを第１の閾値とする。また、低ビット基準画像生成部３１-cは、フィルタ処理後の画像データを第２の閾値、フィルタ処理後の画像データから予め設定したシフト量だけ増加させた画像データを第３の閾値とする。また、ｎビットの画像を生成する場合、低ビット基準画像生成部３１-cは、フィルタ処理後の画像データに基づき（２ｎ−１）個の閾値を設定する。

ステップＳＴ３３で低ビット基準画像生成部３１-cは、基準画像の画像データと閾値を画素毎に比較する。低ビット基準画像生成部３１-cは、基準画像の画像データが第１の閾値Ｔｈ1よりも小さい場合、ステップＳＴ３４に進む。低ビット基準画像生成部３１-cは、基準画像の画像データが第１の閾値Ｔｈ1以上で第２の閾値Ｔｈ2よりも小さい場合、ステップＳＴ３５に進む。低ビット基準画像生成部３１-cは、基準画像の画像データが第２の閾値Ｔｈ2以上で第３の閾値Ｔｈ3よりも小さい場合、ステップＳＴ３６に進む。低ビット基準画像生成部３１-cは、基準画像の画像データが第３の閾値Ｔｈ3以上である場合、ステップＳＴ３７に進む。

ステップＳＴ３４で低ビット基準画像生成部３１-cは、画素値を「０」に設定してステップＳＴ３８に進む。

ステップＳＴ３５で低ビット基準画像生成部３１-cは、画素値を「１」に設定してステップＳＴ３８に進む。

ステップＳＴ３６で低ビット基準画像生成部３１-cは、画素値を「２」に設定してステップＳＴ３８に進む。

ステップＳＴ３７で低ビット基準画像生成部３１-cは、画素値を「３」に設定してステップＳＴ３８に進む。

ステップＳＴ３８で低ビット基準画像生成部３１-cは、全画素の比較が完了したか否か判別する。低ビット基準画像生成部３１-cは、全画素の比較が完了していない場合ステップＳＴ３２に戻り、次の画素について比較を行う。また、低ビット基準画像生成部３１-cは、全画素の比較が完了した場合に処理を終了する。

図９は、比較結果と画素値の関係を例示している。画素位置が領域ＰＡ1である場合、基準画像の画素値は第２の閾値Ｔｈ2以上で第３の閾値Ｔｈ3よりも小さい。したがって、低ビット基準画像生成部３１-cは、領域ＰＡ1の画素値を「２」とする。画素位置が領域ＰＡ2である場合、基準画像の画素値は第３の閾値Ｔｈ3以上である。したがって、低ビット基準画像生成部３１-cは、領域ＰＡ2の画素値を「３」とする。画素位置が領域ＰＡ3である場合、基準画像の画素値は第２の閾値Ｔｈ2以上で第３の閾値Ｔｈ3よりも小さい。したがって、低ビット基準画像生成部３１-cは、領域ＰＡ3の画素値を「２」とする。画素位置が領域ＰＡ4である場合、基準画像の画素値は第１の閾値Ｔｈ1以上で第２の閾値Ｔｈ2よりも小さい。したがって、低ビット基準画像生成部３１-cは、領域ＰＡ4の画素値を「１」とする。画素位置が領域ＰＡ5である場合、基準画像の画素値は第１の閾値Ｔｈ1よりも小さい。したがって、低ビット基準画像生成部３１-cは、領域ＰＡ5の画素値を「０」とする。

このように、フィルタ処理後の画像データに換えて、フィルタ処理後の画像データに基づいて設定した閾値を用いて、閾値とフィルタ処理前の画素レベルの比較を画素毎に行って、比較結果から画素に割り当てるビット数がｎビットとされた画像を生成できる。

［１−４．ブロックマッチング部の構成と動作］
次に、ブロックマッチング部について説明する。ブロックマッチング部は、基準画像のブロックと参照画像のブロックとの間で評価値を算出して、評価値に基づきローカル動きベクトルを検出する。すなわち、ブロックマッチング部は、評価値に基づき基準画像のブロックと参照画像のブロックの画像が最も類似するブロック位置を検出して、検出したブロック位置の座標値からローカル動きベクトルを算出する。

図１０は、ブロックマッチング部４１の構成を示している。ブロックマッチング部４１は、低ビット基準画像の画像データＤＶ-cbと低ビット参照画像の画像データＤＶrbを用いてローカル動きベクトルの算出を行う。

基準ブロック指定部４１１は、低ビット基準画像に対して動きベクトルの検出を行うブロックを指定して、指定したブロック内の画像データを評価値算出部４１３に出力する。

参照ブロック指定部４１２は、動きベクトルの探索範囲から参照ブロックの範囲を指定して、指定した範囲の画像データを評価値算出部４１３に出力する。

評価値算出部４１３は、基準ブロック指定部４１１で指定されたブロックと、参照ブロック指定部４１２で指定された探索範囲内のブロックとの間で評価値を算出する。この評価値の算出は、探索範囲内のブロックを探索範囲内で順次移動させて各位置で行う。評価値算出部４１３は、評価値として低ビット基準画像と低ビット参照画像のブロック間の類似度が高くなるに伴い所定値に近づく評価値を用いる。例えば、評価値として差分絶対値和ＳＡＤやＸＯＲ加算値ＳＯＸを用いる。また、差分自乗和（ＳＳＤ：Sum of Squared Difference）、正規化相互相関(ＮＣＣ:Normalized Cross Correlation）等を評価値として用いることもできる。

評価値算出部４１３は、評価値として差分絶対値和ＳＡＤを用いる場合、式（５）の演算を行う。なお、式（５）において、Ｔ（ｉ，ｊ）は低ビット基準画像のブロック内おける位置（ｉ，ｊ）の画素データ、Ｓ（ｉ，ｊ）は低ビット参照画像のブロック内おける位置（ｉ，ｊ）の画素データを示している。

評価値算出部４１３は、評価値としてＸＯＲ加算値ＳＯＸを用いる場合、式（６）（７）の演算を行う。なお、ＸＯＲ値を求める式（７）において、Ｔ（ｉ，ｊ）は低ビット基準画像のブロック内おける位置（ｉ，ｊ）の画素データ、Ｓ（ｉ，ｊ）は低ビット画像のブロック内おける位置（ｉ，ｊ）の画素データを示している。

また、評価値算出部４１３は、評価値としてＸＯＲ加算値ＳＯＸを用いる場合、低ビット基準画像と低ビット参照画像の画像データがｎビットである場合は、ｎビットのＸＯＲ値の計算として式（８）の演算を行う。すなわち式（８）の演算によって、画素データが等しい場合は「ＸＯＲ＝０」、等しくない場合は「ＸＯＲ＝１」とする。なお、式（８）において、「ｋ」は画素に割り当てるビット数の第ｋ位を示している。

ローカル動きベクトル決定部４１４は、評価値に基づき基準画像のブロックと最も類似度が高い参照画像のブロックの位置を検出する。さらに、基準画像のブロックと最も類似度が高い参照画像のブロックとの座標差からローカル動きベクトルＬＭＶを求める。

図１１は、ブロックマッチング部４１における処理を示すフローチャートである。ステップＳＴ４１でブロックマッチング部４１は、基準ブロック位置の指定を行う。ブロックマッチング部４１は、低ビット基準画像に対して動きベクトルの検出における基準ブロックの位置を指定してステップＳＴ４２に進む。

ステップＳＴ４２でブロックマッチング部４１は、探索範囲の設定を行う。ブロックマッチング部４１は、低ビット参照画像に対して探索範囲を設定してステップＳＴ４３に進む。

ステップＳＴ４３でブロックマッチング部４１は、参照ブロック位置の指定を行う。ブロックマッチング部４１は、探索範囲に動きベクトルの検出における参照ブロックの位置を指定してステップＳＴ４４に進む。

ステップＳＴ４４でブロックマッチング部４１は、評価値の算出を行う。ブロックマッチング部４１は、基準ブロックと参照ブロックの画素データから評価値を算出する。ブロックマッチング部４１は、評価値として差分絶対値和ＳＡＤやＸＯＲ加算値ＳＯＸ等を算出する。また、低ビット基準画像と低ビット参照画像がｎビットである場合、図１２に示すＸＯＲ値計算処理を行い、ブロック内の画素毎にＸＯＲ値を決定する。

ステップＳＴ５１でブロックマッチング部４１は、ビット位置を示すパラメータｋを「ｋ＝１」とする。ブロックマッチング部４１は、ビット位置を示すパラメータｋを、低ビット基準画像と低ビット参照画像における画素データの最下位ビットを示す値「ｋ＝１」に設定してステップＳＴ５２に進む。

ステップＳＴ５２でブロックマッチング部４１は、パラメータｋがｎより大きくなったか否か判別する。ブロックマッチング部４１は、パラメータｋが低ビット基準画像と低ビット参照画像における画素データの最上位ビットよりも大きくない場合はステップＳＴ５３に進む。また、ブロックマッチング部４１は、パラメータｋが低ビット基準画像と低ビット参照画像における画素データの最上位ビットよりも大きくなった場合ステップＳＴ５８に進む。

ステップＳＴ５３でブロックマッチング部４１は、第ｋ位ビットの読み出しを行う。ブロックマッチング部４１は、低ビット基準画像と低ビット参照画像における画素データから第ｋ位ビットのデータを読み出してステップＳＴ５４に進む。

ステップＳＴ５４でブロックマッチング部４１は、ＸＯＲ計算を行う。ブロックマッチング部４１は、ステップＳＴ５３で読み出した第ｋ位ビットのデータについて排他論理和を算出してステップＳＴ５５に進む。

ステップＳＴ５５でブロックマッチング部４１は、第ｋ位が「ＸＯＲ＝１」であるか否か判別する。ブロックマッチング部４１は、ステップＳＴ５４で計算した第ｋ位ビットの排他論理和が「０」である場合ステップＳＴ５６に進む。また、ブロックマッチング部４１は、ステップＳＴ５４で計算した第ｋ位ビットの排他論理和が「１」である場合ステップＳＴ５７に進む。

ステップＳＴ５６でブロックマッチング部４１は、「ｋ＝ｋ＋１」の演算を行い、パラメータｋを更新してステップＳＴ５２に戻る。

ステップＳＴ５７でブロックマッチング部４１は、ｎビットのＸＯＲ値として「ＸＯＲ＝１」として処理を終了する。

ステップＳＴ５８でブロックマッチング部４１は、ｎビットのＸＯＲ値として「ＸＯＲ＝０」として処理を終了する。

このような処理を行うと、低ビット基準画像と低ビット参照画像における画素データは、最下位ビットから最上位ビット方向に、各ビットの値が等しいか否かが判別される。ここで、ビットの値が等しくない場合、ＸＯＲ値は「ＸＯＲ＝１」となる。また、全ビットの値が等しい場合、ＸＯＲ値は「ＸＯＲ＝０」となる。すなわち、低ビット基準画像と低ビット参照画像におけるｎビットの画素データが等しくない場合、ｎビットのＸＯＲ値は「ＸＯＲ＝１」、ｎビットの画素データが等しい場合、ｎビットのＸＯＲ値は「ＸＯＲ＝０」となる。

このようにして、低ビット基準画像と低ビット参照画像における画像データがｎビットであるときも、ＸＯＲ値を得ることができる。

図１１に戻り、ステップＳＴ４５でブロックマッチング部４１は、探索範囲内の全ブロックについて評価値の算出が完了したか否か判別する。ブロックマッチング部４１は、全ブロックについて評価値の算出が完了していない場合にはステップＳＴ４６に進み、全ブロックについて評価値の算出が完了した場合にはステップＳＴ４７に進む。

ステップＳＴ４６でブロックマッチング部４１は、参照ブロックの新たな位置の指定を行う。ブロックマッチング部４１は、参照範囲内で評価値の算出が完了していない参照ブロックの位置を新たに指定してステップＳＴ４４に戻る。

ステップＳＴ４７でブロックマッチング部４１は、基準ブロックに対する動きブロックの検出を行う。ブロックマッチング部４１は、算出した評価値から基準画像のブロックと類似度が最も高くなる参照画像のブロック位置を判別する、この判別した参照画像のブロックの位置と基準画像のブロックの位置との座標差からローカル動きベクトルを算出してステップＳＴ４８に進む。

ステップＳＴ４８でブロックマッチング部４１は、全ての基準ブロックについて処理が完了したか否か判別する。ブロックマッチング部４１は、処理が完了していない基準ブロックが残っている場合ステップＳＴ４９に進む、また、ブロックマッチング部４１は、全ての基準ブロックについて処理が完了した場合、ブロックマッチング処理を終了する。

ステップＳＴ４９でブロックマッチング部４１は、基準ブロックの新たな位置の指定を行う。ブロックマッチング部４１は、ローカル動きベクトルの検出が完了していない基準ブロックの位置を新たに指定してステップＳＴ４２に戻る。

このような処理を行うものとすれば、低ビット基準画像における各基準ブロックについてローカル動きベクトルを検出することができる。

［１−５．第１信頼度算出部の構成と動作］
第１信頼度算出部４２は、ブロックマッチング部４１から供給された評価値を用いて、ブロックマッチング部４１で検出されたローカル動きベクトルＬＭＶについての信頼度を算出する。第１信頼度算出部４２は算出した信頼度を信頼度統合部４４に出力する。以下、評価値ＥＶとして差分絶対値和（ＳＡＤ）を用いた場合を説明する。なお、差分絶対値和（ＳＡＤ）を用いた場合、類似度が最も最も高くなると評価値は「０」となる。したがって、第１信頼度算出部４２は、差分絶対値和（ＳＡＤ）を用いた場合、極小値を用いて信頼度を算出する。

図１３は、サーチ範囲と評価値の関係を１次元評価値テーブルとして例示した図である。極小値のなかで最も評価値ＥＶが小さい第１極小値と２番目に評価値ＥＶが小さい第２極小値の差分が小さい場合、第１極小値と第２極小値の何れの位置が正しいローカル動きベクトルに対応する位置であるか判別が困難である。しかし、第１極小値と第２極小値の差分が大きい場合は、第１極小値の位置がローカル動きベクトルに対応する位置であることがより確からしい。したがって、第１極小値と第２極小値の差分を信頼度判別値として、信頼度判別値が大きいほど信頼度が高く、信頼度判別値が小さい場合は信頼度が低いと判別する。例えば、信頼度を２値情報で示す場合、差分値ＤＦ（ＤＦ＝第２極小値−第１極小値）を信頼度判別値として、信頼度判別値が閾値以上である場合、信頼度が高いとして信頼度ＲＶ１を「１」とする。また、信頼度判別値が閾値未満である場合、信頼度が低いとして信頼度ＲＶ１を「０」とする。また、信頼度を多値情報で示す場合、差分値ＤＦを理論的な差分値の最大値ＤＦmaxで除算して、除算結果である信頼度判別値を信頼度ＲＶ１とする。なお、極小値は、２次元評価値テーブルを用いる場合、上下左右の近傍画素より画素値が小さい画素の画素値を極小値とする。また、極小値は、第１極小値のみ存在して第２極小値がない場合も想定される。この場合、第２極小値は、理論的な最大値を第２極小値とすればよい。理論的な最大値とは、２次元評価値テーブルを用いる場合、最大値ＤＦmax＝（横方向のブロック幅×縦方向のブロック幅×画素輝度最大値）である。

また、信頼度ＲＶ１は、第１極小値と第２極小値の差分に限らず、第２極小値と第１極小値の割合に応じて決定することもできる。例えば（１−第１極小値／第２極小値）を信頼度判別値として算出する。ここで、第２極小値に対する第１極小値が小さいと信頼度判別値が大きくなり、第１極小値が第２極小値に近い値となると信頼度判別値が小さくなる。したがって、信頼度判別値と閾値を比較して、信頼度判別値が閾値以上である場合、信頼度が高いとして信頼度ＲＶ１を「１」とする。また、信頼度判別値が閾値未満である場合、信頼度が低いとして信頼度ＲＶ１を「０」とする。また、信頼度を多値情報で示す場合、信頼度判別値を信頼度ＲＶ１として用いることもできる。

図１４は、第１信頼度算出部４２の構成を例示している。第１信頼度算出部４２は、極小値算出部４２１、信頼度判別値算出部４２２、信頼度決定部４２３を有している。極小値算出部４２１は、評価値テーブルから第１極小値と第２極小値を算出する。信頼度判別値算出部４２２は、第１極小値と第２極小値から上述のように信頼度判別値を算出する。信頼度決定部４２３は、算出した信頼度判別値に基づいて信頼度を決定する。例えば信頼度判別値を閾値と比較して、比較結果に基づき２値情報の信頼度ＲＶ１を生成する。また、多値情報である信頼度を生成する場合、信頼度判別値を信頼度ＲＶ１として用いてもよい。

図１５は、第１信頼度算出部の処理を示すフローチャートである。ステップＳＴ６１で第１信頼度算出部４２は、画素毎に極小値の判定を行う。第１信頼度算出部４２は、評価値テーブルの画素毎に極小値であるか判別してステップＳＴ６２に進む。極小値であるか否かの判別は、例えば評価値テーブルが２次元テーブルである場合、上下左右の近傍画素より画素値が小さい画素の画素値を極小値とする。

ステップＳＴ６２で第１信頼度算出部４２は、第１極小値を選出する。第１信頼度算出部４２は、ステップＳＴ６１で判別された極小値のなかで、評価値ＥＶが最も小さい極小値を第１極小値として選出してステップＳＴ６３に進む。

ステップＳＴ６３で第１信頼度算出部４２は、第２極小値を選出する。第１信頼度算出部４２は、ステップＳＴ６１で判別された極小値のなかで、評価値が２番目に小さい極小値を第２極小値として選出してステップＳＴ６４に進む。なお、ステップＳＴ６２とステップＳＴ６３の処理は、並列して行うようにしてもよく、ステップＳＴ６３の処理を先に行うようにしてもよい。

ステップＳＴ６４で第１信頼度算出部４２は、信頼度判別値を算出する。第１信頼度算出部４２は、第１極小値と第２極小値から信頼度判別値を算出してステップＳＴ６５に進む。例えば、第１信頼度算出部４２は、第２極小値から第１極小値を減算した差分値を信頼度判別値とする。また、第１信頼度算出部４２は、第２極小値に対する第１極小値の割合に基づいて上述のように信頼度判別値を算出してもよい。

ステップＳＴ６５で第１信頼度算出部４２は、信頼度判別値に基づいて信頼度を決定する。例えば信頼度を二値化データとする場合、ステップＳＴ８４で算出した信頼度判別値と閾値を比較して信頼度判別値が閾値以上である場合は信頼度が低いと判定して信頼度ＲＶ１を「０」とする。また、信頼度判別値が閾値未満である場合は信頼度が高いと判定して信頼度ＲＶ１を「１」とする。信頼度を連続値とする場合、信頼度判別値を信頼度として用いることもできる。

なお、評価値として差分自乗和（ＳＳＤ：Sum of Squared Difference）を用いる場合、類似度が高くなるに伴い差分自乗和は「０」に近づく。したがって、差分絶対値和を用いた場合と同様な処理を行うことで信頼度を算出できる。また、正規化相互相関(ＮＣＣ）を用いる場合、正規化相互相関(ＮＣＣ）は「−１〜＋１」の範囲の値であり、類似度が高くなるに伴い「１」に近づく。したがって、正規化相互相関(ＮＣＣ）を用いる場合、極大値を用いて信頼度を算出する。

［１−６．第２信頼度算出部の構成と動作］
第２信頼度算出部４３は、低ビット画像からブロック単位で特徴量を求めて、特徴量からブロックマッチング部４１で検出されたローカル動きベクトルについての信頼度を算出する。

表１は、低ビット画像のブロックとローカル動きベクトルの信頼度の関係を示している。なお、表１では、低ビット画像が１ビット画像である場合を示している。また、参考として低ビット化が行われる前の例えば８ビット画像についても併記している。１ビット画像のブロックが特有パターンである場合や８ビット画像のブロックが特有テクスチャ領域である場合、検出されたローカル動きベクトルは正しい動きベクトルを示している。したがって、検出されたローカル動きベクトルの信頼度は高い。１ビット画像のブロックが繰り返しパターンである場合や８ビット画像のブロックが繰り返しパターン領域である場合、検出されたローカル動きベクトルは、パターンが繰り返されていることから正しい動きベクトルを示していないおそれがある。したがって、検出されたローカル動きベクトルの信頼度は低い。１ビット画像のブロックがランダムパターンである場合や８ビット画像のブロックが平坦領域である場合、検出されたローカル動きベクトルは、パターンに特徴がないことから正しい動きベクトルを示していないおそれがある。したがって、検出されたローカル動きベクトルの信頼度は低い。

したがって、第２信頼度算出部４３は、ブロックのパターンに応じた特徴量を求めて、特徴量からローカル動きベクトルの信頼度を算出する。第２信頼度算出部４３は、画像の輝度勾配に関する角度情報を２次元ベクトルとして求めて、この角度情報に基づいて特徴量を算出する。この場合、第２信頼度算出部４３は、表２から画素位置（ｉ，ｊ）に該当する２次元ベクトルＧijを選択する。なお、画素位置（ｉ，ｊ＋１）の画素レベルをＴ（ｉ，ｊ＋１）とする。また、画素位置（ｉ，ｊ−１），（ｉ＋１，ｊ）（ｉ−１，ｊ）の画素レベルをＴ（ｉ，ｊ−１），Ｔ（ｉ＋１，ｊ），Ｔ（ｉ−１，ｊ）とする。

例えば、「（Ｔ（ｉ，ｊ＋１）−Ｔ（ｉ，ｊ−１））＝−１，（Ｔ（ｉ＋１，ｊ）−Ｔ（ｉ−１，ｊ））＝０」の場合、２次元ベクトルＧijは、表２からＧij＝（Ｇ１ij，Ｇ２ij）＝（−１，０）となる。

また、第２信頼度算出部４３は、２次元ベクトルＧijの標準偏差ｓｔｄを式（９）に基づき算出して特徴量とする。

第２信頼度算出部４３は、このようにして算出した特徴量を閾値と比較して信頼度を決定する。例えば、第２信頼度算出部４３は、特徴量（標準偏差）が閾値未満である場合は、信頼度が高いとして信頼度ＲＶ２を「１」、特徴量（標準偏差）が閾値以上である場合は、信頼度が低いとして信頼度ＲＶ２を「０」とする。なお、信頼度は、２値情報に限らず多値情報であってもよい。例えば理論的な標準偏差の最大値をｓｔｄ＿ｍａｘとした場合、式（１０）で求められる値を信頼度としてもよい。
信頼度＝（１−ｓｔｄ）／ｓｔｄ＿ｍａｘ ・・・（１０）

図１６は、第２信頼度算出部４３の構成を示している。第２信頼度算出部４３は、基準ブロック指定部４３１、角度情報生成部４３２、特徴量算出部４３３、信頼度決定部４３４を有している。基準ブロック指定部４３１は、信頼度を算出する基準ブロックの位置を指定する。角度情報生成部４３２は、基準ブロックの画素を用いて表２から角度情報を生成する。特徴量算出部４３３は、生成された角度情報を用いて例えば式（９）の演算を行い特徴量として標準偏差を算出する。信頼度決定部４３４は、算出された特徴量に基づき信頼度ＲＶ２を決定する。信頼度決定部４３４は、特徴量と閾値を比較して、比較結果に基づいて信頼度ＲＶ２を決定する。また、信頼度決定部４３４は、特徴量の理論的な最大値に対する特徴量算出部４３３で算出された特徴量の割合に応じて信頼度ＲＶ２を決定してもよい。

図１７は、第２信頼度算出部４３における処理を示すフローチャートである。ステップＳＴ７１で第２信頼度算出部４３は、信頼度を算出する基準ブロックの位置を指定してステップＳＴ７２に進む。

ステップＳＴ７２で第２信頼度算出部４３は、ブロック内の１画素毎に角度情報を生成する。第２信頼度算出部４３は、ブロック内の各画素について角度情報の生成を行いステップＳＴ７３に進む。

ステップＳＴ７３で第２信頼度算出部４３は、ブロック内の全画素について角度情報の生成が完了したか判別する。第２信頼度算出部４３は、角度情報の生成が行われていない画素がブロック内にある場合にはステップＳＴ７２に戻り、角度情報の生成が行われていない画素について角度情報の生成を行う。また、第２信頼度算出部４３は、ブロック内の全画素像について角度情報の生成が完了した場合、ステップＳＴ７４に進む。

ステップＳＴ７４で第２信頼度算出部４３は、特徴量の算出を行う。第２信頼度算出部４３は、ステップＳＴ７２で算出した全画素の角度情報の例えば標準偏差を算出して特徴量としてステップＳＴ７５に進む。

ステップＳＴ７５で第２信頼度算出部４３は、特徴量に基づいて信頼度を決定する。例えば信頼度を２値情報で示す場合、第２信頼度算出部４３は、ステップＳＴ７４で算出した特徴量と閾値を比較して特徴量が閾値以上である場合は信頼度が低いと判定して信頼度ＲＶ２を「０」とする。また、特徴量が閾値未満である場合は信頼度が高いと判定して信頼度ＲＶ２を「１」とする。信頼度を多値情報で示す場合、第２信頼度算出部４３は、式（１０）の演算を行って信頼度ＲＶ２を決定する。

［１−７．信頼度統合部の構成と動作］
信頼度統合部４４は、第１信頼度算出部４２で算出された信頼度ＲＶ１と第２信頼度算出部４３で算出された信頼度ＲＶ２を統合して、ブロックマッチング部４１で検出されたローカル動きベクトルについての信頼度を決定する。信頼度統合部４４は、統合後の信頼度ＲＶＴをグローバル動きベクトル算出部５１に出力する。

信頼度統合部４４は、信頼度が２値情報である場合、２つの信頼度の論理和または論理積を算出して統合結果とする。２つの信頼度の論理和算出結果を用いる場合、２つの信頼度の何れかが信頼度が高いと判定されている場合、信頼度が高いと判定される。また、２つの信頼度の論理積算出結果を用いる場合、２つの信頼度の何れもが信頼度が高いと判定されている場合、信頼度が高いと判定される。

また、信頼度統合部４４は、信頼度が多値情報である場合、例えば２つの信頼度を乗算して、乗算結果を統合後の信頼度ＲＶＴとする。なお、信頼度統合部４４で用いる２つの信頼度は、例えば「０」〜「１」の範囲となるように第１信頼度算出部４２と第２信頼度算出部４３でそれぞれ正規化されている。

図１８は信頼度統合部の構成を示しており、図１８の（Ａ）は、信頼度が２値情報である場合、図１８の（Ｂ）は信頼度が多値情報である場合を示している。

信頼度が２値情報である場合、信頼度統合部４４は、論理演算部４４１を用いて構成されている。論理演算部４４１は、第１信頼度算出部４２からの信頼度ＲＶ１と第２信頼度算出部４３からの信頼度ＲＶ２の論理演算を行い、演算結果を信頼度ＲＶＴとしてグローバル動きベクトル算出部５１に出力する。また、信頼度が多値情報である場合、信頼度統合部４４は、乗算器４４２を用いて構成されている。乗算器４４２は、第１信頼度算出部４２から供給された正規化後の信頼度ＲＶ１と第２信頼度算出部４３から供給された正規化後の信頼度ＲＶ１を乗算して、乗算結果を信頼度ＲＶＴとしてグローバル動きベクトル算出部５１に出力する。

図１９は、信頼度統合部で行われる処理を示すフローチャートである。ステップＳＴ８１で信頼度統合部４４は、ブロック毎に信頼度を取得する。信頼度統合部４４は、ブロック毎に、第１信頼度算出部４２で算出された信頼度ＲＶ１と第２信頼度算出部４３で算出された信頼度ＲＶ２を取得してステップＳＴ８２に進む。

ステップＳＴ８２で信頼度統合部４４は、信頼度の統合処理を行う。信頼度統合部４４は、上述のように信頼度の論理演算または乗算を行い、信頼度を統合してステップＳＴ８３に進む。

ステップＳＴ８３で信頼度統合部４４は、全ブロックの処理が完了したか判別する。信頼度統合部４４は、信頼度の統合処理が行われていないブロックが残っている場合、ステップＳＴ８１に戻り、信頼度の統合処理が行われていないブロックに対してステップＳＴ８１からの処理を繰り返す。また、信頼度統合部４４は、信頼度の統合処理が行われていないブロックが残っていない場合、信頼度統合処理を終了する。

［１−８．グローバル動きベクトル算出部について］
次に、グローバル動きベクトル算出部５１について説明する。グローバル動きベクトル算出部５１は、１つの画像を複数のブロックに区分してブロック毎に検出されているローカル動きベクトルＬＭＶから、信頼度ＲＶＴに基づき信頼度の高いローカル動きベクトルＬＭＶを選択する。例えば、グローバル動きベクトル算出部５１は、信頼度ＲＶＴが「１」であるローカル動きベクトルＬＭＶを選択する。グローバル動きベクトル算出部５１は、選択したローカル動きベクトルＬＭＶからグローバル動きベクトルＧＭＶを算出する。このように、信頼度の高いローカル動きベクトルを選択して、選択したローカル動きベクトルからグローバル動きベクトルを求める手法としては、例えば、「IEEE Transactions on Consumer Electronics, Vol. 52, No. 2, MAY 2006」に記載された手法を適用することができる。

または、ブロック単位で検出されているローカル動きベクトルＬＭＶに対して、信頼度ＲＶＴに応じた重み付けを行い、グローバル動きベクトル算出部５１は、重み付け後のローカル動きベクトルＬＭＶからグローバル動きベクトルを算出してもよい。このように信頼度ＲＶＴに応じて重み付けされたローカル動きベクトルＬＭＶからグローバル動きベクトルを算出する手法を用いると、信頼度が多値情報である場合、信頼度が２値情報である場合に比べて詳細な重み付けを行うことができる。信頼度ＲＶＴに応じて重み付けされたローカル動きベクトルＬＭＶからグローバル動きベクトルを算出する手法としては、例えば「特開２００９−６５３３２号公報」に記載された手法を適用することができる。この場合、図２０に示すブロック重み算出部５０を設けて、グローバル動きベクトル算出部５１は、重み付け後のローカル動きベクトルＬＭＶからグローバル動きベクトルを算出する。

ブロック重み算出部５０は、ブロック分散値算出部５０１、画像間共分散算出部５０２、近傍ＬＭＶとの相関算出部５０３を有している。さらに、ブロック重み算出部５０は、ＬＭＶ対応重み算出部５０４、残差対応重み算出部５０５、分散対応重み算出部５０６、共分散対応重み算出部５０７、ＬＭＶ相関対応重み算出部５０８、乗算器５０９を有している。

ブロック重み算出部５０は、ＬＭＶ対応重み算出部５０４でＬＭＶ対応重み［Ｗ＿lmv］、残差対応重み算出部５０５で残差対応重み［Ｗ＿sad］を算出する。また、ブロック重み算出部５０は、分散対応重み算出部５０６で分散対応重み［Ｗ＿var］、共分散対応重み算出部５０７で共分散対応重み［Ｗ＿cor］、ＬＭＶ相関対応重み算出部５０８でＬＭＶ相関対応重み［Ｗ＿lmvcor］を各々算出する。ブロック重み算出部５０は、これらのブロック重みと、信頼度ＲＶＴ対応重み［Ｗ＿RVT］の乗算を式（１１）に示すように行い、最終的なブロック重み［Ｗ＿block］を算出する構成としている。
Ｗ＿block＝Ｗ＿lmv×Ｗ＿sad×Ｗ＿var×Ｗ＿cor×Ｗ＿lmvcor×Ｗ＿RVT ・・・（１１）

グローバル動きベクトル算出部５１は、ブロック重み算出部５０で算出したブロック重み［Ｗ＿block］と、各ブロック対応のローカル動きベクトルＬＭＶに基づいてグローバル動きベクトルＧＭＶを算出する。

グローバル動きベクトル算出部５１で算出されたグローバル動きベクトルは、動き補償部６１に出力されて、動き補償部６１では、グローバル動きベクトルに応じて参照画像の動き補償を行い、動き補償画像を出力する。

このように、第１の実施の形態では、低ビット画像を用いてローカル動きベクトルとローカル動きベクトルの信頼度を低コストで算出できる。さらに、ローカル動きベクトルと信頼度を用いてより良い性能でグローバル動きベクトル、例えば撮像装置の動きを検出できるようになる。

＜２．第２の実施の形態＞
ところで、第１の実施の形態では、低ビット画像から信頼度を算出する第１信頼度算出部と、評価値から信頼度を算出する第２信頼度算出部を設けているが、何れか一方の信頼度算出部を設ける構成であってもよい。次に、第２の実施の形態では、第２の実施の形態では、信頼度算出部として、評価値から信頼度を算出する第１信頼度算出部のみを設けた場合の構成を図２１に示す。なお、図２１において、図１と対応する部分については同一符号を付している。

情報処理装置１０ａは、入力された画像データを記憶する画像メモリ部２１、画素に割り当てるビット数の削減を行う低ビット基準画像生成部３１-c、低ビット参照画像生成部３１-rを有している。また、情報処理装置１０ａは、ローカル動きベクトルと信頼度の算出を行う動きベクトル情報生成部４０ａ、算出されたローカル動きベクトルと信頼度を用いてグローバル動きベクトルの算出を行うグローバル動きベクトル算出部５１を有している。さらに、情報処理装置１０ａは、算出されたグローバル動きベクトルを用いて動き補償を行う動き補償部６１を有している。

画像メモリ部２１は、基準画像と参照画像の画像データを記憶する。画像メモリ部２１は、記憶している基準画像の画像データを低ビット基準画像生成部３１-cに出力する。画像メモリ部２１は、記憶している参照画像の画像データを低ビット参照画像生成部３１-rと動き補償部６１に出力する。

低ビット基準画像生成部３１-cは、基準画像の画像データに対してビット数削減処理を行い、低ビット基準画像の画像データを生成する。また、低ビット基準画像生成部３１-cは、生成した低ビット基準画像の画像データを動きベクトル情報生成部４０ａのブロックマッチング部４１に出力する。例えば、低ビット基準画像生成部３１-cは、基準画像の８ビットの画像データに対してビット数削減処理を行い、１ビットである低ビット基準画像の画像データをブロックマッチング部４１に出力する。

低ビット参照画像生成部３１-rは、参照画像の画像データに対してビット数削減処理を行い、低ビット基準画像と等しいビット数の低ビット参照画像を生成する。また、低ビット参照画像生成部３１-rは、生成した低ビット参照画像の画像データを動きベクトル情報生成部４０ａのブロックマッチング部４１に出力する。

動きベクトル情報生成部４０ａは、ブロックマッチング部４１、第２信頼度算出部４３を有している。

ブロックマッチング部４１は、低ビット基準画像生成部３１-cから出力された低ビット基準画像の画像データと、低ビット参照画像生成部３１-rから出力された低ビット参照画像の画像データを用いてブロックマッチングを行う。ブロックマッチング部４１は、ブロックマッチングを行うことにより算出された評価値に基づきローカル動きベクトルを検出する。ブロックマッチング部４１は、検出したローカル動きベクトルＬＭＶをグローバル動きベクトル算出部５１に出力する。また、評価値を第１信頼度算出部４２に出力する。

第１信頼度算出部４２は、ブロックマッチング部４１から供給された評価値を用いて、ブロックマッチング部４１で検出されたローカル動きベクトルについての信頼度を算出する。第１信頼度算出部４２は、算出した信頼度をグローバル動きベクトル算出部５１に出力する。

グローバル動きベクトル算出部５１は、動きベクトル情報生成部４０から供給されたローカル動きベクトルと信頼度を用いてグローバル動きベクトルを算出して動き補償部６１に出力する。動き補償部６１は、グローバル動きベクトル算出部５１で算出されたグローバル動きベクトルに応じて参照画像の動き補償を行い、動き補償画像を出力する。

このように、第２の実施の形態でも、ローカル動きベクトルの算出と信頼度の算出を行い、算出したローカル動きベクトルと信頼度を用いてグローバル動きベクトルを算出できることから、低コストでグローバル動きベクトルを検出できるようになる。また、ローカル動きベクトルの信頼度を用いることから、より良い性能でグローバル動きベクトルを算出できる。

＜３．第３の実施の形態＞
次に、第３の実施の形態では、信頼度算出部として、低ビット画像から信頼度を算出する第１信頼度算出部のみを設けた場合の構成を図２２に示す。なお、図２２において、図１と対応する部分については同一符号を付している。

情報処理装置１０ｂは、入力された画像データを記憶する画像メモリ部２１、画素に割り当てるビット数の削減を行う低ビット基準画像生成部３１-c、低ビット参照画像生成部３１-rを有している。また、情報処理装置１０ｂは、ローカル動きベクトルの検出と、検出したローカル動きベクトルについての信頼度の算出を行う動きベクトル情報生成部４０ｂ、検出したローカル動きベクトルと算出した信頼度を用いてグローバル動きベクトルの算出を行うグローバル動きベクトル算出部５１を有している。さらに、情報処理装置１０ｂは、算出されたグローバル動きベクトルを用いて動き補償を行う動き補償部６１を有している。

画像メモリ部２１は、基準画像と参照画像の画像データを記憶する。画像メモリ部２１は、記憶している基準画像の画像データを低ビット基準画像生成部３１-cに出力する。画像メモリ部２１は、記憶している参照画像の画像データを低ビット参照画像生成部３１-rと動き補償部６１に出力する。

低ビット基準画像生成部３１-cは、基準画像の画像データに対してビット数削減処理を行い、低ビット基準画像の画像データを生成する。また、低ビット基準画像生成部３１-cは、生成した低ビット基準画像の画像データを動きベクトル情報生成部４０ｂのブロックマッチング部４１に出力する。例えば、低ビット基準画像生成部３１-cは、基準画像の８ビットの画像データに対してビット数削減処理を行い、１ビットである低ビット基準画像の画像データをブロックマッチング部４１に出力する。

低ビット参照画像生成部３１-rは、参照画像の画像データに対してビット数削減処理を行い、低ビット基準画像と等しいビット数の低ビット参照画像を生成する。また、低ビット参照画像生成部３１-rは、生成した低ビット参照画像の画像データを動きベクトル情報生成部４０ｂのブロックマッチング部４１に出力する。

動きベクトル情報生成部４０ｂは、ブロックマッチング部４１、第２信頼度算出部４３を有している。

ブロックマッチング部４１は、低ビット基準画像生成部３１-cから出力された低ビット基準画像の画像データと、低ビット参照画像生成部３１-rから出力された低ビット参照画像の画像データを用いてブロックマッチングを行う。ブロックマッチング部４１は、ブロックマッチングを行うことにより算出された評価値に基づき、ローカル動きベクトルを検出する。ブロックマッチング部４１は、検出したローカル動きベクトルＬＭＶをグローバル動きベクトル算出部５１に出力する。

第２信頼度算出部４３は、低ビット基準画像を用いて信頼度の算出を行う。第２信頼度算出部４３は、低ビット画像を用いてブロック単位で特徴量を求めて、特徴量からブロックマッチング部４１で検出したローカル動きベクトルについての信頼度を算出する。第２信頼度算出部４３は算出した信頼度をグローバル動きベクトル算出部５１に出力する。

グローバル動きベクトル算出部５１は、動きベクトル情報生成部４０から供給されたローカル動きベクトルと信頼度を用いてグローバル動きベクトルを算出して動き補償部６１に出力する。

なお、情報処理装置１０には、動き補償部６１が設けられており、動き補償部６１は、グローバル動きベクトル算出部５１で算出されたグローバル動きベクトルに応じて参照画像の動き補償を行い、動き補償画像を出力する。

このように、第３の実施の形態でも、ローカル動きベクトルの検出と信頼度の算出を行い、検出したローカル動きベクトルと算出した信頼度を用いてグローバル動きベクトルを算出できることから、低コストでグローバル動きベクトルを検出できるようになる。また、ローカル動きベクトルの信頼度を用いることから、より良い性能でグローバル動きベクトルを算出できる。

＜４．処理をプログラムにより実行する場合について＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータを用いる。または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどを用いて、プログラム記録媒体からソフトウェアをインストールする。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。

コンピュータ８０において、ＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、ＲＡＭ（Random Access Memory）８３は、バス８４により相互に接続されている。

バス８４には、さらに、入出力インタフェース部８５が接続されている。入出力インタフェース部８５には、キーボード、マウスなどよりなるユーザインタフェース部８６、画像データを入力するための入力部８７、ディスプレイなどよりなる出力部８８、ハードディスクや不揮発性のメモリなどよりなる記録部８９等が接続される。さらに、入出力インタフェース部８５には、ネットワークインタフェースなどよりなる通信部９０、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９５を駆動するドライブ９１が接続されている。

以上のように構成されるコンピュータでは、ＣＰＵ８１が、例えば、記録部８９に記録されているプログラムを、入出力インタフェース部８５およびバス８４を介して、ＲＡＭ８３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ８１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory),ＤＶＤ(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９５に記録して提供される。または、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９５をドライブ９１に装着することにより、入出力インタフェース部８５を介して、記録部８９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０で受信し、記録部８９にインストールすることができる。その他、プログラムは、ＲＯＭ８２や記録部８９に、予めインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われた場合等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能であり、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術は以下のような構成も取ることができる。
（１） 画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する低ビット画像生成部と、
低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う動きベクトル情報生成部と
を有する情報処理装置。
（２） 前記動きベクトル情報生成部は、ブロックマッチングによって前記ローカル動きベクトルの検出を行い、該ローカル動きベクトルの検出に用いた評価値または前記低ビット基準画像の少なくとも何れかを用いて前記信頼度を算出する（１）に記載の情報処理装置。
（３） 前記動きベクトル情報生成部は、前記動きベクトル情報生成部は、前記低ビット基準画像と前記低ビット参照画像のブロック間の類似度が高くなるに伴い所定値に近づく評価値を用い、該評価値から前記信頼度を算出する場合、前記評価値が前記所定値に最も近い第１極値と２番目に小さい第２極値との差分に基づいて前記信頼度を算出する（２）に記載の情報処理装置。
（４） 前記動きベクトル情報生成部は、前記差分が大きくなるに伴い信頼度を高くする（３）に記載の情報処理装置。
（５） 前記動きベクトル情報生成部は、前記低ビット基準画像を用いて前記信頼度を算出する場合、ブロック画像の輝度勾配に関する角度情報に基づいて前記信頼度を算出する（２）乃至（４）の何れかに記載の情報処理装置。
（６） 前記動きベクトル情報生成部は、前記角度情報のばらつきが少なくなるに伴い信頼度を高くする（５）に記載の情報処理装置。
（７） 前記動きベクトル情報生成部は、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度を算出した場合、２つの信頼度を統合して１つの信頼度とする（２）乃至（６）の何れかに記載の情報処理装置。
（８） 前記動きベクトル情報生成部は、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度が２値情報である場合、２つの信頼度の論理演算を行って信頼度の統合を行い、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度が多値情報である場合、２つの信頼度を乗算することで信頼度の統合を行う（７）に記載の情報処理装置。
（９） 前記ローカル動きベクトルと前記信頼度から、前記基準画像と前記参照画像間の画像単位の１つの動きベクトルであるグローバル動きベクトルを算出するグローバル動きベクトル算出部をさらに有する（１）乃至（８）の何れかに記載の情報処理装置。

この技術の情報処理装置や情報処理方法およびプログラムでは、画素に割り当てるビット数の削減が基準画像と参照画像に対して行われて低ビット基準画像と低ビット参照画像が生成される。また、生成された低ビット基準画像と低ビット参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルが検出される。また、検出したローカル動きベクトルについての信頼度が算出される。このため、ローカル動きベクトルを簡単な構成で検出できる。さらに、ローカル動きベクトルの信頼度が算出されることから、ローカル動きベクトルと信頼度に基づき、グローバル動きベクトルをより良い精度で検出することが可能となり、撮像装置や画像データの符号化や画像処理等を行う画像処理装置等に適している。

１０，１０ａ，１０ｂ・・・情報処理装置、２１・・・画像メモリ部、３１-c ・・・低ビット基準画像生成部、３１-r・・・低ビット参照画像生成部、４０，４０ａ，４０ｂ・・・動きベクトル情報生成部、４１・・・ブロックマッチング部、４２・・・第１信頼度算出部、４３・・・第２信頼度算出部、４４・・・信頼度統合部、５０・・・重み算出部、５１・・・グローバル動きベクトル算出部、６１・・・動き補償部、８０・・・コンピュータ、８１・・・ＣＰＵ、８２・・・ＲＯＭ、８３・・・ＲＡＭ、８４・・・バス、８５・・・入出力インタフェース部、８６・・・ユーザインタフェース部、８７・・・入力部、８８・・・出力部、８９・・・記録部、９０・・・通信部、９１・・・ドライブ、９５・・・リムーバブルメディア、３１１，３１１ａ，３１１ｂ ・・・フィルタ処理部、３１２，３１２ａ，３１２ｂ，３１４・・・画像比較部、３１３・・・閾値設定部、４１１・・・基準ブロック指定部、４１２・・・参照ブロック指定部、４１３・・・評価値算出部、４１４・・・ローカル動きベクトル決定部、４２１・・・極小値算出部、４２２・・・信頼度判別値算出部、４２３，４３４・・・信頼度決定部、４３１・・・基準ブロック指定部、４３２・・・角度情報生成部、４３３・・・特徴量算出部、４４１・・・論理演算部、４４２、５０９・・・乗算器、５０１・・・ブロック分散値算出部、５０２・・・画像間共分散算出部、５０３・・・近傍ＬＭＶとの相関算出部、５０４・・・ＬＭＶ対応重み算出部、５０５・・・残差対応重み算出部、５０６・・・分散対応重み算出部、５０７・・・共分散対応重み算出部、５０８・・・ＬＭＶ相関対応重み算出部

Claims (11)

1. 画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する低ビット画像生成部と、
   低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う動きベクトル情報生成部と
   を有する情報処理装置。
2. 前記動きベクトル情報生成部は、ブロックマッチングによって前記ローカル動きベクトルの検出を行い、該ローカル動きベクトルの検出に用いた評価値と前記低ビット基準画像の少なくとも何れかを用いて前記信頼度を算出する
   請求項１記載の情報処理装置。
3. 前記動きベクトル情報生成部は、前記低ビット基準画像と前記低ビット参照画像のブロック間の類似度が高くなるに伴い所定値に近づく評価値を用い、該評価値から前記信頼度を算出する場合、前記評価値が前記所定値に最も近い第１極値と２番目に小さい第２極値との差分に基づいて前記信頼度を算出する
   請求項２記載の情報処理装置。
4. 前記動きベクトル情報生成部は、前記差分が大きくなるに伴い信頼度を高くする
   請求項３記載の情報処理装置。
5. 前記動きベクトル情報生成部は、前記低ビット基準画像を用いて前記信頼度を算出する場合、ブロック画像の輝度勾配に関する角度情報に基づいて前記信頼度を算出する
   請求項２記載の情報処理装置。
6. 前記動きベクトル情報生成部は、前記角度情報のばらつきが少なくなるに伴い信頼度を高くする
   請求項５記載の情報処理装置。
7. 前記動きベクトル情報生成部は、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度を算出した場合、２つの信頼度を統合して１つの信頼度とする
   請求項２記載の情報処理装置。
8. 前記動きベクトル情報生成部は、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度が２値情報である場合、２つの信頼度の論理演算を行って信頼度の統合を行い、前記評価値に基づく信頼度と前記低ビット基準画像に基づく信頼度が多値情報である場合、２つの信頼度を乗算することで信頼度の統合を行う
   請求項７記載の情報処理装置。
9. 前記ローカル動きベクトルと前記信頼度から、前記基準画像と前記参照画像間の画像単位の１つの動きベクトルであるグローバル動きベクトルを算出するグローバル動きベクトル算出部をさらに有する請求項１記載の情報処理装置。
10. 画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する工程と、
    低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う工程と
    を含む情報処理方法。
11. コンピュータで、
    画素に割り当てるビット数の削減を基準画像と参照画像に対して行い、低ビット基準画像と低ビット参照画像を生成する手順と、
    低ビット基準画像と低ビット参照画像から画像を構成するブロック単位の動きベクトルであるローカル動きベクトルの検出と、該検出したローカル動きベクトルについての信頼度の算出を行う手順と
    を実行させるプログラム。

Images