JP6057629B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、２枚の画像間の動きベクトルを検出して画像処理を行う画像処理装置、その制御方法、および制御プログラムに関する。

一般に、２枚の画像間における動きベクトルを検出して、その動きベクトルを用いて種々の画像処理を行う画像処理装置が知られている。

例えば、動画像データを扱う際には、動画像データにおいて２画面間の動きベクトルを用いることによって、動画像データを高効率で圧縮することができる。さらに、動きベクトルを用いることによって、テレビジョンカメラのパン・チルト検出や被写体追尾などの処理を行うことができる。

加えて、近年、動きベクトルを用いて画像を重ね合わせて、２枚の画像を合成すること、そして、低照度撮影の際のノイズ除去など種々の面で画像処理の応用が進められている。

動きベクトルの検出手法として、例えば、ブロックマッチングおよび勾配法などが知られており、一般的にブロックマッチングが広く用いられている。

ブロックマッチングでは、注目画像である参照画像と基準画像との相関に応じて動きベクトルを検出する。この際、参照画像および基準画像の各々を所定の大きさの矩形状のブロック（領域）に分割して、当該ブロック毎に参照画像と基準画像との相関を算出する。

ここで、従来のブロックマッチングによる動きベクトルの検出ついて説明する。

図１６は、従来のブロックマッチングによる動きベクトルの検出を説明するための図である。そして、図１６（ａ）は基準画像を示す図であり、図１６（ｂ）は参照画像における探索を示す図である。

図１６において、ブロックマッチング対象である２枚の画像のうちの一方が基準画像（図１６（ａ））１７０１とされる。当該基準画像は所定の大きさの矩形状領域（以下基準ブロックと呼ぶ）１６０２に分割される。基準ブロック１６０２の各々は水平方向に複数の画素と垂直方向に複数のラインとを有している。なお、２枚の画像のうちの他方は参照画像とされる。

ブロックマッチングでは、基準ブロック１６０２と相関性の高いブロック（参照ブロックと呼ぶ）を参照画像（図１６（ｂ））１６０３から検索する。参照画像１６０３には参照ブロック１６０４が設定されており、参照ブロック１６０４の大きさは基準ブロック１６０２の大きさと同一である。

探索の際には、参照画像１６０３に設定された矩形領域である探索範囲１６０５（この探索範囲は参照ブロックよりも大きい）において、基準ブロック１６０２と最も近似する参照ブロック１６０４の位置を探索する。

ここで、基準ブロック１６０２と最も近似する参照ブロック１６０４の位置を探索する場合には、探索範囲１６０５における全画素についてＳＡＤ（差分絶対値和）演算が用いられる。ＳＡＤ値が最小となる位置が基準ブロック１６０２と最も近似する参照ブロック１６０４の位置とされる。そして、探索によって得られた参照ブロック１６０４の座標と基準ブロック１６０２の座標との差分が動きベクトル１６０７とされる。

図１７は、図１６に示す動きベクトル検出の際に算出されるＳＡＤ値について説明するための図である。

基準ブロック１６０２の位置（座標）で基準ブロック１６０２を参照画像１６０３に射影した射影イメージ１６０６を中心とする探索範囲１６０５の内側に基準ブロック１６０２と同一サイズの参照ブロック１６０４を設定する。

参照ブロック１６０４と基準ブロック１６０２とをそれぞれ切り出して、ＳＡＤ演算処理部１７０１に入力すると、ＳＡＤ演算処理部１７０１は処理結果としてＳＡＤ値を出力する。

探索範囲１６０５においてとり得る全ての参照ブロック１６０４についてＳＡＤ値を求める。そして、ＳＡＤ値が最小となる参照ブロック１６０４が基準ブロック１６０２に最も近似する参照ブロック１６０４とされ、当該参照ブロック１６０４の位置と基準ブロック１６０２の位置とに応じて動きベクトル１６０７が検出される。なお、ＳＡＤ値が最小となる参照ブロック１６０４の位置を結像位置の座標とすることを探索と呼ぶ。

ところで、図１６で説明したブロックマッチングにおいては、探索範囲１６０５に設定される複数の参照ブロック１６０４の各々と基準ブロック１６０２との相関を算出するので、不可避的にＳＡＤ値を算出するための演算処理量が多くなる。

演算処理量を削減するため、基準画像および参照画像の各々について、高解像度の画像と高解像度の画像を縮小して得た低解像度の画像とによって階層を構成して、階層毎に動きベクトルを検出する手法がある（特許文献参照）。

一方、ブロックマッチングを用いて階層的に動きベクトルを検出する際、画像が平坦（低コントラスト）である箇所および繰り返し模様の箇所では、動きベクトルが誤検出されることがある。つまり、低コントラストである箇所においては、参照ブロックと基準ブロックとの間の相関を測る模様が存在しないので、ＳＡＤ値が最小となる値が明確に定まらない。

また、繰り返し模様の箇所においては、繰り返し模様の周期に一致する箇所でＳＡＤ値が小さい値となるので、相関性の高い箇所が複数現れてしまう。その結果、たとえ、最小となるＳＡＤ値を選択したとしても、所望の動きベクトルではない可能性が高くなって、動きベクトルの誤検出に繋がってしまう。

特に、動きベクトルを用いて異なる２枚の画像を位置合わせして合成する際に、誤検出された動きベクトルを用いてしまうと、位置合わせの精度が低下して合成後の画像の画質が低下してしまう。

このような誤検出に対処するため、上記の特許文献１では、画像全体において１つの統合された動きベクトルを検出する際に、低コントラストおよび繰り返し縞模様の箇所について相関値を用いると動きベクトルの精度が低下するので、低コントラストおよび繰り返し縞模様の箇所を検出すると、当該箇所を動きベクトルの検出に当たって除外するようにしている。

一方、階層的に動きベクトルを検出する際、高解像度層における動きベクトルの算出をなるべく少なくして演算処理量を低減するようにしたものがある（特許文献２参照）。

ここでは、高解像度の基準ブロックに対応する位置にある低解像度の基準ブロックにおけるエッジ量を求めて、当該エッジ量が所定の閾値以上であると、高解像度層で動きベクトルを検出する。一方、エッジ量が閾値未満であると、低解像度層における動きベクトルをスケーリングして高解像度層の動きベクトルとして代用する。

特開２００９−１５３０９３号公報 特開２０１０−２８８１１０号公報

ＣＶＩＭチュートリアルシリーズ−コンピュータビジョン 最新ガイド１ アドコム・メディア株式会社 倉爪亮、石川博、加藤文和、佐藤淳、三田雄志（著） 第２章グラフカット Ｐ６９−Ｐ７１

ところが、上述の特許文献１に記載の手法では、低コントラスト又は繰り返し縞模様の箇所を除外するので、当該箇所が画像に多く含まれていると、結果的に画像において検出される動きベクトルの数が少なくなる。このため、かえって統合後の動きベクトルの精度が低下してしまうことがある。

また、特許文献２に記載の手法では、エッジ量が閾値未満である低解像度層においては基準ブロックが低コントラストの箇所となってしまい、正確な動きベクトルを検出することが困難となってしまう。

従って、本発明の目的は、低コントラストおよび繰り返し模様の箇所があっても、高精度に動きベクトルを検出して位置合わせの精度を向上させることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、入力された２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出手段と、前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更手段とを有し、前記動きベクトル検出手段は、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、前記解像度変更手段は、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、前記動きベクトル検出手段は、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする。

本発明による制御方法は、入力された２つの画像間における動きベクトルを検出する画像処理装置の制御方法であって、前記２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出ステップと、前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更ステップとを有し、前記動きベクトル検出ステップでは、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、前記解像度変更ステップでは、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、前記動きベクトル検出ステップでは、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする。

本発明による制御プログラムは、入力された２つの画像間における動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出ステップと、前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更ステップとを実行させ、前記動きベクトル検出ステップでは、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、前記解像度変更ステップでは、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、前記動きベクトル検出ステップでは、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする。

本発明によれば、低コントラストおよび繰り返し模様の領域（箇所）があっても、高精度に動きベクトルを検出して、複数の画像の位置合わせの精度を向上させることができる。

本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置における動きベクトル検出処理を説明するためのフローチャートである。 図１に示す画像処理装置に入力される画像の一例を示す図であり、（ａ）は基準画像を示す図、（ｂ）は参照画像を示す図である。 図１に示す基準ブロック決定部および参照ブロック決定部で行われる基準画像および参照画像の分割を説明するための図であり、（ａ）は基準画像の分割を示す図、（ｂ）は参照画像の分割を示す図である。 図４で説明したＳＡＤ値テーブルの一例を示す図である。 繰り返し模様が存在する画像におけるＳＡＤ値の分布の一例を示す図である。 図４に示す基準ブロックおよび参照ブロックの拡大処理を説明するための図であり、（ａ）は基準ブロックの拡大を示す図、（ｂ）は参照ブロックの拡大を示す図である。 図２に示す動きベクトル検出処理で検出された動きベクトルの一例を説明するための図であり、（ａ）は入力画像である基準画像の一例を複数のブロックに分割した状態を示す図、（ｂ）はブロック毎の動きベクトルを示す図である。 本発明の第２の実施形態による画像処理装置で行われる階層的な動きベクトルの検出を説明するための図である。 本発明の第２の実施形態による画像処理装置についてその構成の一例を示すブロック図である。 図１０に示す画像処理装置における動きベクトル検出処理を説明するためのフローチャートである。 図１１に示す画像縮小部で生成される階層的な画像の一例を示す図であり、（ａ）は基準画像の階層構造を示す図、（ｂ）は参照画像の階層構造を示す図である。 図１１に示す現階層よりも下階層の画像が存在しない場合の縮小処理によって生成された基準画像を説明するための図であり、（ａ）は第３階層の基準画像を示す図、（ｂ）は第３階層の基準画像を１／２倍した第４階層の基準画像を示す図である。 本発明の第３の実施形態による画像処理装置で行われる動きベクトル検出処理を説明するためのフローチャートである。 本発明の第３の実施形態による画像処理装置で生成される階層的な画像の一例を示す図であり、（ａ）は基準画像の階層構造を示す図、（ｂ）は参照画像の階層構造を示す図である。 従来のブロックマッチングによる動きベクトルの検出を説明するための図であり、（ａ）は基準画像を示す図、（ｂ）は参照画像における探索を示す図である。 図１６に示す動きベクトル検出の際に算出されるＳＡＤ値について説明するための図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照した説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。

図１において、画像処理装置１００は、メモリ部１０１、基準ブロック決定部１０２、参照ブロック決定部１０３、ブロック状態判定部１０４、および動きベクトル算出部１０５を備えている。

図２は、図１に示す画像処理装置１００における動きベクトル検出処理を説明するためのフローチャートである。また、図３は図１に示す画像処理装置１００に入力される画像の一例を示す図である。そして、図３（ａ）は基準画像を示す図であり、図３（ｂ）は参照画像を示す図である。

動きベクトル検出処理を開始すると、画像処理装置１００は基準画像３０１および基準画像３０２を入力して、それぞれメモリ部１０１に記憶する（ステップＳ２００）。これら基準画像および参照画像は、例えば、図３に示すように、繰り返し模様を有する被写体３０３が撮影されているものとする。

なお、ここでは、メモリ部１０１には基準画像３０１および参照画像３０２の２枚の画像が記憶されるが、メモリ部１０１に記憶する画像の枚数は少なくとも２枚であればよく、複数の画像を用いるようにしてもよい。また、基準画像３０１および参照画像３０２には繰り返し模様を有する被写体３０３が撮影されているが、繰り返し模様を有する被写体３０３に限定されるものではない。そして、事前に縮小処理された画像を入力画像とするようにしてもよい。

続いて、基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ基準画像３０１および参照画像３０２を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は基準画像３０１および参照画像３０２を所定のサイズのブロックに分割する（ステップＳ２０１）。

図４は、図１に示す基準ブロック決定部１０２および参照ブロック決定部１０３で行われる基準画像３０１および参照画像３０２の分割を説明するための図である。そして、図４（ａ）は基準画像３０１の分割を示す図であり、図４（ｂ）は参照画像３０２の分割を示す図である。

図４において、基準画像３０１および参照画像３０２は水平方向に７分割、垂直方向に１０分割されて、それぞれ複数の基準ブロック４０１および参照ブロック４０２に分割される。ここでは、基準ブロック４０１および参照ブロック４０２の各々のサイズは、例えば、２５６×２５６画素であるとする。

なお、ここでは、７０個の基準ブロック４０１に左上から順に、参照符号ｂｌｋ［０］〜ｂｌｋ［６９］を付し、７０個の参照ブロック４０２に左上から順に参照符号ｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［６９］を付す。そして、基準ブロック４０１はｂｌｋ［０］から順番に処理される。

ブロック状態判定部１０４は基準ブロックについて当該基準ブロックのコントラストが予め設定されたコントラスト以下の低コントラストであるか否かを判定する（ステップＳ２０２）。

この判定に当たっては、ブロック状態判定部１０４は基準ブロックについて高周波帯域のみを通過させるハイパスフィルタ処理を行ってそのエッジを抽出する。続いて、ブロック状態判定部１０４は当該エッジについてその画素値を合計してエッジ積分値を算出する。

そして、ブロック状態判定部１０４はエッジ積分値と予め定められた閾値とを比較して、エッジ積分値がこの閾値よりも小さいと、ハイパスフィルタ処理を行う前の画素値を用いてヒストグラムを生成する。当該ヒストグラムにおいて極大値が１つであると、ブロック状態判定部１０４は基準ブロックを低コントラストの基準ブロックであると判定する。

基準ブロックが低コントラストの基準ブロックではないと判定すると（ステップＳ２０２において、ＮＯ）、ブロック状態判定部１０４は基準ブロックおよび参照ブロックを用いて、前述の図１６で説明したようにして、ＳＡＤ（差分絶対和演算）値を求める（ステップＳ２０３）。ここでは、探索範囲における複数の参照ブロックについて算出されたＳＡＤ値の配列をＳＡＤ値テーブルと呼ぶ。

図５は、図４で説明したＳＡＤ値テーブルの一例を示す図である。

図５に示す例では、基準ブロックに対してそれぞれ水平方向に±３、垂直方向に±３として探索範囲を設定してＳＡＤ値を求めた。続いて、ブロック状態判定部１０４はＳＡＤ値テーブルを参照して、基準ブロックが繰り返し模様のブロックであるか否かを判定する（ステップＳ２０４）。

ここでは、ブロック状態判定部１０４は、例えば、特開２０１１−３５８１４号公報に記載の手法を用いて繰り返し模様のブロックであるか否かを判定する。

図６は、繰り返し模様が存在する画像におけるＳＡＤ値の分布の一例を示す図である。

図６に示すように、繰り返し模様が存在する画像においては、ＳＡＤ値の分布に複数の極小値（ここでは、極小値１および２）が存在する。そこで、ブロック状態判定部１０４は、図５に示すＳＡＤ値テーブルに応じてＳＡＤ値の分布を描く。そして、ブロック状態判定部１０４は当該分布に予め設定した閾値よりも小さい極小値が２つ以上存在すると、この基準ブロックを繰り返し模様が存在する基準ブロックであると判定する。

基準ブロックが繰り返し模様の基準ブロックであると判定すると（ステップＳ２０４において、ＹＥＳ）、ブロック状態判定部１０４は当該基準ブロックおよびこの基準ブロックに対応する参照ブロックのサイズを拡大する（ステップＳ２０５）。図４（ａ）に示す例では、例えば、基準ブロックｂｌｋ［５５］が繰り返し模様の基準ブロックと判定されることになる。

図７は、図４に示す基準ブロックおよび参照ブロックの拡大処理を説明するための図である。そして、図７（ａ）は基準ブロックの拡大を示す図であり、図７（ｂ）は参照ブロックの拡大を示す図である。

図７に示す例では、基準ブロックが繰り返し模様の基準ブロックであると判定すると、ブロック状態判定部１０４は当該基準ブロック４０１とこの基準ブロック４０１に対応する参照ブロック４０２のサイズを２５６×２５６画素から５１２×５１２画素に拡大する。ここでは、基準ブロック４０１および参照ブロック４０２に最も近い被写体３０３の境界（境界部分ともいう）が拡大後の基準ブロック７０１および参照ブロック７０２に含まれるように拡大率が決定される。

なお、拡大率を算出する際には、上記の非特許文献１に記載されたグラフカットアルゴリズムを用いて被写体を抽出して、現在の基準ブロック（又は参照ブロック）の中心座標から最近傍の被写体の境界までの距離を求める。そして、当該距離に応じて拡大率が算出される。

図７に示すように、拡大後の基準ブロック７０１および参照ブロック７０２については繰り返し模様の部分のみではなく、被写体の境界の一部分が含まれている。

このため、拡大前の基準ブロック４０１および参照ブロック４０２においては繰り返し模様によって相関性の高い部分が複数現れているが、拡大後の基準ブロック７０１および参照ブロック７０２では被写体の境界の一部分と一致する箇所で相関性が最も高くなる。よって、上述のように、基準ブロックおよび参照ブロックを拡大すれば、相関性の高い部分が複数出現することがなくなる。

なお、基準ブロックが低コントラストであると（ステップＳ２０２において、ＹＥＳ）、ブロック状態判定部１０４は、ステップＳ２０５の処理に進んで当該基準ブロックとこの基準ブロックに対応する参照ブロックを拡大処理する。

続いて、ブロック状態判定部１０４は拡大処理後の基準ブロックおよび参照ブロックを用いて、ステップＳ２０３の処理と同様にしてＳＡＤ値テーブルを生成する（ステップＳ２０６）。

次に、動きベクトル算出部１０５は、ステップＳ２０６で算出されたＳＡＤ値テーブルを用いて動きベクトルを算出する（ステップＳ２０７）。この場合、ＳＡＤ値テーブルにおいて最小を示すずらし量が動きベクトルとなる。例えば、図５に示すＳＡＤ値テーブルにおいては、最小値が”８”であるので、基準ブロックの中心を移動前の原点（ＳＡＤ値が”４５”の位置）とすると、動きベクトルは（＋２，＋２）となる。

上述のように、基準ブロックおよび参照ブロックを拡大処理して、ＳＡＤ値テーブルを求めて、当該ＳＡＤテーブルに応じて動きベクトルを算出すれば、繰り返し模様の基準ブロックであっても、高精度に動きベクトルを算出することができる。そして、基準ブロックが低コントラストであっても同様に高精度に動きベクトルを算出することができる。

次に、動きベクトル算出部１０５は、全ての基準ブロックについて動きベクトルが算出されたか否かを判定する（ステップＳ２０８）。全ての基準ブロックで動きベクトルが算出されていないと（ステップＳ２０８において、ＮＯ）、処理はステップＳ２０２に戻って、次の基準ブロックについて同様の処理が行われる。一方、全ての基準ブロックで動きベクトルが算出されると（ステップＳ２０８において、ＹＥＳ）、画像処理装置１００は動きベクトル検出処理を終了する。

図８は、図２に示す動きベクトル検出処理で検出された動きベクトルの一例を説明するための図である。そして、図８（ａ）は入力画像である基準画像の一例を複数のブロックに分割した状態を示す図であり、図８（ｂ）はブロック毎の動きベクトルを示す図である。

上述のようにして、図２に示す動きベクトル検出処理を行うと、図８（ａ）に示す入力画像（基準画像）の複数のブロック８０１毎に動きベクトル８０２が求められて、図８（ｂ）に示すように、ブロック毎に異なる動きベクトル８０２が決定される。

このように、本発明の第１の実施形態では、低コントラストの基準ブロックおよび繰り返し模様を有する基準ブロックがあると、当該基準ブロックおよびこの基準ブロックに対応する参照ブロックを拡大処理する。その後、基準ブロックおよび参照ブロックに応じてＳＡＤ値テーブルを生成して、当該ＳＡＤブロックテーブルに応じて動きベクトルを検出するようにしたので、高精度に動きベクトルを検出して、画像の位置合わせの精度を向上させることができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。

第２の実施形態による画像処理装置では、階層的に動きベクトルを検出する。ここでは、基準ブロックが低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックと判定された場合に、低解像度画像において動きベクトルを検出する処理について説明する。

まず、階層的に動きベクトルを検出する手法について説明する。

階層的に動きベクトルを検出する際には、元画像（基準画像および参照画像）について、水平方向および垂直方向のそれぞれを１／ｎ（ｎは１を超える正の数）に縮小してそれぞれ縮小画像を生成する。そして、当該縮小画像を用いてブロックマッチングを行って、縮小画像において動きベクトルの検出を行う。その後、縮小画像で得られた動きベクトルの検出結果に基づいて、元画像を用いてブロックマッチングを行う。なお、縮小するとその画像の解像度は低くなる。

図９は、本発明の第２の実施形態による画像処理装置で行われる階層的な動きベクトルの検出を説明するための図である。なお、ここでは、ｎ＝２である。

図９において、入力画像（基準画像および参照画像）を第１階層、入力画像を１／２倍に縮小した画像を第２階層、第２階層の画像をさらに１／２倍（つまり、入力画像を１／４倍）した画像を第３階層と呼ぶことにする。ここで、元画像とは第（Ｎ＋１）階層の画像に対して第Ｎ階層の画像のことをいう。また、第Ｎ階層を現階層とし、第（Ｎ＋１）階層を下階層、第（Ｎ−１）階層を上階層と呼ぶことにする。

階層的に動きベクトルを検出する際には、最下層から動きベクトルを算出する。図９において、第２階層の基準画像９０２には第２階層の基準ブロック９０３に対応する第３階層の基準ブロック９０４が設定され、第３階層の基準画像９０１上に、第２階層の基準画像９０２に設定される第２階層の基準ブロック９０３に対応する第３階層の基準ブロック９０４が設定される。そして、この第３階層の基準ブロック９０４について第３階層の参照画像９０５とのブロックマッチングを行って第３階層の動きベクトルＶ１を求める。

次に、第２階層の基準画像９０２において、第３階層の動きベクトルＶ１を２倍した動きベクトル（２×Ｖ１）が示す位置を原点として第２階層の参照画像９０６に探索範囲を定める。そして、当該探索範囲内に複数の第２階層の参照ブロックを設定する。続いて、設定した複数の第２階層の参照ブロックと、第２階層の基準ブロック９０３との間においてブロックマッチングを行って、第２階層の動きベクトルＶ２を求める。

次に、下記の式（１）によって、第３階層の動きベクトルＶ１を２倍した動きベクトル（２×Ｖ１）と、第２階層の動きベクトルＶ２とを合成して合成ベクトルとして、最終的な第２階層の動きベクトルＶ３を算出する。

Ｖ３＝２×Ｖ１＋Ｖ２ （１）
以降同様にして、第２階層が第（Ｎ＋１）階層に相当し、第１階層が第Ｎ階層に相当するものとして動きベクトルを求めると、第１階層の動きベクトルを求めることができる。つまり、第２階層の動きベクトルＶ３に応じて、前述のようにして、第１階層の基準画像９０７および参照画像９０８についてブロックマッチングを行えば、第１階層の基準ブロック９０９における動きベクトルを求めることができる。

ここで、第１階層以外の動きベクトルにつてサブピクセル精度で算出するものとする。ブロックマッチングにおいてサブピクセル精度での推定手法については、例えば、特開２００９−３０１１８１号公報に記載の等角直線フィッティング又はパラボラフィッティングを用いる。

ピクセル精度での動きベクトルの検出においては、例えば、第３階層において算出した動きベクトルが（２、４）であるとすると、第２階層での動きベクトルは（４、８）となる。

一方、サブピクセル精度で動きベクトルを算出すると、例えば、第３階層において算出した動きベクトルが（２．３、４．４）であると、第２階層の動きベクトルは（４．６、８．８）となる。そして、小数点１位以下の数字を四捨五入して、第２階層の動きベクトルは１画素単位の（５．０、９．０）と近似することができる。

このように、サブピクセル精度で動きベクトルを検出すれば、上階層における動きベクトルを１画素単位で検出することができる。

図１０は、本発明の第２の実施形態による画像処理装置についてその構成の一例を示すブロック図である。なお、図１０に示す画像処理装置１２００において、図１に示す画像処理装置１００と同一の構成要素については同一の参照番号を付す。

図１０に示す画像処理装置１２００は画像縮小部１２０１を有しており、この画像縮小部１２０１で基準画像および参照画像を前述したようにして縮小処理した後、メモリ部１０１に記憶する。つまり、メモリ部１０１には階層的に基準画像および参照画像が記憶されることになる（つまり、メモリ部１０１には基準画像および参照画像がそれぞれ複数の階層画像として記憶される）。

図１１は、図１０に示す画像処理装置１２００における動きベクトル検出処理を説明するためのフローチャートである。

動きベクトル検出処理を開始すると、画像処理装置１２００は、図３に示す基準画像３０１および基準画像３０２を入力する（ステップＳ１１０）。そして、画像縮小部１２０１は、基準画像３０１および参照画像３０２を縮小処理して、階層的な画像を生成し、当該階層的な画像をメモリ部１０１に記憶する（ステップＳ１１０１）。

図１２は、図１１に示す画像縮小部１２０１で生成される階層的な画像の一例を示す図である。そして、図１２（ａ）は基準画像の階層構造を示す図であり、図１２（ｂ）は参照画像の階層構造を示す図である。

画像縮小部１２０１は、階層的な画像として第３階層の画像まで生成するものとする。ここでは、入力画像（基準画像および参照画像）を第１階層の画像１２０１および１２０４とし、第１階層の画像１２０１および１２０４を１／２倍に縮小した画像を第２階層の画像１２０２および１２０５とする。そして、第２階層の画像１２０２および１２０５をさらに１／２倍した画像を第３階層の画像１２０３および１２０６とする。

ステップＳ１１０１に続く処理では、第３階層、第２階層、および第１階層の順に動きベクトルが検出される。以下の説明では、メモリ部１０１から第３階層の画像が読み出された場合の処理について説明する。

基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ第３階層の基準画像および第３階層の参照画像を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は第３階層の基準画像および第３階層の参照画像を所定のサイズのブロック（基準ブロックおよび参照ブロック）に分割する（ステップＳ１１０２）。

ここでは、図４と同様に、第３階層の基準画像１２０３および第３階層の参照画像１２０６を水平方向に７分割、垂直方向に１０分割して複数のブロックに分割する。但し、一つのブロックは１６×１６画素となる。そして、ここでも、第３階層の基準画像１２０３における基準ブロックをｂｌｋ［０］〜ｂｌｋ［６９］とし、第３階層の参照画像１２０６における参照ブロックをｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［６９］とする。

続いて、ブロック状態判定部１０４は第３階層の基準ブロックが低コントラストのブロックであるか否かを判定する（ステップＳ１１０３）。第３階層の基準ブロックが低コントラストの基準ブロックではないと判定すると（ステップＳ１１０３において、ＮＯ）、ブロック状態判定部１０４は第３階層の基準ブロックおよび参照ブロックを用いてＳＡＤ値テーブルを求める（ステップＳ１１０４）。

続いて、ブロック状態判定部１０４はＳＡＤ値テーブルを参照して、第３階層の基準ブロックが繰り返し模様のブロックであるか否かを判定する（ステップＳ１１０５）。

ブロック状態判定部１０４によって第３階層の基準ブロックが繰り返し模様の基準ブロックであると判定されると（ステップＳ１１０５において、ＹＥＳ）、画像縮小部１２０１は、現階層よりも下階層の画像が存在しない場合には、現階層の基準画像および参照画像をさらに縮小した画像を作成する（ステップＳ１１０６）。そして、画像縮小部１２０１は当該縮小した画像をメモリ部１０１に記憶する。

図４に示す例では、第３階層の基準画像の基準ブロックｂｌｋ［５５］は繰り返し模様のブロックと判定される。そして、第３階層よりも下階層の画像は存在しないので、画像縮小部１２０１はステップＳ１１０６の処理を行うことになる。

図１３は、図１１に示す現階層よりも下階層の画像が存在しない場合の縮小処理によって生成された基準画像を説明するための図である。そして、図１３（ａ）は第３階層の基準画像を示す図であり、図１３（ｂ）は第３階層の基準画像を１／２倍した第４階層の基準画像を示す図である。

図１３に示すように、画像縮小部１２０１は第３階層の基準画像１２０３を１／２倍に縮小した第４階層の基準画像１３０１を生成する。同様にして、図示はしないが、画像縮小部１２０１は第３階層の参照画像を１／２倍に縮小した第４階層の参照画像１３０１を生成する。

基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ第４階層の基準画像および第４階層の参照画像を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は第４階層の基準画像および第３階層の参照画像を所定のサイズのブロックに分割する。

但し、第４階層の基準ブロック１３０３のサイズは第３階層の基準ブロック１３０１と同一の６４×６４画素とする。なお、第４階層の参照ブロックのサイズは第４の基準ブロックのサイズと同一である。

通常の階層的な動きベクトルの検出においては、基準ブロックのサイズは、階層の変化に伴ってそのサイズが変化する。一方、低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックと判定された際の作成される現階層よりも下側の下階層の画像についてはそのブロックサイズは現階層と同一のサイズとされる。

これによって、下階層では画像が縮小されている結果、ブロックサイズは実質的に拡大されたことになって、広い範囲で探索を行うことができる。さらに、現階層においてブロックサイズを拡大して動きベクトルを検出するよりも、動きベクトルの検出に必要な演算処理量を削減することができる。

ブロック状態判定部１０４は、下階層（ここでは、第４階層）において現階層（ここでは、第３階層）の基準ブロック１３０１に対応する基準ブロック１３０３には被写体１３０４の境界が含まれるか否かを判定する（ステップＳ１１０７）。ステップＳ１１０７における処理は、図２で説明した処理と同様である。

なお、第３階層の基準ブロックが低コントラストであると（ステップＳ１１０３において、ＹＥＳ）、ブロック状態判定部１０４はステップＳ１１０６の処理に進む。

第４階層の基準ブロック１３０３に被写体１３０４の境界が含まれないと（ステップＳ１１０７において、ＮＯ）、ブロック状態判定部１０４は下階層（第４階層）の基準ブロック１３０３を現階層の基準ブロックに設定して、ステップＳ１１０６の処理に戻る。

一方、第４階層の基準ブロック１３０３に被写体１３０４の境界が含まれていると（ステップＳ１１０７において、ＹＥＳ）、ブロック状態判定部１０４は被写体１３０４の境界を含む下階層の基準ブロック１３０３および参照ブロックを用いてＳＡＤ値テーブルを算出する。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出する（ステップＳ１１０８）。

なお、図１３（ｂ）に示す例では、第４階層の基準ブロック１３０３には被写体１３０４の境界が含まれているので、ブロック状態判定部１０４はステップＳ１１０８の処理に進むことになる。

このように、第４階層の基準ブロック１３０３には被写体１３０４の境界が含まれているので、相関性の高い部分が複数現れることがなく、高精度に動きベクトルを検出することができる。

続いて、動きベクトル算出部１０５はステップＳ１１０８で求めた下階層の動きベクトルを現階層の動きベクトルのサイズに換算（つまり、変換）する（ステップＳ１１０９）。ここでは、第４階層における動きベクトルを第３階層における動きベクトルに換算することになる。第４階層の画像は第３階層の画像を１／２倍に縮小したので、第４階層における動きベクトルを２倍した動きベクトルが第３階層における動きベクトルとなる。

続いて、動きベクトル算出部１０５は全ての第４階層の基準ブロックについて動きベクトルを検出したか否かを判定する（ステップＳ１１１０）。全ての第４階層の基準ブロックについて動きベクトルを検出すると（ステップＳ１１１０において、ＹＥＳ）、動きベクトル算出部１０５は全ての階層で動きベクトルを検出したか否かを判定する（ステップＳ１１１１）。そして、動きベクトル算出部１０５によって全ての階層で動きベクトルを検出したと判定されると（ステップＳ１１１１において、ＹＥＳ）、画像処理装置１２００は動きベクトル検出処理を終了する。

一方、動きベクトル算出部１０５によって全ての階層で動きベクトルを検出していないと判定されると（ステップＳ１１１１において、ＹＥＳ）、画像処理装置１２００は動きベクトルを検出すべき階層を現階層から上階層に移動して（ステップＳ１１１２）、ステップＳ１１０２の処理に戻る。

ステップＳ１１１０において、全ての第４階層の基準ブロックについて動きベクトルを検出していないと（ステップＳ１１１０において、ＮＯ）、処理はステップＳ１１０３の処理に戻って、次の第４階層の基準ブロックについて低コントラストであるか否かが判定される。

ステップＳ１１０５において、第３階層の基準ブロックが繰り返し模様の基準ブロックでないと判定すると（ステップＳ１１０５において、ＮＯ）、ブロック状態判定部１０４は現階層（第３階層）の基準画像における基準ブロックおよび現階層の参照画像における参照ブロックを用いてＳＡＤ値テーブルを求める。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出して（ステップＳ１１１３）、ステップＳ１１１０の処理に進む。

このように、本発明の第２の実施形態では、現階層において低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックであると、現階層に続く下階層の画像を生成する。この際、当該下階層における基準ブロックおよび参照ブロックのサイズは現階層のサイズと同一とする。

これによって、低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックに被写体の境界を含まれる結果、相関性の高くなる部分を限定することができる。この結果、高精度に動きベクトルを検出して、位置合わせの精度を向上させることができる。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置について説明する。なお、第３の実施形態による画像処理装置の構成は、図１０に示す画造形性装置と同様である。

第２の実施形態では、現階層において低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックであると、現階層に続く下階層の画像を生成して、下階層において動きベクトルの検出を行うようにした。第３の実施形態では、現階層において基準ブロックが低コントラストの基準ブロックで繰り返し模様を有する基準ブロックであると、上階層において動きベクトルを検出する。

図１４は、本発明の第３の実施形態による画像処理装置で行われる動きベクトル検出処理を説明するためのフローチャートである。なお、図１４において、図１１に示すフローチャートと同一の処理を行うステップについては同一の参照符号を付して説明を省略する。

図１１で説明したように、ステップＳ１１０１において、画像縮小部１２０１は基準画像および参照画像を縮小処理して、階層的な画像を生成し、当該階層的な画像をメモリ部１０１に記憶する。

図１５は、本発明の第３の実施形態による画像処理装置で生成される階層的な画像の一例を示す図である。そして、図１５（ａ）は基準画像の階層構造を示す図であり、図１５（ｂ）は参照画像の階層構造を示す図である。

いま、ステップＳ１１０１において、図１５に示す階層的に画像が得られたものとする。ここでは、入力画像（基準画像および参照画像）を第１階層の画像１５０１および１５０４とし、第１階層の画像１５０１および１５０４を１／２倍に縮小した画像を第２階層の画像１５０２および１５０５とする。そして、第２階層の画像１５０２および１５０５をさらに１／２倍した画像を第３階層の画像１５０３および１２０５とする。

図１５に示すように、第３階層においては、被写体１５０７に描かれた絵柄１５０８が縮小処理によって消失してしまっている。このため、ステップＳ１１０３において第３階層の基準ブロックが低コントラストの基準ブロックであるか否かを判定する際、例えば、基準ブロックｂｌｋ［５５］（図４参照）では、低コントラストの基準ブロックと判定されることになる。

低コントラストの基準ブロックであると判定すると、ブロック状態判定部１０４は現階層（ここでは、第３階層）の上階層（つまり、第２階層）において、該当基準ブロック対応する基準ブロックに動きベクトルの算出に適した模様が存在するか否かを判定する（ステップＳ１４０１）。

ここで、動きベクトル算出に適した模様が存在するか否かを判定する際には、ブロック状態判定部１０４は上階層において対応する基準ブロックのエッジ積分を行う。そして、当該エッジ積分値が予め設定された閾値以上であり、かつヒストグラムを作成した際に極大値が複数存在すると、ブロック状態判定部１０４は動きベクトル算出に適した模様が存在すると判定する。

なお、ここでは、現階層および上階層のブロックサイズの比率は一定である。例えば、縮小率が１／２倍の場合には、第３階層のブロックサイズが６４×６４（ｐｉｘｅｌ）であると、第２階層の分割ブロックサイズは１２８×１２８（ｐｉｘｅｌ）となる。

例えば、第３階層において低コントラストと判定された基準ブロック（ｂｌｋ［５５］）に対応する第２階層の基準ブロックで動きベクトル算出に適した模様は存在するか否かを判定したとする。

この場合には、図１５に示すように、第２階層の基準ブロックｂｌｋ［５５］の位置には、絵柄１５０８の一部が存在するので、ブロック状態判定部１０４は第２階層において動きベクトル算出に適した模様が存在すると判定することになる。

上階層において基準ブロックに動きベクトルの算出に適した模様が存在しないと判定すると（ステップＳ１４０１において、ＮＯ）、ブロック状態判定部１０４はステップＳ１１０４の処理に進む。

一方、上階層において基準ブロックに動きベクトルの算出に適した模様が存在すると判定すると（ステップＳ１４０１において、ＹＥＳ）、ブロック状態判定部１０４は第３階層の基準画像における基準ブロックに対応する第２階層の基準ブロックと、第３階層の参照画像における参照ブロックに対応する第２階層の参照ブロックとを用いてＳＡＤ値テーブルを求める。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出する（ステップＳ１４０２）。

続いて、動きベクトル算出部１０５はステップＳ１１０９の処理に進むが、ステップＳ１４０２では第２階層における動きベクトルを検出したので、ここでは、動きベクトル算出部１０５は第２階層における動きベクトルを第３階層における動きベクトルに換算することになる。

第３階層は第２階層を１／２倍に縮小したので、第２階層における動きベクトルを１／２倍した動きベクトルが第３階層における動きベクトルとなる。

なお、図１４に示すフローチャートでは、ステップＳ１１０５において、基準ブロックが繰り返し模様の基準ブロックであると判定されると、ステップＳ１１０６〜Ｓ１１０８で下階層において動きベクトルを算出して、ステップＳ１１０９で現階層の動きベクトルに換算するようにしている。この代わりに、第１の実施形態で説明したように、現階層において基準ブロックのサイズを拡大して動きベクトルを検出するようにしてもよい。

このように、本発明の第３の実施形態では、階層的に動きベクトルを算出する際、縮小の処理によって絵柄が消失して低コントラストとなると、上階層において対応する基準ブロックに動きベクトル算出に適した模様が存在するか否かを判定する。これによって、低コントラストと判定されて動きベクトルが算出されなくなる事態を防止することができる。

この結果、第３の実施形態では、高精度に動きベクトルを検出して、位置合わせの精度を向上させることができる。

上述の説明から明らかなように、図１および図１０に示す例においては、基準ブロック決定部１０２および参照ブロック決定部１０３が領域分割手段として機能する。

また、ブロック状態判定部１０４および画像縮小部１２０１はサイズ変更手段として機能し、動きベクトル算出部１０５は動きベクトル検出手段として機能する。

さらに、ブロック状態判定部１０４は第１の判定手段および第２の判定手段として機能し、画像縮小部１２０１は解像度変更手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも領域分割ステップ、サイズ変更ステップ、および動きベクトル検出ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００，１２００ 画像処理装置
１０１ メモリ部
１０２ 基準ブロック決定部
１０３ 参照ブロック決定部
１０４ ブロック状態判定部
１０５ 動きベクトル算出部
３０１ 基準画像
３０２ 参照画像
３０３ 被写体
１２０１ 画像縮小部

Claims (7)

1. 入力された２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出手段と、
   前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更手段とを有し、
   前記動きベクトル検出手段は、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、
   前記解像度変更手段は、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、
   前記動きベクトル検出手段は、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする画像処理装置。
2. 前記動きベクトル検出手段は、前記新たな階層の画像における前記基準ブロックの画素数を、前記解像度変更手段が生成した最も解像度が低い階層の画像における前記基準ブロックと同一の画素数とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記動きベクトル検出手段が、前記基準ブロックのコントラストが予め定めたコントラスト以下であると判定する条件として、前記基準ブロックのエッジを積分した積分値が予め設定された閾値より小さいことを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記動きベクトル検出手段が、前記解像度変更手段が生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在すると判定する条件として、前記一方の画像の前記基準ブロックと、前記他方の画像の探索範囲との間で得られた差分絶対和演算によって求められたＳＡＤ値の分布において、予め設定された閾値よりも小さい前記ＳＡＤ値が少なくとも２つ以上あることを含むことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記動きベクトル検出手段はサブピクセルの精度で前記動きベクトルを検出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 入力された２つの画像間における動きベクトルを検出する画像処理装置の制御方法であって、
   前記２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出ステップと、
   前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更ステップとを有し、
   前記動きベクトル検出ステップでは、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、
   前記解像度変更ステップでは、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、
   前記動きベクトル検出ステップでは、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする制御方法。
7. 入力された２つの画像間における動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記２つの画像から、一方の画像の基準ブロックと他方の画像の探索範囲のマッチングを行うことで動きベクトルを検出する動きベクトル検出ステップと、
   前記２つの画像の各々について、画素数が異なる複数の階層の階層画像を生成する解像度変更ステップとを実行させ、
   前記動きベクトル検出ステップでは、前記階層画像のうち、最も画素数が少ない階層の画像から画素数が多い階層に向かって順に、階層の各々で設定した基準ブロックにおける前記動きベクトルの検出を行う際、階層の各々における画像で検出された動きベクトルの検出結果に基づいて、次に画素数が多い階層の画像における探索範囲を設定し、
   前記解像度変更ステップでは、生成した最も画素数が少ない階層の画像における前記基準ブロックのコントラストが予め定められたコントラスト以下であった場合、および生成した最も画素数が少ない階層の画像における前記基準ブロックに繰り返し模様が存在する場合の少なくとも１つを満たす場合に、前記最も画素数が少ない階層の画像よりもさらに画素数が少ない新たな階層の画像を生成し、
   前記動きベクトル検出ステップでは、前記新たな階層の画像を用いて前記動きベクトルを検出することを特徴とする制御プログラム。

Images