JP6579816B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して手ぶれ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定する方法等がある。

フレーム画像を用いた動き量推定の方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず、映像中のある２枚のフレーム画像の一方を基準画像、もう一方を参照画像とする。そして、基準画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、基準画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。

被写体の遠近の違いによって撮影された映像に視差が発生する場合、特に、テンプレ―ト内で視差が発生する場合には、動きベクトルが正しく算出できないことがある。そこで、特許文献１では、テンプレート内で視差が発生している場合には、テンプレートサイズを小さくすることでテンプレート内の視差を小さくしている。

また、動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置し、フレーム画像でテンプレートマッチングを行う技術がある。この場合、抽出される特徴点は背景、被写体の動き大きさ向き、ノイズなどの要因で、フレーム画像間で、特徴点が大きく移動してしまい、そのためフレーム画像毎にベクトルの品質が変わってしまうということがある。そこで、特許文献２では、フレーム画像で特徴点追跡を行い、その成功回数に応じて特徴点の信頼度を判定し、信頼度の低い特徴点を削除することで信頼度の高い特徴点でベクトルを検出する。

特開平１０−０２１４０３号公報 特開２００６−３３６２３５号公報

しかしながら、特許文献１のようにテンプレート内の視差に応じてテンプレートサイズを小さくすると、テンプレート内の変化に敏感に反応してしまい、手振れやノイズなどの影響を大きく受け、動きベクトルの検出結果が不安定になってしまう。また、特許文献２の特徴点追跡は、計算コストが高く、かつ特徴点が敏感に移動し不安定化してしまう。

本発明は、上記課題を鑑みて、テンプレートマッチングにおいて、奥行情報を使用して信頼度の高い特徴点を抽出することで、安定的に動きベクトルを算出することができる画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明に係る画像処理装置は、複数の画像間の動きベクトルを検出する画像処理装置であって、前記画像と、前記画像に対応する奥行情報を入力する入力手段と、前記入力手段により入力された画像と奥行情報を記憶する記憶手段と、前記記憶手段に記憶された第１の画像の特徴点を抽出する抽出手段と、前記抽出手段により抽出した特徴点を含む第１の領域と、前記入力手段により入力される第２の画像の内、前記第１の領域に対応する第２の領域の類似度を判定する類似度判定手段と、前記類似度判定手段の判定結果から、前記第１の画像と前記第２の画像との間の前記特徴点の動きベクトルを検出する第１の検出手段と、前記記憶手段に記憶された前記第１の画像に対応する第１の奥行情報と、前記第２の画像に対応する第２の奥行情報に基づいて、前記特徴点の信頼度を判定する信頼度判定手段と、前記信頼度判定手段による信頼度の判定結果に基づいて、前記第１の画像と前記第２の画像との間の画像全体の動きベクトルを検出する第２の検出手段とを備えることを特徴とする。

本発明によれば、、テンプレートマッチングにおいて、奥行情報を使用し特徴点の信頼度評価を行い、信頼度の高い特徴点を抽出することで、安定的に動きベクトルを算出することができる画像処理装置を提供することができる。

画像処理装置全体の構成を示すブロック図である。 特徴点抽出部の構成を示すブロック図である。 テンプレートマッチング部の構成を示すブロック図である。 信頼度判定部の構成を示すブロック図である。 動きベクトル検出の処理を示すフローチャートである。 特徴点抽出の処理を示すフローチャートである。 テンプレートマッチングの処理を示すフローチャートである。 テンプレートマッチングの概要図である。 信頼度判定の処理を示すフローチャートである。 信頼度判定における信頼度の変化を示すグラフである。 第２の実施形態に係る画像処理装置全体の構成を示すブロック図である。 第２の実施形態に係る動きベクトル調整部の構成を示すブロック図である。 第２の実施形態に係る動きベクトル検出の処理を示すフローチャートである。 第２の実施形態に係る動きベクトル調整の処理を示すフローチャートである。 第２の実施形態に係る動きベクトル調整の概要図である。 第３の実施形態に係る画像処理装置全体の構成を示すブロック図である。 第３の実施形態に係る画像間信頼度判定部の構成を示すブロック図である。 第３の実施形態に係る動きベクトル検出の処理を示すフローチャートである。 第３の実施形態に係る画像間信頼度判定の処理を示すフローチャートである。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能である。

（第１実施形態）
まず、図１を参照して、本実施形態に係る画像処理装置の構成について説明する。画像処理装置１００は、画像入力部１０１と、画像メモリ１０２と、特徴点抽出部１０３と、特徴点メモリ１０４と、テンプレートマッチング部１０５と、を備える。また、動きベクトル検出部１０６と、奥行情報入力部１０７と、奥行情報メモリ１０８と、特徴点信頼度判定部１０９と、画像全体動きベクトル検出部１１０を備える。なお、各構成要素を制御する不図示の制御部を備えてもよい。また、画像入力部１０１と、奥行情報入力部１０７は、各情報を入力する入力手段として機能し、画像メモリ１０２と、特徴点メモリ１０４と、奥行情報メモリ１０８は、各情報を記憶する記憶手段として機能する。

特徴点抽出部（抽出手段）１０３は、画像入力部１０１により入力された画像から、特徴点の抽出を行う。画像メモリ１０２は、画像入力部１０１により入力された１フレームまたは複数のフレームの画像を一時的に記憶保持する。なお、本実施形態では、画像メモリ１０２に記憶保持された画像を基準画像（第１の画像）とし、画像メモリ１０２に記憶保持される前の画像を参照画像（第２の画像）としている。しかしながら、これに限定することなく、例えば、画像メモリ１０２に記憶保持される前の画像を基準画像とし、画像メモリ１０２に記憶保持された画像を参照画像としてもよい。

特徴点メモリ１０４は、特徴点抽出部１０３により抽出された少なくとも１フレームの特徴点座標を一時的に記憶保持する。なお、本実施形態では、特徴点メモリ１０４に記憶保持された特徴点を基準画像特徴点とし、特徴点メモリ１０４に記憶保持される前の特徴点を参照画像特徴点としている。しかながら、逆に、特徴点メモリ１０４に記憶保持される前の特徴点を基準画像特徴点とし、特徴点メモリ１０４に記憶保持された特徴点を参照画像特徴点としてもよい。

テンプレートマッチング部１０５は、特徴点メモリ１０４に記憶保持された基準画像特徴点にテンプレートブロックを配置し、画像入力部１０１により入力された参照画像と、画像メモリ１０２に記憶保持された基準画像を使用し相関値の算出を行う。動きベクトル検出部（第１の検出手段）１０６は、テンプレートマッチング部１０５から入力される相関値から動きベクトルを検出する。奥行情報入力部１０７は、画像処理装置１００で入力される画像と対応している奥行情報を入力する。

奥行情報メモリ１０８は、奥行情報入力部１０７により入力された少なくとも１フレームの奥行情報を一時的に記憶保持する。なお、本実施形態では、奥行情報メモリ１０８に記憶保持された奥行情報を基準画像の奥行情報（第１の奥行情報）とし、奥行情報メモリ１０８に記憶保持される前の奥行情報を参照画像の奥行情報（第２の奥行情報）としている。しかしながら、逆に、奥行情報メモリ１０８に記憶保持される前の奥行情報を基準画像奥行情報とし、奥行情報メモリ１０８に記憶保持された奥行情報を参照画像奥行情報としてもよい。

特徴点信頼度判定部（信頼度判定手段）１０９は、テンプレートブロックと、動きベクトルと、参照画像の奥行情報と、基準画像の奥行情報からテンプレートマッチング部１０５で使用した特徴点の信頼度の判定を行う。画像全体動きベクトル検出部（第２の検出手段）１１０は、動きベクトル検出部１０６によって検出された動きベクトルと特徴点信頼度判定部１０９によって判定された特徴点の信頼度を用いて画像全体の動きベクトルを検出する。

次に、図２を参照して、特徴点抽出部１０３の構成について説明する。特徴点抽出部１０３は、特徴フィルタ部１０３１と、特徴評価部１０３２と、特徴点決定部１０３３を備える。特徴フィルタ部１０３１は、例えば、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタ等から構成され、画像入力部１０１によって入力された画像に対し、フィルタ処理を実施する。特徴評価部１０３２は、特徴フィルタ部１０３１によりフィルタ処理された画像に対し、画素毎に２つのエッジの交点や曲率が極大である曲線状の点などのコーナー点を特徴評価式により特徴値として算出する。特徴点決定部１０３３は、特徴評価部１０３２によって画素毎に算出された特徴値から、特徴点を決定する。なお、本実施形態における方法に限定することなく、特徴点抽出ができるのであれば、別の手法を用いてもよい。

次に、図３を参照して、テンプレートマッチング部（類似度判定手段）１０５の構成について説明する。テンプレートマッチング部１０５は、相関値算出部１０５１と、相関値判定部１０５２を備える。相関値算出部１０５１は、特徴点メモリ１０４に記憶保持された基準画像特徴点上にテンプレートブロックの配置とテンプレートマッチング領域を設定する。そして、画像入力部１０１により入力された参照画像と、画像メモリ１０２に記憶保持された基準画像の２枚の画像を用いて、テンプレートマッチングによる相関値の算出を行う（画像の類似度の判定をする）。相関値判定部１０５２は、相関値算出部１０５１から入力される相関値の最大値を算出し、それらの位置情報を基にして後段の処理へ出力する極小値を選択する。

次に、図４を参照して、特徴点信頼度判定部１０９の構成について説明する。特徴点信頼度判定部１０９は、テンプレート内奥行評価部１０９１と、動きベクトル奥行評価部１０９２と、信頼度判定部１０９３を備える。テンプレート内奥行評価部１０９１は、テンプレートマッチング部１０５によって設定されるテンプレートブロックの奥行情報を、奥行情報メモリ１０８に記憶保持されている基準画像の奥行情報から算出し、テンプレート内で奥行の変化の判定を行う。

動きベクトル奥行評価部１０９２は、テンプレート内で奥行の変化がある場合、動きベクトル検出部１０６によって検出された動きベクトルの始点の奥行情報を、奥行情報メモリ１０８に記憶保持されている基準画像の奥行情報から算出する。そして、動きベクトルの終点の奥行情報を奥行情報入力部１０７によって入力される参照画像の奥行情報から算出し、動きベクトルの始点と終点の奥行差を算出する。信頼度判定部１０９３は、動きベクトル奥行評価部１０９２によって算出された動きベクトルの始点と終点の奥行差からテンプレートマッチング部１０５でテンプレートブロックの配置に使用した特徴点の信頼度の判定を行う。

次に、図５に示すフローチャートを参照して、動きベクトル検出の処理について説明する。なお、本実施形態では、時間軸方向に連なるフレーム間で動きベクトル検出を行うものとし、基準フレームと参照フレームは、時間軸方向に関連しているフレームとするが、必ずしも隣接フレームでなくてもよい。

まず、ステップＳ５０１において、撮影された画像が画像入力部１０１を介し画像処理装置１００へ入力され、画像メモリ１０２に記憶保持される。なお、本実施形態では、画像メモリ１０２に記憶保持された画像を基準画像とし、画像メモリ１０２に記憶保持される前の画像を参照画像とする。

次に、ステップＳ５０２において、奥行情報が、奥行情報入力部１０７を介し画像処理装置へ入力される。入力された奥行情報は奥行情報メモリ１０８に記憶保持される。なお、本実施形態では奥行情報メモリ１０８に記憶保持された奥行情報を基準画像の奥行情報とし、奥行情報メモリ１０８に記憶保持される前の奥行情報を参照画像の奥行情報とする。奥行情報入力方式は、例えば、赤外線を照射してから、読み取りにかかる時間を計測して奥行画像の撮影をするＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式や、多眼レンズで撮影した複数枚の画像の視差を求めて奥行情報の入力を行う方式でもよい。ステップＳ５０１によって入力される画像と対応付けられる奥行情報の入力が可能であれば、方式の如何は問わない。

ステップＳ５０３において、特徴点抽出部１０３は、ステップＳ５０１で入力された画像から、特徴点を抽出する。そして、抽出された特徴点は、特徴点メモリ１０４に記憶保持される。なお、本実施形態では、特徴点メモリ１０４に記憶保持された特徴点を基準画像特徴点とし、特徴点メモリ１０４に記憶保持される前の特徴点を参照画像特徴点とする。

ここで、図６に示すフローチャートを参照して、特徴点抽出部１０３が行う特徴点抽出処理について説明する。本実施形態では、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ検出器により特徴点の抽出を行う。まず、ステップＳ６０１において、特徴フィルタ部１０３１は、図５のステップＳ５０１で入力された画像に対して、フィルタ処理を施す。なお、本実施形態では、入力された画像に対し１次微分フィルタを水平、垂直、斜めに施し、それぞれ１次微分フィルタを施した結果に対しガウシアンフィルタを施す。

次に、ステップＳ６０２において、特徴評価部１０３２は、ステップＳ６０１でフィルタ処理された画像に対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を、特徴評価式で特徴値として算出する。なお、ステップＳ６０１の水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を式１に示す。

式１においてＩｘは、水平微分フィルタを施した結果を示し、Ｉｙは、垂直微分フィルタを施した結果を示しており、ガウシアンフィルタＧを畳み込む。

次に、Ｈａｒｒｉｓ検出器の特徴評価式を式２に示す。

式２において、αは定数であり、実験的に０．０４〜０．１５の値が良いとされている。ｄｅｔは、自己相関行列Ｈの行列式を示し、ｔｒは、自己相関行列Ｈの主対角成分の和を示す。

次に、ステップＳ６０３において、特徴点決定部１０３３は、ステップＳ６０２で画素ごとに算出された特徴値に基づいて特徴点を決定する。本実施形態では、特徴値の高いものから順番に、予め決められた個数を特徴点として抽出する。そして、特徴点抽出の処理を終了する。このとき、特徴点の分布の偏りを防ぐためにグリッド分割処理などを行ってもよい。なお、本実施形態では、特徴点の抽出にＨａｒｒｉｓ ｃｏｒｎｅｒ検出器を使用したが、これに限定するものではなく、Ｓｈｉ ａｎｄ Ｔｏｍａｓｉ方式などの他の特徴点抽出方式を用いてもよい。

図５に戻って、次に、ステップＳ５０４において、テンプレートマッチング部１０５は、ステップＳ５０３で抽出され、特徴点メモリ１０４に記憶保持された基準画像特徴点上にテンプレートブロックを配置する。そして、ステップＳ５０１で入力され、画像メモリ１０２に記憶保持された基準画像と、ステップＳ５０１で入力された参照画像で、テンプレートマッチングによる相関値の算出を行う。

ここで、図７に示すフローチャートを参照して、テンプレートマッチング部１０５が行うテンプレートマッチング処理について説明する。まず、ステップＳ７０１において、相関値算出部１０５１は、フレーム画像間の任意の領域に対する相関値を算出する。このときの相関値の算出方法を図８を参照して、説明する。図８（Ａ）は、基準画像を示し、図８（Ｂ）は、参照画像を示す。

本実施形態では、ステップＳ５０２において抽出され特徴点メモリ１０４に記憶保持された基準画像特徴点８０１上にテンプレートブロック８０２が配置される。そして、図８（Ａ）に示す基準画像中にテンプレートブロック８０２が配置され、テンプレートブロック８０２と、図８（Ｂ）に示す参照画像の各領域（相関値算出領域８０４）との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には、図８（Ｂ）に示すように、参照画像上の相関値を算出する矩形領域をサーチ範囲８０３として設定する。サーチ範囲８０３の位置や大きさの設定については特に制限はなく、例えば、相関値算出領域８０４を含んだ領域であればよい。

本実施形態では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）で説明する。ＳＡＤの計算式を式３に示す。

式３において、ｆ（ｉ，ｊ）は、テンプレートブロック８０２内の座標（ｉ，ｊ）における輝度値を示し、ｇ（ｉ，ｊ）は、サーチ範囲８０３において相関値算出の対象となる相関値算出領域８０４内の各輝度値を示す。そして、ＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック８０２と相関値算出領域８０４のブロック内のテクスチャが類似していることを示す。

なお、本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限定することなく、例えば、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。次に、ステップＳ７０２において、相関値判定部１０５２は、ステップＳ７０１で算出した相関値から最小値の位置情報を検出する。そして、テンプレートマッチングの処理を終了する。

図５に戻って、次に、ステップＳ５０５において、動きベクトル検出部１０６は、ステップＳ５０４のテンプレートマッチングの結果（類似度の判定結果）における相関値の最小値の位置から動きベクトルを検出する。具体的には、画像間の動きベクトル、すなわち相関値の最小値の位置から、基準画像上のテンプレートブロックが参照画像においてどの位置に移動したかの動きベクトルを検出する。なお、本実施形態では、動きベクトルの始点を、テンプレートブロックを配置するときに使用した基準画像特徴点の座標にし、動きベクトルの終点は、算出した画像間の動きを動きベクトルの始点座標に足すことで算出する。

次に、ステップＳ５０６において、特徴点信頼度判定部１０９は、ステップＳ５０２〜Ｓ５０５の処理の結果から動きベクトルの始点である動きベクトルの特徴点の信頼度の判定を行う。つまり、ステップＳ５０２で入力される参照画像の奥行情報、奥行情報メモリ１０８に保持された基準画像の奥行情報、ステップＳ５０４のテンプレートマッチングの結果、ステップＳ５０５で検出された動きベクトルを使用し、特徴点の信頼度の判定を行う。

ここで、図９に示すフローチャートを参照して、特徴点信頼度判定部１０９が行う信頼度判定処理について説明する。まず、ステップＳ９０１において、テンプレート内奥行評価部１０９１は、ステップＳ５０２で入力された基準画像の奥行情報と、ステップＳ５０４で基準画像の特徴点上に配置されたテンプレートブロックからテンプレートブロック内の奥行情報を取得する。そして、テンプレート内での奥行情報が変化しているか否かを判定する。テンプレート内での奥行情報の変化が一定以上の場合（Ｙｅｓ）、ステップＳ９０２へ進み、一定未満の場合（Ｎｏ）、ステップＳ９０３へ進む。

次に、ステップＳ９０２において、ステップＳ５０２で入力され、奥行情報メモリ１０８に記憶保持された基準画像の奥行情報と、ステップＳ５０５で検出された動きベクトルの始点の座標から、動きベクトルの始点の奥行情報を算出する。そして、ステップＳ５０２によって入力された参照画像の奥行情報と、ステップＳ５０５で検出された動きベクトルの終点の座標から動きベクトルの終点の奥行情報を算出する。算出された動きベクトルの始点奥行情報と動きベクトルの終点奥行情報を比較し奥行の差を算出する。次に、ステップＳ９０３において、ステップＳ９０２で算出された動きベクトルの始点と終点の奥行の差からステップＳ５０４でテンプレートブロックを配置する際に使用した特徴点の信頼度の判定を行う。

ここで、奥行の差と信頼度の関係を図１０に示す。図１０（Ａ）は、奥行の差と信頼度を線形で変化させた場合の関係図を示す。図１０（Ｂ）は、奥行の差が所定値までは信頼度を変えず、所定値を少しでも離れると、信頼度を急激に下げ、一定まで下がったら、信頼度をを緩やかに変化させていく場合の関係図を示す。図１０（Ｃ）は、一定の奥行の差までは信頼度を緩やかに下げ、特定の奥行の差になった場合、信頼度を急激に下げてた場合の関係図を示す。なお、ステップＳ９０１でテンプレート内で奥行変化が一定未満と判断された場合、信頼度を下げない。本実施形態では、信頼度の評価として、図１０（Ａ）〜（Ｃ）のいずれかを適用したが、これに限定することなく、奥行の差が大きくなるにつれて信頼度が下がることを示す関係図であれば、他の関係図であってもよい。なお、本実施形態において、信頼度とは、各特徴点における動きベクトルの使用や影響の大小などを判断するための、画像間の動きベクトル検出に関する度合いを示すものである。

図５に戻って、次に、ステップＳ５０７において、画像全体動きベクトル検出部１１０は、ステップＳ５０５で特徴点毎に検出された動きベクトルと、ステップＳ５０６で判定された特徴点の信頼度を使用して、画像全体の動きベクトルを検出する。このとき、ステップＳ５０６で判定された信頼度に応じて、各特徴点の動きベクトルを使用するか否かや、重み付け（影響の大小）を判断して画像全体の動きベクトルを検出する。例えば、信頼度の低い特徴点である場合、その特徴点の動きベクトルを使用しない、または検出時の影響を小さくする。画像全体の動きベクトルを検出して、処理を終了する。

以上、本実施形態によれば、テンプレートマッチングにおいて、奥行情報を使用し特徴点の信頼度評価を行い、信頼度の高い特徴点を抽出することで、安定的に動きベクトルを算出することができる画像処理装置を提供することができる。すなわち、画像内の奥行変化が大きく、特徴点が移動することで動きベクトルがフレーム画像間で大きく変化する場合であっても、奥行情報から特徴点の信頼度の判定をし、動きベクトル検出処理に反映することで、動きベクトル検出を精度良く行うことができる。

（第２実施形態）
次に、図１１を参照して、第２実施形態に係る画像処理装置１１００について説明する。図１１において、図１で示した構成要素と同様の構成については、図１と同符号を付すことで、その詳細な説明を省略する。本実施形態に係る画像処理装置１１００は、図１に示す構成要素に加え、動きベクトル調整部（ベクトル調整手段）１１０１を備える。動きベクトル調整部１１０１は、奥行情報入力部１０７によって入力される参照画像奥行情報と、奥行情報メモリ１０８に記憶保持されている基準画像の奥行情報から、動きベクトル検出部１０６によって検出される動きベクトルを調整する。

次に、図１２を参照して、動きベクトル調整部１１０１の構成について説明する。動きベクトル調整部１１０１は、基準奥行設定部１１０１１と、動きベクトル向き調整部１１０１２と、動きベクトルサイズ調整部１１０１３を備える。基準奥行設定部１１０１１は、奥行情報入力部１０７で入力された参照画像の奥行情報または奥行情報メモリ１０８に記憶保持された基準画像の奥行情報を使用して基準奥行を設定する。

動きベクトル向き調整部１１０１２は、奥行情報入力部１０７で入力された参照画像の奥行情報と、奥行情報メモリ１０８に保持された基準画像の奥行情報を使用し、検出される動きベクトルの始点と終点の奥行の調整を行い、動きベクトルの向きの調整を行う。動きベクトルサイズ調整部１１０１３は、動きベクトル向き調整部１１０１２によって調整された動きベクトルを、基準奥行設定部１１０１１によって設定された基準奥行に合わせて動きベクトルのサイズの調整を行う。

次に、図１３に示すフローチャートを参照して、本実施形態に係る動きベクトル検出の処理について説明する。図１３において、図５に示した処理と同様の処理については、図５と同符号を付し、その詳細な説明を省略する。ステップＳ５０６の後、ステップＳ１３０１において、動きベクトル調整部１１０１は、参照画像の奥行情報と、奥行情報メモリ１０８に記憶保持された基準画像の奥行情報を使用し、ステップＳ５０５で算出された動きベクトルを調整する。

次に、図１４に示すフローチャートと、図１５に示す動きベクトル調整の概要図を参照して、動きベクトル調整部１１０１が行う動きベクトル調整処理について説明する。図１５（Ａ）は、基準画像を示し、図１５（Ｂ）は、参照画像を示し、図１５（Ｃ）、（Ｄ）、（Ｅ）は、図１５（Ｂ）に対して奥行方向を縦軸にして示す図である。

各図において、基準奥行１５０１、１５０２、１５０５、１５０８、１５１１は基準奥行を示す線であり、画像に関わらず全て同一の奥行情報に設定される。動きベクトル１５０３、１５０４、１５０６、１５０７は、動きベクトル算出において算出した動きベクトルである。動きベクトル１５０９、１５１０は、動きベクトル向き調整において向きを調整した動きベクトルである。動きベクトル１５１２、１５１３は、動きベクトルサイズ調整においてサイズ調整を行った動きベクトルである。

まず、ステップＳ１４０１において、基準奥行設定部１１０１１は、ステップＳ５０２で入力される参照画像の奥行情報またはステップＳ５０２で入力され、奥行情報メモリ１０８に記憶保持された基準画像の奥行情報を使用して基準奥行を設定する。なお、１度、基準奥行が設定されれば、ステップＳ１４０１が複数回繰り返される場合でも再設定し直す必要はない。なお、基準奥行の設定方法については、例えば、基準画像または参照画像のフォーカス位置を基準奥行に設定してもよく、基準画像または参照画像の画像中央の奥行を基準奥行に設定してもよい。また、全体の奥行の分布を算出し、中間の奥行を基準奥行に設定してもよく、基準奥行が設定できればその方法は問わない。

次に、ステップＳ１４０２において、動きベクトル向き調整部１１０１２は、奥行情報メモリ１０８に記憶保持された基準画像の奥行情報と、ステップＳ５０５で検出された動きベクトルの始点の座標から、動きベクトルの始点の奥行情報を算出する。そして、ステップＳ５０２で入力された参照画像奥行情報と、ステップＳ５０５で検出された動きベクトルの終点の座標から動きベクトルの終点の奥行情報を算出する。算出された動きベクトルの始点奥行情報と動きベクトルの終点奥行情報から、ベクトルを奥行方向で回転させ、向き調整することによって始点と終点の奥行を同一にする。

図１５（Ｂ）において、動きベクトル１５０３および１５０４は、図１５（Ａ）に示す基準画像と、図１５（Ｂ）に示す参照画像からステップＳ５０５で算出された動きベクトルであある。また、図１５（Ｃ）に示す動きベクトル１５０６および１５０７は、それぞれの動きベクトルを奥行方向を縦軸にしたものになっている。動きベクトル１５０６および１５０７の始点終点で奥行の異なる動きベクトルを奥行方向で回転させることで、それぞれ図１５（Ｄ）に示す動きベクトル１５０９および１５１０のように始点終点の奥行の同じベクトルになるよう向きを調整する。

次に、ステップＳ１４０３において、動きベクトルサイズ調整部１１０１３は、ステップＳ１４０１で設定された基準奥行と、ステップＳ１４０２で向きの調整された動きベクトルを使用して、動きベクトルのサイズの調整を行う。ステップＳ１４０２で向きの調整された図１５（Ｄ）に示す動きベクトル１５０９および１５１０を、基準奥行に合わせてサイズを調整し、それぞれ図１５（Ｅ）に示す動きベクトル１５１２および１５１３へ変換する。本実施形態では、動きベクトル１５０９および１５１０を基準奥行に射影し、それぞれ動きベクトル１５１２および１５１３へ変換する。

次に、ステップＳ５０５で検出された動きベクトルをステップＳ１３０１で調整し、調整後の動きベクトルと、ステップＳ５０６で算出された各特徴点の信頼度を使用し、ステップＳ５０７によって画像全体の動きベクトルを算出する。そして、動きベクトル処理を終了する。実施形態１よりも精度の高い動きベクトル検出を行うことが可能となる。

以上、本実施形態によれば、テンプレートマッチングにおいて、奥行情報を使用し特徴点の信頼度評価を行い、信頼度の高い特徴点を抽出することで、動きベクトルを算出することができる画像処理装置を提供することができる。また、本実施形態によれば、動きベクトルの調整を行うことにより、第１実施形態よりも、精度高く動きベクトルを検出することができる。

（第３実施形態）
次に、図１６を参照して、第３実施形態に係る画像処理装置１６００について説明する。図１６において、図１で示した構成要素と同様の構成については、図１と同符号を付すことで、その詳細な説明を省略する。本実施形態に係る画像処理装置１１００は、図１に示す構成要素に加え、画像間信頼度判定部１６０１を備える。画像間信頼度判定部１６０１は、参照画像の奥行情報と、基準画像の奥行情報と、基準画像上のテンプレートブロックと、参照画像上のテンプレートブロックを使用して、画像間の奥行情報を比較し、奥行差に応じて画像間の信頼度を判定する。

次に、図１７を参照して、画像間信頼度判定部１６０１の構成について説明する。画像間信頼度判定部１６０１は、画像間奥行評価部１６０１１と、信頼度判定部１６０１２を備える。画像間奥行評価部１６０１１は、参照画像の奥行情報と、基準画像の奥行情報と、基準画像上のテンプレートブロックと、参照画像上のテンプレートブロックを使用して画像間の奥行差を算出する。信頼度判定部１６０１２は、画像間奥行評価部１６０１１によって算出された画像間の奥行差に応じて画像間の信頼度を判定する。

次に、図１８に示すフローチャートを参照して、本実施形態に係る動きベクトル検出の処理について説明する。図１８において、図５に示した処理と同様の処理については、図５と同符号を付し、その詳細な説明を省略する。ステップＳ５０５の後、ステップＳ１８０１おいて、画像間信頼度判定部１６０１は、ステップＳ５０２で入力される参照画像の奥行情報と、基準画像の奥行情報と、ステップＳ５０４のテンプレートマッチングの結果から、画像間の信頼度を判定する。

ここで、図１９に示すフローチャートを参照して、画像間信頼度判定について説明する。まず、ステップＳ１９０１において、画像間奥行評価部１６０１１は、参照画像の奥行情報と、基準画像の奥行情報と、ステップＳ５０４の処理の結果から、基準画像上と参照画像上のテンプレートブロック内の奥行情報を比較し、奥行差を算出する。

次に、ステップＳ１９０２において、信頼度判定部１６０１２は、ステップＳ１９０１で算出された画像間の奥行差に応じて画像間の信頼度を判定する。奥行差と信頼度の関係については、図１０を適用し、奥行差が大きくなるほど信頼度が低くする。そして、画像間信頼度判定を終了する。そして、図１８に戻って、ステップＳ１８０１によって判定した、画像間の信頼度を後段の特徴点信頼度に反映しステップＳ５０６で特徴点の信頼度判定を行う。そして、動きベクトルの検出処理を終了する。

以上、本実施形態によれば、テンプレートマッチングにおいて、奥行情報を使用し特徴点の信頼度評価を行い、信頼度の高い特徴点を抽出することで、動きベクトルを算出することができる画像処理装置を提供することができる。また、本実施形態によれば、各特徴点の信頼度を判定する前に、画像間の信頼度を判定し、各特徴点の信頼度に反映することで第１実施形態よりも、精度高く動きベクトルを検出することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 画像処理装置
１０１ 画像入力部
１０２ 画像メモリ
１０３ 特徴点抽出部
１０５ テンプレートマッチング部
１０６ 動きベクトル検出部
１０７ 奥行情報入力部
１０９ 特徴点信頼度判定部
１１０ 画像全体動きベクトル検出部

Claims (9)

1. 複数の画像間の動きベクトルを検出する画像処理装置であって、
   前記画像と、前記画像に対応する奥行情報を入力する入力手段と、
   前記入力手段により入力された画像と奥行情報を記憶する記憶手段と、
   前記記憶手段に記憶された第１の画像の特徴点を抽出する抽出手段と、
   前記抽出手段により抽出した特徴点を含む第１の領域と、前記入力手段により入力される第２の画像の内、前記第１の領域に対応する第２の領域の類似度を判定する類似度判定手段と、
   前記類似度判定手段の判定結果から、前記第１の画像と前記第２の画像との間の前記特徴点の動きベクトルを検出する第１の検出手段と、
   前記記憶手段に記憶された前記第１の画像に対応する第１の奥行情報と、前記第２の画像に対応する第２の奥行情報に基づいて、前記特徴点の信頼度を判定する信頼度判定手段と、
   前記信頼度判定手段による信頼度の判定結果に基づいて、前記第１の画像と前記第２の画像との間の画像全体の動きベクトルを検出する第２の検出手段と
   を備える
   ことを特徴とする画像処理装置。
2. 前記信頼度判定手段は、前記第１の奥行情報と前記第２の奥行情報から、前記第１の画像の特徴点と前記特徴点に対応する前記第２の画像の特徴点との奥行の差を算出し、前記奥行の差が開くにつれて、前記第１の画像の特徴点の信頼度を低くする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記信頼度判定手段は、前記第１の奥行情報と前記第２の奥行情報から、前記第１の領域で奥行が変化している場合、前記奥行の差を算出して、信頼度を判定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段は、予め決められた個数の特徴点を抽出する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１の検出手段により検出された動きベクトルを調整するベクトル調整手段
   をさらに備え、
   前記ベクトル調整手段は、前記奥行情報から奥行の基準となる基準奥行を設定し、前記設定した基準奥行に基づいて前記動きベクトルを調整する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記ベクトル調整手段は、前記設定した基準奥行に合わせて前記動きベクトルの向きと大きさを調整する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記信頼度判定手段は、前記第１の奥行情報と前記第２の奥行情報に基づいて、前記第１の画像と前記第２の画像の画像間の信頼度を判定し、
   第２の検出手段は、前記特徴点の信頼度と前記画像間の信頼度に基づいて前記画像全体の動きベクトルを検出する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
8. 複数の画像間の動きベクトルを検出する画像処理方法であって、
   前記画像と、前記画像に対応する奥行情報を入力する入力工程と、
   前記入力工程において入力された画像と奥行情報を記憶する記憶工程と、
   前記記憶工程において記憶された第１の画像の特徴点を抽出する抽出工程と、
   前記抽出工程において抽出した特徴点を含む第１の領域と、前記入力工程において入力される第２の画像の内、前記第１の領域に対応する第２の領域の類似度を判定する類似度判定工程と、
   前記類似度判定工程における判定結果から、前記第１の画像と前記第２の画像との間の前記特徴点の動きベクトルを検出する第１の検出工程と、
   前記記憶工程において記憶された前記第１の画像に対応する第１の奥行情報と、前記第２の画像に対応する第２の奥行情報に基づいて、前記特徴点の信頼度を判定する信頼度判定工程と、
   前記信頼度判定工程における信頼度の判定結果に基づいて、前記第１の画像と前記第２の画像との間の画像全体の動きベクトルを検出する第２の検出工程と
   を有する
   ことを特徴とする画像処理方法。
9. 請求項１〜７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images