JP7057717B2 - 位相差検出器及び画像処理装置、並びにプログラム - Google Patents

Description

本発明は、時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を検出する位相差検出器及び画像処理装置、並びに画像処理装置内の制御用のコンピュータに位相差検出に係る評価値演算を実行させるためのプログラムに関する。

特定の状況だけ変化させた極めて似た複数の画像から、それらに共通して映る被写体の位置のずれを示す位相差を求める需要がある。

例えば、１台の撮像カメラで時間的に連続して２枚の画像を取得し、その時間方向の一組の画像から、その双方に映る被写体の位相差を検出することで、被写体の画像上の移動速度の検出や被写体の動きを追跡することができる。

また、両眼カメラ等の同性能の２台の撮像カメラを空間的に並べて同時・同方向に撮像を行い、得られた空間方向の一組の画像から、その双方に映る被写体の位相差を検出することで、当該撮像カメラと被写体との距離、或いは被写体間の空間的な位置を検出することができる。

更に、撮像素子の画素の一部を遮光した位相差検出画素を利用して、非合焦時の“ぼけ”の広がり方から、現在の合焦位置が被写体より近いか遠いかを判定する自動焦点技法も知られている（例えば、特許文献１参照）。その際、当該位相差検出画素を有する撮像素子を備える１台の撮像カメラで撮像した１枚の撮像画像から、遮光部分が異なる（一般的には左右や上下で対称となる）位相差検出画素に隣接する画素値を遮光部分ごとに抽出・集積して一組の位相差画像を構成し、当該一組の位相差画像の位相差を検出することで、合焦位置の判定を実現する。

ところで、これらの時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を検出する技法では、その位相差を検出するための評価値を求める技法として、以下の式（数１）で示すように、例えば一組の位相差画像を構成する右目画像と左目画像を１画素ずつ左右にずらしながら差分をとり、差分の絶対値の総和による評価値（相関値）が最小になるずらし幅ｋを求める技法が一般的である。ここでは評価値として相関値を示すＳＡＤ（Sum of Absolute Difference；差の絶対値）を例に説明しているが、ＳＳＤ（Sum of Squared Difference；差の二乗値）とする場合もある。

上記の式（数１）におけるＬとＲは、それぞれ左目画像と右目画像の画素値を表し、ＬとＲの右下の添え字で画素のアドレスが示されている。例えば、撮像素子における画素部の画素位置を示すｉ,ｊのアドレス値において合焦位置検出領域のＳＡＤ値を求めるときは、上記の式（数１）において、Ｌ_{ｉ＋ｋ，ｊ}及びＲ_ｉ，ｊは、画素部内に離散的に配置される対角２画素１組の位相差検出画素（位相差検出画素Ｌ，Ｒ）のｊ列目ｉ＋ｋ番目の画素値を表しており、Ｊは相関演算に用いる画素数、Ｉは相関演算を行う一対の像の列方向の数であり、Ｊ, Ｉは測距視野長（測距する視野長）等に応じて適切に設定される。最小のＳＡＤ値で求められるｋは位相差画像のずらし幅（右目画像と左目画像の位相差）を示す。

従って、上記の式（数１）に基づく評価値は、合焦位置の検出や被写体の画像上の移動量の検出等に利用できる。

尚、上記の式（数１）においては画素値を直接的に用いているが、画像上の注目領域のカラーヒストグラムを画像特徴量として利用することや、画像平面上で微分して被写体の形状を画像特徴量として抽出する技法もある。特に、時間的に連続した画像を比較する場合には、直前の時間における被写体の移動に係る画素値による画像特徴量を用いることで、次の瞬間の被写体の画像上の位置を予測することができる。

一方、半導体等の各種製造装置や製品の検査装置において、登録画像の画像パターンと照合画像の画像パターンとの相対的な位置関係をずらしながら、照合される２つのパターン間の相関値を算出し、相関値が最大になる位置を求めることで、両画像内の被写体の位置ずれを測定する技法が知られている（例えば、特許文献２参照）。特に、特許文献２の技法では、照合される２つのパターンに対し複数種類の複素フィルタを乗じて、画素値情報だけでなく位相情報を付加した特徴量を基にパターンマッチングを行うことで、高精度の位置ずれ測定を可能としている。

特開２０１８－０２２１２８号公報 特許５５５８１２７号明細書

上述したように、従来の画像の位相差を検出する技法として、上記の式（数１）に基づく評価値を利用する技法、画像上の注目領域のカラーヒストグラムや画素値を画像特徴量として利用する技法、画像平面上で微分して被写体の形状特徴を抽出し、この形状を画像特徴量として利用する技法、或いは照合される２つのパターンに対し複数種類の複素フィルタを乗じて画素値情報だけでなく位相情報を付加した特徴量とする技法がある。

しかし、上記の式（数１）に基づく評価値を利用する技法では、画素値情報のみに基づいた位相差検出技法であるため、位相差画像のずらし幅ｋの有効桁数も限られたものとなり、検出精度に改善の余地がある。

また、例えばカラーヒストグラムを用いる技法においては、例えば暗所での撮像や赤外線カメラによる撮像、夕方など特定の周波数の光の影響が支配的な環境での撮像など、色情報が少ない環境で撮像した撮像画像に対しては当該位相差の検出精度が悪化する。

また、例えば画像平面上で微分して被写体の形状特徴を抽出する技法は、被写体の移動量が小さい、或いは撮像カメラの解像度が低い等の理由により、位相差が１画素以下になってしまう場合は、位相差を正確に検出できない。逆に、被写体の移動量が大きい、或いは撮像カメラの解像度が高い等の理由により、位相差に対応する画素のずれ量が大きくなってしまう場合は、被写体を検出する範囲（走査範囲）の画素数を大きくとる必要があり、計算量が多くなってしまうという問題がある。

また、特許文献２に開示される技法は、画素値情報だけでなく位相情報を付加した特徴量することで位相差の検出精度を向上させることが可能であるが、複数種類の複素フィルタを乗じるために複雑な条件分岐や演算を必要とし処理コスト自体は増大するため、装置コストの増大等の問題が生じる。

しかし、従来の画像の位相差を検出する技法は、いずれも長所と短所がある。このため、撮像カメラの解像度の高低によらず、且つ色情報が少ない環境でも当該位相差の検出精度の差異を殆ど生じさせることなく、低処理コストで、当該位相差の検出精度を向上させる技法が望まれる。例えばテレビカメラ等、多様な環境での使用が想定される撮像カメラでは、撮像環境によらず低処理コストで、上記の式（数１）に基づく評価値による位相差画像のずらし幅ｋの有効桁数よりも高い有効桁数の評価値により、当該位相差の検出精度を向上させる技法が要望される。

本発明の目的は、上述の問題に鑑みて、低処理コストで撮影環境に依らず安定し高精度で位相差を検出する位相差検出器及び画像処理装置、並びにプログラムを提供することにある。

即ち、本発明の位相差検出器は、時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を検出する位相差検出器であって、前記一組の画像の各注目領域における画像信号の主周波数の波長を検出する主周波数検出手段と、前記一組の画像の各注目領域の画像信号をそれぞれ処理対象画像とし、前記波長を基に該処理対象画像に対して複素矩形ウェーブレット変換（ＣＲｅＷ）を施し、前記一組の画像の各注目領域の画像信号に関する複素の周波数成分の信号ベクトルを生成するＣＲｅＷ計算手段と、前記一組の画像の各注目領域の信号ベクトルを比較して位相差を算出する位相差算出手段と、当該算出した位相差を基に、前記一組の画像のうち少なくとも一方の注目領域における被写体の変位座標を算出する座標算出手段と、を備えることを特徴とする。

また、本発明の位相差検出器において、前記複素矩形ウェーブレット変換の基底は、少なくとも４象限の要素値を持つ複素矩形数列のフィルタで表されていることを特徴とする。

また、本発明の位相差検出器において、前記位相差算出手段は、当該位相差を複素平面上にマッピングされた各信号ベクトルのマンハッタン距離により算出することを特徴とする。

また、本発明の位相差検出器において、前記ＣＲｅＷ計算手段は、前記波長を基に前記処理対象画像をそれぞれ空間的に少なくとも一方向に分割・圧縮し、該一方向の画素数がＮ（Ｎ≧４）となる圧縮画像を生成し、該圧縮画像に対して複素矩形ウェーブレット変換（ＣＲｅＷ）を行うことを特徴とする。

また、本発明の位相差検出器において、前記ＣＲｅＷ計算手段は、前記波長の１／４で分割・圧縮した一方向がＮ（Ｎ≧４）画素の圧縮画像に対して４象限の要素値を持つＣＲｅＷフィルタを基底とする複素矩形ウェーブレット変換を行うことを特徴とする。

また、本発明の位相差検出器において、前記ＣＲｅＷ計算手段は、前記波長の１／４で分割・圧縮した一方向がＮ（Ｎ＞４）画素の圧縮画像に対して４象限の要素値を持つＣＲｅＷフィルタを基底とする複素矩形ウェーブレット変換を行い、画素のアドレスに応じて複数種類の信号ベクトルを生成することを特徴とする。

また、本発明の位相差検出器において、前記ＣＲｅＷ計算手段は、前記処理対象画像に対して直接的に、前記複素矩形ウェーブレット変換の各要素値を前記波長の１／４ずつ連続させてＣＲｅＷフィルタを冗長化させたＣＲｅＷ計算を行うことを特徴とする。

また、本発明の位相差検出器において、前記ＣＲｅＷ計算手段は、前記複素矩形ウェーブレット変換として、空間的に一方向を対象とした一次元のＣＲｅＷフィルタ、空間的に二方向を対象とした二次元のＣＲｅＷフィルタ、又は該二方向に加え時間方向を含む三次元以上のＣＲｅＷフィルタを基底とするウェーブレット変換を行うことを特徴とすることを特徴とする。

また、本発明の位相差検出器において、当該位相差検出器は、時間方向に連続する画像から当該位相差を逐次検出するように構成され、前記主周波数検出手段は、当該位相差を逐次検出する際の初期値として前記波長を算出する手段、及び、前記ＣＲｅＷ計算手段によって生成する当該信号ベクトルのパワーを監視し、該信号ベクトルのパワーが予め定められた範囲を外れた場合に、前記波長を改めて算出する手段を有することを特徴とする。

また、本発明の位相差検出器において、当該位相差検出器は、時間方向に連続する画像から当該位相差を逐次検出するように構成され、前記ＣＲｅＷ計算手段は、当該位相差の検出を時間方向に連続する画像に対して継続的に行う際に、逐次、信号ベクトルを今回値として再計算して前回値の信号ベクトルと比較し、今回値の信号ベクトルと前回値の信号ベクトルとの差が閾値以下であるか否かを判定し、当該閾値以下のときには今回値の信号ベクトルを次回の位相差の検出で対比する参照信号ベクトルとして更新し、閾値以下でないときは当該参照信号ベクトルの更新は行わず、前記主周波数検出手段に対して、前記波長を改めて算出させる処理を有することを特徴とする。

また、本発明による一態様の画像処理装置は、時間方向に連続する画像から当該位相差を逐次検出するように構成された本発明の位相差検出器と、該位相差を基に、被写体の画像上の移動速度の検出処理、又は被写体の動きの追跡処理、或いは被写体の動的変化の検出を行う信号処理手段と、を備えることを特徴とする。

また、本発明による一態様の画像処理装置は、空間方向に同時・同方向に撮像された一組の画像から当該位相差を逐次検出するように構成された本発明の位相差検出器と、該位相差を基に、被写体に係る物理的な距離測定処理を行う信号処理手段と、を備えることを特徴とする。

また、本発明のプログラムは、コンピュータを、本発明の位相差検出器として機能させるためのプログラムとして構成する。

本発明によれば、低処理コストで撮影環境に依らず安定し高精度で位相差を検出することができる。特に、本発明によれば、上記の式（数１）に基づく評価値による位相差画像のずらし幅ｋの有効桁数よりも高い有効桁数の評価値とすることができ、位相差検出を高精度化し、且つ実装コストを低く抑えることができる。

本発明による第１実施形態の位相差検出器、及びこれを備える画像処理装置の概略構成を示すブロック図である。 （ａ）乃至（ｅ）は、それぞれ第１実施形態の位相差検出器における主周波数検出部の処理例を示す図である。 （ａ）乃至（ｃ）は、それぞれ第１実施形態の位相差検出器における一実施例（Ｔｙｐｅ１）の複素矩形ウェーブレット変換（ＣＲｅＷ：Complex Rectangular Wavelet Transform）計算部の処理例を示す図である。 （ａ）乃至（ｃ）は、それぞれ第１実施形態の位相差検出器における一実施例（Ｔｙｐｅ２）の複素矩形ウェーブレット変換（ＣＲｅＷ）計算部の処理例を示す図である。 （ａ）乃至（ｃ）は、それぞれ比較例のフーリエ変換の処理例を示す図である。 （ａ）及び（ｂ）は、それぞれ第１実施形態の位相差検出器における一実施例（Ｔｙｐｅ１，２）の複素矩形ウェーブレット変換（ＣＲｅＷ）計算部と、比較例のフーリエ変換の処理コストを比較可能に示す図である。 （ａ）乃至（ｃ）は、それぞれ本発明による第１実施形態の位相差検出器における複素矩形ウェーブレット変換（ＣＲｅＷ）計算部のより具体的な処理例を示す図である。 本発明による第１実施形態の位相差検出器及び信号処理部を備える画像処理装置の処理を示すフローチャートである。 本発明による第１実施形態の位相差検出器を備える画像処理装置の動作例を示す図である。 本発明による第１実施形態の位相差検出器を備える画像処理装置の動作とその作用・効果を示す図である。 本発明による第２実施形態の位相差検出器、及びこれを備える画像処理装置の概略構成を示すブロック図である。 本発明による第２実施形態の位相差検出器及び信号処理部を備える画像処理装置の処理を示すフローチャートである。 本発明による第２実施形態の位相差検出器を備える画像処理装置の動作例を示す図である。

以下、図面を参照して、本発明による各実施形態の位相差検出器１１及びこれを備える画像処理装置１について説明する。

〔第１実施形態〕
図１は、本発明による第１実施形態の位相差検出器１１、及びこれを備える画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、１台の撮像カメラ１０で時間的に連続して取得された撮像画像を逐次入力し、位相差検出器１１により、その入力される時間的に連続して取得された２枚一組の撮像画像を基にして、その双方に映る被写体の位相差を検出することで、被写体の画像上の移動速度の検出や被写体の動きを追跡する装置として構成される。

（撮像カメラ）
まず、本実施形態に係る撮像カメラ１０は、時間的に連続して逐次、被写体を撮像して撮像画像を形成し出力するカメラであり、撮像レンズ１０１、撮像素子１０２、及び画像処理部１０３を備える。

本実施形態に係る撮像レンズ１０１は、被写体を撮像素子１０２に結像するため光学レンズであり、自動焦点可能に駆動されるものでもよいが、ここでは、所望の被写体に焦点が合致した状態を例に説明する。

本実施形態に係る撮像素子１０２は、複数の画素からなる撮像部を有し、その撮像部内に遮光部分が異なる（一般的には左右や上下で対称となる）位相差検出画素を有していてもよいが、ここでは、そのような位相差検出画素を有していない例を説明する。

本実施形態に係る画像処理部１０３は、撮像素子１０２から得られる被写体が撮像された撮像画像をフレーム単位で逐次形成し、信号処理部１３及び位相差検出器１１に出力する。特に、画像処理部１０３は、画像位相差検出器１１の作動開始時点で、撮像素子１０２から得られる被写体が撮像された撮像画像Ｐ１を形成して信号処理部１３及び位相差検出器１１に出力する。

画像位相差検出器１１の作動開始後、本実施形態の画像処理部１０３は、撮像画像Ｐ１の形成の後に時間的に連続して、撮像素子１０２から得られる被写体が撮像された当該撮像画像Ｐ２を形成し、信号処理部１３及び位相差検出器１１に出力する。

このようにして、本実施形態の画像処理部１０３は、撮像素子１０２から得られる被写体が撮像された撮像画像をフレーム単位で逐次形成し信号処理部１３に出力する。そして、画像位相差検出器１１の作動開始時点で、本実施形態の画像処理部１０３は、時間的に連続して取得された２枚一組の撮像画像Ｐ１，Ｐ２について逐次、信号処理部１３及び位相差検出器１１に出力する。

（画像処理装置）
画像処理装置１は、位相差検出器１１、メモリ１２、及び信号処理部１３を備える。

位相差検出器１１は、操作部１６からの指示に基づいて被写体の注目領域（縦、横、斜めを問わない）を初期設定して作動を開始し、１台の撮像カメラ１０で時間的に連続して取得された２枚一組の撮像画像Ｐ１，Ｐ２を用いて、その双方に映る被写体の位相差を検出する機能部である。被写体の注目領域の初期設定は、操作者が任意位置を指定するか、或いは撮像画像の中央領域など予め定めた範囲とすることができる。画像位相差検出器１１の作動開始時点で、初期設定された被写体の注目領域は、以後の画像位相差検出器１１の作動により動的に座標算出されて、被写体の画像上の移動速度の検出や被写体の動きを追跡するよう例えば方形状に囲むように切り出される。

メモリ１２は、信号処理部１３の処理に必要な撮像画像Ｐ１，Ｐ２を逐次更新しながら一時記憶する機能、及び当該位相差検出器１１の処理に必要な各信号値を一時記憶する機能を有する。

信号処理部１３は、位相差検出器１１により、当該時間的に連続して取得された２枚一組の撮像画像Ｐ１，Ｐ２を基にして検出されたその双方に映る被写体の位相差φに対応する変位座標ｘを用いて撮像画像Ｐ２から被写体領域を切り出し、被写体の画像上の移動速度の検出や被写体の動きを追跡する機能部である。このため、信号処理部１３は、１台の撮像カメラ１０で時間的に連続して取得された撮像画像を逐次入力し、その入力される時間的に連続して取得された２枚一組の撮像画像を逐次更新しながらメモリ１２に一時記憶する。そして、例えば、信号処理部１３は、逐次入力される撮像画像から被写体領域を例えば方形状に囲むように切り出し、ディスプレイパネル等の表示部１４に対し区画表示するか、又は当該切り出した画像領域を示す態様で記録部１５に対し画像記録することを繰り返す。

以下より具体的に、位相差検出器１１及び画像処理装置１について詳細に説明する。

（位相差検出器）
図１に示すように、本実施形態の位相差検出器１１は、主周波数検出部１１１、ＣＲｅＷ計算部１１２、位相差算出部１１３、及び座標算出部１１４を備える。

主周波数検出部１１１は、画像位相差検出器１１の作動開始時点で、撮像画像Ｐ１の主周波数の波長λを算出するよう動作する。つまり、主周波数検出部１１１は、画像位相差検出器１１の作動開始時点で画像処理部１０３から入力される撮像画像Ｐ１の注目領域について、図２を参照して例示する周波数成分検出を行い、撮像画像Ｐ１のパワー（画素値の振幅）が最大となる主周波数の波長λを算出し、その波長λをメモリ１２に一時記憶する。

また、本実施形態の主周波数検出部１１１は、後述するＣＲｅＷ計算部１１２によって２枚一組の撮像画像Ｐ１，Ｐ２の注目領域における各々について計算される周波数成分の信号ベクトルＦのパワーを監視し、該周波数成分の信号ベクトルＦのパワーが予め定められた範囲（絶対的な値又は直前の周波数検出時のパワーを元に決定される相対的な値）を外れた場合に、主周波数の波長λを改めて算出しメモリ１２に対する一時記憶を更新するよう動作する。

図２（ａ）乃至図２（ｅ）は、それぞれ第１実施形態の位相差検出器１１における主周波数検出部１１１の処理例を示す図である。

主周波数検出部１１１は、撮像画像Ｐ１を入力し、その注目領域における画像信号の代表的な主周波数の波長λを検出するため、まず、図２（ａ）に示すように、当該画像信号の長さより短い長さＭを設定し、最大振幅ａを持つ画像信号から画像幅Ｍの領域を抽出する。尚、図２では、説明の便宜上、最大振幅ａを持つ矩形状の画像信号で正規化表示しているが、実信号（画素値）は正の値の種々の振幅を有する。

続いて、図２（ｂ）及び図２（ｃ）に示すように、主周波数検出部１１１は、Ｍ／２の長さで当該信号を分割し、画像幅Ｍ／２で分割した前半部分と後半部分とをそれぞれ抽出する。

続いて、図２（ｄ）に示すように、主周波数検出部１１１は、画像幅Ｍ／２で分割した前半部分と後半部分とをその信号順で重ねて差分して、その結果となる差分信号（長さＭ／２）を算出する。これにより、パワーＰとして強調された差分信号が得られる。

続いて、図２（ｅ）に示すように、主周波数検出部１１１は、差分信号のパワーＰの絶対値の総和をＭで除した正規化パワーを算出する。

そして、主周波数検出部１１１は、当該画像信号の長さより短い範囲でＭの値を変化させながら繰り返し、当該正規化パワーが最大となるＭの値を求め、このＭの値を主周波数の波長λとする。

つまり、図２に例示する技法は、信号の全パワーからＭ／２シフトの自己相関関数の値を引いた値を用いてパワーＰとして強調し、その代表的な周波数を検出するものとなっている。従って図２（ｄ）に示す差分信号は、波長Ｍ／２の周波数成分及びその整数倍の周波数成分のパワーが抑圧された概ね矩形波のパワーを持つ信号となる。奇数倍の周波数を持つ矩形波のパワーなども混ざり込むが、エネルギーも奇数分の１となるため、主周波数を計算する上では問題とならない。

尚、主周波数検出部１１１は、図２に従う自己相関関数に立脚した技法以外にも、フーリエ変換を用いてパワースペクトルを計算するなど、主周波数を検出するその他の技法を基に、主周波数の波長λの検出を行う構成としてもよい。例えば、主周波数検出部１１１は、入力される画像信号における中心の色情報を基に、所定基準で規定した類似色の範囲を被写体と仮定して、その幅の倍の長さを主周波数の波長λとしてもよい。

ＣＲｅＷ計算部１１２は、まず、メモリ１２から波長λ、分割ブロック数Ｎ及び変位座標ｘを示す座標算出情報を読み出し、当該変位座標ｘを基に画像処理部１１２から入力される２枚一組の撮像画像Ｐ１，Ｐ２の注目領域を較正し、当該波長λを基に２枚一組の撮像画像Ｐ１，Ｐ２の注目領域の各々の画像信号を波長λ／４で一方向にＮブロック以上（Ｎ≧４の整数固定値）に分割しそれぞれの総和（或いは、平均）を算出することで、分割方向にＮ画素となる圧縮画像を生成する。

尚、画像位相差検出器１１の作動開始時点では、当該変位座標ｘの値は計算されていないため、初期値としての当該変位座標ｘは変位量ゼロを示すものとする。つまり、画像位相差検出器１１の作動開始時点では、２枚一組の撮像画像Ｐ１，Ｐ２の注目領域は初期設定時と同位置となるが、以降、時間的に連続して取得された２枚一組の撮像画像の位相差を検出する際には、時間的に後の撮像画像の注目領域は、切り出される被写体領域に対応する当該変位座標ｘに基づく較正によって、時間的に前の撮像画像の注目領域とは異なる座標となる。また、分割ブロック数Ｎは、メモリ１２に記憶される予め定められた値であり、操作部１６から外部設定可能である。

そして、ＣＲｅＷ計算部１１２は、２枚一組の撮像画像Ｐ１，Ｐ２の注目領域の各々における分割・圧縮方向にＮ画素となる圧縮画像に対して、当該方向に少なくとも４象限の要素値を持つ矩形数列で表される複素矩形数列（ＣＲｅＷフィルタ）を基底とする複素矩形ウェーブレット変換（ＣＲｅＷ：Complex Rectangular Wavelet Transform）を施し、複素（実数成分及び虚数成分）の周波数成分の信号ベクトルＦを１種類以上生成して、位相差算出部１１３に出力する。

ただし、時系列の処理順として、ＣＲｅＷ計算部１１２によって得られた撮像画像Ｐ１に対する信号ベクトルＦはメモリ１２に一時記憶し位相差検出のための参照信号ベクトルＦ’として利用され、ＣＲｅＷ計算部１１２によって得られた撮像画像Ｐ２に対する信号ベクトルＦが位相差算出部１１３に出力される。

ここで、一実施例の複素矩形ウェーブレット変換（ＣＲｅＷ）について、Ｔｙｐｅ１，Ｔｙｐｅ２の２例を説明する。

図３（ａ）乃至図３（ｃ）は、それぞれ第１実施形態の位相差検出器１１における一実施例（Ｔｙｐｅ１）のＣＲｅＷ計算部１１２の処理例を示す図である。また、図４（ａ）乃至図４（ｃ）は、それぞれ第１実施形態の位相差検出器１１における一実施例（Ｔｙｐｅ３）のＣＲｅＷ計算部１１２の処理例を示す図である。

ＣＲｅＷ計算部１１２は、本質的に、複素成分を有するウェーブレット変換であるが、４象限の要素値を持つ矩形数列で表されるフィルタを構成し、これにより位相情報を付加してパワー及び正規化位相の計算コストを低減させる信号ベクトルに変換する点で、厳密には、一般的なウェーブレット変換とは相違している。

例えば、図３（ａ）及び図４（ａ）には、ＣＲｅＷフィルタの適用対象として、最大振幅ａを持つ画像信号に含まれる周期Ｎ（Ｎ≧４の整数固定値）の信号成分を例に説明する。尚、図３（ａ）及び図４（ａ）では、説明の便宜上、最大振幅ａを持つ矩形状の画像信号で正規化表示しているが、実信号（画素値）は正の値の種々の振幅を有する。

図３（ａ）及び図４（ａ）において、ＣＲｅＷ計算部１１２による周波数成分の信号ベクトル計算の対象となる信号の長さ（画像の場合は一方向の画素数）をＮ、信号に含まれる周期Ｎの周波数成分の正規化位相（周波数成分の位相θを１周分の位相で除した値であり、θ′＝１のとき信号周期のちょうど１周分で信号が変位する。）をθ′、パワー（最大振幅）をａとしている。このため、（Ｎ／２）の領域の信号成分は正の振幅ａ、他の（Ｎ／２）の領域｛（θ’Ｎ）及び（Ｎ／２－θ’Ｎ）の領域｝では負の振幅ａの信号成分で表すことができる。

そして、図３（ａ）に示す信号成分に適用するＴｙｐｅ１のＣＲｅＷフィルタの形状例を図３（ｂ）に、図４（ａ）に示す信号成分に適用するＴｙｐｅ２のＣＲｅＷフィルタの形状例を図４（ｂ）に示している。Ｔｙｐｅ１，Ｔｙｐｅ２のいずれも信号の周期Ｎを４分割する４象限の要素値を持つ矩形数列で表され、実数成分と虚数成分が互い違いとなる（直行している）矩形波となるＣＲｅＷフィルタとなっている。つまり、Ｔｙｐｅ１では実数成分“１”と虚数成分“ｉ”として表すと４象限の要素値を持つ矩形数列［１，ｉ，－１，－ｉ］で数列表現されたＣＲｅＷフィルタとなっている。また、Ｔｙｐｅ２では４象限の要素値を持つ矩形数列［１－ｉ，１＋ｉ，－１＋ｉ，－１－ｉ］で数列表現されたＣＲｅＷフィルタとなっている。尚、図３（ｂ）及び図４（ｂ）において、ＣＲｅＷフィルタの振幅をｂとする。

そして、図３（ａ）に示す信号成分に図３（ｂ）に示すＴｙｐｅ１のＣＲｅＷフィルタを適用して信号解析することで、図３（ｃ）にて複素平面上に図示するように、周波数成分がその位相によってとり得る値（複素数）として、正方形の辺上の信号ベクトルを示すものとなる。図３（ｃ）に示すＴｙｐｅ１の場合、原点を中心として、一辺がａｂＮ、各辺がそれぞれ実数軸又は虚数軸と平行な正方形となる。

また、図４（ａ）に示す信号成分に図４（ｂ）に示すＴｙｐｅ２のＣＲｅＷフィルタを適用して信号解析することで、図４（ｃ）にて複素平面上に図示するように、周波数成分がその位相によってとり得る値（複素数）として、正方形の辺上の信号ベクトルを示すものとなる。図４（ｃ）に示すＴｙｐｅ２の場合、原点を中心として、実数軸及び虚数軸上のａｂＮ、－ａｂＮをそれぞれ囲んだ正方形となる。

そして、対比する信号ベクトルの位相差φは、各信号ベクトルの正規化位相θ′の差で得られ、複素平面上にマッピングされた各信号ベクトルの正規化位相θ′の差を、マンハッタン距離により算出することができる。

通常、ウェーブレット変換のフィルタにおける振幅ｂは、一般的なウェーブレット変換の規則に基づくと、そのウェーブレット変換のフィルタの形状及び画像の解像度に応じて決定される。しかしながら、本発明に係るＣＲｅＷフィルタでは、ｂの値の影響を受けないように位相成分を扱うため、実装上、ｂ＝１として差し支えない。換言すると、ｂ＝１とすることで、信号ベクトルが当該複素平面上の正方形の辺上を位相の値によって変位するようになり、より一層、処理コストが軽減されるという利点がある。

尚、比較例として、図５（ａ）乃至図５（ｃ）には、それぞれフーリエ変換の処理例を示している。図５（ａ）には、上記の図３（ａ）及び図４（ａ）と同様の信号成分を例示している。そして、図５（ａ）に示す信号成分に適用するフーリエ変換のフィルタの形状例を図５（ｂ）に示している。図５（ｂ）に示すフーリエ変換の数列は、変数αに対する振幅ｂの複素数ｅ^{－２πｉα／Ｎ}を用いた例であり、４象限の要素値を持つ三角関数数列［ｅ^{－２πｉ／Ｎ）}，ｅ^{－４πｉ／Ｎ}，ｅ^{－６πｉ／Ｎ}，ｅ^{－８πｉ／Ｎ}］で数列表現されたものとなる。

そして、図５（ａ）に示す信号成分に図５（ｂ）に示すフーリエ変換のフィルタを適用して信号解析することで、図５（ｃ）にて複素平面上に図示するように、周波数成分がその位相によってとり得る値（複素数）として、円周上の信号ベクトルを示すものとなる。図５（ｃ）に示す例の場合、原点を中心として、実数軸及び虚数軸上で半径２ａｂＮ／πで囲んだ円形となる。この場合も、実装上、ｂ＝１として扱うことで、信号ベクトルが当該複素平面上の円形で示す線分を位相の値によって走査するようになるが、図６を参照して以下に説明するように、処理コストの観点からは、本発明に係るＣＲｅＷフィルタと比較して不利なものとなる。

図６（ａ）及び図６（ｂ）は、それぞれ第１実施形態の位相差検出器１１における一実施例（Ｔｙｐｅ１，２）のＣＲｅＷ計算部１１２と、図５に示した比較例のフーリエ変換の処理コストを比較可能に示す図である。

特に、図６（ａ）及び図６（ｂ）は、パワーＰと正規化位相θ’の処理コストをまとめて図示している。正規化位相はそれぞれ、周波数成分の実数成分、虚数成分の正負又は大小によって、各係数の値が変化する。

図６（ａ）に示すように、本発明に係るＣＲｅＷ計算部１１２は、Ｔｙｐｅ１，２のいずれのＣＲｅＷフィルタを用いた場合でも、複素数からそれに応じたパワー及び正規化位相の算出のために、数回の条件分岐（周波数成分の複素平面上の象限の検出）、条件分岐に応じてそれぞれ数回以内の絶対値計算と２のべき乗、そして１回の除算で実現できる。

特に、演算処理において、絶対値計算はビットレジスタの値の反転と加算で実現される。２のべき乗は、レジスタの値のシフトによって実現される。総じて、本発明に係るＣＲｅＷ計算部１１２は、Ｔｙｐｅ１，２のいずれのＣＲｅＷフィルタを用いることで、解像度の高い画像や周波数の高い映像に適用しても、処理コストが軽くなり、高速処理を可能とし、実装コストの上昇を抑制することができる。

一方、図６（ｂ）に示すように、比較例のフーリエ変換では、数回の条件分岐（周波数成分の複素平面上の象限の検出）、条件分岐に応じてそれぞれ数回以内の絶対値計算と２のべき乗、そして１回の除算で実現できず、複雑な演算を必要とする。これは、一般的なウェーブレット変換を用いた場合も同様である。このため、本発明に係るＣＲｅＷ計算部１１２は、Ｔｙｐｅ１，２で例示するようなＣＲｅＷフィルタを用いることで、処理コストを軽減させることができる。

尚、図６（ａ）等に示すＴｙｐｅ１，２で例示するＣＲｅＷフィルタの数列表現において、実数成分“１”と虚数成分“ｉ”として表すと４象限の要素値を持つ矩形数列［１，ｉ，－１，－ｉ］又は矩形数列［１－ｉ，１＋ｉ，－１＋ｉ，－１－ｉ］の要素順や配列は任意に入れ替えることができる。例えば、Ｔｙｐｅ１の矩形数列を［－１，ｉ，１，－ｉ］とすることや、Ｔｙｐｅ１の矩形数列を［１＋ｉ，１－ｉ，－１＋ｉ，－１－ｉ］とするなどにしても同様の処理結果及び効果が得られる。

図７（ａ）乃至図７（ｃ）は、それぞれ本発明による第１実施形態の位相差検出器１１におけるＣＲｅＷ計算部１１２のより具体的な処理例を示す図である。

図７（ａ）に示すように、ＣＲｅＷ計算部１１２は、まず、メモリ１２から波長λ、分割ブロック数Ｎ及び変位座標ｘを示す座標算出情報を読み出し、当該変位座標ｘを基に画像処理部１１２から入力される２枚一組の撮像画像Ｐ１，Ｐ２の注目領域を定め、この注目領域を処理対象の画像とする。尚、画像位相差検出器１１の作動開始時点では、当該変位座標ｘの値は計算されていないため、初期値としての当該変位座標ｘは変位量ゼロを示すものとする。

尚、ＣＲｅＷ計算部１１２の処理対象とする画像は、処理コストのより一層の低減のため本例では操作部１６からの指示に基づいて初期設定した被写体の注目領域を基にしているが、画像全体でもよい。

そして、ＣＲｅＷ計算部１１２は、当該波長λ及び分割ブロック数Ｎを基に、２枚一組の撮像画像Ｐ１，Ｐ２の注目領域の各々を波長λ／４で一方向（図示する例では横方向）にＮ個以上（図示する例ではＮ＝６）のブロックに分割し各ブロックでそれぞれの総和（或いは、平均）を算出する。画像として見ると、一方向が非常に粗い６画素となる圧縮画像が生成される。このとき、各ブロックの幅は、使用するＣＲｅＷフィルタの波長λの４分の１となる。ブロック４つで、ＣＲｅＷフィルタの長さと同等の信号長となる。

続いて、図７（ｂ）に示すように、ＣＲｅＷ計算部１１２は、６ブロックの圧縮画像のうち連続する４ブロックの圧縮画像に対し、当該一方向（分割方向）に空間移動（走査）させて、ＣＲｅＷフィルタを適用する。つまり、例えば図３（ｂ）に示されたＴｙｐｅ１であれば［１，ｉ，－１，－ｉ］の４要素で構成されるＣＲｅＷフィルタを４ブロックの圧縮画像に適用する。また、図４（ｂ）に示されたＴｙｐｅ２であれば［１－ｉ，１＋ｉ，－１＋ｉ，－１－ｉ］の４要素で構成されるＣＲｅＷフィルタを４ブロックの圧縮画像に適用する。Ｔｙｐｅ１，２のＣＲｅＷフィルタのいずれの場合でも、ブロック数が３つ減少した値が得られる。

続いて、図７（ｃ）に示すように、ＣＲｅＷ計算部１１２は、縦方向の画素数×３種類の信号ベクトル（複素信号）に変換する。これにより実数成分３組と虚数成分３組よりなる画素のアドレスに応じた３種類の信号ベクトルが得られ、理想的には９０°ずつ、位相回転した信号ベクトルとなる。つまり、Ｎ＝４とすれば１つの信号ベクトルが得られ、Ｎ＝５とすれば２つの信号ベクトルが得られ、Ｎ＝６とすれば３つの信号ベクトルが得られる。このため、Ｎの値を大きくするほど（信号ベクトル数が多いほど）、１つの処理画像に対する特徴量表現として広範囲化することになるが、必要以上に多くしても実施目的にとって不要な信号ベクトルが得られ処理コストとして無駄が生じることになる。実験した結果では、Ｎ＝６とするのが好適であることが分かっているが、Ｎ＝４～８程度に設定することが好ましい。これにより、位相差検出の高精度化を維持しながら、信号列一つに対して数回（ブロック数分)の総和（或いは平均）の演算で済むようになるという利点がある。

ＣＲｅＷ計算部１１２によって得られた１種類以上の信号ベクトルＦは、図３（ｂ）に示されたＴｙｐｅ１であれば図３（ｃ）に示すように、図４（ｂ）に示されたＴｙｐｅ２であれば図４（ｃ）に示すように、複素平面上の正方形の辺上に、波長Ｎの周波数成分がマッピングされた状態と同等になり、図６（ａ）に示すように、パワーと正規化位相を示すものとなる。

このようにして、ＣＲｅＷ計算部１１２によって得られた撮像画像Ｐ１に対する信号ベクトルＦはメモリ１２に一時記憶し位相差検出のための参照信号ベクトルＦ’として利用され、ＣＲｅＷ計算部１１２によって得られた撮像画像Ｐ２に対する信号ベクトルＦは位相差算出部１１３に出力される。

位相差算出部１１３は、撮像画像Ｐ１の１種類以上の参照信号ベクトルＦ’をメモリ１２から読み出し、今回計算した撮像画像Ｐ２に対する１種類以上の信号ベクトルＦと当該１種類以上の参照信号ベクトルＦ’とを種類毎に個別に比較して、被写体領域のサイズ変化を示すように位相差φを算出し、座標算出部１１４に出力する。尚、図３及び図４を参照して上述したように、位相差算出部１１３は、ＣＲｅＷ計算によって得られる各信号ベクトルの位相差φを算出するにあたり、複素平面上にマッピングされた各信号ベクトルのマンハッタン距離により算出する。これにより、位相差φの算出に係る処理コストの低減に寄与するものとなる。

座標算出部１１４は、まず、メモリ１２から波長λ及び変位座標ｘを示す座標算出情報を読み出し、当該変位座標ｘ（初期値はゼロ）を基に画像処理部１１２から入力される２枚一組の撮像画像Ｐ１，Ｐ２の注目領域を較正する。続いて、座標算出部１１４は、位相差φの情報を撮像画像Ｐ２上の被写体の位置座標に合わせるために、位相差算出部１１３から得られる位相差φと当該波長λとを乗じて撮像画像Ｐ２上の被写体の変位座標（即ち注目領域の変位座標）ｘを算出し、変位座標ｘの情報を信号処理部１３に出力するとともに、メモリ１２に更新保持する。

信号処理部１３は、位相差検出器１１により時間的に連続して取得された２枚一組の撮像画像Ｐ１，Ｐ２を基にして検出されたその双方に映る被写体の位相差φに対応する変位座標ｘを用いて撮像画像Ｐ２から被写体領域を切り出し（区画表示）する。以後、信号処理部１３は、１台の撮像カメラ１０で時間的に連続して取得された撮像画像を逐次入力し、逐次入力される撮像画像から被写体領域を例えば方形状に囲むように切り出し、ディスプレイパネル等の表示部１４に対し区画表示するか、又は当該切り出した画像領域を示す態様で記録部１５に対し画像記録することを繰り返す。

（１台の撮像カメラによる被写体の追尾に係る処理例）
以下、より具体的に、図１に示す１台の撮像カメラ１０による被写体の追尾に係る画像処理装置１の処理例を説明する。

図８は、本発明による第１実施形態の位相差検出器１１及び信号処理部１３を備える画像処理装置１の処理を示すフローチャートである。

まず、操作部１６から被写体の追尾開始（位相差検出の作動開始）の指示の基に、位相差検出器１１は、主周波数検出部１１１により波長λを決定しメモリ１２に保持する（ステップＳ１）。

続いて、位相差検出器１１は、撮像カメラで取得した今回処理対象の画像Ｐｎについて、ＣＲｅＷ計算部１１２により、一方向に長さλ／４で分割し、それぞれ総和演算（或いは平均演算）を行う（ステップＳ２）。

続いて、位相差検出器１１は、ＣＲｅＷ計算部１１２により、画像Ｐｎの周波数成分の信号ベクトルＦを計算しメモリ１２に保持する（ステップＳ３）。

続いて、位相差検出器１１は、位相差算出部１１３により計算済みの参照信号ベクトルＦ’をメモリ１２から読み出し（参照信号ベクトルＦ’がメモリ１２に保持されていなければゼロとする）、今回計算した画像Ｐｎの信号ベクトルＦと参照信号ベクトルＦ’間の位相差φを計算する（ステップＳ４）。

ここで、位相差算出部１１３は、２種以上の信号ベクトルＦと当該２種以上の参照信号ベクトルＦ’と求めるように構成しているときは、被写体領域のサイズ変化を示すように位相差φを算出することができる。

続いて、位相差検出器１１は、座標算出部１１４によりφ＊λによる画像Ｐｎ上の被写体の変位座標ｘを算出しメモリ１２に更新保持するとともに、信号処理部１３に出力する（ステップＳ５）。ここで、変位座標ｘは、上記の被写体領域のサイズ変化を示す情報を含めることができる。

続いて、信号処理部１３は、変位座標ｘを基に画像Ｐｎから被写体領域を切り出し、区画表示する（ステップＳ６）。ここで、変位座標ｘが、上記の被写体領域のサイズ変化を示す情報を含んでいるときは、被写体領域の切り出しに関して、当該注目領域のサイズを更新させることができる。例えば、時間的に連続する撮像画像がズーム等により画角が変化するような場合でも、これに追従して被写体領域の切り出し（区画表示）が可能となる。

以後、位相差検出器１１は、操作部１６からの終了の指示の有無を監視しており（ステップＳ７）、操作部１６から終了の指示があるときは（ステップＳ７：Ｙ）、被写体の追尾（位相差検出の作動）を停止して、その旨を信号処理部１３に通知し、信号処理部１３による切り出し（区画表示）処理を停止させる。

一方、位相差検出器１１は、操作部１６から終了の指示が無いときは（ステップＳ７：Ｎ）、被写体の追尾（位相差検出の作動）を継続し、設計上必要であればその旨を信号処理部１３に通知する。

被写体の追尾（位相差検出の作動）を継続する際、位相差検出器１１は、ステップＳ２に移行してもよいが、ここではより好適な例として、ステップＳ８に移行する。

具体的には、被写体の追尾（位相差検出の作動）を継続する際、位相差検出器１１は、信号処理部１３による切り出しに係る変位座標ｘの情報を基に、改めて当該画像Ｐｎにおける当該切り出した被写体領域について、ＣＲｅＷ計算部１１２により、一方向に長さλ／４で分割し、それぞれ総和演算（或いは平均演算）を行う（ステップＳ８）。

続いて、位相差検出器１１は、当該画像Ｐｎにおける当該切り出した被写体領域について、ＣＲｅＷ計算部１１２により改めて信号ベクトルＦ（ここでは、区別のために信号ベクトルＦｃと称する）を再計算する（ステップＳ９）。

続いて、位相差検出器１１は、ＣＲｅＷ計算部１１２により、信号ベクトルＦｃと計算済みの信号ベクトルＦとを比較し（ステップＳ１０）、信号ベクトルＦｃと信号ベクトルＦとの差が閾値以下であるか否かを判定する（ステップＳ１１）。信号ベクトルＦｃと信号ベクトルＦとの差が閾値以下でなければ（ステップＳ１１：Ｎ）、ステップＳ１に移行し、信号ベクトルＦｃと信号ベクトルＦとの差が閾値以下であれば（ステップＳ１１：Ｙ）、ステップＳ１２に移行する。

ステップＳ１２に移行すると、位相差検出器１１は、ＣＲｅＷ計算部１１２により、撮像カメラ１０で取得した新たに入力される画像Ｐｎの解析のために、信号ベクトルＦｃを参照信号ベクトルＦ’としてメモリ１２に更新保持して、ステップＳ２に移行する。

即ち、ＣＲｅＷ計算部１１２は、当該位相差の検出を時間方向に連続する画像に対して継続的に行う際に、逐次、今回切り出された被写体領域で今回計算対象の画像の信号ベクトルＦｃを今回値として再計算し、前回切り出された被写体領域で計算した該今回計算対象の画像に対する前回値の信号ベクトルＦと比較し、今回値の信号ベクトルＦｃと前回値の信号ベクトルＦとの差が閾値以下であるか否かを判定する。そして、ＣＲｅＷ計算部１１２は、当該閾値以下のときには今回値の信号ベクトルＦｃを次回の位相差の検出で対比する参照信号ベクトルＦ’として更新し、当該閾値以下でないときは参照信号ベクトルＦ’の更新は行わず、主周波数検出部１１１に対して、波長λを改めて算出させる処理を有するように構成することができる。

このように、ＣＲｅＷ計算部１１２に対して、ステップＳ９乃至Ｓ１２の処理を設けることで、位相差検出対象とする時間方向の一組の画像間で、被写体が急減に変化するような場合でも頑健に参照信号ベクトルＦ’及び被写体領域の更新が可能となる。

尚、本実施形態の説明では、被写体の注目領域を１つ初期設定して、当該被写体の被写体領域を１つ切り出すようにして追跡する例を説明したが、複数の被写体の注目領域を初期設定して、複数の被写体領域を個別に切り出すように構成することもできる。この場合、時間的に連続する撮像画像間で、切り出される被写体領域によって更新される各被写体の注目領域には識別子を付与し、当該識別子に基づいて位相差の検出対象を識別するようにすればよい。

このようにして、画像処理装置１は、図１に示す１台の撮像カメラ１０による被写体の追尾処理を行う構成とすることができる。特に、一画像信号に対し複数種の信号ベクトルを用いる構成であれば、変位座標ｘに、上記の被写体領域のサイズ変化を示す情報を含めることができる。このため、被写体領域の切り出しに関して、当該注目領域のサイズを更新させることができる。例えば、図９に示すように、時刻ｔ１の撮像画像Ｐｎ（ｔ１）では破線で示す被写体Ｏｂｊについて切り出し区画表示した被写体領域がＳＱ（ｔ１）であったときに、時間的に後続する時刻ｔ２の撮像画像Ｐｎ（ｔ２）では実線で示す被写体Ｏｂｊについて切り出し区画表示した被写体領域がＳＱ（ｔ２）のように切り出す被写体領域のサイズを変化させながら追跡することも可能となる。

尚、図８に示す処理を応用して、被写体の移動量とフレーム数から被写体の画像上の移動速度の検出も可能となる。

以上のように、本実施形態の位相差検出器１１によれば、低処理コストで撮影環境に依らず安定し高精度で位相差を検出することができる。

図１０は、本発明による第１実施形態の位相差検出器１１を備える画像処理装置１の動作とその作用・効果を示す図である。図１０に示すように、背景を持つ被写体が撮像された元画像に対し、ＣＲｅＷ計算部１１２による処理過程で一方向に総和（或いは平均化）した圧縮画像は、元画像の「変位なし」、「右変位（位相が進む）」、及び「左変位（位相が戻る）」に応じて輝度分布の高低が大まかに変化する（撮影環境に依らず安定）。この圧縮画像に対し、ＣＲｅＷ計算部１１２により、例えばＴｙｐｅ２のＣＲｅＷフィルタを適用すると、例えばＣＲｅＷフィルタの振幅ｂ＝１の場合でも、図示するように、複素平面上の信号ベクトルは元画像の「変位なし」、「右変位（位相が進む）」、及び「左変位（位相が戻る）」に応じて顕著に位相変化する。そして、元画像の「変位なし」、「右変位（位相が進む）」、及び「左変位（位相が戻る）」に応じた位相差を、低処理コストで、且つ高精度で検出できる。

そして、本発明によれば、パワーと正規化位相を示す信号ベクトルを評価値として用いるため、従来技法のような式（数１）に基づく評価値による位相差画像のずらし幅ｋの有効桁数よりも高い有効桁数の評価値とすることができる。これにより、本実施形態の位相差検出器１１によれば、位相差検出を高精度化し、且つ実装コストを低く抑えることができる。更に、本実施形態の位相差検出器１１は、被写体の画像上の移動速度の検出や被写体の動きの追跡を行う用途に限らず、被写体の動的変化の検出（物体の動的歪み検査など）、時間方向の一組の画像から被写体の位置のずれを示す位相差の検出を利用できる任意の用途に適用できる。

〔第２実施形態〕
図１１は、本発明による第２実施形態の位相差検出器１１、及びこれを備える画像処理装置１の概略構成を示すブロック図である。尚、第１実施形態と同様な構成要素には同一の参照番号を付している。本実施形態の画像処理装置１は、２台の撮像カメラ１０Ｒ，１０Ｌを空間的に並べて同時・同方向に撮像を行う両眼カメラ１０ＲＬで空間的に同時・同方向取得された２枚一組の撮像画像を入力し、位相差検出器１１により、その入力される空間方向の２枚一組の撮像画像を基にして、その双方に映る被写体の位相差を検出することで、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を検出する装置として構成される。

（両眼カメラ）
まず、本実施形態に係る両眼カメラ１０ＲＬを構成する各撮像カメラ１０Ｒ，１０Ｌは、それぞれ同性能の撮像レンズ１０１、撮像素子１０２、及び画像処理部１０３を備える。

本実施形態に係る撮像レンズ１０１は、被写体を撮像素子１０２に結像するため光学レンズであり、自動焦点可能に駆動されるものでもよいが、ここでは、所望の被写体に焦点が合致した状態を例に説明する。

本実施形態に係る撮像素子１０２は、複数の画素からなる撮像部を有し、その撮像部内に遮光部分が異なる（一般的には左右や上下で対称となる）位相差検出画素を有していてもよいが、ここでは、そのような位相差検出画素を有していない例を説明する。

本実施形態に係る画像処理部１０３は、撮像素子１０２から得られる被写体が撮像された撮像画像をフレーム単位で逐次形成し、信号処理部１３及び位相差検出器１１に出力する。特に、各撮像カメラ１０Ｒ，１０Ｌにおける画像処理部１０３は、画像位相差検出器１１の作動開始時点で、それぞれの撮像素子１０２から得られる被写体が撮像された撮像画像Ｐｒ，Ｐｌを形成して信号処理部１３及び位相差検出器１１に出力する。

（画像処理装置）
画像処理装置１は、第１実施形態と同様に、位相差検出器１１、メモリ１２、及び信号処理部１３を備え、位相差検出器１１は時間方向でなく空間方向の２枚一組の撮像画像を扱う点を除き、第１実施形態とほぼ同様に動作する。

位相差検出器１１は、操作部１６からの指示に基づいて被写体の注目領域（縦、横、斜めを問わない）を１以上初期設定して作動を開始し、両眼カメラ１０ＲＬで空間的に同時・同方向取得された２枚一組の撮像画像を入力し、その双方に映る被写体の位相差を検出する機能部である。被写体の注目領域の初期設定は、操作者が任意位置を指定するか、或いは撮像画像の中央領域など予め定めた範囲とすることができる。画像位相差検出器１１の作動開始時点で、初期設定された被写体の注目領域は、以後の画像位相差検出器１１の作動により動的に座標算出されて、被写体を例えば方形状に囲むように切り出される。

メモリ１２は、信号処理部１３の処理に必要な撮像画像Ｐｒ，Ｐｌを逐次更新しながら一時記憶する機能、及び当該位相差検出器１１の処理に必要な各信号値を一時記憶する機能を有する。本例のメモリ１２には、両眼カメラ１０ＲＬを構成する各撮像カメラ１０Ｒ，１０Ｌの配置情報が操作部１６を介して予め設定されて格納されている。

信号処理部１３は、位相差検出器１１により、空間的に同時・同方向取得された２枚一組の撮像画像Ｐｒ，Ｐｌを基にして検出されたその双方に映る被写体の位相差φに対応する変位座標ｘを用いて各撮像画像Ｐｒ，Ｐｌから被写体領域を切り出し、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を演算により検出する機能部である。このため、信号処理部１３は、両眼カメラ１０ＲＬで空間的に同時・同方向取得された２枚一組の撮像画像Ｐｒ，Ｐｌを逐次入力し、その撮像画像Ｐｒ，Ｐｌを逐次更新しながらメモリ１２に一時記憶する。そして、例えば、信号処理部１３は、逐次入力される撮像画像から被写体領域を例えば方形状に囲むように切り出し、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を検出することを繰り返す。両眼カメラ１０ＲＬから各被写体までの距離は、両眼カメラ１０ＲＬの撮像カメラ１０Ｒ，１０Ｌ間距離及び画角を含む各撮像カメラ１０Ｒ，１０Ｌの配置情報と、位相差検出器１１により算出される位相差φ（対比する信号ベクトルの正規化位相θ′の差）を基に、演算により求めることができる。

以下より具体的に、位相差検出器１１及び画像処理装置１について詳細に説明する。

（位相差検出器）
図１１に示すように、本実施形態の位相差検出器１１は、第１実施形態と同様に、主周波数検出部１１１、ＣＲｅＷ計算部１１２、位相差算出部１１３、及び座標算出部１１４を備える。

主周波数検出部１１１は、画像位相差検出器１１の作動開始時点で、撮像画像Ｐｒ，Ｐｌのいずれか一方又は双方の主周波数の波長λを算出するよう動作する。つまり、主周波数検出部１１１は、画像位相差検出器１１の作動開始時点で画像処理部１０３から入力される撮像画像Ｐｒ，Ｐｌの注目領域について、上述した図２を参照して例示する周波数成分検出を行い、撮像画像Ｐｒ，Ｐｌのパワー（画素値の振幅）が最大となる主周波数の波長λを算出し、その波長λをメモリ１２に一時記憶する。撮像画像Ｐｒ，Ｐｌのいずれか一方の算出でよいが、双方の主周波数の波長λを算出するときは、その平均値を用いる。

ＣＲｅＷ計算部１１２は、まず、メモリ１２から波長λ、分割ブロック数Ｎ及び両眼カメラ１０ＲＬを構成する各撮像カメラ１０Ｒ，１０Ｌの配置情報を示す座標算出情報を読み出し、当該各撮像カメラ１０Ｒ，１０Ｌの配置情報を基に画像処理部１１２から入力される２枚一組の撮像画像Ｐｒ，Ｐｌの注目領域を較正し、当該波長λを基に２枚一組の撮像画像Ｐｒ，Ｐｌの注目領域の各々を波長λ／４で一方向にＮブロック以上（Ｎ≧４の整数固定値）に分割しそれぞれの総和（或いは、平均）を算出することで、分割方向にＮ画素となる圧縮画像を生成する。

尚、例えば撮像カメラ１０Ｒから撮像画像Ｐｒに対して、操作部１６からの指示に基づいて被写体の注目領域を１以上初期設定することで、撮像カメラ１０Ｌから撮像画像Ｐｌに対して、各撮像カメラ１０Ｒ，１０Ｌの配置情報に従い、対応する被写体の注目領域の設定を較正することができる。尚、各撮像カメラ１０Ｒ，１０Ｌの注目領域は、被写体に対して厳格に一致させる必要はない。

そして、ＣＲｅＷ計算部１１２は、２枚一組の撮像画像Ｐｒ，Ｐｌの注目領域の各々における分割・圧縮方向にＮ画素となる圧縮画像に対して、当該方向に少なくとも４象限の要素値を持つ矩形数列で表される複素矩形数列（ＣＲｅＷフィルタ）を基底とする複素矩形ウェーブレット変換（ＣＲｅＷ）を施し、右眼画像用と左眼画像用として、複素（実数成分及び虚数成分）の周波数成分の信号ベクトルＦｒ，Ｆｌをそれぞれ１種類以上生成して、位相差算出部１１３に出力する。

本実施形態におけるＣＲｅＷ計算部１１２の処理自体は、上述した第１実施形態と同様であり、Ｔｙｐｅ１，２のいずれかのＣＲｅＷフィルタとすることができる。

尚、ＣＲｅＷ計算部１１２の処理対象とする画像は、処理コストのより一層の低減のため本例では操作部１６からの指示に基づいて初期設定した被写体の注目領域を基にしているが、画像全体でもよい。

位相差算出部１１３は、今回計算した各撮像画像Ｐｒ，Ｐｌに対する１種類以上の信号ベクトルＦｒ，Ｆｌを個別に比較して、１以上の被写体の注目領域毎に位相差φを算出し、座標算出部１１４に出力する。尚、図３及び図４を参照して上述したように、位相差算出部１１３は、ＣＲｅＷフィルタによって得られる各信号ベクトルの位相差φを算出するにあたり、複素平面上にマッピングされた各信号ベクトルのマンハッタン距離により算出する。これにより、位相差φの算出に係る処理コストの低減に寄与するものとなる。

座標算出部１１４は、まず、メモリ１２から波長λ及び両眼カメラ１０ＲＬを構成する各撮像カメラ１０Ｒ，１０Ｌの配置情報を示す座標算出情報を読み出し、設計上必要であれば当該各撮像カメラ１０Ｒ，１０Ｌの配置情報を基に画像処理部１１２から入力される２枚一組の撮像画像Ｐｒ，Ｐｌの注目領域を較正する。続いて、座標算出部１１４は、位相差φの情報を撮像画像Ｐｒ，Ｐｌの各注目領域の座標上のずれ量に復元するために、位相差算出部１１３から得られる１以上の被写体の注目領域毎に位相差φと当該波長λとを乗じて撮像画像Ｐｒ，Ｐｌ上の被写体の変位座標（即ち注目領域の変位座標）ｘを算出し、変位座標ｘの情報を信号処理部１３に出力するとともに、メモリ１２に更新保持する。

信号処理部１３は、位相差検出器１１により空間的に同時・同方向取得された２枚一組の撮像画像Ｐｒ，Ｐｌを基にして検出されたその双方に映る１以上の被写体の注目領域毎に位相差φに対応する変位座標ｘを用いて各撮像画像Ｐｒ，Ｐｌから被写体領域を切り出し（区画表示）、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を演算により検出する。尚、信号処理部１３は、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を演算により検出する際に、メモリ１２から各撮像カメラ１０Ｒ，１０Ｌの配置情報を読み出して演算する（図１１では図示略）。

以後、信号処理部１３は、両眼カメラ１０ＲＬを構成する各撮像カメラ１０Ｒ，１０Ｌで空間的に同時・同方向取得された各撮像画像を逐次入力し、逐次入力される撮像画像から被写体領域を例えば方形状に囲むように切り出し、上記の距離や空間的な位置を示す情報を付与して、ディスプレイパネル等の表示部１４に対し区画表示するか、又は当該切り出した画像領域を示す態様で記録部１５に対し画像記録することを繰り返す。

（両眼カメラによる距離測定に係る処理例）
以下、より具体的に、図１１に示す両眼カメラ１０ＲＬによる当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離測定に係る画像処理装置１の処理例を説明する。

図１２は、本発明による第２実施形態の位相差検出器１１及び信号処理部１３を備える画像処理装置１の処理を示すフローチャートである。

まず、操作部１６から被写体との距離測定開始（位相差検出の作動開始）の指示の基に、位相差検出器１１は、主周波数検出部１１１により波長λを決定しメモリ１２に保持する（ステップＳ２１）。

続いて、位相差検出器１１は、両眼カメラ１０ＲＬで取得した今回処理対象の撮像画像Ｐｒ，Ｐｌの各注目領域について、ＣＲｅＷ計算部１１２により、一方向に長さλ／４で分割し、それぞれ総和演算（或いは平均演算）を行う（ステップＳ２２）。

続いて、位相差検出器１１は、ＣＲｅＷ計算部１１２により、撮像画像Ｐｒ，Ｐｌの各注目領域の周波数成分の信号ベクトルＦｒ，Ｆｌを計算しメモリ１２に保持する（ステップＳ２３）。

続いて、位相差検出器１１は、位相差算出部１１３により、撮像画像Ｐｒ，Ｐｌの各注目領域毎の周波数成分の信号ベクトルＦｒ，Ｆｌ間の位相差φを計算する（ステップＳ２４）。

ここで、位相差算出部１１３は、第１実施形態と同様に、２種以上の信号ベクトルＦｒと当該２種以上の参照信号ベクトルＦｌと求めるように構成しているときは、被写体領域のサイズ変化を示すように位相差φを算出することができる。

続いて、位相差検出器１１は、座標算出部１１４により両眼カメラ１０ＲＬにおける各撮像カメラ１０Ｒ，１０Ｌの配置情報と、φ＊λに基づいて、よる画像Ｐｎ上の被写体の変位座標ｘを算出し、信号処理部１３に出力する（ステップＳ２５）。ここで、変位座標ｘは、上記の被写体領域のサイズ変化を示す情報を含めることができる。

続いて、信号処理部１３は、変位座標ｘを用いて各撮像画像Ｐｒ，Ｐｌから被写体領域を切り出し、当該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を演算により検出する（ステップＳ２６）。ここで、変位座標ｘが、上記の被写体領域のサイズ変化を示す情報を含んでいるときは、被写体領域の切り出しに関して、当該注目領域のサイズを更新させることができる。例えば、時間的に連続する撮像画像がズーム等により画角が変化するような場合でも、これに追従して被写体領域の切り出し（区画表示）が可能となる。

以後、位相差検出器１１は、操作部１６からの終了の指示の有無を監視しており（ステップＳ２７）、操作部１６から終了の指示があるときは（ステップＳ２７：Ｙ）、被写体との距離測定（位相差検出の作動）を停止して、その旨を信号処理部１３に通知し、信号処理部１３による切り出し（区画表示）処理を停止させる。

一方、位相差検出器１１は、操作部１６から終了の指示が無いときは（ステップＳ２７：Ｎ）、被写体との距離測定（位相差検出の作動）を継続し、設計上必要であればその旨を信号処理部１３に通知する。

被写体との距離測定（位相差検出の作動）を継続する際、位相差検出器１１は、ステップＳ２に移行し、継続中はメモリ１２に保持される波長λを使用し続けてもよいが、本例では、ズーム等の画角の変更にも適応的に対応するためにステップＳ１に移行する。

このようにして、画像処理装置１は、図１１に示す両眼カメラ１０ＲＬによる被写体との距離測定処理を行う構成とすることができる。特に、一画像信号に対し複数種の信号ベクトルを用いる構成であれば、変位座標ｘに、上記の被写体領域のサイズ変化を示す情報を含めることができる。このため、被写体領域の切り出しに関して、当該注目領域のサイズを更新させることができる。また、撮像画像内の複数の被写体に対して距離測定を行うことができる。例えば、図１３に示すように、撮像カメラ１０Ｒの撮像画像Ｐｒ（又は撮像カメラ１０Ｌの撮像画像Ｐｌ）において、複数の被写体Ｏｂｊ１，Ｏｂｊ２，Ｏｂｊ３について個別に切り出し区画表示した被写体領域ＳＱ１，ＳＱ２，ＳＱ３の各々を測距領域１，２，３としてそれぞれ距離測定を行うことができる。従って、被写体に係る物理的な距離測定処理の１つとして、両眼カメラ１０ＲＬを構成する該撮像カメラ１０Ｒ，１０Ｌと被写体との距離、或いは被写体間の空間的な位置を検出するものとして構成することができる。

また、第２実施形態において、両眼カメラ１０ＲＬの代わりに、撮像レンズを駆動制御可能な撮像カメラとし、その撮像素子の画素部に遮光部分が異なる（一般的には左右や上下で対称となる）位相差検出画素を設けたものとすることで、被写体に係る物理的な距離測定処理の１つとして、位相差検出器１１を同様な処理で自動焦点調節のための位相差を検出するものとして構成することができる。

そして、第２実施形態に係る位相差検出器１１は、第１実施形態と実質的に同様な動作であるため、第１実施形態と同様、低処理コストで撮影環境に依らず安定し高精度で位相差を検出することができる。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した各実施形態では、ＣＲｅＷ計算部１１２は、空間的に一方向を対象とした一次元のＣＲｅＷフィルタを例に説明したが、空間的に二方向を対象とした二次元のＣＲｅＷフィルタ、及び該二方向に加え時間方向を含む三次元以上のＣＲｅＷフィルタとすることができる。

また、上述した各実施形態では、ＣＲｅＷ計算部１１２において、処理コストと動作の安定化のために、圧縮画像を生成してからＣＲｅＷ計算を行う好適例を説明したが、ＣＲｅＷ計算部１１２において上記の圧縮画像を生成せずに非圧縮の処理対象画像に対して直接的に、上記の複素矩形ウェーブレット（ＣＲｅＷフィルタ）の各要素値をλ／４個ずつ連続させてＣＲｅＷフィルタを冗長化させたＣＲｅＷ計算を行うことで、圧縮画像を生成する場合と同等の信号ベクトルを得ることができる。この場合、例えばシリアル的に画素値が得られるシステム（ハードウェア上）で当該非圧縮画像の画素値をバッファせずに逐次加減算することができる。

また、上述した各実施形態では、特定の用途について詳細に説明したが、本発明に係る位相差検出器１１は、時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を利用可能とする用途であれば、種々の用途に利用できる。

本発明によれば、低処理コストで撮影環境に依らず安定し高精度で位相差を検出することができるので、時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を利用可能とする用途に有用である。

１ 画像処理装置
１０ 撮像カメラ
１０ＲＬ 両眼カメラ
１０Ｒ 右眼用撮像カメラ
１０Ｌ 左眼用撮像カメラ
１１ 位相差検出器
１２ メモリ
１３ 信号処理部
１４ 表示部
１５ 記録部
１６ 操作部
１０１ 撮像レンズ
１０２ 撮像素子
１０３ 画像処理部
１１１ 主周波数検出部
１１２ 複素矩形ウェーブレット変換（ＣＲｅＷ）計算部
１１３ 位相差検出部
１１４ 座標算出部

Claims (13)

1. 時間方向又は空間方向の一組の画像から被写体の位置のずれを示す位相差を検出する位相差検出器であって、
   前記一組の画像の各注目領域における画像信号の主周波数の波長を検出する主周波数検出手段と、
   前記一組の画像の各注目領域の画像信号をそれぞれ処理対象画像とし、前記波長を基に該処理対象画像に対して複素矩形ウェーブレット変換（ＣＲｅＷ）を施し、前記一組の画像の各注目領域の画像信号に関する複素の周波数成分の信号ベクトルを生成するＣＲｅＷ計算手段と、
   前記一組の画像の各注目領域の信号ベクトルを比較して位相差を算出する位相差算出手段と、
   当該算出した位相差を基に、前記一組の画像のうち少なくとも一方の注目領域における被写体の変位座標を算出する座標算出手段と、
   を備えることを特徴とする位相差検出器。
2. 前記複素矩形ウェーブレット変換の基底は、少なくとも４象限の要素値を持つ複素矩形数列のフィルタで表されていることを特徴とする、請求項１に記載の位相差検出器。
3. 前記位相差算出手段は、当該位相差を複素平面上にマッピングされた各信号ベクトルのマンハッタン距離により算出することを特徴とする、請求項１又は２に記載の位相差検出器。
4. 前記ＣＲｅＷ計算手段は、前記波長を基に前記処理対象画像をそれぞれ空間的に少なくとも一方向に分割・圧縮し、該一方向の画素数がＮ（Ｎ≧４）となる圧縮画像を生成し、該圧縮画像に対して複素矩形ウェーブレット変換（ＣＲｅＷ）を行うことを特徴とする、請求項１から３のいずれか一項に記載の位相差検出器。
5. 前記ＣＲｅＷ計算手段は、前記波長の１／４で分割・圧縮した一方向がＮ（Ｎ≧４）画素の圧縮画像に対して４象限の要素値を持つＣＲｅＷフィルタを基底とする複素矩形ウェーブレット変換を行うことを特徴とする、請求項４に記載の位相差検出器。
6. 前記ＣＲｅＷ計算手段は、前記波長の１／４で分割・圧縮した一方向がＮ（Ｎ＞４）画素の圧縮画像に対して４象限の要素値を持つＣＲｅＷフィルタを基底とする複素矩形ウェーブレット変換を行い、画素のアドレスに応じて複数種類の信号ベクトルを生成することを特徴とする、請求項４又は５に記載の位相差検出器。
7. 前記ＣＲｅＷ計算手段は、前記処理対象画像に対して直接的に、前記複素矩形ウェーブレット変換の各要素値を前記波長の１／４ずつ連続させてＣＲｅＷフィルタを冗長化させたＣＲｅＷ計算を行うことを特徴とする、請求項１から３のいずれか一項に記載の位相差検出器。
8. 前記ＣＲｅＷ計算手段は、前記複素矩形ウェーブレット変換として、空間的に一方向を対象とした一次元のＣＲｅＷフィルタ、空間的に二方向を対象とした二次元のＣＲｅＷフィルタ、又は該二方向に加え時間方向を含む三次元以上のＣＲｅＷフィルタを基底とするウェーブレット変換を行うことを特徴とすることを特徴とする、請求項１から７のいずれか一項に記載の位相差検出器。
9. 当該位相差検出器は、時間方向に連続する画像から当該位相差を逐次検出するように構成され、
   前記主周波数検出手段は、当該位相差を逐次検出する際の初期値として前記波長を算出する手段、及び、前記ＣＲｅＷ計算手段によって生成する当該信号ベクトルのパワーを監視し、該信号ベクトルのパワーが予め定められた範囲を外れた場合に、前記波長を改めて算出する手段を有することを特徴とする、請求項１から８のいずれか一項に記載の位相差検出器。
10. 当該位相差検出器は、時間方向に連続する画像から当該位相差を逐次検出するように構成され、
    前記ＣＲｅＷ計算手段は、当該位相差の検出を時間方向に連続する画像に対して継続的に行う際に、逐次、信号ベクトルを今回値として再計算して前回値の信号ベクトルと比較し、今回値の信号ベクトルと前回値の信号ベクトルとの差が閾値以下であるか否かを判定し、当該閾値以下のときには今回値の信号ベクトルを次回の位相差の検出で対比する参照信号ベクトルとして更新し、閾値以下でないときは当該参照信号ベクトルの更新は行わず、前記主周波数検出手段に対して、前記波長を改めて算出させる処理を有することを特徴とする、請求項１から９のいずれか一項に記載の位相差検出器。
11. 時間方向に連続する画像から当該位相差を逐次検出するように構成された、請求項１から１０のいずれか一項に記載の位相差検出器と、
    該位相差を基に、被写体の画像上の移動速度の検出処理、又は被写体の動きの追跡処理、或いは被写体の動的変化の検出を行う信号処理手段と、
    を備えることを特徴とする画像処理装置。
12. 空間方向に同時・同方向に撮像された一組の画像から当該位相差を逐次検出するように構成された、請求項１から１０のいずれか一項に記載の位相差検出器と、
    該位相差を基に、被写体に係る物理的な距離測定処理を行う信号処理手段と、
    を備えることを特徴とする画像処理装置。
13. コンピュータを、請求項１から１０のいずれか一項に記載の位相差検出器として機能させるためのプログラム。

Images