JP6335589B2 - 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 - Google Patents

Description

本発明は、距離検出装置、撮像装置、距離検出方法及び視差量検出装置に関するものである。

デジタルカメラに適用可能な距離検出技術として、撮像素子の一部の画素に測距機能を持たせ、位相差方式で検出するようにした距離検出技術が知られている。この画素は、結像光学系の瞳上の異なる領域を通過した光束を受光する光電変換部を備え、各光電変換部で生成される像信号のズレ量を推定し、デフォーカス量を算出することで測距を行う。

複数の光電変換部の瞳透過率分布が互いに異なる分布を有すると、像信号は互いに異なる形状となり、像信号のズレ量の推定精度が低下し、測距精度が低下する。特許文献１には、像の形状補正手法について記載されている。像信号を生成する点像分布関数あるいは線像分布関数を用いて像修正フィルタを作成する。そして、像信号に、像修正フィルタを畳み込み積分することで像の形状を修正し、測距精度を向上させる手法が記載されている。

特許第３２４０６４８号公報

特許文献１の点像分布関数を用いた像修正フィルタは、等方的な２次元フィルタであり、１次元フィルタと比べるとタップ数が大きく、像修正処理の計算規模が大きくなり、処理時間が増加する。線像分布関数を用いた像修正フィルタは、１次元フィルタであり、処理時間は短くなるが、像信号の一部の空間周波数を有する成分のみが補正され、他の空間周波数を有する成分には補正誤差が生じる。このため、像信号（被写体）によっては、像修正の効果が変動し、測距精度が低下する。

本発明は、上記課題に鑑み、高速かつ高精度に測距を行うことができる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することを目的とする。

本発明の距離検出装置は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応した第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正のためのフィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする。

また、本発明の距離検出方法は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応した第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正のためのフィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理工程と、を含むことを特徴とする。

結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、視差量を算出する視差量算出部と、
また、本発明の視差量検出装置は、第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正フィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする。

本発明によれば、高速かつ高精度な測距が可能となる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することができる。

実施形態１に係る距離検出装置を有する撮像装置の一例を示す模式図 測距画素の感度特性と瞳領域を説明する図 点像分布関数を示す図 実施形態１に係る距離検出方法のフローの一例を示す図 実施形態１に係る像信号修正処理のフィルタを示す図 実施形態１に係る変形された点像分布関数を示す図 実施形態３に係る像信号修正処理のフィルタを示す図 実施形態４に係る距離検出方法のフローの一例を示す図

（実施形態１）
＜距離検出装置＞
以下の説明では、本発明の距離検出装置を備えた撮像装置の一例として、デジタルスチルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置は、デジタルビデオカメラやデジタル距離計測器などにも適用することができる。なお、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

図１（ａ）は、本実施形態の距離検出装置４０を有する撮像装置の模式図である。この撮像装置は、距離検出装置４０の他に、撮像素子１０と結像光学系２０と記録装置３０とを有する。さらに、撮像装置は、結像光学系２０の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を有している。

図１（ｂ）は、撮像素子１０の一例を示す模式図である。撮像素子１０は、光電変換部１１、１２を含む画素１３を複数有している。撮像素子１０は具体的には、ＣＭＯＳセンサ（相補型金属酸化物半導体を用いたセンサ）や、ＣＣＤセンサ（電荷結合素子を用いたセンサ）等の固体撮像素子を用いることができる。

図１（ｃ）は、画素１３の一例を示す断面模式図である。画素１３の光電変換部１１、１２は基板１４内に形成されている。画素１３はマイクロレンズ１５を有している。

図１に示すように、結像光学系２０は、外界の被写体の像を撮像素子１０の面上に結像する。撮像素子１０は、結像光学系２０の射出瞳２１を透過した光束を、マイクロレンズ１５を介して画素１３の光電変換部１１または光電変換部１２で取得し、電気信号に変換する。具体的には、射出瞳２１の第１の瞳領域を通過した光束は各画素１３の光電変換部１１で電気信号に変換され、射出瞳２１の第１の瞳領域とは異なる第２の瞳領域を通過した光束は各画素１３の光電変換部１２で電気信号に変換される。画素１３は、電気信号を距離検出装置４０に出力するために、フローティングディフュージョン（ＦＤ）部、ゲート電極、配線等を備えている。

距離検出装置４０は、例えば、ＣＰＵ、メモリを含む信号処理基板で構成され、ＣＰＵがプログラムを実行することによりその機能を実現する。信号処置基板は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。

距離検出装置４０は、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応する第１の信号と、第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部４１を有している。なお、第１の信号は、各画素の光電変換部１１で生成された各電気信号（各成分）の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１１で生成された各電気信号（各成分）とが対応付けられている。また、第２の信号は、各画素の光電変換部１２で生成された各電気信号（各成分）の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１２で生成された各電気信号（各成分）とが対応付けられている。また、第１の信号に対してノイズ除去やフィルタ処理した後の信号が、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応している信号であれば、第１の信号に含まれる。第２の信号についても同様に定義する。

距離検出装置４０は、距離算出部４１の他に、信号処理部４２、ズレ量算出部４３、フィルタ生成部４４を備える。信号処理部４２は、第１の信号と第２の信号のうち少なくとも一つの信号をフィルタ処理する機能を有している。ズレ量算出部４３は、第１の信号と第２の信号のズレ量を算出する機能を有している。フィルタ生成部４４は、ズレ量算出部４３で算出されたズレ量に基づき、信号処理部４２のフィルタ処理時に使用するフィルタを生成する機能を有している。

記録装置３０は、読み出した信号あるいは演算結果を記録する機能を有している。

本発明の距離検出装置において、画素１３のような複数の光電変換部を有する構成では、画素１３内の各光電変換部で取得した信号を合算することで、単一の光電変換部を有する画素と同等の画像信号を作成することができる。撮像素子１０の全画素にこのような画素１３を配置してもよいし、一部の画素に画素１３を配置して単一の光電変換部を有する画素と複数の光電変換部を有する画素１３とを両方有する構成であってもよい。後者の構成では、画素１３で測距を行い、残りの画素で被写体の画像を取得することができる。なお、画素１３の配置は、撮像素子１０の中で離散的に配置されていてもよく、Ｘ方向とＹ方向で異なる間隔で配置されていてもよい。

＜距離検出方法＞
本発明においては、画素１３の大きさに対して、結像光学系２０と撮像素子１０の間の距離が長い。このため、結像光学系２０の射出瞳２１上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子１０の面上に入射する。光電変換部１１、１２には、射出瞳２１の形状や撮像素子１０上における光電変換部１１、１２の位置に応じて、所定の角度範囲２２（図１（ａ））からの光束が入射する。入射した光束に対する光電変換部１１、１２の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布という。このときの瞳透過率分布の重心位置を瞳重心という。瞳重心は、以下の式１で算出することができる。式１において、ｒは射出瞳２１上の座標であり、ｔは光電変換部１１、１２の瞳透過率分布を表し、積分範囲は射出瞳２１上の領域である。

また、光電変換部で受光される光束が通過する領域のうち、瞳重心を含み、光電変換部の感度が高い角度範囲から入射する光束が通過する射出瞳上の領域を瞳領域という。また、２つの瞳領域（第１の瞳領域と第２の瞳領域）の瞳重心を結ぶ方向を瞳が分割された方向（瞳分割方向）という。本実施形態においては、瞳分割方向は、２次元状に複数の画素が配置された撮像素子の面内方向（図１（ｂ）のｘｙ面）においてｘ方向であり、この方向を第１の方向とし、この面内方向においてｘ方向に垂直なｙ方向を第２の方向とする。

図２（ａ）は、ｘｚ平面内において入射した光束に対する、光電変換部１１の感度特性５１と光電変換部１２の感度特性５２を示す。横軸は、ｘｚ平面内における入射光束とｚ軸が成す角度を示し、縦軸は感度を表している。αは、画素に入射する主光線の入射角度である。入射角度は、撮像素子の面内方向と垂直な方向（Ｚ方向）を基準とする。画素１３が撮像素子１０の中央に位置する場合は、αはゼロであり、画素１３が周辺部に位置する場合は、αはゼロ以外の値である。

図２（ｂ）は、結像光学系２０の射出瞳２１、光電変換部１１に対応する瞳透過率分布６１と瞳重心７１と瞳領域８１（第１の瞳領域）を示した図である。瞳領域８１は、射出瞳２１の中心から＋ｘ方向（第１の方向）に偏心した瞳領域である。各画素１３の光電変換部１１は、主として瞳領域８１を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第１の信号Ｓ_１が得られる。

図２（ｃ）は、結像光学系２０の射出瞳２１、光電変換部１２に対応する、瞳透過率分布６２と瞳重心７２と瞳領域８２（第２の瞳領域）を示した図である。瞳領域８２は、射出瞳２１の中心から−ｘ方向に偏心した瞳領域である。各画素１３の光電変換部１２は、主として瞳領域８２を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第２の信号Ｓ_２が得られる。

信号Ｓ_ｊ（ｊ＝１または２）は、以下の式２で記述できる。

ｆは被写体の光量分布、＊は畳み込み積分を表している。ＰＳＦ_ｊは、被写体からの光束が信号Ｓ_ｊとして取得される際の、結像光学系２０や撮像素子１０による劣化度合いを表す伝達関数であり、点像分布関数という。ＰＳＦ_１とＰＳＦ_２の形状の差が、信号Ｓ_１とＳ_２の形状差を決定する。

また、信号Ｓ_ｊ（ｊ＝１または２）は、周波数空間においては、以下の式３で記述できる。

Ｆはフーリエ変換を表し、Ｆｆは被写体の光量分布ｆをフーリエ変換したものである。ｉＦＦＴは逆フーリエ変換を表している。ＯＴＦ_ｊは、点像分布関数ＰＳＦ_ｊがフーリエ変換された伝達関数であり、光学伝達関数という。ＯＴＦ_ｊは、空間周波数領域において、振幅伝達関数ＭＴＦ_ｊを振幅項に、位相伝達関数ＰＴＦ_ｊを位相項に有する関数として表される。なお、（ｆｘ，ｆｙ）は（ｘ，ｙ）の面内方向の空間周波数であることを表すものであり、ｆｘはｘ方向の空間周波数、ｆｙはｙ方向の空間周波数を表している。ＭＴＦ_ｊ及びＰＴＦ_ｊは、それぞれ伝達に伴う各空間周波数成分の振幅及び位置の変化量を決定する関数である。なお、ＯＴＦ_ｊ、ＭＴＦ_ｊ、ＰＴＦ_ｊは、それぞれ第ｊの瞳領域に対応する光学伝達関数、第ｊの瞳領域に対応する振幅伝達関数、第ｊの瞳領域に対応する位相伝達関数である。ｊは１または２である。

この信号Ｓ_１と信号Ｓ_２の瞳分割方向（第１の方向、ｘ方向）における信号のズレ量から、被写体の距離を算出する。このズレ量は公知の方法により求められる。例えば、一対の信号（Ｓ_１とＳ_２）のうち、片方の信号をｘ方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。

ところで、ＭＴＦ_１とＭＴＦ_２、ＰＴＦ_１とＰＴＦ_２とが互いに異なる特性を有していると、信号Ｓ_１とＳ_２は異なる形状となる。また、ＰＳＦ_ｊは信号Ｓ_ｊに対応して求められ、結像光学系２０の光学特性（焦点距離や絞り、デフォーカス量等）、画素１３の感度特性や撮像素子１０上の位置などによって変動する。ＯＴＦ_ｊ、ＭＴＦ_ｊ、ＰＴＦ_ｊについても同様である。

図３（ａ）、（ｂ）、（ｃ）は、あるデフォーカス状態における、ＭＴＦ_１、ＭＴＦ_２、位相差ＰＴＦ_１−ＰＴＦ_２を各空間周波数成分のズレ量に換算した量を、それぞれ図示したものである。縦軸と横軸は、それぞれ空間周波数ｆｙとｆｘを表している。また、図３（ｄ）、（ｅ）は、それぞれＰＳＦ_１とＰＳＦ_２を示したものであり、縦軸と横軸は、それぞれｙ座標、ｘ座標を表している。各図は、値が大きいほど白く記されている。図３（ｆ）は、ＰＳＦ_１とＰＳＦ_２のｘ方向の断面図を示したものであり、実線はＰＳＦ_１、破線ＰＳＦ_２を表している。図３（ａ）、（ｂ）、（ｃ）のように、ＭＴＦ_１、ＭＴＦ_２、ＰＴＦ_１−ＰＴＦ_２について空間周波数に応じてズレ量が異なると、図３（ｄ）、（ｅ）、（ｆ）のように、ＰＳＦ_１とＰＳＦ_２は互いに異なる形状となる。その結果、一対の像信号（第１の信号Ｓ_１と第２の信号Ｓ_２）は異なる形状となる。そして、第１の信号Ｓ_１と第２の信号Ｓ_２のズレ量を算出する際に、誤差が生じやすくなる。このため、距離検出の精度が低下する。

これを低減するために、像信号修正フィルタを用いた前処理が行われる。本発明は、その前処理に関するもので、その前処理の処理時間を短縮するためのものである。以下に、本発明の距離検出方法に基づいて、この前処理について説明する。

図４は、距離検出装置４０で行われる、被写体までの距離を検出する距離検出方法のフローチャートの一例を示す。この距離検出方法は、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）と距離の算出工程を有する。本実施形態では、前工程とは、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）を指す。

＜暫定ズレ量の算出工程＞
まず、図４（ａ）で示すように、ズレ量算出部４３は、第１の信号Ｓ_１と第２の信号Ｓ_２から、暫定的なズレ量を算出する（ステップＳ１０）。ズレ量は、上述した公知の方法によって求めることができる。

＜像信号の修正工程＞
次に、図４（ａ）で示すように、信号処理部４２は、第１の信号Ｓ_１と第２の信号Ｓ_２に対して、像信号修正処理を行う（ステップＳ２０）。Ｓ２０によって、修正信号ＣＳ_１、ＣＳ_２が生成される。

像修正処理Ｓ２０は、図４（ｂ）で示すように、像信号修正フィルタの作成工程（ステップＳ２１）と修正信号の生成工程（ステップＳ２２）を有する。Ｓ２１では、フィルタ生成部４４がＳ１０で算出した暫定ズレ量を基に像信号修正フィルタを生成する。例えば、結像光学系の状態（焦点距離や絞り、デフォーカス量）や撮像素子１０上の画素１３の位置（像高）、暫定ズレ量の大きさに応じたフィルタを予め作成しておく。各フィルタのデータ（例えばセル値）を記録装置３０に記録しておく。そして、結像光学系の状態、像高、検出した暫定像ズレ量の大きさに応じたフィルタデータを参照し、各像信号修正フィルタを生成する。

また、上記の他には、代表的な暫定ズレ量に対応するフィルタデータのみを保持しておき、代表値以外の暫定ズレ量に対しては、予め保持してあるフィルタデータ間を補間することでフィルタを作成してもよい。あるいは、フィルタデータを関数で近似し、関数の各係数を保持してもよい。例えば、フィルタのセル値を、フィルタ内の位置を変数とするｎ次関数（ｎは正の整数）で近似し、関数の各係数を保持しておく。次に測距条件に応じて係数を読み出し、フィルタを生成する。このような方法により、保持するフィルタデータ量を削減でき、フィルタ保持用の記録容量を低減できる。

像信号修正フィルタの一例を図５に示す。本実施形態では、第１の信号Ｓ_１と第２の信号Ｓ_２それぞれに対して２つの異なるフィルタ処理を行うために、合計４つのフィルタＦｙ１１、Ｆｘ１１、Ｆｙ１２、Ｆｘ１２を作成する。

フィルタＦｙ１１（第１のフィルタ）は、第１の方向（Ｘ方向）のセル数Ａｘ（Ａｘは１以上の整数）が、第１の方向に垂直な第２の方向（Ｙ方向）のセル数Ａｙ（Ａｙは２以上の整数）よりも少ないフィルタである。そして、セル５０のセル値（フィルタデータ）は、上述した像信号修正フィルタの生成工程Ｓ２１によって所望の値に決定される。以下、このようなフィルタをＡｘ×Ａｙセルを有するフィルタという。また、フィルタＦｙ１１は、第１の信号Ｓ１の空間周波数ｆｙの帯域を所定の範囲内に制限するバンドパスフィルタである。なお、図５（ａ）の例では、Ａｘ＝１の場合で説明する。

フィルタＦｘ１１（第２のフィルタ）は、Ｘ方向のセル数Ｂｘ（Ｂｘは２以上の整数）が、Ｙ方向のセル数Ｂｙ（Ｂｙは１以上の整数）よりも多いフィルタである。つまり、フィルタＦｘ１１は、Ｂｘ×Ｂｙセルを有し、セル５０は所望のセル値（フィルタデータ）を有する。また、フィルタＦｘ１１は、信号Ｓ_１の各空間周波数成分のｆｘ方向の位相を補正するフィルタである。本明細書中では、このようなフィルタを位相補正フィルタという。なお、図５（ｂ）の例では、Ｂｙ＝１の場合で説明する。

フィルタＦｙ１２（第３のフィルタ）は、Ｘ方向のセル数Ｃｘ（Ｃｘは１以上の整数）が、Ｙ方向のセル数Ｃｙ（Ｃｙは２以上の整数）よりも少ないフィルタである。つまり、フィルタＦｙ１２は、Ｃｘ×Ｃｙセルを有し、セル５０は所望のセル値（フィルタデータ）を有する。また、フィルタＦｙ１２は、信号Ｓ２の空間周波数ｆｙの帯域を所定の範囲内に制限するバンドパスフィルタである。なお、図５（ａ）の例では、Ｃｘ＝１の場合で説明する。

フィルタＦｘ１２（第４のフィルタ）は、Ｘ方向のセル数Ｄｘ（Ｄｘは２以上の整数）が、Ｙ方向のセル数Ｄｙ（Ｄｙは１以上の整数）よりも多いフィルタである。つまり、フィルタＦｘ１２は、Ｄｘ×Ｄｙセルを有し、セル５０は所望のセル値（フィルタデータ）を有する。また、フィルタＦｘ１２は、信号Ｓ_２の各空間周波数成分のｆｘ方向の位相を補正する位相補正フィルタである。なお、図５（ｂ）の例では、Ｄｙ＝１の場合で説明する。

なお、フィルタＦｘ１１は、光学伝達関数ＯＴＦ_２に対応する位相補正フィルタであり、フィルタＦｘ１２は、光学伝達関数ＯＴＦ_１に対応する位相補正フィルタである。

各フィルタＦｙ１ｊ、Ｆｘ１ｊ（ｊ＝１または２）は、式４、式５で表される。

ＢＰ_Ｆｙ１ｊ、ＢＰ_Ｆｘ１ｊは、フィルタの振幅項であり、ＨＰ_Ｆｘ１ｊは、フィルタの位相項である。

図５（ｃ）は、フィルタＦｙ１１、Ｆｙ１２のセル値の分布の一例を示したものである。フィルタＦｙ１１、Ｆｙ１２は周波数空間において位相項を有さず、振幅項のみであるため、セル値がｙ方向においてｘ軸に対して中心対称な分布となる。

図５（ｄ）は、フィルタＦｘ１１、Ｆｘ１２のセル値の分布の一例を示したものである。フィルタＦｘ１１、Ｆｘ１２は位相補正を行うことから、位相項ＨＰ_Ｆｘ１、ＨＰ_Ｆｘ２は、実空間においてｘ方向の位置が異なる位相を空間周波数成分ごとに有している。このような位相項を有するため、フィルタＦｘ１１、Ｆｘ１２は、セル値がｘ方向においてｙ軸に対して中心非対称な分布となる。本実施形態においては、フィルタＦｙ１１、Ｆｙ１２は、空間周波数ｆｙを低い周波数帯域（０近傍）に制限するローパスフィルタであり、ともに同じ制限帯域を有している。フィルタＦｘ１１、Ｆｘ１２は、各空間周波数成分の位相のみを制御するフィルタであり、それぞれ第２の瞳領域に対応する位相伝達関数ＰＴＦ_２、第１の瞳領域に対応する位相伝達関数ＰＴＦ_１を位相項に有するフィルタである。つまり、フィルタＦｘ１１、Ｆｘ１２は、式６、式７で表される。

ここで、フィルタＦｘ１１、Ｆｘ１２は振幅を補正しないため、ＢＰ_Ｆｘ１１、ＢＰ_Ｆｘ１２は１とした。ＰＴＦ_{ｊ（ｆｘ，０）}は、位相伝達関数ＰＴＦ_ｊの空間周波数ｆｙが０における位相を表している。ＰＧ_ｊは、ＰＳＦ_ｊの重心位置のデフォーカスに伴う移動量を、各空間周波数の位相量に換算した位相調整項であり、像信号の形状には影響しない項である。像信号修正処理によって生成された修正信号がＰＳＦ_ｊの移動量分だけ動くことを防ぐために加えている。

次に、信号処理部４２が、第１の信号Ｓ_１にＳ２１で生成したフィルタＦｙ１１、Ｆｘ１１を畳み込み積分することで修正信号ＣＳ_１を生成する（Ｓ２２）。また、信号処理部４２が、第２の信号Ｓ_２にＳ２１で生成したフィルタＦｙ１２、Ｆｘ１２を畳み込み積分することで修正信号ＣＳ_２を生成する（Ｓ２２）。より具体的には、第１の信号Ｓ_１にフィルタＦｙ１１を用いてフィルタ処理を施して信号Ｓ_１’を生成し、更に信号Ｓ_１’にフィルタＦｘ１１を用いてフィルタ処理を施すことで修正信号ＣＳ_１１を生成する。また、第２の信号Ｓ_２にフィルタＦｙ１２を用いてフィルタ処理を施して信号Ｓ_２’を施し、更に信号Ｓ_２’にフィルタＦｘ１２を用いてフィルタ処理を施すことで修正信号ＣＳ_１２を生成する。なお、このようにして生成された修正信号ＣＳ_１１は、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応している信号であるため、第１の信号である。同様に、第２の修正信号ＣＳ_１２は、結像光学系２０の射出瞳２１の第２の瞳領域を通過した光束に対応している信号であるため、第２の信号である。

修正信号ＣＳ_１１、ＣＳ_１２は、式３乃至式７を用いると、式８、式９のように記述できる。

なお、修正信号ＣＳ_１ｊ（ｊ＝１または２）は、ＰＳＦ_ｊを変形した点像分布関数ＣＰＳＦ_１ｊを用いると、式２と対応した式１０のように記述できる。また、修正信号ＣＳ_１ｊ（ｊ＝１または２）は、ＭＴＦ_ｊを変形した後の振幅伝達関数Ｍ_ｃｓ１ｊ、ＰＴＦ_ｊを変形した後の位相伝達関数Ｐ_ｃｓ１ｊを用いると、式３と対応した式１１のように記述できる。

Ｐ_ｃｓ１１とＰ_ｃｓ１２位相差が各空間周波数成分のデフォーカスに伴うズレ量を決定し、一対の像信号の形状差に大きく影響する。

図６（ａ）、（ｂ）、（ｃ）は、Ｍ_ｃｓ１１、Ｍ_ｃｓ１２、位相差Ｐ_ｃｓ１１−Ｐ_ｃｓ１２を各空間周波数成分のズレ量に換算した量を、それぞれ図示したものである。縦軸及び横軸はそれぞれ空間周波数ｆｙ、ｆｘを表している。図６（ｄ）、（ｅ）は、ＣＰＳＦ_１１、ＣＰＳＦ_１２を図示したものであり、縦軸及び横軸はそれぞれｙ座標、ｘ座標を表している。各図は、値が大きいほど白く記されている。図６（ｆ）は、ＣＰＳＦ_１１及びＣＰＳＦ_１２のｘ方向の断面図を示したものであり、実線がＣＰＳＦ_１１、破線がＣＰＳＦ_１２を示している。

フィルタＦｙ１１、Ｆｙ１２により、Ｍ_ｃｓ１１及びＭ_ｃｓ１２は、図６（ａ）、（ｂ）のように、空間周波数ｆｙが大きい成分が抑制される。この結果、修正信号ＣＳ_１１、ＣＳ_１２は空間周波数ｆｙが０近傍の帯域に制限された信号となる。そして、各修正信号の位相項Ｐ_ｃｓ１、Ｐ_ｃｓ２は、空間周波数ｆｙが０近傍の位相が支配的となる。Ｐ_ｃｓ１１とＰ_ｃｓ１２の差ΔＰ_ｃｓ１は、式８、式９、式１１から、式１２のように表され、各点像分布関数の重心間距離に相当する位相成分が支配的となる。

図６（ｃ）のように、ズレ量は、空間周波数ｆｙが０近傍の帯域において、略一定の値となる。図６（ｄ）、（ｅ）、（ｆ）のように、変形後の点像分布関数は、互いに同じ形状となり、修正信号ＣＳ_１１、ＣＳ_１２は、形状差が軽減した信号となる。この一対の修正信号ＣＳ_１１、ＣＳ_１２を用いることで、第１の瞳領域を通過した光束に対応する第１の信号と第２の瞳領域を通過した光束に対応する第２の信号とのズレ量を高精度に算出でき、被写体の距離を高精度に算出することができる。

なお、フィルタＦｙ１１、Ｆｙ１２は振幅項のみを有するため、記録装置３０に振幅項の情報のみ記録しておく。あるいはフィルタ値が中心対称な分布であるため、フィルタ中心より片方のフィルタ値分布を記録しておけばよい。位相項を有さないことで、記録しておくフィルタのデータ量を削減することができる。更に、両フィルタを同一のフィルタとすると、記録しておくフィルタのデータ量を更に削減することができる。また、フィルタを生成する処理時間を低減する効果も有する。

フィルタＦｘ１ｊはフィルタ値が複雑な分布を有しており、フィルタＦｙ１ｊと比べて、フィルタ作成時に誤差が含まれやすい。このため、フィルタＦｘ１ｊを用いたフィルタ処理、Ｆｙ１ｊを用いたフィルタ処理の順で信号Ｓ_１に施すと、主にｘ方向に向かって誤差が付加された後、ｙ方向に誤差を拡散してしまうため、修正信号ＣＳ_１ｊが劣化する。このため、先にＦｙ１ｊを用いたフィルタ処理を施し、次にＦｘ１ｊ用いたフィルタ処理を施すことで、Ｆｘ１ｊに含まれる誤差が拡散される範囲が狭くなり、修正信号ＣＳ_１ｊの劣化を低減することができる。

＜距離の算出工程＞
そして、図４（ａ）で示すように、距離算出部４１は、修正信号ＣＳ_１１、ＣＳ_１２のＸ方向（第１の方向）におけるズレ量から、被写体の距離を算出する（ステップＳ３０）。このズレ量は、暫定ズレ量算出処理（Ｓ１０）と同じ方法を用いることができ、ズレ量算出部４３によって算出される。また、被写体の距離は、例えば、式１３により、デフォーカス量ΔＬを求め、結像光学系２０の結像関係から算出される。ｄはズレ量、Ｌは射出瞳２１と撮像素子１０までの距離、ｗは基線長を表している。

あるいは、ズレ量ｄとデフォーカス量ΔＬを結び付ける変換係数を予め算出しておき、検出したズレ量と変換係数を用いてデフォーカス量ΔＬを算出してもよい。あるいは、ズレ量と被写体距離を結びつける変換係数を用いて、被写体の距離を直接算出してもよい。撮影条件や撮像面上における光電変換部の位置に応じて基線長を算出する演算を省くことができ、高速な距離算出が可能となる。

＜像信号修正フィルタのセル数＞
一般的なフィルタのｘ方向及びｙ方向の空間周波数分解能Δｆｘ、Δｆｙは、式１４、式１５で表される。

Ｎｘ、Ｎｙは、それぞれフィルタのｘ方向、ｙ方向のセル数である。式１４、式１５から分かるように、Ｎｘ、Ｎｙが大きいほど、Δｆｘ、Δｆｙが細かくなり、所望の周波数特性を有するフィルタを精度良く生成することができる。

上記のフィルタＦｙ１１、Ｆｙ１２は、ｙ方向の空間周波数帯域を制御するフィルタである。そのため、フィルタＦｙ１１、Ｆｙ１２のｙ方向の空間周波数分解能Δｆｙを細かくするためには、Ａｙ、Ｃｙを大きくすればよい。また、ｘ方向については、フィルタＦｘ１１、Ｆｘ１２で制御されるため、フィルタＦｙ１１、Ｆｙ１２のｘ方向の空間周波数分解能Δｆｘは粗くてもよい。つまり、Ａｘ及びＣｘは小さな値（最小１）でよい。

一方、フィルタＦｘ１１及びＦｘ１２は、ｘ方向の位相を制御するフィルタである。そのため、フィルタＦｘ１１、Ｆｘ１２のｘ方向の空間周波数分解能Δｆｘを細かくするためにはＢｘ、Ｄｘを大きくすればよい。また、ｙ方向についてはフィルタＦｙ１１、Ｆｙ１２で制御されるため、フィルタＦｘ１１、Ｆｘ１２のｙ方向の空間周波数分解能Δｆｙは粗くてもよい。つまり、Ｂｙ、Ｄｙは小さな値（最小１）でよい。よって、上述したように、Ａｙ＞Ａｘ、Ｂｘ＞Ｂｙ、Ｃｙ＞Ｃｘ、Ｄｘ＞Ｄｙとなるように各フィルタを作成することで、上記で述べた像修正の効果を得ることができる。

また、バンドパスフィルタであるフィルタＦｙ１１、Ｆｙ１２は同じセル数を有することが好ましい。位相補正フィルタであるフィルタＦｘ１１、Ｆｘ１２は、同じセル数を有することが好ましく、さらに互いに対応するセル値が異なっていることが好ましい。

従来の手法では、一つのフィルタでｘ方向とｙ方向の空間周波数帯域と位相を補正するため、分解能ΔｆｘとΔｆｙの両方を細かくする必要があり、ＮｘとＮｙが大きいフィルタが必要となる。これに対して、本実施形態では、セル数（タップ数）が小さい、機能分離したフィルタを複数用いることで、計算負荷を軽減することができ、像信号の修正処理の時間を短縮することができる。

なお、結像光学系のデフォーカス量（ズレ量）が大きいほど、被写体の高周波数成分は減衰し、補正が必要な周波数帯域は狭くなる。各像ズレ量に対応して作成するフィルタは、ズレ量が大きいほど、フィルタ分解能が細かく、大きなセル数が必要となる。ズレ量に応じて最適なセル数でフィルタを作成することで、計算負荷を軽減することができる。

本実施形態では、セル数Ａｘ、Ｂｙ、Ｃｘ、Ｄｙが１の例を示したが、１以外の大きさを有していてもよい。セル数Ａｘ、Ｂｙ、Ｃｘ、Ｄｙを大きくすると、振幅あるいは位相を補正できる空間周波数帯域が拡大し、より高精度な測距が可能となる。ただし、セル数を大きくすると、計算負荷が増加するため、適度に調整することが好ましい。

従来のフィルタの全セル数で、本発明と同じ測距精度を得るには、第１の信号の像信号修正処理に使用するフィルタのセルの数はＡｙ×Ｂｘとなり、第２の信号の像信号修正処理に使用するフィルタのセルの数はＣｙ×Ｄｘとなる。これに対して、本実施形態における第１の信号の像信号修正処理に使用するフィルタのセル数はＡｙ×Ａｘ＋Ｂｘ×Ｂｙ、第１の信号の像信号修正処理に使用するＣｙ×Ｃｘ＋Ｄｘ×Ｄｙとなる。従来よりも計算負荷を軽減するためには式１６又は式１７を満たすことが好ましい。また、式１６、式１７は書き換えると、式１８のようになる。ここで、Ｎ_１０１、Ｎ_１０２は、それぞれバンドパスフィルタ（第１のフィルタまたは第３のフィルタ）の第１の方向のセル数、バンドパスフィルタの第２の方向のセル数である。また、Ｎ_２０１、Ｎ_２０２は、それぞれ位相補正フィルタ（第２のフィルタまたは第４のフィルタ）の第１の方向のセル数、位相補正フィルタの第２の方向のセル数である。

各フィルタの短い方のセル数を長手方向のセル数の４分の１以下にすると、計算負荷を大幅に軽減することができる。例えば、長手方向のセル数Ｂｘ＝Ａｙ、Ｄｘ＝Ｃｙとし、Ａｘ＝Ａｙ／４、Ｂｙ＝Ｂｘ／４、Ｃｘ＝Ｃｙ／４、Ｄｙ＝Ｄｘ／４とすると、式１６乃至式１８の左辺は０．５となり、計算負荷を従来の半分となる。

＜フィルタ処理の他の形態＞
本実施形態ではフィルタＦｙ１１、Ｆｙ１２として、ｙ方向の空間周波数ｆｙを０近傍で制限するローパスフィルタを用いた例を示したが、他の周波数帯域ｆｙに制限するフィルタを用いてもよい。フィルタＦｙ１１、Ｆｙ１２で制限する空間周波数帯域と、フィルタＦｘ１１、Ｆｘ１２で補正する位相特性とを適切に調整することで前述と同様の効果を得ることが出来る。

第１の信号Ｓ_１と第２の信号Ｓ_２のいずれか一方のみにフィルタ処理を施し、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、像信号修正処理された一方の信号と像信号修正処理されていない他方の信号とで測距を行ってもよい。この場合も、像信号修正処理された一方の信号に対応する修正信号の位相項は、像信号修正処理されていない他方の信号の位相項に近づくため、修正信号と他方の信号との形状差は、第１の信号と第２の信号の形状差よりも低減する。このため、ズレ量の算出誤差が低減し、デフォーカス量及び距離の算出精度が向上する。

フィルタＦｘ１１、Ｆｘ１２の位相調整項ＰＧ_１、ＰＧ_２は、本実施形態に限定されるものではなく、実空間において空間周波数によらず一定の値を有する項であり、既知の値であればよい。位相調整項ＰＧ_１及びＰＧ_２は０でもよく、像信号の形状には影響しない項であればよい。

フィルタＦｘ１１、Ｆｘ１２は、１ではない振幅項ＢＰ_Ｆｘ１１、ＢＰ_Ｆｘ１２を有していてもよい。例えば、式４における振幅項ＢＰ_Ｆｘ１１、ＢＰ_Ｆｘ１２は、ｘ方向の空間周波数帯域を所定の帯域に制限するバンドパス特性を有していてもよい。空間周波数帯域を制限すると、位相補正が必要な帯域を狭くすることができる。セル数が小さく、周波数分解能が荒いフィルタでも、狭い帯域であれば所望の位相特性を有するフィルタを生成しやすくなる。セル数（タップ数）が小さいフィルタでも十分な像修正効果が得られ、計算負荷をより軽減することができる。

例えば、振幅項ＢＰ_Ｆｘ１１、ＢＰ_Ｆｘ１２に、それぞれＭＴＦ_２、ＭＴＦ_１を用いてもよい。この場合、Ｍ_ｃｓ１１、Ｍ_ｃｓ１２は、それぞれＭＴＦ_１・ＭＴＦ_２・ＢＰ_Ｆｙ１１、ＭＴＦ_１・ＭＴＦ_２・ＢＰ_Ｆｙ１２となり、概略同じ関数となる。このため、修正信号ＣＳ_１、ＣＳ_２の形状差を更に低減することができ、より高精度な測距が可能となる。
あるいは、振幅項ＢＰ_Ｆｘ１１を１／ＭＴＦ_１とし、振幅項ＢＰ_Ｆｘ１２を１／ＭＴＦ_２としてもよい。あるいは、いずれか一方について振幅項を有していてもよく、振幅項ＢＰ_Ｆｘ１１をＭＴＦ_２／ＭＴＦ_１とするか、振幅項ＢＰ_Ｆｘ１２をＭＴＦ_１／ＭＴＦ_２としてもよい。これらの場合も像信号修正後の振幅項Ｍ_ｃｓ１１、Ｍ_ｃｓ１２が、略同じ関数となり、修正信号の形状差を更に低減することができ、より高精度な測距が可能となる。

信号Ｓ_１、Ｓ_２に、第１のフィルタ、第３のフィルタとは異なるバンドパスフィルタを施してから、前述の像修正処理を行ってもよい。各信号に含まれる空間周波数帯域が制限されるため、各フィルタは一部の空間周波数帯域で前述のフィルタ特性を満たせば、前述の効果が得られる。各フィルタは一部の帯域のみで効果が得られるように作成すればよく、フィルタを作成し易くなり、フィルタの作成誤差を低減できる。像修正の精度が向上し、より高精度な測距が可能となる。

各フィルタを構成する各伝達関数は、他の関数で近似した関数を用いてもよい。各伝達関数を多項式等で近似した関数を用いても各フィルタを作成することができる。前述のように各信号にバンドパスフィルタを施す場合、各伝達関数の一部の周波数帯域の特性を近似した関数を用いて各フィルタを作成することができる。これらの方法でフィルタを生成しても、前述の像修正の効果を得ることができる。

フィルタＦｙ１１、Ｆｙ１２は、バンドパスフィルタ内のセル値が全て同じ値となるように構成してもよい。このようなフィルタを施すと、高周波成分が除去され、ローパス（バンドパス）効果が得られる。このようなフィルタは、セル値の分布を記録しなくてよいため、フィルタデータを記録する記録装置の記録容量を減らすことができる。

本実施形態においては、実空間で各フィルタを各信号に畳み込み積分することで修正信号を生成する処理方法について示したが、周波数空間で像信号修正処理を行ってもよい。周波数空間におけるフィルタデータ（式３、式４における逆フーリエ変換ｉＦＦＴの括弧内のデータ）を予め保持しておく。次に、取得した信号Ｓ_１及びＳ_２をフーリエ変換し、周波数空間における修正信号ＦＳ_１１及びＦＳ_１２を生成する。修正信号ＦＳ_１１及びＦＳ_１２に各フィルタを掛け、逆フーリエ変換することで修正信号ＣＳ_１１及びＣＳ_１２を生成することができる。フィルタを施す際に、畳み込み積分をするよりも計算負荷を軽減することができ、高速かつ高精度な測距が可能となる。

式５における位相項は、振幅項と比べて像ズレ量（デフォーカス量）や空間周波数に応じて複雑に変化し、位相項を有するフィルタは、フィルタ内の場所や像ズレ量に応じてセル値が複雑に変化する。フィルタＦｙ１１、Ｆｙ１２は、位相項を有しておらず、振幅項で構成される。これにより、上述の項目が変化しても変動が少ないフィルタとなり、前述の補間や関数近似の方法で、フィルタデータを容易に保持でき、少ないデータ量で高精度にフィルタを生成することが可能となる。また、Ｆｙ１１、Ｆｙ１２が同一のフィルタとなるように、各フィルタの特性を調整してもよい。保持するフィルタデータを減らすことができ、更にデータ量を削減することができる。

＜測距結果＞
本発明の距離検出装置の測距結果は、例えば、結像光学系の焦点検出に用いることができる。本発明の距離検出装置によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系の焦点位置とのズレ量を知ることができる。結像光学系の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。また、本発明の距離検出装置を用いて距離マップを生成することができる。

（実施形態２）
本実施形態では、像信号修正工程（図４（ａ）のＳ２０）において、実施形態１のフィルタＦｘ１１（第２のフィルタ）、Ｆｘ１２（第４のフィルタ）とは異なる位相項を有するフィルタＦｘ２１、Ｆｘ２２を用いて各信号の像信号修正処理を行う。それ以外は実施形態１と同じであるため、実施形態１と異なる部分について主に説明する。

フィルタＦｘ２１（第２のフィルタ）は、Ｃｘ（Ｃｘは２以上の整数）×Ｃｙ（Ｃｙは１以上Ｃｘより小さい整数）セルを有し、信号Ｓ_１の各空間周波数成分のｘ方向の位相を補正する位相補正フィルタである。ただし本実施形態ではＣｙ＝１として説明する。

フィルタＦｘ２２（第４のフィルタ）は、Ｄｘ（Ｄｘは２以上の整数）×Ｄｙ（Ｄｙは１以上Ｄｘより小さい整数）セルを有し、信号Ｓ_２の各空間周波数成分のｘ方向の位相を補正する位相補正フィルタである。ただし本実施形態ではＤｙ＝１として説明する。

本実施形態では、フィルタＦｘ２１、Ｆｘ２２は、各空間周波数成分の位相のみを制御し、振幅は補正しないフィルタである。そして、フィルタＦｘ２１は、光学伝達関数ＯＴＦ_１に対応する位相補償フィルタであり、フィルタＦｘ２２は、光学伝達関数ＯＴＦ_２に対応する位相補償フィルタである。より具体的には、フィルタＦｘ２１は、位相伝達関数ＰＴＦ_１を位相項に有するフィルタであり、フィルタＦｘ２２は、ＰＴＦ_２位相伝達関数ＰＴＦ_１を位相項に有するフィルタである。フィルタＦｘ２ｊ（ｊ＝１または２）は、式１９で表される。

ＢＰ_Ｆｘ２ｊは、フィルタＦｘ２ｊの振幅項であるが、フィルタＦｘ２ｊは位相のみを補正するフィルタであるため、ＢＰ_Ｆｘ２ｊは１とする。ＨＰ_Ｆｘ２ｊは、フィルタＦｘ２ｊの位相項である。ＰＴＦ_{ｊ（ｆｘ，０）}は、ＰＴＦ_ｊの空間周波数ｆｙが０における位相を表している。フィルタＦｘ２ｊは、ＰＴＦ_{ｊ（ｆｘ，０）}の符号を反転（−１を乗算）させた関数を有する位相項を有している。なお、ＰＴＦ_１＝−ＰＴＦ_２、ＰＧ_１＝−ＰＧ_２が成立する場合、各フィルタＦｘ２１、Ｆｘ２２は、それぞれ実施形態１のフィルタＦｘ１１、Ｆｘ１２と同じになり、図５に示すフィルタとなる。例えば、撮像素子１０の中央でＰＳＦ_１とＰＳＦ_２が互いに対称となる条件で測距を行う場合が挙げられる。

第１の信号Ｓ_１にフィルタＦｙ１１、Ｆｘ２１を順に用いてフィルタ処理を施すことで修正信号ＣＳ_２１を生成する。第２の信号Ｓ_２にフィルタＦｙ１２、Ｆｘ２２を順に用いてフィルタ処理を施すことで修正信号ＣＳ_２２を生成する。実施形態１と同様に、距離算出工程（図４（ａ）のＳ３０）では、修正信号ＣＳ_２１と修正信号ＣＳ_２２のｘ方向（第１の方向）におけるズレ量を算出する。求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。修正信号ＣＳ_２ｊは、式３乃至式７、式１９を用いると、式２０のように記述できる。

修正信号ＣＳ_２ｊ（ｊ＝１または２）は、ＭＴＦ_ｊを変形した後の振幅伝達関数Ｍ_ｃｓ２ｊ、ＰＴＦ_ｊを変形した後の位相伝達関数Ｐ_ｃｓ２ｊを用いると、式３と対応した式２１のように記述できる。

Ｐ_ｃｓ２１とＰ_ｃｓ２２の差ΔＰ_ｃｓ２が各空間周波数成分のデフォーカスに伴う像ズレ量を決定し、一対の像信号の形状差に大きく影響する。実施形態１と同様に、フィルタＦｙ１１、Ｆｙ１２により、修正信号ＣＳ_２１、ＣＳ_２２は、空間周波数ｆｙが０近傍の帯域に制限された信号となる。そして、Ｐ_ｃｓ２１、Ｐ_ｃｓ２２は、空間周波数ｆｙが０近傍の位相が支配的となる。Ｐ_ｃｓ２１とＰ_ｃｓ２２の差ΔＰ_ｃｓ２は、式２０、式２１を用いると、式２２のように、各点像分布関数の重心間隔に相当する位相成分が残る。

このように、各空間周波数成分の像ズレ量が略一定の信号となり、形状差が軽減した信号となる。この一対の修正信号ＣＳ_２１、ＣＳ_２２を用いることで、第１の瞳領域を通過した光束に対応する第１の信号と第２の瞳領域を通過した光束に対応する第２の信号とのズレ量を高精度に算出でき、被写体の距離を高精度に算出することができる。

なお、実施形態１と同様に、フィルタＦｘ２１、Ｆｘ２２は振幅項ＢＰ_Ｆｘ２１、ＢＰ_Ｆｘ２１を有するフィルタであってもよく、例えばＭＴＦ_１２、ＭＴＦ_１１特性やバンドパス特性を有するように構成していてもよい。前述と同様の効果が得られる。

本実施形態で説明した内容は、上記の形態に制限されるものではない。実施形態１と同様に、第１の信号Ｓ_１と第２の信号Ｓ_２のいずれか一方のみにフィルタ処理を施し、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、像信号修正処理された一方の信号と像信号修正処理されていない他方の信号とで測距を行ってもよい。この場合も、像信号修正処理された一方の信号に対応する修正信号の位相項は、像信号修正処理されていない他方の信号の位相項に近づくため、修正信号と他方の信号との形状差は、第１の信号と第２の信号の形状差よりも低減する。このため、ズレ量の算出誤差が低減し、デフォーカス量及び距離の算出精度が向上する。また、実施形態１において記載した様々な像修正方法及び距離算出方法についても適用可能である。

（実施形態３）
本実施形態では、像信号修正工程（図４（ａ）のＳ２０）において、実施形態１のフィルタＦｘ１１とは異なる位相項を有するフィルタＦｘ３１（位相補正フィルタ）を用いて第１の信号Ｓ_１の像信号修正処理を行う。また、第２の信号Ｓ_２の像信号修正処理については、フィルタＦｘ１２によるフィルタ処理は行わず、フィルタＦｙ１２（バンドパスフィルタ）のみでフィルタ処理を行う。それ以外は実施形態１と同じであるため、実施形態１と異なる部分について主に説明する。

フィルタＦｘ３１（第２のフィルタ）は、Ｃｘ（Ｃｘは２以上の整数）×Ｃｙ（Ｃｙは１以上Ｃｘより小さい整数）セルを有し、信号Ｓ_１の各空間周波数成分のｘ方向の位相を補正するフィルタである。ただし本実施形態ではＣｙ＝１として説明する。

本実施形態では、フィルタＦｘ３１は、各空間周波数成分の位相のみを制御し、振幅は補正しないフィルタであり、光学伝達関数ＯＴＦ_１と光学伝達関数ＯＴＦ_２に対応するフィルタである。より具体的には、フィルタＦｘ３１は、位相伝達関数ＰＴＦ_１と位相伝達関数ＰＴＦ_２の差分に基づく関数を位相項に有するフィルタである。フィルタＦｘ３１は、式２３で表される。

ＢＰ_Ｆｘ３１、ＨＰ_Ｆｘ３１は、それぞれフィルタＦｘ３１の振幅項、フィルタＦｘ３１の位相項である。フィルタＦｘ３１は位相のみを補正するフィルタであるため、ＢＰ_Ｆｘ３１は１とする。ＰＴＦ_{ｊ（ｆｘ，０）}は、位相伝達関数ＰＴＦ_ｊの空間周波数ｆｙが０における位相を表している。

フィルタＦｘ３１のセル値を図７に示す。図７のように、フィルタＦｘ３１はセル値がｘ方向において中心非対称な分布を有している。

第１の信号Ｓ_１にフィルタＦｙ１１、フィルタＦｘ３１を順に用いてフィルタ処理を施すことで修正信号ＣＳ_３１を生成する。第２の信号Ｓ_２にフィルタＦｙ１２を用いてフィルタ処理を施すことで修正信号ＣＳ_３２を生成する。
実施形態１と同様に、距離算出工程（図４（ａ）のＳ３０）では、修正信号ＣＳ_３１とＣＳ_３２のｘ方向（第１の方向）におけるズレ量を算出する。求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。修正信号ＣＳ_３１、ＣＳ_３２は、式３乃至式７、式２３を用いると、それぞれ式２４、式２５のように記述できる。

修正信号ＣＳ_３ｊ（ｊ＝１または２）は、ＭＴＦ_ｊを変形した後の振幅伝達関数Ｍ_ｃｓ３ｊ、ＰＴＦ_ｊを変形した後の位相伝達関数Ｐ_ｃｓ３ｊを用いると、式３と対応した式２６のように記述できる。

Ｐ_ｃｓ３１とＰ_ｃｓ３２の差ΔＰ_ｃｓ３が各空間周波数成分のデフォーカスに伴う像ズレ量を決定し、一対の像信号の形状差に大きく影響する。

実施形態１と同様に、フィルタＦｙ１１、Ｆｙ１２により、修正信号ＣＳ_３１、ＣＳ_３２は、空間周波数ｆｙが０近傍の帯域に制限された信号となる。そして、Ｐ_ｃｓ３１、Ｐ_ｃｓ３２は、空間周波数ｆｙが０近傍の位相が支配的となる。Ｐ_ｃｓ３１とＰ_{ｃｓ３２の}差ΔＰ_ｃｓ３は、式２４乃至式２６を用いると、式２７のように、各点像分布関数の重心間隔に相当する位相成分が残る。

このように、各空間周波数成分の像ズレ量が略一定の信号となり、形状差が軽減した信号となる。この一対の修正信号ＣＳ_３１、ＣＳ_３２を用いることで、第１の瞳領域を通過した光束に対応する第１の信号と第２の瞳領域を通過した光束に対応する第２の信号とのズレ量を高精度に算出でき、被写体の距離を高精度に算出することができる。

このようなフィルタを用いると、片方の信号は一つのフィルタを施すだけで修正信号を生成することができ、像修正処理の計算負荷を更に低減することができる。また、予め記録しておくフィルタデータの記録容量を減らすことができる。

なお、フィルタＦｘ３１は振幅項ＢＰ_Ｆｘ３１を有するフィルタであってもよく、例えばＭＴＦ_１２をＭＴＦ_１１で除算した特性やバンドパス特性を有するように構成していてもよい。前述と同様の効果が得られる。

本実施形態で説明した内容は、上記の形態に制限されるものではない。実施形態１と同様に、第１の信号Ｓ_１と第２の信号Ｓ_２のいずれか一方のみにフィルタ処理を施し、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、像信号修正処理された一方の信号と像信号修正処理されていない他方の信号とで測距を行ってもよい。この場合も、像信号修正処理された一方の信号に対応する修正信号の位相項は、像信号修正処理されていない他方の信号の位相項に近づくため、修正信号と他方の信号との形状差は、第１の信号と第２の信号の形状差よりも低減する。このため、ズレ量の算出誤差が低減し、デフォーカス量及び距離の算出精度が向上する。また、実施形態１において記載した様々な像修正方法及び距離算出方法についても適用可能である。

（実施形態４）
本実施形態は、実施形態１に記載した、バンドパスフィルタＦｙ１１、Ｆｙ１２を用いたフィルタ処理の代わりに、以下のような信号加算処理を行ってもよい。それ以外は実施形態１と同じであるため、実施形態１と異なる部分について主に説明する。

信号加算処理は、撮像素子１０の画素１３の光電変換部１１（あるいは１２）で取得された電気信号に、周囲の画素の光電変換部１１（あるいは１２）で取得した電気信号を加算する信号加算回路を設けることで実現できる。具体的には、暫定ズレ量の算出工程Ｓ１０で算出した暫定ズレ量に基づき、信号加算に使用する信号数（画素数）、画素位置を決める。そして、対象画素の光電変換部で生成された電気信号に、周囲の画素の光電変換部で生成された電気信号を加算する。このような信号加算処理を、第１の信号、第２の信号の、画素の位置に対応した電気信号に行うことで信号Ｓ_１’、Ｓ_２’を生成する。そして、信号Ｓ_１’、Ｓ_２’それぞれにフィルタＦｘ１１，Ｆｘ１２を用いてフィルタ処理することで修正信号を生成する。

画素数は、実施形態１のバンドパスフィルタＦｙ１１、Ｆｙ１２のセル数の大きさと同じにすることで、実施形態１のバンドパスフィルタＦｙ１１、Ｆｙ１２を用いたフィルタ処理と同等の結果を得ることができる。信号加算回路を用いることで、より高速な像信号修正処理が可能となる。

距離検出装置は、第１の信号と第２の信号のうち少なくとも一つの信号において、対象画素の光電変換部に対応した電気信号（成分）にその周囲の画素の光電変換部に対応した電気信号（成分）を信号加算する信号加算回路（不図示）を有している。つまり、第１の信号に対して上述した信号加算をする場合は、信号加算回路は、第１の信号の対象画素の光電変換部１１に対応した電気信号（成分）に、第１の信号の対象画素の周囲の画素の光電変換部１１に対応した電気信号（成分）を加算する。第２の信号についても同様に信号加算されてもよいし、実施形態１乃至４で記載したバンドパスフィルタを用いたフィルタ処理を行ってもよい。また、第２の信号に対して本実施形態の信号加算回路による信号加算処理を行って、第１の信号に対しては、実施形態１乃至４で記載したバンドパスフィルタを用いたフィルタ処理を行ってもよい。

そして、距離検出装置の信号処理部は、第１の方向のセル数が第１の方向に垂直な第２の方向のセル数よりも多い位相補正フィルタを用いて、第１の信号と第２の信号のうち少なくとも一つの信号をフィルタ処理する機能を有する。位相補正フィルタを用いてフィルタ処理される信号は、第１の信号と第２の信号のうち信号加算回路で信号加算された信号でもよい。また、第１の信号と第２の信号のうち信号加算回路で信号加算されず、実施形態１乃至４で記載したバンドパスフィルタを用いたフィルタ処理された信号であってもよい。また、位相補正フィルタを用いてフィルタ処理される信号は、第１の信号と第２の信号の両方であってもよい。

本実施形態は、実施形態２又は３においても適用することができる。

（実施形態５）
本実施形態は、実施形態１に対して距離検出装置が、ズレ量算出部４３によって算出されたズレ量の大きさを基に、像信号修正処理を行うか否かを判定する判定部（不図示）をさらに有している。本実施形態の距離検出方法を、図８に示す。

第１の信号Ｓ_１と第２の信号Ｓ_２の形状差は、デフォーカス量が大きく、ズレ量が大きいほど大きくなる。そのため、ズレ量が大きいとき、ズレ量の検出誤差が大きくなり、測距精度が低下する。一方、ズレ量が小さいと、ズレ量の検出誤差は小さくなるため、測距精度の低下は大きくない。そのため、図７のように、第１の信号Ｓ_１と第２の信号Ｓ_２の暫定ズレ量の大きさが閾値に対して大きいか否かを判定する判定処理工程（ステップＳ４０）を暫定ズレ量の算出工程Ｓ１０の後に設ける。

ズレ量が閾値よりも大きい場合は、実施形態１と同じ像信号修正処理（Ｓ２０）を行い、その後距離算出処理工程（Ｓ３０）を行う。一方、ズレ量が閾値以下である場合は、像信号修正処理（Ｓ２０）は行わず、暫定ズレ量をズレ量として距離算出処理工程（Ｓ３０）を行う。なお、閾値の大きさは、ズレ量の検出誤差と許容誤差との比較によって決定することができる。ズレ量の許容誤差は、目標とする測距精度と距離検出装置の構成や用途によって決定される。

このような判定工程を設けることによって、被写体の概略の距離（デフォーカス量）に応じて適切な測距を行うことができ、より高速かつ高精度な測距を行うことができる。

本実施形態は、実施形態２乃至４のいずれの実施形態においても適用することができる。

（実施形態６）
上述した実施形態では被写体の距離を算出する例について示したが、ズレ量に対応する視差量を検出する視差量検出装置にも本発明を提供することができる。例えば、視差量検出装置では、ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。なお、視差量とは、２つの信号のズレ量であってもよく、またはそれらに関連した物理量であってもよい。

この視差量検出装置は、実施形態１乃至５の距離検出装置４０の距離算出部４１の代わりに、２つの信号のズレ量に対応する視差量を算出する視差量算出部を有する構成とすれば、その他の構成は距離検出装置４０と同じでよい。なお、２つの信号とは、具体的には、第１の信号が像信号修正処理された修正信号と、第２の信号が像信号修正処理された修正信号である。さらに、視差量検出装置は、視差量（ズレ量）に応じて、所定の視差量の被写体を画像から抽出する抽出部を有していてもよい。

本実施形態の視差量検出方法は、図４（ａ）のフローチャートにおいて、距離算出処理Ｓ３０の代わりに視差量算出処理を行うようにすれば、その他の処理工程は、図４（ａ）、（ｂ）と同じでよい。なお、視差量の算出は、式１３を用いてデフォーカス量を算出してもよいし、信号のズレ量を算出してもよいし、それらに関連した物理量を算出するようにしてもよい。

本実施形態においても、機能が分離された２つの１次元的な像信号修正フィルタを用いたフィルタ処理を一対の像信号の少なくとも一方に施すため、高速で高精度に視差量を検出することができる。

また、この視差量検出装置も実施形態１乃至５に記載した距離検出装置と同様に撮像装置の一部として用いることができる。本実施形態においても他の実施形態と同じく、周波数空間で像信号修正処理を行ってもよい。

（実施形態７）
本発明は、距離検出装置や視差量検出装置の他にコンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離の算出あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。

本実施形態のプログラムは、距離検出装置、視差量検出装置またはそのいずれかを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、高速で高精度な距離検出、視差量検出が可能なものとすることができる。

また、本実施形態のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。

具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、距離検出装置、視差量検出装置、撮像装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

４０ 距離検出装置
４１ 距離算出部
４２ 信号処理部

Claims (26)

1. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、
   第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正フィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする距離検出装置。
2. 前記バンドパスフィルタ及び前記位相補正フィルタは、以下の式を満たすセル数を有することを特徴とする請求項１に記載の距離検出装置。
   

   

   
   ただし、Ｎ_１０１とＮ_１０２はそれぞれ前記バンドパスフィルタの前記第１の方向と前記第２の方向のセル数であり、Ｎ_２０１とＮ_２０２は前記位相補正フィルタの前記第１の方向と前記第２の方向のセル数である。
3. 前記バンドパスフィルタの前記第１の方向のセル数は、前記バンドパスフィルタの前記第２の方向のセル数の４分の１以下であり、
   前記位相補正フィルタの前記第２の方向のセル数は、前記位相補正フィルタの前記第１の方向のセル数の４分の１以下であることを特徴とする請求項１又は２に記載の距離検出装置。
4. 前記バンドパスフィルタの前記第１の方向のセル数は、１であることを特徴とする請求項１乃至３のいずれか１項に記載の距離検出装置。
5. 前記位相補正フィルタの前記第２の方向のセル数は、１であることを特徴とする請求項１乃至４のいずれか１項に記載の距離検出装置。
6. 前記位相補正フィルタは、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数のうち少なくとも一方に基づくフィルタであることを特徴とする請求項１乃至５のいずれか１項に記載の距離検出装置。
7. 前記信号処理部は、前記バンドパスフィルタと前記位相補正フィルタとを用いて、前記第１の信号と前記第２の信号それぞれをフィルタ処理することを特徴とする請求項１乃至６のいずれか１項に記載の距離検出装置。
8. 前記位相補正フィルタは、周波数空間において振幅項と位相項を有する関数で表され、前記第１の信号をフィルタ処理する際に使用される前記位相補正フィルタは、位相項に前記第２の瞳領域に対応する位相伝達関数を有するフィルタであり、
   前記第２の信号をフィルタ処理する際に使用される前記位相補正フィルタは、位相項に前記第１の瞳領域に対応する位相伝達関数を有するフィルタであることを特徴とする請求項７に記載の距離検出装置。
9. 前記位相補正フィルタは、周波数空間において振幅項と位相項を有する関数で表され、前記第１の信号をフィルタ処理する際に使用される前記位相補正フィルタは、位相項に前記第１の瞳領域に対応する位相伝達関数の符号を反転させた関数を有するフィルタであり、
   前記第２の信号をフィルタ処理する際に使用される前記位相補正フィルタは、位相項に前記第２の瞳領域に対応する位相伝達関数の符号を反転させた関数を有するフィルタであることを特徴とする請求項７に記載の距離検出装置。
10. 前記信号処理部は、前記第１の信号を前記バンドパスフィルタと前記位相補正フィルタとを用いてフィルタ処理し、
    前記信号処理部は、前記バンドパスフィルタのみを用いて、前記第２の信号をフィルタ処理することを特徴とする請求項１乃至６のいずれか１項に記載の距離検出装置。
11. 前記位相補正フィルタは、周波数空間において振幅項と位相項を有する関数で表され、前記位相補正フィルタは、前記位相項に前記第２の瞳領域に対応する位相伝達関数と前記第１の瞳領域に対応する位相伝達関数との差分に基づく関数を有するフィルタであることを特徴とする請求項１０に記載の距離検出装置。
12. 前記第１の信号と前記第２の信号のズレ量を算出するズレ量算出部を有していることを特徴とする請求項１乃至１１のいずれか１項に記載の距離検出装置。
13. 前記ズレ量が閾値より大きい場合、前記信号処理部は、前記第１の信号と前記第２の信号とをフィルタ処理することを特徴とする請求項１２に記載の距離検出装置。
14. 前記第１の方向は、前記射出瞳が前記第１の瞳領域と前記第２の瞳領域とに分割された方向に対応していることを特徴とする請求項１乃至１３のいずれか１項に記載の距離検出装置。
15. 前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
    前記第１の信号と前記第２の信号とを生成する撮像素子と、
    請求項１乃至１４のいずれか１項に記載の距離検出装置と、を有する撮像装置。
16. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、
    第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正のためのフィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理工程と、を含むことを特徴とする距離検出方法。
17. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、視差量を算出する視差量算出部と、
    第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも少ないバンドパスフィルタと、前記第１の方向のセル数が前記第２の方向のセル数よりも多い、位相補正フィルタと、を用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする視差量検出装置。
18. 前記バンドパスフィルタ及び前記位相補正フィルタは、以下の式を満たすセル数を有することを特徴とする請求項１７に記載の視差量検出装置。
    

    

    
    ただし、Ｎ_１０１とＮ_１０２はそれぞれ前記バンドパスフィルタの前記第１の方向と前記第２の方向のセル数であり、Ｎ_２０１とＮ_２０２は前記位相補正フィルタの前記第１の方向と前記第２の方向のセル数である。
19. 前記バンドパスフィルタの前記第１の方向のセル数は、前記バンドパスフィルタの前記第２の方向のセル数の４分の１以下であり、
    前記位相補正フィルタの前記第２の方向のセル数は、前記位相補正フィルタの前記第１の方向のセル数の４分の１以下であることを特徴とする請求項１７又は１８に記載の視差量検出装置。
20. 前記位相補正フィルタは、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数のうち少なくとも一方に基づくフィルタであることを特徴とする請求項１７乃至１９のいずれか１項に記載の視差量検出装置。
21. 前記信号処理部は、前記バンドパスフィルタと前記位相補正フィルタとを用いて、前記第１の信号と前記第２の信号それぞれをフィルタ処理することを特徴とする請求項１７乃至２０のいずれか１項に記載の視差量検出装置。
22. 前記信号処理部は、前記第１の信号を前記バンドパスフィルタと前記位相補正フィルタとを用いてフィルタ処理し、
    前記信号処理部は、前記バンドパスフィルタのみを用いて、前記第２の信号をフィルタ処理することを特徴とする請求項１７乃至２０のいずれか１項に記載の視差量検出装置。
23. 前記第１の方向は、前記射出瞳が前記第１の瞳領域と前記第２の瞳領域とに分割された方向に対応していることを特徴とする請求項１７乃至２２のいずれか１項に記載の視差量検出装置。
24. 前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
    前記第１の信号と前記第２の信号とを生成する撮像素子と、
    請求項１７乃至２３のいずれか１項に記載の視差量検出装置と、を有する撮像装置。
25. 射出瞳において第１の瞳領域と前記第１の瞳領域とは異なる第２の瞳領域とを有する結像光学系と、
    前記第１の瞳領域を通過した光束に対応する第１の信号の成分を生成する光電変換部と、前記第２の瞳領域を通過した光束に対応する第２の信号の成分を生成する光電変換部と、を備える複数の画素を有する撮像素子と、
    前記第１の信号と前記第２の信号に基づき、被写体の距離を算出する距離算出部と、
    前記第１の信号と前記第２の信号のうち少なくとも一つの信号において、対象画素の光電変換部に対応した成分に前記対象画素の周囲の画素の光電変換部に対応した成分を信号加算する信号加算回路と、
    第１の方向のセル数が前記第１の方向に垂直な第２の方向のセル数よりも多い位相補正フィルタを用いて、前記第１の信号と前記第２の信号のうち少なくとも一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする撮像装置。
26. 前記撮像素子は、２次元状に配置された複数の画素を有し、
    前記第１の方向は、前記複数の画素が配置された面内方向において、前記射出瞳が前記第１の瞳領域と前記第２の瞳領域とに分割された方向に対応し、
    前記第２の方向は、前記複数の画素が配置された面内方向における前記第１の方向に垂直な方向に対応することを特徴とする請求項１５、２４及び２５のいずれか１項に記載の撮像装置。

Images