JP6727856B2 - 撮像装置およびその制御方法 - Google Patents

Description

撮像装置およびその制御方法に関する。

特許文献１は、マイクロレンズを二次元的に配置するとともに、各マイクロレンズの下に射出瞳を分割するように複数の光電変換部（分割画素部) を備える撮像素子を用いて、位相差方式の焦点検出を行う撮像装置を開示している。この撮像装置は、縦の瞳分割（縦目) と、横の瞳分割（横目) とを、分割画素部同士の加算によって実現する。また、特許文献２は、瞳分割された像を複数画素加算することによって、Ｓ／Ｎを向上させる撮像装置を開示している。

特許第５１５７１２８号公報 国際公開第２０１１／１３６０３１号

特許文献１が開示する撮像装置のように、マイクロレンズ下の分割画素部間の加算によってＳ／Ｎを向上させる場合、加算前の信号に対して被写界深度の浅い信号を生成することとなる。したがって、生成された信号は、大きなデフォーカス量の画像領域に関する焦点検出に用いる信号には適さない。これは、被写体のエッジ成分がボケによる低周波成分と混合されてしまい、バンドパスフィルタのような線形フィルタで抽出が困難であるので、相関演算を行ったとしても極値を求められないからである。

また、特許文献２が開示する撮像装置では、瞳分割された像の空間周波数が下がってしまうので、焦点検出精度が低下してしまう。本発明は、焦点検出精度を低下させることなくＳ／Ｎを向上させることが可能な撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、少なくとも４つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子と、前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する第２の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第１の視差画像信号を生成する第１の合成モードとを有する合成手段を有し、前記合成手段は、焦点検出処理の種類に応じて、前記第２の合成モードまたは前記第１の合成モードで動作する。

本発明の撮像装置によれば、焦点検出精度を低下させることなくＳ／Ｎを向上させることが可能となる。

本実施形態の撮像装置の構成例を示す図である。 単位画素セルの構成の一例を説明する図である。 ＭＬ内分割画素加算で得られた像の被写界深度を説明する図である。 デフォーカス量の検出処理の例を説明するフローチャートである。 実施例２で用いられる撮像素子の構成を示す図である。 焦点検出部が実行する相関演算を説明する図である。 斜め線に関するＭＬ間分割画素加算を説明する図である。 斜め線検出フィルタの出力値の例を示す図である。

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
撮像装置１００は、撮像光学系１０１乃至光学ユニット駆動制御部１１０を備える。撮像光学系１０１は、被写体光を受け、不図示の複数のレンズ群および絞りを介して撮像素子１０２に光束を導く。撮像光学系１０１を通過した光束は、撮像素子１０２上に結像し、光学像を形成する。また、撮像光学系１０１にはフォーカスレンズが構成されている。フォーカスレンズは、光学ユニット駆動制御部１１０からの駆動制御命令によって、または撮像光学系に構成される不図示のフォーカスリングを手動で調節することによって、光軸方向に駆動する。

撮像素子１０２は、視差画像信号を出力可能である。撮像素子１０２には、複数の単位画素セル（画素部）が２次元マトリクス状に配列されており、撮像光学系１０１に含まれるシャッターによって露光量の制御が行われる。撮像光学系１０１によって結像された像は光電変換され、読み出し制御時に、単位画素中に構成される分割画素部に蓄積された電荷を、Ａ／Ｄ変換部１０３に順次出力する。なお、撮像装置１００は、不図示のシステム制御部として機能するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えている。システム制御部が、撮像装置１００が備える各処理部を制御することによって、撮像装置１００の機能が実現される。

図２は、単位画素セルの構成の一例を説明する図である。
複数の単位画素セル２００の各々は、入射光を集光する１つのマイクロレンズ２０１の下に、複数の分割画素部を有する。具体的には、単位画素セル２００は、少なくとも４つ（２×２）の分割画素部を有する。複数の分割画素部は、撮像光学系１０１の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されている。撮像光学系１０１を介して入射された光は、マイクロレンズ２０１を通って、各分割画素部にて蓄積される。この例では、単位画素セル２００は、各々Ｒ，Ｇ，Ｂのカラーフィルタを備えている。カラーフィルタは、二次元状にベイヤー配列で固体撮像素子上に配置されている。

各マイクロレンズ下の同一画素位置に存在する画素のみで構成された二次元画像は、他の同一画素位置に存在する画素のみで構成された二次元画像に対して、視差を有する。つまり、図２の１Ａに対応する２Ａ，３Ａ，４Ａの画素で構成された画像と、１Ｂに対応する２Ｂ，３Ｂ，４Ｂの画素で構成された画像は、異なる視差を有する。図２に示す２×２の分割画素部からは、合計４つの視差を有する画像信号（視差画像信号）が出力される。これらの視差画像信号の相関演算処理を行うことで、視差量の検出が可能となる。

図１の説明に戻る。Ａ／Ｄ変換部１０３は、不図示のアナログ信号処理部でのアナログ信号処理によって撮像素子１０２から出力されるアナログ電気信号を、デジタル電気信号（画素信号) に変換し、キャプチャー部１０４に出力する。アナログ信号処理部は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等である。

キャプチャー部１０４は、マイクロレンズ２０１に対する分割画素部の相対的な位置を判別する属性を付与し、画像合成部１０５および分割画素加算部１０８に信号出力を行う。画像合成部１０５は、入力された単位画素セル内の画素の信号を全加算して撮像用画像（本画像）を生成し、デジタル信号処理部１０６に出力する。具体的には、画像合成部１０５は、図２の１Ａ，１Ｂ，１Ｃ，１Ｄの位置に対応する分割画素部からの信号を加算する。

デジタル信号処理部１０６は、ベイヤー配列で入力された画像に対して、同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、外部記録装置１０７に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、説明を省略する。

システム制御部および分割画素加算部１０８は、分割画素部からの信号を加算することで合成して、視差画像信号を生成する合成手段として機能する。分割画素加算部１０８は、第２の合成モードと、第１の合成モードとを有する。第２の合成モードは、複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する合成モードである。第１の合成モードは、画素部内の分割画素部からの信号を合成して第１の視差画像信号を生成する合成モードである。分割画素加算部１０８は、焦点検出処理の種類に応じて、第２の合成モードまたは第１の合成モードで動作する。例えば、第１の合成モードでは、分割画素部１Ａと１Ｃからの信号を加算し、分割画素部１Ｂと１Ｄからの信号を加算して横目生成を行う。この加算を、第１の加算であるＭＬ（Ｍｉｃｒｏ Ｌｅｎｓ）内分割画素加算とする。もちろん、ＭＬ内分割画素加算は、縦目生成に適用してもよい。縦目生成の際には、例えば、分割画素部１Ａと１Ｂとを加算し、分割画素部１Ｃと１Ｄとを加算する。すなわち、この例では、画素部内すなわち単位画素セル２００内で、瞳分割方向と直交する方向に分割画素部からの信号を加算することをＭＬ内分割画素加算とする。

また、例えば、第２の合成モードでは、分割画素部１Ａと３Ａからの信号を加算し、分割画素部１Ｂと３Ｂからの信号を加算して横目生成を行う。この加算を、第２の加算であるＭＬ間分割画素加算とする。もちろん、ＭＬ間分割画素加算は、縦目生成に適用してもよい。縦目生成の際には、例えば、分割画素部１Ａと２Ａからの信号を加算し、分割画素部１Ｃと２Ｃからの信号を加算する。すなわち、この例では、単位画素セル２００間で、瞳分割方向と直交する方向に、同じ位置の分割画素部からの信号を加算することをＭＬ内分割画素加算とする。分割画素加算部１０８は、例えば、焦点検出処理において検出されるデフォーカス量の大きさに応じて、第２の合成モードまたは第１の合成モードで動作する。

図３は、ＭＬ内分割画素加算によって得られた像の被写界深度を説明する図である。
ＭＬ内分割画素加算は、被写界深度の浅い画像が生成されるので、ＭＬ間分割画素加算の場合に比べて、なまった像が得られるという特徴がある。

図３では、許容錯乱円をδとし、撮像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。点線で示された面が、撮像素子の存在する像面である。通常、単位画素セルは許容錯乱円δのサイズに応じて画素ピッチが設定される。

位置３００から放射される光線は、２×２に分割されて狭くなった瞳分割領域３０１を介して撮像素子に結像される。このとき、瞳分割領域３０１を介して得られた光線の水平及び垂直方向の実効絞り値Ｆ０１は、Ｆ０１＝２Ｆ（２は分割数） と暗くなる。各視差画像信号の実行的な被写界深度は、±２Ｆδと２倍深くなり、合焦範囲が２倍に広がる。実行的な被写界深度±２Ｆδの範囲内では、各視差画像信号に合焦した被写体像が取得されている。つまり、分割画素部１Ａと１Ｃ、分割画素部１Ｂと１Ｄとを加算して生成される横目は、１Ａ、１Ｂの位置のみで生成される横目よりも被写界深度が浅い。したがって、ＭＬ内分割画素加算によって得られる像は、相関演算処理を行った際に、一致度に変化が起きにくいので、大きなデフォーカス量を有した像に対しては検出精度が低くなる。

一方、ＭＬ間分割画素加算を行った像は、±２Ｆδのままであり、シャープな像が得られる。したがって、一致度の変化が起きやすく大きなデフォーカス量を有した像に対して検出精度が高くなる。

なお、２×２分割の撮像素子の場合には、ＭＬ内の分割画素加算方向は、瞳分割方向と直交方向のみの加算となるため、横目の瞳分割に対する縦目間の画素加算による被写界深度の影響は小さくなる。しかし、縦目方向の被写界深度が浅くなることによって、低周波成分の増加が発生し、デフォーカス検出可能な範囲が狭まってしまう。

また、撮像素子の画素配列としての水平垂直方向と各分割画素部の開口重心によって定まる瞳分割方向は、ケラレの影響などで必ずしも一致しない。したがって、垂直方向のＭＬ内分割画素加算を行ったとしても、水平方向の被写界深度は浅くなり、同様の問題が発生する。さらに、４×４に分割された撮像素子において、横目を生成する際に、横２画素と縦４画素を加算して瞳分割画素を生成する場合においては、被写界深度が浅くなる影響が大きくなる。

ＭＬ間分割画素加算は、像高方向の解像度が低くなってしまうので、合焦付近にフォーカスレンズが存在していたとしても、細線に代表される高周波成分の検出精度が下がってしまうという特徴がある。一方、ＭＬ内分割画素加算は像高方向の解像度が低くならないため、細線の検出精度が上がるという特徴がある。

なお、ＭＬ間分割画素加算は、射出瞳の一部を通過した像を用いて相関演算処理を行うことになるため、像高の高い部分でシェーディングの影響を受けやすくなるという特徴がある。具体的には、像高の左方向にいくにしたがってＢおよびＤ像は入射光が減り、右方向にいくにしたがってＡおよびＣ像は入射光が減ることになる。また上方向にいくにしたがってＡおよびＢ像は入射光が減り、下方向にいくにしたがってＣおよびＤ像は入射光が減ることになる。このような課題を解決するために、像高に応じて、シェーディングの影響を受けにくい分割画素部を、合成する信号の出力元の分割画素部として選択した上で、ＭＬ間分割画素加算を行ってもよい。また、ＭＬ間分割画素加算を行う際には、相関演算を行う際のシフト方向と直交する方向、つまり瞳分割方向と直交する方向に画素加算を行うことが望ましい。

上述の特徴より、分割画素加算部１０８は、例えば、デフォーカス量の検出モードに応じて、ＭＬ間分割画素加算またはＭＬ内分割画素加算を実行する。具体的には、分割画素加算部１０８は、大きなデフォーカス量を検出する検出モードでは、ＭＬ間分割画素加算を選択し、合焦付近のデフォーカス量を検出する検出モードでは、ＭＬ内分割画素加算を選択し、加算により得られる像を焦点検出部１０９に出力する。焦点検出部１０９は、相関演算を行うことで、位相差を持った分割画素部間の像ずれ量Ｎを算出し、撮像光学系１０１の状態によって一意に決定する固定値Ｋに基づいて、デフォーカス量を検出し、光学ユニット駆動制御部１１０に出力する。

図６は、焦点検出部が実行する相関演算を説明する図である。
図６中のａおよびｂは、ＭＬ間分割画素加算もしくはＭＬ内分割画素加算によって生成された擬似的な画素出力を示す符号である。焦点検出部１０９は、画素出力ａ，ｂを、各々列方向または行方向に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成・データ化し、各々の対応点のずれをＳＡＤ演算によって求める。ＳＡＤ演算の結果は、式（１）によって求められる。

ＹＡｎおよびＹＢｎは、水平のマイクロレンズのｎ個の画素数を含んだ数列である。ｉは、各画素位置を表す。焦点検出部１０９が画素をずらしながら差の絶対値を算出するときのずらし量をｍとする。最も値の小さなＣを取るｍの位置が、合焦位置に対応するずれ量Ｎを示す。

（１）合焦のときには、撮影光学系が結像する位置が、Ｐ７のＭＬ下のＰＤになるので、Ａ像用画素群とＢ像用画素群は、ほぼ一致する。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（１）は、０に近似することを表している。
（２）後ピンのときには、撮影光学系が結像する位置として、Ａ像用画素がＰ５、Ｂ像用画素がＰ９のＭＬ下の画素になる。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（２）が発生する。
（３）前ピンのときには、撮影光学系と結像する位置として、Ａ像用画素がＰ９、Ｂ像用画素がＰ５のＭＬ下の画素になる。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（３）は、後ピンとは逆方向の像ずれ量を示す。このことは、合焦時には、Ａ像用画素群およびＢ像用画素群は、同一の被写体を見ているが、後ピンおよび前ピン時には、Ａ像用画素群およびＢ像用画素群は、像ずれ量Ｎだけずれた被写体を見ているということを意味する。

デフォーカス量ｄは、公知の技術を用いて、例えば、像ずれ量Ｎと受光素子に至るまでの光学状態によって一意に決まるＫの関係に基づいて、式（２）によって求める事が可能である。
ｄ＝Ｎ×Ｋ…式（２）

なお、焦点検出部１０９による相関演算を行う前に、バンドパスフィルタによって被写体像の帯域制限を行うことが望ましい。したがって、撮像装置１００が、分割画素部から出力される視差画像信号の帯域を制限するバンドパスフィルタを備えるようにしてもよい。具体的には、撮像装置１００は、小さいデフォーカス量を検出する場合においては、被写体の高い帯域の像の検出に用いるバンドパスフィルタを適用した上で、ＭＬ内分割画素加算を実行する。すなわち、撮像装置１００は、帯域の制限により得られる帯域の大きさに応じて、ＭＬ内分割画素加算またはＭＬ間分割加算を実行する。撮像装置１００が、最終合焦位置を検出する場合に、被写体の高い帯域の像の検出に用いるバンドパスフィルタを適用した上で、ＭＬ内分割画素加算を実行してもよい。図１に示す光学ユニット駆動制御部１１０は、焦点検出部１０９で得られたデフォーカス量に基づいて、被写体に合焦するように撮像光学系１０１を駆動させる。

図４は、撮像装置によるデフォーカス量の検出処理の例を説明するフローチャートである。
以下の説明では、大きいデフォーカス量を検出する検出モードを大デフォーカス検出モードと記述する。また、小さいデフォーカス量を検出する検出モードを小デフォーカス検出モードと記述する。不図示のシステム制御部は、ＳＷ１が押されている間、オートフォーカス動作をスタートする。ステップＳ４００において、システム制御部が、検出モードを大デフォーカス検出モードに設定する。

ステップＳ４０１において、撮像素子１０２が、分割画素部１Ａ，１Ｂ，１Ｃ，１Ｄから出力されるＡ，Ｂ，Ｃ，Ｄ像の読み出しを行う。次に、ステップＳ４０２において、システム制御部が、検出モードが大デフォーカス検出モードであるかを判定する。検出モードが大デフォーカス検出モードである場合は、処理がステップＳ４０４に進む。検出モードが大デフォーカス検出モードでない場合（例えば、小デフォーカス検出モードである場合）は、処理がステップＳ４０３に進む。

ステップＳ４０４において、分割画素加算部１０８が、ＭＬ間分割画素加算を行う。これにより、位相差のある２像を擬似的に生成する。そして、処理がステップＳ４０５に進む。ＭＬ間分割画素加算によって得られた像は、被写界深度が深いので、大きなボケが生じている状態でもデフォーカス量の検出性能が高いという特徴がある。

また、ステップＳ４０３において、分割画素加算部１０８が、ＭＬ内分割画素加算を行う。そして、処理がステップＳ４０５に進む。ＭＬ内分割画素加算によって得られた像は、空間周波数成分が減衰していないので、細線に代表される高周波成分の検出性能が高いという特徴がある。したがって、ＭＬ内分割画素加算は、最終合焦判断を行うためのデフォーカス量を検出する設定がされている場合において、有効である。

ステップＳ４０５において、焦点検出部１０９が、ステップＳ４０３もしくはＳ４０４で生成された像に対して、相関演算（ＳＡＤ演算）を行う。続いて、ステップＳ４０６において、焦点検出部１０９が、極値の検出処理を行う。続いて、ステップＳ４０７において、システム制御部が、極値を検出できたかを判定する。極値を検出できた場合は、システム制御部が、像ずれ量ｄにＫを乗算して得られるデフォーカス量を光学ユニット駆動制御部１１０に出力して、処理がＳ４０９に進む。極値を検出できなかった場合は、処理がＳ４０８に進む。

ステップＳ４０８において、システム制御部が、検出モードを大デフォーカス検出モードに設定する。また、ステップＳ４０９において、システム制御部が、最終合焦位置を次のフレームで検出するために、検出モードを小デフォーカス検出モードに設定する。このように小デフォーカス検出モードに変更することで、大デフォーカス検出モードでのＭＬ間分割画素加算によって減衰する空間周波数による影響を抑えることが可能となる。

次に、ステップＳ４１０において、システム制御部が、ＳＷ１が押されたかを判定する。ＳＷ１が押された場合は、処理がステップＳ４０２に戻る。ＳＷ１が押されていない場合は、オートフォーカス動作を終了する。このように、本実施例では、デフォーカス量の検出モードに応じて、ＭＬ間分割画素加算またはＭＬ内分割画素加算を実行することで、焦点検出処理の精度を低下させることなくＳ／Ｎ比を向上させることが可能となる。

撮像装置が、以下の方式を適用してもよい。すなわち、撮像装置は、分割画素部を輝度信号化する目的でＭＬ間分割画素加算を一定数行った像に対して、さらにデフォーカス量の検出モードに基づいてＭＬ間分割画素加算またはＭＬ内分割画素加算を実行する。具体的には、輝度信号を行う目的でＭＬ間分割画素加算を水平２、垂直２画素加算して瞳分割した像を生成し、さらにＳ／Ｎを向上させる目的でＭＬ間分割画素加算またはＭＬ内分割画素加算を実行する。なお、ＭＬ間分割画素加算とＭＬ内分割画素加算とを排他的に実行してもよい。

また、本実施例では、大デフォーカス量モードの際にＭＬ間分割画素加算を選択し、小デフォーカス量モードの際にＭＬ内分割画素加算を選択するが、必ずしもこのように制御する必要はない。ＭＬ間分割画素加算による相関像と、ＭＬ内分割画素加算による相関像とを同時に算出し、大デフォーカス量検出の目的でＭＬ間分割画素加算による相関像を用い、最終合焦位置を判定する目的でＭＬ内分割画素加算による相関像を用いてもよい。さらに、一方の加算による相関像を他方の相関像の信頼性評価の目的で用いてもよい。具体的には、ＭＬ内分割画素加算によって得られた相関像に複数の極値が存在する場合において、ＭＬ間分割画素加算によって得られた相関像の極値の像ずれ量付近に存在する極値を有効とする。

さらに、分割画素加算部１０８が、ＭＬ内分割画素加算で得られた第１の視差画像信号から更にＭＬ間分割画素加算で合成された視差画像信号を第２の視差画像信号として生成するようにしてもよい。

（実施例２）
撮像素子１０２から全ての分割画素部を読み出し、Ａ／Ｄ変換後のデジタル処理によって分割画素部からの信号の加算を行うと、転送時間および消費電力が多くかかってしまう場合がある。そこで、実施例２の撮像装置では、システム制御部が、Ａ／Ｄ変換前に、撮像素子内で、予め、第２の合成モードまたは第１の合成モードで信号の合成を行う。

図５は、実施例２で用いられる撮像素子の構成を示す図である。
図５において、ＰＤ１Ａ、ＰＤ１Ｂ、ＰＤ１Ｃ、ＰＤ１Ｄ、ＰＤ３Ａ，ＰＤ３Ｂ，ＰＤ３Ｃ，ＰＤ３Ｄは、それぞれ、分割画素部１Ａ、１Ｂ、１Ｃ、１Ｄ、３Ａ、３Ｂ、３Ｃ、３Ｄに対応するフォトダイオードである。フォトダイオードの出力は、Ｒｄ１Ａ、Ｒｄ１Ｂ、Ｒｄ１Ｃ、Ｒｄ１Ｄ、Ｒｄ３Ａ、Ｒｄ３Ｂ、Ｒｄ３Ｃ、Ｒｄ３Ｄの読み出しトランジスタによって、電荷としてフローティングディフュージョン（ＦＤ）上に転送される。ＶＤＤは、撮像素子の電源であって、ＲｅｓによってＦＤ上の電荷がクリアされる。Ｓｅｌは、行読み出しトランジスタであって、画素ソースフォロワを介して、画素値が出力される。

実施例１で説明したＭＬ間分割画素加算と同等の処理を行うためには、システム制御部が、Ｒｅｓによって画素値をリセットした上で、Ｒｄ１ＡおよびＲｄ３Ａのトランジスタを制御し、ＦＤ上にＰＤ１ＡおよびＰＤ３Ａの電荷を転送する。次に、システム制御部が、Ｓｅｌを制御し、画素値をＡ／Ｄ変換部１０３に出力する。同様に、システム制御部が、Ｒｄ１ＢおよびＲｄ３Ｂを制御することで、横目方向のＭＬ分割画素加算を行うことが可能となる。

一方、ＭＬ内分割画素加算を行う際には、Ｒｄ１Ａ、Ｒｄ１ＣをＦＤに蓄積し、画素値として出力を行った後で、Ｒｄ１Ｂ、Ｒｄ１Ｄを同様に制御し出力を行う。このように分割画素部間の加算を行う単位でＦＤを共有することで、撮像素子１０２内で分割画素部からの信号の加算を行うことが可能である。

実施例２では、システム制御部が、ＭＬ間分割画素加算を実行するかＭＬ内分割画素加算を実行するかを判定し、判定結果に基づいて、トランジスタの転送の順番を切り換えるレジスタを制御する。このように制御することで、転送時間の削減および省電力化が可能となる。

（実施例３）
実施例３の撮像装置は、画像の方向成分を検出する方向検出手段として斜め線検出フィルタを備える。そして、撮像装置１００は、検出された画像の方向成分に基づいて、第２の合成モードまたは第１の合成モードで動作する。

図７は、斜め方向の細線について、ＭＬ間分割画素加算で生成される像について説明する図である。
Ｌは、相関演算を行うオートフォーカス枠の範囲である。Ｎは、ＭＬ間分割画素加算数である。Ｐは、画素ピッチを示す。θ１およびθ２は、細線の角度を示す。図７（Ａ）および図７（Ｃ）は、それぞれ異なる角度の細線を画素上に投影した像を示す。図７（Ｂ）は、図７（Ａ）に示す像を垂直方向にＭＬ間分割画素加算した結果を示す。図７（Ｄ）は、図７（Ｃ）に示す像を垂直方向にＭＬ間分割画素加算した結果を示す。

図７（Ａ）に示す像に対して、垂直Ｎ画素のＭＬ間分割画素加算を行うと、図７（Ｂ）に示されるように、水平方向に一様の輝度値となるので、模様が存在しなくなる。したがって、分割画素部の加算結果に基づいて相関演算を行っても、極が存在しないので、焦点検出処理を行うことが困難である。

一方、図７（Ｃ）に示す像に対して垂直Ｎ画素のＭＬ間分割画素加算を行うと、図７（Ｄ）に示されるように、水平方向端部に模様が存在するので、相関演算によって極を検出することが可能となる。つまり、下記の式（３）で示される角度θの細線が、Ｎ画素のＭＬ間分割加算を行った際に極の検出が可能な細線である。

θで示される範囲は、ＭＬ間分割画素加算を行った場合に極を検出可能な細線の角度である。したがって、実施例２では、撮像装置１００が、斜め線検出フィルタ（不図示）を備え、この検出フィルタを、ＭＬ間分割画素加算を行う前の像に適用する。撮像装置１００は、検出フィルタの出力値を閾値と比較し、出力値が閾値以上である場合には、ＭＬ間分割加算を行う。撮像装置１００は、出力値が閾値未満である場合には、ＭＬ内分割画素加算を行う。このように、実施例２の撮像装置１００は、斜め線検出フィルタの出力に応じて、ＭＬ間分割画素加算またはＭＬ内分割画素加算を実行する。もちろん、分割画素部を輝度信号化する目的でＭＬ間分割画素加算を選択した上で、さらに、斜め線検出フィルタの出力に応じて、ＭＬ内分割画素加算を選択してもよい。

図８は、斜め線検出フィルタの出力値の例を示す図である。
図８（Ａ）乃至（Ｄ）に示す斜め線検出フィルタは、３×３タップのデジタルフィルタである。デジタルフィルタは、各タップ位置に存在する係数を画素ごとに適用することで、斜め線の検出を行うことが可能となる。ＭＬ間分割画素加算で角度２２．５°までの細線について極を検出可能とする場合は、図８（Ｂ）のデジタルフィルタの出力値と図８（Ｄ）のデジタルフィルタの出力値を水平方向に積分する。積分した結果が閾値よりも高ければ、極の検出が可能となる。以上説明したように、斜め線検出フィルタによる斜め線の検出結果に応じた合成モードで信号を加算することで、Ｓ／Ｎ比の高い相関像を得ることが可能となる。

本実施例では、２×２の分割画素部に分割された撮像素子１０２を用いて説明を行ったが、本発明の適用範囲は、２×２の分割画素部に分割された撮像素子に限定されない。４×４の分割画素部に分割された撮像素子を用いて、ＭＬ間分割画素加算によって極を検出可能な斜め線の角度を実施例３で説明した方法で算出し、その上でＭＬ内分割画素加算も併用するようにしてもよい。これにより、細線の検出角度の精度と、検出可能なデフォーカス量とを確保することが可能となる。また、本発明は、ＭＬ内分割画素加算またはＭＬ間分割画素加算とを、焦点検出処理の種類に応じて実行する焦点検出装置に適用することもできる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０８ 分割画素加算部
１０９ 焦点検出部

Claims (14)

1. 少なくとも４つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子と、
   前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する第２の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第１の視差画像信号を生成する第１の合成モードとを有する合成手段を有し、
   前記合成手段は、焦点検出処理の種類に応じて、前記第２の合成モードまたは前記第１の合成モードで動作する
   ことを特徴とする撮像装置。
2. 前記合成手段は、前記第１の視差画像信号から更に前記第２の合成モードで合成された視差画像信号を前記第２の視差画像信号として生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の視差画像信号を用いて焦点検出を行う焦点検出手段を更に有する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記合成手段は、前記焦点検出処理でのデフォーカス量の検出モードに応じて、前記第２の合成モードまたは前記第１の合成モードで動作する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記合成手段は、前記焦点検出処理において検出するデフォーカス量の大きさに応じて、前記第２の合成モードまたは前記第１の合成モードで動作する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記合成手段は、前記焦点検出処理において合焦付近のデフォーカス量を検出する場合には、前記第１の合成モードで動作する
   ことを特徴とする請求項４または請求項５に記載の撮像装置。
7. デフォーカス量の検出に用いられる被写体像の帯域を制限する制限手段を備え、
   前記合成手段は、前記帯域の制限により得られる帯域の大きさに応じて、前記第２の合成モードまたは前記第１の合成モードで動作する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記合成手段は、像高に応じて、前記第２の合成モードで合成する信号の出力元の分割画素部を選択する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記画素部の各々に対して、入射光を集光する１つのマイクロレンズが設けられており、
   前記分割画素部は、撮像光学系の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されている
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記合成手段が前記第２の合成モードで前記同じ位置関係にある前記分割画素部からの信号同士の合成を行う際の信号の加算方向は、前記瞳分割の方向と直交する方向である
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記合成手段は、前記撮像素子内で前記第２の合成モードまたは前記第１の合成モードで動作して信号を合成する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 少なくとも４つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子と、
    前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する第２の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第１の視差画像信号を生成する第１の合成モードとを有する合成手段を有し、
    画像の方向成分を検出する方向検出手段を備え、
    前記合成手段は、前記方向検出手段による前記画像の方向成分の検出結果に基づいて、前記第２の合成モードまたは前記第１の合成モードで動作する
    ことを特徴とする撮像装置。
13. 少なくとも４つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子を有する撮像装置の制御方法であって、
    前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する第２の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第１の視差画像信号を生成する第１の合成モードとを有する合成工程を有し、
    前記合成工程は、焦点検出処理の種類に応じて、前記第２の合成モードまたは前記第１の合成モードで動作する
    ことを特徴とする制御方法。
14. 少なくとも４つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子を有する撮像装置の制御方法であって、
    前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第２の視差画像信号を生成する第２の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第１の視差画像信号を生成する第１の合成モードとを有する合成工程を有し、
    画像の方向成分を検出する方向検出工程を備え、
    前記合成工程は、前記方向検出工程による前記画像の方向成分の検出結果に基づいて、前記第２の合成モードまたは前記第１の合成モードで動作する
    ことを特徴とする制御方法。

Images