JP6557499B2 - 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 - Google Patents

Description

本発明は、位相差検出方式の焦点検出技術に関する。

特許文献１、２には、マイクロレンズにより瞳分割された画素を有する撮像素子により得られた像信号に基づいて焦点検出を行う技術が記載されている。特許文献１では、瞳分割された各画素がマイクロレンズを介して結像光学系の異なる瞳領域を通過した光束を受光する。また、特許文献２では、撮像素子を構成する画素のうち一部が、レンズの焦点状態を検出するために２つに分割された光電変換部を有し、光電変換部は、マイクロレンズを介してレンズの異なる瞳領域を通過した光束を受光する。

また、特許文献３には、位相差検出方式の焦点検出において、ＳＮ比を向上する目的で複数の測距ラインの相関値を求め、複数の測距ライン分の相関値を加算してから２像のずれ量を求める技術が記載されている。

特開昭５８−０２４１０５号公報 特開２００５−１０６９９４号公報 特開２０１３−０７２９０６号公報

上記のような位相差検出方式の焦点検出（以下、位相差ＡＦ）においては、焦点検出用にどのくらいの量の画素データを読み出して演算処理を行うかを決めることは検出精度や処理速度の面で非常に重要な要素となる。また、画素データを全て取り込もうとすると、画素が２分割された撮像素子では撮像画像用の２倍のデータ量となり、後段の処理回路に多大な負荷をかけることになる。

例えば、並列処理化や高クロック化などの対応が必要になったり、これらに起因して発熱が発生し、機構的にも熱対策が必要になったりと、低コスト化が難しくなる。よって、画像用の画素データは２分割された画素のデータを加算する一方、焦点検出用の画素データは、所望の検出精度に応じて間引くなどの対応が求められる。

本発明は、上記課題に鑑みてなされ、所望の被写体捕捉率や焦点検出精度を実現しつつ処理負荷を軽減できる焦点検出技術を実現することを目的としている。

上記課題を解決するために、本発明の焦点検出装置は、結像光学系の異なる瞳領域を通過した光束から被写体の一対の像信号を検出するための複数の画素を有する撮像素子と、前記撮像素子のうち、第１の方向に並ぶ複数の画素により構成される画素ラインが、当該第１の方向と直交する第２の方向に配置された焦点検出領域を設定する設定手段と、前記焦点検出領域の画素ラインの出力から前記一対の像信号を生成する信号生成手段と、前記信号生成手段により生成された前記一対の像信号を用いて撮像光学系のデフォーカス量を求める焦点検出手段と、を有し、前記信号生成手段は、前記焦点検出領域ごとに画素ラインの出力を前記第１の方向に加算した像信号を生成する第１の信号生成手段と、前記焦点検出領域ごとに画素ラインの出力を前記第２の方向に加算した像信号を生成する第２の信号生成手段と、前記焦点検出領域の画素ラインを前記第２の方向に間引く処理を行う間引き処理手段と、を有し、前記設定手段は、前記焦点検出領域の所定の画素ラインを加算した画素ラインと、前記所定の画素ラインを間引いた画素ラインとを交互に配置し、隣接する焦点検出領域の間で前記所定の画素ラインを加算した画素ラインの位相をずらして配置する。

本発明によれば、所望の被写体捕捉率や焦点検出精度を実現しつつ処理負荷を軽減できる焦点検出技術を実現できる。

本発明に係る実施形態の装置構成を示すブロック図。 本実施形態の撮像素子の構成図。 焦点検出用画素を水平方向に加算・圧縮する方法を説明する図。 焦点検出用画素を垂直方向に加算・圧縮する方法を説明する図。 画角とＡＦ枠を示す図。 １枠内の画素ラインのパターンを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。 隣接する枠間の画素ラインのレイアウトを示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

本実施形態では、本発明の焦点検出装置を、位相差検出方式のオートフォーカス（ＡＦ）機能を有するデジタルカメラにより実現した例について説明するが、携帯電話の一種であるスマートフォンやタブレット端末などの電子機器に搭載された焦点検出装置にも適用可能である。

＜装置の構成＞図１を参照して、本実施形態のＡＦ機能を実現する焦点検出装置を搭載する撮像装置の構成について説明する。

図１において、レンズユニット１００は、フォーカスレンズ、ズームレンズ、絞りなどを含み、撮像光学系を構成する。

撮像素子１０１は、ＣＣＤやＣＭＯＳなどの光電変換素子を備え、被写体像を電気信号に変換する。撮像素子１０１は、１つのマイクロレンズに対して光電変換部が２分割（瞳分割）された単位画素を有し、マイクロレンズを介して結像光学系の異なる瞳領域を通過した光束を受光する。

像信号生成部１０２は、撮像素子１０１からの出力を受けて瞳分割された一対の像信号を生成する。

位相差検出部１０３は、一対の像信号のそれぞれに光学的なひずみを補正する処理および一対の像信号の位相差（デフォーカス量）を検出する相関演算を行う。

撮像信号処理部１０４は、撮像素子１０１から出力される一対の像信号を加算した撮像信号（画像信号）を生成する。また、撮像信号処理部１０４は、一対の像信号を加算して得られた画像信号に対して複数の光学的補正処理や電気的ノイズ処理などを行う。

画像メモリ１０７は、撮像信号処理部１０４で生成された画像信号を一時的に保持するＲＡＭなどの揮発性メモリである。

画像処理部１０５は、撮像信号処理部１０４で生成された画像信号を動画や静止画などの所定のフォーマットに変換してファイル化する。

記録部１０６は、画像処理部１０５で生成された画像ファイルを記録媒体に記録する。記録媒体は、ＣＰＵ１０９が扱うプログラムやデータを記憶するＲＯＭとして機能する。記録媒体は、例えば、内蔵または外付けのハードディスクドライブやメモリーカードである。

また、メモリ１０８およびＣＰＵ１０９は装置全体の動作を制御する制御部として機能する。また、ＣＰＵ１０９は、本実施形態の像面位相差ＡＦを実現するために上述した各部の動作を制御する。具体的には、ＣＰＵ１０９は、位相差検出部１０３により求められたデフォーカス量に基づいて、レンズユニット１００が合焦状態になるようにレンズ駆動部１１０を制御する。

メモリ１０８は、ＣＰＵ１０９が記録媒体に記憶されている制御プログラムやプログラムに従って処理を行う際に必要なデータを一時的に記憶するワークメモリとしてのＲＡＭを含む。なお、画像メモリ１０７とメモリ１０８とを一体的に構成してもよい。

レンズ駆動部１１０は、ＣＰＵ１０９からの指示に従い、レンズユニット１００に含まれるフォーカスレンズや絞りなどを所定の状態に駆動する。

＜撮像素子の構成＞次に、図２を参照して、本実施形態の撮像素子１０１の画素構成について説明する。

図２（ｂ）は、撮像素子１０１の全画素２００を示す図２（ａ）において、２×２画素を切り出して拡大した画素ブロック２０１を示している。

撮像素子１０１の全画素２００はベイヤー型の素子配列となっており、かつＲＧＢの各光電変換部（以下、画素ともいう）が１つのマイクロレンズを共有するように２分割された構成を有する。ここで、２分割されたＲＧＢの各画素から出力される一対の像信号をＡ像、Ｂ像と呼ぶ。例えば、Ｒ画素ではＡ像２０２、Ｂ像２０３、Ｇ１画素ではＡ像２０４、Ｂ像２０５、Ｇ２画素ではＡ像２０６、Ｂ像２０７、Ｇ画素ではＡ像２０８、Ｂ像２０９となる。

このように画素が２分割（瞳分割）された構成では、Ａ像とＢ像を加算することで１つの画素信号が得られる。また、Ａ像とＢ像を別個に扱うことで像面位相差ＡＦ用の位相差検出信号として用いられる。

撮像素子１０１から出力されるＡ像およびＢ像は、撮像信号処理部１０４に入力されると、動画や静止画の記録用や表示用の信号として加算され、通常の１つの画素信号が生成される。前述したように撮像信号処理部１０４により光学的補正処理や電気的ノイズ処理などが施され、画像メモリ１０７に保持された画像信号を、例えばファイルとして記録する場合には、画像処理部１０５により所定のフォーマット（ＭＰＥＧ２やＭＰ４、ＪＰＧなどの動画や静止画）に変換され、記録部１０６によって記録媒体に記録される。

また、撮像素子１０１から像信号生成部１０２へ出力されるＡ像およびＢ像の各像信号は、像信号生成部１０２により予め設定された所定の圧縮率（加算量）に応じて図３で後述するような加算・圧縮処理が行われる。

＜圧縮処理＞次に、図３を参照して、本実施形態の像信号生成部１０２による像信号の加算・圧縮処理について説明する。

図３は、直交する２方向の像信号の加算・圧縮処理のうち、水平方向の加算・圧縮処理を模式的に示している。

図３（ａ）は水平方向の２行の画素ライン（測距ライン）を例示している。位相差検出用にＡ像とＢ像の２像を生成する場合には、ベイヤー配列を基本単位として生成する。すなわち、図２の例では、ＲＧＢの各画素のＡ像２０２、２０４、２０６、２０８を加算平均することでＡ像の１画素の像信号とする。同様に、Ｂ像２０３、２０５、２０７、２０９を加算平均することでＢ像の１画素の像信号とする。このように輝度信号に変換した１画素を最小単位として、後述するように画素の圧縮率（加算量）を適宜設定することで所定のＡＦフレーム内の画素ラインを設定する。

図３（ｂ）は最小単位であるベイヤー単位を加算・圧縮した場合の像信号を例示している。Ａ像はＤＹａ１〜ＤＹａ１０、Ｂ像はＤＹｂ１〜ＤＹｂ１０と表記している。位相差検出用の像信号としては概ね最小単位であり、最も検出精度が高い状態といえる。しかしながら、位相差検出部１０３より後段の回路の処理能力に応じて、さらに図３（ｃ）や（ｄ）のように加算・圧縮処理を行うようにする。

図３（ｃ）は２ベイヤー単位で加算・圧縮した場合を例示している。この場合、ＤＹａ１＋ＤＹａ２を加算平均することでＤＹＹａ１をＡ像の１画素の像信号として生成し、同様にＤＹＹａ５まで生成していく。Ｂ像についても同様に同じ位置の像信号を加算平均して、ＤＹＹｂ１〜ＤＹＹｂ５をＢ像の１画素の像信号として生成する。

図３（ｄ）は３ベイヤー単位で加算・圧縮した場合を例示している。この場合、ＤＹａ１、ＤＹａ２、ＤＹａ３を加算平均することでＡ像の１画素の像信号として生成し、Ｂ像も同様に生成する。

上述した図３（ｂ）〜（ｄ）のいずれかの圧縮率（加算量）で加算・圧縮処理を行い、得られた像信号を用いて像面位相差ＡＦにおける位相差検出処理を行う。そして、位相差検出部１０３より後段の回路の処理能力や処理内容に応じて、図３（ｂ）のような低い圧縮率（加算量）で高精度な焦点検出処理を行う一方、後段回路の処理負荷が高い場合や所望の精度を満たす場合には、図３（ｃ）および（ｄ）のような加算・圧縮処理を行って後段の回路の処理負荷を少なくするようにすればよい。

図４は、直交する２方向の像信号の加算・圧縮処理のうち、垂直方向の加算・圧縮処理を模式的に示している。

以下では、図３（ｃ）に示す２ベイヤー単位で水平方向に加算・圧縮処理された像信号が、ＤＹＹａｍｎ（ｍ行ｎ列のＡ像）、ＤＹＹｂｍｎ（ｍ行ｎ列のＢ像）として例示されている。図４において、Ｌ１は１行目の画素ラインを表しており、合計Ｌ１〜Ｌ４の４行分が示されている。図４では、４行分を垂直方向に加算・圧縮する場合を例示しており、ＤＹＹａ１１、ＤＹＹａ２１、ＤＹＹａ３１、ＤＹＹａ４１を加算平均することでＤＹＹｓａ１１をＡ像の１画素の像信号として生成する。Ｂ像についても同様にＤＹＹｂ１１、ＤＹＹｂ２１、ＤＹＹｂ３１、ＤＹＹｂ４１を加算平均することでＢ像の１画素の像信号を生成する。このような垂直方向の加算・圧縮処理を水平方向に順次を実行していくことで、垂直方向に加算・圧縮されたＡ像、Ｂ像ＤＹＹｓａ／ｂ１１〜ＤＹＹｓａ／ｂｍｎを生成する。

図５は、カメラの画角全体５００に対して、カメラのオートフォーカスアプリケーションによって設定される像面位相差ＡＦ用の焦点検出領域（ＡＦフレーム）を示しており、各ＡＦフレームをＷｉｎｄｏｗ１（５０１）〜Ｗｉｎｄｏｗ１５として表記している。本例では、ＡＦフレームが、Ｗｉｎｄｏｗ１からＷｉｎｄｏｗ１５までの水平５枠、垂直３枠に２次元的に配置されている。そして、１つの枠内に、水平方向に所定の圧縮率（加算量）で加算・圧縮処理が行われた９６個のＡ像、９６個のＢ像が存在し、垂直方向には６４ライン分の画素が存在するサイズとしている。

ここで、図６を参照して、５０１で示す１枠内の位相差検出を行う際に画素ラインを垂直方向に加算・圧縮する方法について説明する。

図６（ａ）は第１の方法として、８行ごとに加算平均した８本の束を生成して画素ラインとした場合を例示している。これら８本の束で図５の５０１で示す１枠に相当する。また、図６（ｂ）は第２の方法として、８行加算の束を４本、８行間引きの束を４本とし交互に配置した場合を例示している。図６（ｃ）は第３の方法として、４行加算の束を８本、４行間引きの束を８本とし交互に配置した場合を例示している。図６（ｄ）は第４の方法として、４行間引きの束を上端と下端に１本ずつ、８行加算の束を３本、１６行間引きの束を２本とし交互に配置した場合を例示している。

上記第１ないし第４の方法以外にも多くの方法が存在するが、重要なことは配置された画素ラインの束の本数に回路の処理時間が依存していることである。像面位相差ＡＦにおいて、この画素ラインごとに各種のフィルタ処理や相関演算処理が行われる。よって、１枠あたりの演算時間は、１枠内の画素ライン数に概ね比例した時間となる。図６（ａ）〜（ｄ）に示したラインパターンによって、かかる処理時間をそれぞれ、Ｔａ、Ｔｂ、Ｔｃ、Ｔｄとすれば、Ｔａ＝Ｔｃ＞Ｔｂ＞Ｔｄという関係となる。１枠あたりの処理時間が上記のようになると、ＡＦフレーム全体の処理時間は、枠数をＮ個とすれば、それぞれＮ×Ｔａ、・・・のようにＮ倍となる。例えば図５に示す１５枠の場合、３×３枠で全９枠の場合、１枠の場合など、ＡＦ動作条件に依存して枠数が決まってくる。この枠数によって処理時間（検出時間）に大きく差が出ると、ＡＦ動作におけるフォーカスレンズの駆動制御が複雑になる。このため、枠数が多い場合には、１枠あたりの処理時間を短くして全体の処理時間を短くするようにし、一方で枠数が少ない場合には、全体の処理時間を枠数が多い場合に近づけて密度の高い演算を行うようにして、可能な限り同一の処理時間になるように設定することが望ましい。

上述した考え方に基づき、枠数を多くして被写体を探すようなＡＦ動作の場合には、１枠内の画素ラインをある程度間引いくことを前提としつつ、着目する被写体が特定できた後は枠数を少なくして１枠内の画素ラインの密度（１枠内のライン数）を高くし、検出精度を上げることが処理負荷のバランスを考慮した最適なシステムといえる。

＜ＡＦフレームの設定処理＞ここで、図７ないし図１０を参照して、本実施形態のＣＰＵ１０９が本発明の設定手段として像面位相差ＡＦを行う場合のＡＦフレームの設定方法について説明する。

比較対象として示す図７において、７０１〜７０３は像面位相差ＡＦを行う１枠を例示しており、図５に示す１５枠のうち水平方向に隣接する３枠を抜き出したものである。これらのうち１枠については図６（ｄ）のラインパターンのように画素ライン７０４が設定されている。この例は、７０５で示す被写体のエッジが捕捉できていない状態を表している。枠数を多くして粗く被写体をサーチするようなＡＦ動作では、被写体の捕捉率を向上させることが重要な役割であり、これを実現するために図８のように各枠の画素ラインをレイアウトする。図８においても８０１〜８０３は像面位相差ＡＦを行う１枠を示しており、枠８０１の画素ライン８０４と隣接する枠８０２の画素ライン８０５の位相をずらした設定となっている。図７のような画素ラインに比べて、縦線に対しての捕捉率は変わらず、斜め線に対しての捕捉率を向上することができる。また、他の実施形態を示す図９においても９０１〜９０３は像面位相差ＡＦを行う１枠を示しており、枠９０１の画素ライン９０４と隣接する枠９０２の画素ライン９０５は位相をずらした設定とされ、かつ枠９０２の画素ライン９０５の圧縮率（加算数）を隣接する枠９０１、９０３よりも増加した設定となっている。図９の画素ラインのレイアウトは、図８のレイアウトに比べてさらに斜め線の被写体の捕捉率が向上する。

さらに、他の実施形態を示す図１０において、図１０（ａ）は時刻ｔｎの時点での画素ラインのレイアウトを例示している。図１０に示す１００１〜１００３はそれぞれ像面位相差ＡＦを行う１枠を示しており、枠１００１の画素ライン１００４と、隣接する枠１００２の画素ライン１００５の位相をずらした設定となっている。また、図８の画素ラインよりも各画素ラインの圧縮率（加算数）を増加した設定となっている。

図１０（ｂ）は時刻ｔｎ＋１の時点での画素ラインのレイアウトを例示している。図１０（ａ）の時刻ｔｎの場合とは反対に、枠１００１と１００３の画素ラインの設定は、隣接する枠１００２の時刻ｔｎのときの設定と同等とされる一方、枠１００２の画素ラインの設定は、枠１００１の時刻ｔｎのときの設定と同等とされる。また、次の時刻ｔｎ＋２では図１０（ａ）の設定に戻るというように、時系列に応じて（例えば、動画フレームごとに）交互に画素ラインのレイアウトを切り替えるように設定される。これにより、静止している被写体に対しては、図９のレイアウトよりもさらに被写体捕捉率を向上させることができる。

さらに別の実施形態を図１１および図１２に示す。比較対象として示す図１１において、１１０１〜１１０９はそれぞれ像面位相差ＡＦを行う１枠を例示しており、水平方向および垂直方向に隣接する３×３の合計９枠を抜き出したものである。図１１では、１枠内に所定の加算・圧縮処理が行われた１０本の画素ラインが入り、画素ラインの間引きはなく、枠内の１００％を画素ラインとした構成となっている。

図１１の構成に対して、本実施形態の構成を示す図１２では、各枠ごとに画素ラインの間引き処理を行っている。図１２では、水平方向に隣接する枠１１０１と１１０２と１１０３の間で画素ラインの位相をずらした設定とし、また、それら３枠の水平方向の画素ラインの総和が１枠内の画素ラインの総数に対応するような設定となっている。このように３枠単位で繰り返し画素ラインをレイアウトすることで全枠の設定を行うものである。

上述した実施形態によれば、着目する被写体が特定されるまでは枠数を多くして被写体捕捉率を高める一方、被写体が特定された後は枠数を少なくして密度（１枠内のライン数）の高い像面位相差ＡＦを実現することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…レンズユニット、１０１…撮像センサ、１０２…像信号生成部、１０３…位相差検出部、１０４…撮像信号処理部、１０５…画像処理部、１０６…記録部、１０７…画像メモリ、１０８…メモリ、１０９…ＣＰＵ、１１０…レンズ駆動部

Claims (8)

1. 結像光学系の異なる瞳領域を通過した光束から被写体の一対の像信号を検出するための複数の画素を有する撮像素子と、
   前記撮像素子のうち、第１の方向に並ぶ複数の画素により構成される画素ラインが、当該第１の方向と直交する第２の方向に配置された焦点検出領域を設定する設定手段と、
   前記焦点検出領域の画素ラインの出力から前記一対の像信号を生成する信号生成手段と、
   前記信号生成手段により生成された前記一対の像信号を用いて撮像光学系のデフォーカス量を求める焦点検出手段と、を有し、
   前記信号生成手段は、前記焦点検出領域ごとに画素ラインの出力を前記第１の方向に加算した像信号を生成する第１の信号生成手段と、
   前記焦点検出領域ごとに画素ラインの出力を前記第２の方向に加算した像信号を生成する第２の信号生成手段と、
   前記焦点検出領域の画素ラインを前記第２の方向に間引く処理を行う間引き処理手段と、を有し、
   前記設定手段は、前記焦点検出領域の所定の画素ラインを加算した画素ラインと、前記所定の画素ラインを間引いた画素ラインとを交互に配置し、
   隣接する焦点検出領域の間で前記所定の画素ラインを加算した画素ラインの位相をずらして配置することを特徴とする焦点検出装置。
2. 前記設定手段は、隣接する焦点検出領域の間で、前記信号生成手段により加算された数が異なる画素ラインを配置することを特徴とする請求項１に記載の焦点検出装置。
3. 前記設定手段は、隣接する焦点検出領域における画素ラインの総和が、１の焦点検出領域の画素ラインの総数に対応するように設定することを特徴とする請求項１または２に記載の焦点検出装置。
4. 前記設定手段は、隣接する焦点検出領域における画素ラインの配置を時間ごとに交互に切り替えることを特徴とした請求項１ないし３のいずれか１項に記載の焦点検出装置。
5. 結像光学系の異なる瞳領域を通過した光束から被写体の一対の像信号を検出するための複数の画素を有する撮像素子を用いて焦点検出を行う焦点検出装置の制御方法であって、
   設定手段が、前記撮像素子のうち、第１の方向に並ぶ複数の画素により構成される画素ラインが、当該第１の方向に直交する第２の方向に配置された焦点検出領域を設定する設定ステップと、
   信号生成手段が、前記焦点検出領域の画素ラインの出力から前記一対の像信号を生成する信号生成ステップと、
   焦点検出手段が、前記信号生成ステップにより生成された前記一対の像信号を用いて撮像光学系のデフォーカス量を求めるステップと、を有し、
   前記信号生成ステップは、前記焦点検出領域ごとに画素ラインの出力を前記第１の方向に加算した像信号を生成する第１の信号生成ステップと、
   前記焦点検出領域ごとに画素ラインの出力を前記第２の方向に加算した像信号を生成する第２の信号生成ステップと、
   前記焦点検出領域の画素ラインを前記第２の方向に間引く処理を行う間引き処理ステップと、を含み、
   前記設定ステップでは、前記焦点検出領域の所定の画素ラインを加算した画素ラインと、前記所定の画素ラインを間引いた画素ラインとを交互に配置し、
   隣接する焦点検出領域の間で前記所定の画素ラインを加算した画素ラインの位相をずらして配置することを特徴とする焦点検出装置の制御方法。
6. レンズユニットのデフォーカス量に基づいて、当該レンズユニットが合焦状態になるように制御する制御部を有し、
   前記制御部は、請求項１ないし４のいずれか１項に記載された焦点検出装置の各手段を含むことを特徴とする撮像装置。
7. コンピュータを、請求項１ないし４のいずれか１項に記載された焦点検出装置の各手段として機能させるためのプログラム。
8. コンピュータを、請求項１ないし４のいずれか１項に記載された焦点検出装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images