JPWO2012073729A1 - 撮像装置及びその合焦位置検出方法 - Google Patents

Abstract

被写体の状態によらず、高速かつ高精度の位相差ＡＦを実現する。受光面の位相差検出エリア内に瞳分割した第１，第２位相差検出画素ｘ，ｙを配列形成しておき、撮像素子前段のフォーカスレンズ位置を画素ｘ，ｙの各検出情報間の位相差量に基づき合焦位置に駆動制御する制御手段を備える。制御手段は、位相差検出エリアの分割数を第１分割数ｎ（ｎ＝１を含む）とするか該ｎより大きい第２分割数ｍとするかを撮像装置の設定状態（広角か望遠か、顔検出モードか、夜景モードか等）によって判断し、位相差検出エリアをｎ又はｍに分割した分割エリア毎に、第１情報と第２情報との相関関係を演算して分割エリア評価曲線を算出し、分割エリア毎の分割エリア評価曲線に対し所定演算処理を施して総合評価曲線を求め、該総合評価曲線からフォーカスレンズを合焦位置に駆動制御するためのデフォーカス量を求める。

Description

本発明は、被写体までの距離を検出し撮影レンズの焦点位置制御を行う撮像装置及びその合焦位置検出方法に関する。

主要な被写体までの距離を検出する合焦位置検出方法には、コントラスト方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラスト方式に比べて合焦位置の検出を高速，高精度に行うことができるため、一眼レフカメラで多く採用されている。

従来の一眼レフカメラで採用されている位相差ＡＦ方式は、例えば下記の特許文献１に記載されている様に、被写体画像を撮像する固体撮像素子とは別に、２つの左右に配置される位相差検出用ラインセンサを設け、第１のラインセンサの検出情報と第２のラインセンサの検出情報との位相差に基づき、主要被写体までの距離を検出する構成になっている。

この特許文献１記載の位相差ＡＦ方式は、固体撮像素子とは別に位相差検出用のラインセンサが必要となり、部品コスト，製造コストが嵩んでしまい、更に装置が大型化してしまうという問題がある。

これに対し、下記の特許文献２に記載されている様に、固体撮像素子受光面上に位相差検出用の画素を設けたものが提案されている。被写体画像を撮像する固体撮像素子として位相差検出用の画素が形成された固体撮像素子を採用することで、外部の位相差検出用センサが不要となり、低コスト化を図ることが可能となる。

日本国特開２０１０―８４４３号公報 日本国特開２０１０―９１９９１号公報

しかしながら、特許文献２に記載の従来技術は、一眼レフカメラが対象であり、大面積の固体撮像素子を搭載することが前提となっている。位相差検出画素は、特許文献２に記載されている様に、１対の隣接画素の夫々の遮光膜開口を小さくし、かつ一方と他方で遮光膜開口位置を位相差検出方向（通常の場合は左右方向）にずらすことで位相差を検出する構成になっている。

一画素一画素の受光面積を大きくとれる大判（大面積）の固体撮像素子であれば、遮光膜開口を少しくらい小さくしても位相差情報を高速かつ高精度にとることができる。しかし、一画素一画素の受光面積を大きくとれない、例えばコンパクトカメラ等に搭載する固体撮像素子では、もともとの遮光膜開口が小さいため、これを更に小さくし、受光時間を短時間にして位相差情報を高速に取得すると、被写体の状態によっては、位相差情報の精度つまり合焦位置検出精度が落ちてしまうという問題が生じる。

本発明の目的は、小面積の固体撮像素子に適用した場合でも、カメラ側の設定状態によらずに、高速かつ高精度に位相差情報を取得し合焦位置を求めることができる撮像装置及びその合焦位置検出方法を提供することにある。

本発明の撮像装置及びその合焦位置検出方法は、被写体の画像を撮像する受光面に設けられた位相差検出エリア内に、瞳分割した第１の位相差検出画素及び第２の位相差検出画素で構成されるペア画素が２次元配列された撮像素子と、
該撮像素子の光路前段に置かれ、前記被写体の合焦した光学像を前記受光面に結像させるフォーカスレンズと、
前記第１の位相差検出画素から出力される第１検出情報の前記ペア画素の一方の配列方向に対する第１の分布曲線と、前記第２の位相差検出画素から出力される第２検出情報の前記一方の配列方向に対する第２の分布曲線との位相差を求め、該位相差に基づき前記フォーカスレンズを前記合焦する位置に駆動制御する制御手段とを備える撮像装置の合焦位置検出方法であって、
前記位相差検出エリアを前記位相差の検出方向に対して直角方向に分割する分割数を第１分割数ｎとするか該ｎより大きい第２分割数ｍとするかを撮像装置の設定状態によって判断し、
前記位相差検出エリアを前記ｎ又は前記ｍに分割した分割エリア毎に、前記第１検出情報と前記第２検出情報との相関関係を演算して相関演算曲線を算出し、
複数の前記分割エリアの前記相関演算曲線に対して所定演算処理を施した総合評価曲線を求め、該総合評価曲線から前記フォーカスレンズを前記合焦する位置に駆動制御するためのデフォーカス量を求めることを特徴とする。

本発明によれば、如何なる被写体を撮影対象とするかというカメラ側の設定状態（例えば、広角側撮影か望遠側撮影か、夜景モードか否か、動画撮影か静止画撮影か、記録画素数が高精細か否か等）によらずに、小型の固体撮像素子を使用する場合でも一眼レフカメラと同等の高速かつ高精度なＡＦ動作性能を得ることが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示す固体撮像素子の受光面上に設ける位相差検出エリアの説明図である。 図２の点線矩形枠内の表面拡大模式図である。 図３の位相差検出画素とその検出信号だけを抜き出して求める位相差量の概念を説明する図である。 分割エリア毎の評価曲線と合計の評価曲線の説明図である。 本発明の第１実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第２実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第３実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第４実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第５実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第６実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第７実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第８実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第９実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第１０実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第１１実施形態に係るＡＦ処理手順を示すフローチャートである。 本発明の第１２実施形態に係るＡＦ処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラの機能ブロック図である。本実施形態のデジタルカメラ１０は、被写体の静止画像或いは動画像を撮影しカメラ１０内で撮像画像信号をデジタル処理する機能を有し、望遠レンズ及びフォーカスレンズを備える撮影レンズ２０と、撮影レンズ２０の背部に置かれその結像面に配置された固体撮像素子２１と、固体撮像素子２１の各画素から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１，撮影レンズ２０の駆動制御を行う駆動部２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラ１０は更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス３９とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

ユーザの指示入力には、シャッタレリーズボタンの押下の他に、ユーザが決めた撮影レンズの焦点距離（例えば、広角撮影か望遠撮影か）の入力指示、撮影モードが顔検出モードであるか否か、静止画撮影モードであるか動画撮影モードであるか、夜景撮影モードであるか否か、動体撮影モードであるか否か、記録画素数、ＩＳＯ感度などがある。

システム制御部２９は、固体撮像素子２１から動画状態で出力されデジタル信号処理部２６で処理された撮像画像データ（スルー画像）を配下のデジタル信号処理部２６等を用いて後述するように解析して評価曲線を求め、主要被写体までの距離を検出する。そして、システム制御部２９は、駆動部２４を介し、撮影レンズ２０のうちの固体撮像素子２１の光路前段に置かれたフォーカスレンズの位置制御を行い、被写体に合焦した光学像が固体撮像素子２１の受光面に結像するようにする。

固体撮像素子２１は、本実施形態ではＣＭＯＳ型であり、固体撮像素子２１の出力信号をアナログ信号処理部（ＡＦＥ：アナログフロントエンド）２２で処理するが、このＡＦＥ部分（相関二重サンプリング処理やクランプを行う回路、利得制御を行う信号増幅回路等）は固体撮像素子チップ上に周辺回路として設けられるのが普通である。また、固体撮像素子２１のチップ上には、その他にも、水平走査回路や垂直走査回路、雑音低減回路，同期信号発生回路等が周辺回路として受光部周りに形成され、図１のＡ／Ｄ変換部２３も形成される場合がある。なお、固体撮像素子２１は、ＣＣＤ型でも、以下に説明する実施形態はそのまま適用可能である。

図２は、固体撮像素子２１の受光面の説明図である。固体撮像素子２１の受光面には、図示しない多数の画素（受光素子：フォトダイオード）が二次元アレイ状に配列形成されている。この実施形態では、複数の画素が正方格子状に配列形成されている。なお、画素配列は正方格子配列に限るものではなく、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列された、所謂、ハニカム配列でも良い。

受光面の任意の一部領域位置、図示する例では中央位置に、矩形の位相差検出エリア４０が設けられている。この例では、位相差検出エリア４０は受光面に対して１箇所だけ設けているが、撮影画面内のどこでもＡＦ可能とできるよう複数箇所に設けても良い。受光面の全領域を位相差検出エリアとすることでも良い。

本実施形態では、位相差検出エリア４０を、位相差検出方向（この例では左右方向つまりｘ方向を位相差検出方向としている。）に対し垂直方向（上下方向ｙ）に４分割して後述の様に被写体までの合焦位置を検出する場合と、位相差検出エリア４０を分割せずに１エリアとして被写体までの合焦位置を検出する場合とを、撮像装置１０の設定状態（ユーザによる入力指示の内容）に応じて切り替えることを特徴とする。なお、分割数は４つに限るものではなく、６分割でも７分割でも良く、任意数に分割できる。

図３は、位相差検出エリア４０内の、図２の点線矩形枠４１で示す部分の表面拡大模式図である。固体撮像素子２１の受光面には、多数の画素が正方格子配列されており、位相差検出エリア４０内でも同様である。

図示する例では、各画素をＲ（赤），Ｇ（緑），Ｂ（青）で示している。Ｒ，Ｇ，Ｂは各画素上に積層したカラーフィルタの色を表し、カラーフィルタ配列は、この例ではベイヤ配列となっているが、ベイヤ配列に限るものではなく、ストライプ等の他のカラーフィルタ配列でも良い。

位相差検出エリア４０内の画素配列，カラーフィルタ配列は、位相差検出エリア４０外の受光面の画素配列，カラーフィルタ配列と同じであるが、位相差検出エリア４０内では、ペアを構成する斜めに隣接する同色画素を、位相差検出画素１ｘ，１ｙとしている。位相差検出用のペア画素は、本実施形態では、エリア４０内の離散的，周期的な位置、図示する例では市松位置に設けられている。

なお、図示する例では、カラーフィルタ配列がベイヤ配列のため同色画素が斜めに隣接するのであって、横ストライプ配列の場合には同色画素は水平方向に並ぶため、ペアを構成する２画素は横に隣接することになる。あるいは、横ストライプ配列で同じ色フィルタ行内にペアを構成する２画素を設けるのではなく、縦方向に最近接する同色のフィルタ行の夫々にペアを構成する各画素を離して設けることでも良い。縦ストライプ配列の場合も同様である。

本実施形態では、位相差検出画素１ｘ，１ｙを、Ｒ，Ｇ，Ｂのうち最も多いＧフィルタ搭載画素に設けており、水平方向（ｘ方向）に８画素置き、垂直方向（ｙ方向）に８画素置き、かつ全体的に市松位置となるように配置されている。従って、位相差検出方向（左右方向）で見たとき、位相差検出画素１ｘは４画素置きに配置されることになる。

図４は、図３の位相差検出画素１ｘ，１ｙだけを抜き出して模式的に表示した図である。ペア画素を構成する位相差検出画素１ｘ，１ｙは、特許文献２と同様に、その遮光膜開口２ｘ，２ｙが他の画素（位相差検出画素以外の画素）より小さく形成され、かつ、画素１ｘの遮光膜開口２ｘは左方向に偏心して設けられ、画素１ｙの遮光膜開口２ｙは右方向（位相差検出方向）に偏心して設けられている。

図４の下段に示す曲線Ｘは、横一行に並ぶ位相差検出画素１ｘの検出信号量をプロットしたグラフであり、曲線Ｙは、これら画素１ｘとペアを構成する位相差検出画素１ｙの検出信号量をプロットしたグラフである。

ペア画素１ｘ，１ｙは隣接画素であり極めて近接しているため、同一被写体からの光を受光していると考えられる。このため、曲線Ｘと曲線Ｙとは同一形状になると考えられ、その左右方向（位相差検出方向）のずれが、瞳分割したペア画素の一方の画素１ｘで見た画像と、他方の画素１ｙで見た画像との位相差量となる。

この曲線Ｘと曲線Ｙの相関演算を行うことで、位相差量（横ズレ量）を求めることができ、この位相差量から被写体までの距離を算出することが可能となる。曲線Ｘと曲線Ｙの相関量の評価値を求める方法は、公知の方法（例えば特許文献１に記載された方法や特許文献２に記載された方法）を採用すれば良い。例えば、曲線Ｘを構成する各点Ｘ（ｉ）と、曲線Ｙを構成する各点Ｙ（ｉ＋ｊ）の差分の絶対値の積算値を評価値とし、最大評価値を与えるｊ値を、位相差量（横ズレ量）とする。

しかし、１画素１画素の受光面積が小さい場合、個々の信号量は小さくなってノイズの割合が増えるため、相関演算を行っても精度良く位相差量を検出することが困難となる。そこで、図２の位相差検出エリア４０内において、水平方向同一位置にある画素１ｘの検出信号を垂直方向に複数画素分だけ加算し、水平方向同一位置にある画素１ｙの検出信号を垂直方向に複数画素分だけ加算すれば、ノイズの影響を低減して合焦位置の検出精度（ＡＦ精度）を向上させることが可能となる。

しかし、画素加算数を多くすれば良いというものではなく、画素加算数が多くなるほど、それだけ位相差検出エリア４０の画素加算対象とする位相差検出画素の配置領域が上下方向（垂直方向）に延びることになる。被写体パターンは、位相差検出エリア４０の上部分で撮像されるパターンと中間部分で撮像されるパターンと下部分で撮像されるパターンとでは異なるのが普通である。このため、被写体によっては、位相差検出エリア４０を１エリアとしてこれらを全て画素加算してしまうと、位相差検出方向（左右方向）で被写体の画素加算後のパターンが平均化されてしまい、位相差を求める評価値が下がってしまう場合がある。

そこで、本実施形態では、如何なる被写体を撮影対象としているかを事前に撮像装置１０の設定状態に知り、高精度ＡＦが必要な被写体の場合には、位相差検出エリア４０を４分割し、画素加算範囲を各分割エリア内に限定し、分割エリアを超えて画素加算しない様にしている。つまり、各分割エリアＩ，II，III，IV毎に画素加算して分割エリア評価曲線（相関演算カーブ）を求め、各分割エリア評価曲線を加算して位相差検出エリア４０の全体の評価曲線（総合評価曲線）を求めることとしている。

図５には、分割エリア毎の評価曲線（相関演算曲線）Ｉ，II，III，IVと、これら４本の分割エリア毎の評価曲線に対して所定演算処理（この実施形態では「加算合計」であるが、加算平均処理でも乗算でも良い。）した総合評価曲線（全エリアの評価曲線）Ｖを示すグラフである。
分割エリア評価曲線Ｉは、分割領域Ｉ内で位相差検出画素１ｘの検出信号を垂直方向（例えば図３の符号４５）に画素加算して得られた図４の曲線Ｘと、同じく分割領域Ｉ内で位相差検出画素１ｙの検出信号を垂直方向（例えば図３の符号４６）に画素加算して得られた図４の曲線Ｙとを相関演算して求めた評価曲線である。この例の場合、最大評価値は最小値として求められる。

同じく、分割エリア評価曲線IIは分割領域IIで得られた評価曲線であり、分割エリア評価曲線IIIは分割領域IIIで得られた評価曲線であり、分割エリア評価曲線IVは分割領域IVで得られた評価曲線である。

これら４本の分割エリア評価曲線Ｉ，II，III，IVの各々を求めるための加算画素数は、位相差検出エリア４０の垂直方向に並ぶ位相差検出画素１ｘの画素数に対して、ほぼ分割エリア数分の１となるため、被写体のパターンが平均化される虞が少なく、精度良く評価値を算出することが可能となる。

そして、これら４本の分割エリア評価曲線Ｉ，II，III，IVを合計した総合評価曲線Ｖを求め、更に、総合評価曲線Ｖからサブピクセル補間演算を行うことで、フォーカスレンズを合焦位置に合わせるための位相差量（デフォーカス量）を求める。これにより、ノイズに強く、かつ被写体の各分割エリアの評価値を保ったまま位相差の高精度な演算が可能となり、ＡＦ精度の向上を図ることが可能となる。

図５のグラフの横軸の１単位は、図３の位相差検出画素の画素間隔（８画素間隔の市松配列であるため、４画素間隔となる。）であるため、総合評価曲線Ｖの最小値の位置と、この最小値に対して右側に延びる曲線と左側に延びる曲線の夫々の勾配等を勘案して、真の最小値（最大評価値）を与える位置つまり位相差量をサブピクセル補間演算により算出する。これにより、図３の一画素単位で位相差量を求めることが可能となる。

上述した様に、位相差検出エリア４０を複数エリアに分割し、分割エリア毎に相関演算を行うことで、高精度な合焦位置の算出が可能となる。しかし、相関演算には時間がかかるため、分割数が増えるとＡＦの高速化を阻害する要因になってしまう。

そこで、本実施形態では、撮像装置の設定状態によって、位相差検出エリア４０を分割せずに１エリアとして位相差検出画素の画素加算を行ってもＡＦ精度が高いと判断できる場合には、位相差検出エリア４０を分割せずに、位相差検出エリア４０内の位相差検出画素１ｘ，１ｙを垂直方向に画素加算し、画素１ｘの加算信号による図４の曲線Ｘと、画素１ｙの加算信号による図４の曲線Ｙとの相関演算を行い、最適評価値を求めて合焦位置の算出を行う。これによりＡＦ動作の高速化を図る。

また、撮像装置の設定状態から如何なる被写体が撮影対象になるかを知り、ＡＦ精度を高くするために位相差検出エリア４０を分割する方が良いと考えた場合には、図５で説明した方法で合焦位置の算出を行う。

図６は、本発明の第１実施形態に係るＡＦ処理手順を示すフローチャートであり、図１のシステム制御部２９が配下のデジタル信号処理部２６等を用いて実行する。

ＡＦ動作が開始すると、先ず、ステップＳ１で、焦点距離が所定値より短いか否かを判定する（ステップＳ１）。例えばユーザが望遠側撮影を設定入力していると、焦点距離は長くなるためステップＳ２に進み、位相差検出エリア４０を複数エリアに分割する。この例では４分割する。

そして、次のステップＳ３では、分割エリア毎に相関演算を行って分割エリア評価曲線I,II,III,IVを算出し、次のステップＳ４で、分割エリア評価曲線I,II,III,IVを合計して総合評価曲線Ｖを求める。

次にステップＳ７に進み、総合評価曲線Ｖに対しサブピクセル補間演算を行って最適評価値を求め、最適評価値を与える位相差量（デフォーカス量）を算出する。そして、次のステップＳ８でフォーカスレンズ位置を制御して合焦制御を行い、この処理を終了する。

ステップＳ１の判定の結果、例えばユーザが広角側の撮影を設定入力している場合には焦点距離が短いため、ステップＳ１からステップＳ５に進む。このステップＳ５では、位相差検出エリア４０を分割せずに１エリアとして取り扱い、ステップＳ６で、エリア４０で加算した位相差検出画素１ｘから求めた図４の曲線Ｘと位相差検出画素１ｙから求めた曲線Ｙとの相関演算を行う。そして、相関演算の結果として得られた総合評価曲線に基づき、デフォーカス量を算出し（ステップＳ７）、フォーカスレンズの合焦制御を行う（ステップＳ８）。

焦点距離が異なる撮影で、同じ被写体を撮影する場合、焦点距離が短い被写体画像の方が高周波成分が多く、焦点距離が長い被写体画像の方が低周波成分が多くなる。ＡＦ精度の面から見ると、一般に、高周波成分が多いほど位相差ＡＦの信頼性が高いため、エリア分割を行わなくても十分な精度が得られる。逆に、低周波成分が多いと、エリア分割した方がＡＦ精度を向上させることができる。

エリア分割数が多いほど、相関演算処理に時間を要するため、高速なＡＦ動作の障害になる。そこで、本実施形態では、元々ＡＦ精度が高いと考えられる短焦点距離での撮影時にはエリア４０の分割を回避し、長焦点距離での撮影時にのみエリア４０を分割してＡＦ精度の向上を図る。これにより、本実施形態では、小面積の固体撮像素子を搭載した撮像装置でも、一眼レフカメラと同等の高速ＡＦ，高精度ＡＦを得ることができる。

図７は、本発明の第２実施形態に係るＡＦ処理手順を示すフローチャートである。図６と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１で焦点距離を判定し、長焦点撮影時にはステップＳ２ａに進んでエリア分割数を「４」とし、短焦点撮影時にはステップＳ２ｂに進んでエリア分割数を「２」とし、その後にステップＳ３，Ｓ４，Ｓ７，Ｓ８と進み、この処理を終了する。

図６の実施形態では、「エリア分割する」か「エリア分割しない」かの場合分けを行ったが、常にエリア分割しない（分割数「１」）を選択する必要はなく、図７の実施形態の様に、エリア分割数を少なくすることで、相関演算処理時間の短縮化を図り、ＡＦ動作の高速化を図ることができる。

図８は、本発明の第３実施形態に係るＡＦ処理手順を示すフローチャートである。図６と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１１で、撮像装置１０が顔検出モードに設定されているか否かを判定する。顔検出モードに設定されている場合にはステップＳ２に進んで位相差検出エリア４０を複数領域に分割し、以下の処理ステップＳ３，Ｓ４，Ｓ７，Ｓ８に進む。顔検出モードに設定されていない場合にはステップＳ１１からステップＳ５に進み、位相差検出エリア４０を１エリアとし、以下の処理ステップＳ６，Ｓ７，Ｓ８に進む。

顔検出モードに設定されている場合には、主要被写体は人物であると判断できる。人の顔は、一般的に低周波画像となるため、焦点位置を合わせるのが難しい。このため、ステップＳ２に進み、エリア４０を複数エリアに分割してＡＦ精度を向上させる。顔検出モードでない場合には、主要被写体は人以外であると判断できる。仮に人が被写体中に映っていても、それは背景の一部であり、その人に合焦させる必要と無いため、ステップＳ５でエリア４０を１エリアとし、ＡＦ動作の高速化を図る。

図９は、本発明の第４実施形態に係るＡＦ処理手順を示すフローチャートである。図７と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１１で、撮像装置１０が顔検出モードに設定されているか否かを判定する。顔検出モードに設定されている場合にはステップＳ２ａに進み、位相差検出エリア４０を４分割して以下のステップＳ３，Ｓ４，Ｓ７，Ｓ８に進む。顔検出モードに設定されていない場合にはステップＳ２ｂに進み、位相差検出エリア４０を２分割して以下のステップＳ３，Ｓ４，Ｓ７，Ｓ８に進む。この様に、本実施形態では、図８の実施形態と同様に、顔検出モードであるか否かにより、ＡＦ精度の高精度化を選択、又はＡＦ動作の高速化を選択する。

図１０は、本発明の第５実施形態のＡＦ処理手順を示すフローチャートである。図８と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

この実施形態では、ステップＳ１２で、撮像装置１０に静止画像撮影モードが設定されているか動画撮影モードが設定されているかを判定する。そして、静止画像撮影モードが設定されている場合には、位相差検出エリアを複数エリアに分割し（ステップＳ２）、動画撮影モードが設定されている場合には、位相差検出エリアを１エリアとして（ステップＳ５）、ＡＦ動作の高速化を図る。

一般的に、静止画像はピントの合った高精細画像が要求され、動画像に要求される解像度は静止画像より低い。このため、静止画撮影モードのときはＡＦ精度が高くなる様にエリア分割を行い、動画撮影モードのときはＡＦ動作の高速化のためにエリア分割は行わないのが好ましい。

図１１は、本発明の第６実施形態のＡＦ処理手順を示すフローチャートである。図９と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１２で、撮像装置１０に静止画像撮影モードが設定されているか動画撮影モードが設定されているかを判定する。そして、静止画像撮影モードが設定されている場合には、位相差検出エリアを４分割し（ステップＳ２ａ）て、ＡＦ精度の向上を図り、動画撮影モードが設定されている場合には、位相差検出エリアを２分割とし（ステップＳ２ｂ）、分割数を低減することでＡＦ動作の高速化を図る。

図１２は、本発明の第７実施形態のＡＦ処理手順を示すフローチャートである。図８と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１３で、撮像装置１０に夜景撮影モードが設定されているか否かを判定する。夜景撮影モードが設定されている場合にはステップＳ２に進み、夜景撮影モードが設定されていない場合にはステップＳ５に進む。

夜景は、一般的に被写体が暗く、ＡＦ精度をとることが難しい。このため、夜景撮影モードが設定されている場合にはステップＳ２に進んでエリア分割を行い、ＡＦ精度の向上を図る。夜景撮影モードが設定されていない場合にはステップＳ５でエリア分割を行わず、ＡＦ動作の高速化を図る。

図１３は、本発明の第８実施形態のＡＦ処理手順を示すフローチャートである。図８と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。

本実施形態では、ステップＳ１４で、撮像装置１０に動体撮影モードが設定されているか否かを判定する。動体撮影モードが設定されている場合にはステップＳ５に進み、動体撮影モードが設定されていない場合にはステップＳ２に進む。

動体を撮影する場合つまり動く被写体を撮影する場合には、ＡＦの速度が求められる。そこで、動体撮影モードのときはステップＳ５に進み、ＡＦ速度を重視してエリア分割せずに位相差ＡＦで合焦位置を検出する。

図１４，図１５は、本発明の第９，第１０実施形態のＡＦ処理手順を示すフローチャートである。図８，図９と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。これら実施形態では、ステップＳ１５で、記録画素数の設定が所定数より大きいか否かを判定する。

ＡＦ（オートフォーカス）に求められる精度は、画素ピッチに依存しており、記録画素数が大きいほど、ＡＦの要求精度は高くなる。そこで、記録画素数が大きい場合には図１４のステップＳ２（又は図１５のステップＳ２ａ）に進み、エリア分割数を多くし、記録画素数が小さい場合には図１４のステップＳ５（又は図１５のステップＳ２ｂ）に進み、エリア分割数を少なくする。

図１６，図１７は、本発明の第１１，第１２実施形態のＡＦ処理手順を示すフローチャートである。図８，図９と同様の処理ステップには同一ステップ番号を付けて、その詳細な説明は省略する。これら実施形態では、ステップＳ１６で、撮像装置１０に設定されているＩＳＯ感度が所定感度より高いか否かを判定する。

ＩＳＯ感度は低いほどノイズが少なく、ＡＦの要求精度が高くなる。そこで、ＩＳＯ感度が低い場合には、図１６のステップＳ２（又は図１７のステップＳ２ａ）に進み、エリア分割数を多くし、ＩＳＯ感度が高い場合には図１６のステップＳ５（又は図１７のステップＳ２ｂ）に進み、エリア分割数を少なくする。

以上述べた様に、上述した各実施形態では、ＡＦ精度が必要となる被写体画像であるか、高速ＡＦが必要となる被写体画像であるかを、撮像装置１０の撮影モード等の設定情報に基づいて判断し、位相差検出エリアの分割数を決定するため、被写体画像に応じた適切なエリア分割数で位相差ＡＦ処理を行うことができ、小型の固体撮像素子を搭載した撮像装置であっても、一眼レフカメラと同等の高速ＡＦ，高精度ＡＦを実現することが可能となる。

なお、図６〜図１２を用いて実施形態毎に説明を行ったが、複数の実施形態を組み合わせても良いことは言うまでもない。例えば夜景撮影モードの場合、夜景撮影モードが設定されていない場合にはエリア分割しないとして説明したが、夜景撮影モードが設定されていない場合には、他の撮影モードであるか否かを判定し、他の撮影モードのとき高速ＡＦが必要か高精度ＡＦが必要かを判断してエリア分割の有無やエリア分割数を切り換えるようにするのが良い。

なお、上述した各実施形態では、高速ＡＦが必要となる被写体画像であるかを、撮像装置１０の撮影モード等の設定情報に基づいてカメラ側が自動的に判断したが、高速ＡＦ／高精度ＡＦをユーザが設定入力する構成としてもよく、また、エリア分割数をユーザが指定入力する構成としても良い。

また、上述した実施形態では、位相差検出画素を構成する瞳分割したペア画素として、小さくした遮光膜開口を互いに反対方向にずらした例を用いて説明したが、瞳分割して位相差検出画素を構成する方法はこれに限るものではなく、例えばペア画素に一つのマイクロレンズを搭載して瞳分割することでも良い。

また、上述した実施形態では全ての分割エリア評価曲線を加算合計して全エリア評価曲線を求めているが、全ての分割エリア評価曲線を加算対象（所定演算処理対象）とする必要はなく、信頼性の低い分割エリア評価曲線や、他の分割エリア評価曲線と最小値の位置が大きく異なる分割エリア評価曲線は除外して加算し、複数エリアの相関演算曲線を求めることで、更にＡＦ精度の向上を図ることが可能となる。
更に、上述した実施形態では、位相差を検出するペア画素を位相差検出エリア内の離散的，周期的な位置に設けた例について述べたが、必ずしも周期的，離散的位置に設ける必要はなく、ランダムな位置（同一行に設けられる位相差検出画素がランダムな位置にあっても図４の曲線Ｘ，Ｙは求められる。）であっても良く、あるいは全画素を位相差検出画素とすることでも良い。

以上述べた実施形態の撮像装置及びその合焦位置検出方法は、 被写体の画像を撮像する受光面に設けられた位相差検出エリア内に、瞳分割した第１の位相差検出画素及び第２の位相差検出画素で構成されるペア画素が２次元配列された撮像素子と、
該撮像素子の光路前段に置かれ、前記被写体の合焦した光学像を前記受光面に結像させるフォーカスレンズと、
前記第１の位相差検出画素から出力される第１検出情報の前記ペア画素の一方の配列方向に対する第１の分布曲線と、前記第２の位相差検出画素から出力される第２検出情報の前記一方の配列方向に対する第２の分布曲線との位相差を求め、該位相差に基づき前記フォーカスレンズを前記合焦する位置に駆動制御する制御手段とを備える撮像装置の合焦位置検出方法であって、
前記位相差検出エリアを前記位相差の検出方向に対して直角方向に分割する分割数を第１分割数ｎとするか該ｎより大きい第２分割数ｍとするかを撮像装置の設定状態によって判断し、
前記位相差検出エリアを前記ｎ又は前記ｍに分割した分割エリア毎に、前記第１検出情報と前記第２検出情報との相関関係を演算して相関演算曲線を算出し、
複数の前記分割エリアの前記相関演算曲線に対して所定演算処理を施した総合評価曲線を求め、該総合評価曲線から前記フォーカスレンズを前記合焦する位置に駆動制御するためのデフォーカス量を求める
ことを特徴とする。
また、実施形態の撮像装置及びその合焦位置検出方法であって、前記第１分割数ｎは１を含み、ｎ＝１のときの前記分割エリアの相関演算曲線を前記複数エリアの相関演算曲線とすることを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、撮影レンズの焦点距離で判断し、該焦点距離が所定閾値以下の場合には前記第１分割数ｎを選択し、該焦点距離が所定閾値を超える場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は顔検出モードが設定されているか否か判断し、顔検出モードが設定されていない場合には前記第１分割数ｎを選択し、顔検出モードが設定されている場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、静止画像撮影モードであるか動画撮影モードであるかで判断し、動画撮影モードが設定されている場合には前記第１分割数ｎを選択し、静止画像撮影モードが設定されている場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、夜景モードが設定されているか否かで判断し、夜景モードが設定されていない場合には前記第１分割数ｎを選択し、夜景モードが設定されている場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、動体撮影モードが設定されているか否かで判断し、動体撮影モードが設定されている場合には前記第１分割数ｎを選択し、動体撮影モードが設定されていない場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、設定された記録画素数で判断し、該記録画素数が所定値未満の場合には前記第１分割数ｎを選択し、前記記録画素数が前記所定値以上の場合には前記第２分割数ｍを選択することを特徴とする。

また、実施形態の撮像装置及びその合焦位置検出方法の前記撮像装置の設定状態は、前記撮像装置の設定状態は、設定された撮影感度で判断し、該撮影感度が所定値以上の場合には前記第１分割数ｎを選択し、前記撮影感度が前記所定値未満の場合には前記第２分割数ｍを選択する。

以上述べた実施形態によれば、カメラ側がどの様な被写体を撮影する予定なのかをカメラ設定状態で判断して高速ＡＦで撮影を行うか高精度ＡＦで撮影を行うかを決定するため、小型の固体撮像素子を搭載したカメラでも一眼レフカメラと同等の高速ＡＦ，高精度ＡＦを位相差ＡＦ方式で実現可能となる。

本発明に係る合焦位置検出方法は、被写体の状態によらずに、高速かつ高精度なＡＦ性能を得ることができるため、デジタルカメラ特にコンパクトなデジタルカメラやカメラ付携帯電話機、カメラ付電子装置、内視鏡用撮像装置等に適用すると有用である。
本出願は、２０１０年１１月３０日出願の日本特許出願番号２０１０−２６７９３４に基づくものであり、その内容はここに参照として取り込まれる。

１ｘ，１ｙ 位相差検出画素
２ｘ，２ｙ 位相差検出画素の遮光膜開口
１０ 撮像装置
２０ 撮影レンズ
２１ 固体撮像素子
２４ 駆動部
２６ デジタル信号処理部
２９ システム制御部
４０ 位相差検出エリア
Ｉ，II，III，IV 分割エリア

Claims (18)

1. 被写体の画像を撮像する受光面に設けられた位相差検出エリア内に、瞳分割した第１の位相差検出画素及び第２の位相差検出画素で構成されるペア画素が２次元配列された撮像素子と、
   該撮像素子の光路前段に置かれ、前記被写体の合焦した光学像を前記受光面に結像させるフォーカスレンズと、
   前記第１の位相差検出画素から出力される第１検出情報の前記ペア画素の一方の配列方向に対する第１の分布曲線と、前記第２の位相差検出画素から出力される第２検出情報の前記一方の配列方向に対する第２の分布曲線との位相差を求め、該位相差に基づき前記フォーカスレンズを前記合焦する位置に駆動制御する制御手段とを備え、
   該制御手段は、
   前記位相差検出エリアを前記位相差の検出方向に対して直角方向に分割する分割数を第１分割数ｎとするか該ｎより大きい第２分割数ｍとするかを撮像装置の設定状態によって判断する手段と、
   前記位相差検出エリアを前記ｎ又は前記ｍに分割した分割エリア毎に、前記第１検出情報と前記第２検出情報との相関関係を演算して相関演算曲線を算出する手段と、
   複数の前記分割エリアの前記相関演算曲線に対して所定演算処理を施した総合評価曲線を求め、該総合評価曲線から前記フォーカスレンズを前記合焦する位置に駆動制御するためのデフォーカス量を求める手段とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第１分割数ｎは１を含み、ｎ＝１のときの前記分割エリアの相関演算曲線を前記複数エリアの相関演算曲線とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、撮影レンズの焦点距離で判断し、該焦点距離が所定閾値以下の場合には前記第１分割数ｎを選択し、該焦点距離が所定閾値を超える場合には前記第２分割数ｍを選択する撮像装置。
4. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は顔検出モードが設定されているか否か判断し、顔検出モードが設定されていない場合には前記第１分割数ｎを選択し、顔検出モードが設定されている場合には前記第２分割数ｍを選択する撮像装置。
5. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、静止画像撮影モードであるか動画撮影モードであるかで判断し、動画撮影モードが設定されている場合には前記第１分割数ｎを選択し、静止画像撮影モードが設定されている場合には前記第２分割数ｍを選択する撮像装置。
6. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、夜景モードが設定されているか否かで判断し、夜景モードが設定されていない場合には前記第１分割数ｎを選択し、夜景モードが設定されている場合には前記第２分割数ｍを選択する撮像装置。
7. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、動体撮影モードが設定されているか否かで判断し、動体撮影モードが設定されている場合には前記第１分割数ｎを選択し、動体撮影モードが設定されていない場合には前記第２分割数ｍを選択する撮像装置。
8. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、設定された記録画素数で判断し、該記録画素数が所定値未満の場合には前記第１分割数ｎを選択し、前記記録画素数が前記所定値以上の場合には前記第２分割数ｍを選択する撮像装置。
9. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像装置の設定状態は、設定された撮影感度で判断し、該撮影感度が所定値以上の場合には前記第１分割数ｎを選択し、前記撮影感度が前記所定値未満の場合には前記第２分割数ｍを選択する撮像装置。
10. 被写体の画像を撮像する受光面に設けられた位相差検出エリア内に、瞳分割した第１の位相差検出画素及び第２の位相差検出画素で構成されるペア画素が２次元配列された撮像素子と、
    該撮像素子の光路前段に置かれ、前記被写体の合焦した光学像を前記受光面に結像させるフォーカスレンズと、
    前記第１の位相差検出画素から出力される第１検出情報の前記ペア画素の一方の配列方向に対する第１の分布曲線と、前記第２の位相差検出画素から出力される第２検出情報の前記一方の配列方向に対する第２の分布曲線との位相差を求め、該位相差に基づき前記フォーカスレンズを前記合焦する位置に駆動制御する制御手段とを備える撮像装置の合焦位置検出方法であって、
    前記位相差検出エリアを前記位相差の検出方向に対して直角方向に分割する分割数を第１分割数ｎとするか該ｎより大きい第２分割数ｍとするかを撮像装置の設定状態によって判断し、
    前記位相差検出エリアを前記ｎ又は前記ｍに分割した分割エリア毎に、前記第１検出情報と前記第２検出情報との相関関係を演算して相関演算曲線を算出し、
    複数の前記分割エリアの前記相関演算曲線に対して所定演算処理を施した総合評価曲線を求め、該総合評価曲線から前記フォーカスレンズを前記合焦する位置に駆動制御するためのデフォーカス量を求める
    ことを特徴とする撮像装置の合焦位置検出方法。
11. 請求項１０に記載の撮像装置の合焦位置検出方法であって、
    前記第１分割数ｎは１を含み、ｎ＝１のときの前記分割エリアの相関演算曲線を前記複数エリアの相関演算曲線とする撮像装置の合焦位置検出方法。
12. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、撮影レンズの焦点距離で判断し、該焦点距離が所定閾値以下の場合には前記第１分割数ｎを選択し、該焦点距離が所定閾値を超える場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
13. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は顔検出モードが設定されているか否か判断し、顔検出モードが設定されていない場合には前記第１分割数ｎを選択し、顔検出モードが設定されている場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
14. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、静止画像撮影モードであるか動画撮影モードであるかで判断し、動画撮影モードが設定されている場合には前記第１分割数ｎを選択し、静止画像撮影モードが設定されている場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
15. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、夜景モードが設定されているか否かで判断し、夜景モードが設定されていない場合には前記第１分割数ｎを選択し、夜景モードが設定されている場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
16. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、動体撮影モードが設定されているか否かで判断し、動体撮影モードが設定されている場合には前記第１分割数ｎを選択し、動体撮影モードが設定されていない場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
17. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、設定された記録画素数で判断し、該記録画素数が所定値未満の場合には前記第１分割数ｎを選択し、前記記録画素数が前記所定値以上の場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。
18. 請求項１０又は請求項１１に記載の撮像装置の合焦位置検出方法であって、
    前記撮像装置の設定状態は、設定された撮影感度で判断し、該撮影感度が所定値以上の場合には前記第１分割数ｎを選択し、前記撮影感度が前記所定値未満の場合には前記第２分割数ｍを選択する撮像装置の合焦位置検出方法。

Images