JP5825817B2 - 固体撮像素子及び撮像装置 - Google Patents

Description

本発明は、固体撮像素子及び撮像装置に関する。

近年、小型の撮影機器にも簡素な構成で特殊な効果や機能を搭載するものがあり、その一例として被写体空間の３次元画像の元となる視差情報の取得を簡易に取得できる撮影機器がある。また撮影機器の撮影光学系の焦点調節を素早く且つ正確に行うためには、３次元情報を得るための視差情報から被写体距離をより正確に検出することが望まれる。

上記素早く正確な焦点検出を行う技術として、特許文献１には、焦点検出機構に位相差検出方式の焦点検出手段を組み合わせたものが記載されている。また焦点検出を行うための専用ユニットを用いないものとして、特許文献２には固体撮像素子の撮像用画素の一部を、位相差方式の焦点検出用画素として用いることが記載されている。

特開昭６０−１２５８１４号公報 特開２００７−１５８１０９号公報

しかしながら、特許文献１では焦点検出のための専用ユニットが必要であり、且つ焦点検出を行う際は固体撮像素子に入射する光の全体または一部分を取り込む必要がある。また特許文献２では固体撮像素子の一部の配列を異ならせるために電気的な構成が複雑になり、撮像用画素をそのままの構成で焦点検出用画素として用いるため正確な焦点検出が行えない。

本発明は、上記課題に鑑みてなされ、その目的は、電気的な構造を複雑化することなく撮像用画素と焦点検出用画素とをレイアウトすることができる固体撮像素子及び撮像装置を実現することである。

上記課題を解決し、目的を達成するために、本発明の固体撮像素子は、マイクロレンズと複数の光電変換部とを有する単位画素が２次元に配列された画素群を備え、当該画素群が撮像用画素と焦点検出用画素を含む固体撮像素子であって、前記画素群の一部に焦点検出用画素として、前記複数の光電変換部のそれぞれを部分的に遮光する遮光部を設け、前記遮光部は、異なる形状の複数の開口を有し、当該開口は前記複数の光電変換部のうち、隣接する一対の光電変換部を部分的にまたがるように形成される。

本発明によれば、電気的な構造を複雑化することなく撮像用画素と焦点検出用画素とをレイアウトすることができる固体撮像素子及び撮像装置を実現することができる。

本発明に係る実施形態の電子カメラのブロック構成図。 実施形態１の固体撮像素子の画素配列図。 実施形態１の縦縞検知用の焦点検出用画素の詳細図。 実施形態１の横縞検知用の焦点検出用画素の詳細図。 画素への入射角度と出力値との関係を示す図。 実施形態２の固体撮像素子の画素配列図。 実施形態２の第１配置の焦点検出用画素の詳細図。 実施形態２の第２配置の焦点検出用画素の詳細図。 画素への入射角度と出力値との関係を示す図。 本実施形態の固体撮像素子における読み出し回路の構成図。 焦点検出用画素の断面構造を説明する図。 焦点検出用画素の瞳投影を説明する図。 焦点検出時の出力信号とデフォーカスマップを説明する図。 本実施形態の電子カメラによる撮影処理を示すフローチャート。 図１４のステップＳ１３１における焦点検出処理を示すフローチャート。 図１４のステップＳ１６１における画像記録処理を示すフローチャート。

以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

本発明の固体撮像素子及び撮像装置は、特にデジタルビデオカメラやデジタルスチルカメラ（以下、カメラ）に有用なものであり、１つのマイクロレンズに覆われた複数の光電変換素子を単位画素とした複数の画素群を有する。そして、これら光電変換素子の受光角度の違いを利用して３次元画像を生成するための視差情報や被写体全域にわたる距離情報を取得すると共に、フォーカスレンズの焦点調節用の精密な測距情報を取得できるようにしたものである。

［カメラの構成］先ず図１を参照して、本発明の固体撮像素子及び撮像装置を適用したカメラの構成について説明する。本実施形態のカメラは、固体撮像素子を有したカメラ本体と撮影光学系が一体となっており、動画及び静止画が記録可能である。

図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に移動可能に保持される。１０２は絞りで、その開口面積を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り１０２及び第２レンズ群１０３は一体となって光軸方向に駆動され、第１レンズ群１０１との連動により変倍作用（ズーム機能）を実現する。

１０５は第３レンズ群で、光軸方向の移動により焦点調節を行う。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳイメージセンサとその周辺回路で構成された固体撮像素子である。固体撮像素子１０７は、単位画素が水平方向にＭ画素、垂直方向にＮ画素それぞれ２次元に配列された矩形の画素群からなり、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

１１１はズームアクチュエータで、不図示のカム筒を手動もしくはアクチュエータで回動することにより、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に駆動し、ズーム機能を実現する。１１２は絞りアクチュエータで、絞り１０２の開口面積を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。

１１５は無線又は有線の通信器で、インターネット等のネットワーク回線を通じてサーバーコンピュータと通信するためのアンテナや信号処理回路で構成される。１１６はカメラの姿勢検知センサで、カメラの撮影姿勢、すなわち横位置撮影か縦位置撮影かを判別するための電子水準器が用いられる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るために、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そしてＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。

１２２は通信制御回路で、通信器１１５を介してカメラから撮影画像データをサーバーコンピュータへの送信を行ったり、サーバーコンピュータから画像データや各種情報の受信を行ったりする。１２３は姿勢検知回路で、姿勢検知センサ１１６の出力信号からカメラの姿勢を判別する。１２４は撮像素子駆動回路で、固体撮像素子１０７の撮像動作を制御し、固体撮像素子１０７から取得したアナログ画像信号をデジタル信号に変換してＣＰＵ１２１に出力する。１２５は画像処理回路で、固体撮像素子１０７から取得した画像信号のγ変換、カラー補間、画像圧縮等の処理を行ない、デジタル画像データを生成する。

１２６はフォーカス駆動回路で、後述する焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動して絞り１０２の開口面積を調節する。１２９はズーム駆動回路で、撮影者による操作スイッチ１３２を介したズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影時のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像、カメラの姿勢情報等を表示する。１３２は操作スイッチ群で、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３はカメラ本体に対して着脱可能なフラッシュメモリで、撮影済みの画像データを記録する。

［実施形態１］次に図２を参照して、実施形態１の固体撮像素子の画素構成について説明する。

図２は２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）１３行と横（Ｘ方向）１５列の範囲を、撮影光学系から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑（Ｇｒｅｅｎ）と赤（Ｒｅｄ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Ｂｌｕｅ）と緑（Ｇｒｅｅｎ）のカラーフィルタが交互に設けられる。２１１ｉ、２２１ｉ等の円はオンチップマイクロレンズを表わす。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部である。

また、図中で黒くハッチングされた部分は単位画素内で遮光されている部分である。

以下の説明では、単位画素内の各光電変換部を連結した形状を連結形状、当該連結形状の中心を連結中心と称する。

２１１は第１の画素で、Ｘ方向とＹ方向にそれぞれ２分割された計４個の光電変換部２１１ａ〜２１１ｄを有する。これら光電変換部２１１ａ〜２１１ｄは、画素中心で直交するＸ軸及びＹ軸に対して、それぞれ線対称となるように分割されている。すなわち、各分割領域の平面形状は正方形、４個の領域を合わせた連結形状も正方形で、像面上のすべての位置において同一の形状となっている。第１の画素２１１で光電変換された出力信号は、画像データの生成用及び合焦位置近傍での焦点検出用に供される。ここで画像データには、ＪＰＥＧ等のフォーマットで規定された通常の２Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）画像データのほかに、視差情報を含む複数の画像データから構成される３Ｄ画像データも含み、また動画データと静止画データのいずれも該当する。

第２の画素２２１、及び第３の画素２２２は、後述する第１の遮光部ｍ１〜第４の遮光部ｍ４が設けられている以外は第１の画素２１１と同等の構成を有している。

第２及び第３の各画素２２１，２２２は直交方向の被写体像（縦縞及び横縞パターン）をそれぞれ検出するもので、図示の画素配列では、第２の画素２２１は水平方向、第３の画素２２２は垂直方向の被写体像をそれぞれ検知する。

図３及び図４は第２及び第３の各画素２２１，２２２の拡大図であり、単位画素における４個の光電変換部をａ〜ｄで示している。

第２及び第３の各画素２２１，２２２はそれぞれ、４個の光電変換部ａ〜ｄにまたがるような異なる形状の開口が形成された第１ないし第４の４種類の遮光部ｍ１〜ｍ４が設けられている。第１ないし第４の各遮光部ｍ１〜ｍ４のそれぞれには、画素ごとに４個の光電変換部ａ〜ｄを部分的にまたがるような第１ないし第４の異なる形状の開口ｎ１〜ｎ４が形成されている。そして、上記第１ないし第４の各遮光部ｍ１〜ｍ４のうち、第１の遮光部ｍ１の第１の開口ｎ１と第２の遮光部ｍ２の第２の開口ｎ２、並びに第３の遮光部ｍ３の第３の開口ｎ３と第４の遮光部ｍ４の第４の開口ｎ４はそれぞれ、画素中心で直交する２つのＸ軸、Ｙ軸に対して、それぞれ線対称となるように形成される（図３及び図４参照）。

そして、第２及び第３の各画素２２１，２２２では、４個の光電変換部ａ〜ｄの出力信号の加算方法が以下のように分類される。
（ｉ）ａ、ｂ、ｃ、ｄの信号を加算
（ｉｉ）ａ、ｂの信号を加算
（ｉｉｉ）ｃ、ｄの信号を加算
図５は、図３に示す遮光部ｍ１、ｍ２が設けられた画素を示している。

本実施形態では、図中の（Ａ）画素と（Ｂ）画素のように部分的に遮光された画素を一対として互いの出力値の関係により焦点検出を行う。

図５中のグラフは、均一な輝度の被写体を撮影した場合において、撮影光学系の入射瞳から（Ａ）画素と（Ｂ）画素に射出される光線の角度を横軸に、それに対する光電変換強度の変化を縦軸で表したもので一般には瞳強度分布と呼ばれている。

以下では（Ａ）画素について説明を行うが、（Ｂ）画素は（Ａ）画素に対して遮光部の形状（開口）が左右（ここではＸ軸方向）対称なだけであるため瞳強度分布も左右対称な特性となる。また、図４に示す遮光部ｍ３，ｍ４については、瞳強度は図５とは異なるものの、瞳強度分布は左右対称な特性となる。

図５中の瞳強度分布グラフにて破線で囲まれた（アａ）及び（ア‘ａ）は、遮光部が設けられていない第１の画素２１１の出力値の上記（ｉｉ）及び（ｉｉｉ）の状態における瞳強度分布である。通常の２Ｄ画像データの撮像用に用いる場合は上記（ｉ）のようにａ〜ｄの各信号を加算して単一の画素の役割を持たせる。

また遮光部が設けられた状態において、（イａ）は上記（ｉｉ）の状態における瞳強度分布、（ウａ）は上記（ｉｉｉ）の状態における瞳強度分布である。また図５中の重複している瞳強度分布領域は加算されて２倍の強度を有するようになる。

このように各光電変換部の出力信号の加算方法を変化させることにより、見かけ上遮光部の短辺の長さ（スリット幅）を変化させたような作用を付与することができる。

［実施形態２］次に図６を参照して、実施形態２における固体撮像素子の画素構成について説明する。なお、実施形態２において、カラーフィルタ、画素及び光電変換部の構成及び配置並びに各画素の出力信号の利用方法は実施形態１と同様である。

図６中の第２及び第３の各画素６２１，６２２で光電変換された出力信号は、画像データの生成用及び合焦位置近傍での焦点検出用に供される。

ここで第２及び第３の各画素６２１，６２２は、直交方向（縦縞及び横縞模様）の被写体像を後述する光電変換部の信号の加算方法により選択的に検出する。

図７及び図８は第２及び第３の各画素６２１，６２２の拡大図であり、単位画素における４個の光電変換部をａ〜ｄで示している。

第２及び第３の各画素６２１，６２２には、実施形態１とは異なり、異なる形状の複数の開口を有し、各画素６２１，６２２の複数の光電変換部６２１ａ〜ｄ，６２２ａ〜ｄを部分的に遮光する第１ないし第４の４種類の遮光部ｐ１〜ｐ４が設けられている。第１ないし第４の各遮光部ｐ１〜ｐ４のそれぞれには、４個の光電変換部ａ〜ｄのうち、隣接する一対の光電変換部ａとｂ、ｃとｄを部分的にまたがるような異なる形状を有する第１の開口ｑ１ｘ〜ｑ４ｘと第２の開口ｑ１ｙ〜ｑ４ｙが形成されている。そして、上記第１ないし第４の各遮光部ｐ１〜ｐ４のうち、第１の遮光部ｐ１の第１及び第２の開口ｑ１ｘ，ｑ１ｙと第２の遮光部ｐ２の第１及び第２の開口ｑ２ｘ，ｑ２ｙ、第３の遮光部ｐ３の第１及び第２の開口ｑ３ｘ，ｑ３ｙと第４の遮光部ｐ４の第１及び第２の開口ｑ４ｘ，ｑ４ｙはそれぞれ、画素中心で直交する２つのＸ軸、Ｙ軸に対して、それぞれ線対称となるように形成される（図７及び図８参照）。

そして、第２及び第３の各画素６２１，６２２では、４個の光電変換部ａ〜ｄの出力信号の加算方法が以下のように分類される。
（ｉ）ａ、ｂ、ｃ、ｄの信号を加算
（ｉｉ）ａ、ｂの信号を加算
（ｉｉｉ）ｃ、ｄの信号を加算
（ｉｖ）ｃまたはｄの信号
図９は、図７における遮光部ｐ１，ｐ２が設けられた画素の瞳強度分布を示している。以下では（Ａ）画素について説明を行うが、（Ｂ）画素は（Ａ）画素に対して遮光部の開口が左右（ここではＸ軸方向）対称なだけであるため瞳強度分布も左右対称な特性となる。また、図８に示す遮光部ｐ３，ｐ４については、瞳強度は図９とは異なるものの、瞳強度分布は左右対称な特性となる。

そして、図中の（Ａ）画素と（Ｂ）画素のように部分的に遮光された画素を一対として互いの出力値の関係により焦点検出を行う。

図９中の瞳強度分布グラフの破線で囲まれた（アａ）及び（ア’ａ）は、上記（ｉ）の状態における遮光部が設けられていない画素の瞳強度分布である。

また遮光部が設けられた状態において、（エａ）は上記（ｉｉ）の状態における瞳強度分布、（オａ）は上記（ｉｉｉ）の状態における瞳強度分布である。

また図９中の重複している瞳強度分布領域は加算されて２倍の強度を有するようになる。

このように遮光された各光電変換部の出力信号の加算方法を変化させることにより、見かけ上遮光部の長辺及び短辺の長さ（スリット長及びスリット幅）を変化させたような作用を付与することができる。

ここで、第２及び第３の各画素６２１，６２２の遮光部の開口をスリット状に形成する理由を説明する。

位相差検出方式の焦点検出では、撮影光学系の射出瞳上で焦点検出用光束の瞳分割を行うが、瞳分割方向における瞳寸法が大きい場合には焦点検知像のボケが大きくなりすぎて焦点検出可能範囲が狭くなってくる。

また、撮影光学系のＦ値が暗く（Ｆナンバーが大きい）なってくると焦点検出用光束のケラレが大きくなり、一対の焦点検知用信号の相似性が損なわれてくるため焦点検出能力が低下してくる。更にこのケラレ現象はデフォーカス量に依存するため、デフォーカス量が大きいときには焦点検出能力が一層低下してしまう。

ここで、撮影光学系の射出瞳面上における焦点検出用瞳と、固体撮像素子の各画素における光電変換部とは、オンチップマイクロレンズを介して共役関係にある。そこで、焦点検出用画素の開口をスリット形状として評価しうる被写体の縞パターン方向を開口の短辺方向とすることで、焦点検出用の瞳分割方向における瞳寸法を小さくすることで上記焦点検出能力の低下を回避する。

他方、合焦位置近傍、すなわちデフォーカス量が小さい場合には焦点検出用瞳の寸法が大きくとも焦点検知像のボケは小さいものとなる。

よって、現在撮像を行っている被写体像が合焦位置近傍であると判断された場合には、光電変換部ａ、ｂ、ｃ、ｄの出力信号を全て加算した出力値を焦点検出用信号とすればよい。

また更には、第１の画素２１１の出力信号も焦点検出に用いることで、焦点検出に用いる焦点検出用信号の情報量が増加し、画素出力のノイズの影響が低減され、焦点検出精度がより一層向上できる。

［読み出し回路構成］次に図１０を参照して、本実施形態の固体撮像素子における読み出し回路の構成について説明する。図１０において、１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２ａないし１５２ｄと、垂直走査ライン１５４ａないし１５４ｄが配線され、各画素の光電変換部から上記各走査ラインを介して画素信号が読み出される。

上記４個の光電変換部を有した画素は全て同様な構造となっており、撮像用画素と焦点検出用画素に応じて光電変換部の数が異なるような複雑な構造にはしていない。

図中の配線構造は簡略化のため同じ線幅で示しているが、後述するように画素内での線幅を変えることで遮光部の役割を有するように設定を行う。

なお、本実施形態の固体撮像素子は第１及び第２の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称し、高精細静止画を撮像するために全画素の信号が読み出される。

第２の読み出しモードは間引き読み出しモードと称し、動画又はプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、第１の画素２１１はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また第２及び第３の各画素２２１，２２２，６２１，６２２からすべての信号を読み出すことで、焦点検出機能は維持される。

図１１は本実施形態の画素群における焦点検出用画素の断面構造を模式的に示している。詳細は特開２００９−２４４８６２号公報に記載された通りであり、この公知技術を本実施形態に適用している。

図１１中、光電変換部３０２は、シリコン基板３０１に埋め込まれている。透明ポリシリコン電極３０３が光電変換部３０２とシリコン基板３０１の上面に設けられる。

多層構造を有する第１ないし第３の各電極群３０４〜３０６は、透明ポリシリコン電極３０３の上方に設けられる。第３の電極群３０６は各画素の境界部に配置されている。これら３層の電極群３０４〜３０６はアルミニウムもしくは銅等の金属膜をエッチングして形成される。

また、第１ないし第３の各電極群３０４〜３０６は、二酸化珪素（ＳｉＯ₂）等からなる透明な層間絶縁膜３０７によって絶縁されている。３０８は第３の電極群３０６の上部を覆うパッシベーション膜、３０９は第１の平坦化層である。３１０はカラーフィルタである。３１１は第２の平坦化層、３１２はマイクロレンズである。

撮像用画素と焦点検出用画素とは、画素内における第１の電極群３０４及び第２の電極群３０５の形状が異なっている。

焦点検出用画素にスリット状の開口を形成するように第１及び第２の各電極群３０４，３０５の幅が隣接する電極間の絶縁領域も考慮すると、撮像用画素の幅ＯＰ０に対し図中のＯＰ１及びＯＰ２のようにレイアウトされる。

このように本実施形態では、第１及び第２の各電極群３０４，３０５を遮光膜として用いて画素に瞳分割機能を付与し、焦点検出用画素を形成している。

他方、撮像用画素は、第１及び第２の各電極群３０４，３０５が破線で示した長さになっており、図中のＯＰ０で示した開口領域として光電変換部に十分に導光されるようにレイアウトされる。

なお、図１１は一方向の断面のみを示しているが、この断面と直交する方向（奥行き方向）について、第２の電極群３０５も第１の電極群３０４と同様に画素の仕様に合わせて電極の幅や形状が設定される。

このように、光電変換部の構成を撮像用画素と焦点検出用画素とで特に差異を設けなくとも、上記遮光部や構成（上述の例では配線の幅を変化させる構成）を焦点検出用画素に施し、光電変換部の信号の加算方法を変えることにより、電気的な構造を複雑化することなく撮像用画素と焦点検出用画素をレイアウトすることができる。

図１２は、撮影光学系の一次元方向（例えばＸ方向）の位相差検出用画素（焦点検出用画素）の瞳投影を説明する図である。

図１２では、図１１で示した画素構造（一部簡略化している）を左右方向に反転させた向きでの２つの画素（ａ）及び（ｂ）を一対として被写体像の位相差を検知する。

図１１で示した構造で設定される開口ＯＰ０は、マイクロレンズ３１２を介して図１２に示す撮影光学系の射出瞳ＴＬの瞳ＥＰ０ａ及びＥＰ０ｂとして投影される。

他方、焦点検出用画素では遮光部の開口が図１２のＯＰ１及びＯＰ２に規制されている。このため、瞳ＥＰ０ａ及びＥＰ０ｂの領域内にＯＰ１に対応した瞳は図１２のＥＰ１ａ及びＥＰ１ｂ、同様にＯＰ２に対応した瞳はＥＰ２ａ及びＥＰ２ｂとなるように瞳が分割され、その瞳領域を通過した光束を画素（ａ）及び（ｂ）が受光する。

そして、画素（ａ）及び画素（ｂ）は、図２及び図６に示したように水平方向および／または垂直方向に規則的に配列されている。そこで、複数の画素（ａ）の出力信号を連ねて生成した第１の像信号と、複数の画素（ｂ）の出力信号を連ねて生成した第２の像信号との像ずれ量、すなわち位相差を検出することで被写体像のデフォーカス量が検出できる。

本実施形態では、固体撮像素子の全面にわたって、各画素が複数の光電変換部を有し、各光電変換部は１つのマイクロレンズを通じて受光を行うため、各光電変換部とマイクロレンズの光軸との位置関係はそれぞれが異なったものになる。そのため、各光電変換部に入射する被写体像はそれぞれがズレを生じたものを受光していることとなる。

そこで画素内の全ての光電変換部の信号を加算して扱えば解像度は低下するが通常の２Ｄ画像データとして用いることができる。

他方、本実施形態の画素構成によれば、１画素中の４つの光電変換部で水平方向または垂直方向に隣接する光電変換部の出力信号を加算して１つの画素から２つの像信号を分けて出力する。これにより、上述したように各像信号で再現される被写体像の視差画像を取得できるので、以下の方法で３Ｄ画像データを生成することが可能である。

［３Ｄ画像データの生成方法］図１３は、焦点検出時に取得された画像と焦点検出信号、並びに焦点検出結果から得られたデフォーカスマップを示している。図１３（ａ）において、撮像面に形成された被写体像には、中央に近景の人物、左側に中景の樹木、右側に遠景の山並みが写っている。以下、図１３における焦点検出信号として、第３の画素２２２の信号を採用した場合について説明する。

図１３（ａ）においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に第３の画素２２２による一対の焦点検出用信号ＡＦｂ及びＡＦｃが得られる。また、顔以外の領域は、所定ピッチで焦点検出領域が撮影画面全面にわたって設定される。図１３（ａ）の左は木の幹に対応した焦点検出領域とその信号が、右上には山の稜線に対応した焦点検出領域とその信号が示されている。そして、各焦点検出領域にて得られた一対の信号はそれぞれ横ずれしているため、公知の相関演算により横ずれ量を計算し、さらに上記横ずれ量を基線長で除算を行うことでデフォーカス量を算出する。

その後、主被写体、図１３（ａ）では中央に位置する顔領域について、デフォーカス量がゼロとなるように撮影光学系のフォーカスレンズを駆動し、再度焦点検出を行う。

以上の焦点調節過程で、撮影画面全面における焦点ずれ情報、いわゆるデフォーカスマップが取得できるが、その一例を図１３（ｂ）に示す。図１３（ｂ）は、デフォーカス量を所定の分解能に基づいて整理統合し、デフォーカス量の小さい領域から順に、ＤＥＦ０ないしＤＥＦ３に統合した例である。

［撮影処理］図１４ないし図１６のほか、図１ないし図１３を参照しながら、本実施形態のカメラによる撮影処理について説明する。以下に説明するフローチャートは、ＣＰＵ１２１がＲＯＭに格納されたプログラムをＲＡＭのワークエリアに展開することにより実行される。

図１４は実施形態１によるメインルーチンの撮影処理を示すフローチャートである。

図１４において、撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１０２では、ＣＰＵ１２１はカメラ内の各アクチュエータや固体撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する。

ステップＳ１０３では、ＣＰＵ１２１は撮影条件の設定受付け処理を行う。具体的には、露光調節モード、焦点調節モード、画像記録モード（２Ｄ又は３Ｄ）、画質（記録画素数や圧縮率）等を撮影者による設定操作を受け付ける。

ステップＳ１０４では、ＣＰＵ１２１は画像記録モードを判定し、３Ｄ画像記録モードが設定されていたら、ステップＳ１０５にて、撮影時の絞り値を開放に設定する。ここで、３Ｄ画像記録モードの場合は一対の画像が適正な視差情報を有していることが必要だが、光量調節のために撮影光学系の絞りを小絞りにしてしまうと、視差情報が減少してしまう。よって、３Ｄ画像記録モードでは絞りを開放に固定し、露光量は固体撮像素子の蓄積時間にて調節する。

一方、ステップＳ１０４にて２Ｄ画像記録モードに設定されていたら、ＣＰＵ１２１はステップＳ１０６にて絞り値を指定値に制御する。ここでの指定値とは、絞り優先ＡＥでは撮影者が選択した絞り値、プログラムＡＥでは予め設定された露出制御プログラムに基づく絞り値となる。

ステップＳ１０７では、ＣＰＵ１２１は撮影光学系のズーム状態、フォーカスレンズ状態、及び絞り状態を検出し、射出瞳の大きさや射出瞳距離等の情報をＲＯＭから読み出す。

ステップＳ１０８では、ＣＰＵ１２１は固体撮像素子の撮像動作を開始し、画素信号を読み出す。

ステップＳ１０９では、ＣＰＵ１２１は読み出した画素信号から表示用縮小画像を生成し、カメラ本体の背面に設けられた表示器１３１に表示する。すると撮影者はこのプレビュー画像を目視して構図決定やズーム操作等を行う。

ステップＳ１３１では、ＣＰＵ１２１は後述する焦点検出処理を実行する。

ステップＳ１５１では、ＣＰＵ１２１はステップＳ１３１で算出したフォーカスレンズ駆動量が所定値以下か否かを判定する。そして駆動量が所定値以下の場合は合焦と判定しステップＳ１５３に移行するが、所定値を超えている場合はステップＳ１５２でフォーカスレンズを駆動する。

ステップＳ１５３では、ＣＰＵ１２１は撮影スイッチがオンされたか否かを判定し、オンされていなければステップＳ１８１に移行し、オンされた場合はステップＳ１６１にて後述する画像記録処理を実行する。

ステップＳ１８１では、ＣＰＵ１２１はメインスイッチの状態を判定し、オン状態が維持されている場合はステップＳ１０２に戻り、オフされたらステップＳ１８２に移行する。

ステップＳ１８２では、ＣＰＵ１２１はステップＳ１６１で記録された画像データを、インターネット回線を介してサーバーコンピュータに送信する。するとサーバーコンピュータでは、３Ｄ画像データの視差情報の再構成や、デフォーカスマップの高精度演算等、演算規模の大きな処理を実行する。

ステップＳ１８３では、ＣＰＵ１２１はサーバーコンピュータで処理した画像データを受信する。

ステップＳ１８４では、ＣＰＵ１２１はステップＳ１６１で記録した元画像データに対して、サーバーコンピュータで処理した修正部分の追加や置き換え修正を行い、撮影処理を終了する。

＜焦点検出処理＞図１５は図１４のステップＳ１３１におけるサブルーチンの焦点検出処理を示すフローチャートである。図１４のステップＳ１３１から焦点検出サブルーチンへ移行すると、ステップＳ１３２において、ＣＰＵ１２１はプレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。

ステップＳ１３３では、ＣＰＵ１２１はステップＳ１３２での認識結果から、焦点を合わせるべき主被写体を決定する。

ステップＳ１３４では、ＣＰＵ１２１はステップＳ１０７で取得したレンズ情報に基づき、撮影光学系の射出瞳計算を行う。具体的には、射出瞳の大きさや像面からの距離を算出し、次いで像高毎のビネッティング計算を行う。

ステップＳ１３５では、ＣＰＵ１２１はステップＳ１３４で計算した射出瞳情報に基づき、焦点検出エリアごとに、ケラレの影響が少ない画素群を選択する。

ステップＳ１３６では、ＣＰＵ１２１は選択された画素群の各光電変換部の出力信号から相関演算用の一対２像を生成する。なお、ここで選択される画素群は１種類には限定されず、ビネッティングの影響が少ない画素群であれば、複数種を選択する。

ステップＳ１３７では、ＣＰＵ１２１は生成した焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。

ステップＳ１３８では、ＣＰＵ１２１はシェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。

ステップＳ１３９では、ＣＰＵ１２１はステップＳ１３８での相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定し、信頼性の低い値は不採用とする。

ステップＳ１４０では、ＣＰＵ１２１はステップＳ１３８及びＳ１３９にて得られた信頼性の高い像ずれ量と、焦点検出に用いた画素群の基線長から、像ずれ量を基線長で除算することによりデフォーカス量を算出する。

ステップＳ１４１では、ＣＰＵ１２１は撮影領域全域におけるデフォーカスマップを作成する。なお、デフォーカスマップの分解能（平面方向及び奥行き方向）を高くすると演算時間も増加するため、動画の記録レートに影響を及ぼさない程度の分解能に設定する。そして、詳細なデフォーカスマップが必要な場合は、図１４のステップＳ１８２で説明したように、高性能のサーバーコンピュータにて実施すればよい。

ステップＳ１４２では、ＣＰＵ１２１はステップＳ１３３で決定した主被写体領域と、ステップＳ１４１で作成したデフォーカスマップに基づき、フォーカスレンズの駆動量を算出する。その後、図１４のメインルーチンにリターンする。

＜画像記録処理＞図１６は図１４のステップＳ１６１におけるサブルーチンの画像記録処理を示すフローチャートである。

図１６において、撮影スイッチがオン操作され、図１４のステップＳ１６１から画像記録サブルーチンへ移行すると、ＣＰＵ１２１はステップＳ１６２にてカメラの姿勢検知を行う。

ステップＳ１６３では、ＣＰＵ１２１は姿勢検知結果に基づき、重力方向に応じた光電変換部の加算と画素の補間処理を行う。

ステップＳ１６４では、ＣＰＵ１２１は所定のフォーマットに則った３Ｄ画像データを生成する。

ステップＳ１６５では、ＣＰＵ１２１はステップＳ１６４で生成した画像データから、視差情報を消去した通常の２Ｄ画像データを生成する。例えば、一対の画像における同一座標の画素情報同士を加算することで、視差情報が消失した２Ｄ画像データが得られる。

ステップＳ１６６では、ＣＰＵ１２１はステップＳ１６４及びＳ１６５で生成した画像データに所定の圧縮処理を施し、フラッシュメモリ１３３に記録する。

ステップＳ１６７では、ＣＰＵ１２１は図１４のステップＳ１４１で作成したデフォーカスマップを画像に関連付けて記録する。その後、図１４のメインルーチンにリターンする。

以上説明したように、本実施形態によれば、電気的な構造を複雑化することなく撮像用画素と焦点検出用画素をレイアウトすることができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び当該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

1. マイクロレンズと複数の光電変換部とを有する単位画素が２次元に配列された画素群を備え、当該画素群が撮像用画素と焦点検出用画素を含む固体撮像素子であって、
   前記画素群の一部に焦点検出用画素として、前記複数の光電変換部のそれぞれを部分的に遮光する遮光部を設け、
   前記遮光部は、異なる形状の複数の開口を有し、当該開口は前記複数の光電変換部のうち、隣接する一対の光電変換部を部分的にまたがるように形成されることを特徴とする固体撮像素子。
2. 前記焦点検出用画素には、第１ないし第４の遮光部のいずれかが設けられ、
   前記第１ないし第４の各遮光部のそれぞれには、第１の開口と第２の開口が形成され、
   前記第１の遮光部の第１及び第２の開口と第２の遮光部の第１及び第２の開口、並びに第３の遮光部の第１及び第２の開口と第４の遮光部の第１及び第２の開口はそれぞれ、画素中心で直交する２つの軸に対して、それぞれ線対称となるように形成されることを特徴とする請求項１に記載の固体撮像素子。
3. 前記遮光部は、前記画素ごとにレイアウトされる電極により形成されることを特徴とする請求項１または２に記載の固体撮像素子。
4. 請求項１ないし３のいずれか１項に記載の固体撮像素子と、
   前記焦点検出用画素からの信号を用いて焦点検出を行う焦点検出手段と、
   前記焦点検出手段による検出結果に応じて合焦状態になるように光学系を制御する制御手段と、を有することを特徴とする撮像装置。
5. 前記焦点検出手段は、一対の前記焦点検出用画素を用いて位相差検出方式の焦点検出を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記焦点検出手段は、前記焦点検出用画素における前記複数の光電変換部からの信号を加算した信号を用いて焦点検出を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記複数の光電変換部からの信号の加算方法を変えることを特徴とする請求項６に記載の撮像装置。
8. 前記撮像用画素は、被写体像を撮像した画像に視差が生じるように構成されていることを特徴とする請求項４ないし７のいずれか１項に記載の撮像装置。

Images