(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像装置100の構成例を示すブロック図である。撮影レンズ101を通過した光は、レンズ絞り114により露光量が調節されて撮影レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ102は、複数のマイクロレンズ113から構成されており、撮影レンズ101の焦点位置近傍に配置されることで、撮影レンズ101の異なる瞳領域を通過した光を瞳領域毎に分割して出射する。撮像素子103は、CMOSイメージセンサ又はCCDイメージセンサ等の固体撮像素子である。撮像素子103は、1つのマイクロレンズ113に対して撮像素子103の複数の画素が対応するように配置することで、マイクロレンズ113で瞳領域毎に分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する。
アナログ信号処理回路(AFE)104は、撮像素子103から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、A/D変換処理等を行う。デジタル信号処理回路(DFE)105は、アナログ信号処理回路104から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。
画像処理回路106は、デジタル信号処理回路105から出力された画像信号に対して、後述するA像及びB像の相関演算や焦点検出、又は所定の画像処理や欠陥補正等を行う。メモリ回路107及び記録回路108は、画像処理回路106から出力された画像信号等を記録保持する不揮発性メモリ又はメモリカード等の記録媒体である。
制御回路109は、撮影レンズ101、撮像素子103、画像処理回路106、操作回路110、表示回路111及び発光装置112等の撮像装置全体を統括的に駆動・制御する。操作回路110は、撮像装置100に備え付けられた操作部からの信号を入力し、制御回路109に対してユーザの命令を出力する。表示回路111は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。
発光装置112は、制御回路109からの命令に同期し、信号PLIGHT(図7〜図10)に応じて、被写体にパルス光を投射する投光部である。
次に、撮影レンズ101、マイクロレンズアレイ102及び撮像素子103の関係と、画素の定義、及び瞳分割方式位相差検出法の原理を説明する。図2は、撮像素子103及びマイクロレンズ113を図1の光軸Z方向から見た図である。本実施形態では、マイクロレンズアレイ102を形成する個々のマイクロレンズ113を1つの画素と定義し、これを単位画素200とする。また、単位画素200は、1つのマイクロレンズ113に対して複数の分割画素201A及び201Bが対応するように配置されている。なお、本実施形態では、単位画素200は、X軸方向に2個の分割画素201A及び201Bを有する。撮像素子103は、2次元行列状に配置された複数の単位画素200を有し、図2では5行5列の単位画素200を示す。
図3は、撮影レンズ101から出射された光が1つのマイクロレンズ113を通過して単位画素200で受光される様子を光軸Zに対して垂直方向(Y軸方向)から見た図である。撮影レンズ101の射出瞳302及び303を通過した光は、光軸Zを中心として単位画素200に入射する。瞳領域302を通過する光束は、マイクロレンズ113を通して、分割画素201Aで受光される。瞳領域303を通過する光束は、マイクロレンズ113を通して、分割画素201Bで受光される。したがって、分割画素201A及び201Bは、それぞれ撮影レンズ101の異なる射出瞳302及び303の光を受光している。
撮像素子103は、X軸方向に並ぶ複数の単位画素200の分割画素201Aの信号を取得し、これらの出力信号群で構成した被写体像をA像とする。同様に、撮像素子103は、X軸方向に並ぶ複数の単位画素200の分割画素201Bの信号を取得し、これらの出力信号群で構成した被写体像をB像とする。画像処理回路106は、A像及びB像に対して相関演算を実施し、像のずれ量(瞳分割位相差)を検出する。さらに、画像処理回路106は、像のずれ量に対して、撮影レンズ101の焦点位置と撮影レンズ101の光学系から決まる変換係数を乗じることで、画像内の任意の被写***置に対応した焦点位置を算出する。制御回路109は、算出された焦点位置情報を基に、撮影レンズ101のフォーカスを制御することにより、瞳分割位相差AF(自動焦点調節)が可能となる。また、画像処理回路106は、A像信号及びB像信号を加算することにより、A+B像信号を生成し、A+B像信号を通常の撮影画像に用いることができる。
図4は、単位画素200の構成例を示す回路図である。図4の左半分の回路は分割画素201Aに対応し、図4の右半分の回路は分割画素201Bに対応する。単位画素200は、フォトダイオード401A及び401Bを有する。フォトダイオード401Aには、2つの転送スイッチ402A及び402Cが接続される。フォトダイオード401Bには、2つの転送スイッチ402B及び402Dが接続される。転送スイッチ402A〜402Dには、それぞれ、フローティングディフュージョン403A〜403Dが接続される。フローティングディフュージョン403A〜403Dには、それぞれ、リセットスイッチ404A〜404D及びソースフォロアアンプ405A〜405Dが接続される。ソースフォロアアンプ405A〜405Dには、それぞれ、セレクトスイッチ406A〜406Dが接続される。リセットスイッチ404A及び404B並びにソースフォロアアンプ405A及び405Bのドレインは、基準電位(VDD)408を共有している。リセットスイッチ404C及び404D並びにソースフォロアアンプ405C及び405Dのドレインは、基準電位408を共有している。
フォトダイオード401A及び401Bは、同一のマイクロレンズ113を通過した光を受光し、光電変換により、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ402Aは、フォトダイオード401Aで発生した電荷をフローティングディフュージョン403Aに転送する。転送スイッチ402Bは、フォトダイオード401Bで発生した電荷をフローティングディフュージョン403Bに転送する。転送スイッチ402Cは、フォトダイオード401Aで発生した電荷をフローティングディフュージョン403Cに転送する。転送スイッチ402Dは、フォトダイオード401Bで発生した電荷をフローティングディフュージョン403Dに転送する。転送スイッチ402A〜402Dは、それぞれ、転送パルス信号PTXA〜PTXDによって制御される。
フローティングディフュージョン403A〜403Dは、それぞれ、転送スイッチ402A〜402Dにより転送された電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。リセットスイッチ404A〜404Dは、それぞれ、フローティングディフュージョン403A〜403Dの電位を基準電位408にリセットする。リセットスイッチ404A〜404Dは、リセットパルス信号PRESによって制御される。
ソースフォロアアンプ405A〜405Dは、それぞれ、MOSトランジスタを有するソースフォロア回路であり、フローティングディフュージョン403A〜403Dに保持された電荷に基づく電圧を増幅して、画素信号として出力する。セレクトスイッチ406A〜406Dは、それぞれ、ソースフォロアアンプ405A〜405Dで増幅された画素信号を垂直出力線407A〜407Dに出力する。垂直出力線407A〜407Dは、同じ列の複数の単位画素200で共有される。セレクトスイッチ406A〜406Dは、セレクトパルス信号PSELによって制御される。
図5は、単位画素200の構成例を示すレイアウト図である。図4で説明したように、フォトダイオード401Aは、その両端に2つの転送スイッチ402A及び402Cを有する。フォトダイオード401Bは、その両端に2つの転送スイッチ402B及び402Dを有する。フォトダイオード401Aの電荷は、転送スイッチ402A及び402Cのどちらによっても転送可能である。フォトダイオード401Bの電荷は、転送スイッチ402B及び402Dのどちらによっても転送可能である。転送スイッチ402A〜402Dには、それぞれ、フローティングディフュージョン403A〜403Dが接続されている。
図6は、撮像素子103の構成例を示す図である。撮像素子103は、複数の単位画素200が行列状に配置されている。なお、図6においては、4行3列の計12個の単位画素200を図示するが、実際は数百万又は数千万の単位画素200で構成される。また、単位画素200は、ベイヤー配列に従って並べられ、それぞれ一般に赤(R)、緑(G)、青(B)のカラーフィルタが設けられる。ここでは、投射光として用いられる赤外光や反射光の受光効率を上げることを目的として、赤外フィルタや透明フィルタを形成した単位画素200を配置してもよい。垂直シフトレジスタ601は、各行の単位画素200毎に接続される信号線602を介して、単位画素200の行を選択及び駆動する。単位画素200のフローティングディフュージョン603A〜603Dで変換された信号は、それぞれ、垂直出力線407A〜407Dを通り、列回路603に入力される。
次に、列回路603の構成例を説明する。オペアンプ610には、基準電圧611が入力される。また、オペアンプ610の他方の入力端子には、クランプ容量608とフィードバック容量609が接続される。フィードバック容量609の両端をショートさせるためのスイッチ612は、リセット信号PC0Rで制御される。容量613及び614は、電圧を保持する。スイッチ615及び616は、それぞれ、オペアンプ610の出力電圧を容量613及び614へ書き込むためのスイッチである。スイッチ615は信号PTSで、スイッチ616は信号PTNで制御される。スイッチ617及び618は、それぞれ、水平シフトレジスタ604からの信号を入力し、水平出力線605及び606を介して、出力アンプ607に信号を出力するためのスイッチである。列回路603で処理された信号は、水平シフトレジスタ604により、水平出力線605及び606を通り、出力アンプ607に転送される。スイッチ617は、水平シフトレジスタ604の信号PHSで制御され、スイッチ618は水平シフトレジスタ604の信号PHNで制御される。出力アンプ607は、水平出力線605の電圧及び水平出力線606の電圧の差分を出力する。
図7は、撮像装置の第1の駆動方法を示すタイミングチャートである。第1の駆動方法は、通常撮像モードの画素信号読み出し又は瞳分割方式位相差検出モードの画素信号読み出しの駆動方法である。2つのフォトダイオード401A及び401Bで発生した電荷は、それぞれ1つずつのフローティングディフュージョン403A及び403Bに読み出される。
始めに、期間HBLKについて説明する。時刻t0では、信号PRESをハイレベルにし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A及び403Bをリセットする。時刻t1では、信号PTXA及びPTXBをハイレベルとし、転送スイッチ402A及び402Bをオンし、フォトダイオード401A及び401Bもリセットする。時刻t2では、信号PTXA及びPTXBをローレベルとし、転送スイッチ402A及び402Bをオフし、フォトダイオード401A及び401Bの電荷蓄積を開始する。ここで、リセットのためにオン/オフする転送スイッチは、電荷蓄積後に電荷転送に用いる転送スイッチ402A及び402Bに限らず、信号PTXC及びPTXDによる転送スイッチ402C及び402Dを使用してもよい。
蓄積開始後、時刻t3では、信号PSELをハイレベルとし、セレクトスイッチ406A及び406Bをオンし、ソースフォロアアンプ405A及び405Bを動作状態とする。時刻t4では、信号PRESをローレベルとし、リセットスイッチ404A〜404Dをオフにし、フローティングディフュージョン403A及び403Bのリセットを解除する。このときのソースフォロアアンプ405A及び405Bの出力電圧は、それぞれ、垂直出力線407A及び407Bにリセット信号レベル(ノイズ成分)として読み出され、列回路603に入力される。時刻t5では、信号PC0Rをローレベルとし、スイッチ612をオフし、オペアンプ610のリセットを解除する。時刻t6では、信号PTNをハイレベルにし、スイッチ616をオンにし、オペアンプ610の出力信号の容量614への書き込みを開始する。時刻t7では、信号PTNをローレベルにし、スイッチ616をオフにし、オペアンプ610の出力信号の容量614への書き込みを終了する。容量614には、リセット信号レベルが書き込まれる。
次に、時刻t8では、信号PTXA及びPTXBをハイレベルにし、転送スイッチ402A及び402Bをオンにし、フォトダイオード401A及び401Bに蓄積された電荷をそれぞれフローティングディフュージョン403A及び403Bに転送する。時刻t10では、信号PTXA及びPTXBをローレベルにし、転送スイッチ402A及び402Bをオフにし、上記の転送を終了する。すると、垂直出力線407A及び407Bには、それぞれ、フローティングディフュージョン403A及び403Bの電位変動に応じた光信号レベル(光成分+ノイズ成分)が読み出され、列回路603に入力される。時刻t13では、信号PTSをハイレベルにし、スイッチ615をオンにし、オペアンプ610の出力電圧の容量613への書き込みが開始する。時刻t14では、信号PTSをローレベルにし、スイッチ615をオフにし、オペアンプ610の出力電圧の容量613への書き込みが終了する。容量613には、光信号レベルが書き込まれる。なお、容量613及び614に信号を書き込む際、オペアンプ610は、クランプ容量608とフィードバック容量609の比に応じた反転ゲインの増幅を行い、電圧を出力する。
その後、時刻t15では、信号PRESをハイレベルとし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A及び403Bをリセット状態にする。
次に、期間HSRについて説明する。時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列のスイッチ617及び618が順次オンし、各列の容量613及び614に保持された信号が順次、水平出力線605及び606に出力される。出力アンプ607は、水平出力線605及び606の信号の差分信号(光成分)を出力する。
この後、撮像装置が通常撮像モードとして駆動される場合は、画像処理回路106は、フォトダイオード401A及び401Bの信号を加算し、撮像画像を生成する。一方、瞳分割方式位相差検出モードでは、画像処理回路106は、A像及びB像に対する相関演算を施し、デフォーカス量(焦点ずれ量)を取得する。また、この場合、デフォーカス量の取得後に、通常撮像モードにて、画像処理回路106は、A像とB像の信号を加算する。なお、ここでは、信号PTXA及びPTXBの組み合わせを用いたが、信号PTXA及びPTXDの組み合わせ、又は信号PTXB及びPTXCの組み合わせを用いることもできる。
図8は、撮像装置の第2の駆動方法を示すタイミングチャートである。第2の駆動方法は、光走行時間測距モードにおける画素信号読み出しの駆動方法である。1つのフォトダイオード401Aで発生した電荷は、異なるフローティングディフュージョン403A及び403Cに読み出される。
始めに、期間HBLKについて説明する。時刻t0では、信号PRESをハイレベルにし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A及び403Cをリセットする。時刻t1では、信号PTXA及びPTXCをハイレベルとし、転送スイッチ402A及び402Cをオンにし、フォトダイオード401Aもリセットする。時刻t2では、信号PTXA及びPTXCをローレベルとし、転送スイッチ402A及び402Cをオフにし、フォトダイオード401Aの電荷蓄積を開始する。
蓄積開始後、時刻t3では、信号PSELをハイレベルとし、セレクトスイッチ406A及び406Cをオンにし、ソースフォロアアンプ405A及び405Cを動作状態とする。時刻t4では、信号PRESをローレベルとし、リセットスイッチ404A〜404Dをオフにし、フローティングディフュージョン403A及び403Cのリセットを解除する。このときのソースフォロアアンプ405A及び405Cの出力信号は、それぞれ、垂直出力線407A及び407Cにリセット信号レベル(ノイズ成分)として読み出され、列回路603に入力される。時刻t5では、信号PC0Rをローレベルとし、スイッチ612をオフにし、オペアンプ610のリセットを解除する。時刻t6では、信号PTNをハイレベルとし、スイッチ616をオンにし、オペアンプ610の出力信号の容量614への書き込みを開始する。時刻t7では、信号PTNをローレベルとし、スイッチ616をオフにし、オペアンプ610の出力信号の容量614への書き込みを終了する。容量614には、リセット信号レベルが書き込まれる。
次に、時刻t8では、信号PTXAをハイレベルとし、転送スイッチ402Aをオンにし、フォトダイオード401Aに蓄積された光電荷をフローティングディフュージョン403Aに転送開始する。その後、時刻t9では、信号PLIGHTをハイレベルとし、発光装置112が赤外線の投光を開始する。時刻t10では、信号PTXAをローレベルとするのと同時に信号PTXCをハイレベルとし、転送スイッチ402Aをオフにし、転送スイッチ402Cをオンにする。これにより、フォトダイオード401Aに蓄積された電荷のフローティングディフュージョン403Cへの転送が開始する。時刻t11では、信号PLIGHTをローレベルとし、発光装置112は赤外線の投光を終了する。時刻t12では、信号PTXCをローレベルとし、転送スイッチ402Cをオフにし、転送を終了する。
垂直出力線407A及び407Cには、それぞれ、フローティングディフュージョン403A及び403Cの電位変動に応じた光信号レベル(光成分+ノイズ成分)が読み出され、列回路603に入力される。時刻t13では、信号PTSをハイレベルとし、スイッチ415をオンにし、オペアンプ610の出力信号の容量613への書き込みを開始する。時刻t14では、信号PTSをローレベルとし、スイッチ415をオフにし、オペアンプ610の出力信号の容量613への書き込みを終了する。容量613には、光信号レベルが書き込まれる。なお、容量613及び614に信号を書き込む際、オペアンプ610は、クランプ容量608とフィードバック容量609の比に応じた反転ゲインで増幅し、信号を出力する。
その後、時刻t15では、信号PRESをハイレベルとし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A及び403Cをリセット状態にする。
次に、期間HSRについて説明する。時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列のスイッチ617及び618が順次オンし、各列の容量613及び614に保持された信号が順次、水平出力線605及び606に出力される。出力アンプ607は、水平出力線605及び606の信号の差分信号(光成分)を出力する。この後、画像処理回路106は、後述するように読み出された信号の比を基に、反射光の投射光に対する遅延時間を算出し、被写体までの距離を演算する。
図9は、撮像装置の第2の駆動方法の他の例を示すタイミングチャートである。フォトダイオード401Aに加えて、フォトダイオード401Bも同時に使用して読み出す。
始めに、期間HBLKについて説明する。時刻t0では、信号PRESをハイレベルにし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A〜403Dをリセットする。時刻t1では、信号PTXA〜PTXDをハイレベルとし、転送スイッチ402A〜402Dをオンにし、フォトダイオード401A及び401Bもリセットする。時刻t2では、信号PTXA〜PTXDをローレベルとし、転送スイッチ402A〜402Dをオフにし、フォトダイオード401A及び401Bの電荷蓄積を開始する。
蓄積開始後、時刻t3では、信号PSELをハイレベルとし、セレクトスイッチ406A〜406をオンにし、ソースフォロアアンプ405A〜405Dを動作状態とする。時刻t4では、信号PRESをローレベルとし、リセットスイッチ404A〜404Dをオフにし、フローティングディフュージョン403A〜403Dのリセットを解除する。このときのソースフォロアアンプ405A〜405Dの出力信号は、垂直出力線407A〜407Dにリセット信号レベル(ノイズ成分)として読み出され、列回路603に入力される。時刻t5では、信号PC0Rをローレベルとし、スイッチ612をオフにし、オペアンプ610のリセットを解除する。時刻t6では、信号PTNをハイレベルにし、スイッチ616をオンにし、オペアンプ610の出力信号の容量614への書き込みを開始する。時刻t7では、信号PTNをローレベルにし、スイッチ616をオフにし、オペアンプ610の出力信号の容量614への書き込みを終了する。容量614には、リセット信号レベルが書き込まれる。
次に、時刻t8では、信号PTXA及びPTXBをハイレベルとし、転送スイッチ402A及び402Bをオンにし、フォトダイオード401A及び401Bに蓄積された電荷をそれぞれフローティングディフュージョン403A及び403Bに転送開始する。その後、時刻t9では、信号PLIGHTをハイレベルとし、発光装置112は、赤外線の投光を開始する。時刻t10では、信号PTXA及びPTXBをローレベルとするのと同時に、信号PTXC及びPTXDをハイレベルとする。転送スイッチ402A及び402Bはオフし、転送スイッチ402C及び402Dはオンし、フォトダイオード401A及び401Bに蓄積された電荷をそれぞれフローティングディフュージョン403C及び403Dに転送開始する。時刻t11では、信号PLIGHTをローレベルとし、発光装置112は、投光を終了する。時刻t12では、信号PTXC及びPTXDをローレベルとし、転送スイッチ402C及び402Dをオフにし、上記の転送を終了する。
ソースフォロアアンプ405A〜405Dの出力信号は、それぞれ、垂直出力線607A〜607Dに光信号レベル(光成分+ノイズ成分)として読み出され、列回路403に入力される。時刻t13では、信号PTSをハイレベルにし、スイッチ615をオンにし、オペアンプ610の出力信号の容量613への書き込みを開始する。時刻t14では、信号PTSをローレベルにし、スイッチ615をオフにし、オペアンプ610の出力信号の容量613への書き込みを終了する。容量613には、光信号レベルが書き込まれる。なお、容量613及び614に信号を書き込む際、オペアンプ610は、クランプ容量608とフィードバック容量609の比に応じた反転ゲインで増幅し、信号を出力する。
その後、時刻t15では、信号PRESをハイレベルとし、リセットスイッチ404A〜404Dをオンにし、フローティングディフュージョン403A〜403Dをリセット状態にする。
次に、期間HSRについて説明する。時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列のスイッチ617及び618が順次オンし、各列の容量613及び614に保持された信号が順次、水平出力線605及び606に出力される。出力アンプ607は、水平出力線605及び606の信号の差分信号(光成分)を出力する。
図10は、図8(図9)のタイミングチャートの一部を示すものであり、光走行時間法の測距の原理を説明するための図である。時刻t8では、信号PTXA(及びPTXB)による転送スイッチ402A(及び402B)をオンにする。時刻t10では、信号PTXA(及びPTXB)による転送スイッチ402A(及び402B)をオフにするのと同時に信号PTXC(及びPTXD)による転送スイッチ402C(及び402D)をオンにする。時刻t12では、信号PTXC(及びPTXD)による転送スイッチ402C(及び402D)をオフにする。ここで転送スイッチ402A(及び402B)と転送スイッチ402C(及び402D)のオン期間は等しく、それぞれのオン期間中の時刻t9及びt11では、発光装置112は、信号PLIGHTによりパルス光を投射する。パルス光は、被写体により反射し、撮像装置は反射光を入射する。
撮像装置から被写体までの距離がゼロならば、反射光は、信号PLIGHTと同じタイミングで受光され、信号PTXA(及びPTXB)により転送された画素信号と信号PTXC(及びPTXD)により転送された画素信号は等しい信号として出力される。しかし撮像装置から被写体までの距離がゼロでない場合、図10のように、反射光は(t9a−t9)分だけ遅れて受光される。その結果、信号PTXA(及びPTXB)により転送される画素信号は、(t10−t9a)の期間に受光した反射光の信号であり、信号PTXC(及びPTXD)により転送される画素信号は、(t11a−t10)の期間に受光した反射光の信号である。両者には、偏りが生じる。画像処理回路106は、これらの画素信号の比を基に反射光の投射光に対する遅延時間を推定することができ、その遅延時間と光速との積から被写体までの距離を算出することができる。
以上のように、図6の撮像素子103は、図7及び図8(図9)に示したタイミングチャートで駆動することにより、瞳分割方式位相差検出法の第1の駆動方法と光飛行時間法の第2の駆動方法の2つの駆動方法で駆動することができる。
瞳分割方式位相差検出法では、光学的な諸条件によって位相差検出が困難な場合が考えられる。例えば、絞り開放での撮影においては、撮像素子103の周辺の画素は周辺光量落ちにより出力が小さくなる。更に、光の入射角が大きくA像とB像においても入射角差の影響があり、精度良い相関演算が困難になる。すなわち、画像内で位相差検出が困難な領域が生じる。そこで、上述の問題を踏まえ、画像内の領域によって撮像素子の駆動方法を切り替える駆動方法を、以下、説明する。
図11は、画像内で撮像素子の駆動方法を切り替える切り替え位置の例を示す図である。なお、撮像素子103において、X軸方向の画素数をH、Y軸方向の画素数をVとし、左上の画素の座標を(X,Y)=(0,0)とする。X=0〜X1−1の領域1101及びX=X2〜H−1の領域1103では、光飛行時間法の第2の駆動方法により駆動し、X=X1〜X2−1の領域1102では、瞳分割方式位相差検出法の第1の駆動方法により駆動する。領域1102は、撮像素子103の中央領域である。領域1101及び1103は、撮像素子103の周辺領域である。
図12は、撮像装置の駆動方法を示すフローチャートである。ステップS1201では、制御回路109は、ユーザの操作に基づく操作回路110の信号に応じて、又は自動的に、静止画撮影又は動画撮影等のモード設定、感度、絞り値などの撮影条件設定を行う。
ステップS1202では、制御回路109は、通常の撮像画像を取得するか、あるいは焦点検出を行うのかを判定する。焦点検出を行う場合はステップS1205に進む。撮像画像を取得する場合はステップS1203に進む。
ステップS1203では、撮像素子103は、制御回路109の制御の下、第1の駆動方法(通常撮像モード)により画像信号を読み出す。その後、ステップS1204では、画像処理回路106は、ステップS1203で読み出された画像信号に対し、所定の画像処理を施し、画像信号をメモリ回路107、記録回路108及び表示回路111に出力する。
ステップS1205では、撮像素子103は、制御回路109の制御の下、焦点検出用信号取得のため、図7の第1の駆動方法により、領域1102の信号を読み出す。なお、全画素の信号を第1の駆動方法により読み出し、後段のステップで焦点検出用信号を生成する際に、領域1102に対応する画素のデータのみを使用してもよい。しかし、スキップ読み出しにより領域1102のみの信号を読み出す方が、高速に信号を読み出すことができるため、より好適である。ここで、スキップ読み出しとは、水平シフトレジスタ604の制御により、所望の列の信号のみを出力アンプ607に読み出すことである。所望の列の信号のみを読み出すことで、信号読み出し時間の短縮が可能となる。第1の駆動方法により、領域1102のみの画素の信号を読み出し、後述のステップS1206では、第2の駆動方法により、領域1101及び1103のみの画素の信号を読み出す。これにより、1フレーム辺り2種類の駆動方法で2回画素信号を読み出しているものの、通常の1フレームの読み出し時間相当で画素の信号を得ることができる。
続いて、ステップS1206では、撮像素子103は、制御回路109の制御の下、焦点検出用信号取得のため、図8又は図9の第2の駆動方法により、領域1101及び1103の信号を読み出す。なお、ステップS1205と同様に、全画素の信号を第2の駆動方法により読み出し、後段のステップで焦点検出を行う際に、領域1101及び1103に対応する画素のデータのみを使用してもよい。ただし、スキップ読み出しにより領域1101及び1103のみの信号を読み出す方が、高速に信号を読み出すことができるため、より好適である。また、図9で示したタイミングチャートに従い、フォトダイオード401A及び401Bの両方の信号を読み出す方が大きい信号量を得ることができるため、より好適である。
次に、ステップS1207では、画像処理回路106は、ステップS1205及びS1206で読み出された画像信号に対し、所定の画像処理を施し、画像信号をメモリ回路107、記録回路108及び表示回路111に出力する。つまり、図11の領域1101及び1103では、第2の駆動方法により読み出したデータを用いて焦点調節情報を生成する。そして、領域1102では、第1の駆動方法により読み出したデータを用いて焦点調節情報を生成する。
なお、領域の切り替わり部は、第1の駆動方法と第2の駆動方法の両方により焦点調節情報を生成してもよい。例えば、図11において、X=X1−α〜X1+αの領域、及びX=X2−α〜X2+αの領域を第1及び第2の駆動方法で焦点調節情報を生成する。そして、第1の駆動方法により、X=X1+α〜X2−αの領域の画素信号を読み出す。そして、第2の駆動方法により、X=0〜X1−α、X=X2+α〜H−1の領域の画素信号を読み出す。すなわち、X=0〜X1+αの領域及びX=X2−α〜H−1の領域では、第2の駆動方法により画素信号を読み出し、X=X1−α〜X2+αの領域では、第1の駆動方法により画素信号を読み出す。この場合、第1の駆動方法で読み出す領域と第2の駆動方法で読み出す領域は、相互に一部が重なっている。
ステップS1207では、画像処理回路106は、それぞれの領域の画素信号より焦点調節情報を生成すれば、駆動方法を切り替える領域付近はオーバーラップして焦点調節情報を取得でき、より精度良く焦点調節を行うことができる。
ステップS1208では、制御回路109は、撮影終了の有無を判定し、継続ならばステップS1209に進む。一方、終了ならば一連の動作を終了する。
ステップS1209では、画像処理回路106は、ステップS1207で得られた焦点調節情報を基に焦点検出を行い、レンズ駆動量を算出する。次に、ステップS1210では、制御回路109は、撮影レンズ101を上記のレンズ駆動量、駆動することにより、フォーカス駆動を行う。すなわち、焦点調節を行う。その後、ステップS1201に戻り、上記の動作を繰り返す。
以上のように、ステップS1205では、制御回路109は、発光装置112にパルス光を投射させずに、撮像素子103の第1の領域1102の画素の信号を読み出す。ステップS1206では、制御回路109は、発光装置112にパルス光を投射させ、撮像素子103の第2の領域1101及び1103の画素の信号を読み出す。ステップS1209では、画像処理回路106は、撮像素子103の第1の領域1102及び第2の領域1101,1103の画素の信号を基に、被写体の焦点検出を行う。ステップS1210では、制御回路109は、画像処理回路106により演算された距離に応じて、撮影レンズ101を駆動することで焦点調節を行う。
図13は、画像内で撮像素子の駆動方法を切り替える切り替え位置の他の例を示す図である。図11では、画像の長辺方向の方が周辺光量落ちの影響が大きいため、領域を列でのみ区切ったが、短辺方向も長辺方向ほどではないものの周辺光量落ちはある。そのため、図13に示した通り、行方向でも撮像素子の駆動方法を切り替えてもよい。撮像素子103において、座標(X,Y)=(X1,Y1)〜(X2−1,Y2−1)の領域1302は、瞳分割方式位相差検出法の第1の駆動方法で焦点検出用信号を取得し、それ以外の領域1301は、光飛行時間法の第2の駆動方法で焦点検出用信号を取得する。なお、領域1102と領域1101,1103は、一意に決めてもよいが、撮影レンズ101の瞳距離又は撮影時の絞り値等の撮影条件に応じて変えてもよい。
以上のように、画像内の領域によって撮像素子の駆動方法を切り替えることにより、画像内の位置によらず精度良く焦点調節を行うことができる。なお、撮像素子103の構成は、瞳分割方式位相差検出法と光飛行時間法の両方の駆動を行える構成であればよく、本実施形態に示した構成に限るものではない。また、本実施形態では、瞳分割方式位相差検出法で駆動する領域と光飛行時間方法で駆動する領域とを分けて信号の読み出しを行ったが、読み出し方法はこれに限定されるものではない。
(第2の実施形態)
本発明の第2の実施形態について説明する。本発明の第2の実施形態は、撮像素子103において、第1の駆動方法(瞳分割方式位相差検出法)で駆動する領域と、第2の駆動方法(光飛行時間法)で駆動する領域とで構成を変えることが特徴である。すなわち、それぞれの領域の駆動方法に好適な構成で撮像素子103を形成する。
図14は、撮像素子103及びマイクロレンズ113を図1の光軸Z方向から見た図である。1つのマイクロレンズ113を1つの画素と定義し、これを単位画素とする。各単位画素は、それぞれX座標とY座標のアドレスをもって(X,Y)と表記する。ここで、X=1、2、3の3列に配置されている中央領域の単位画素200は、1つのマイクロレンズ113に対して複数の分割画素201A及び201Bが対応するように配置されている。本実施形態では、X軸方向に2個の分割画素201A及び201Bが配置される。また、X=0、4に配置されている周辺領域の単位画素1402は、1つのマイクロレンズ113に対して1つの画素が対応するように配置されている。本実施形態では、2つの分割画素201A及び201Bで構成される単位画素200は、瞳分割方式位相差検出法に使用され、単位画素1402は、光飛行時間法に使用される。なお、単位画素200の構成は、図4及び図5で説明した構成と同様である。
図15は、図14の単位画素1402の構成例を示す回路図である。単位画素1402は、1つのフォトダイオード1501を有する。フォトダイオード1501には、2つの転送スイッチ1502A及び1502Cが接続される。転送スイッチ1502A及び1502Cには、それぞれ、フローティングディフュージョン1503A及び1503Cが接続される。フローティングディフュージョン1503Aには、リセットスイッチ1504A及びソースフォロアアンプ1505Aが接続される。フローティングディフュージョン1503Cには、リセットスイッチ1504C及びソースフォロアアンプ1505Cが接続される。ソースフォロアアンプ1505A及び1505Cには、それぞれ、セレクトスイッチ1506A及び1506Cが接続される。リセットスイッチ1504A,1504C及びソースフォロアアンプ1505A,1505Cのドレインは、基準電位1508を共有している。
フォトダイオード1501は、マイクロレンズ113を通過した光を受光し、光電変換により、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ1502Aは、フォトダイオード1501で発生した電荷をフローティングディフュージョン1503Aに転送する。転送スイッチ1502Cは、フォトダイオード1501で発生した電荷をフローティングディフュージョン1503Cに転送する。転送スイッチ1502A及び1502Cは、それぞれ、転送パルス信号PTXA及びPTXCによって制御される。フローティングディフュージョン1503A及び1503Cは、フォトダイオード1501から転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部である。
リセットスイッチ1504A及び1504Cは、それぞれ、フローティングディフュージョン1503A及び1503Cの電位を基準電位1508にリセットする。リセットスイッチ1504A及び1504Cは、リセットパルス信号PRESによって制御される。ソースフォロアアンプ1505Aは、MOSトランジスタを有するソースフォロア回路であり、フローティングディフュージョン1503Aに保持された電荷に基づく電圧を増幅して、画素信号として出力する。ソースフォロアアンプ1505Cは、MOSトランジスタを有するソースフォロア回路であり、フローティングディフュージョン1503Cに保持された電荷に基づく電圧を増幅して、画素信号として出力する。
セレクトスイッチ1506Aは、ソースフォロアアンプ1505Aで増幅された画素信号を垂直出力線1507Aに出力する。セレクトスイッチ1506Cは、ソースフォロアアンプ1505Cで増幅された画素信号を垂直出力線1507Cに出力する。垂直出力線1507A及び1507Cは、同じ列の複数の単位画素1402で共有される。セレクトスイッチ1506A及び1506Cは、セレクトパルス信号PSELによって制御される。
図16は、単位画素1402のレイアウト例を示す図である。図15で説明したように、フォトダイオート1501は、その両端に2つの転送スイッチ1502A及び1502Cが接続される。フォトダイオード1501の電荷は、転送スイッチ1502A及び1502Cのいずれによっても転送可能である。また、転送スイッチ1502A及び1502Cには、それぞれ、フローティングディフュージョン1503A及び1503Cが接続されている。
以上のように、中央領域のそれぞれの単位画素200は、複数のフォトダイオード401A及び401Bを有し、周辺領域のそれぞれの単位画素1402は、1つのフォトダイオード1501を有する。このような構成の撮像素子103を用いて、第1の実施形態で説明した駆動方法と同様の駆動方法により、画像内の位置によらず、精度良く焦点検出用信号を取得することができる。なお、本実施形態のように、距離画像を取得するための駆動方法に応じた撮像素子103の構成にすることにより、撮像素子103の回路レイアウトの効率化が図れる。
なお、第1の実施形態及び第2の実施形態においては、画像の中央領域では第1の駆動方法の瞳分割方式位相差検出法による焦点検出用信号を取得し、画像の周辺領域では第2の駆動方法の光飛行時間法による焦点検出用信号を取得する方法を説明した。しかし、画像の周辺領域に投射光が届かず、画像の周辺領域で光飛行時間法での焦点検出用信号の取得が困難な場合がある。また、画像の中央領域で大デフォーカスとなり、位相差が小さく、瞳分割方式位相差検出法が困難な場合がある。その場合、画像内の領域において、中央領域1102又は1302では第2の駆動方法による光飛行時間法を行い、周辺領域1101,1103又は1301では第1の駆動方法による瞳分割方式位相差検出法を行い、焦点検出用信号を取得してもよい。
以上のように、撮影条件に応じて、画像内の領域に応じて焦点検出用信号の取得方法を選択することにより、精度良く距離画像を取得することが可能となる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。