(第1の実施形態)
図1は、本発明の第1の実施形態による撮像装置100の構成例を示すブロック図である。撮影レンズ101を通過した光は、レンズ絞り204を介して、撮影レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ102は、複数のマイクロレンズ1020を有し、撮影レンズ101の焦点位置近傍に配置され、撮影レンズ101の異なる瞳領域を通過した光を瞳領域毎に分割して出射する。撮像素子103は、複数の画素を有し、CMOSイメージセンサやCCDイメージセンサ等の固体撮像素子である。1つのマイクロレンズ1020に対して複数の画素が対応するように配置される。これにより、マイクロレンズ1020で瞳領域毎に分割して出射された光は、分割情報を保ったまま受光され、データ処理可能な画像信号に変換される。
アナログ信号処理回路(AFE)104は、撮像素子103から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、アナログ/デジタル(A/D)変換処理等を行う。デジタル信号処理回路(DFE)105は、アナログ信号処理回路104から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。
画像処理回路106は、デジタル信号処理回路105から出力された画像信号に対して、後述するA像及びB像の相関演算、焦点検出、また所定の画像処理や欠陥補正等を施す。メモリ回路107及び記録回路108は、画像処理回路106から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。
制御回路109は、撮影レンズ101、撮像素子103、画像処理回路106、操作回路110、表示回路111及び発光装置112等の撮像装置全体を駆動・制御する。操作回路110は、撮像装置100に備え付けられた操作部材からの信号を入力し、制御回路109に対してユーザーの命令を出力する。表示回路111は、撮像後の画像やライブビュー画像、各種設定画面等を表示する。発光装置112は、制御回路109からの信号PLIGHT(図8及び図9)に応じて発光を行う。
次に、本実施形態の撮像装置100における撮影レンズ101、マイクロレンズアレイ102及び撮像素子103の関係と、画素の定義、及び瞳分割方式による焦点検出の原理を説明する。
図2は、撮像素子103及びマイクロレンズ1020を図1の光軸Z方向から観察した図である。本実施形態では、1つのマイクロレンズ1020を1つの単位画素200とする。撮像素子103は、行列状に配置された複数の単位画素200を有する。また、複数の単位画素200の各々は、X軸方向に並ぶ2個の分割画素201A及び201Bを有する。
図3は、撮影レンズ101から出射された光が1つのマイクロレンズ1020を通過して撮像素子103で受光される様子を光軸Zに対して垂直方向(Y軸方向)から観察した図である。瞳領域202及び203は、撮影レンズ101の射出瞳の領域である。瞳領域202及び203を通過した光は、光軸Zを中心として単位画素200に入射する。瞳領域202を通過する光束は、マイクロレンズ1020を通して分割画素201Aで受光される。瞳領域203を通過する光束は、マイクロレンズ1020を通して分割画素201Bで受光される。したがって、分割画素201A及び201Bは、それぞれ、撮影レンズ101の異なる瞳領域202及び203の光を受光している。
ここで、複数の単位画素200内の分割画素201Aの信号群で構成した被写体像をA像とする。同様に、複数の単位画素200内の分割画素201Bの信号群で構成した被写体像をB像とする。画像処理回路106は、A像とB像に対して相関演算を実施し、像のずれ量(瞳分割位相差)を検出する。さらに、画像処理回路106は、像のずれ量に対して撮影レンズ101の焦点位置と光学系から決まる変換係数を乗じることで、画像内の任意の被写***置に対応した焦点位置を算出することができる。制御回路109は、算出された焦点位置情報を基に、撮影レンズ101のフォーカスを制御することで瞳分割位相差検出によるオートフォーカスが可能となる。また、画像処理回路106は、A像信号とB像信号とを加算してA+B像信号とすることで、このA+B像信号を通常の撮像画像に用いることができる。
図4は、単位画素200の構成例を示す回路図である。単位画素200は、第1のフォトダイオード(第1の光電変換部)301A及び第2のフォトダイオード(第2の光電変換部)301Bを有する。第1のフォトダイオード301Aは分割画素201Aに対応し、第2のフォトダイオード301Bは分割画素201Bに対応する。第1のフォトダイオード301Aには2つの転送スイッチ302A及び302Cが接続され、第2のフォトダイオード302Bには2つの転送スイッチ302B及び302Dが接続される。転送スイッチ302A〜302Dには、それぞれ、フローティングディフュージョン303A〜303Dが接続される。フローティングディフュージョン303A〜303Dには、それぞれ、リセットスイッチ304A〜304D及びソースフォロアアンプ305A〜305Dが接続される。ソースフォロアアンプ305A〜305Dには、それぞれ、セレクトスイッチ306A〜306Dが接続される。ここで、リセットスイッチ304Aと304B及びソースフォロアアンプ305Aと305Bのドレインは、基準電位(VDD)308のノードに接続されている。同様に、リセットスイッチ304Cと304D及びソースフォロアアンプ305Cと305Dのドレインは、基準電位(VDD)308のノードに接続されている。
第1のフォトダイオード301A及び第2のフォトダイオード301Bは、同一のマイクロレンズ1020を介して受光した光を電荷に変換する。第1の転送スイッチ302Aは、フォトダイオード301Aで発生した電荷をフローティングディフュージョン303Aに転送する。第3の転送スイッチ302Bは、フォトダイオード301Bで発生した電荷をフローティングディフュージョン303Bに転送する。第2の転送スイッチ302Cは、フォトダイオード301Aで発生した電荷をフローティングディフュージョン303Cに転送する。第4の転送スイッチ302Dは、フォトダイオード301Bで発生した電荷をフローティングディフュージョン303Dに転送する。転送スイッチ302A〜302Dは、それぞれ、転送パルス信号PTXA〜PTXDによって制御される。
第1の転送スイッチ302Aは、第1のフォトダイオード301Aの電荷を第1のフローティングディフュージョン(第1の電荷蓄積部)303Aに転送する。第2の転送スイッチ302Cは、第1のフォトダイオード301Aの電荷を第2のフローティングディフュージョン(第2の電荷蓄積部)303Cに転送する。第3の転送スイッチ302Bは、第2のフォトダイオード301Bの電荷を第3のフローティングディフュージョン(第3の電荷蓄積部)303Bに転送する。第4の転送スイッチ302Dは、第2のフォトダイオード301Bの電荷を第4のフローティングディフュージョン(第4の電荷蓄積部)303Dに転送する。転送スイッチ302A及び302Cは、フォトダイオード301Aの電荷をそれぞれ異なるフローティングディフュージョン303A及び303Cに転送する。転送スイッチ302B及び302Dは、フォトダイオード301Bの電荷をそれぞれ異なるフローティングディフュージョン303B及び303Dに転送する。
フローティングディフュージョン303A〜303Dは、電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部である。リセットスイッチ304A〜304Dは、それぞれ、フローティングディフュージョン303A〜303Dの電位を基準電位308にリセットする。リセットスイッチ304A〜304Dは、リセットパルス信号PRESによって制御される。
ソースフォロアアンプ305A〜305Dは、それぞれ、MOSトランジスタと基準電位308からなるソースフォロア回路であり、フローティングディフュージョン303A〜303Dに保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。セレクトスイッチ306A〜306Dは、それぞれ、ソースフォロアアンプ305A〜305Dで増幅された画素信号を垂直出力線307A〜307Dに出力する。垂直出力線307A〜307Dは、図6に示すように、同じ列の単位画素200で共有される。セレクトスイッチ306A〜306Dは、セレクトパルス信号PSELによって制御される。
図5は、単位画素200の構成例を示すレイアウト図である。図4に示したように、フォトダイオード301Aは、両端に2つの転送スイッチ302A及び302Cが接続され、転送スイッチ302A及び302Cのどちらによっても電荷を転送できる。同様に、フォトダイオード301Bは、両端に2つの転送スイッチ302B及び302Dが接続され、転送スイッチ302B及び302Dのどちらによっても電荷を転送できる。転送スイッチ302A〜302Dは、それぞれ、フローティングディフュージョン303A〜303Dに接続される。
図6は、撮像素子103の読み出し回路の構成例を示す図である。撮像素子103は、行列状に配置された複数の単位画素200を有する。なお、図6では、単位画素200を4行3列の計12個として図示するが、実際は数百万、数千万の単位画素200で構成される。また、単位画素200は、ベイヤー配列に従って並べられ、それぞれ、例えば赤(R)、緑(G)、青(B)のカラーフィルタが設けられる。ここでは、発光装置112の投射光として赤外光を用いるため、又はより反射光の受光効率を上げるため、赤外フィルタ又は透明フィルタを形成してもよい。垂直シフトレジスタ401は、各行毎に接続される信号線402を介して、各行の単位画素200を選択・駆動する。単位画素200のフローティングディフュージョン303A〜303Dで変換された信号は、それぞれ、垂直出力線307A〜307Dを通り、列回路403に入力される。列回路403で処理された信号は、水平シフトレジスタ404により、水平出力線405及び406を通り、出力アンプ407に転送される。
次に、列回路403の回路構成を説明する。クランプ容量(C0)408は、垂直出力線307A〜307D及びオペアンプ410の入力端子間に接続される。フィードバック容量(Cf)409は、オペアンプ410の入力端子及び出力端子間に接続される。基準電源411は、基準電圧Vrefをオペアンプ410に供給する。スイッチ412は、フィードバック容量409の両端をショートさせるためのスイッチである。スイッチ412は、リセット信号PC0Rで制御される。容量(CTS)413及び容量(CTN)414は、信号電圧を保持するための容量である。スイッチ415及び416は、それぞれ、容量413及び414への書き込みを制御するスイッチである。スイッチ415は信号PTSで制御され、スイッチ416は信号PTNで制御される。スイッチ417及び418は、水平シフトレジスタ404からの信号を入力し、それぞれ、水平出力線405及び406を介して、出力アンプ407に信号を出力する。スイッチ417は水平シフトレジスタ404の信号PHSで制御され、スイッチ418は信号PHNで制御される。出力アンプ407は、水平出力線405及び406の信号の差分を出力する。
図7は、本実施形態による撮像装置の100の第1の駆動方法を示すタイミングチャートである。第1の駆動方法は、通常撮影及び瞳分割位相差検出における画素信号読み出し方法を示す。第1の駆動方法は、2つのフォトダイオード301A及び301Bで発生した電荷をそれぞれ1つずつのフローティングディフュージョン303A及び303Bに転送する。
始めに、期間HBLKでは、信号PRESがハイレベルの状態であり、リセットスイッチ304A及び304Bは、オンし、それぞれ、フローティングディフュージョン303A及び303Bをリセットする。時刻t1では、信号PTXA及びPTXBがハイレベルになり、転送スイッチ302A及び302Bは、オンし、それぞれ、フォトダイオード301A及び301Bをリセットする。時刻t2では、信号PTXA及びPTXBがローレベルとなり、転送スイッチ302A及び302Bがオフし、フォトダイオード301A及び301Bの電荷蓄積が開始する。ここで、リセットのためにオン/オフする転送スイッチは、電荷蓄積後に電荷転送に用いるものに限らず、この例では信号PTXC及びPTXDによる転送スイッチ302C及び302Dを使用してもよい。
電荷蓄積開始後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306A及び306Bがオンし、ソースフォロアアンプ305A及び305Bが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304A及び304Bはオフし、フローティングディフュージョン303A及び303Bのリセットが解除される。ソースフォロアアンプ305A及び305Bは、それぞれ、フローティングディフュージョン303A及び303Bの電圧を増幅し、垂直出力線307A及び307Bを介して、列回路403にリセット信号レベル(ノイズ成分)として出力する。
列回路403において、時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410の基準電圧出力状態を解除する。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号は、容量414にリセット信号レベルとして書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。
次に、時刻t8では、信号PTXA及びPTXBがハイレベルになり、転送スイッチ302A及び302Bは、オンし、それぞれ、フォトダイオード301A及び301Bに蓄積された光電荷をフローティングディフュージョン303A、303Bに転送する。すると、電荷量に応じたフローティングディフュージョン303A及び303Bの電位変動がそれぞれ垂直出力線307A及び307Bに光信号レベル(光成分+ノイズ成分)として出力され、列回路403に入力される。時刻t10では、信号PTXA及びPTXBがローレベルになり、転送スイッチ302A及び302Bは、オフし、上記の転送が終了する。以上のように、転送スイッチ302A及び302Bは、同じタイミングで転送を行う。
列回路403において、時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号は、容量413に光信号レベルとして書き込まれる。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。なお、容量413及び容量414に信号を書き込む際、オペアンプ410は、クランプ容量408とフィードバック容量409の容量値の比に応じた反転ゲインで増幅して出力する。
その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304A及び304Bは、オンし、フローティングディフュージョン303A及び303Bをリセット状態にする。
次に、期間HSRにおいて、時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列の列回路403内のスイッチ417及び418が順次オンする。すると、容量413及び414に保持された信号は、水平出力線405及び406を介して、出力アンプ407に出力される。出力アンプ407は、水平出力線405及び406の信号の差分の信号(光成分)を出力する。
この後、通常撮影として駆動される場合、画像処理回路106は、加算部であり、フォトダイオード301A及び301Bから転送された電荷に基づく信号を加算して撮像画像としてもよい。一方、瞳分割位相差検出時は、画像処理回路106は、前述したA像とB像に対する相関演算を施し、距離情報を取得する。また、この場合、画像処理回路106は、距離情報取得後に、A像とB像の信号を加算するなどしてもよい。
なお、第1の駆動方法では、転送スイッチ302A及び302Bの組み合わせを用いたが、転送スイッチ302A及び302Dの組み合わせ又は転送スイッチ302B及び302Cの組み合わせを用いることもできる。それは、水平転送や後段の処理回路等の仕様に応じて適宜決めることができる。
図8は、本実施形態による撮像装置100の第2の駆動方法を示すタイミングチャートである。第2の駆動方法は、光走行時間測距時における第2の画素信号読み出し方法を示す。第2の駆動方法は、1つのフォトダイオード301Aで発生した電荷を異なるフローティングディフュージョン303A及び303Cに転送する。
始めに、期間HBLKでは、信号PRESがハイレベルになり、リセットスイッチ304A及び304Cは、オンし、フローティングディフュージョン303A及び303Cをリセットする。時刻t1では、信号PTXA及びPTXCがハイレベルになり、転送スイッチ302A及び302Cは、オンし、フォトダイオード301Aをリセットする。時刻t2では、信号PTXA及びPTXCがローレベルになり、フォトダイオード301Aの電荷蓄積を開始する。
蓄積開始後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306A及び306Cがオンし、ソースフォロアアンプ305A及び305Cが動作状態となる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304A及び304Cは、オフし、フローティングディフュージョン303A及び303Cのリセットが解除される。ソースフォロアアンプ305A及び305Cは、フローティングディフュージョン303A及び303Cの電圧を増幅し、垂直出力線307A及び307Cを介して、列回路403にリセット信号レベル(ノイズ成分)として出力する。
列回路403において、時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410の基準電圧出力状態を解除する。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号は、容量414にリセット信号レベルとして書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。
次に、時刻t8では、信号PTXAがハイレベルになり、転送スイッチ302Aは、オンし、フォトダイオード301Aに蓄積された光電荷をフローティングディフュージョン303Aに転送開始する。その後、時刻t9では、信号PLIGHTがハイレベルになり、発光装置112はパルス光の投射を開始する。時刻t10では、信号PTXAがローレベルになり、転送スイッチ302Aは、オフし、フローティングディフュージョン303Aへの転送が終了する。また、時刻t10では、信号PTXCがハイレベルになり、転送スイッチ302Cは、オンし、フォトダイオード301Aに蓄積された光電荷をフローティングディフュージョン303Cに転送開始する。そして、時刻t11では、信号PLIGHTがローレベルになり、発光装置112はパルス光の投射を終了する。時刻t12では、信号PTXCがローレベルになり、転送スイッチ302Cはオフし、フローティングディフュージョン303Cへの転送が終了する。以上のように、時刻t8〜t10の第1の期間では転送スイッチ302Aが転送を行い、その後の時刻t10〜t12の第2の期間では転送スイッチ302Cが転送を行う。
フローティングディフュージョン303A及び303Cの電位変動は、垂直出力線307A及び307Cを介して、列回路403に光信号レベル(光成分+ノイズ成分)として出力される。列回路403において、時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号は、容量413に光信号レベルとして書き込まれる。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。なお、オペアンプ410は、クランプ容量408とフィードバック容量409の容量値の比に応じた反転ゲインで増幅して出力する。
その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304A及び304Cは、オンし、フローティングディフュージョン303A及び303Cをリセット状態にする。
次に、期間HSRにおいて、時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列の列回路403内のスイッチ417及び418が順次オンする。すると、容量413及び414に保持された信号は、水平出力線405及び406を介して、出力アンプ407に出力される。出力アンプ407は、水平出力線405及び406の信号の差分の信号(光成分)を出力する。
画像処理回路106は、距離演算部であり、時刻t8〜t10の第1の期間に転送された電荷に基づく信号と時刻t10〜t12の第2の期間に転送された電荷に基づく信号の比から反射光の投射光に対する遅延時間を算出し、被写体までの距離情報を取得する。また、画像処理回路106は、転送スイッチ302A(302B)と転送スイッチ302C(302D)とを順次駆動して得られた異なる信号を、加算するなどしてもよい。
図9は、本実施形態による第3の駆動方法を示すタイミングチャートである。第3の駆動方法は、光走行時間測距時における第3の画素信号読み出し方法を示す。第3の駆動方法は、図8のフォトダイオード301A側に加えて、フォトダイオード301B側も同時に使用して読み出す。
始めに、期間HBLKでは、信号PRESがハイレベルになり、リセットスイッチ304A〜304Dは、オンし、フローティングディフュージョン303A〜303Dをリセットする。時刻t1では、信号PTXA〜PTXDがハイレベルになり、転送スイッチ302A〜302Dは、オンし、フォトダイオード301A及び301Bをリセットする。時刻t2では、信号PTXA〜PTXDがローレベルになり、転送スイッチ302A〜302Dがオフし、フォトダイオード301A及び301Bの電荷蓄積が開始する。
蓄積開始後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306A〜306Dは、オンし、ソースフォロアアンプ305A〜305Dを動作状態にする。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304A〜304Dは、オフし、フローティングディフュージョン303A〜303Dのリセットを解除する。ソースフォロアアンプ305A〜305Dは、フローティングディフュージョン303A〜303Dの電圧を増幅し、垂直出力線307A〜307Dを介して、列回路403にリセット信号レベル(ノイズ成分)として出力する。
列回路403において、時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410の基準電圧出力状態を解除する。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号は、容量414にリセット信号レベルとして書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。
次に、時刻t8では、信号PTXA及びPTXBがハイレベルになり、転送スイッチ302A及び302Bは、オンし、フォトダイオード301A、301Bに蓄積された光電荷をフローティングディフュージョン303A及び303Bに転送開始する。その後、時刻t9では、信号PLIGHTがハイレベルになり、発光装置112は、パルス光の投射を開始する。時刻t10では、信号PTXA及びPTXBがローレベルになり、転送スイッチ302A及び302Bがオフし、フローティングディフュージョン303A及び303Bへの転送が終了する。また、時刻t10では、信号PTXC及びPTXDがハイレベルになり、転送スイッチ302C及び302Dは、オンし、フォトダイオード301A及び301Bに蓄積された光電荷をフローティングディフュージョン303C及び303Dに転送開始する。時刻t11では、信号PLIGHTがローレベルになり、発光装置112は、パルス光の投射を終了する。時刻t12では、信号PTXC及びPTXDがローレベルになり、転送スイッチ302C及び302Dは、オフし、フローティングディフュージョン303C及び303Dへの転送が終了する。以上のように、時刻t8〜t10の第1の期間では転送スイッチ302A及び302Bが転送を行い、その後の時刻t10〜t12の第2の期間では転送スイッチ302C及び転送スイッチ302Dが転送を行う。
電荷量に応じたフローティングディフュージョン303A〜303Dの電位変動は、垂直出力線307A〜307Dを介して、列回路403に光信号レベル(光成分+ノイズ成分)として出力される。列回路403において、時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号は、容量413に光信号レベルとして書き込まれる。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。なお、オペアンプ410は、クランプ容量408とフィードバック容量409の容量値の比に応じた反転ゲインで増幅して出力する。
その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304A〜304Dは、オンし、フローティングディフュージョン303A〜303Dをリセット状態にする。
次に、期間HSRにおいて、時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列の列回路403内のスイッチ417及び418が順次オンする。すると、容量413及び414に保持された信号は、水平出力線405及び406を介して、出力アンプ407に出力される。出力アンプ407は、水平出力線405及び406の信号の差分の信号(光成分)を出力する。
画像処理回路106は、距離演算部であり、時刻t8〜t10の第1の期間に転送された電荷に基づく信号と時刻t10〜t12の第2の期間に転送された電荷に基づく信号の比から反射光の投射光に対する遅延時間を算出し、被写体までの距離情報を取得する。
ところで、撮像装置100は、撮影レンズ101の瞳領域202及び203を通過する光束を用いて瞳分割方式の測距を行うが、光学系の条件によって精度のよい測距が困難となる場合がある。そこで、図10(a)〜(c)を用いて各デフォーカス状態における被写体像を模式図で説明する。
図10(a)〜(c)は、図3と同様に、光軸Zに対して垂直方向(Y軸方向)から観察した図である。大デフォーカス状態では図10(a)のように被写体像の崩れ方が大きい。これに対し、中デフォーカスでは図10(b)のように、小デフォーカスでは図10(c)のように、デフォーカス量に応じて被写体像の崩れ方が小さくなる。ここで、一般に、デフォーカス量に影響を与える要素として光学系の絞り(Fナンバー)が挙げられる。例えば、絞りが開放に近いときは、撮影レンズ101のより広範囲の瞳領域を通過する光線を取り込むため、一般に合焦状態から離れたときに大デフォーカスになりやすい(いわゆるボケ表現。被写界深度の浅い状態)。一方、絞りを絞り、撮影レンズ101の瞳領域を通過する光線を制限することで、一般に合焦状態から離れたときに大デフォーカスになりにくい(いわゆるパンフォーカス。被写界深度の深い状態)。
これを単位画素200内の光線に置き換えて説明した模式図が図11(a)及び(b)である。図11(a)及び(b)は、図3と同様に、撮影レンズ101から出射された光が1つのマイクロレンズ1020を通過して撮像素子103で受光される様子を光軸Zに対して垂直方向(Y軸方向)から観察した図である。ここで、図11(a)は絞り値が小さい場合であり、分割画素201A及び201Bに入射する光線は、それぞれ撮影レンズ101の光軸から離れた瞳領域202及び203を通過した成分(入射角度の大きい成分)が支配的になる。つまり、分割画素201A及び201Bは、それぞれ異なる瞳領域202及び203の光を受光し、瞳分割位相差が大きくなる。一方、図11(b)は、絞り値が大きい場合であり、分割画素201A及び201Bに入射する光線は、それぞれ撮影レンズ101の光軸に近い瞳領域202及び203を通過した成分(入射角度の小さい成分、いわゆる平行光に近似できる成分)が支配的になる。つまり、分割画素201A及び201Bは、それぞれ略同等の光を受光し、瞳分割位相差が小さくなる。なお、例えば、図11(a)の被写体像は図10(a)に対応し、図11(b)の被写体像は例えば図10(c)に対応する。
このように瞳分割方式では、光学的な諸条件によって瞳分割位相差検出が難しい場合が考えられる。そこで、次に述べるような光走行時間法による測距を行う。図12は、図8又は図9のタイミングチャートの一部を示すものであり、光走行時間法の測距を説明する図である。
時刻t1では、信号PTXA(PTXB)がハイレベルになり、転送スイッチ302A(302B)がオンする。時刻t3では、信号PTXA(PTXB)がローレベルになり、転送スイッチ302A(302B)がオフすると同時に、信号PTXC(PTXD)がハイレベルになり、転送スイッチ302C(302D)がオンする。時刻t5では、信号PTXC(PTXD)がローレベルになり、転送スイッチ302C(302D)がオフする。ここで、転送スイッチ302A(302B)及び転送スイッチ302C(302D)のオン時間は等しい。時刻t2〜t4では、信号PLIGHTがハイレベルになり、発光装置112は、被写体にパルス光を投射する。フォトダイオード301A及び301Bは、被写体からの反射光を電荷に変換する。
撮像装置100から被写体までの距離がゼロならば、被写体からの反射光は、信号PLIGHTと同タイミングで受光される。この場合、信号PTXA(PTXB)によりフローティングディフュージョン303A(303B)に転送された信号と信号PTXC(PTXD)によりフローティングディフュージョン303C(303D)に転送された信号は等しい。しかし、撮像装置100から被写体までの距離がゼロでない場合、図12のように、反射光は、信号PLIGHTのタイミングに対して(t2’−t2)分だけ遅れて受光される。その結果、信号PTXA(PTXB)によりフローティングディフュージョン303A(303B)に転送された信号は、(t3−t2’)の期間に受光した反射光に対応する。信号PTXC(PTXD)によりフローティングディフュージョン303C(303D)に転送された信号は、(t4’−t3)の期間に受光した反射光に対応する。フローティングディフュージョン303A(303B)の信号とフローティングディフュージョン303C(303D)の信号は、偏りが生じる。画像処理回路106は、時刻t1〜t3の第1の期間に転送された電荷に基づく信号と時刻t3〜t5の第2の期間に転送された電荷に基づく信号の比を基に、反射光の投射光に対する遅延時間を推定し、その遅延時間と光速との積から被写体までの距離を算出する。
以上を踏まえ、本実施形態における撮像装置100の駆動方法について、図13のフローチャートを用いて説明する。図13において、ステップS1301では、静止画撮影、動画撮影等のモード設定、また感度、絞り値などの撮影条件設定が、ユーザーから操作回路110によって、あるいは撮像装置101から自動的に、制御回路109によってなされる。
ステップS1302では、撮像装置100は、焦点検出又は通常の撮像画像の取得のいずれを行うのかの判定を行う。焦点検出を行う場合はステップS1305に進む。通常の撮像画像を取得する場合はステップS1303に進む。
ステップS1303では、撮像装置100は、図7の第1の駆動方法(通常撮影)により画像信号を読み出す。次に、ステップS1304では、画像処理回路106は、ステップS1303で読み出された画像信号に対し、それぞれの読み出しに応じた所定の画像処理を施し、画像信号をメモリ回路107及び記録回路108に出力する。また、画像処理回路106は、画像信号を、制御回路109を介して表示回路111に出力する。
ステップS1305では、撮像装置100は、焦点検出方法として、光走行時間法による焦点検出又は瞳分割位相差検出による焦点検出のいずれを行うのかの判定を行う。光走行時間法による焦点検出の場合にはステップS1306に進み、瞳分割位相差検出による焦点検出の場合にはステップS1307に進む。ここで、焦点検出方法の選択は、ユーザーから操作回路110によってなされてもよいし、あるいは光学系の絞りやデフォーカス量などの情報に応じて、制御回路109が自動で判定してもよい。
ステップS1306では、撮像装置100は、光走行時間法による焦点検出のために、図8の第2の駆動方法又は図9の第3の駆動方法により信号を読み出し、距離検出用画像を取得する。その後、ステップS1308に進む。
ステップS1307では、撮像装置100は、瞳分割位相差検出による焦点検出のために、図7の第1の駆動方法(瞳分割位相差検出)により信号を読み出し、距離検出用画像を取得する。その後、ステップS1308に進む。
ステップS1308では、撮像装置100は、読み出された距離検出用画像に対し、光走行時間法又は瞳分割位相差検出法による処理を行い、被写体までの距離情報を算出する。なお、撮像装置100は、距離検出用画像又は距離情報をメモリ回路107、記録回路108及び表示回路111に出力してもよい。
次に、ステップS1309では、撮像装置100は、撮影終了の有無を判定し、継続ならばステップS1310に進み、終了ならば一連の動作を終了する。
ステップS1310では、画像処理回路106は、ステップS1308で得られた被写体までの距離情報を基にレンズ駆動量を算出する。
次に、ステップS1311では、制御回路109は、上記のレンズ駆動量を基に撮影レンズ101を駆動することにより、フォーカス駆動を行う。その後、ステップS1301に戻り、上記の動作を繰り返す。
なお、ステップS1305の判定に影響を与える要素は、前述したように撮影レンズ101の絞り値やデフォーカス量などであり、これらの要素に応じて適宜距離検出用画像の作成方法を選択する所定のしきい値を決めておくことができる。また、ステップS1310においては、例えば、絞り値が所定の値より大きい場合はパンフォーカスとみなし、焦点検出やレンズ駆動をスルーするようにしてもよい。
以上のようにして、分割画素構造による瞳分割位相差検出による焦点検出が困難な場合でも、必要に応じて、光走行時間法による焦点検出が可能となる。
なお、上記の説明では距離情報を算出する画素をカラーフィルタの区別なく行ったが、投射光の色、例えば赤外光などに合わせて赤外フィルタの画素のみを用いてもよいし、より光を取り込むために透明フィルタやGフィルタの画素を用いてもよい。
(第2の実施形態)
図14は、本発明の第2の実施形態による単位画素200の構成例を示す回路図である。本実施形態は、画素内レイアウトの効率化のために、2つの転送スイッチ502A及び502Bが1つのフローティングディフュージョン503Aを共有し、2つの転送スイッチ502C及び502Dが1つのフローティングディフュージョン503Bを共有する。
単位画素200は、第1のフォトダイオード(第1の光電変換部)501A及び第2のフォトダイオード(第2の光電変換部)501Bを有する。第1のフォトダイオード501A及び第2のフォトダイオード501Bは、同一のマイクロレンズ1020を介して受光した光を電荷に変換する。第1のフォトダイオード501Aには2つの転送スイッチ502A及び502Cが接続され、第2のフォトダイオード502Bには2つの転送スイッチ502B及び502Dが接続される。転送スイッチ502A及び502Bには、1つのフローティングディフュージョン503Aが共有するように接続されている。同様に、転送スイッチ502C及び502Dには、1つのフローティングディフュージョン503Bが共有するように接続されている。
第1の転送スイッチ502Aは、第1のフォトダイオード501Aの電荷を第1のフローティングディフュージョン(第1の電荷蓄積部)503Aに転送する。第2の転送スイッチ502Cは、第1のフォトダイオード501Aの電荷を第2のフローティングディフュージョン(第2の電荷蓄積部)503Bに転送する。第3の転送スイッチ502Bは、第2のフォトダイオード501Bの電荷を第1のフローティングディフュージョン503Aに転送する。第4の転送スイッチ502Dは、第2のフォトダイオード501Bの電荷を第2のフローティングディフュージョン503Bに転送する。第1の転送スイッチ502A及び第2の転送スイッチ502Cは、フォトダイオード501Aの電荷をそれぞれ異なるフローティングディフュージョン503A及び503Bに転送する。第3の転送スイッチ502B及び第4の転送スイッチ502Dは、フォトダイオード501Bの電荷をそれぞれ異なるフローティングディフュージョン503A及び503Bに転送する。
フローティングディフュージョン503Aには、リセットスイッチ504Aとソースフォロアアンプ505Aが接続されている。ソースフォロアアンプ505Aには、セレクトスイッチ506Aが接続されている。基準電位(VDD)508は、リセットスイッチ504A及びソースフォロアアンプ505Aに供給される。垂直出力線507Aは、セレクトスイッチ506Aを介してソースフォロアアンプ505Aに接続される。
フローティングディフュージョン503Bには、リセットスイッチ504Bとソースフォロアアンプ505Bが接続されている。ソースフォロアアンプ505Bには、セレクトスイッチ506Bが接続されている。基準電位(VDD)508は、リセットスイッチ504B及びソースフォロアアンプ505Bに供給される。垂直出力線507Bは、セレクトスイッチ506Bを介してソースフォロアアンプ505Bに接続される。
図15は、単位画素200の構成例を示すレイアウト図である。フォトダイオード501Aの両端には、2つの転送スイッチ502A及び502Cが接続され、転送スイッチ502A及び502Cのどちらによっても電荷を転送できる。同様に、フォトダイオード501Bの両端には、2つの転送スイッチ502B及び502Dが接続され、転送スイッチ502B及び502Dのどちらによっても電荷を転送できる。また、転送スイッチ502A及び502Bに対して、フローティングディフュージョン503Aが共有して配置されている。同様に、転送スイッチ502C及び502Dに対して、フローティングディフュージョン503Bが共有して配置されている。
図16は、本実施形態による撮像素子103の読み出し回路の構成例を示す図である。以下、本実施形態(図16)が第1の実施形態(図6)と異なる点を説明する。単位画素200は、垂直出力線507A及び507Bを介して、列回路403に信号を出力する。列回路403は、容量413の光信号を水平出力線405に転送し、容量414のノイズ信号を水平出力線406に転送する。出力アンプ407は、水平出力線405及び406の信号の差分を出力する。第1の実施形態(図6)は、4本の垂直出力線307A,307B,307C,307Dを有する。これに対し、本実施形態(図16)は、2本の垂直出力線507A及び507Bを有する。本実施形態は、第1の実施形態に対して、垂直出力線の本数が少ないので、レイアウトの効率化が実現できる。
図17は、本実施形態による第4の駆動方法を示すタイミングチャートである。第4の駆動方法は、瞳分割位相差検出時における画素信号の読み出し方法を示す。第4の駆動方法は、フォトダイオード501A及び501Bで発生した電荷をそれぞれフローティングディフュージョン503A及び503Bに同時に転送する。
始めに、期間HBLKでは、信号PRESがハイレベルになり、リセットスイッチ504A及び504Bは、オンし、フローティングディフュージョン503A及び503Bをリセットする。時刻t1では、信号PTXA及びPTXDがハイレベルになり、転送スイッチ502A及び502Dは、オンし、フォトダイオード501A及び501Bをリセットする。時刻t2では、信号PTXA及びPTXDがローレベルになり、転送スイッチ502A及び502Dがオフし、フォトダイオード501A及び501Bの電荷蓄積が開始する。ここで、リセットのためにオン/オフする転送スイッチは、電荷蓄積後に電荷転送に用いる転送スイッチ502A及び502Dに限らず、信号PTXBによる転送スイッチ502B及び信号PTXCによる転送スイッチ502Cを使用してもよい。
蓄積開始後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ506A及び506Bがオンし、ソースフォロアアンプ505A及び505Bが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ504A及び504Bは、オフし、フローティングディフュージョン503A及び503Bのリセットを解除する。ソースフォロアアンプ505A及び505Bは、それぞれ、フローティングディフュージョン503A及び503Bの電位を増幅し、垂直出力線507A及び507Bを介して、列回路403にリセット信号レベル(ノイズ成分)として出力する。
列回路403において、時刻t5では、信号PC0Rがローレベルになり、スイッチ412は、オフし、オペアンプ410の基準電圧出力状態を解除する。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号は、容量414にリセット信号レベルとして書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。
次に、時刻t8では、信号PTXA及びPTXDがハイレベルになり、転送スイッチ502A及び502Dは、オンする。フォトダイオード501Aに蓄積された光電荷はフローティングディフュージョン503Aに転送され、フォトダイオード501Bに蓄積された光電荷はフローティングディフュージョン503Bに転送される。時刻t10では、信号PTXA及びPTXDがローレベルになり、転送スイッチ502A及び502Dは、オフする。フローティングディフュージョン503Aへの転送及びフローティングディフュージョン503Bへの転送が終了する。以上のように、転送スイッチ502A及び502Dは、同じタイミングで転送を行う。すると、電荷量に応じたフローティングディフュージョン503A及び503Bの電位変動は、それぞれ、垂直出力線507A及び507Bを介して、列回路403に光信号レベル(光成分+ノイズ成分)として出力される。
列回路403において、時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号は、容量413に光信号レベルとして書き込まれる。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。オペアンプ410は、クランプ容量408とフィードバック容量409の容量値の比に応じた反転ゲインで増幅して出力する。
その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ504A及び504Bは、オンし、フローティングディフュージョン503A及び503Bをリセット状態にする。
次に、期間HSRにおいて、時刻t16〜t17では、信号PHS及びPHNのパルスにより、各列の列回路403内のスイッチ417及び418が順次オンする。すると、容量413及び414に保持された信号は、水平出力線405及び406を介して、出力アンプ407に出力される。出力アンプ407は、水平出力線405及び406の信号の差分の信号(光成分)を出力する。
この後、画像処理回路106は、前述したA像とB像に対する相関演算を施し、距離情報を取得する。また、この場合、画像処理回路106は、距離情報取得後に、A像とB像の信号を加算するなどしてもよい。
図18は、本実施形態による撮像装置100の駆動方法を示すフローチャートである。本実施形態(図18)は、第1の実施形態(図13)に対して、ステップS1307の代わりにステップS1807が設けられる。以下、本実施形態が第1の実施形態と異なる点を説明する。ステップS1807では、撮像装置100は、瞳分割位相差検出による焦点検出のために、図17の第4の駆動方法(瞳分割位相差検出)により信号を読み出し、距離検出用画像を取得する。その後、ステップS1308に進む。
本実施形態は、第1の実施形態と異なり、フローティングディフュージョン503A及び503Bを共有しているため、瞳分割位相差検出の駆動方法が変わる。ステップS1807では、第4の駆動方法により、A像とB像を別々に読み出す。
以上のように、本実施形態は、瞳分割位相差検出による焦点検出が困難な場合でも、必要に応じて、光走行時間法による焦点検出を行うことが可能となる。また、本実施形態は、第1の実施形態に対して、フローティングディフュージョン503A及び503Bを共有するため、配線や画素内配置レイアウトの効率化が可能になる。
なお、第1及び第2の実施形態では、列回路403にアナログデジタル(AD)変換回路を組み込んでもよい。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。