JP2017085377A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ＣＭＯＳイメージセンサを用いた撮像装置において、高輝度光が入射した場合のスミア発生を正確に検出する。【解決手段】撮像素子は、１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有し、それぞれの単位画素について、複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、全ての光電変換部の信号を読み出す第２の読み出し動作とを行うことが可能である。スミアの発生の検出は第１の読み出し動作で画素部から読み出した画像信号によって行う。【選択図】図６

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、デジタルカメラやビデオカメラ等で用いられるＣＣＤおよびＣＭＯＳイメージセンサなどの固体撮像素子の多機能化が進んでいる。

特許文献１では、固体撮像素子を瞳分割方式の焦点検出が可能となるように構成する技術が開示されている。特許文献１によると、撮像素子の１つの画素は、２つのフォトダイオードを有しており、各フォトダイオードは１つのマイクロレンズによって、撮影レンズの異なる瞳領域を通過した光を受光するように構成されている。したがって、２つのフォトダイオードからの出力信号を比較することで、撮影レンズの焦点検出が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、撮影画像としての信号を得ることができる。

ところで、ＣＣＤおよびＣＭＯＳイメージセンサに高輝度被写体からの光が入射する場合、その入射した列または行全体の信号レベルが変動することで、縦筋・縦帯や横筋・横帯状のノイズが発生することが知られている。これはＣＣＤではスミア現象として広く知られているが、ＣＭＯＳイメージセンサにおいても同様の現象が発生する。

ＣＭＯＳイメージセンサにおいては、筋状や帯状のノイズは電源やグラウンドの配線レイアウトに起因して発生する場合が多い。通常、電源やグラウンドは水平方向に配線される。例えば画面内の高輝度被写体部に相当する部分に多く電流が流れた結果、その左右画素の電源も変動し、同一行全体の信号レベルが変動する。また、レベル変動の応答遅れなどにより同一行以降の行の信号レベルも変動し、横筋や横帯状のノイズを引き起こす。このような現象は、特に高輝度被写体によってイメージセンサの内部の回路が飽和してしまった場合に顕著に起こる。これは、回路飽和によって信号出力を十分に制御できなくなるからであり、回路的な対策は難しい。

特許文献２には、撮像素子の出力信号を用いて高輝度被写体の有無を検出し、検出結果に基づいて撮像素子の出力信号を補正することでスミアの影響を緩和する技術が開示されている。

特開２０１３−１０６０９８号公報 特開２００１−１２４９８４号公報

スミアの発生条件を判定するために高輝度被写体の有無を検出する方法としては、撮影画像のＡ／Ｄ変換後の信号値が飽和しているか否かで検出する方法がある。しかし、一般的にはスミアが発生する高輝度被写体の条件は、撮影画像のＡ／Ｄ変換後の信号値が飽和する輝度レベルよりも高いレベルである場合が多い。この様な場合、撮影画像のＡ／Ｄ変換後の信号値の飽和を判断するのではスミアの発生条件を正確に判定出来ない場合があり、本来スミアの補正が不要な条件においても撮影画像に補正を実施してしまうことが考えられる。その場合、過補正や誤補正が発生してしまい、画像の品位を低下させるという問題が発生する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ＣＭＯＳイメージセンサを用いた撮像装置において、高輝度光が入射した場合にスミアが発生するか否かを正確に検出することである。

本発明に係わる撮像装置は、１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第１の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、を備えることを特徴とする。

本発明によれば、ＣＭＯＳイメージセンサを用いた撮像装置において、高輝度光が入射した場合にスミアが発生するか否かを正確に検出することが可能となる。

撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図。 本発明の第１の実施形態に係わる撮像装置の全体構成を示すブロック図。 撮像素子の単位画素の回路構成を示す図。 撮像素子の読み出し回路について説明する図。 画素信号を読み出すための信号のタイミングを示すタイミングチャート。 第１の実施形態の撮像装置の撮像動作を示すフローチャート。 第１の実施形態におけるスミアの発生を検出する動作を説明するための図。 第１の実施形態におけるスミアの発生を検出する動作を説明するための図。 第２の実施形態の撮像装置の駆動タイミングチャート。 第２の実施形態における単位画素の回路図。

以下、本発明の撮像装置の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
はじめに、本実施形態の撮像装置における瞳分割方式による焦点検出の原理について説明する。図１は、撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図である。

図１において、単位画素１００は第１のフォトダイオード１０１Ａと第２のフォトダイオード１０１Ｂを有する。単位画素１００の前面には、カラーフィルタ３０２、マイクロレンズ３０３が配置されている。撮影レンズ１１１０（図２参）は、射出瞳３０４を有する。マイクロレンズ３０３を有する単位画素１００に対して、射出瞳３０４から出射した光束の中心を光軸３０５とすると、射出瞳３０４を通過した光は、光軸３０５を中心として単位画素１００に入射する。第１及び第２のフォトダイオード１０１Ａ，１０１Ｂにより、撮影レンズ１１１０の射出瞳３０４は、一部領域３０６，３０７に分割される。具体的には、図１に示すように、瞳領域３０６を通過する光束はマイクロレンズ３０３を通して、フォトダイオード１０１Ａで受光され、瞳領域３０７を通過する光束はマイクロレンズ３０３を通して、フォトダイオード１０１Ｂで受光される。つまり、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂは、それぞれ撮影レンズ１１１０の射出瞳３０４の別々の瞳領域の光を受光している。したがって、第１のフォトダイオード１０１Ａの信号と第２のフォトダイオード１０１Ｂの信号とを比較することにより、位相差の検知が可能となる。

ここで、第１のフォトダイオード１０１Ａから得られる信号をＡ像信号、第２のフォトダイオード１０１Ｂから得られる信号をＢ像信号と定義する。Ａ像信号とＢ像信号を混合した信号はＡ＋Ｂ像信号として、このＡ＋Ｂ像信号は撮影画像に用いることができる。また、Ａ像信号とＢ像信号の位相差から撮影レンズ１１１０の焦点検出を行うことができる。

図２は、本発明の第１の実施形態に係わる撮像装置の全体構成を示すブロック図である。図２において、撮影レンズ１１１０は被写体の光学像を撮像素子１１０１に結像させるとともに、レンズ駆動回路１１０９によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子１１０１は、図１に示した単位画素１００がアレイ状に配置されており、撮影レンズ１１１０で結像された被写体像を光電変換して、画像信号を出力する。信号処理回路１１０３は、撮像素子１１０１から出力される画像信号に各種の補正を行ったり、データを圧縮したりする。この信号処理回路１１０３では、撮像素子１１０１で取得したＡ像信号とＡ＋Ｂ像信号からＢ像信号の生成も行う。タイミング発生回路１１０２は、撮像素子１１０１に駆動タイミング信号を出力する。全体制御・演算回路１１０４は、各種演算を行うとともに、撮像装置全体を制御する。また、Ａ像信号およびＢ像信号を用いた焦点検出動作や、本実施形態の主要動作であるスミア検出動作も行う。メモリ１１０５は画像データを一時的に記憶し、表示回路１１０６は各種情報や撮影画像を表示する。記録回路１１０７は、半導体メモリ等の着脱可能な記録媒体であり、画像データの記録または読み出しを行う。操作回路１１０８は、ユーザによる撮像装置の操作部材への操作を電気的に受け付ける。

次に、図３は、撮像素子１１０１の単位画素１００の回路構成を示す図である。図３に示すように、単位画素１００は、第１のフォトダイオード１０１Ａ、第２のフォトダイオード１０１Ｂ、第１の転送スイッチ１０２Ａ、第２の転送スイッチ１０２Ｂを有する。また、フローティングディフュージョン部１０３、増幅部１０４、リセットスイッチ１０５、選択スイッチ１０６を有する。

第１のフォトダイオード１０１Ａ、第２のフォトダイオード１０１Ｂは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。第１及び第２の転送スイッチ１０２Ａ，１０２Ｂは、それぞれ第１及び第２のフォトダイオード１０１Ａ，１０１Ｂで発生した電荷を共通のフローティングディフュージョン部１０３に転送する。第１及び第２の転送スイッチ１０２Ａ，１０２Ｂは、それぞれ駆動信号ＰＴＸＡ，ＰＴＸＢによって制御される。

フローティングディフュージョン部１０３は、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部１０４は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン部１０３に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。

リセットスイッチ１０５は、駆動信号ＰＲＥＳによって制御され、フローティングディフュージョン部１０３の電位を基準電位ＶＤＤにリセットする。選択スイッチ１０６は、駆動信号ＰＳＥＬによって制御され、増幅部１０４で増幅された画素信号を列信号線１０７に出力する。リセットスイッチ１０５は共通電源ＶＤＤ（１０８）に接続される。

図４は、撮像素子１１０１の読み出し回路について説明する図である。図４において、画素領域（画素部）２００には、単位画素１００が行列状に複数配列されている。なお、図４では、説明を分かりやすくするために、８×４画素の範囲のみを示しているが、実際の画素数はさらに多数である。

また、単位画素１００にはそれぞれ、複数色のカラーフィルタの各一色が割り当てられている。具体的には、赤色カラーフィルタが設けられ、赤色光を受光する画素をＲ画素、緑色カラーフィルタが設けられ、緑色光を受光する画素をＧ画素、青色カラーフィルタが設けられ、青色光を受光する画素をＢ画素として表記する。これら３色のカラーフィルタがそれぞれ配置された各画素はベイヤー配列に従って配置される。

垂直シフトレジスタ２０１は、各行の画素毎に駆動信号線２２２を通して、駆動パルスを送出する。なお、駆動信号線２２２は、説明を分かりやすくするため、各行毎に１本ずつ図示しているが、実際には各行毎に複数の駆動信号線が接続される。同じ列の単位画素１００は共通の列信号線１０７に接続されており、同じ列の各画素からの信号は、この列信号線１０７を介して共通の読み出し回路２０３に入力される。そして、読み出し回路２０３で処理された信号は水平シフトレジスタ２２０により順次出力アンプ２２１に出力される。電流源負荷２０２はそれぞれの列信号線１０７に接続される。

次に、読み出し回路２０３の具体的な回路構成について説明する。図４において、読み出し回路２０３は、クランプ容量Ｃ０（２０４）、フィードバック容量Ｃｆ（２０５）、オペアンプ２０６、基準電圧Ｖｒｅｆを供給する基準電圧源２０７、フィードバック容量Ｃｆ（２０５）の両端をショートさせるためのスイッチ２２３を有する。スイッチ２２３は駆動信号ＰＣ０Ｒで制御される。容量ＣＴＳＡＢ（２０８）、容量ＣＴＳＡ（２１０）、容量ＣＴＮ（２０９，２１１）はそれぞれ信号電圧を保持するための容量である。スイッチ２１２，２１３，２１４，２１５は容量への書き込みを制御する。スイッチ２１２は駆動信号ＰＴＳＡＢで制御され、スイッチ２１０は、駆動信号ＰＴＳＡで制御される。スイッチ２１３，２１５は駆動信号ＰＴＮで制御される。

スイッチ２１６，２１７，２１８，２１９は水平シフトレジスタ２２０からの信号を受けて出力アンプ２２１に信号を出力する。スイッチ２１６，２１７は水平シフトレジスタ２２０の駆動信号ＨＡＢ（ｎ）で制御され、スイッチ２１８，２１９は駆動信号ＨＡ（ｎ）で制御される。ここで、ｎは制御信号線が接続されている読み出し回路の列数を表す。容量ＣＴＳＡＢ（２０８）、容量ＣＴＳＡ（２１０）に書き込まれた信号は共通出力線２２５を介して、容量ＣＴＮ２０９，２１１に書き込まれた信号は共通出力線２２４を介して、出力アンプ２２１に出力される。

次に、図５は画素信号を読み出すための信号のタイミングを示すタイミングチャートである。図５を参照して撮像素子の駆動方法について説明する。

時刻Ｔ＝ｔ１において、第１及び第２の転送スイッチ１０２Ａ，１０２Ｂの駆動信号ＰＴＸＡ，ＰＴＸＢをＨとし、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂをリセットする。時刻Ｔ＝ｔ２において、駆動信号ＰＴＸＡ，ＰＴＸＢをＬとし、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂに光電荷の蓄積を開始させる。必要な時間だけ蓄積を行った後に、時刻Ｔ＝ｔ３において、選択スイッチ１０６の駆動信号ＰＳＥＬをＨにして、増幅部１０４をＯＮする。時刻Ｔ＝ｔ４において、リセットスイッチ１０５の駆動信号ＰＲＥＳをＬとすることでフローティングディフュージョン部１０３のリセットを解除する。このときのフローティングディフュージョン部１０３の電位を列信号線１０７に増幅部１０４を介してリセット信号レベルとして読み出し、読み出し回路２０３に入力する。読み出し回路２０３では、オペアンプ２０６が基準電圧Ｖｒｅｆの出力をバッファする状態（駆動信号ＰＣ０ＲがＨでスイッチ２２３がＯＮの状態）で、リセット信号レベルが入力される。

その後、時刻Ｔ＝ｔ５において、駆動信号ＰＣ０ＲをＬとする。そして、そのときの基準電圧Ｖｒｅｆの出力を容量ＣＴＮ２０９，２１１へ書き込むために、時刻Ｔ＝ｔ６において、駆動信号ＰＴＮをＨとして、スイッチ２１３，２１５をＯＮする。さらに、時刻Ｔ＝ｔ７において、駆動信号ＰＴＮをＬとして、スイッチ２１３，２１５をＯＦＦし、容量ＣＴＮ２０９，２１１への信号の書き込みを終了する。次に、時刻Ｔ＝ｔ８において、駆動信号ＰＴＸＡをＨとして、第１のフォトダイオード１０１Ａの光電荷をフローティングディフュージョン部１０３へ転送し、時刻Ｔ＝ｔ９において、駆動信号ＰＴＸＡをＬとする。この動作により第１のフォトダイオード１０１Ａに蓄積された電荷がフローティングディフュージョン部１０３へ読み出される。そして、その変化に応じた出力が増幅部１０４および列信号線１０７を介して読み出し回路２０３へ供給される。

読み出し回路２０３では、クランプ容量Ｃ０（２０４）とフィードバック容量Ｃｆ（２０５）の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧を容量ＣＴＳＡ（２１０）へ書き込むために、時刻Ｔ＝ｔ１０において、駆動信号ＰＴＳＡをＬ→Ｈへ切り替え、スイッチ２１４をＯＮする。そして、時刻Ｔ＝ｔ１１において、駆動信号ＰＴＳＡをＨ→Ｌと切り替え、スイッチ２１４をＯＦＦし、容量ＣＴＳＡ（２１０）へ信号の書き込みを終了する。

次に、時刻Ｔ＝ｔ１２において、再び駆動信号ＰＴＸＡをＨとすると同時に駆動信号ＰＴＸＢもＨとする。この動作により第１及び第２フォトダイオード１０１Ａ，１０１Ｂの双方の光電荷を同時にフローティングディフュージョン部１０３へ読み出すことができる。フローティングディフュージョン部１０３ヘ読み出し後、時刻Ｔ＝ｔ１３において、駆動信号ＰＴＸＡ，ＰＴＸＢをＨ→Ｌと切り替える。読み出された電荷は第１のフォトダイオード１０１Ａの信号のみを読みだした場合と同様に読み出し回路２０３へ供給され、オペアンプを介して出力される。

この電圧を容量ＣＴＳＡＢ（２０８）へ書き込むために、時刻Ｔ＝ｔ１４において、駆動信号ＰＴＳＡＢをＬ→Ｈへ切り替え、スイッチ２１２をＯＮする。そして、時刻Ｔ＝ｔ１５において、駆動信号ＰＴＳＡＢをＨ→Ｌへ切り替え、スイッチ２１２をＯＦＦして、容量ＣＴＳＡＢ（２０８）への信号の書き込みを終了する。

この動作により、容量ＣＴＳＡＢ（２０８）とＣＴＮ（２０９）の差電圧をとることで、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂからの出力信号の混合信号であるＡ＋Ｂ信号が得られる。このＡ＋Ｂ像信号は撮影画像信号として用いられる。また、容量ＣＴＳＡ（２１０）と容量ＣＴＮ（２１１）の差電圧をとることにより、第１のフォトダイオード１０１Ａからの出力信号であるＡ像信号が得られる。このＡ像信号から撮影レンズの瞳の一部を透過する光束の情報が得られる。さらに、Ａ＋Ｂ像信号とＡ像信号の差をとることにより、第２のフォトダイオード１０１Ｂからの出力信号であるＢ像信号が得られる。このＢ像信号からはＡ像信号とは異なる瞳領域を透過する光束の情報が得られる。これら２つの光束の情報から被写体の距離情報を得ることができる。

次に、時刻Ｔ＝ｔ１６において、駆動信号ＰＲＥＳをＨとして、フローティングディフュージョン部１０３をリセット状態にする。その後、時刻Ｔ＝ｔ１７〜ｔ１８の間に、水平シフトレジスタ２２０の駆動パルスＨＡ（ｎ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２１８，２１９がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２１８，２１９がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量ＣＴＳＡ（２１０）、容量ＣＴＮ（２１１）に保持された信号は共通出力線２２５，２２４へそれぞれ読み出され、出力アンプ２２１で差電圧として出力される。この差電圧がＡ像信号となる。

次に、時刻Ｔ＝ｔ１８〜ｔ１９の間に、水平シフトレジスタ２２０の駆動パルスＨＡＢ（ｎ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２１６，２１７がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２１６，２１７がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量ＣＴＳＡＢ（２０８）、容量ＣＴＮ（２０９）に保持された信号は共通出力線２２５，２２４へそれぞれ読み出され、出力アンプ２２１で差電圧として出力される。この差電圧がＡ＋Ｂ像信号となる。

以上の動作が各行毎に順次行われ、Ａ像信号、Ａ＋Ｂ像信号の読み出しが完了する。出力されたＡ像信号とそれに対応する位置のＡ＋Ｂ像信号の差をとることでＢ像信号を得ることができる。したがって、このＡ像信号とＢ像信号から焦点検出動作が可能である。

次に、本実施形態の特徴的な動作であるスミアの発生を検出する動作に関して図６のフローチャートを用いて説明する。

撮影が開始されると、Ｓ１７０１において、図５のタイミングチャートで説明した撮像動作が行われる。次に、Ｓ１７０２では、信号処理回路１１０３においてＡ像信号およびＡ＋Ｂ像信号からＢ像信号を生成する。Ｓ１７０３では１ｓｔフレームかどうかの判定を行い、１ｓｔフレームの場合、Ｓ１７０６に移行する。Ｓ１７０６では、取得したＡ＋Ｂ像信号を撮影画像として表示回路で表示するとともに、記録回路において圧縮動作等の処理を行った後に記録する。

Ｓ１７０３で１ｓｔフレームではないと判定された場合は、Ｓ１７０４に移行し、取得した画像がスミアが発生する条件で取得された画像であるか否かの判定を行う。すなわち、以前のスミア検出用のフレームで実施されたスミア検出動作において、スミアが発生する条件と判別されているか否かの判定を行う。

Ｓ１７０４においてスミアが発生する条件で取得された画像ではないと判定された場合には、Ｓ１７０６に進み、表示、記録動作を行う。Ｓ１７０４においてスミアが発生する条件で取得された画像であると判定された場合には、Ｓ１７０５に進み、取得したＡ＋Ｂ像信号に対してスミア補正動作を行う。ここで、スミア補正方法としては同一列のオプティカルブラック画素の信号の平均値に基づいて有効部の出力を補正する。ここで、スミア補正方法としては、他の公知の方法を用いても良い。

次に、Ｓ１７０６に進み、スミア補正を実施したＡ＋Ｂ像信号を表示回路で表示し、記録回路において圧縮動作等の処理を行った後に記録する。次に、Ｓ１７０７に進み、スミア検出を実施するフレームであるか否かを判定する。スミア検出を例えば動画のＭフレーム（Ｍは整数）ごと（所定フレーム数ごと）に１回実施する構成とした場合、取得した画像がＭ×ｎ（ｎ：整数）フレーム目の画像データであるか否かの判定を行う。

Ｓ１７０７において、スミア検出を実施するフレームでないと判定された場合には、Ｓ１７０９へ移行する。Ｓ１７０７において、スミア検出を実施するフレームであると判定された場合には、Ｓ１７０８へ進み、本実施形態の特徴的な動作であるスミア検出動作を実施する。

図７、図８は、本実施形態におけるスミアの発生を検出する動作を説明するための図である。スミア検出動作について図７、図８を用いて説明する。

まず、図７に示すように画素領域を複数のブロックに分割する。図７では水平方向に１６分割、垂直方向に８分割した例を示している。そして、それぞれの領域に対してＡ像信号の出力の平均値を求め、その平均値が閾値以上であるブロックが存在する、あるいは、そのブロック数が所定数以上存在する場合にはスミアが発生する条件であると判定する。

スミアの検出方法は上記の方法に限られるものではなく、他の検出方法を用いてもよい。たとえば、単純に個々の画素におけるＡ像信号の出力値が閾値以上であるか否かを判別し、閾値を越える画素が所定個数以上ある場合にはスミアが発生する条件であると判断してもよい。

ここで、Ａ像信号の出力を用いてスミアの発生を検出することにより、Ａ＋Ｂ像信号の出力を用いて検出する従来の方法よりも高い精度でスミアの発生を検出することが可能となる。図８を用いてその理由について説明する。

図８において、縦軸は撮像素子からの出力信号を信号処理回路においてＡ／Ｄ変換した後の出力レベル、横軸は撮像素子に入射している光量を示している。図８に示すように、Ａ像信号はＡ＋Ｂ像信号と比較して２倍のダイナミックレンジを有している。これは、Ａ像信号は１つのフォトダイオードからの出力であるのに対して、Ａ＋Ｂ像信号は２つのフォトダイオードからの出力の混合信号であるためである。つまり、Ａ像信号を用いれば、Ａ＋Ｂ像信号がＡ／Ｄ変換により飽和してしまう光量よりも２倍の光量まで、Ａ／Ｄ変換後の値が飽和せずに出力を得ることが可能である。

ＣＭＯＳイメージセンサにおけるスミアは、イメージセンサの内部回路が飽和してしまった場合に顕著に起こるが、これは、一般的には撮影画像用のＡ＋Ｂ像信号のＡ／Ｄ変換後の値が飽和するレベルよりも高いレベルである場合が多い。したがって、Ａ＋Ｂ像信号のＡ／Ｄ変換後の値の飽和でスミアの発生を判定した場合、Ａ／Ｄ変換値は飽和しているがイメージセンサ内部回路は飽和していない領域において、スミアが発生しないにもかかわらず、スミアが発生していると判定してしまう場合がある。

一方、本実施形態のようにＡ像信号を用いてスミアの発生を判定することにより、図８で示すように、Ａ＋Ｂ像信号がイメージセンサ内部で回路飽和してスミアが発生するレベルまで検出することができ、より正確なスミア発生の検出が可能となる。

図６の説明に戻り、Ｓ１７０９では、Ａ像信号およびＢ像信号を用いて、公知である相関演算を行い、各像の位相差（像ずれ量）から撮影レンズ１１１０のデフォーカス量を算出する。そして、デフォーカス量に基づいて撮影レンズ１１１０の駆動量が決定される。Ｓ１７１０では、決定した駆動量に基づいてレンズの駆動が行われる。Ｓ１７１１では撮影を終了するか否かの判定を行い、撮影が継続される場合はＳ１７０３に戻る。

以上説明したように、本実施形態の方法によれば、Ａ像信号の出力を用いてスミアの発生を判定することにより、スミアが発生しているか否かを正確に判定することが可能となる。

なお、本実施形態においては、撮影するＩＳＯ感度によらずスミアの検出動作を実施する構成について説明したが、ＩＳＯ感度に応じて、スミアの検出基準を変更したり、所定のＩＳＯ感度以上においてのみ、スミアの検出を実施する構成としてもよい。

また、本実施形態においては、スミアの検出を行ったフレームにおいても焦点検出動作を行う構成としたが、スミアの検出動作を行ったフレームにおいては、焦点検出動作を行わない構成としてもよい。この場合は、Ａ像信号の用途をスミアの検出の用途に限定することが出来るため、よりスミア検出動作に適した駆動に変更してＡ像信号を取得するようにしてもよい。例えば、アンプ２０６のゲインをＡ＋Ｂ像信号取得時（通常の撮影時）よりも低い設定とすることで、Ａ＋Ｂ像信号の２倍よりも大きなダイナミックレンジで（ダイナミックレンジを拡大して）Ａ像信号を取得することも可能となる。例えば、Ａ＋Ｂ像信号取得時の１／２のゲイン設定でＡ像信号を取得することにより、Ａ＋Ｂ像信号の４倍のダイナミックレンジでＡ像信号を取得することも可能となる。

（第２の実施形態）
次に、図９、図１０は、本発明の第２の実施形態における撮像素子の構成及び駆動方法を示す図である。第１の実施形態では、スミアの検出にＡ像信号の出力を用いる例を示した。本実施形態では、画素信号として、Ａ像信号とＡ＋Ｂ像信号ではなく、Ａ像信号とＢ像信号を取得する場合について説明する。この場合、撮影画像用のＡ＋Ｂ像信号は、取得したＡ像信号およびＢ像信号のＡ／Ｄ変換値を後段の信号処理回路において混合することにより生成することになる。また、Ｂ像信号はＡ像信号と同様に、Ａ＋Ｂ像信号に対して２倍のダイナミックレンジを有しているため、Ｂ像信号を用いてスミア検出を実施することも可能となる。なお、Ｂ像信号を用いてスミア検出をする方法は、Ａ像信号を用いてスミア検出をする方法と同様であるため、説明は省略する。

図１、図２、図４の構成については、第１の実施形態と同様であるため、説明は省略する。図１０は、本実施形態における撮像素子１１０１の単位画素１１０を示す回路図である。図３で示した第１の実施形態の単位画素１００と異なる点は、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂそれぞれに対して、リセットスイッチ、フローティングディフュージョン部、増幅部、選択スイッチを備えている点である。

単位画素１１０は、第１のフォトダイオード１０１Ａ、第２のフォトダイオード１０１Ｂ、第１の転送スイッチ１０２Ａ、第２の転送スイッチ１０２Ｂ、第１のフローティングディフュージョン部１０３Ａ、第２のフローティングディフュージョン１０３Ｂを備えている。また、第１の増幅部１０４Ａ、第２の増幅部１０４Ｂ、第１のリセットスイッチ１０５Ａ、第２のリセットスイッチ１０５Ｂ、第１の選択スイッチ１０６Ａ、第２の選択スイッチ１０６Ｂを含んで構成される。

第１及び第２のフォトダイオード１０１Ａ，１０１Ｂは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する。第１及び第２の転送スイッチ１０２Ａ，１０２Ｂは、それぞれ第１及び第２のフォトダイオード１０１Ａ，１０１Ｂで発生した電荷をそれぞれ第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂに転送する。第１及び第２の転送スイッチ１０２Ａ，１０２Ｂは、それぞれ駆動信号ＰＴＸＡ，ＰＴＸＢによって制御される。

第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂは、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂからそれぞれ転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。第１及び第２の増幅部１０４Ａ，１０４Ｂは、ソースフォロワＭＯＳトランジスタであり、第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂに保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。

第１及び第２のリセットスイッチ１０５Ａ，１０５Ｂは、駆動信号ＰＲＥＳによって制御され、第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂの電位をそれぞれ基準電位ＶＤＤにリセットする。第１の選択スイッチ１０６Ａは、駆動信号ＰＳＥＬＡによって制御され、第１の増幅部１０４Ａで増幅された画素信号を列信号線１０７に出力する。また、第２の選択スイッチ１０６Ｂは、駆動信号ＰＳＥＬＢによって制御され、第２の増幅部１０４Ｂで増幅された画素信号を列信号線１０７に出力する。第１及び第２のリセットスイッチ１０５Ａ，１０５Ｂは共通電源ＶＤＤ（１０８）に接続される。以上の画素構成とすることにより、第１のフォトダイオード１０１ＡからのＡ像信号と第２のフォトダイオード１０１ＢからのＢ像信号を取得することができる。

画素信号を読み出す駆動方法について図９を用いて説明する。まず、時刻Ｔ＝ｔ１において、第１及び第２の転送スイッチ１０２Ａ，１０２Ｂの駆動信号ＰＴＸＡ，ＰＴＸＢをＨとし、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂをリセットする。時刻Ｔ＝ｔ２において、駆動信号ＰＴＸＡ，ＰＴＸＢをＬとし、第１及び第２のフォトダイオード１０１Ａ，１０１Ｂに光電荷の蓄積を開始させる。必要な時間だけ蓄積を行った後に、時刻Ｔ＝ｔ３において、第１の選択スイッチ１０６Ａの駆動信号ＰＳＥＬＡをＨにして、第１の増幅部１０４ＡをＯＮする。時刻Ｔ＝ｔ４において、第１及び第２のリセットスイッチ１０５Ａ，１０５Ｂの駆動信号ＰＲＥＳをＬとすることで第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂのリセットを解除する。このときの第１のフローティングディフュージョン部１０３Ａの電位を列信号線１０７に第１の増幅部１０４Ａを介してリセット信号レベルとして読み出し、読み出し回路２０３に入力する。読み出し回路２０３では、オペアンプ２０６が基準電圧Ｖｒｅｆの出力をバッファする状態（駆動信号ＰＣ０ＲがＨでスイッチ２２３がＯＮの状態）でリセット信号レベルが入力される。

その後、時刻Ｔ＝ｔ５において、駆動信号ＰＣ０ＲをＬとする。そして、そのときの基準電圧Ｖｒｅｆの出力を容量ＣＴＮ（２０９，２１１）へ書き込むために、時刻Ｔ＝ｔ６において、駆動信号ＰＴＮをＨとして、スイッチ２１３，２１５をＯＮする。その後、時刻Ｔ＝ｔ７において、駆動信号ＰＴＮをＬとして、スイッチ２１３，２１５をＯＦＦし、容量ＣＴＮ（２０９，２１１）への信号の書き込みを終了する。

次に、時刻Ｔ＝ｔ８において、駆動信号ＰＴＸＡをＨとして、第１のフォトダイオード１０１Ａの光電荷を第１のフローティングディフュージョン部１０３Ａへ転送し、時刻Ｔ＝ｔ９において、駆動信号ＰＴＸＡをＬとする。この動作により第１のフォトダイオード１０１Ａに蓄積された電荷が第１のフローティングディフュージョン部１０３Ａへ読み出される。そして、その変化に応じた出力が増幅部１０４Ａおよび列信号線１０７を介して読み出し回路２０３へ供給される。

読み出し回路２０３では、クランプ容量Ｃ０（２０４）とフィードバック容量Ｃｆ（２０５）、の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧を容量ＣＴＳＡ（２１０）へ書き込むために、時刻Ｔ＝ｔ１０において、駆動信号ＰＴＳＡをＬ→Ｈへ切り替え、スイッチ２１４をＯＮする。そして、時刻Ｔ＝ｔ１１において、駆動信号ＰＴＳＡをＨ→Ｌと切り替え、スイッチ２１４をＯＦＦし、第１の選択スイッチ１０６Ａの駆動信号ＰＳＥＬＡをＨ→Ｌと切り替え、第１の選択スイッチ１０６ＡをＯＦＦにして、容量ＣＴＳＡ（２１０）への信号の書き込みを終了する。

次に、時刻Ｔ＝ｔ１２において、第２の選択スイッチ１０６Ｂの駆動信号ＰＳＥＬＢをＨにして、第２の選択スイッチ１０６ＢをＯＮにし、駆動信号ＰＴＸＢをＨとする。この際、駆動信号ＰＴＸＡはＨとせずに、第２のフォトダイオード１０１Ｂの光電荷のみ第２のフローティングディフュージョン部１０３Ｂへ読み出す。時刻Ｔ＝ｔ１３において、駆動信号ＰＴＸＢをＨ→Ｌと切り替える。読み出された電荷は第１のフォトダイオード１０１Ａの信号を読みだした際と同様に読み出し回路２０３へ供給され、オペアンプを介して出力される。

この電圧を容量ＣＴＳＡＢ（２０８）へ書き込むために、時刻Ｔ＝ｔ１４において、駆動信号ＰＴＳＡＢをＬ→Ｈへ切り替え、スイッチ２１２をＯＮする。そして、時刻Ｔ＝ｔ１５において、駆動信号ＰＴＳＡＢをＨ→Ｌと切り替え、スイッチ２１２をＯＦＦして容量ＣＴＳＡＢ（２０８）への信号の書き込みを終了する。

上記のようにして、容量ＣＴＳＡＢ（２０８）と容量ＣＴＮ（２０９）の差電圧をとることで、第２のフォトダイオード１０１Ｂからの出力信号であるＢ像信号が得られる。また、容量ＣＴＳＡ（２１０）と容量ＣＴＮ（２１１）の差電圧をとることにより、第１のフォトダイオード１０１Ａからの出力信号であるＡ像信号が得られる。このＡ像信号とＢ像信号を用いることにより、焦点検出動作が可能となる。また、Ａ像信号とＢ像信号を混合することにより、撮影画像用のＡ＋Ｂ像信号を得ることができる。

次に、時刻Ｔ＝ｔ１６において、駆動信号ＰＲＥＳをＨとして、第１及び第２のフローティングディフュージョン部１０３Ａ，１０３Ｂをリセット状態にする。その後、時刻Ｔ＝ｔ１７〜ｔ１８の間に、水平シフトレジスタ２２０の駆動パルスＨＡ（ｎ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２１８，２１９がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２１８，２１９がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量ＣＴＳＡ（２１０）、容量ＣＴＮ（２１１）に保持された信号は共通出力線２２５，２２４へそれぞれ読み出され、出力アンプ２２１で差電圧として出力される。この差電圧がＡ像信号となる。

次に、時刻Ｔ＝ｔ１８〜ｔ１９の間に、水平シフトレジスタ２２０の駆動パルスＨＡＢ（ｎ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２１６，２１７がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２１６，２１７がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量ＣＴＳＡＢ（２０８）、容量ＣＴＮ（２０９）に保持された信号は共通出力線２２５，２２４へそれぞれ読み出され、出力アンプ２２１で差電圧として出力される。この差電圧がＢ像信号となる。

以上の動作が各行毎に順次行われ、Ａ像信号、Ｂ像信号の読み出しが完了する。出力されたＡ像信号とそれに対応する位置のＢ像信号を混合することでＡ＋Ｂ像信号を得ることができる。

上述の駆動方法で取得したＡ像信号、またはＢ像信号を用いてスミアの検出動作を行うことにより、従来のＡ＋Ｂ像信号を用いて実施していたスミア検出動作よりも正確なスミア検出を行うことが可能となる。

以上、本発明の各実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々変更可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：単位画素、１０１Ａ：第１のフォトダイオード、１０１Ｂ：第２のフォトダイオード、１０２Ａ：第１の転送スイッチ、１０２Ｂ：第２の転送スイッチ、１０３：フローティングディフュージョン部、１０４：増幅部、１０５：リセットスイッチ、１０６：選択スイッチ、１０７：列信号線、１０８：共通電源ＶＤＤ、２００：画素領域

Claims (17)

1. １つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、
   前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、
   前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第１の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、
   を備えることを特徴とする撮像装置。
2. 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第１の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が存在する場合に、スミアが発生していると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第１の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が所定数以上存在する場合に、スミアが発生していると判定することを特徴とする請求項１に記載の撮像装置。
4. 前記判定手段は、前記第１の読み出し動作により読み出したそれぞれの画素の信号の値が所定の閾値以上であるか否かを判別し、前記所定の閾値を越える画素が所定数以上ある場合にはスミアが発生していると判定することを特徴とする請求項１に記載の撮像装置。
5. 前記判定手段による判定を、動画の所定のフレーム数ごとに行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記判定手段による判定を行う場合には、前記単位画素における複数の光電変換部の信号を用いた焦点検出動作を行わないことを特徴とする請求項５に記載の撮像装置。
7. 前記判定手段による判定を行う場合には、前記第１の読み出し動作において読み出す光電変換部の信号のダイナミックレンジを、通常の撮影を行う場合のダイナミックレンジよりも拡大することを特徴とする請求項６に記載の撮像装置。
8. 前記判定手段は、前記第１の読み出し動作における前記撮像素子の内部のアンプのゲインを、前記第２の読み出し動作における前記撮像素子の内部のアンプのゲインよりも低くすることにより、前記ダイナミックレンジを拡大することを特徴とする請求項７に記載の撮像装置。
9. １つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、
   前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、前記複数の光電変換部のうちの前記第１の読み出し動作で読み出した光電変換部とは異なる光電変換部の信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、
   前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第１の読み出し動作または前記第２の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、
   を備えることを特徴とする撮像装置。
10. 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第１の読み出し動作あるいは前記第２の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が存在する場合に、スミアが発生していると判定することを特徴とする請求項９に記載の撮像装置。
11. 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第１の読み出し動作あるいは前記第２の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が所定数以上存在する場合に、スミアが発生していると判定することを特徴とする請求項９に記載の撮像装置。
12. 前記判定手段は、前記第１の読み出し動作あるいは前記第２の読み出し動作により読み出したそれぞれの画素の信号の値が所定の閾値以上であるか否かを判別し、前記所定の閾値を越える画素が所定数以上ある場合にはスミアが発生していると判定することを特徴とする請求項９に記載の撮像装置。
13. 前記判定手段は、前記所定の閾値を、撮影時のＩＳＯ感度に応じて変更することを特徴とする請求項２乃至１２のいずれか１項に記載の撮像装置。
14. １つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子を備える撮像装置を制御する方法であって、
    前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第２の読み出し動作とを行う読み出し工程と、
    前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第１の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定工程と、
    を有することを特徴とする撮像装置の制御方法。
15. １つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子を備える撮像装置を制御する方法であって、
    前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第１の読み出し動作と、前記複数の光電変換部のうちの前記第１の読み出し動作で読み出した光電変換部とは異なる光電変換部の信号を読み出す第２の読み出し動作とを行う読み出し工程と、
    前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第１の読み出し動作または前記第２の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定工程と、
    を有することを特徴とする撮像装置の制御方法。
16. 請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
17. 請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images