JP2017085377A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2017085377A JP2017085377A JP2015212332A JP2015212332A JP2017085377A JP 2017085377 A JP2017085377 A JP 2017085377A JP 2015212332 A JP2015212332 A JP 2015212332A JP 2015212332 A JP2015212332 A JP 2015212332A JP 2017085377 A JP2017085377 A JP 2017085377A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- photoelectric conversion
- pixel
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】CMOSイメージセンサを用いた撮像装置において、高輝度光が入射した場合のスミア発生を正確に検出する。【解決手段】撮像素子は、1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有し、それぞれの単位画素について、複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、全ての光電変換部の信号を読み出す第2の読み出し動作とを行うことが可能である。スミアの発生の検出は第1の読み出し動作で画素部から読み出した画像信号によって行う。【選択図】図6
Description
本発明は、撮像装置及びその制御方法に関するものである。
近年、デジタルカメラやビデオカメラ等で用いられるCCDおよびCMOSイメージセンサなどの固体撮像素子の多機能化が進んでいる。
特許文献1では、固体撮像素子を瞳分割方式の焦点検出が可能となるように構成する技術が開示されている。特許文献1によると、撮像素子の1つの画素は、2つのフォトダイオードを有しており、各フォトダイオードは1つのマイクロレンズによって、撮影レンズの異なる瞳領域を通過した光を受光するように構成されている。したがって、2つのフォトダイオードからの出力信号を比較することで、撮影レンズの焦点検出が可能となる。また、2つのフォトダイオードからの出力信号を加算することで、撮影画像としての信号を得ることができる。
ところで、CCDおよびCMOSイメージセンサに高輝度被写体からの光が入射する場合、その入射した列または行全体の信号レベルが変動することで、縦筋・縦帯や横筋・横帯状のノイズが発生することが知られている。これはCCDではスミア現象として広く知られているが、CMOSイメージセンサにおいても同様の現象が発生する。
CMOSイメージセンサにおいては、筋状や帯状のノイズは電源やグラウンドの配線レイアウトに起因して発生する場合が多い。通常、電源やグラウンドは水平方向に配線される。例えば画面内の高輝度被写体部に相当する部分に多く電流が流れた結果、その左右画素の電源も変動し、同一行全体の信号レベルが変動する。また、レベル変動の応答遅れなどにより同一行以降の行の信号レベルも変動し、横筋や横帯状のノイズを引き起こす。このような現象は、特に高輝度被写体によってイメージセンサの内部の回路が飽和してしまった場合に顕著に起こる。これは、回路飽和によって信号出力を十分に制御できなくなるからであり、回路的な対策は難しい。
特許文献2には、撮像素子の出力信号を用いて高輝度被写体の有無を検出し、検出結果に基づいて撮像素子の出力信号を補正することでスミアの影響を緩和する技術が開示されている。
スミアの発生条件を判定するために高輝度被写体の有無を検出する方法としては、撮影画像のA/D変換後の信号値が飽和しているか否かで検出する方法がある。しかし、一般的にはスミアが発生する高輝度被写体の条件は、撮影画像のA/D変換後の信号値が飽和する輝度レベルよりも高いレベルである場合が多い。この様な場合、撮影画像のA/D変換後の信号値の飽和を判断するのではスミアの発生条件を正確に判定出来ない場合があり、本来スミアの補正が不要な条件においても撮影画像に補正を実施してしまうことが考えられる。その場合、過補正や誤補正が発生してしまい、画像の品位を低下させるという問題が発生する。
本発明は上述した課題に鑑みてなされたものであり、その目的は、CMOSイメージセンサを用いた撮像装置において、高輝度光が入射した場合にスミアが発生するか否かを正確に検出することである。
本発明に係わる撮像装置は、1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第2の読み出し動作とを行うことが可能な読み出し手段と、前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第1の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、を備えることを特徴とする。
本発明によれば、CMOSイメージセンサを用いた撮像装置において、高輝度光が入射した場合にスミアが発生するか否かを正確に検出することが可能となる。
以下、本発明の撮像装置の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
はじめに、本実施形態の撮像装置における瞳分割方式による焦点検出の原理について説明する。図1は、撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図である。
はじめに、本実施形態の撮像装置における瞳分割方式による焦点検出の原理について説明する。図1は、撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図である。
図1において、単位画素100は第1のフォトダイオード101Aと第2のフォトダイオード101Bを有する。単位画素100の前面には、カラーフィルタ302、マイクロレンズ303が配置されている。撮影レンズ1110(図2参)は、射出瞳304を有する。マイクロレンズ303を有する単位画素100に対して、射出瞳304から出射した光束の中心を光軸305とすると、射出瞳304を通過した光は、光軸305を中心として単位画素100に入射する。第1及び第2のフォトダイオード101A,101Bにより、撮影レンズ1110の射出瞳304は、一部領域306,307に分割される。具体的には、図1に示すように、瞳領域306を通過する光束はマイクロレンズ303を通して、フォトダイオード101Aで受光され、瞳領域307を通過する光束はマイクロレンズ303を通して、フォトダイオード101Bで受光される。つまり、第1及び第2のフォトダイオード101A,101Bは、それぞれ撮影レンズ1110の射出瞳304の別々の瞳領域の光を受光している。したがって、第1のフォトダイオード101Aの信号と第2のフォトダイオード101Bの信号とを比較することにより、位相差の検知が可能となる。
ここで、第1のフォトダイオード101Aから得られる信号をA像信号、第2のフォトダイオード101Bから得られる信号をB像信号と定義する。A像信号とB像信号を混合した信号はA+B像信号として、このA+B像信号は撮影画像に用いることができる。また、A像信号とB像信号の位相差から撮影レンズ1110の焦点検出を行うことができる。
図2は、本発明の第1の実施形態に係わる撮像装置の全体構成を示すブロック図である。図2において、撮影レンズ1110は被写体の光学像を撮像素子1101に結像させるとともに、レンズ駆動回路1109によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子1101は、図1に示した単位画素100がアレイ状に配置されており、撮影レンズ1110で結像された被写体像を光電変換して、画像信号を出力する。信号処理回路1103は、撮像素子1101から出力される画像信号に各種の補正を行ったり、データを圧縮したりする。この信号処理回路1103では、撮像素子1101で取得したA像信号とA+B像信号からB像信号の生成も行う。タイミング発生回路1102は、撮像素子1101に駆動タイミング信号を出力する。全体制御・演算回路1104は、各種演算を行うとともに、撮像装置全体を制御する。また、A像信号およびB像信号を用いた焦点検出動作や、本実施形態の主要動作であるスミア検出動作も行う。メモリ1105は画像データを一時的に記憶し、表示回路1106は各種情報や撮影画像を表示する。記録回路1107は、半導体メモリ等の着脱可能な記録媒体であり、画像データの記録または読み出しを行う。操作回路1108は、ユーザによる撮像装置の操作部材への操作を電気的に受け付ける。
次に、図3は、撮像素子1101の単位画素100の回路構成を示す図である。図3に示すように、単位画素100は、第1のフォトダイオード101A、第2のフォトダイオード101B、第1の転送スイッチ102A、第2の転送スイッチ102Bを有する。また、フローティングディフュージョン部103、増幅部104、リセットスイッチ105、選択スイッチ106を有する。
第1のフォトダイオード101A、第2のフォトダイオード101Bは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。第1及び第2の転送スイッチ102A,102Bは、それぞれ第1及び第2のフォトダイオード101A,101Bで発生した電荷を共通のフローティングディフュージョン部103に転送する。第1及び第2の転送スイッチ102A,102Bは、それぞれ駆動信号PTXA,PTXBによって制御される。
フローティングディフュージョン部103は、第1及び第2のフォトダイオード101A,101Bから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部104は、ソースフォロワMOSトランジスタであり、フローティングディフュージョン部103に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。
リセットスイッチ105は、駆動信号PRESによって制御され、フローティングディフュージョン部103の電位を基準電位VDDにリセットする。選択スイッチ106は、駆動信号PSELによって制御され、増幅部104で増幅された画素信号を列信号線107に出力する。リセットスイッチ105は共通電源VDD(108)に接続される。
図4は、撮像素子1101の読み出し回路について説明する図である。図4において、画素領域(画素部)200には、単位画素100が行列状に複数配列されている。なお、図4では、説明を分かりやすくするために、8×4画素の範囲のみを示しているが、実際の画素数はさらに多数である。
また、単位画素100にはそれぞれ、複数色のカラーフィルタの各一色が割り当てられている。具体的には、赤色カラーフィルタが設けられ、赤色光を受光する画素をR画素、緑色カラーフィルタが設けられ、緑色光を受光する画素をG画素、青色カラーフィルタが設けられ、青色光を受光する画素をB画素として表記する。これら3色のカラーフィルタがそれぞれ配置された各画素はベイヤー配列に従って配置される。
垂直シフトレジスタ201は、各行の画素毎に駆動信号線222を通して、駆動パルスを送出する。なお、駆動信号線222は、説明を分かりやすくするため、各行毎に1本ずつ図示しているが、実際には各行毎に複数の駆動信号線が接続される。同じ列の単位画素100は共通の列信号線107に接続されており、同じ列の各画素からの信号は、この列信号線107を介して共通の読み出し回路203に入力される。そして、読み出し回路203で処理された信号は水平シフトレジスタ220により順次出力アンプ221に出力される。電流源負荷202はそれぞれの列信号線107に接続される。
次に、読み出し回路203の具体的な回路構成について説明する。図4において、読み出し回路203は、クランプ容量C0(204)、フィードバック容量Cf(205)、オペアンプ206、基準電圧Vrefを供給する基準電圧源207、フィードバック容量Cf(205)の両端をショートさせるためのスイッチ223を有する。スイッチ223は駆動信号PC0Rで制御される。容量CTSAB(208)、容量CTSA(210)、容量CTN(209,211)はそれぞれ信号電圧を保持するための容量である。スイッチ212,213,214,215は容量への書き込みを制御する。スイッチ212は駆動信号PTSABで制御され、スイッチ210は、駆動信号PTSAで制御される。スイッチ213,215は駆動信号PTNで制御される。
スイッチ216,217,218,219は水平シフトレジスタ220からの信号を受けて出力アンプ221に信号を出力する。スイッチ216,217は水平シフトレジスタ220の駆動信号HAB(n)で制御され、スイッチ218,219は駆動信号HA(n)で制御される。ここで、nは制御信号線が接続されている読み出し回路の列数を表す。容量CTSAB(208)、容量CTSA(210)に書き込まれた信号は共通出力線225を介して、容量CTN209,211に書き込まれた信号は共通出力線224を介して、出力アンプ221に出力される。
次に、図5は画素信号を読み出すための信号のタイミングを示すタイミングチャートである。図5を参照して撮像素子の駆動方法について説明する。
時刻T=t1において、第1及び第2の転送スイッチ102A,102Bの駆動信号PTXA,PTXBをHとし、第1及び第2のフォトダイオード101A,101Bをリセットする。時刻T=t2において、駆動信号PTXA,PTXBをLとし、第1及び第2のフォトダイオード101A,101Bに光電荷の蓄積を開始させる。必要な時間だけ蓄積を行った後に、時刻T=t3において、選択スイッチ106の駆動信号PSELをHにして、増幅部104をONする。時刻T=t4において、リセットスイッチ105の駆動信号PRESをLとすることでフローティングディフュージョン部103のリセットを解除する。このときのフローティングディフュージョン部103の電位を列信号線107に増幅部104を介してリセット信号レベルとして読み出し、読み出し回路203に入力する。読み出し回路203では、オペアンプ206が基準電圧Vrefの出力をバッファする状態(駆動信号PC0RがHでスイッチ223がONの状態)で、リセット信号レベルが入力される。
その後、時刻T=t5において、駆動信号PC0RをLとする。そして、そのときの基準電圧Vrefの出力を容量CTN209,211へ書き込むために、時刻T=t6において、駆動信号PTNをHとして、スイッチ213,215をONする。さらに、時刻T=t7において、駆動信号PTNをLとして、スイッチ213,215をOFFし、容量CTN209,211への信号の書き込みを終了する。次に、時刻T=t8において、駆動信号PTXAをHとして、第1のフォトダイオード101Aの光電荷をフローティングディフュージョン部103へ転送し、時刻T=t9において、駆動信号PTXAをLとする。この動作により第1のフォトダイオード101Aに蓄積された電荷がフローティングディフュージョン部103へ読み出される。そして、その変化に応じた出力が増幅部104および列信号線107を介して読み出し回路203へ供給される。
読み出し回路203では、クランプ容量C0(204)とフィードバック容量Cf(205)の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧を容量CTSA(210)へ書き込むために、時刻T=t10において、駆動信号PTSAをL→Hへ切り替え、スイッチ214をONする。そして、時刻T=t11において、駆動信号PTSAをH→Lと切り替え、スイッチ214をOFFし、容量CTSA(210)へ信号の書き込みを終了する。
次に、時刻T=t12において、再び駆動信号PTXAをHとすると同時に駆動信号PTXBもHとする。この動作により第1及び第2フォトダイオード101A,101Bの双方の光電荷を同時にフローティングディフュージョン部103へ読み出すことができる。フローティングディフュージョン部103ヘ読み出し後、時刻T=t13において、駆動信号PTXA,PTXBをH→Lと切り替える。読み出された電荷は第1のフォトダイオード101Aの信号のみを読みだした場合と同様に読み出し回路203へ供給され、オペアンプを介して出力される。
この電圧を容量CTSAB(208)へ書き込むために、時刻T=t14において、駆動信号PTSABをL→Hへ切り替え、スイッチ212をONする。そして、時刻T=t15において、駆動信号PTSABをH→Lへ切り替え、スイッチ212をOFFして、容量CTSAB(208)への信号の書き込みを終了する。
この動作により、容量CTSAB(208)とCTN(209)の差電圧をとることで、第1及び第2のフォトダイオード101A,101Bからの出力信号の混合信号であるA+B信号が得られる。このA+B像信号は撮影画像信号として用いられる。また、容量CTSA(210)と容量CTN(211)の差電圧をとることにより、第1のフォトダイオード101Aからの出力信号であるA像信号が得られる。このA像信号から撮影レンズの瞳の一部を透過する光束の情報が得られる。さらに、A+B像信号とA像信号の差をとることにより、第2のフォトダイオード101Bからの出力信号であるB像信号が得られる。このB像信号からはA像信号とは異なる瞳領域を透過する光束の情報が得られる。これら2つの光束の情報から被写体の距離情報を得ることができる。
次に、時刻T=t16において、駆動信号PRESをHとして、フローティングディフュージョン部103をリセット状態にする。その後、時刻T=t17〜t18の間に、水平シフトレジスタ220の駆動パルスHA(n)が読み出し回路毎に順次L→H→Lとなり、それに伴い、スイッチ218,219がOFF→ON→OFFとなる。スイッチ218,219がOFF→ON→OFFとなった列の容量CTSA(210)、容量CTN(211)に保持された信号は共通出力線225,224へそれぞれ読み出され、出力アンプ221で差電圧として出力される。この差電圧がA像信号となる。
次に、時刻T=t18〜t19の間に、水平シフトレジスタ220の駆動パルスHAB(n)が読み出し回路毎に順次L→H→Lとなり、それに伴い、スイッチ216,217がOFF→ON→OFFとなる。スイッチ216,217がOFF→ON→OFFとなった列の容量CTSAB(208)、容量CTN(209)に保持された信号は共通出力線225,224へそれぞれ読み出され、出力アンプ221で差電圧として出力される。この差電圧がA+B像信号となる。
以上の動作が各行毎に順次行われ、A像信号、A+B像信号の読み出しが完了する。出力されたA像信号とそれに対応する位置のA+B像信号の差をとることでB像信号を得ることができる。したがって、このA像信号とB像信号から焦点検出動作が可能である。
次に、本実施形態の特徴的な動作であるスミアの発生を検出する動作に関して図6のフローチャートを用いて説明する。
撮影が開始されると、S1701において、図5のタイミングチャートで説明した撮像動作が行われる。次に、S1702では、信号処理回路1103においてA像信号およびA+B像信号からB像信号を生成する。S1703では1stフレームかどうかの判定を行い、1stフレームの場合、S1706に移行する。S1706では、取得したA+B像信号を撮影画像として表示回路で表示するとともに、記録回路において圧縮動作等の処理を行った後に記録する。
S1703で1stフレームではないと判定された場合は、S1704に移行し、取得した画像がスミアが発生する条件で取得された画像であるか否かの判定を行う。すなわち、以前のスミア検出用のフレームで実施されたスミア検出動作において、スミアが発生する条件と判別されているか否かの判定を行う。
S1704においてスミアが発生する条件で取得された画像ではないと判定された場合には、S1706に進み、表示、記録動作を行う。S1704においてスミアが発生する条件で取得された画像であると判定された場合には、S1705に進み、取得したA+B像信号に対してスミア補正動作を行う。ここで、スミア補正方法としては同一列のオプティカルブラック画素の信号の平均値に基づいて有効部の出力を補正する。ここで、スミア補正方法としては、他の公知の方法を用いても良い。
次に、S1706に進み、スミア補正を実施したA+B像信号を表示回路で表示し、記録回路において圧縮動作等の処理を行った後に記録する。次に、S1707に進み、スミア検出を実施するフレームであるか否かを判定する。スミア検出を例えば動画のMフレーム(Mは整数)ごと(所定フレーム数ごと)に1回実施する構成とした場合、取得した画像がM×n(n:整数)フレーム目の画像データであるか否かの判定を行う。
S1707において、スミア検出を実施するフレームでないと判定された場合には、S1709へ移行する。S1707において、スミア検出を実施するフレームであると判定された場合には、S1708へ進み、本実施形態の特徴的な動作であるスミア検出動作を実施する。
図7、図8は、本実施形態におけるスミアの発生を検出する動作を説明するための図である。スミア検出動作について図7、図8を用いて説明する。
まず、図7に示すように画素領域を複数のブロックに分割する。図7では水平方向に16分割、垂直方向に8分割した例を示している。そして、それぞれの領域に対してA像信号の出力の平均値を求め、その平均値が閾値以上であるブロックが存在する、あるいは、そのブロック数が所定数以上存在する場合にはスミアが発生する条件であると判定する。
スミアの検出方法は上記の方法に限られるものではなく、他の検出方法を用いてもよい。たとえば、単純に個々の画素におけるA像信号の出力値が閾値以上であるか否かを判別し、閾値を越える画素が所定個数以上ある場合にはスミアが発生する条件であると判断してもよい。
ここで、A像信号の出力を用いてスミアの発生を検出することにより、A+B像信号の出力を用いて検出する従来の方法よりも高い精度でスミアの発生を検出することが可能となる。図8を用いてその理由について説明する。
図8において、縦軸は撮像素子からの出力信号を信号処理回路においてA/D変換した後の出力レベル、横軸は撮像素子に入射している光量を示している。図8に示すように、A像信号はA+B像信号と比較して2倍のダイナミックレンジを有している。これは、A像信号は1つのフォトダイオードからの出力であるのに対して、A+B像信号は2つのフォトダイオードからの出力の混合信号であるためである。つまり、A像信号を用いれば、A+B像信号がA/D変換により飽和してしまう光量よりも2倍の光量まで、A/D変換後の値が飽和せずに出力を得ることが可能である。
CMOSイメージセンサにおけるスミアは、イメージセンサの内部回路が飽和してしまった場合に顕著に起こるが、これは、一般的には撮影画像用のA+B像信号のA/D変換後の値が飽和するレベルよりも高いレベルである場合が多い。したがって、A+B像信号のA/D変換後の値の飽和でスミアの発生を判定した場合、A/D変換値は飽和しているがイメージセンサ内部回路は飽和していない領域において、スミアが発生しないにもかかわらず、スミアが発生していると判定してしまう場合がある。
一方、本実施形態のようにA像信号を用いてスミアの発生を判定することにより、図8で示すように、A+B像信号がイメージセンサ内部で回路飽和してスミアが発生するレベルまで検出することができ、より正確なスミア発生の検出が可能となる。
図6の説明に戻り、S1709では、A像信号およびB像信号を用いて、公知である相関演算を行い、各像の位相差(像ずれ量)から撮影レンズ1110のデフォーカス量を算出する。そして、デフォーカス量に基づいて撮影レンズ1110の駆動量が決定される。S1710では、決定した駆動量に基づいてレンズの駆動が行われる。S1711では撮影を終了するか否かの判定を行い、撮影が継続される場合はS1703に戻る。
以上説明したように、本実施形態の方法によれば、A像信号の出力を用いてスミアの発生を判定することにより、スミアが発生しているか否かを正確に判定することが可能となる。
なお、本実施形態においては、撮影するISO感度によらずスミアの検出動作を実施する構成について説明したが、ISO感度に応じて、スミアの検出基準を変更したり、所定のISO感度以上においてのみ、スミアの検出を実施する構成としてもよい。
また、本実施形態においては、スミアの検出を行ったフレームにおいても焦点検出動作を行う構成としたが、スミアの検出動作を行ったフレームにおいては、焦点検出動作を行わない構成としてもよい。この場合は、A像信号の用途をスミアの検出の用途に限定することが出来るため、よりスミア検出動作に適した駆動に変更してA像信号を取得するようにしてもよい。例えば、アンプ206のゲインをA+B像信号取得時(通常の撮影時)よりも低い設定とすることで、A+B像信号の2倍よりも大きなダイナミックレンジで(ダイナミックレンジを拡大して)A像信号を取得することも可能となる。例えば、A+B像信号取得時の1/2のゲイン設定でA像信号を取得することにより、A+B像信号の4倍のダイナミックレンジでA像信号を取得することも可能となる。
(第2の実施形態)
次に、図9、図10は、本発明の第2の実施形態における撮像素子の構成及び駆動方法を示す図である。第1の実施形態では、スミアの検出にA像信号の出力を用いる例を示した。本実施形態では、画素信号として、A像信号とA+B像信号ではなく、A像信号とB像信号を取得する場合について説明する。この場合、撮影画像用のA+B像信号は、取得したA像信号およびB像信号のA/D変換値を後段の信号処理回路において混合することにより生成することになる。また、B像信号はA像信号と同様に、A+B像信号に対して2倍のダイナミックレンジを有しているため、B像信号を用いてスミア検出を実施することも可能となる。なお、B像信号を用いてスミア検出をする方法は、A像信号を用いてスミア検出をする方法と同様であるため、説明は省略する。
次に、図9、図10は、本発明の第2の実施形態における撮像素子の構成及び駆動方法を示す図である。第1の実施形態では、スミアの検出にA像信号の出力を用いる例を示した。本実施形態では、画素信号として、A像信号とA+B像信号ではなく、A像信号とB像信号を取得する場合について説明する。この場合、撮影画像用のA+B像信号は、取得したA像信号およびB像信号のA/D変換値を後段の信号処理回路において混合することにより生成することになる。また、B像信号はA像信号と同様に、A+B像信号に対して2倍のダイナミックレンジを有しているため、B像信号を用いてスミア検出を実施することも可能となる。なお、B像信号を用いてスミア検出をする方法は、A像信号を用いてスミア検出をする方法と同様であるため、説明は省略する。
図1、図2、図4の構成については、第1の実施形態と同様であるため、説明は省略する。図10は、本実施形態における撮像素子1101の単位画素110を示す回路図である。図3で示した第1の実施形態の単位画素100と異なる点は、第1及び第2のフォトダイオード101A,101Bそれぞれに対して、リセットスイッチ、フローティングディフュージョン部、増幅部、選択スイッチを備えている点である。
単位画素110は、第1のフォトダイオード101A、第2のフォトダイオード101B、第1の転送スイッチ102A、第2の転送スイッチ102B、第1のフローティングディフュージョン部103A、第2のフローティングディフュージョン103Bを備えている。また、第1の増幅部104A、第2の増幅部104B、第1のリセットスイッチ105A、第2のリセットスイッチ105B、第1の選択スイッチ106A、第2の選択スイッチ106Bを含んで構成される。
第1及び第2のフォトダイオード101A,101Bは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する。第1及び第2の転送スイッチ102A,102Bは、それぞれ第1及び第2のフォトダイオード101A,101Bで発生した電荷をそれぞれ第1及び第2のフローティングディフュージョン部103A,103Bに転送する。第1及び第2の転送スイッチ102A,102Bは、それぞれ駆動信号PTXA,PTXBによって制御される。
第1及び第2のフローティングディフュージョン部103A,103Bは、第1及び第2のフォトダイオード101A,101Bからそれぞれ転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。第1及び第2の増幅部104A,104Bは、ソースフォロワMOSトランジスタであり、第1及び第2のフローティングディフュージョン部103A,103Bに保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。
第1及び第2のリセットスイッチ105A,105Bは、駆動信号PRESによって制御され、第1及び第2のフローティングディフュージョン部103A,103Bの電位をそれぞれ基準電位VDDにリセットする。第1の選択スイッチ106Aは、駆動信号PSELAによって制御され、第1の増幅部104Aで増幅された画素信号を列信号線107に出力する。また、第2の選択スイッチ106Bは、駆動信号PSELBによって制御され、第2の増幅部104Bで増幅された画素信号を列信号線107に出力する。第1及び第2のリセットスイッチ105A,105Bは共通電源VDD(108)に接続される。以上の画素構成とすることにより、第1のフォトダイオード101AからのA像信号と第2のフォトダイオード101BからのB像信号を取得することができる。
画素信号を読み出す駆動方法について図9を用いて説明する。まず、時刻T=t1において、第1及び第2の転送スイッチ102A,102Bの駆動信号PTXA,PTXBをHとし、第1及び第2のフォトダイオード101A,101Bをリセットする。時刻T=t2において、駆動信号PTXA,PTXBをLとし、第1及び第2のフォトダイオード101A,101Bに光電荷の蓄積を開始させる。必要な時間だけ蓄積を行った後に、時刻T=t3において、第1の選択スイッチ106Aの駆動信号PSELAをHにして、第1の増幅部104AをONする。時刻T=t4において、第1及び第2のリセットスイッチ105A,105Bの駆動信号PRESをLとすることで第1及び第2のフローティングディフュージョン部103A,103Bのリセットを解除する。このときの第1のフローティングディフュージョン部103Aの電位を列信号線107に第1の増幅部104Aを介してリセット信号レベルとして読み出し、読み出し回路203に入力する。読み出し回路203では、オペアンプ206が基準電圧Vrefの出力をバッファする状態(駆動信号PC0RがHでスイッチ223がONの状態)でリセット信号レベルが入力される。
その後、時刻T=t5において、駆動信号PC0RをLとする。そして、そのときの基準電圧Vrefの出力を容量CTN(209,211)へ書き込むために、時刻T=t6において、駆動信号PTNをHとして、スイッチ213,215をONする。その後、時刻T=t7において、駆動信号PTNをLとして、スイッチ213,215をOFFし、容量CTN(209,211)への信号の書き込みを終了する。
次に、時刻T=t8において、駆動信号PTXAをHとして、第1のフォトダイオード101Aの光電荷を第1のフローティングディフュージョン部103Aへ転送し、時刻T=t9において、駆動信号PTXAをLとする。この動作により第1のフォトダイオード101Aに蓄積された電荷が第1のフローティングディフュージョン部103Aへ読み出される。そして、その変化に応じた出力が増幅部104Aおよび列信号線107を介して読み出し回路203へ供給される。
読み出し回路203では、クランプ容量C0(204)とフィードバック容量Cf(205)、の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧を容量CTSA(210)へ書き込むために、時刻T=t10において、駆動信号PTSAをL→Hへ切り替え、スイッチ214をONする。そして、時刻T=t11において、駆動信号PTSAをH→Lと切り替え、スイッチ214をOFFし、第1の選択スイッチ106Aの駆動信号PSELAをH→Lと切り替え、第1の選択スイッチ106AをOFFにして、容量CTSA(210)への信号の書き込みを終了する。
次に、時刻T=t12において、第2の選択スイッチ106Bの駆動信号PSELBをHにして、第2の選択スイッチ106BをONにし、駆動信号PTXBをHとする。この際、駆動信号PTXAはHとせずに、第2のフォトダイオード101Bの光電荷のみ第2のフローティングディフュージョン部103Bへ読み出す。時刻T=t13において、駆動信号PTXBをH→Lと切り替える。読み出された電荷は第1のフォトダイオード101Aの信号を読みだした際と同様に読み出し回路203へ供給され、オペアンプを介して出力される。
この電圧を容量CTSAB(208)へ書き込むために、時刻T=t14において、駆動信号PTSABをL→Hへ切り替え、スイッチ212をONする。そして、時刻T=t15において、駆動信号PTSABをH→Lと切り替え、スイッチ212をOFFして容量CTSAB(208)への信号の書き込みを終了する。
上記のようにして、容量CTSAB(208)と容量CTN(209)の差電圧をとることで、第2のフォトダイオード101Bからの出力信号であるB像信号が得られる。また、容量CTSA(210)と容量CTN(211)の差電圧をとることにより、第1のフォトダイオード101Aからの出力信号であるA像信号が得られる。このA像信号とB像信号を用いることにより、焦点検出動作が可能となる。また、A像信号とB像信号を混合することにより、撮影画像用のA+B像信号を得ることができる。
次に、時刻T=t16において、駆動信号PRESをHとして、第1及び第2のフローティングディフュージョン部103A,103Bをリセット状態にする。その後、時刻T=t17〜t18の間に、水平シフトレジスタ220の駆動パルスHA(n)が読み出し回路毎に順次L→H→Lとなり、それに伴い、スイッチ218,219がOFF→ON→OFFとなる。スイッチ218,219がOFF→ON→OFFとなった列の容量CTSA(210)、容量CTN(211)に保持された信号は共通出力線225,224へそれぞれ読み出され、出力アンプ221で差電圧として出力される。この差電圧がA像信号となる。
次に、時刻T=t18〜t19の間に、水平シフトレジスタ220の駆動パルスHAB(n)が読み出し回路毎に順次L→H→Lとなり、それに伴い、スイッチ216,217がOFF→ON→OFFとなる。スイッチ216,217がOFF→ON→OFFとなった列の容量CTSAB(208)、容量CTN(209)に保持された信号は共通出力線225,224へそれぞれ読み出され、出力アンプ221で差電圧として出力される。この差電圧がB像信号となる。
以上の動作が各行毎に順次行われ、A像信号、B像信号の読み出しが完了する。出力されたA像信号とそれに対応する位置のB像信号を混合することでA+B像信号を得ることができる。
上述の駆動方法で取得したA像信号、またはB像信号を用いてスミアの検出動作を行うことにより、従来のA+B像信号を用いて実施していたスミア検出動作よりも正確なスミア検出を行うことが可能となる。
以上、本発明の各実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々変更可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:単位画素、101A:第1のフォトダイオード、101B:第2のフォトダイオード、102A:第1の転送スイッチ、102B:第2の転送スイッチ、103:フローティングディフュージョン部、104:増幅部、105:リセットスイッチ、106:選択スイッチ、107:列信号線、108:共通電源VDD、200:画素領域
Claims (17)
- 1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、
前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第2の読み出し動作とを行うことが可能な読み出し手段と、
前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第1の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、
を備えることを特徴とする撮像装置。 - 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第1の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が存在する場合に、スミアが発生していると判定することを特徴とする請求項1に記載の撮像装置。
- 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第1の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が所定数以上存在する場合に、スミアが発生していると判定することを特徴とする請求項1に記載の撮像装置。
- 前記判定手段は、前記第1の読み出し動作により読み出したそれぞれの画素の信号の値が所定の閾値以上であるか否かを判別し、前記所定の閾値を越える画素が所定数以上ある場合にはスミアが発生していると判定することを特徴とする請求項1に記載の撮像装置。
- 前記判定手段による判定を、動画の所定のフレーム数ごとに行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記判定手段による判定を行う場合には、前記単位画素における複数の光電変換部の信号を用いた焦点検出動作を行わないことを特徴とする請求項5に記載の撮像装置。
- 前記判定手段による判定を行う場合には、前記第1の読み出し動作において読み出す光電変換部の信号のダイナミックレンジを、通常の撮影を行う場合のダイナミックレンジよりも拡大することを特徴とする請求項6に記載の撮像装置。
- 前記判定手段は、前記第1の読み出し動作における前記撮像素子の内部のアンプのゲインを、前記第2の読み出し動作における前記撮像素子の内部のアンプのゲインよりも低くすることにより、前記ダイナミックレンジを拡大することを特徴とする請求項7に記載の撮像装置。
- 1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子と、
前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、前記複数の光電変換部のうちの前記第1の読み出し動作で読み出した光電変換部とは異なる光電変換部の信号を読み出す第2の読み出し動作とを行うことが可能な読み出し手段と、
前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第1の読み出し動作または前記第2の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定手段と、
を備えることを特徴とする撮像装置。 - 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第1の読み出し動作あるいは前記第2の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が存在する場合に、スミアが発生していると判定することを特徴とする請求項9に記載の撮像装置。
- 前記判定手段は、前記画素部を複数の領域に分割し、分割されたそれぞれの領域について、前記第1の読み出し動作あるいは前記第2の読み出し動作により読み出した光電変換部の信号の平均値を求め、該平均値が所定の閾値以上である領域が所定数以上存在する場合に、スミアが発生していると判定することを特徴とする請求項9に記載の撮像装置。
- 前記判定手段は、前記第1の読み出し動作あるいは前記第2の読み出し動作により読み出したそれぞれの画素の信号の値が所定の閾値以上であるか否かを判別し、前記所定の閾値を越える画素が所定数以上ある場合にはスミアが発生していると判定することを特徴とする請求項9に記載の撮像装置。
- 前記判定手段は、前記所定の閾値を、撮影時のISO感度に応じて変更することを特徴とする請求項2乃至12のいずれか1項に記載の撮像装置。
- 1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子を備える撮像装置を制御する方法であって、
前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、前記複数の光電変換部のうちの全ての光電変換部の信号を読み出す第2の読み出し動作とを行う読み出し工程と、
前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第1の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定工程と、
を有することを特徴とする撮像装置の制御方法。 - 1つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部を有する撮像素子を備える撮像装置を制御する方法であって、
前記画素部のそれぞれの単位画素について、前記複数の光電変換部のうちの一部の光電変換部の信号を読み出す第1の読み出し動作と、前記複数の光電変換部のうちの前記第1の読み出し動作で読み出した光電変換部とは異なる光電変換部の信号を読み出す第2の読み出し動作とを行う読み出し工程と、
前記撮像素子により撮像された画像信号について、スミアが発生しているか否かを、前記第1の読み出し動作または前記第2の読み出し動作で前記画素部から読み出した信号に基づいて判定する判定工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項14または15に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項14または15に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212332A JP2017085377A (ja) | 2015-10-28 | 2015-10-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212332A JP2017085377A (ja) | 2015-10-28 | 2015-10-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017085377A true JP2017085377A (ja) | 2017-05-18 |
Family
ID=58711368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212332A Pending JP2017085377A (ja) | 2015-10-28 | 2015-10-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017085377A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189608A (zh) * | 2022-02-16 | 2023-05-30 | 北京大学 | 一种led显示屏消除毛毛虫与拖影现象并提高刷新率的方法 |
-
2015
- 2015-10-28 JP JP2015212332A patent/JP2017085377A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189608A (zh) * | 2022-02-16 | 2023-05-30 | 北京大学 | 一种led显示屏消除毛毛虫与拖影现象并提高刷新率的方法 |
CN116189608B (zh) * | 2022-02-16 | 2023-08-04 | 北京大学 | 一种led显示屏消除毛毛虫与拖影现象并提高刷新率的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11719908B2 (en) | Image sensor and image capturing apparatus | |
US11493729B2 (en) | Image sensor capable of reducing readout time and image capturing apparatus | |
KR101422875B1 (ko) | 고체 촬상 장치, 고체 촬상 장치의 구동 방법 및 촬상 장치 | |
US10531025B2 (en) | Imaging element, imaging apparatus, and method for processing imaging signals | |
JP5946421B2 (ja) | 撮像装置及びその制御方法 | |
US9154685B2 (en) | Driving technology of an image sensor in an image capture apparatus | |
US10033951B2 (en) | Image sensor that performs different readout operations and image capturing apparatus including image sensor | |
US10003734B2 (en) | Image capturing apparatus and control method of image sensor | |
US10425605B2 (en) | Image sensor and image capturing apparatus | |
US20140340554A1 (en) | Image capturing apparatus and method of controlling the same | |
US10582113B2 (en) | Image pickup device, image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium in which processing program is recorded | |
US9648222B2 (en) | Image capturing apparatus that controls supply of amperage when reading out pixel signals and method for controlling the same | |
JP6478600B2 (ja) | 撮像装置およびその制御方法 | |
US20160353043A1 (en) | Image sensor and image apparatus | |
US20150288903A1 (en) | Solid-state image sensor, image capturing apparatus and control method thereof, and storage medium | |
JP2021182763A (ja) | 撮像素子及び撮像装置 | |
JP2016058877A (ja) | 撮像装置及びその制御方法 | |
JP2020092346A (ja) | 撮像装置およびその制御方法 | |
JP2017085377A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2014107739A (ja) | 撮像装置及びその制御方法 | |
WO2015008635A1 (ja) | 固体撮像素子及びその駆動方法、並びに電子機器 | |
JP2009188650A (ja) | 撮像装置 | |
JP2016019232A (ja) | 撮像素子及び撮像装置 | |
JP2018019268A (ja) | 撮像装置、撮像システムおよび撮像装置の駆動方法 | |
JP2016208421A (ja) | 撮像装置およびその制御方法 |