JP2013157881A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】連写速度（フレームレート）を低下させることなく、効果的にノイズを低減する。
【解決手段】画素の各々は、光を電荷に変換する光電変換素子３０３ａと、電荷をフローティングノード３０６ａに転送するための転送ゲート３０２ａとを有し、第１の読み出しモードでは第Ｎ行目（Ｎは１以上の整数）の画素について転送ゲートをオンとした状態でフローティングノードから第１の出力信号が読み出される。第２の読み出しモードでは、第Ｎ行目の画素について転送ゲートをオフとした状態でフローティングノードから第２の出力信号が読み出される。そして、第２の出力信号を補正用信号として用いて第１の出力信号を補正して画像信号を得る。
【選択図】図３

Description

本発明は、デジタルカメラなどの撮像装置、その制御方法、および制御プログラムに関する。

近年、デジタルカメラなどの撮像装置では、光学像（光）をアナログ信号（電気信号）に変換するための撮像素子（イメージセンサ）として、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサに代わって、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが用いられるようになってきている。

ＣＭＯＳセンサでは、２次元マトリックス状に配列された複数の画素を駆動する制御回路および増幅回路が、行方向および列方向で共有化されている。一方、共有化構成のイメージセンサでは、信号読み出しの際に発生するノイズおよびセンサ毎の各回路のばらつきなどによって、所謂横スジノイズおよび縦スジノイズなどが発生する。

横スジノイズおよび縦スジノイズを補正するため、例えば、イメージセンサから撮像信号（アナログ信号）を水平信号線に読み出す第１の読み出しモードと、ノイズを抑圧するための補正データを取得する第２の読み出しモードとを備える撮像装置が知られている（特許文献１参照）。

図１０は、従来の撮像装置で用いられる撮像素子における画素の構成を示す図である。

図１０において、フォトダイオード（ＰＤ）１００１は光を電荷に変換する。ソースフォロワ（ＳＦ）１００２はＰＤ１００１から出力された電荷を電荷量に応じた電圧に変換する。転送トランジスタ１００３はＰＤ１００１で変換された電荷をＳＦ１００２に転送する。リセットトランジスタ１００４はＰＤ１００１およびＳＦ１００２を初期化する。

第１の読み出しモードでは、転送トランジスタ１００３のオンによってＰＤ１００１からＳＦ１００２に電荷が転送される。一方、第２の読み出しモードでは、転送トランジスタ１００３がオフとされて、ＰＤ１００１からＳＦ１００２への電荷の転送を停止する。そして、ＰＤ１００１からＳＦ１００２への電荷の転送を停止することによって、被写体に依存せず、ＳＦ１００２以降の回路で発生するノイズ成分のみを検出することができる。

特開２００８−１４８０８２号公報

ところが、従来の撮像装置では、上述のような補正データの取得動作を撮像信号（つまり、画像）の取得直前に行う必要がある。その結果、１枚の画像を取得するためには、２回分の撮影時間が必要となってしまう。このため、連続して撮影する場合には、つまり、動画撮影などの際には、連写速度が半分に低下してしまうことになる。

加えて、時間的に変化量の大きいノイズに対しては追従性が悪く、特に、動画撮影の際には、フレームレートと画素数とが規定されるので、従来の撮像装置ではノイズを低減することが難しい。

本発明の目的は、連写速度、つまり、フレームレートを低下させることなく、効果的にノイズを低減することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、複数の画素が２次元マトリックス状に配列された撮像素子を有する撮像装置であって、前記画素の各々は、光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有し、第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御手段と、前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成手段とを有することを特徴とする。

本発明による制御方法は、複数の画素が２次元マトリックス状に配列された撮像素子を有し、前記画素の各々が光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有する撮像装置の制御方法であって、第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御ステップと、前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成ステップとを有することを特徴とする。

本発明による制御プログラムは、複数の画素が２次元マトリックス状に配列された撮像素子を有し、前記画素の各々が光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御ステップと、前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成ステップとを実行させることを特徴とする。

本発明によれば、連写速度を低下させることなく、しかも効果的にノイズを低減することができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像素子の構成についてその一例を示す図である。 図２に示す撮像素子において画素の構成を詳細に示す図である。 図３に示す撮像素子における動作を説明するためのタイミングチャートであり、（ａ）は全画素から信号を読み出す第１の駆動モードを示す図、（ｂ）は水平方向（行方向）において１画素おきに間引きを行う第２の駆動モードを示す図である。 図１に示す撮像装置による撮影処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態による撮像装置で用いられる撮像素子においてその画素構成の一例を示す図である。 図６に示す撮像素子における動作を説明するためのタイミングチャートであり、（ａ）は第１の駆動モードを示す図、（ｂ）は第２の駆動モードを示す図である。 本発明の第３の実施形態による撮像装置で用いられる撮像素子においてその画素構成の一例を示す図である。 図８に示す撮像素子における動作を説明するためのタイミングチャートである。 従来の撮像装置で用いられる撮像素子における画素の構成を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図１において、図示の撮像装置１００は、例えば、デジタルカメラである。集光レンズ１０１によって被写体像（光学像）が撮像素子（例えば、ＣＭＯＳセンサ）１０２に結像する。撮像素子１０２は光学像を電気信号（アナログ画像信号）に変換する。このアナログ画像信号（以下アナログ信号とも呼ぶ）はＡＤ変換部１０３でデジタル信号に変換される。なお、ＡＤ変換部１０３には、ＡＤ変換処理を行う際、アナログ信号を予め定められた基準値に応じてデジタル信号に変換するＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）クランプ回路が備えられている。

信号処理部１０４は、ＡＤ変換部１０３から与えられる画像信号に対して画像信号補正処理を行う。タイミング生成部（ＴＧ）１０５は、全体制御・演算部１０６の制御下で、撮像素子１０２、ＡＤ変換部１０３、および信号処理部１０４における処理を同期させるためのタイミング信号を生成する。全体制御・演算部１０６は撮像装置１００全体の制御を行う。

記憶部１０７には、撮影の結果得られた撮影データ、調整データ、画像データ、および信号処理用データなどが記憶される。また、記録部１０８には、信号処理部１０４で処理された画像信号に応じて全体制御・演算部１０６で生成された画像データが記録される。操作部１０９は、釦やダイヤルなどを有するヒューマンＩＦ（インタフェース）であり、撮像装置１００に対する動作命令が入力される。

表示部１１０には、全体制御・演算部１０６で生成された画像データが表示画像として表示される。さらに、表示部１１０には、操作部１０９から入力された操作に対応するアイコンなどが表示される。

図２は、図１に示す撮像素子１０２の構成についてその一例を示す図である。

撮像素子１０２は、画素部を備えており、この画素部には２次元マトリックス状に複数の画素が配列されている。画素部は、有効画素部（受光画素部ともいう）２０１および遮光画素（ＯＢ画素）部２０２を備えている。受光画素部２０１は、集光レンズ１０１からの光学像を受光する。一方、遮光画素部２０２は、その表面が遮光されており、画像処理において画像の黒の基準を決定するために用いられる。

垂直走査回路２０３は、シフトレジスタ（図示せず）を備えており、行毎に信号線の電圧を切り替えて、撮像素子１０２における画素部からの読み出し行を選択する。垂直出力線２０４は、画素部からの信号（画素信号）を後段に出力するためのものである。列アンプ部２０５は、垂直走査回路２０３で選択された読み出し行の画素から垂直出力線２０４に出力された画素信号を増幅する。水平走査回路２０６は、シフトレジスタおよび電圧信号を一時的に保存する保存回路を有しており、列アンプ部２０５の出力を一時的に保存して、所定の順序で列アンプ出力を選択して、外部に出力する。

なお、図示の例では、Ａ／Ｄ変換部１０３は水平走査回路２０６の後段に配置されているが、水平走査回路２０６の前段にＡ／Ｄ変換部１０３を配置するようにしてもよい。

図３は、図２に示す撮像素子において画素の構成を詳細に示す図である。なお、図３に示す例では、説明の便宜上、一行に４画素が配列された撮像素子が示されており、列方向の他の画素は省略されている。

画素３０８は、リセットトランジスタ（リセットＴｒ）３０１ａ、転送トランジスタ（転送Ｔｒ：転送ゲート）３０２ａ、フォトダイオード（ＰＤ：光電変換素子）３０３ａ、フローティングディフュージョン（ＦＤ：フローティングノード）３０４ａ、選択トランジスタ（選択Ｔｒ）３０５ａ、およびソースフォロワ（ＳＦ）３０６ａを有している。

同様に、他の画素もそれぞれリセットＴｒ３０１ｂ〜３０１ｄ、転送Ｔｒ３０２ｂ〜３０２ｄ、ＰＤ３０３ｂ〜３０３ｄ、ＦＤ３０４ｂ〜３０４ｄ、選択Ｔｒ３０５ｂ〜３０５ｄ、およびＳＦ３０６ｂ〜３０６ｄを有している。

図示のように、ＳＦ３０６ａ〜３０６ｄには、それぞれ垂直出力線２０４ａ〜２０４ｄが接続されている。そして、垂直出力線２０４ａ〜２０４ｄは、それぞれ列アンプ２０５ａ〜２０５ｄに接続されている。さらに、列アンプ２０５ａ〜２０５ｂには、基準電圧Ｖｒｅｆ（３０７）が印加される。これら列アンプ２０５ａ〜２０５ｄの出力は、水平走査回路２０６に接続される。

図示のように、選択Ｔｒ３０５ａ〜３０５ｄには、行選択線（ＰＳＥＬ）３１１が接続され、リセットＴｒ３０１ａ〜３０１ｄには、リセット信号線（ＰＲＥＳ）３１２が接続される。転送Ｔｒ３０２ｂおよび３０２ｄには、第１の信号転送線（ＰＴＸ１）３１３ａが接続され、転送Ｔｒ３０２ａおよび３０２ｃには、第２の信号転送線（ＰＴＸ２）３１３ｂが接続される。

行選択線３１１、リセット信号線３１２、第１の信号転送線３１３ａ、および第２の信号転送線３１３ｂは、それぞれ垂直走査回路２０３（図２）に接続される。以下の説明では、行選択線３１１、リセット信号線３１２、第１の信号転送線３１３ａ、および第２の信号転送線３１３ｂに出力される行選択信号、リセット信号、第１の転送信号、および第２の転送信号もそれぞれＰＳＥＬ、ＰＲＥＳ、ＰＴＸ１、ＰＴＸ２で示す。

なお、図３に示す例では、画素（単位画素）の各々が４つのトランジスタを有する例について説明したが、２種類以上のリセット電圧を用いて、ＳＦを不活性化・活性化させる手法を用いれば、選択Ｔｒ３０５ａ〜３０５ｄを削除することができる。

図４は、図３に示す撮像素子における動作を説明するためのタイミングチャートである。そして、図４（ａ）は、全画素から信号を読み出す第１の駆動モードを示す図であり、図４（ｂ）は、水平方向（行方向）において１画素おきに間引きを行う第２の駆動モードを示す図である。

図４（ａ）において、第１の駆動モードは、高精細が求められる静止画の撮影の際に用いられる。ユーザの操作により撮影動作が開始されて、ＰＤ３０３ａ〜３０３ｄに光が入射すると、ＰＤ３０３ａ〜３０３ｄにおいて入射光に応じた電荷が発生し、電荷の蓄積が開始される。そして、ＰＳＥＬがハイ（Ｈ）レベルとなって、選択Ｔｒ３０５ａ〜３０５ｄがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａ〜３０１ｄがオンされ、ＦＤ３０４ａ〜３０４ｄの不要な蓄積電荷がリセットされる。

次に、ＰＲＥＳがロー（Ｌ）レベルとなり、その後の期間Ｔ１において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａ〜３０６ｄを介して垂直出力線２０４ａ〜２０４ｄに読み出される。そして、垂直出力線２０４ａ〜２０４ｄに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分がそれぞれ列アンプ２０５ａ〜２０５ｄで増幅されて、画素基準信号として出力される。

その後、ＰＴＸ１およびＰＴＸ２がＨレベルとなって、転送Ｔｒ３０２ａ〜３０２ｄがオンされ、ＰＤ３０３ａ〜３０３ｄで発生した電荷がＦＤ３０４ａ〜３０４ｄに読み出される。そして、期間Ｔ２において、ＳＦ３０６ａ〜３０６ｄによりＦＤ３０４ａ〜３０４ｄに読み出された電荷の電荷量に応じた電圧に変換され、垂直出力線２０４ａ〜２０４ｄ、および列アンプ２０５ａ〜２０５ｄを介してそれぞれ電荷信号として出力される。

ここで、電荷信号は、画素基準信号に入射光に応じてＰＤ３０３ａ〜３０３ｄで発生した電荷が加わったものである。よって、電荷信号と画素基準信号との差分を求めれば、各画素のリセットノイズおよび固定パターンの低減された高品質な画像信号を得ることが可能となる。

図４（ｂ）において、第２の駆動モードは、フレームレートと画素数とが定められた動画などの撮影の際に用いられる。ユーザの操作により撮影動作が開始されて、ＰＤ３０３ａ〜３０３ｄに光が入射すると、ＰＤ３０３ａ〜３０３ｄにおいて入射光に応じた電荷が発生し、電荷の蓄積が開始される。そして、ＰＳＥＬがＨレベルとなって、選択Ｔｒ３０５ａ〜３０５ｄがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａ〜３０１ｄがオンされ、ＦＤ３０４ａ〜３０４ｄの不要な蓄積電荷がリセットされる。

次に、ＰＲＥＳがロー（Ｌ）レベルとなり、その後の期間Ｔ３において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａ〜３０６ｄを介して垂直出力線２０４ａ〜２０４ｄに読み出される。そして、垂直出力線２０４ａ〜２０４ｄに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分がそれぞれ列アンプ２０５ａ〜２０５ｄで増幅されて、画素基準信号として出力される。

その後、ＰＴＸ１のみがＨレベルとなって、転送Ｔｒ３０２ｂおよび３０２ｄがオンされる。これによって、ＰＤ３０３ｂおよび３０３ｄで発生し電荷がＦＤ３０４ｂおよび３０４ｄに読み出される。そして、期間Ｔ４において、ＳＦ３０６ｂおよび３０６ｄによりＦＤ３０４ｂおよび３０４ｄに読み出された電荷の電荷量に応じた電圧に変換され、垂直出力線２０４ｂおよび２０４ｄ、および列アンプ２０５ｂおよび２０５ｄを介してそれぞれ電荷信号（第１の出力信号ともいう）として出力される（第１の読み出しモード）。

図４（ｂ）に示す例では、ＰＤ３０３ｂおよび３０３ｄを含む画素が第１の読み出しモードにおける所定の画素である。

ここで、電荷信号は、画素基準信号に入射光に応じてＰＤ３０３ｂおよび３０３ｄで発生した電荷が加わったものである。よって、電荷信号と画素基準信号との差分を求めれば、画像信号が得られる。

一方、間引きされるＰＤ３０３ａ及びＰＤ３０３ｃを含む画素からは、リセットレベル電圧の読み出しが行われる（この際、転送Ｔｒ３０２ａおよび３０２ｃはオフ状態である）。そして、直前に読み出された画素基準信号とリセットレベル電圧との差分を求めれば、遮光された場合と同等の信号値（第２の出力信号ともいう）を得ることができる（第２の読み出しモード）。

図４（ｂ）に示す例では、ＰＤ３０３ａおよび３０３ｃを含む画素が第２の読み出しモードにおける所定の画素以外の画素である。

当該信号値には、信号読み出し中に発生するノイズ、各回路のばらつきなどに起因するノイズなどが含まれているので、この信号値を補正用信号として用いることができる。この結果、画像信号（第１の出力信号）と補正用信号（第２の出力信号）との差分を求めれば、ノイズを低減した高品位の画像信号を得ることができる。

このように、図４（ｂ）に示す例では、第１の読み出しモードと第２の読み出しモードとが並行して行われることになる。

図４（ｂ）に示す例では、行方向において１画素おきに信号電荷の転送を停止する場合について説明したが、転送を行う画素と転送を停止する画素については任意に選択することができる。例えば、行方向において２画素以上おきに信号電荷の転送を停止するようにしてもよい。さらには、数画素連続で信号電荷の転送を停止するようにしてもよい。

また、垂直走査回路２０３がＰＴＸ１およびＰＴＸ２を出力する例で説明したが、ＰＴＸ１およびＰＴＸ２の少なくとも一方を水平走査回路２０６から出力するようにしてもよい。

図５は、図１に示す撮像装置による撮影処理の一例を説明するためのフローチャートである。ここでは、前述したように、画像信号におけるノイズ成分を検出して、撮影画像に対する影響を軽減する例について説明する。なお、図５においては、画像の横方向に発生するノイズ成分に関して説明する。

いま、撮像装置１００において撮影が開始されると、露光調整が行われた後、図４（ｂ）で説明したようにして、撮像素子１０２において行毎に画像信号および補正用信号が出力される（ステップＳ１０２）。ここでは、まずＮ（Ｎは１以上の整数）行目（第Ｎ行目）の画像信号および補正用信号を取得するものとする。画像信号および補正用信号は、Ａ／Ｄ変換部１０３によってデジタル信号に変換された後、信号処理部１０４に与えられる。信号処理部１０４は、Ｎ行目の補正用信号の平均化を行って平均値（平均レベル）ＨＯＢ（Ｎ）を求める（ステップＳ１０３）。

続いて、信号処理部１０４は、（Ｎ−１）行目までの少なくとも１つの行の平均値ＨＯＢ（Ｎ−１）を積算して、積算値（積算レベル）ΣＯＢ（Ｎ−１）を求める。全体制御演算部１０６は、ＨＯＢ（Ｎ）およびΣＯＢ（Ｎ−１）の差分の絶対値と所定の補正用閾値Ｔｈとを比較する。そして、全体制御演算部１０６は、当該絶対値が補正用閾値Ｔｈ以下であるか否かを判定する（ステップＳ１０４）。なお、ＨＯＢ（Ｎ）とΣＯＢ（Ｎ−１）との差分は注目行における信号値の変動量を示しており、当該変動量を補正用閾値と比較すれば、画像信号の変動を検出することができる。

上記の絶対値が補正用閾値Ｔｈよりも大きいと（ステップＳ１０４において、ＹＥＳ）、全体制御演算部１０６は、画像において横方向のノイズが発生した判定する。そして、全体制御演算部１０６は、信号処理部１０４に対して画像信号の補正を指示する（ステップＳ１０５）。

ステップＳ１０５では、ＨＯＢ（Ｎ）とΣＯＢ（Ｎ−１）の差を用いて、次の式（１）（α、β：定数）で示される補正値を、注目行の画像信号に加算する処理が行われる。この加算処理によって画像信号の変動が軽減される。

補正値＝α×｛ＨＯＢ（Ｎ）−ΣＯＢ（Ｎ−１）｝＋β （１）
一方、上記の絶対値が補正用閾値Ｔｈ以下であると（ステップＳ１０４において、ＮＯ）、全体制御演算部１０６は、ノイズが発生していないと判定する。そして、信号処理部１０４は、全体制御演算部１０６の制御下で、ＨＯＢ（Ｎ）およびΣＯＢ（Ｎ−１）から、次の行の画像信号の変動検出に用いるΣＯＢ（Ｎ）を算出する（ステップＳ１０６）。

ステップＳ１０５又はＳ１０６の処理に続いて、ステップＳ１０７の処理が行われる。ステップＳ１０６においては、信号処理部１０４は、上述のようにして得られた画像信号（ここでは、デジタル信号）を画像データとして出力する。

続いて、全体制御演算部１０６は、撮像素子１０２の全ての行について処理が終了したか否かを判定する。つまり、全体制御演算部１０６は、最終行の処理が終了したか否かを判定する（ステップＳ１０８）。最終行の処理が終了すると（ステップＳ１０８において、ＹＥＳ）、全体制御演算部１０６は、撮影を終了する。

最終行でないと（ステップＳ１０８において、ＮＯ）、全体制御演算部１０６は、行番号をインクリメントして、つまり、Ｎ＝Ｎ＋１として（ステップＳ１０９）、ステップＳ１０２の処理に戻る。

上記の例では、各行における補正用信号の平均値と積算値とに応じて得られる補正値を用いて、画像信号を補正するようにしたが、例えば、補正用画素の信号値から水平方向の傾きを考慮した補正値を得て、画像信号の補正を行うようにしてもよい。

以上のように、本発明の第１の実施形態では、第２の駆動モードにおいて、間引かれた画素の信号値を補正用信号として読み出して、画像信号を補正するようにしたので、フレームレートの低下を防止して、しかも高画質の画像を得ることができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による撮像装置の一例について説明する。なお、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様であるが、撮像素子１０２の構成が図３に示す撮像素子と異なる。

図６は、本発明の第２の実施形態による撮像装置で用いられる撮像素子においてその画素構成の一例を示す図である。なお、図６において、図３に示す画素構成と同一の構成要素については同一の参照番号を付し、説明を省略する。

前述のように、第１の実施形態においては、撮像素子１０２は、第１の信号転送線（ＰＴＸ１）３１３ａおよび第２の信号転送線（ＰＴＸ２）３１３ｂを有している。一方、撮像素子としてＣＭＯＳセンサを用いた場合には、その構造を簡略化するため信号線を増やすことができない場合がある。このため、図６に示す例では、撮像素子１０２は、信号転送線（ＰＴＸ）３１３のみを有している。そして、信号転送線３１３には転送Ｔｒ３０２ａ〜３０２ｄが接続され、行選択信号ＰＳＥＬ、リセット信号ＰＲＥＳ、および転送信号ＰＴＸは、垂直走査回路２０２から出力される。

図７は、図６に示す撮像素子における動作を説明するためのタイミングチャートである。そして、図７（ａ）は、第１の駆動モードを示す図であり、図７（ｂ）は、第２の駆動モードを示す図である。

図７（ａ）において、第１の駆動モードでは全画素から信号が読み出される。ユーザの操作により撮影動作が開始されて、ＰＤ３０３ａ〜３０３ｄに光が入射すると、ＰＤ３０３ａ〜３０３ｄにおいて入射光に応じた電荷が発生し、電荷の蓄積が開始される。そして、ＰＳＥＬがＨレベルとなって、選択Ｔｒ３０５ａ〜３０５ｄがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａ〜３０１ｄがオンされ、ＦＤ３０４ａ〜３０４ｄの不要な蓄積電荷がリセットされる。

次に、ＰＲＥＳがロー（Ｌ）レベルとなり、その後の期間Ｔ５において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａ〜３０６ｄを介して垂直出力線２０４ａ〜２０４ｄに読み出される。そして、垂直出力線２０４ａ〜２０４ｄに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分がそれぞれ列アンプ２０５ａ〜２０５ｄで増幅されて、画素基準信号として出力される。

その後、ＰＴＸがＨレベルとなって、転送Ｔｒ３０２ａ〜３０２ｄがオンされ、ＰＤ３０３ａ〜３０３ｄで発生した電荷がＦＤ３０４ａ〜３０４ｄに読み出される。そして、期間Ｔ６において、ＳＦ３０６ａ〜３０６ｄによりＦＤ３０４ａ〜３０４ｄに読み出された電荷の電荷量に応じた電圧に変換され、垂直出力線２０４ａ〜２０４ｄ、および列アンプ２０５ａ〜２０５ｄを介してそれぞれ電荷信号として出力される。

図７（ｂ）において、第２の駆動モードでは補正用信号が読み出される。ユーザの操作により撮影動作が開始されて、ＰＤ３０３ａ〜３０３ｄに光が入射すると、ＰＤ３０３ａ〜３０３ｄにおいて入射光に応じた電荷が発生し、電荷の蓄積が開始される。そして、ＰＳＥＬがＨレベルとなって、選択Ｔｒ３０５ａ〜３０５ｄがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａ〜３０１ｄがオンされ、ＦＤ３０４ａ〜３０４ｄの不要な蓄積電荷がリセットされる。

次に、ＰＲＥＳがロー（Ｌ）レベルとなり、その後の期間Ｔ７において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａ〜３０６ｄを介して垂直出力線２０４ａ〜２０４ｄに読み出される。そして、垂直出力線２０４ａ〜２０４ｄに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分がそれぞれ列アンプ２０５ａ〜２０５ｄで増幅されて、画素基準信号として出力される。

その後、ＰＴＸがロー（Ｌ）レベルの状態で、期間Ｔ８において再度読み出し処理が行われる。これによって、ＰＤ３０３ａ〜３０３ｄが遮光された状態とほぼ同じ状態での信号値を得ることができる。当該信号値には、信号読み出し中に発生するノイズ、各回路のばらつきなどに起因するノイズなどが含まれているので、この信号値を補正用信号として用いることができる。そして、この補正用信号は一旦水平走査回路２０６の保存領域に保存される。

続いて、ＰＴＸがＨレベルとなって、転送Ｔｒ３０２ａ〜３０２ｄがオンされ、ＰＤ３０３ａ〜３０３ｄで発生した電荷がＦＤ３０４ａ〜３０４ｄに読み出される。そして、期間Ｔ９において、ＳＦ３０６ａ〜３０６ｄによりＦＤ３０４ａ〜３０４ｄに読み出された電荷の電荷量に応じた電圧に変換され、垂直出力線２０４ａ〜２０４ｄ、および列アンプ２０５ａ〜２０５ｄを介してそれぞれ電荷信号として出力される。この電荷信号と画素基準信号との差分を求めると、画像信号が得られる。水平走査回路２０６では、画像信号と補正用信号とを、所定の順番に並び替えた後、１水平期間内で外部に出力する。この結果、画像信号と補正用信号との差分を求めれば、ノイズを低減した高品位の画像信号を得ることができる。

上述の例では、画像信号を得る際に用いる画素基準信号として、補正用信号を得る際に読み出される画素基準信号を用いたが、電荷信号を読み出す前に再度画素基準信号を読み出すようにしてもよい。

さらに、上述の例では、補正用信号の読み出しを画像信号の読み出しの直前に行うようにしたが、画像信号の読み出しを行った後、補正用信号の読み出しを行うようにしてもよい。そして、期間Ｔ９よりも前に読み出した補正用信号を水平走査回路の保存領域に保存することなく、期間Ｔ９より前に外部に出力するようにしてもよい。

なお、補正用信号の読み出しに用いる画素は、画像として記録される領域の外周部又は領域外の画素を用いることが望ましい。

このように、本発明の第２の実施形態では、第２の駆動モードにおいて、画素基準信号を読み出した後、ＰＴＸがＬレベルの状態で再度読み出し処理を行って、当該再読み出しで得られた信号値を補正用信号として用いて、画像信号を補正するようにしたので、撮像素子の構造を簡略化して、フレームレートの低下を防止して、しかも高画質の画像を得ることができる。

［第３の実施形態］
次に、本発明の第３の実施形態による撮像装置の一例について説明する。なお、第３の実施形態による撮像装置の構成は図１に示す撮像装置と同様であるが、撮像素子１０２の構成が図６に示す撮像素子と異なる。

図８は、本発明の第３の実施形態による撮像装置で用いられる撮像素子においてその画素構成の一例を示す図である。なお、図８において、図６に示す画素構成と同一の構成要素については同一の参照番号を付し、説明を省略する。また、図８においては、行方向に配列された画素のうち１つの画素３０８のみを示し、さらに、列方向において画素３０８に隣接する画素８０８が示されている。また、ここでは、画素３０８および画素８０８は同一の行に属するものとして説明する。

ＣＭＯＳセンサなどの撮像素子では、その素子数を減らすため、複数の画素でリセットＴｒ、ＦＤ、選択Ｔｒ、およびＳＦを共有することがある。図８に示す例では、リセットＴｒ３０１ａ、ＦＤ３０４ａ、選択Ｔｒ３０５ａ、およびＳＦ３０６ａが画素３０８および８０８で共有されている。そして、画素８０８は、ＰＤ８０３ａおよび転送Ｔｒ８０２ａのみを有している。

なお、図示のように、転送Ｔｒ８０２ａには、信号転送線（ＰＴＸ）３１３とは別の信号転送線（ＰＴＸ３）８１３が接続され、この信号転送線８１３は、垂直走査回路（図８には示さず）に接続されている。

図９は、図８に示す撮像素子における動作を説明するためのタイミングチャートである。ここでは、補正用信号を読み出す第２の駆動モードについて説明する。

図９において、ユーザの操作により撮影動作が開始されて、ＰＤ３０３ａおよび８０３ａに光が入射すると、ＰＤ３０３ａおよび８０３ａにおいて入射光に応じた電荷が発生し、電荷の蓄積が開始される。そして、ＰＳＥＬがＨレベルとなって、選択Ｔｒ３０５ａがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａがオンされ、ＦＤ３０４ａの不要な蓄積電荷がリセットされる。

次に、ＰＲＥＳがロー（Ｌ）レベルとなり、その後の期間Ｔ１０において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａを介して垂直出力線２０４ａに読み出される。そして、垂直出力線２０４ａに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分が列アンプで増幅されて、画素基準信号として出力される。

その後、ＰＴＸがロー（Ｌ）レベルの状態で、期間Ｔ１１において再度読み出し処理が行われる。そして、期間Ｔ１０で読み出した信号値と期間Ｔ１１で読み出した信号値との差分を求めれば、ＰＤ３０３ａが遮光された状態とほぼ同じ状態での信号値を得ることができる。当該信号値には、信号読み出し中に発生するノイズ、各回路のばらつきなどに起因するノイズなどが含まれているので、この信号値を補正用信号として用いることができる。

上述のようにして、補正用信号を得た後、画素８０８の読み出しが行われる。ここでは、ＰＳＥＬがＨレベルとなって、選択Ｔｒ３０５ａがオンされる。また、ＰＲＥＳがＨレベルとなって、リセットＴｒ３０１ａがオンされ、ＦＤ３０４ａがリセットされる。そして、ＰＲＥＳがＬレベルとなり、その後の期間Ｔ１２において、リセットノイズを含むリセットレベル電圧がＳＦ３０６ａを介して垂直出力線２０４ａに読み出される。この際、垂直出力線２０４ａに読み出されたリセットレベル電圧と基準電圧Ｖｒｅｆとの差分が列アンプで増幅されて、画素基準信号として出力される。

続いて、ＰＴＸ３がＨレベルとなって、転送Ｔｒ８０２ａがオンされ、ＰＤ８０３ａで発生した電荷がＦＤ３０４ａに読み出される。そして、期間Ｔ１３において、ＳＦ３０６ａによりＦＤ３０４ａに読み出された電荷の電荷量に応じた電圧に変換され、垂直出力線２０４ａおよび列アンプを介してそれぞれ電荷信号として出力される。この電荷信号と画素基準信号との差分を求めると、画像信号が得られる。そして、例えば、信号処理部１０４で画像信号と補正用信号との差分を求めれば、ノイズを低減した高品位の画像信号を得ることができる。

上述の例では、信号処理部１０４で画像信号と補正用信号との差分を求めるようにしたが、当該処理を水平走査回路で行うようにしてもよい。また、リセットＴｒ、ＦＤ、選択Ｔｒ、およびＳＦを列方向の画素で共有し、当該画素において補正を行う例について説明したが、複数の補正用信号の平均値を用いて画像信号の補正を行うようにしてもよい。

さらに、ここでは、列方向の画素においてリセットＴｒ、ＦＤ、選択Ｔｒ、およびＳＦを共有する例について説明したが、行方向の画素においてリセットＴｒ、ＦＤ、選択Ｔｒ、およびＳＦ共有する場合においても、これら画素から補正用信号を得れば、ばらつきに起因する影響を低減することができる。

加えて、３つ以上の画素において、リセットＴｒ、ＦＤ、選択Ｔｒ、およびＳＦを共有化する場合においても、同様にして第３の実施形態を適用することができる。

このように、本発明の第３の実施形態では、複数の画素において回路素子を共有している際においても、フレームレートの低下を防止して、しかも高画質の画像を得ることができる。

上述の説明から明らかなように、図１〜図３に示す例では、垂直走査回路２０３、列アンプ部２０５、水平走査回路２０６、信号処理部１０４、および全体制御演算部１０６などが読み出し制御手段と機能する。また、信号処理部１０４および全体制御演算部１０６は画像信号生成手段として機能する。そして、信号処理部１０４および全体制御演算部１０６は平均化手段、積算手段、および補正手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムの各々は、少なくとも読み出し制御ステップおよび画像信号生成ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０４ａ〜２０４ｄ 垂直出力線
２０５ａ〜２０５ｄ 列アンプ
２０６ 水平走査回路
３０１ａ〜３０１ｄ リセットトランジスタ
３０２ａ〜３０２ｄ 転送トランジスタ
３０３ａ〜３０３ｄ フォトダイオード
３０４ａ〜３０４ｄ フローティングディフュージョン
３０５ａ〜３０５ｄ 選択トランジスタ
３０６ａ〜３０６ｄ ソースフォロワ

Claims (7)

1. 複数の画素が２次元マトリックス状に配列された撮像素子を有する撮像装置であって、
   前記画素の各々は、光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有し、
   第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御手段と、
   前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成手段とを有することを特徴とする撮像装置。
2. 前記読み出し制御手段は、前記第１の読み出しモードと前記第２の読み出しモードとを並行して行い、前記第１の読み出しモードでは前記第Ｎ行目の少なくとも１つの所定の画素について前記第１の出力信号を読み出し、前記第２の読み出しモードでは前記第Ｎ行目の画素において前記所定の画素以外の少なくとも１つの残りの画素について前記第２の出力信号を読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し制御手段は、前記第２の読み出しモードを行った後、前記第１の読み出しモードを行い、前記第２の読み出しモードでは前記第Ｎ行目の全ての画素について前記第２の出力信号を読み出し、前記第１の読み出しモードでは前記第Ｎ行目の全ての画素について前記第１の出力信号を読み出すことを特徴とする請求項１に記載の撮像装置。
4. 複数の画素で前記フローティングノードが共有され、前記複数の画素のうち１つが前記フローティングノードを有しており、
   前記読み出し制御手段は、前記フローティングノードを有する画素について前記第２の読み出しモードを行って前記第２の出力信号を読み出した後、他の画素について前記第１の読み出しモードを行って前記第１の出力信号を読み出すことを特徴とする請求項１に記載の撮像装置。
5. 前記画像信号生成手段は、前記第Ｎ行目において前記補正用信号のレベルを平均化して平均レベルを求める平均化手段と、
   前記平均レベルを複数の行に亘って積算して積算レベルを得る積算手段と、
   前記平均レベルと前記積算レベルとの差分の絶対値が所定の閾値を超えると、前記平均レベルと前記積算レベルに応じて得られた補正値に基づいて前記第１の出力信号を補正する補正手段とを有することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 複数の画素が２次元マトリックス状に配列された撮像素子を有し、前記画素の各々が光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有する撮像装置の制御方法であって、
   第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御ステップと、
   前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成ステップとを有することを特徴とする制御方法。
7. 複数の画素が２次元マトリックス状に配列された撮像素子を有し、前記画素の各々が光を電荷に変換する光電変換素子と、前記電荷をフローティングノードに転送するための転送ゲートとを有する撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   第Ｎ行目（Ｎは１以上の整数）の画素について前記転送ゲートをオンとした状態で前記フローティングノードから第１の出力信号を読み出す第１の読み出しモードと、前記第Ｎ行目の画素について前記転送ゲートをオフとした状態で前記フローティングノードから第２の出力信号を読み出す第２の読み出しモードとを行う読み出し制御ステップと、
   前記第２の出力信号を補正用信号として用いて前記第１の出力信号を補正して画像信号を得る画像信号生成ステップとを実行させることを特徴とする制御プログラム。

Images