JP2006115191A

JP2006115191A - 撮像装置、シェーディング補正装置、シェーディング補正方法

Info

Publication number: JP2006115191A
Application number: JP2004300226A
Authority: JP
Inventors: Yusuke Shirakawa; 雄資白川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-10-14
Filing date: 2004-10-14
Publication date: 2006-04-27

Abstract

【課題】画面の隅々まで輝度や色のシェーディングの無い良好な画質を得る。
【解決手段】受光量に応じて光電荷を発生し蓄積する受光部と、受光部の光電荷を一時的に蓄える一時蓄積部と有する撮像素子と、前記撮像素子の光電荷蓄積開始を制御する蓄積開始制御手段と、受光部の光電荷を一時蓄積部に転送する事で前記撮像素子の蓄積終了制御を行う蓄積終了制御手段を有する撮像装置において、前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることによって、画素毎、もしくは、ライン毎に光電荷蓄積時間を制御し、撮影画像のシェーディングを補正する。
【選択図】図４

Description

本発明は、固体撮像素子を用いた撮像装置およびシステムにおいて、画素毎、もしくは、ライン毎に光電荷蓄積時間を制御することで撮影画像のシェーディングを補正する、撮像装置、シェーディング補正装置およびシェーディング補正方法に関する。

従来、フィルムを用いたカメラの露光時間制御手段として、機械的な遮光部材であるメカシャッターを用いていた。近年、フィルムカメラに代わりデジタルカメラ等の固体撮像素子を用いた撮像装置が主流になりつつあるが、受光部の露光時間制御手段としては、多くは未だメカシャッターを用いている。

メカシャッターを用いた場合、特に短秒時の露光ではシャッターを非常に高速に動作させる必要があり、機械的な精度が要求され、制御も難しくなる。一眼レフタイプのデジタルカメラにおいては、制御精度を向上させたフォーカルプレーンタイプのシャッターを用いている物もあるが、複雑な機構と精度が要求され、コストが高くなってしまう。

固体撮像素子は本来、フィルムと違って撮像素子内部に露光開始制御手段および露光終了制御手段を組み込むことができ、電子シャッター動作を実現できる可能性を有している。この電子シャッターはメカシャッターに比べ制御性とコストの面で優位性があるため、研究開発が活発に行われている。

ＣＣＤタイプの固体撮像素子では露光開始制御手段として撮像素子の基板電圧を制御し、露光終了制御手段としてフォトダイオードからＶＣＣＤへの転送制御を行うことで、電子シャッターを実現している。この方法では、露光開始および露光終了の制御が撮像素子の全画素に対して一括して行われるので、全画素の露光タイミングが等しくなるのが特徴である。それに対し、ＸＹアドレス型の走査方法を採用するＣＭＯＳタイプ等の撮像素子では、画素毎、もしくは、ライン毎に画素の受光部に蓄積された不要電荷を除去する画素リセット制御を行うことで露光開始制御とし、画素毎、もしくは、ライン毎にそれぞれ所定の時間を経過してから信号電荷を読み出すことで露光終了制御とする電子シャッター動作を行うことができる。このような電子シャッターをローリング電子シャッターと呼ぶ。

このローリング電子シャッターを用いることで、メカシャッターや全画素一括制御の電子シャッターでは不可能であった、画素毎、もしくは、ライン毎に自由にタイミングを変えた蓄積制御が可能になる。

図１と図２、および、図３を用いて従来の撮像素子の構造と駆動方法について述べ、ローリング電子シャッター動作を説明する。

図１はＸＹアドレス型の走査方法を採る撮像素子の構成の模式図である。１０１は単位画素であり、１０２は光を電荷に変換するフォトダイオード（以下ＰＤと表す）である。１０３は転送パルスφＴＸによってＰＤで発生した電荷を、電荷を一時的に蓄積しておくフローティングディフュージョン領域（以下ＦＤと表す）１０４に転送する転送スイッチである。１０５はソースフォロアとして機能する増幅ＭＯＳアンプである。１０６は選択パルスφＳＥＬによって画素を選択する選択スイッチであり、１０７はリセットパルスφＲＥＳによってＦＤに蓄積された電荷を除去するリセットスイッチである。ＦＤ１０４、増幅ＭＯＳアンプ１０５、及び後述する定電流源１０９でフローティングディフュージョンアンプが構成され、選択スイッチ１０６で選択された画素の信号電荷が電圧に変換され信号出力線１０８を経て読み出し回路１１３に出力される。１０９は増幅ＭＯＳアンプ１０５の負荷となる定電流源である。１１０は読み出し回路１１３から出力信号を選択する選択スイッチであり、水平走査回路１１４によって駆動される。また、１１２はスイッチ１０３、１０６、１０７を選択するための垂直走査回路である。φＴＸ、φＲＥＳ、φＳＥＬそれぞれにおいて垂直走査回路１１２によって走査選択されたｎ番目の走査ラインをφＴＸｎ、φＲＥＳｎ、φＳＥＬｎとする。

図２はデジタルカメラの回路構成を表した図であり、全体制御演算部２０９がタイミング発生部２０７および、シャッター駆動装置２０４を制御することによってカメラ全体の露光／読み出し動作のタイミングを制御する。撮像素子２０５はタイミング発生部２０７を介して全体制御演算部２０９に制御される。ローリング電子シャッター動作においても、露光時以外のタイミングで撮像素子に光が当たると、ＰＤ、もしくは、ＦＤ等の本来は光電変換機能を有さない部分においても、不要な光電荷が発生し画質に悪影響を及ぼすので、露光時以外はメカシャッター２０３を制御し、遮光しておく必要がある。

図３はローリング電子シャッター動作における駆動パルスと動作シーケンスを表したものである。なお図３では垂直走査回路１１２によって走査選択されたｎラインからｎ＋３ラインに関して記述している。

ローリング電子シャッター動作では、ｎラインにおいて、まず時刻ｔ３１からｔ３２の間、φＲＥＳｎとφＴＸｎにパルスを印加され転送スイッチ１０３及びリセットスイッチ１０７をオンにし、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻ｔ３２で転送スイッチ１０３がオフになり、ＰＤに発生した光電荷が蓄積される蓄積動作が始まる。次に時刻ｔ３４においてφＴＸｎにパルスを印加され転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、転送動作に先んじてオフする必要があり、本図では、時刻ｔ３２で転送スイッチ１０３と同時にオフとなる。ここで、時刻ｔ３２から時刻ｔ３５までが蓄積時間となる。ｎライン目の転送動作終了後φＳＥＬｎにパルスが印加され選択スイッチ１０６がオンする事により、ＦＤ１０４で保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１４によって時刻ｔ３６より順次出力される。ｎ＋１ラインにおいては、ｎラインとは別のタイミングでリセット動作、蓄積動作、転送動作、読み出し動作が行われる。このとき、リセット動作、蓄積動作、転送動作は、ｎラインと露光時間を同じにするために全体にかかる時間は同じであるが、ｎラインのタイミングとは異なる、任意のタイミングで動作を行うことができる。すべてのラインで同時にリセット動作、蓄積動作、転送動作を行うことで、画面全体を同じタイミングで露光動作が可能となる。しかし、読み出し動作に関しては読み出し回路１１３を使用するので、ｎラインの読み出し動作を行っている間はｎ＋１ラインの読み出し動作を行うことができない。通常はライン番号の順に順次読み出し動作が行われる。このため、リセット動作、蓄積動作、転送動作も読み出し動作のタイミングにならい、通常はライン順次に行われる。

一方で、一眼レフタイプのデジタルカメラでは、撮像素子として従来の１３５サイズのフィルムに近い大判のものが用いられ、コンシューマタイプのデジタルカメラで用いられる小さな固体撮像素子に比べ製造上のばらつき等により、シェーディングが発生しやすい問題があった。

さらに、撮像素子が大きいため、主レンズからの入射光線が撮像素子周辺部では撮像素子に垂直に入射せず、角度を持つことによって撮像素子中央部に比べ感度が劣ってしまう問題があった。

さらに、主レンズそのものがもつ周辺光量落ち特性によって、撮像素子中央部に入射する光の強度に比べ周辺部に入射する光の強度が落ちてしまう問題がある。特に、レンズ交換式のデジタル一眼レフカメラでは、超広角レンズから超望遠レンズまで、さまざまな焦点距離を持つレンズを取り付けることができ、周辺光量落ち特性もレンズの種類やズーム位置、フォーカス位置、絞りによってまちまちである。

上記のような問題は、すべて撮影画像のシェーディングとして現れ、画質に悪い影響を与える。固体撮像素子は、一般にフィルムに比べてダイナミックレンジが劣っているため、フィルムの場合よりもシェーディングが画質に与える悪影響は大きい。

このようなシェーディングを補正する方法としては、デジタルデータに変換した後に演算によって補正する方法があるが（たとえば、特許文献１参照）、デジタルデータを演算することにより丸め誤差が発生したり掛け算等の演算によってノイズも増大し、シェーディング補正は行われるものの、その副作用として画質に悪影響を与えてしまっていた。
特開平９−６９９８０号公報

上記課題を解決するために、本発明は、固体撮像素子の電子シャッター動作を用いて画素毎、もしくは、ライン毎に受光部の光電荷蓄積タイミングを制御することで、上記のようなシェーディングを補正し、画面の隅々まで輝度や色のムラのない良好な画質を得ることができる撮像装置、シェーディング補正装置、シェーディング補正方法を提供することを目的とする。

上記課題を解決するために、出願に係る発明は、受光量に応じて光電荷を発生し蓄積する受光部と、受光部の光電荷を一時的に蓄える一時蓄積部と有する撮像素子と、前記撮像素子の光電荷蓄積開始を制御する蓄積開始制御手段と、受光部の光電荷を一時蓄積部に転送する事で前記撮像素子の蓄積終了制御を行う蓄積終了制御手段を有する撮像装置において、前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることによって、画素毎、もしくは、ライン毎に光電荷蓄積時間を制御し、撮影画像のシェーディングを補正する。

本出願に係る発明によれば、受光量に応じて光電荷を発生し蓄積する受光部と、受光部の光電荷を一時的に蓄える一時蓄積部と有する撮像素子と、前記撮像素子の光電荷蓄積開始を制御する蓄積開始制御手段と、受光部の光電荷を一時蓄積部に転送する事で前記撮像素子の蓄積終了制御を行う蓄積終了制御手段を有する撮像装置において、前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることによって、画素毎、もしくは、ライン毎に光電荷蓄積時間を制御することで、撮影画像のシェーディングを補正し、画面の隅々まで明るさや色のバランスが崩れることのない良好な画像が得られる。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

図２と図４、図５を用いて本発明の第１の実施例を説明する。

図２において、レリーズボタンが押されることでカメラが撮影動作を開始すると、全体制御演算部２０９は、あらかじめ記憶している撮像素子自体のシェーディング、および、レンズ制御部２０２から取得したレンズ情報、絞り情報、瞳位置情報等から、撮影画像のシェーディング量を演算し、垂直方向のシェーディングをキャンセルするように画像の全ライン数分の垂直シェーディング補正係数を算出する。レリーズボタンが押されてから実際の露光動作が始まるまでのレリーズタイムラグ期間中に、全体制御演算部２０９は、タイミング発生部２０７に対して、ＡＥ等の露出制御によって決定した露光秒時ともに、算出した全ライン数分の垂直シェーディング補正情報をセットする。撮像素子２０５は、ＸＹアドレス型の走査方法を採る撮像素子であり、タイミング発生部２０７によって蓄積、読み出し動作等の制御をされる。

図４は第１の実施例におけるシャッターシーケンス図である。まず、メカシャッターの先幕を制御することで、撮像素子の露光面を物理的に射光状態から露光状態に切り替える。次に、すべてのラインを同じタイミングで一括リセット動作を行うことで、撮像素子のすべてのＰＤの不要電荷をリセットし、画面全体で同じタイミングで蓄積動作に入る。このとき、タイミング発生部２０７は、あらかじめセットされた露光秒時と全ライン数分の垂直シェーディング補正係数に従って、各ラインにおける蓄積時間、すなわち、各ラインにおける転送動作のタイミングを決定し、各ライン別々に転送動作を行う。

すべてのラインの転送動作が終了すると、メカシャッターの後幕を制御し、撮像素子を物理的に遮光する。メカシャッターは画面上部のライン番号の若い順に遮光し、かつ、撮像素子の転送動作よりも速いスピードで動作するので、メカシャッター制御と同時に、先頭ラインから画像の読み出しを開始し、全画像データを読み出すまで繰り返す。

このようにして得られた撮像素子の出力画像は、一様な輝度面を撮影した場合、図５のようにシェーディング補正されている。図５のａ）は、画面全体を一様時間露光したときに得られる撮像素子の垂直方向のシェーディングである。このシェーディングをキャンセルするように、シェーディング補正係数を算出し、ｂ）のようにライン毎の露光時間を制御するため、一様な輝度面を撮影した場合に、センサの出力の段階でシェーディングは補正されており、ｃ）のような一様なセンサ出力が得られる。露光時間を制御する方法は、基準クロックの周波数を上げることで分解能を向上させることができ、デジタルデータでシェーディング補正する場合に比べよりスムーズな補正が可能である。さらに、デジタルデータでシェーディング補正をする際は掛け算等を用いるため、演算による丸め誤差が生じたり、ノイズも演算により増やしてしまう可能性があるが、露光時間を制御する方法では丸め誤差は無く、画像処理をする前に補正が完了しているので、画面の領域によってノイズ量が変わることも無い。したがって、デジタルデータを演算してシェーディング補正をする方法に比べ、補正後の画質は優れている。

さらに、本実施例では、ライン毎に転送タイミングを制御することで垂直方向のみのシェーディング補正を行っているが、同様に水平方向にも転送タイミングを制御することで水平シェーディング補正をすることも可能である。

図２と図６を用いて本発明の第２の実施例を説明する。

第１の実施例では、撮像素子のライン毎のリセット動作を制御することで垂直シェーディング補正を行ったが、ここではライン毎の転送動作を制御することで、垂直シェーディング補正を行う。

第１の実施例と同様に、全体制御演算部２０９は、あらかじめ記憶している撮像素子自体のシェーディング、および、レンズ制御部２０２から取得したレンズ情報、絞り情報、瞳位置情報等から、撮影画像のシェーディング量を演算し、垂直方向のシェーディングをキャンセルするように画像の全ライン数分の垂直シェーディング補正係数を算出する。レリーズボタンが押されてから実際の露光動作が始まるまでのレリーズタイムラグ期間中に、全体制御演算部２０９は、タイミング発生部２０７に対して、ＡＥ等の露出制御によって決定した露光秒時ともに、算出した全ライン数分の垂直シェーディング補正情報をセットする。

図６は第２の実施例におけるシャッターシーケンス図である。まず、メカシャッターの先幕を制御することで、撮像素子の露光面を物理的に射光状態から露光状態に切り替える。次に、タイミング発生部２０７は、あらかじめセットされた露光秒時と全ライン数分の垂直シェーディング補正係数に従って、各ラインにおけるリセット動作のタイミングを決定し、各ライン別々にリセット動作を行う。つまり、各ライン別々に撮像素子のすべてのＰＤの不要電荷をリセットし、別々のタイミングで蓄積動作に入ることで、各ラインの露光時間を制御する。次に、露光秒時に従って一括電荷転送タイミングを決定し、全画面で一括して同じタイミングでＰＤからＦＤに電荷を転送する。

次に、メカシャッターの後幕を制御し、撮像素子を物理的に遮光する。メカシャッターは画面上部のライン番号の若い順に遮光し、かつ、撮像素子の転送動作よりも速いスピードで動作するので、メカシャッター制御と同時に、先頭ラインから画像の読み出しを開始し、全画像データを読み出すまで繰り返す。

上記のような動作により、シェーディング補正係数に従ってライン毎に蓄積時間を変えて垂直方向シェーディングを補正し、ムラのない良好な画像を得ることができる。

さらに、ライン毎の蓄積時間を変える方法としては、リセットタイミングと電荷転送タイミングのどちらか一方だけをライン毎に変えるだけでなく、両方変えることで蓄積時間を変えても良く、算出したシェーディング補正係数に従ってライン毎の蓄積時間を制御すれば、シェーディング補正が可能となる。

ＸＹアドレス型の走査方法を採る撮像素子の構成の模式図デジタルカメラの回路構成ローリング電子シャッターのタイミングチャート実施例１のシャッター駆動タイミングチャートシェーディング補正のようすを示す図実施例２のシャッター駆動タイミングチャート

符号の説明

１０１単位画素
１０２フォトダイオード
１０３転送スイッチ
１０４蓄積領域
１０５増幅ＭＯＳアンプ
１０６選択スイッチ
１０７リセットスイッチ
１０８信号出力線
１０９負荷電流源
１１０水平選択スイッチ
１１１出力アンプ
１１２垂直走査回路
１１３読み出し回路
１１４水平走査回路
２０１レンズ部
２０２レンズ制御部
２０３シャッター
２０４シャッター駆動装置
２０５撮像素子
２０６撮像信号処理回路
２０７タイミング発生部
２０８メモリ部
２０９全体制御演算部
２１０記録媒体制御Ｉ／Ｆ部
２１１記録媒体
２１２外部Ｉ／Ｆ部
２１３測光装置
２１４測距装置

Claims

受光量に応じて光電荷を発生し蓄積する受光部と、受光部の光電荷を一時的に蓄える一時蓄積部とを有する撮像素子と、前記撮像素子の光電荷蓄積開始を制御する蓄積開始制御手段と、受光部の光電荷を一時蓄積部に転送する事で前記撮像素子の蓄積終了制御を行う蓄積終了制御手段を有する撮像装置において、前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることによって、画素毎、もしくは、ライン毎に光電荷蓄積時間を制御することを特徴とする撮像装置。
前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることで、画素毎、もしくは、ライン毎の蓄積時間を制御することによって、撮影画像のシェーディングを補正する請求項１に記載の撮像装置。
前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることで、画素毎、もしくは、ライン毎に蓄積時間を制御することによって、撮影画像のシェーディングを補正するシェーディング補正装置。
前記蓄積開始制御手段と前記蓄積終了制御手段のどちらか一方もしくは両方の制御タイミングを画素毎、もしくは、ライン毎に変えることで、画素毎、もしくは、ライン毎に蓄積時間を制御することによって、撮影画像のシェーディングを補正するシェーディング補正方法。