JP4674424B2 - 撮像システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置により構成した撮像システムに関するものである。
【０００２】
【従来の技術】
固体撮像装置には、電荷結合素子を用いたものや、ＣＭＯＳイメージセンサーなどがあり、撮像手段としてデジタルスチルカメラ、デジタルビデオカメラ、携帯端末機器などに広く使用されている。
固体撮像装置の性能を大きく左右する特性として感度とスミア特性がある。固体撮像装置の感度およびスミア特性は無論、両方がともに優れていることが望ましいが、これらは相反する特性であり、たとえば感度を高くするとスミア特性は低下し、逆にスミア特性を高めると感度は低下してしまう。これについて詳しく説明する。
【０００３】
図１１の（Ａ）から（Ｃ）は、ＣＣＤ構造の固体撮像装置の一部を示す部分拡大平面図である。
最も一般的なインターライン型のＣＣＤ固体撮像装置１０２は、図１１の（Ａ）などに示したように、半導体基板上に多数の光センサー１０４をマトリクス状に配列し、各光センサー１０４の列ごとに垂直電荷転送レジスター１０６を設け、また垂直電荷転送レジスター１０６の一端部側に水平電荷転送レジスター（図示せず）を設けて構成されている。なお、図１１は固体撮像装置の一部のみを示しており、光センサー１０４は紙面における上下方向（列方向）にも配列され、また垂直電荷転送レジスター１０６は紙面の上下方向に延在している。
【０００４】
このような構造において、各光センサー１０４が受光して生成した信号電荷は隣接する垂直電荷転送レジスター１０６に供給され、垂直電荷転送レジスター１０６上を不図示の水平電荷転送レジスターに向け転送される。水平電荷転送レジスターに到達した信号電荷は水平電荷転送レジスター上を、垂直電荷転送レジスター１０６による転送方向に直交する方向に転送され、その後、電圧信号に変換されて画像信号として出力される。
【０００５】
また、半導体基板上には、図１１に示したように、不要光が光センサー１０４に入射することを阻止する遮光膜１０８が形成されており、その開口部１１０を通じて、被写体からの光は各光センサー１０４に入射する構造となっている。したがって、各光センサー１０４に入射する光の量は、遮光膜１０８の開口部１１０の面積により変化する。
【０００６】
図１１の（Ａ）は、遮光膜１０８の開口部１１０の面積が光センサー１０４の受光面の面積に対し一般的な広さとなっている場合を示している。これに対して、図１１の（Ｂ）は、遮光膜１０８の開口部１１０の面積を広くした場合を示し、このように開口部１１０を広くすることで光センサー１０４への入射光量が多くなるため、固体撮像装置１の感度は向上する。一方、図１１の（Ｃ）は、遮光膜１０８の開口部１１０の面積を狭くした場合を示し、このように開口部１１０を狭くすることで光センサー１０４への入射光量が減少するため、固体撮像装置１の感度は低下するが、スミア特性は向上する。
【０００７】
このように、固体撮像装置の感度およびスミア特性は遮光膜１０８の開口部１１０の広さにより決まり、開口部１１０を広くするほど、感度は高くなる一方、スミア特性は劣化する。逆に、開口部１１０を狭くするほど、感度は低くなるが、スミア特性は向上する。そのため、従来は、一定の感度を確保しつつスミア特性にも配慮して、図１１の（Ａ）に示したような広さに開口部１１０が形成されていた。
【０００８】
【発明が解決しようとする課題】
しかし、その結果、従来の固体撮像装置では、感度およびスミア特性に関してバランスのとれた撮影画像を得ることはできるが、被写体が特に暗い場合などには鮮明な画像が得られなかったり、また被写体中に非常に明るい輝点が存在する場合などにはスミアが強く現れてしまうといった問題が生じていた。
【０００９】
本発明はこのような問題を解決するためになされたもので、その目的は、感度とスミア特性がともに優れた撮像システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明は上記目的を達成するため、被写体からの光を受光して前記被写体の映像を表す電気信号を生成する固体撮像装置により構成した撮像システムであって、互いに接近させて配置した、撮像特性が相互に異なる複数の固体撮像装置と、前記固体撮像装置のそれぞれに同一の被写体からの光を入射させる光分配装置と、を備え、前記複数の固体撮像装置のうちの少なくとも１つは他の固体撮像装置より感度が高く、前記他の固体撮像装置のうち少なくとも１つは残りの固体撮像装置よりスミア特性が優れており、前記光分配装置は、前記被写体からの光を各固体撮像装置に順次入射させることを特徴とする。
【００１１】
このように、本発明の撮像システムは、撮像特性が異なる複数の固体撮像装置を備え、同一の被写体からの光を、光分配装置により各固体撮像装置のそれぞれに入射させて撮影を行うことができる。そして、１つの固体撮像装置を感度の高い固体撮像装置とし、他の１つの固体撮像装置をスミア特性の優れたものとすることで、被写体を高感度で撮影できると同時に、スミア特性に優れた撮影画像を得ることができる。
【００１２】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
図１は本発明による撮像システムの一例を示す概略側面図、図２は図１の撮像システムを構成する撮像部を示す概略平面図である。
図１に示した撮像システム２を構成する撮像部４は、図２に示したように、同一の半導体基板６上に互いに近接してマトリクス状に配置された４つのＣＣＤ構造の固体撮像装置８、１０、１２、１４を含んでいる。固体撮像装置８は通常の感度およびスミア特性を有し、固体撮像装置１０は遮光膜の開口部（図１１参照）が広く他の固体撮像装置より高い感度を有している。また、固体撮像装置１２は遮光膜の開口部が狭くスミア特性が他の固体撮像装置より優れ、固体撮像装置１４は固体撮像装置１０と基本的に同じ構造を有しているが、他の固体撮像装置とは異なり光センサー上にカラーフィルターが設けられておらず、したがって白黒撮影を行うようになっている。よって感度は固体撮像装置１４が最も高くなっている。
また、各固体撮像装置８、１０、１２、１４以外の半導体基板６の表面は遮光膜１６により覆われている。
【００１３】
図３は、図１の撮像部４を固体撮像装置ごとに形成された水平電荷転送レジスターをも含めて示す概略平面図である。図３に示したように、本実施の形態例では各固体撮像装置８、１０、１２、１４ごとに水平電荷転送レジスター１８が形成され、各固体撮像装置の垂直電荷転送レジスター（図示せず）により垂直方向に転送されてきた信号電荷２０は、水平電荷転送レジスター１８により水平方向に転送され、最終的に画像信号として各固体撮像装置ごとに出力される。
【００１４】
図１に示した光分配装置２２は、分光プリズム２４、２６、２８により構成され、被写体からの光を各固体撮像装置上に結像させるためのレンズ３０と固体撮像装置８、１０、１２、１４との間に配置されている。分光プリズム２４はレンズ３０を通過した光３２を、直進する光と、紙面の裏面方向に屈曲する光とに分割する。
分光プリズム２６、２８は側面から見て重なった状態で配置されており、分光プリズム２４内を直進した光は分光プリズム２６に入射し、分光プリズム２６内を直進して固体撮像装置１４に入射する光と、分光プリズム２６により上方に屈曲して固体撮像装置１０に入射する光とに分割される。一方、分光プリズム２４で屈曲した光は分光プリズム２８に入射し、分光プリズム２８内を直進して固体撮像装置１２に入射する光と、分光プリズム２６により上方に屈曲して固体撮像装置８に入射する光とに分割される。
【００１５】
各分光プリズム２６、２８からの光は、図４に円３４により示したように各固体撮像装置８、１０、１２、１４に入射し、各固体撮像装置により電気信号に変換される。ここで、各固体撮像装置の間隔は、ある固体撮像装置への光が他の固体撮像装置に入射しないような間隔に設定されている。
【００１６】
各固体撮像装置が出力する、撮影結果を表す画像信号３６（図１）はそれぞれ画像処理装置３８に入力される。画像処理装置３８は各固体撮像装置からの画像信号３６にもとづき、必要に応じて各固体撮像装置が撮影した画像を合成し、結果を表す画像信号を出力する。
【００１７】
このように構成された本実施の形態例の撮像システム２では、被写体からの光はレンズ３０により、固体撮像装置上に結像させるべく収束される。その後、分光プリズム２４、２６、２８により各固体撮像装置８、１０、１２、１４に入射する光に分割され、各固体撮像装置８、１０、１２、１４に入射した光は、各固体撮像装置により各固体撮像装置の特性に応じて電気信号に変換される。
【００１８】
そして、固体撮像装置８は、上述のように通常の感度およびスミア特性を有しているため、固体撮像装置８からは、これらの特性の点でバランスのとれた撮影画像が得られる。また、固体撮像装置１０は、上述のように高感度であるため、固体撮像装置１０からは、被写体が暗い場合でも鮮明な撮影画像が得られる。一方、固体撮像装置１２は、各光センサーごとの遮光膜の開口部が狭く形成されているため、スミア特性に優れた画像が得られる。さらに、固体撮像装置１４は、上述のように固体撮像装置１０と基本的に同じ構造を有しているが、カラーフィルターが設けられていないので、固体撮像装置１０よりさらに２５％程度感度が高く、より暗い被写体も鮮明に撮影することができる。
これら各固体撮像装置からの画像信号３６は、固体撮像装置８、１０、１２、１４の各特性を反映した画像信号３６として、画像処理装置３８を通じて出力される。
【００１９】
したがって、本実施の形態例の撮像システム２では、従来通りのバランスのとれた画像、高感度の画像、スミア特性に優れた画像、ならびに白黒ではあるが、さらに高感度の画像を一度に撮影することができ、これらの特性の異なる画像をシャッターチャンスを逃すことなく撮影することができる。
そして、撮影者は、撮影した画像のなかから自身の好みにあったものを選択することができる。
【００２０】
画像処理装置３８はまた、必要に応じて各固体撮像装置による撮影画像を合成する。画像処理装置３８の画像合成動作について、スミア特性の優れた固体撮像装置１２により得られた画像と、感度の高い固体撮像装置１０により得られた画像とを合成する場合を例に説明する。
【００２１】
図５の（Ａ）から（Ｃ）は、画像処理装置３８の動作を示す説明図である。図５の（Ａ）は固体撮像装置１２の撮影画像を表し、図５の（Ｂ）は固体撮像装置１０の撮影画像を表している。また、図５の（Ｃ）は合成結果を表している。
図５の（Ａ）に示したように、固体撮像装置１２はスミア特性に優れているため、窓４０の外に太陽４２が写り込んでいる撮影画像でもスミアは現れないか、あるいは現れても弱いものとなる。しかし、固体撮像装置１２は感度が低いため、室内の人物４４などは明るさが不足して不鮮明となっている。
これに対して、図５の（Ｂ）に示したように、固体撮像装置１０は感度が高いため、室内の人物４４などは鮮明に撮影されている。しかし、固体撮像装置１０はスミア特性は不充分であるため、窓４０の外の太陽４２の箇所で強いスミアが現れる（図では省略）。
【００２２】
画像処理装置３８は、これらの固体撮像装置１０、１２により得られた２つの画像から、まず、明るい領域を特定する。この場合には、画像処理装置３８はおおむね窓４０の領域を明るい領域として特定する。次に、画像処理装置３８は、固体撮像装置１２による画像（図５の（Ａ））から、上記特定した明るい領域の画像、すなわち、おおむね窓４０の領域（窓４０の外）を抽出し、一方、固体撮像装置１０による画像（図５の（Ｂ））から、相対的に暗い領域、すなわち、おおむね窓４０の領域外の領域（室内）の画像を抽出する。そして、これら２つの画像を、図５の（Ｃ）に示したように合成する。その結果、合成画像では、室内の人物４４などは鮮明であり、かつ太陽４２によるスミアも問題とならない。
また、このような合成により、窓の外などの明るい領域が白くつぶれず、同時に室内などの暗い領域が鮮明な画像を得ることができるので、非常にダイナミックレンジの広い撮影が可能となる。
【００２３】
次に、本発明の第２の実施の形態例について説明する。
図６は第２の実施の形態例としての撮像システムを示す概略側面図である。
第２の実施の形態例の撮像システム４６は、最初の実施の形態例の撮像システム２とは特に光分配装置の構成の点で異なっている。撮像システム４６の撮像部４８は、半導体基板５０上に互いに特性の異なる２つの固体撮像装置５２、５４を形成して構成され、光分配装置５６は撮像部４８の各固体撮像装置５２、５４に被写体からの光を同時に入射させるべく構成されている。固体撮像装置５２、５４としては、たとえば感度の高い固体撮像装置と、スミア特性が優れている固体撮像装置を用いることができる。
【００２４】
光分配装置５６は各固体撮像装置５２、５４ごとに広角レンズ５８、６０およびプリズム６２、６４を有し、被写体からの光は固体撮像装置の撮像面に結像すべく各広角レンズ５８、６０により収束され、広角レンズを出射した光それぞれは対応するプリズム６２、６４により対応する固体撮像装置５２、５４の方向に光路を屈曲させ、固体撮像装置５２、５４に入射する。
【００２５】
光分配装置５６をこのように構成しても被写体からの光を各固体撮像装置５２、５４に同時に入射させることができ、したがって、撮像システム４６により、１回の撮影で高感度の画像、およびスミア特性に優れた画像の両方をともに得ることができる。
【００２６】
次に、本発明の第３の実施の形態例について説明する。
図７は第３の実施の形態例としての撮像システムを示す概略側面図である。図中、図６などと同一の要素には同一の符号が付されている。
第３の実施の形態例の撮像システム６６は、第２の実施の形態例の撮像システム４６とは光分配装置の構成の点で異なっている。すなわち、光分配装置６８は、形状が変化して光の出射方向が変化するアクティブプリズム７０と、アクティブプリズム７０の形状を変化させるべくアクティブプリズム７０を駆動し光の出射方向を切り換えるアクチュエーター７２とを含んでいる。
【００２７】
このような光分配装置６８では、レンズ３０を通じてアクティブプリズム７０に入射した被写体からの光は、アクティブプリズム７０によりその光路を変更する。そして、アクチュエーター７２は、アクティブプリズム７０を駆動して形状を変化させ、アクティブプリズム７０からの出射光の進行方向を、たとえば最初は固体撮像装置５２の方向とし、次に固体撮像装置５４の方向に切り換る。これにより、被写体からの光は固体撮像装置５２、５４に順次入射し、電気信号に変換される。
したがって、第３の実施の形態例の撮像システム６６においても、１回の撮影で高感度の画像、およびスミア特性に優れた画像の両方をともに得ることができる。
【００２８】
次に、本発明の第４の実施の形態例について説明する。
図８は第４の実施の形態例としての撮像システムを示す概略側面図である。図中、図６などと同一の要素には同一の符号が付されている。
第４の実施の形態例の撮像システム７４は、第２の実施の形態例の撮像システム４６とは光分配装置の構成の点で異なっている。すなわち、光分配装置７６は、ミラー７８と、ミラー駆動手段８０とを含み、レンズ３０を通じて入射する被写体からの光をミラー７８で反射して各固体撮像装置５２、５４に入射させる構成となっている。そして、ミラー７８は、ミラー駆動手段８０により角度および位置のいずれか一方または両方が変更され、その結果、被写体からの光は各固体撮像装置５２、５４に順次切り換えて入射する。
したがって、第４の実施の形態例の撮像システム７４においても、実質的に１回の撮影で高感度の画像、およびスミア特性に優れた画像の両方をともに得ることができる。
【００２９】
次に、本発明の第５の実施の形態例について説明する。
図９は第５の実施の形態例としての撮像システムを示す概略側面図である。図中、図６などと同一の要素には同一の符号が付されている。
第５の実施の形態例の撮像システム８２は、第２の実施の形態例の撮像システム４６とは光分配装置の構成の点で異なっている。すなわち、光分配装置８４は、半導体基板５０を入射光の光路に直交する方向（矢印Ａ）に移動させる固体撮像装置移動手段８６を含み、固体撮像装置移動手段８６により固体撮像装置５２、５４の全体を移動させることによって、レンズ３０を通じて入射する被写体からの光を各固体撮像装置５２、５４に順次入射させる。
したがって、第５の実施の形態例の撮像システム８２においても、実質的に１回の撮影で高感度の画像、およびスミア特性に優れた画像の両方をともに得ることができる。
【００３０】
以上、本発明の実施の形態例について説明したが、無論、本発明はこれらの例に限定されるものではなく、種々の形態で実施してその効果を享受することができる。
たとえば、最初の実施の形態例では、図３に示したように、各固体撮像装置ごとに水平電荷転送レジスター１８を設けるとしたが、図１０に示したように、すべての固体撮像装置８、１０、１２、１４に対して１つの水平電荷転送レジスター８８を設ける構成とすることも可能である。この場合には、固体撮像装置８の垂直電荷転送レジスターで転送した信号電荷は、矢印９０により示したように、固体撮像装置１２の対応する垂直電荷転送レジスターに供給して水平電荷転送レジスター８８に送り、また、固体撮像装置１０の垂直電荷転送レジスターで転送した信号電荷は、固体撮像装置１４の対応する垂直電荷転送レジスターに供給して水平電荷転送レジスター８８に送るようにすればよい。
【００３１】
また、上記実施の形態例では各固体撮像装置は同一の半導体チップ上に形成されているとしたが、各固体撮像装置をそれぞれ異なる半導体チップ上に形成し、各半導体チップを近接配置する構成とすることも可能である。
図４を用いて説明したように、最初の実施の形態例では、各固体撮像装置間にある程度の間隔をとっているが、第３の実施の形態例や第４の実施の形態例のように各固体撮像装置に順番に光を入射させる場合には、ある固体撮像装置に入射すべき光が隣接する固体撮像装置に入射しても問題はないので、固体撮像装置の間隔をより狭くすることも可能である。
【００３２】
また、上記第２〜第５の実施の形態例では撮像部が２つの固体撮像装置を備えているとしたが、３つ以上の固体撮像装置を用いた場合にも、各実施の形態例の光分配装置は基本的に同様の構成としつつ適切に変更を加えることで各固体撮像装置に被写体からの光を入射させることができる。また、固体撮像装置５２、５４からの画像信号を、最初の実施の形態例で用いたような画像処理装置３８に入力して合成画像を得ることも無論可能である。
さらに、固体撮像装置としてはＣＣＤ構造のものに限らず、ＣＭＯＳイメージセンサーを用いてもよい。
【００３３】
以上説明したように本発明は、被写体からの光を受光して前記被写体の映像を表す電気信号を生成する固体撮像装置により構成した撮像システムであって、互いに接近させて配置した、撮像特性が相互に異なる複数の固体撮像装置と、前記固体撮像装置のそれぞれに同一の被写体からの光を入射させる光分配装置と、を備え、前記複数の固体撮像装置のうちの少なくとも１つは他の固体撮像装置より感度が高く、前記他の固体撮像装置のうち少なくとも１つは残りの固体撮像装置よりスミア特性が優れており、前記光分配装置は、前記被写体からの光を各固体撮像装置に順次入射させることを特徴とする。
【００３４】
このように、本発明の撮像システムは、撮像特性が異なる複数の固体撮像装置を備え、同一の被写体からの光を、光分配装置により各固体撮像装置のそれぞれに入射させて撮影を行うことができるので、たとえば１つの固体撮像装置を感度の高い固体撮像装置とし、他の１つの固体撮像装置をスミア特性の優れたものとしておけば、被写体を高感度で撮影できると同時に、スミア特性に優れた撮影画像を得ることができる。
【図面の簡単な説明】
【図１】本発明による撮像システムの一例を示す概略側面図である。
【図２】図１の撮像システムを構成する撮像部を示す概略平面図である。
【図３】図１の撮像部を固体撮像装置ごとに形成された水平電荷転送レジスターをも含めて示す概略平面図である。
【図４】各固体撮像装置に対する入射光を示す図１の撮像システムの概略平面図である。
【図５】（Ａ）から（Ｃ）は、画像処理装置の動作を示す説明図である。
【図６】第２の実施の形態例としての撮像システムを示す概略側面図である。
【図７】第３の実施の形態例としての撮像システムを示す概略側面図である。
【図８】第４の実施の形態例としての撮像システムを示す概略側面図である。
【図９】第５の実施の形態例としての撮像システムを示す概略側面図である。
【図１０】４つの固体撮像装置に対し１つの水平電荷転送レジスターを設けた構造の撮像システムの一例を示す概略平面図である。
【図１１】（Ａ）から（Ｃ）は、ＣＣＤ構造の固体撮像装置の一部を示す部分拡大平面図である。
【符号の説明】
２……撮像システム、４……撮像部、６……半導体基板、８、１０、１２、１４……固体撮像装置、１６……遮光膜、１８……水平電荷転送レジスター、２２……光分配装置、２４、２６、２８……分光プリズム、３０……レンズ、３８……画像処理装置、４６……撮像システム、４８……撮像部、５０……半導体基板、５２……固体撮像装置、５４……固体撮像装置、５６……光分配装置、５８、６０……広角レンズ、６２、６４……プリズム、６６……撮像システム。

Claims (8)

1. 被写体からの光を受光して前記被写体の映像を表す電気信号を生成する固体撮像装置により構成した撮像システムであって、
   互いに接近させて配置した、撮像特性が相互に異なる複数の固体撮像装置と、
   前記固体撮像装置のそれぞれに同一の被写体からの光を入射させる光分配装置と、を備え、
   前記複数の固体撮像装置のうちの少なくとも１つは他の固体撮像装置より感度が高く、前記他の固体撮像装置のうち少なくとも１つはそれ以外の固体撮像装置よりスミア特性が優れており、前記光分配装置は、前記被写体からの光を各固体撮像装置に順次入射させる撮像システム。
2. 前記複数の固体撮像装置は同一の半導体チップ上に形成されている請求項１記載の撮像システム。
3. 前記複数の固体撮像装置はそれぞれ異なる半導体チップ上に形成されている請求項１記載の撮像システム。
4. 前記光分配装置は、形状が変化して光の出射方向を変化させるアクティブプリズムと、前記アクティブプリズムの形状を変化させるべく前記アクティブプリズムを駆動し光の出射方向を切り換えるアクチュエーターとを含み、前記被写体からの光を前記アクティブプリズムに入射させ、その出射光の方向を、前記アクチュエーターにより前記アクティブプリズムを駆動して切り換えることで、前記被写体からの光を各固体撮像装置に順次入射させる請求項１〜３のいずれかに記載の撮像システム。
5. 前記光分配装置は、ミラーと、ミラー駆動手段とを含み、前記被写体からの光を前記ミラーで反射して前記固体撮像装置に入射させ、前記ミラー駆動手段により前記ミラーの角度および位置のいずれか一方または両方を変化させて、前記被写体からの光を各固体撮像装置に順次切り換えて入射させる請求項１〜３のいずれかに記載の撮像システム。
6. 前記光分配装置は、前記複数の固体撮像装置全体を移動させる固体撮像装置移動手段を含み、前記固体撮像装置移動手段により前記固体撮像装置全体を移動させることによって、前記被写体からの光を各固体撮像装置に順次入射させる請求項１〜３のいずれかに記載の撮像システム。
7. 前記複数の固体撮像装置のうちの少なくとも１つは白黒撮影のためのものであってカラーフィルターを備えず、他の前記固体撮像装置のうちの少なくとも１つはカラー撮影のためのものであってカラーフィルターを備えている請求項１〜６のいずれかに記載の撮像システム。
8. 前記複数の固体撮像装置のうち少なくとも２つの固体撮像装置による撮像結果を表す電気信号にもとづき、前記２つの固体撮像装置の撮像結果を合成する画像処理装置を備えた請求項１〜７のいずれかに記載の撮像システム。

Images