JP4715853B2 - 固体撮像装置および撮像方法 - Google Patents

Description

本発明は、有効ダイナミックレンジが拡張された画像信号を生成する撮像方法および、この方法を用いたビデオカメラ等の固体撮像装置に関する。

撮像装置は、撮像管あるいはＣＣＤ（Charge Coupled Device ）等の固体撮像素子によって構成されており、デジタルカメラ，スキャナーあるいはビデオカメラ等の撮像部に広く使用されている。こうした撮像装置は、旧来の銀塩写真システムと比較するとダイナミックレンジが狭く、逆光時などに、被写体の明るい部分では、輝度レベルが著しく高いために像が白くなり過ぎたり（白とび）、被写体の暗い部分では、輝度レベルが著しく低いために像が黒くなり過ぎたり（黒つぶれ）することがあった。そこで、従来より、このような現象を解消して画質低下を防ぐために、同一被写体から得られた露光量の異なる複数の画像から１つの画像を合成する手法が採られている。

例えば、特開平２−１７４４７０号公報や、特開平５−７３３６号公報には、画像合成を行う際に問題となっていた手ぶれ等による画像のずれを補正する技術が記載されている。そこに採用されている画像合成方法は、一般的なものである。上記特開平５−７３３６号公報によれば、図１１のように、１フレーム期間中に1/1000秒と1/60秒の２種類の露光時間で撮像素子からの信号を出力させ、１フレームを構成する奇（ＯＤＤ）フィールド，偶（ＥＶＥＮ）フィールドにそれぞれ、露光時間が1/1000秒および1/60秒で撮影された画像をそれぞれ割り当てるようになっている。これらの画像は露出が異なるので、一方のフィールドに「白とび」もしくは「黒つぶれ」が生じていても他方のフィールドには生じていない。こうして、２つの画像の互いに利用可能な部分を融通しあうことによりダイナミックレンジが拡張され、画質が改善される。

なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１）。

特開２０００−３５８１９０号公報

しかしながら、従来の方法では、各画像を順に撮像していくことから、大きく２つの問題点があった。１つ目の問題は、露光時間の異なる画像が２枚程度しか得られないため、合成が困難である点である。むろん、原理的には２枚以上の画像の合成は可能であるが、画像数が増えるに従って撮像期間全体が長くなってしまう。そのため、画像間の経時変化を抑えたり、総撮像期間を１フィールドまたは１フレーム内に収め、合成後の画像信号をＮＴＳＣ方式などの規格に対応させたりするには、画像を２〜３枚以上とすることは難しい。よって、実用上は合成には２枚の画像を用いることになるが、その場合、合成画像の有効ダイナミックレンジを拡張するため、互いの露光時間は比較的大きく異なるように選ばれる。またその場合には、両者の境界部分で不自然なコントラスト変化が生じるのを防ぐために、互いの画像信号の入射光量に対する特性を調整する必要が生じる。すなわち、露光時間が短い方の特性を増幅するなどしてゲイン調整を行うが、今度は、この操作に伴って画像同士の境界にノイズがしばしば発生するという問題が生じていた。

２つ目の問題は、露出時間の異なる画像が、それぞれ別の期間に撮られる点である。このため、撮像対象に動きのある場合などでは、合成の際、対象の境界部に情報の欠落が生じてしまう。前述した技術は、主な被写体に合わせて画像同士をずらすような座標変換を行うことによって、画像間の経時的な位置ずれを解消するようにしている。ただし、各画像のずれた周辺部分は切り捨てられ、２画像共通のエリアが元の画像サイズに拡大されるようになっている。

このように、従来では、合成の際にコントラストや位置ずれに対しても何らかの策を講じなければならず、しかも、その結果、合成によって得ようとしていた撮像対象を忠実に再現する画像ではなくなっていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、有効ダイナミックレンジが広く、画像ずれやノイズを抑えた画像を容易に得ることが可能な固体撮像装置および撮像方法を提供する。

本発明の固体撮像装置は、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成する撮像手段と、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成する合成用画像生成手段と、合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成する合成手段とを備えたものである。また、上記合成用画像生成手段は、合成用画像の全てを、撮像期間に共通の重複部分があるように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようになっている。

本発明の撮像方法は、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、さらに、合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成するものである。また、合成用画像の全てを、撮像期間に共通の重複部分を有するように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようになっている。

本発明の固体撮像装置および撮像方法では、単位画像が、その数と経時的位置とを考慮して加算され、露光時間の異なる複数の合成用画像が部分的に撮像期間を重複させるように生成される。また、合成用画像の全てが、撮像期間に共通の重複部分を有するように生成されると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含んでいる。

本発明の固体撮像装置および本発明の撮像方法によれば、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、合成用画像を合成して、ダイナミックレンジが拡張された画像を作成するようにしたので、複数で、しかも互いの撮像期間が部分的に重複した合成用画像が極めて平易な方法で得られる。従って、得られる画像は、複数の合成用画像から合成されるので、単にダイナミックレンジが拡張されているだけでなく、より滑らかな中間調を表現することが可能となる。
また、複数の合成用画像が用いられることにより、各合成用画像の信号の低域成分は合成に使用されないので、得られる画像のノイズを低減することが可能となる。同時に、合成用画像の撮像期間は互いに部分的に重複しているので、互いの経時変化が軽減され、被写体の位置ずれ等による画像の欠落を回避することが可能となる。
また、こうした合成用画像は、単位画像の露光時間等の撮像条件を変えなくとも、その生成に用いる単位画像の数や経時的位置を変更するだけで枚数や露光時間，撮像期間の設定を変えることができる。このように、画像の合成における条件設定の自由度が極めて高く、また容易に条件設定を行うことが可能である。
さらに、合成用画像の全てを、撮像期間に共通の重複部分を有するように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようにしたので、合成用画像間の時間差をほとんど考慮する必要がなくなり、撮像対象の経時的な位置ずれを軽減する効果を高くすることが可能となる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る固体撮像装置の構成を示すブロック図である。図２は、単位画像から合成用画像を生成する様子を概念的に表しており、図３は、単位画像と合成用画像の間の撮像期間および露光時間における関係を示したタイムチャートである。この固体撮像装置では、実際に撮像して得た単位画像２１から、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像２２が生成され、さらに、これを用いて合成画像２３が生成される。なお、「撮像期間」は時間軸上の撮像されている期間を指し、「露光時間」は露光して撮像を行った時間の長さを指すものとして、以下の明細書においてはそれぞれを使い分けるものとする。

光学系１１は、入射した光線を撮像素子１２に結像するものであり、撮像素子１２は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子で構成され、結像された画像の情報を電圧信号Ｓ_V に変換してカメラ信号前段処理回路１３に出力するものである。

この撮像素子１２は、所定時間内に撮像を連続して複数回（ｎ回）行い、ｎ枚の単位画像２１を順次撮像するように（図３）、駆動回路１６により制御されている。その際の撮像条件、すなわち撮像期間全体の長さ（総露光時間）や、単位画像の数、それぞれの露光時間は、後述する合成用画像２２の各露光時間や枚数との関係によって設定される。

例えば、一連の撮像は１フレームまたは１フィールド期間内に行われ、さらには、そのうちの所定期間にて行われる。また、ここでは、単位画像２１は全て、所定の単位露光時間ｔで撮像されるようになっている。単位露光時間ｔは適宜に設定可能であるが、例えば、従来の合成用画像の露光時間(1/1000 秒）と同程度以下としてよい。一例を挙げると、撮像期間の長さが1/60秒、単位露光時間1/6000秒、単位画像２１を１０枚などと設定することができる。こうした高速撮像は、一部のＣＭＯＳセンサにおいては現時点でも充分に実現可能である。

カメラ信号前段処理回路（前段処理回路）１３は、撮像素子１２からの各単位画像２１に相当する電圧信号Ｓ_V を、ｎ枚の単位画像２１に相当する画像データＤu に変換する機能を有している。すなわち、前段処理回路１３では、電圧信号Ｓ_V に対し、Ａ／Ｄ変換を始めとする通常のビデオカメラにおける信号処理と同様の周知の処理が行なわれる。なお、ここで生成された単位画像２１の画像データＤu は、画像メモリ１４に出力されるようになっている。

画像メモリ１４は、前段処理回路１３から入力された単位画像データＤu を格納すると共に、カメラ信号後段処理回路（後段処理回路）１５からの読み出し／書き込み要求に応じて単位画像データＤu を出力したり、後段処理回路１５から入力される合成用画像データＤs を格納したりする機能を有する。また、後段処理回路１５に対しては、画像合成に伴う作業領域を提供する。画像メモリ１４は、複数のデータを同時にリードライト可能な装置であり、具体的にはハードディスク，半導体メモリなどの記憶装置として構成されている。

後段処理回路１５は、ｎ枚の単位画像２１を撮像順に加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像２２を生成する機能を有している。すなわち、連続する単位画像２１のｍ枚（ｍ＝１〜ｎ）を加算することによって、露光時間が単位露光時間ｔのｍ倍で、撮像期間が、加算した単位画像２１の撮像期間の合計となる合成用画像２２が得られる。この操作は、画像メモリ１４からｎ枚の単位画像２１の画像データＤu を読み出し、これら画像データＤu を露光時間および撮像期間に応じて画素単位に加算し、合成用画像２２に相当する画像データＤs を生成することで行われる。得られた画像データＤs は、画像メモリ１４に格納される。

合成用画像２２の生成に用いる単位画像２１の選び方は種々考えられる。簡単な一例としては、図２，図３に示したように、最後に撮られたものから１枚，２枚，・・・，ｎ枚をそれぞれ加算し、ｎ枚の合成用画像２２とする方法が挙げられる。この場合の合成用画像２２は、少なくとも最後の単位画像２１に相当する撮像期間を共有しており、露光時間がそれぞれｔ，２ｔ，・・・，ｎｔとなる。こうした合成用画像２２は、画像の合成に必要となる任意の数だけ生成されればよく、各合成用画像２２の露光時間，撮像期間も、必要に応じて適宜に設定可能である。ただし、最終的に滑らかに合成された画像を得るには、ここで合成用画像２２を３枚以上得ておくことが望ましい。また、合成の際の被写体の位置ずれ等を抑制するため、合成用画像２２の撮像期間は、互いの重複部分ができるだけ大きくなるように設定するのが望ましい。

図４は、画像データＤs の入射光量に対する特性を示している。このように、合成用画像２２（以下では画像２２と略記）は、その露光時間に応じて、得られる信号値すなわち画像データＤs の値の特性が異なっている。露光時間ｔである画像２２のデータ特性４３に対し、露光時間２ｔの場合の特性４２は傾きが２倍であり、露光時間ｎｔの場合の特性４１は傾きがｎ倍である。つまり、入射光量が少なく被写体が暗いときには、特性４１のように露光時間を長くし、得られるデータ信号値を十分に大きくすると、暗くとも階調が保たれるようになる。逆に、入射光量が多く明るい被写体には、特性４３のように露光時間を短くすると、大きな入射光量においてもデータ信号が飽和点に達しないために明るくとも階調が保たれるようになる。

このように、各画像２２は、露光時間すなわちデータ特性が互いに異なることから、全体として、広範な入射光量に対して適正な階調（特性の傾き）を与えることが可能である。なお、これら画像データＤs の値は全て、ある上限値で飽和するようになっている。

さらに、後段処理回路１５は、これら画像２２を用いて合成を行ない、有効ダイナミックレンジが拡張された合成画像２３を作成する機能を有する。その合成方法はどのようなものであってもよいが、通常よく用いられているように、不連続な特性を有する画像同士の境界において一方の信号値を増幅して画像のつなぎ目をなくすようにする方法では、この操作がうまくいかない場合に、接合される画像の信号値の大きさが相対的に入れ替わるなどして不自然にしずんだ領域が生じることがある。そこで、本実施の形態では、こうした問題点を回避すべく以下のような方法を採用している。

すなわち、後段処理回路１５は、各画像２２の画像データＤs から入射光量に適したものを画素単位に選択して、合成に用いるようになっている。まず、露光時間が最も長い画像２２において、画像データＤs が設定上限値より小さい値であれば、そのまま採用される。ここで、設定上限値は、例えば画像データＤs の飽和点の値とされるが、飽和点より低い値に設定して画質を保証するようにしてもよい。この露光時間ｎｔの画像２２が採用されなかった画素に対しては、露光時間（ｎー１）ｔの画像２２を用いて同様の操作が行われる。同様の操作は、全ての画素に対して採用する画像データＤs が決定されるまで繰り返し行われる。最後に残った画素に対しては、露光時間ｔの画像２２の画像データＤs が採用される。

その際に、本実施の形態では、入射光量に対するデータ特性が連続した一つの特性となるように、各画像２２の画像データＤs の値に補正が行われる。詳細は後述するが、画像２２のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の画像データＤs は、同じ画像における信号下限値からの自身の変位に、露光時間が１番長いものからｍ−１番目に長いものまでの画像２２各々における画像データＤs の下限値から設定上限値までの変位を全て積算した値に変換してから、合成される（図６を参照）。このように、各画像２２のデータ信号値の大きさは相対化され、切れ目なくつなぎ合わせられて、ダイナミックレンジの拡張が適正に行われる。

なお、後段処理回路１５は、以上のような画像の合成を、画像２２を順に重ねるようにして行うほか、各画像２２の画像データＤs に施す処理は予めわかっているので、各画像２２それぞれの画像データＤs の処理を並列して行い、処理後の画像データＤw を元の画像データＤs の画素位置にあてはめることで一枚の合成画像２３を作成するように構成されていてもよい。

また、この後段処理回路１５では、そのほかに、ガンマ補正や、そのほか通常のビデオカメラの信号処理と同様の周知の処理が行なわれるようになっている。なお、本実施の形態では、後段処理回路１５が本発明の「合成用画像生成手段」および「合成手段」に対応している。

駆動回路１６は、撮像素子１２を駆動するための回路である。ＡＥ制御部１７は、後段処理回路１５から入力される露光状態の情報に基づき、光学系１１の絞り調整，駆動回路１６の電子シャッタ制御，前段処理回路１３のゲイン調整などを行う機能を有し、画像２１〜２３の露光条件を調節するようになっている。

次に、この固体撮像装置の動作、および、本実施の形態に係る撮像方法について説明する。

なお、以下ではより具体的な例として、図５のように単位露光時間ｔで撮られた８枚の単位画像２１から、最後の単位画像２１Ｌに相当する撮像期間を共有すると共に、露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔ、つまり単位露光時間ｔの２ⁿ 倍（ｎは０以上の整数）であるような４枚の画像２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを生成し、画像合成に用いる場合の説明を行う。

まず、光学系１１および撮像素子１２は、８枚の単位画像２１を単位露光時間ｔで順次撮像する。撮像素子１２は、各単位画像２１に相当する電圧信号Ｓ_V を、前段処理回路１３に出力する。前段処理回路１３は、入力された電圧信号Ｓ_V を、８枚の単位画像２１に相当する画像データＤu に変換し、画像データＤu を画像メモリ１４に格納する。

次に、後段処理回路１５は、画像メモリ１４から８枚の単位画像２１の画像データＤu を読み出し、画像データＤu を画素単位に加算することにより、最後の単位画像２１Ｌに相当する撮像期間を共有すると共に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔであるような４枚の画像２２Ａ，２２Ｂ，２２Ｃ，２２Ｄに相当する画像データＤs を生成する（図５）。これらの画像２２Ａ〜２２Ｄは、少なくとも１つの単位画像２１（最後の単位画像２１Ｌ）の撮像期間を共有しているため、その間に被写体の経時的な位置ずれが発生し難く、画像の欠落が回避される。なお、得られた画像データＤs は、画像メモリ１４に格納される。

さらに、後段処理回路１５は、画像２２Ａ〜２２Ｄを合成して合成画像２３を作成する。図６は、この具体例に即したデータ信号の入射光量に対する特性図であり、（Ａ）が合成前、（Ｂ）が合成後に対応している。なお、同図（Ａ）の各特性は、対応する画像２２Ａ〜２２Ｄの末尾の符号によって区別をしている。

まず、露光時間が最も長い画像２２Ｄにおいて、画像データＤs が画像データＤs の飽和点の値ｍより小さい値であれば、そのまま合成後の画像データＤw として採用する。よって、画像データＤw における０からｍまでの範囲は、露光時間が最長である画像２２Ｄの画像データＤs で構成される。これは、入射光量の範囲ＬＤに対応している。

画像２２Ｄの画像データＤs が採用されなかった画素に対しては、次に、露光時間４ｔである画像２２Ｃを参照し、画像データＤs が飽和値ｍより小さい値であれば、画像データＤw として用いる。よって、画像２２Ｃの画像データＤs で用いられるのは、画像２２Ｄだと飽和しているが画像２２Ｃでは飽和していない入射光量の範囲ＬＣをカバーするものである。ここでは、画像２２Ｄと画像２２Ｃの特性の傾きは２：１であるから、用いられる画像データＤs の範囲はｍ／２からｍまでである。

この範囲ＬＣに対応する画像データＤs は、合成に際し、画像２２Ｃにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＤにおける画像データＤw の最高値ｍを足し合わせた値に変換して画像データＤw とする。これにより、図６（Ｂ）に示したように、合成後の画像データＤw は、２つの異なる特性Ｄ，Ｃが連続的に結合された特性を有するものとなる。なお、画像２２Ｃについては、ｍ／２未満の低域の画像データＤs を使用しないので、画像データＤw のノイズは低減される。

以下、用いる画像データＤs が決定されてない画素がなくなるまで、画像２２Ｂ，２２Ａを順に参照して同様の操作を行う。画像２２Ｂでは、画像データＤs のうち、入射光量の範囲ＬＢに対応するｍ／２〜ｍの部分を用いる。合成に際しては、画像２２Ｂにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＣまでの画像データＤw の最高値３ｍ／２を足し合わせた値に変換して画像データＤw とする。

画像２２Ａでは、画像データＤs のうち、入射光量の範囲ＬＡに対応するｍ／２〜ｍの部分を用いる。合成に際しては、画像２２Ａにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＢまでの画像データＤw の最高値２ｍを足し合わせた値に変換して画像データＤw とする。

こうして合成が行われ、図６（Ｂ）に示したデータ信号特性を有する合成画像２３が作成される。なお、この合成方法では、各画像２２Ａ〜２２Ｄの画像データＤs に施す処理は予めわかっているので、実際には各画像２２Ａ〜２２Ｄそれぞれに対し、利用範囲（ｍ／２〜ｍ）の画像データＤs の処理を並列して行い、処理後の画像データＤw を画素にあてはめることで一枚の合成画像２３を作成するようにしてもよい。

この合成画像２３では、各画像２２Ａ〜２２Ｄの入射光量に対するデータ特性が連続してつなぎ合わせられ、有効ダイナミックレンジが拡張される。また、画像２２Ｄを除く画像２２Ａ〜２２Ｃについては、ｍ／２未満の低域の画像データＤs を使用しないので、画像データＤw のノイズは全体として低減される。なお、合成画像２３は、後段処理回路１５から画像データＤw として出力される。

このように本実施の形態では、単位画像２１から互いに露光時間が異なる合成用画像２２を生成するようにしたので、通常より多い３枚以上の合成用画像２２を容易に得ることができる。これら複数の合成用画像２２から得られる合成画像２３では、より滑らかな中間調を表現することができる。また、一連の合成用画像２２を少なくとも１つの単位画像２１を共有するように生成したので、合成用画像２２の間の経時変化を軽減することができ、被写体の位置ずれ等による画像の欠落を回避することができる。

また、これら合成用画像２２の枚数やそれぞれの露光時間，撮像期間は、自在に変更可能である。合成用画像２２の各々の露光時間は、単位画像２１の露光時間の設定に基づいて互いに関数で表現されるような一定の相関を与えることができるので、複数枚の合成用画像２２の露光時間（特性）を互いに関連付けて選択することができる。また、そのような操作によって、例えば画像データＤs の合成に用いる範囲が決まる。ここでは、合成用画像２２の露光時間を、単位露光時間ｔの２ⁿ 倍としたので、各合成用画像２２の使用可能なデータ値を全てｍ／２〜ｍの一定範囲内に収めることができる。したがって、合成の際に各合成用画像２２の低域成分（０〜ｍ／２）は使用しないので、画像２３におけるノイズを低減することができる。また２ⁿ 倍とすることで、ビットデータとして画像データ処理を行う場合に取り扱いが簡単になる。

なお、本実施の形態では、合成用画像２２の露光時間を単位露光時間ｔのｎ倍または２ⁿ 倍（ｎは共に０以上の整数）としたが、合成用画像相互の関係はそのほかの関数で表されるものであってもよい。例えば、各合成用画像の露光時間を、単位露光時間ｔの３^k 倍（１，３，９，・・・）などのｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）としてもよい。この場合には、２ⁿ 倍の場合と同じく合成への適用範囲（上限値と下限値）が全ての合成用画像で一致するために、合成手法として取り扱いやすい。

撮像期間の設定については、ここでは、合成用画像２２に共有される撮像期間を最後に撮像された単位画像２１の撮像期間であるようにしたが、本発明の合成用画像は、その撮像期間の少なくとも一部が重複していればよいので、例えば、図７に示したように共有期間を全撮像期間の最初に設定してもよい。また、図８に示したように、共有期間を全撮像期間の中央に設定してもよい。この場合には、合成用画像間の時間差をほとんど考慮する必要がなくなり、撮像対象の経時的な位置ずれを軽減する効果が高い。さらに、図９に示したように、合成用画像が互いのうちいずれかに対し撮像期間が部分的に重複するようにしてもよい。

次に、本発明の具体的な実施例について説明する。なお、以下の実施例では、固体撮像装置全体の構成、作用動作は、基本的に実施の形態と同様である。

図１０は、本発明の実施例に係るデータ信号の入射光量に対する特性図であり、（Ａ）が合成前、（Ｂ）が合成後である。本実施例では、単位露光時間ｔで単位画像を順次撮像し、これら単位画像から、少なくとも１枚の単位画像に相当する撮像期間を共有すると共に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔ，１６ｔであるような５枚の合成用画像を生成した。

次に、これら合成用画像を合成するが、実施の形態のように画像データをそのままの値で用いると、特に合成後のデータ長が大きくなってしまい、画像メモリ内に大きな領域が必要になる。そこで、合成後のデータ信号特性が図７（Ｂ）のように正規化されたかたちで得られるように、各合成用画像の画像データを予め一定の比率で縮小し、これらを用いて合成を行った。図７（Ｂ）の実線部分が、合成後のデータ信号特性である。同図から、ダイナミックレンジが１６倍に拡張されていることが確認できる。

なお、合成後の画像データの特性は折れ線となるため、対数曲線に補正する処理が有効である。ここでは、補正後の曲線を図７（Ｂ）に点線で示している。この曲線は、
（データ信号値）＝log ｛５０×（入射光量）＋１｝｝／log ５１
で表される対数曲線である。これにより、合成後のデータ信号特性を平滑化することができ、画質改善の効果が期待される。なお、一般的に知られていることとして、人間は、目に入ってくる光量を対数的特性でもって処理し、明るさとして感じているので、対数補正は、合成画像を生理的な見え方に近いものにするということができる。

なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、単位画像２１は全て単位露光時間ｔで撮像されるようにしたが、各単位画像の露光時間は任意に選ぶことができ、同一の値でなくともよい。ただし、実施の形態のように、単位画像の露光時間を一定としておくと、合成用画像の露光時間が、加算する単位画像の数に比例するために制御しやすくなる。

また、単位画像の撮像条件および合成用画像の生成に用いる単位画像の選び方は、固定条件として予め定めておいてよいが、被写体の状況に応じて変化させるようにすることも可能である。

さらに、上記実施の形態では、後段処理回路１５におけるデータ処理により合成用画像２２を生成するものとしたが、予め加算する単位画像がわかっている場合には、前段処理回路において、入力信号を画像データに変換するなり演算処理を行い、所定の単位画像が加算された時点で、その値を合成用画像として画像メモリに格納してゆく方法をとることも可能である。

本発明の一実施の形態に係る固体撮像装置の構成を示すブロック図である。 図１に示した固体撮像装置における合成用画像の生成手順を説明するための概念図である。 図１に示した固体撮像装置において生成される合成用画像と単位画像との撮像期間および露光時間における関係を示すタイムチャートである。 図１に示した固体撮像装置にて生成される合成用画像のデータ信号の特性図である。 図１に示した固体撮像装置にて生成される合成用画像の具体例と単位画像との撮像期間および露光時間における関係を示すタイムチャートである。 図５に示した合成用画像を用いた画像の合成方法を説明するための図であり、（Ａ）は合成前の特性図、（Ｂ）は合成後の特性図である。 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第１の変形例を示すタイムチャートである。 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第２の変形例を示すタイムチャートである。 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第３の変形例を示すタイムチャートである。 本発明の実施例に係る固体撮像装置における画像の合成方法を説明するための図であり、（Ａ）は合成前の特性図、（Ｂ）は合成後の特性図である。 従来の固体撮像装置における画像合成方法を説明するためのタイムチャートである。

符号の説明

１１…光学系、１２…撮像素子、１３…カメラ信号前段処理回路、１４…画像メモリ、１５…カメラ信号後段処理回路、１６…駆動回路、１７…ＡＥ制御部、２１…単位画像、２２，２２Ａ〜２２Ｄ…合成用画像、２３…合成画像、４１，４２，４３…合成用画像のデータ信号特性、Ｓv…電圧信号、ｔ…単位露光時間、Ｄu…単位画像の画像データ、Ｄs…合成用画像の画像データ、Ｄw…合成画像の画像データ、ＬＡ〜ＬＤ…入射光量の範囲。

Claims (19)

1. 所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成する撮像手段と、
   前記単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成する合成用画像生成手段と、
   前記合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成する合成手段と
   を備え、
   前記合成用画像生成手段は、前記合成用画像の全てを、撮像期間に共通の重複部分があるように生成し、
   前記共通の重複部分は、撮像順が中央に位置する単位画像を含む
   ことを特徴とする固体撮像装置。
2. 前記合成用画像生成手段は、前記合成用画像を３枚以上生成する
   ことを特徴とする請求項１記載の固体撮像装置。
3. 前記単位画像を全て同一の所定露光時間で撮像する
   ことを特徴とする請求項１記載の固体撮像装置。
4. 前記合成用画像の各々の露光時間を、前記所定露光時間のｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）とする
   ことを特徴とする請求項３記載の固体撮像装置。
5. 前記合成用画像の各々の露光時間を、前記所定露光時間の２^k 倍（ｋは変数であり０以上の整数）とする
   ことを特徴とする請求項４記載の固体撮像装置。
6. 前記合成手段は、前記合成用画像の各々から、設定上限値より小さく、露光時間が最も長い画像に属する信号を画素ごとに抽出し、合成に用いる
   ことを特徴とする請求項１記載の固体撮像装置。
7. 前記合成用画像のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の信号値は、同じ画像における信号下限値からの自身の変位に、前記合成用画像のうちの露光時間が１番長いものからｍ−１番目に長いものまでの各々における信号の下限値から設定上限値までの変位を全て積算した値に変換され、合成に用いられる
   ことを特徴とする請求項６記載の固体撮像装置。
8. 前記画像信号の設定上限値は、入射光量に対する飽和点での信号値である
   ことを特徴とする請求項６記載の固体撮像装置。
9. 前記合成手段は、前記合成用画像を合成する前に、前記合成画像のダイナミックレンジが正規化されたものとなるように前記合成用画像の各々の画像信号を縮小する
   ことを特徴とする請求項６記載の固体撮像装置。
10. 前記撮像手段としてＣＣＤセンサまたはＣＭＯＳセンサが用いられている
    ことを特徴とする請求項１記載の固体撮像装置。
11. 被写体を撮像して得られる画像の画質補正を行う撮像方法であって、
    所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、
    前記単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、
    さらに、前記合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成すると共に、
    前記合成用画像の全てを、撮像期間に共通の重複部分を有するように生成し、
    前記共通の重複部分は、撮像順が中央に位置する単位画像を含む
    ことを特徴とする撮像方法。
12. 前記合成用画像を３枚以上生成する
    ことを特徴とする請求項１１記載の撮像方法。
13. 前記単位画像を全て同一の所定露光時間で撮像する
    ことを特徴とする請求項１１記載の撮像方法。
14. 前記合成用画像の各々の露光時間を、前記所定露光時間のｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）とする
    ことを特徴とする請求項１３記載の撮像方法。
15. 前記合成用画像の各々の露光時間を、前記所定露光時間の２^k 倍（ｋは変数であり０以上の整数）とする
    ことを特徴とする請求項１４記載の撮像方法。
16. 前記合成用画像の各々から、設定上限値より小さく、露光時間が最も長い画像に属する信号を画素ごとに抽出し、合成に用いる
    ことを特徴とする請求項１１記載の撮像方法。
17. 前記合成用画像のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の信号値を、同じ画像における信号下限値からの自身の変位に、前記合成用画像のうちの露光時間が１番長いものからｍ−１番目に長いものまでの各々における信号の下限値から設定上限値までの変位を全て積算した値に変換して、合成に用いる
    ことを特徴とする請求項１６記載の撮像方法。
18. 前記画像信号の設定上限値を、入射光量に対する飽和点での信号値とする
    ことを特徴とする請求項１６記載の撮像方法。
19. 前記合成用画像を合成する前に、前記合成画像のダイナミックレンジが正規化されたものとなるように前記合成用画像の各々の画像信号を縮小する
    ことを特徴とする請求項１６記載の撮像方法。

Images