JP2004357335A - 固体撮像装置 - Google Patents

Abstract

【課題】従来のダイナミックレンジ拡大カメラでは複数枚の撮像素子や全画素読み出しＣＣＤを必要とし、装置が高価になってしまうという問題があった。
【解決手段】フィールド読み出しモードとフレーム読み出しモードの２つの読み出しモードで信号を読み出すことが可能なインタラインＣＣＤ３（ＩＴ−ＣＣＤ）を用い、ＣＣＤ３の露光及び信号読み出しモードをシステム制御手段１１にて制御し、短時間露光信号（Ｓｈｏｒｔ信号）はフィールド読み出し、長時間露光信号（Ｌｏｎｇ信号）はフレーム読み出しにより画像を取得し、これら２つの画像を信号合成手段７で合成することによりダイナミックレンジを拡大する。
【選択図】図１

Description

本発明は、撮影画像のダイナミックレンジ拡大が可能な固体撮像装置に関するものである。

従来から、露光量の異なる２つの画像信号を合成してダイナミックレンジの広い映像信号を得るための固体撮像装置としては、例えば、特許文献１及び特許文献２で開示されているものがある。

特許文献１においては、露光時間を変えて撮影した連続する２枚のフィールド画像をそれぞれレベルシフトさせた後、１フレームの画像に合成することでダイナミックレンジの広い画像を得ることが可能なデジタルスチルカメラが開示されている。

また、特許文献２においては、複数のＣＣＤから得られる露光時間の異なった複数のフレーム画像をそれぞれレベルシフトさせた後、１フレームの画像に合成することでダイナミックレンジの広い画像を得ることが可能なデジタルスチルカメラが開示されている。

他にも、１フィールド期間内に長時間露光信号と短時間露光信号を読み出し可能な特殊なＣＣＤを用いてダイナミックレンジを拡大したビデオカメラの例が知られている（非特許文献１）。
特開平９−２１４８２９号公報 特開平９−２７５５２７号公報 映像メディア学会技術報告Vol.22,No.3,pp1〜6（1998）"単板Hyper-Dカラーカメラ信号処理方式の開発"

しかしながら、例えば特許文献１にて開示されているデジタルスチルカメラにおいては、露光時間を変えて撮影した連続する２枚のフィールド画像を合成するため、合成後の画像は１フィールド分の画像解像度、つまりＣＣＤの画素数の半分の解像度しか得られず、撮影画像の解像度不足が懸念される。

これに対し、特許文献２にて開示されているデジタルスチルカメラにおいては、複数のＣＣＤにより撮影された露光時間の異なる画像信号を合成するために、合成後の画像は１フレーム分の画像解像度、つまりＣＣＤの画素数分の解像度が得られるが、ＣＣＤが複数個必要となり撮像装置のサイズ、コストの面で不利となる。

また、非特許文献１で報告済みの撮像装置の場合は撮影画像のダイナミックレンジ拡大には特殊なＣＣＤが必要となる。
本発明は以上の問題に鑑みてなされたものであり、民生用固体撮像装置に一般的に用いられる固体撮像素子を１個用いることで安価で、且つＣＣＤの画素数並みの画像解像度でダイナミックレンジを拡大した画像を撮影可能な固体撮像装置を提供することを目的とする。

このような課題を解決するために本願の請求項１記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷を第１の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とするものである。

本願の請求項２記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷の一部のみを第１の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とするものである。

本願の請求項３記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷を第１の読み出し制御パルスの印加後にフィールド読み出しにより前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とするものである。

本発明によれば、固体撮像素子の露光及び信号読み出しモードを制御し、１フィールド分の短時間露光信号と１フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちながらもダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているＩＴ−ＣＣＤが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。

（実施の形態１）
図１は、本発明の実施の形態１における固体撮像装置のブロック図である。同図において、１は光学レンズ、２は光学絞りと兼用の機械シャッター、３は固体撮像素子であり、本実施の形態１においては民生用固体撮像装置で一般に用いられているインタライン転送ＣＣＤ（ＩＴ−ＣＣＤ）であるとする。４は相関二重サンプリング回路と自動利得制御（ＡＧＣ）回路から構成されるアナログ信号処理手段、５はＡ／Ｄ変換手段、６はＡ／Ｄ変換手段５によりデジタル信号に変換された画像信号を記憶する画像メモリである。７は画像メモリ６から読み出される２系統の画像信号を合成する信号合成手段である。

信号合成手段７で得られた信号はデジタル信号処理手段８において、輝度信号と色信号の分離、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。また機械シャッター駆動制御手段９は機械シャッター２の開閉の制御を行う手段であり、固体撮像素子駆動制御手段１０は固体撮像素子３の露光制御や信号読み出しのモード、タイミング等を制御する手段である。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段１１により統合的に制御されるものとする。

図２(a)、(b)、(c)、(d)は、固体撮像素子３の動作、構成を説明するための模式図である。なお本発明の実施の形態１において固体撮像素子３は、フィールド読み出しモードとフレーム読み出しモードの２つの読み出しモードで信号を読み出すことが可能なインタライン転送ＣＣＤ（ＩＴ−ＣＣＤ）であり、説明の便宜上、図２のような垂直４画素、水平２画素のいわゆる４×２画素の構成で説明する。

図２(a)、(b)は、ＩＴ−ＣＣＤにおけるフィールド読み出しモードを説明するための図である。図２(a)において、ホトダイオードは光電変換により光の強さに応じた信号電荷が蓄積される部分であり、一定時間の後、印加される制御パルスによってこの蓄積された電荷は垂直転送ＣＣＤに移動する。このとき隣接する上下２つのホトダイオードの電荷が垂直転送ＣＣＤ上で混合され、水平転送ＣＣＤを介して外部に出力される。以上が第１フィールドの読み出し動作である。

第２フィールドは、図２(b)に示すように、垂直転送ＣＣＤ上で混合されるホトダイオードのペアが第１フィールドの場合比べ垂直方向に１画素ずれる。これにより２フィールド分の信号読み出しにより、インタレース方式の１フレームに相当する画像信号を読み出すことができる。

次に、図２(c)、(d)を用いてフレーム読み出しモードについて説明する。フレーム読み出しモードではまず第１フィールドにおいて（図２(c)）、垂直方向に１画素飛ばしでホトダイオードに蓄積された電荷が垂直転送ＣＣＤに転送され、これが水平転送ＣＣＤを介して外部に出力される。そして第２フィールドにおいて（図２(d)）は、第１フィールドで垂直転送ＣＣＤに転送されなかったホトダイオードの電荷が垂直転送ＣＣＤに転送され、これが水平転送ＣＣＤを介して外部に出力される。このようにフレーム読み出しモードではホトダイオード上の電荷が垂直転送ＣＣＤで混合されることなく、外部に出力される。これにより２フィールド分の信号読み出しにより、インタレース方式の１フレームに相当する画像信号を読み出すことができる。

図３は、固体撮像素子３上に形成される補色市松タイプのカラーフィルター配列図である。図３中、Ｍｇはマゼンタ、Ｇはグリーン、Ｙｅはイエロー、Ｃｙはシアンの各色を表す。図３に示す通りフォトダイオード１画素に対し１色のカラーフィルターが対応している。

図４は、信号合成手段７の構成例を示すブロック図である。同図において７０１は画像メモリ６から出力される画像信号の２水平走査ライン分の画像信号を加算する２ライン加算手段である（なお以下、水平走査ラインに相当する画像信号を単に水平ラインもしくは水平ライン信号と称す）。７０２は画像メモリ６から出力される画像信号に対し垂直方向の補間処理を施す補間手段である。重み付け加算手段７０３は２水平ライン加算手段７０１と補間手段７０２の出力を重み付け加算する手段である。

図５は、２水平ライン加算手段７０１の構成例を示すブロック図である。同図において７０１０１は１ラインメモリであり画像メモリ６から出力された画像信号の１ライン分を１水平同期期間だけ遅延させる手段である。７０１０２は加算器であり、１ラインメモリ７０１０１において遅延させられた水平ライン信号と、２水平ライン加算手段７０１に入力する水平ライン信号とがこの加算器７０１０２において加算されることで隣接する上下２ラインの加算が行われる。

図６は、補間手段７０２の構成を示すブロック図である。同図において７０２０１、７０２０２は１ラインメモリであり画像メモリ６から出力された画像信号の１ライン分を１水平同期期間だけ遅延させる手段である。７０２０３、７０２０４はアンプ手段であり、画像メモリ６からの入力信号及び１ラインメモリ７０２０２の出力信号に対し一定のゲインを乗算する。７０２０５は加算器であり、アンプ手段７０２０３、７０２０４でゲインを乗算された信号を加算する。

図７は重み付け加算手段７０３の構成を示すブロック図である。同図において７０３０１は合成係数発生手段であり、ここで２水平ライン加算手段７０１を経た信号の画素毎の信号レベルに応じてある係数ｋ（１≧ｋ≧０）を発生し、ｋ及び１−ｋなる値を乗算器７０３０２、７０３０３に与える。乗算器７０３０２、７０３０３はｋ及び１−ｋを補間手段７０２を経た信号及び２水平ライン加算手段７０１を経た信号に乗算し、この結果は加算器７０３０４にて加算され出力される。

以上のように構成された本発明の実施の形態１の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態１においては、短時間露光信号（以下これをshort信号と称す）と長時間露光信号（以下これをlong信号と称す）の２つの画像を撮影し、これを合成することでダイナミックレンジを拡大した画像を撮影することを特徴とする。このようなダイナミックレンジ拡大の原理を図８を用いて説明する。図８(a)、(b)は露光時の被写体の明るさ（固体撮像素子への入射光量）と固体撮像素子から出力される信号量の関係を示すものである。図８(a)に示すように長時間露光時は入射光により固体撮像素子のホトダイオード上に発生する電荷量が大きく、当然のことながら出力される信号量も大きくなる。しかしホトダイオードに蓄積される電荷量には上限が存在し、この上限を超えると飽和、つまり信号がつぶれてしまう現象が発生し、被写体像を正確に再現することができない。逆に図８(b)に示すように露光時間を短く設定すれば飽和を回避することは可能であるが、今度は被写体内の低輝度部分のＳ／Ｎが劣化する。そこで長時間露光により得られた信号（long信号）と短時間露光で得られた信号（short信号）を用いて、低輝度部はlong信号、高輝度部はshort信号からなる画像を合成すれば、被写体の低輝度部から高輝度部までを再現でき、撮像装置のダイナミックレンジを拡大することが可能となる。この際に、short信号にはlong信号との露光量の比（露光時間の比）に相当するゲインを乗じた後（図８(c)）に合成を行えば図８(d)に示すように露光量の比に応じたダイナミックレンジの拡大が実現できる。例えばlong信号とshort信号の露光量比（露光時間比）が１：Dの場合、ダイナミックレンジはD倍に拡大可能である。
以下、上記の原理に従って撮影画像のダイナミックレンジを拡大可能な撮像装置の具体例に関し説明する。
まず、short信号とlong信号の撮影方法に関し図９を用いて説明する。図９は固体撮像素子３における被写体像の露光及び露光した信号の読み出しに関するタイミングチャートである。同図において(a)は垂直方向の同期信号、(b)は固体撮像素子３のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルス、(c)は機械シャッター２の開閉状態、(d)は固体撮像素子３のホトダイオード上の露光信号、(e)は固体撮像素子３から出力される信号を示す。
short信号の露光時は、機械シャッター２を開放状態にし、電子シャッター機能を用いて必要な露光時間、例えば1／1000秒間露光を行う。1／1000秒の露光が終了した後、読み出し制御パルスによりホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動させる。このとき固体撮像素子３はフィールド読み出しモードで駆動するものとし、図２(a)で説明したようにホトダイオード上の蓄積電荷を垂直転送ＣＣＤ上で混合し、外部に読み出す。この際読み出す画像信号は第１フィールド分の信号のみとする。図１０にフィールド読み出しモードで読み出されたshort信号を示す。なお固体撮像素子３の垂直方向のホトダイオードの数はN個（説明の便宜上、Nは偶数とするがこれに限るものではない。）とする。図１０に示すように読み出されたshort信号はYe、Cy、G、Mgの４色の信号がそれぞれ加算されたYe+Mg、Cy+G、Ye+G、Cy+Mgの４種類の信号となる。またその垂直方向のライン数はホトダイオードの垂直方向の個数Nの1／2となる。
次に、short信号を読み出している間に、long信号の露光を行う。long信号の露光期間は例えば1／100秒とする。long信号の露光時間は機械シャッター２の開閉で制御するものとし、long信号の露光開始後1／100秒後に機械シャッター２を閉じ露光を完了する。このように機械シャッター２を閉じることで、長時間露光したその信号は読み出し中に余分に露光されることがない。
long信号の露光が完了すると読み出し制御パルスによりホトダイオード上の蓄積電荷は垂直転送ＣＣＤに転送される。このとき固体撮像素子３はフレーム読み出しモードで駆動するものとし、図２(c)で説明したように垂直方向の奇数ラインに相当するホトダイオードの電荷を第１フィールド分だけ読み出しを行う。第１フィールドの信号読み出し終了後に、今度は垂直方向の偶数ラインに相当するホトダイオードの電荷を読み出し（第２フィールド）、これによってlong信号は１フレームに相当する信号を固体撮像素子３から読み出す。なお、図９(a)に示した垂直同期信号の周期は例えば1／100秒とし、固体撮像素子３からの１フィールド分の信号読み出しは、垂直同期信号の１周期内で完了するものとする。図１１にフレーム読み出しモードで読み出されたlong信号を示す。図１１に示すように読み出されたlong信号は第１フィールドはYe、Cyの２色の信号となり、第２フィールドはG、Mgの２色の信号となる。またその垂直方向のライン数は各フィールドでホトダイオードの垂直方向の個数Nの1／2であり、２つのフィールドを合わせると１フレームに相当するNラインの信号となる。
以上のような露光及び信号読み出しを行うことで、露光時間の異なる２つの信号、つまり１フィールド画像であるshort信号と１フレーム画像であるlong信号を得ることが可能である。なお、short信号は水平ライン数がlong信号の１/２であるため、short信号はlong信号に比べ画素数の少ない信号となっている。
次に、固体撮像素子３で得られた露光時間の異なる２つの信号は、アナログ信号処理手段４を経てＡ／D変換手段５によりデジタル信号に変換され画像メモリ６に一旦記憶される。
画像メモリ６からはlong信号とshort信号が読み出される。なお、画像メモリ６からlong信号を読み出す際、long信号は第１フィールドの１ライン目、第２フィールドの１ライン目、第１フィールドの２ライン目、というように１フレーム画像としてみた場合の先頭ラインから順に読み出されることとする。画像メモリ６から読み出されたlong信号は２水平ライン加算手段７０１に送られる。２水平ライン加算手段７０１においては、フレーム信号としてみた場合に隣接する上下２ラインのlong信号が加算混合される。これはlong信号とshort信号を合成する際に、２つの信号の信号形式が異なると合成ができないためであり、よってlong信号に対しては２水平ライン加算手段７０１により、固体撮像素子３の垂直転送ＣＣＤ上での画素混合と同一の処理を施し、short信号に対しては補間手段７０２により１フィールド画像を１フレーム画像に変換する。
図１２(a)に２水平ライン加算手段７０１において隣接する上下２ラインの信号が加算混合された後のlong信号を、図１２(b)に補間処理前のshort信号を、図１２(c)に補間処理後のshort信号を示す。図１２(a)と(c)に示すように、long信号に対する２水平ライン加算処理及びshort信号に対する補間処理によって、long信号とshort信号の信号形式が合致する。
補間手段７０２では、図１２(b)に示すフィールド画像を補間処理により同図(c)に示すフレーム画像に変換するが、その方法について以下に説明する。
例えば図１２(b)における第２ラインと第３ラインの間の水平ライン信号を補間処理により求める場合、Ye+G、Cy+Mgの信号からなる水平ライン信号をつくる必要がある。このとき最も近傍のYe+G、Cy+Mgの信号からなるラインは第２ラインと第４ラインであるため、この両者から補間処理により第２ラインと第３ラインの間のラインを求める。但し補間処理により水平ライン信号を求める位置と、第２ライン、第４ラインとの空間的距離は等距離ではないため、その距離に応じて重み付けが必要となる。そこで補間手段７０２においては、連続して入力される３ラインの水平ライン信号のうち中心を除く上下両端のラインが乗算器７０２０３、７０２０４に入力される構成であるため、この乗算器７０２０３、７０２０４で乗じる数をそれぞれ１／４、３／４として重み付けし、その乗算結果を加算器７０２０５にて加算すればよい。
なお、乗算器７０２０３、７０２０４にて乗算される数は、補間処理により水平ライン信号を求める位置と、第２ライン、第４ラインとの空間的距離の比が１：３であることから決定する。
同様に、第３ラインと第４ラインの間の水平ライン信号を補間処理により求める場合、Ye+Mg、Cy+Gの信号からなる水平ライン信号をつくる必要がり、このとき最も近傍のYe+Mg、Cy+Gの信号からなるラインは第３ラインと第５ラインであるため、この両者との距離の比に応じた重み付けを行い、補間処理により第３ラインと第４ラインの間のラインを求めることができる。

以上の処理により、１フレーム分のlong信号と、１フィールド分のshort信号から補間処理を経て得られた１フレームに相当する信号が生成される。

これらlong信号とshort信号を合成し、ダイナミックレンジを拡大した信号を合成する手段が、重み付け加算手段７０３である。重み付け加算手段７０３においては図７に示した合成係数発生手段７０３０１によりlong信号の画素毎の信号レベルに応じた合成係数ｋを求め、この合成係数ｋに応じて１画素単位でlong信号と、画面上の同じ空間位置に存在する補間処理により１フレーム画像となったshort信号とを合成する。

図１３は合成係数発生手段７０３０１におけるlong信号の信号レベルから画素ごとに合成係数ｋを求める方法の一例である。図１３に示すように、long信号レベルに対し２つの閾値Th_minとTh_maxを設定し、long信号レベルが（数１）の場合、つまりlong信号の信号レベルがTh_min以下で飽和の可能性がない場合は合成係数ｋを０とし、longレベルが（数２）の場合、つまりlong信号レベルがTh_max以上で固体撮像素子の出力が飽和レベルに近いような場合、合成係数ｋを１とする。なお閾値Th_max、Th_minは使用する固体撮像素子の飽和特性やS/Nに応じて適宜決定する。

また、long信号レベルが（数３）の場合、つまりlong信号レベルが中間である場合には、図１３に示すように合成係数ｋは（数４）の１次式で決定する。

以上のように求められた合成係数ｋを用いて、long信号とshort信号は画素毎に（数５）により合成される。long信号とshort信号を合成した信号を合成信号とする。

例えば、図１４に示すlong信号(Ye+Mg)L11と、この(Ye+Mg)L11と空間的位置が同じであるshort信号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、long信号から決定される合成係数をk11とすると（数６）により合成が行われる。

合成信号の他の画素も（数６）と同様に、同じ空間的位置に存在するlong信号とshort信号から求められる。

なお、（数５）及び（数６）においてshort信号に乗算される定数Dは、long信号とshort信号の露光量の比（露光時間の比）であり、例えばlong信号の露光量（露光時間）をTL、short信号の露光量（露光時間）をTSとすると、Dは（数７）で求められる。

このようにlong信号とshort信号を用いて、long信号の信号レベルが閾値Th_min以下の部分はlong信号、同信号レベルが閾値Th_max以上つまり固体撮像素子３の出力が飽和するに近い部分（撮影画像の輝度が高く、普通ならば信号がつぶれるような部分）はshort信号、その中間の明るさの部分はlong信号とshort信号を重み付け加算した信号からなる合成信号を合成することで、撮影した画像信号のダイナミックレンジを拡大することが可能である。

但し、ダイナミックレンジ拡大がなされた合成信号のうち、long信号からなる部分は本来１フレームの画像信号であるため画像解像度が高い。これに対してshort信号からなる部分は１フィールドの画像信号から合成されるため、long信号からなる部分に比べ画像解像度は低い。しかし一般に、画面全体の信号レベルが飽和に近くなるような撮影条件はまれであり、そのような条件下でも、光学絞りを絞りこむなどして入射光量を制限するため画面全体の信号レベルが飽和に近いレベルとなることはなく、撮影画像の大半をshort信号からなる部分が占めることは実使用上あまり起こりえない。また、限られた階調で画像を表現する場合、高輝度部つまり信号レベルが高い部分は低・中輝度部に比べ、少なめに階調が割り当てられることが多い。このためshort信号からなる部分の解像度劣化はさほど目立たず、上記のような方法でlong信号とshort信号を合成してもＣＣＤの画素数並みの解像度の合成画像が得られると考えられる。

以上の通り、信号合成手段７において合成された合成信号は、デジタル信号処理手段８において輝度と色信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。デジタル信号処理手段８における信号処理に関しては本願発明の目的と直接は関係がないため詳細な説明は省略する。

以上のように、本発明の実施の形態１の固体撮像装置においては、固体撮像素子３の露光及び信号読み出しモードを制御し、１フィールド分の短時間露光信号と１フレーム分の長時間露光信号を撮影しこれらを合成することで、ＣＣＤの画素数並みの解像度を持ちながらダイナミックレンジも拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているＩＴ−ＣＣＤが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。

（実施の形態２）本発明の実施の形態２における固体撮像装置は、図１に示した本発明の実施の形態１に対し、重み付け加算手段（本実施の形態２では７０４と付番し区別する）の構成及び同手段でなされる処理が異なる。以下、本発明の実施の形態１と同様の処理内容部分に関しては説明は省略し、本発明の実施の形態１と異なる部分のみ説明する。

図１５は、本発明の実施の形態２における重み付け加算手段７０４のブロック図である。同図において７０４０１は２水平ライン加算手段７０１を経たlong信号から輝度信号成分を抽出する輝度信号抽出手段である。７０４０２は合成係数発生手段であり、ここで輝度信号抽出手段７０４０１を経たlong信号の輝度成分の輝度信号レベルに応じてある係数ｋ（１≧ｋ≧０）を発生し、ｋ及び１−ｋなる値を乗算器７０４０３、７０４０４に与える。乗算器７０４０３、７０４０４はｋ及び１−ｋを補間手段７０２を経たshort信号及び２水平ライン加算手段７０１を経たlong信号に乗算し、この結果は加算器７０４０５にて加算され出力される。

図１６は輝度信号抽出手段７０４０１の構成例を示すブロック図である。同図において７０４０１１は入力信号を１画素分の期間だけ遅延させる手段である。７０４０１２は加算器であり、1画素遅延手段７０４０１１において遅延された画素信号と輝度信号抽出手段７０４０１に入力された画素信号を、この加算器７０４０１２において加算することで水平方向に隣接する２画素の加算が行われ信号の低域成分のみを抽出する。輝度信号抽出手段７０４０１により抽出される信号の低域成分はすなわち画像信号の輝度信号に相当する。

以上のように構成された本発明の実施の形態２の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態１と異なり、本発明の実施の形態２においてはlong信号とshort信号を合成する際に使用する合成係数をlong信号から抽出した輝度信号の信号レベルをもとに決定する。
そのためlong信号から輝度信号を抽出する手段である輝度信号抽出手段７０４０１を重み付け加算手段７０４内に有する。

輝度信号抽出手段７０４０１においては、２水平ライン加算手段７０１の出力のうち水平方向に隣り合う２画素の信号を順次加算することで以下の（数８）に基づきlong信号の輝度成分（以下これをlong輝度信号と称す）を抽出する。

例えば、図１７に示すlong信号（Ye+Mg）L11とlong信号（Cy+G）L12とからlong輝度信号YL11を求める場合、（Ye+Mg）L11と（Cy+G）L12を加算することになる。同様にlong輝度信号YL12を求める場合は、（Cy+G）L12と（Ye+Mg）L13を加算する。
long信号から抽出した輝度信号（long輝度信号）をもとに合成係数を決定する方法を以下に説明する。

図１８は合成係数発生手段７０４０２におけるlong輝度信号の信号レベルから画素ごとに合成係数ｋを求める方法の一例である。図１８に示すように、long輝度信号レベルに対し２つの閾値Th_min’とTh_max’を設定し、long輝度信号レベルが（数９）の場合、つまり被写体の輝度レベルがTh_min’以下の低輝度の場合は合成係数ｋを０とし、long輝度信号レベルが（数１０）の場合、つまり被写体の輝度レベルがTh_max’以上の高輝度の場合、合成係数ｋを１とする。なお閾値Th_max’、Th_min’は使用する固体撮像素子の飽和特性やS/Nに応じて適宜決定する。

また、long輝度信号レベルが（数１１）の場合、つまり輝度が低輝度と高輝度の中間である場合には、図１８に示すように合成係数ｋは（数１２）の１次式で決定する。

以上のように求められた合成係数ｋを用いて、long信号とshort信号は画素毎に（数５）により合成される。long信号とshort信号を合成した信号を合成信号とする。

例えば、図１９に示すlong信号(Ye+Mg)L11と、この(Ye+Mg)L11と空間的位置が同じであるshort信号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、これら２つの信号と空間的位置が同じであるlong輝度信号YL11から決定される合成係数（これをky11とする）をもとに（数１３）により合成が行われる。

合成信号の他の画素も（数１３）と同様に、同じ空間的位置に存在するlong信号とshort信号から求められる。

なお、（数１３）においてshort信号に乗算される定数Dは、本発明の実施の形態１と同様にlong信号とshort信号の露光量の比（露光時間の比）であり、（数７）で求められる。

このようにlong信号とshort信号を用いて、低輝度部はlong信号、高輝度部はshort信号、低輝度部と高輝度部の中間の輝度の部分はlong信号とshort信号を重み付け加算した信号からなる合成信号を合成することで、撮影した画像信号のダイナミックレンジを拡大することが可能である。
また、輝度信号はlong信号から抽出される低周波成分といえるため、この輝度信号をもとに合成係数を求める場合、合成係数決定に対しlong信号中のノイズ成分が及ぼす影響を低減することができる。

以上のように、本発明の実施の形態２の固体撮像装置においても、固体撮像素子３の露光及び信号読み出しモードを制御し、１フィールド分の短時間露光信号と１フレーム分の長時間露光信号を撮影しこれらを合成することで、ＣＣＤの画素数並みの解像度を持ちつつダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているＩＴ−ＣＣＤが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。

（実施の形態３）
図２０は、本発明の実施の形態３における固体撮像装置のブロック図である。同図において、光学レンズ１、光学絞りと兼用の機械シャッター２、固体撮像素子３、アナログ信号処理手段４、Ａ／Ｄ変換手段５、画像メモリ６、シャッター駆動手段９、固体撮像素子駆動手段１０、２水平ライン加算手段７０１、輝度信号抽出手段７０４０１、補間手段７０２の機能、動作は本発明の実施の形態１及び実施の形態２と同様であるため、図１から図１９と同一の番号を付して説明は省略する。

図２０に示したブロック図において、上記以外の構成要素に関して説明すると、１２は輝度信号抽出手段７０４０１の出力に対し垂直方向の補間処理を施す輝度信号補間手段であり、輝度信号合成手段１３は輝度信号抽出手段７０４０１と輝度信号補間手段１２の出力を合成する手段である。なお、輝度信号補間手段１２に入力される輝度信号はshort信号から抽出された輝度信号であるためshort輝度信号と称し、long信号から抽出される輝度信号をlong輝度信号と称す。よって輝度信号抽出手段７０４０１から直接、輝度信号合成手段１３に入力される信号がlong輝度信号、輝度信号補間手段１２から輝度信号合成手段１３に入力される信号がshort輝度信号の補間処理後の信号となる。

また、信号合成手段１４は２ライン加算手段７０１と補間手段７０２の出力を合成する手段である。１ラインメモリ１５、１６、１７，１８は信号合成手段１４の出力を同時化する際に必要な１水平同期期間分の遅延手段であり、１ラインメモリ１５、１６、１７，１８の出力と信号合成手段１４の出力の合計５ラインの水平ライン信号から同じ空間位置にレッド（R）成分を持つ信号とブルー（B）成分を持つ信号を同時化手段１９で得る。

輝度信号合成手段１３で得られた輝度信号と、同時化手段１９で得られたレッド（R）成分を持つ信号とブルー（B）成分を持つ信号はデジタル信号処理手段２０において、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段２１により統合的に制御されるものとする。

図２１は輝度信号補間手段１２の構成を示すブロック図である。同図において１２０１は１ラインメモリであり輝度信号抽出手段７０４０１から出力された画像信号の１ライン分を１水平同期期間だけ遅延させる手段である。１２０２、１２０３はアンプ手段であり、それぞれ１２０１を経た信号及び輝度信号抽出手段７０４０１を経て輝度信号補間手段１２に入力された信号に対し一定のゲインを乗算する。１２０４は加算器であり、アンプ手段１２０２、１２０３でゲインを乗算された信号を加算する。

図２２は輝度信号合成手段１３の構成を示すブロック図である。同図において１３０１は合成係数発生手段であり、ここで輝度信号抽出手段７０４０１を経たlong輝度信号の画素毎の信号レベルに応じてある係数ｋ（１≧ｋ≧０）を発生し、ｋ及び１−ｋなる値を乗算器１３０２、１３０３に与える。乗算器１３０２、１３０３はｋ及び１−ｋをshort輝度信号及びlong輝度信号に乗算し、この結果は加算器１３０４にて加算され出力される。

図２３は信号合成手段１４の構成を示すブロック図である。同図において１４０１、１４０２は乗算器であり、輝度信号合成手段１３より供給される係数ｋ及び１−ｋをそれぞれshort信号及び２水平ライン加算後のlong信号に乗算する乗算器である。この乗算結果は加算器１４０３にて加算され出力される。

図２４は同時化手段１９の構成を示すブロック図である。同図において１９０１は入力される信号から３つの信号を選択し、出力A、出力B、出力Cに出力するセレクタ、１９０２、１９０３は出力B及び出力Cから出力される信号にある定数を乗算するアンプ手段であり、この乗算後の信号は加算器１９０４にて加算される。１９０５はセレクタ１９０１の出力Aと加算器１９０４の出力を出力D、出力Eに振り分けて出力するセレクタである。なお、セレクタ１９０１、１９０５による信号の出力先の選択は後述の通り、信号の色成分によって振り分けられることとする。

以上のように構成された本発明の実施の形態３の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態３においても、短時間露光信号（short信号）と長時間露光信号（long信号）の２つの画像を撮影し、これを合成することでダイナミックレンジを拡大した画像を撮影する点は本発明の実施の形態１及び２と同様である。しかし本発明の実施の形態３においては、輝度信号と、後に色信号として処理される信号とで個別に短時間露光信号（short信号）と長時間露光信号（long信号）の合成を行うことを特徴とする。
そのために本発明の実施の形態３においては本発明の実施の形態１の場合と同様に、画像メモリ６から読み出されたlong信号は、２水平ライン加算手段７０１においては、フレーム信号としてみた場合に隣接する上下２ラインのlong信号が加算混合される。これはshort信号が固体撮像素子３の垂直転送ＣＣＤ上で画素混合されているため、これにlong信号を合わせるための措置である。

輝度信号抽出手段７０４０１においては、本発明の実施の形態２と同様に２水平ライン加算手段７０１の出力のうち水平方向に隣り合う２画素の信号を順次加算することで（数８）に基づきlong信号の輝度成分（以下これをlong輝度信号と称す）を抽出する。

例えば、図１７に示すlong信号（Ye+Mg）L11とlong信号（Cy+G）L12とからlong輝度信号YL11を求める場合、（Ye+Mg）L11と（Cy+G）L12を加算することになる。同様にlong輝度信号YL12を求める場合は、（Cy+G）L12と（Ye+Mg）L13を加算する。

次に、画像メモリ６から読み出されるshort信号は、まず輝度信号抽出手段７０４０１においてlong信号の場合と同様に輝度信号が求められる。

図２５にlong輝度信号、図２６にshort輝度信号を示す。

図２６に示すようにshort信号は１フィールドの信号であったため、short輝度信号も当然１フィールドの輝度信号である。そこでこの１フィールドのshort輝度信号を１フレームの信号に変換し、long輝度信号と信号形式を同一とするための手段が、輝度信号補間手段１２である。

輝度信号補間手段１２は具体的には、図２１に示したアンプ手段１２０２、１２０３で乗算するゲインを０.５とすることで連続する２ラインの加算平均値を求めこれを補間信号とする。図２７に補間処理後のshort輝度信号を示す。

以上の処理により、１フレーム分のlong信号から得られた輝度信号（long輝度信号）と、１フィールド分のshort信号から補間処理を経て得られた１フレームに相当する輝度信号（short輝度信号）が生成される。このように１フィールドのshort信号から１フレームのshort輝度信号を合成した理由は、short信号とlong信号を合成してダイナミックレンジ拡大を図る際に、short信号が１フィールドの信号のままでは画像を構成する水平ラインが不足し、１フレームの信号であるlong信号と合成することができないためである。

これらlong輝度信号とshort輝度信号を合成し、ダイナミックレンジを拡大した輝度信号を合成する手段が、輝度信号合成手段１３である。輝度信号合成手段１３においては図２２に示した合成係数発生手段１３０１によりlong輝度信号の画素毎の信号レベルに応じた合成係数ｋを求め、この合成係数ｋに応じて１画素単位でlong輝度信号と、画面上の同じ空間位置に存在するshort輝度信号とを合成する。

long輝度信号の信号レベルから画素ごとに合成係数ｋを求める方法の一例としては、本発明の実施の形態２と同様の方法が考えられるため説明は省略する。

求められた合成係数ｋを用いて、long輝度信号とshort輝度信号は画素毎に（数１４）により合成される。long輝度信号とshort輝度信号を合成した信号を合成輝度信号とする。

例えば、図２８に示すlong輝度信号YL11と、このYL11と空間的位置が同じであるshort輝度信号YS11から合成輝度信号YM11を求める場合、long輝度信号（YL11）から決定される合成係数をk11とすると（数１５）により合成が行われる。

合成輝度信号の他の画素も（数１５）と同様に、同じ空間的位置に存在するlong輝度信号とshort輝度信号から求められる。

なお、（数１４）及び（数１５）においてshort輝度信号に乗算される定数Dは、long信号とshort信号の露光量の比（露光時間の比）であり（数７）で求められる。

このようにlong輝度信号とshort輝度信号を用いて、低輝度部はlong輝度信号、高輝度部はshort輝度信号、低輝度部と高輝度部の中間の輝度の部分はlong輝度信号とshort輝度信号を重み付け加算した信号からなる合成輝度信号を合成することで、撮影した画像の輝度信号のダイナミックレンジを拡大することが可能である。

但し、ダイナミックレンジ拡大がなされた輝度信号のうち、long輝度信号からなる部分は本来１フレームの画像信号であるため画像解像度が高い。これに対してshort輝度信号からなる部分は１フィールドの画像信号から合成されるため、long輝度信号からなる部分に比べ画像解像度は低い。しかし一般に、画面全体が高輝度となるような撮影条件下はまれであり、そのような条件下でも、光学絞りを絞りこむなどして入射光量を制限するため画面全体が高輝度となることはなく、撮影画像の大半をshort輝度信号からなる部分が占めることは実使用上あまり起こりえない。また、限られた階調で画像を表現する場合、高輝度部は低・中輝度部に比べ、少なめに階調が割り当てられることが多い。このためshort輝度信号からなる部分の解像度劣化はさほど目立たず、上記のような方法でlong輝度信号とshort輝度信号を合成してもＣＣＤの画素数並みの解像度の合成画像が得られると考えられる。

以上が輝度信号の合成によるダイナミックレンジ拡大に関する処理内容である。次に、色信号に関する処理について説明する。

画像メモリ６から読み出されたshort信号と、２水平ライン加算手段７０１において隣接する上下２ラインが加算されたlong信号は、色信号のダイナミックレンジ拡大のための合成処理を信号合成手段１４において施される。

なお、short信号は１フィールド信号であるため１フレーム信号であるlong信号と信号形式が異なる。よって本発明の実施の形態１と同様に、補間手段７０２によって１フィールド画像を１フレーム画像に変換する。
２水平ライン加算手段７０１において隣接する上下２ラインの信号が加算混合された後のlong信号及び補間手段７０２において補間処理されたshort信号は、図１２(a)、(c)示す通りであり、本発明の実施の形態１と同様にlong信号に対する２水平ライン加算処理及びshort信号に対する補間処理によって、long信号とshort信号の信号形式が合致している。

信号合成手段１４におけるlong信号とshort信号の合成は、本発明の実施の形態２と同様に、信号合成手段１４に入力されるlong信号及びshort信号と空間的に位置が一致しているlong輝度信号とshort輝度信号とが合成される際に使用される合成係数ｋ及び（数７）で求められるDにより画素毎に実施される。信号合成手段１４で合成された信号を合成信号と称す。

以上が色信号のダイナミックレンジ拡大のための合成処理である。

さて、信号合成手段１４で求められた合成信号は、Ye+Mg及びCy+Gの画素が水平方向に並ぶラインと、Ye+G及びCy+Mgの画素が水平方向に並ぶラインが垂直方向に２ライン周期で繰り返される構成のため、色の三原色であるレッド、グリーン、ブルーをそれぞれR、G、Bとすると、Ye+Mg及びCy+Gの画素が並ぶラインからは（数１６）によりR成分を持った２R−Gなる色信号が、Ye+G及びCy+Mgが並ぶラインからは（数１７）によりB成分を持った２B―Gなる色信号が得られる。

これはいわゆる色差線順次であり、１水平ライン信号に対して色信号はR成分を持った２R−G、もしくはB成分を持った２B―Gのどちらか一方しか得られない。そこで１水平ライン信号に対し、R成分とB成分の双方の成分を持った信号を得るために、ラインメモリ１５、１６、１７、１８及び同時化手段１９により同時化処理が施される。

ラインメモリ１５、１６、１７、１８及び同時化手段１９による同時化処理の具体的な内容を以下に説明する。同時化手段１９には信号合成手段１４及びラインメモリ１５、１６、１７、１８から連続する５ラインの水平ライン信号が入力される。信号合成手段１４で合成された信号を合成信号を図２９(a)とし、仮に同時化手段１９に入力される５ラインの信号が図２９(b)に示す第３ライン〜第７ラインの信号であったとする。このとき、同時化処理の対象は入力される５ラインの中心に位置する水平ライン信号であるとし、図２９(b)の第５ラインの水平ライン信号に対し同時化処理を行うとすると、第５ラインはR成分を持った２R−Gに対応する信号であるため、B成分を持った２B―Gは周辺の水平ライン信号から補間処理によりつくり出せばよい。そこで図２４に示す同時化手段１９においてはセレクタ１９０１は、第５ラインの信号を出力Aに、第３ライン及び第７ラインの２B−Gに対応する信号を出力B及び出力Cに出力する。アンプ手段１９０２、１９０３で乗算するゲインは0.5とし、この乗算結果を加算器１９０４で加算すれば第３ラインと第７ラインの加算平均結果が求められる。この加算平均結果とセレクタ１９０１の出力Aの出力である第５ラインの信号はセレクタ１９０５に入力され、ここで出力先が選択され、２R−Gに対応する第５ラインの水平ライン信号は出力Dに、２B−Gに対応する第３ラインと第７ラインの加算平均結果は出力Eに出力される。このような動作により第５ラインが存在する空間位置に、R成分を持った２R−Gに対応する信号とB成分を持った２B−Gに対応する信号を得ることができる。同様に、例えば同時化手段１９に第５ライン〜第９ラインの信号が入力され、第７ラインの水平ライン信号に対し同時化処理を行うとすると、第７ラインはB成分を持った２B−Gに対応する信号であるため、今度はR成分を持った２R―Gは周辺の水平ライン信号から補間処理によりつくり出せばよい。そこで図２４に示す同時化手段１９においてはセレクタ１９０１は、第７ラインの信号を出力Aに、第５ライン及び第９ラインの２R−Gに対応する信号を出力B及び出力Cに出力する。アンプ手段１９０２、１９０３で乗算するゲインは0.5とし、この乗算結果を加算器１９０４で加算すれば第５ラインと第９ラインの加算平均結果が求められる。この加算平均結果とセレクタ１９０１の出力Aの出力である第７ラインの信号はセレクタ１９０５に入力され、ここで出力先が選択され２B−Gに対応する第７ラインの水平ライン信号は出力Eに、２R−Gに対応する第５ラインと第９ラインの加算平均結果は出力Dに出力される。このような動作により第７ラインが存在する空間位置に、R成分を持った２R−Gに対応する信号とB成分を持った２B−Gに対応する信号を得ることができる。なお、同時化手段１９は入力信号に応じて上記のような処理が行われるよう、入出力信号の選択等が自動的もしくはシステム制御手段２１の制御により実施されるものとする。

以上の通り、輝度信号合成手段１３において合成された合成輝度信号及び同時化手段１９で得られたR成分を持った２R−Gに対応する信号とB成分を持った２B−Gに対応する信号は、デジタル信号処理手段２０においてノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。デジタル信号手段２０における信号処理に関しては本願発明の目的と直接は関係がないため詳細な説明は省略する。

以上のように、本発明の実施の形態３の固体撮像装置においては、固体撮像素子３の露光及び信号読み出しモードを制御し、１フィールド分の短時間露光信号と１フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちながらもダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているＩＴ−ＣＣＤが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。

（実施の形態４）
本発明の実施の形態４における固体撮像装置は、図２０に示した本発明の実施の形態３に対し、２水平ライン加算手段７０４０１の出力に対する間引き手段２２が追加され、これに伴い補間手段７０２、１ラインメモリ１７、１８が削除され、さらに信号合成手段、同時化手段、デジタル信号処理手段、システム制御手段の構成・機能が異なる（本発明の実施の形態４では信号合成手段２３、同時化手段２４、デジタル信号処理手段２５、システム制御手段２６と付番し区別する）点が主な相違点であるため、以下、本発明の実施の形態３と同様の処理内容部分に関しては説明は省略し、本発明の実施の形態３と異なる部分のみ説明する。図３０は、本発明の実施の形態４における固体撮像装置のブロック図である。同図において、間引き手段２２は２水平ライン加算手段７０１の出力からその水平ライン信号を間引き、１フレーム画像を１フィールド画像に変換する手段である。信号合成手段２３は、間引き手段２２及び画像メモリ６の出力を輝度信号合成手段１３にて求められる合成係数ｋに基づき合成する手段である。同時化手段２４は、信号合成手段２３の出力を同時化処理する手段である。

輝度信号合成手段１３で得られた輝度信号と、同時化手段２４で得られたレッド（R）成分を持つ信号とブルー（B）成分を持つ信号はデジタル信号処理手段２５において、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段２６により統合的に制御されるものとする。

図３１は同時化手段２４の構成を示すブロック図である。２４０１、２４０２は信号合成手段２３と１ラインメモリ１６を経た信号にある定数を乗算するアンプ手段であり、この乗算後の信号は加算器２４０３にて加算される。２４０４は１ラインメモリ１５の出力と加算器２４０３の出力を出力D、出力Eに振り分けて出力するセレクタである。なお、セレクタ２４０４による信号の出力先の選択は後述の通り、信号の色成分によって振り分けられることとする。
以上のように構成された本発明の実施の形態４の固体撮像装置に関し、以下その動作を説明する。

本発明の実施の形態３で説明したように、２水平ライン加算手段７０１の出力は１フレーム画像であるlong信号である。しかし画像メモリ６に記憶されているshort信号は１フィールド画像であるため、このままでは信号合成手段２３においてlong信号とshort信号は合成が行えない。そこで本発明の実施の形態４においてはshort信号を補間処理により１フレームの信号に変換した。

本発明の実施の形態４においては、色信号は輝度信号と同程度の情報量を持たなくても画質面で問題がないことを利用して、本発明の実施の形態３とは逆に、１フレーム画像であるlong信号に対し垂直方向の間引き処理を施すことでlong信号を１フィールド画像に変換し、色信号合成手段２４においてshort信号と合成する。具体的には図１２(a)に示したような２ライン加算後のlong信号の偶数ラインを間引き手段２２により間引くことで、信号合成手段２３に入力されるlong信号を１フィールド画像に変換する。この間引き後のlong信号は図１２(b)に示したようなshort信号と同様の形式となる。

信号合成手段２３においては入力される１フィールド画像であるlong信号とshort信号は、本発明の実施の形態３と同様に、これらの信号と空間的に位置が一致しているlong輝度信号とshort輝度信号とが合成される際に使用される合成係数ｋ及び（数７）で求められるDにより画素ごとに合成される。信号合成手段２３で合成された信号を合成信号と称す。

次に、合成信号は同時化手段２４において同時化処理がなされるが、本発明の実施の形態３と異なり、合成信号は１フィールド信号であるため、同時化手段２４に入力する信号は例えば図３２(b)に示すように第２ラインから第４ラインの３ライン分でよい。この３ラインの信号から本発明の実施の形態３と同様にR成分を持った２R−Gに対応する信号とB成分を持った２B−Gに対応する信号を得ることができる。例えば、第３ラインの位置にR成分を持った２R−Gに対応する信号とB成分を持った２B−Gに対応する信号を得るには、第２ラインと第４ラインの信号を加算平均して２B−Gに対応する信号を合成すればよい。

同時化手段２４で得られた２つの信号はデジタル信号処理手段２５において本発明の実施の形態３と同様に処理されるが、本発明の実施の形態４では信号合成手段２３で合成された合成信号は１フィールド信号であるため、必要があればデジタル信号処理手段２５においてフレーム画像への変換等がなされることは言うまでもない。

以上のように、本発明の実施の形態４の固体撮像装置においても、本発明の実施の形態３と同様に固体撮像素子３の露光及び信号読み出しモードを制御し、１フィールド分の短時間露光信号と１フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちつつダイナミックレンジが拡大された画像を撮影することができる。さらに本発明の実施の形態４においては、色信号をフィールド信号として処理するため、１ラインメモリの必要個数等を削減でき、より安価に装置を構成することができる。
なお本発明の実施の形態１において、short信号はフィールド読み出しモードで読み出した１フィールド画像としたがこれに限るものではなく、例えば垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。一例としては、図３３に示すように固体撮像素子３からshort信号を読み出す場合に垂直方向に３ライン毎に１ラインの信号を読み出す構成が考えられる。この場合、short信号は固体撮像素子上で上下２つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、long信号に対する２水平ライン加算処理が不要となる。また、図４に示した補間手段７０２による補間処理においては、short信号の水平ライン数をlong信号に合わせるように補間処理を行う必要がある。つまり補間手段７０２においてはshort信号の各水平ライン信号間に２ライン分の水平ライン信号を補間処理により作成することになる。これによりshort信号とlong信号は同一の信号形式となり図４に示した重み付け加算手段７０３により合成することが可能となる。この場合、合成係数ｋは上下２水平ライン加算されていないlong信号の各画素の信号レベルから例えば図１３に示したような方法で求めればよい。なお、このようにshort信号を間引いて読み出す場合はlong信号に対する２水平ライン加算処理が不要と記したがこれに限るものではなく、long信号、short信号ともに２水平ライン加算処理を施した後に、合成処理を行う構成も考えられる。

また、本発明の実施の形態１において、露光量の異なる２つの信号は１フィールド画像であるshort信号と１フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては１フィールド画像であるlong信号と１フレーム画像であるshort信号としてもよい。この場合、図３４に示すようにlong信号に対し補間手段７０２により垂直方向の補間処理を行い、short信号に対しては２水平ライン加算手段７０１により隣接する上下２ラインの加算を行う構成とすればよく、重み付け加算手段７０３で使用する合成係数は補間処理後のlong信号から求めればよい。また、補間処理前のlong信号から合成係数を求める構成も考えられ、この場合、図３４(a)に示したshort信号の偶数ラインの位置には対応するlong信号が存在せず合成係数ｋを決めることができないため、short信号の偶数ラインの上下のラインと同じ位置に存在するlong信号の水平ライン信号から求められる合成係数から、short信号の偶数ラインの位置の合成係数を決定するなどをすればよい。このように、１フィールド画像であるlong信号と１フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。

また、本発明の実施の形態１及び本発明の実施の形態２において、補間手段７０２は１ラインメモリを２個使用し、２水平ライン分の信号から補間処理を行う構成としたがこれに限るものではなく、例えば更に多数の１ラインメモリを用いて、更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成も考えられる。また、図３５に示すように入力される１水平ラインを２回ずつ繰り返し出力することで水平ライン数を２倍にするいわゆる前値補間を行う構成も考えられる。

また、本発明の実施の形態１において、信号合成手段７では、long信号とshort信号を合成するための合成係数ｋはlong信号の画素毎に求めるものとしたがこれに限るものではなく、例えば複数の画素の信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数ｋを求める構成や、画素毎に求められたｋの値のうち複数個から求めたｋの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。

また、本発明の実施の形態１において、信号合成手段７では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図３６において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ１ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ１ブロックとすると、この２画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とするとそれぞれ（数１８）のように行う。（(Ye+Mg)M11、(Cy+G)M12は合成後の信号）

この場合、合成係数kb11はブロックに含まれるlong信号（例えば(Ye+Mg)L11と(Cy+G)L12）のいずれかの信号レベル、もしくはブロックに含まれるlong信号（例えば(Ye+Mg)L11と(Cy+G)L12）の平均値、最大値、最小値、中間値の少なくともいずれかから図１３に示した方法で求まるｋをブロックの合成係数kb11とすればよい。また、ブロックに含まれるlong信号の各信号レベルから図１３に示した方法で求められる画素毎のｋの値（例えば図３６中のｋ１、ｋ２）の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は２画素と限らないことはいうまでもない。

また、本発明の実施の形態１において、信号合成手段７では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に存在するlong信号レベルから図１３に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態１において、信号合成手段７では、合成係数ｋはlong信号ではなくフレーム画像に変換したshort信号から求める構成も考えられる。
また、フレーム画像に変換したshort信号ではなく、フィールド画像であるshort信号から合成係数ｋを求める構成も考えられる。この場合、図１２からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort信号もしくは周辺の合成係数から求めればよい。

また、本発明の実施の形態１において信号レベルから合成係数ｋを求める方法の例を図１３に示したが、合成係数ｋの決定方法はこれに限るものではなく、例えば図３７に示すように輝度レベルに応じて非線形にｋを決定する方法も考えられる。

また、本発明の実施の形態２において、short信号はフィールド読み出しモードで読み出した１フィールド画像としたがこれに限るものではなく、一例としては、図３３にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下２つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、long信号に対する２水平ライン加算処理が不要となる。また、図４に示した補間手段７０２による補間処理においては、short信号の水平ライン数をlong信号に合わせるように補間処理を行う必要がある。つまり補間手段７０２においてはshort信号の各水平ライン信号間に２ライン分の水平ライン信号を補間処理により作成することになる。これによりshort信号とlong信号は同一の信号形式となり図４に示した重み付け加算手段７０３により合成することが可能となる。但し、図１５に示した輝度信号抽出手段７０４０１には上下２水平ライン加算されていないlong信号が供給されるため、同手段に輝度信号抽出のための２水平ライン加算処理を新たに追加する必要がある。あるいは輝度信号抽出手段７０４０１の前段に２水平ライン加算手段７０１と同様の手段を設け、輝度信号抽出手段７０４０１には２水平ラインが加算された信号が供給されるようにする必要がある。なお、このようにshort信号を間引いて読み出す場合はlong信号に対する２水平ライン加算処理が不要と記したがこれに限るものではなく、long信号、short信号ともに２水平ライン加算処理を施した後に、合成処理を行う構成も考えられる。

また、本発明の実施の形態２において、露光量の異なる２つの信号は１フィールド画像であるshort信号と１フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては１フィールド画像であるlong信号と１フレーム画像であるshort信号としてもよい。この場合、図３４に示すようにlong信号に対し補間手段７０２により垂直方向の補間処理を行い、short信号に対しては２水平ライン加算手段７０１により隣接する上下２ラインの加算を行う構成とすればよく、重み付け加算手段７０３で使用する合成係数は補間処理後のlong信号から抽出された輝度信号から求めればよい。また、補間処理前のlong信号から抽出された輝度信号から合成係数を求める構成も考えられ、この場合、図３４(a)に示したshort信号の偶数ラインの位置には対応するlong信号が存在せず合成係数ｋを決めることができないため、short信号の偶数ラインの上下のラインと同じ位置に存在するlong信号の水平ライン信号から抽出された輝度信号より求められる合成係数から、short信号の偶数ラインの位置の合成係数を決定するなどをすればよい。このように、１フィールド画像であるlong信号と１フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。

また、本発明の実施の形態２において、信号合成手段７では、long信号とshort信号を合成するための合成係数ｋはlong輝度信号の画素毎に求めるものとしたがこれに限るものではなく、例えば複数の画素の輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数ｋを求める構成や、画素毎に求められたｋの値のうち複数個から求めたｋの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。

また、本発明の実施の形態２において、信号合成手段７では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図３８において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ１ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ１ブロックとすると、この２画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とするとそれぞれ（数１８）のように行う。この場合、合成係数kb11はブロックに対応するlong輝度信号（例えば図３８中のYL11とYL12）のいずれかの信号レベル、もしくはブロックに対応するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図１８に示した方法で求まるｋをブロックの合成係数kb11とすればよい。また、ブロックに対応するlong輝度信号の各信号レベルから図１８に示した方法で求められる画素毎のｋの値（例えば図３８中のｋ１、ｋ２）の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は２画素と限らないことはいうまでもない。

また、本発明の実施の形態２において、信号合成手段７では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に対応するlong輝度信号レベルから図１８に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態２において、信号合成手段７では、合成係数ｋはlong輝度信号ではなくフレーム画像に変換したshort信号から抽出される輝度信号（short輝度信号）から求める構成も考えられる。また、フレーム画像に変換したshort信号から抽出される輝度信号ではなく、フィールド画像であるshort信号から抽出される輝度信号から合成係数ｋを求める構成も考えられる。この場合、図１２からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort輝度信号もしくは周辺の合成係数から求めればよい。

また、本発明の実施の形態２において信号レベルから合成係数ｋを求める方法の例を図１８に示したが、合成係数ｋの決定方法はこれに限るものではなく、例えば図３９に示すように輝度レベルに応じて非線形にｋを決定する方法も考えられる。
また、本発明の実施の形態３において、short信号はフィールド読み出しモードで読み出した１フィールド画像としたがこれに限るものではなく、一例としては、図３３にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下２つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、例えば図４０に示すような構成とすればよい。図４０に示した構成ではshort信号の上下２画素混合を２水平ライン加算手段２７（２水平ライン加算手段７０１と同様の手段であるが、区別するために付番を２７とする）において行うため、結果的には図２０に示した構成と同様の機能、効果を実現できる。但し、輝度信号補間手段１２においてはshort信号の間引かれ方に応じて、補間処理の内容が変わることは言うまでもない。例えばshort信号が図３０に示したように間引かれた信号の場合、例えば図４１に示すようにshort輝度信号（図４１(c)）の各水平ライン間に２ラインづつの補間水平ライン信号を内挿により作成すればよい。また補間手段７０２においても同様にshort信号の間引かれ方に応じて、必要な水平ライン信号を作成すればよいことは言うまでもない。なお、図３３にあげたように垂直方向に水平ライン信号を間引いて読み出す構成の場合、図４０に２水平ライン加算手段７０１及び２７の２つの２水平ライン加算手段を持つ構成を示したがこれに限るものではなく、２水平ライン加算手段７０１及び２７を持たない構成も考えられる。この場合、輝度信号抽出手段７０４０１に２水平ライン加算手段７０１及び２７と同様の効果を有する手段を包含させることでlong信号とshort信号からの輝度抽出が可能である。またこのような２水平ライン加算手段７０１、２７を有さない構成は、固体撮像素子３上に形成された色フィルターが例えばレッド（R）、グリーン（G）、ブルー（B）の原色からなり、一般に固体撮像素子３のホトダイオード上の電荷を混合せずに輝度信号と色信号を得る撮像方式においても有効である。
また、本発明の実施の形態３及び本発明の実施の形態４において、露光量の異なる２つの信号は１フィールド画像であるshort信号と１フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては１フィールド画像であるlong信号と１フレーム画像であるshort信号としてもよい。この場合、long信号から得られるlong輝度信号に対し輝度信号補間手段１２により垂直方向の補間処理を行い、補間処理後のlong輝度とshort輝度信号を輝度信号合成手段１３において合成すればよく、その際に使用する合成係数は補間処理後のlong輝度信号から求めればよい。また、本発明の実施の形態１及び本発明の実施の形態２と同様に補間処理前のlong輝度信号から抽出された輝度信号から合成係数を求める構成も考えられる。このように、１フィールド画像であるlong信号と１フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。
また、本発明の実施の形態３において、補間手段７０２は１ラインメモリを２個使用し、２水平ライン分の信号から補間処理を行う構成としたがこれに限るものではなく、例えば更に多数の１ラインメモリを用いて、更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成も考えられる。また、入力される１水平ラインを２回ずつ繰り返し出力することで水平ライン数を２倍にするいわゆる前値補間を行う構成も考えられる。

また、本発明の実施の形態３及び本発明の実施の形態４において、輝度信号補間手段１２は２水平ライン信号の加算平均値を補間信号としたがこれに限るものではなく、例えば更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成や、前値補間により補間信号を得る構成も考えられる。

また、本発明の実施の形態３及び本発明の実施の形態４において、輝度信号合成手段１３においてlong輝度信号とshort輝度信号を合成するための合成係数ｋはlong輝度信号の画素毎に求めるものとしたがこれに限るものではなく、例えば、複数の画素のlong輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数ｋを求める構成や、画素毎に求められたｋの値のうち複数個のｋの値の平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。

また、本発明の実施の形態３及び本発明の実施の形態４において、輝度信号合成手段１３では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図４３において、long輝度信号YL11とYL12、YL13とYL14をそれぞれ１ブロックとし、これと同位置に存在するshort輝度信号YS11とYS12、YS13とYS14をそれぞれ１ブロックとすると、この２画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong輝度信号YL11とYL12からなるブロックとshort輝度信号YS11とYS12の合成は、このブロックの合成係数をkb11とするとそれぞれ（数１９）のように行う。（YMは合成後の輝度信号）。

この場合、合成係数kb11はブロックに対応するlong輝度信号（例えば図４３中のY11とY12）のいずれかの信号レベル、もしくはブロックに対応するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図１８に示した方法で求まるｋをブロックの合成係数kb11とすればよい。また、ブロックに対応するlong輝度信号の各信号レベルから図１８に示した方法で求められる画素毎のｋの値（例えば図４３中のｋ１、ｋ２）の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は２画素と限らないことはいうまでもない。

また、本発明の実施の形態３及び本発明の実施の形態４において、輝度信号合成手段１３では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に対応するlong輝度信号レベルから図１８に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。

また、本発明の実施の形態３及び本発明の実施の形態４において、信号合成手段１４及び２３では、long信号とshort信号を合成するための合成係数ｋはlong輝度信号から合成係数発生手段１３０１により画素毎に求められた値を用いるものとしたがこれに限るものではなく、例えば図４２に示すように信号合成手段１４及び２３の内部に合成係数発生手段１４０４を独自に備え、複数の画素のlong輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数ｋを求める構成や、画素毎に求められたｋの値のうち複数個から求めたｋの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。なおここで、合成係数発生手段１４０４の機能は合成係数発生手段１３０１と同様である。

また、本発明の実施の形態３及び本発明の実施の形態４において、信号合成手段１４及び２３では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図３８において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ１ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ１ブロックとすると、この２画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とすると（数１８）のように行う。この場合、合成係数kb11は各ブロックと空間的に同じ位置に存在するlong輝度信号（例えば図３８中のYL11とYL12）のいずれかの信号レベル、もしくはブロックと空間的に同じ位置に存在するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図１８に示した方法で求まるｋをブロックの合成係数kb11とすればよい。また、ブロックと空間的に同じ位置に存在するlong輝度信号の各信号レベルから図１８に示した方法で求められる画素毎のｋの値（例えば図３８中のｋ１、ｋ２）の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は２画素と限らないことはいうまでもない。

また、本発明の実施の形態３及び本発明の実施の形態４において、信号合成手段１４及び２３では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置と空間的に同じ位置に存在するlong輝度信号レベルから図１８に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。

また、本発明の実施の形態３及び本発明の実施の形態４において、信号合成手段１４及び２３で使用する合成係数ｋは上記方法でlong輝度信号から得られた値に一定の係数を乗算、もしくは一定の係数を加減算した値とする構成も考えられる。

また、本発明の実施の形態３及び本発明の実施の形態４において、輝度信号合成手段１３、信号合成手段１４及び２３では、合成係数ｋはlong輝度信号ではなくフレーム画像に変換したshort信号から抽出される輝度信号（short輝度信号）から求める構成も考えられる。また、フレーム画像に変換したshort信号から抽出される輝度信号ではなく、フィールド画像であるshort信号から抽出される輝度信号から合成係数ｋを求める構成も考えられる。この場合、図１２からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort輝度信号もしくは周辺の合成係数をそのまま用いるか、もしくは周辺の合成係数の平均値もしくは最大値もしくは最小値もしくは中間値から求めれる方法等が考えられる。その他、周辺の合成係数とその位置関係から補間処理により求める方法も考えられる。

また、本発明の実施の形態３及び本発明の実施の形態４において輝度信号レベルから合成係数ｋを求める方法の例を図１８に示したが、合成係数ｋの決定方法はこれに限るものではなく、例えば図３９に示すように輝度レベルに応じて非線形にｋを決定する方法も考えられる。
また、本発明の実施の形態４において、short信号はフィールド読み出しモードで読み出した１フィールド画像としたがこれに限るものではなく、一例としては、図３３にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下２つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、例えば図４０と同様に２水平ライン加算手段によりshort信号の上下２画素混合を行うようにすれば、結果的には図３０に示した構成と同様の機能、効果を実現できる。但し、本発明の実施の形態３と同様に輝度信号補間手段１２においてはshort信号の間引かれ方に応じて、補間処理の内容が変わることは言うまでもない。また間引き手段２２においても同様にshort信号の間引かれ方に応じて、long信号がshort信号と同じ信号形式になるように間引きを行えばよいことは言うまでもない。

また、本発明の実施の形態４においては間引き手段２２によりlong信号の垂直方向の間引き処理を行う構成を説明したが、図４４に示すように画像信号から水平方向に画素を間引く機能を持つ水平方向間引き手段２７を設け、これにより２水平ライン加算手段７０１を経たlong信号とshort信号の両者の水平方向の画素を例えば１/２に間引くような構成も考えられる。この場合、上記のように水平方向の画素を１/２に間引けば、同時化処理のための１ラインメモリ１５、１６をその半分の容量の０．５ラインメモリ２８、２９に置き換えることが可能である。このように水平方向にも画素を間引くことで本発明の固体撮像装置の構成を更に簡略化し安価にすることが可能である。
その場合、水平方向の間引き処理を行う前にlong信号及びshort信号の水平方向の帯域制限を行っておけば、間引き処理により不要な折り返しが発生しない。同様に垂直方向にも帯域制限を施せば、垂直方向の間引き処理に際しても不要な折り返しを回避可能であることは言うまでもない。

また上記すべての本発明の実施の形態において、long信号とshort信号は一旦画像メモリ６に記憶することとしたがこれに限るものではなく、例えばlong信号もしくはshort信号のいづれか一方のみ画像メモリ６に記憶させ、残りの片方の信号の固体撮像素子３からの読み出しと画像メモリ６からの信号読み出しを同期させて合成の処理を行う方法も考えられる。この場合、画像メモリ６の容量を削減でき、更に安価に固体撮像装置を構成可能である。

また上記すべての本発明の実施の形態において、固体撮像素子３上に形成されるカラーフィルター配列は図３に示すようなマゼンタ、グリーン、イエロー、シアンの４色からなる補色市松タイプを用いて説明したがこれに限るものではなく、一例をあげるならば、図４５に示すようなマゼンタ(Mg)とグリーン(G)がライン毎に位置反転しない配置や、図４６に示すようなグリーン（G）とシアン（Cy）、イエロー（Ye）の２つの補色フィルタをストライプ状に配置する構成も考えられる。

また上記すべての本発明の実施の形態において、固体撮像素子３上に形成されるカラーフィルター配列は図３に示すようなマゼンタ、グリーン、イエロー、シアンの４色からなる構成を用いて説明したがこれに限るものではなく、グリーン（G）、ブルー（B）、レッド（R）からなる原色フィルタを用いた構成も考えられ、そのフィルター配置として一例をあげるならば、図４７に示したベイヤー方式、図４８に示したインタライン方式、図４９に示したGストライプRB完全市松方式、図５０に示したストライプ方式、図５１に示した斜めストライプ方式、図５２に示したGストライプRB線順次方式、図５３に示したGストライプRB点順次方式等が考えられる。このように原色フィルタを用いた場合に輝度信号は（数２０）に従い求められることは言うまでもない。

また上記すべての本発明の実施の形態において、固体撮像素子３上に形成されるカラーフィルター配列を図３に示すようなマゼンタ、グリーン、イエロー、シアンの４色からなる補色市松タイプとし、更にshort信号の読み出しをフィールド読み出しとして説明したため、long信号とshort信号の信号形式をあわせるために、２水平ライン加算手段７０１によるlong信号の上下２水平ライン加算処理を含む構成を示したがこれに限るものではなく、上記図４５〜図５３に示したような他のフィルター配置を採用した場合や、フィールド読み出しではなく、図３３に示したような間引き読み出しを行う場合には、２水平ライン加算処理が必ずしも必要ではないことは言うまでもない。

また上記すべての本発明の実施の形態において、合成係数を求める際の閾値Th_max、Th_min、Th_max’、Th_min’をそれぞれ（数２１）のように設定し、長時間露光信号と短時間露光信号を重み付け加算ではなく、ある信号レベルを境に切り替える構成も考えられる。

本発明の実施の形態１による固体撮像装置を示すブロック図 本発明の実施の形態１における固体撮像素子３からの信号読み出しモードの説明図 本発明の実施の形態１における固体撮像素子３上に形成される色フィルタ配置の例を示す図 本発明の実施の形態１における信号合成手段７の構成を示すブロック図 本発明の実施の形態１における２水平ライン加算手段７０１の構成を示すブロック図 本発明の実施の形態１における補間手段７０２の構成を示すブロック図 本発明の実施の形態１における重み付け加算手段７０３の構成を示すブロック図 本発明の実施の形態１におけるダイナミックレンジ拡大の原理を説明する説明図 本発明の実施の形態１におけるlong信号、short信号の露光及び読み出しタイミングを説明するための説明図 本発明の実施の形態１におけるshort信号を説明するための説明図 本発明の実施の形態１におけるlong信号を説明するための説明図 本発明の実施の形態１における２水平ライン加算処理と補間処理を説明するための説明図 本発明の実施の形態１における合成係数決定方法を説明するためのグラフ 本発明の実施の形態１における信号合成処理の方法を説明するための説明図 本発明の実施の形態２における重み付け加算手段７０４の構成を示すブロック図 本発明の実施の形態２における輝度信号抽出手段７０４０１の構成を示すブロック図 本発明の実施の形態２におけるlong輝度信号の作成方法を説明するための説明図 本発明の実施の形態２における合成係数決定方法を説明するためのグラフ 本発明の実施の形態２における信号合成処理の方法を説明するための説明図 ｃ固体撮像装置を示すブロック図 本発明の実施の形態３における輝度信号補間手段１２の構成を示すブロック図 本発明の実施の形態３における輝度信号合成手段１３の構成を示すブロック図 本発明の実施の形態３における信号合成手段１４の構成を示すブロック図 本発明の実施の形態３における同時化手段１９の構成を示すブロック図 本発明の実施の形態３におけるlong輝度信号を説明するための説明図 本発明の実施の形態３におけるshort輝度信号を説明するための説明図 本発明の実施の形態３における輝度信号の補間処理を説明するための説明図 本発明の実施の形態３における輝度信号の合成方法を説明するための説明図 本発明の実施の形態３における同時化手段１９による同時化処理を説明するための説明図 本発明の実施の形態４における固体撮像装置を示すブロック図 本発明の実施の形態４における同時化手段２４の構成を示すブロック図 本発明の実施の形態３における同時化手段２４による同時化処理を説明するための説明図 固体撮像素子３からの画像信号読み出し方法の別の例を示す説明図 本発明の実施の形態１においてlong信号をフィールド画、short信号をフレーム画とした場合の２水平ライン加算処理と補間処理を説明するための説明図 前値補間処理を説明するための説明図 本発明の実施の形態１におけるlong信号とshort信号の合成方法の別の例を示す説明図 本発明の実施の形態１におけるlong信号レベルから合成係数を決定する方法の別の例を示すグラフ 本発明の実施の形態２におけるlong信号とshort信号の合成方法の別の例を示す説明図 本発明の実施の形態２におけるlong輝度信号レベルから合成係数を決定する方法の別の例を示すグラフ 本発明の実施の形態３においてshort信号の読み出し方法を変えた場合の固体撮像装置のブロック図 本発明の実施の形態３においてshort信号の読み出し方法を変えた場合の輝度信号補間処理の内容を説明するための説明図 本発明の実施の形態３において信号合成手段１４の別の構成を示すブロック図 本発明の実施の形態３及び本発明の実施の形態４におけるlong輝度信号とshort輝度信号の合成方法の別の例を示す説明図 本発明の実施の形態４における固体撮像装置の別の例を示すブロック図 固体撮像素子３上に形成される色フィルタ配置の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（CyYeGストライプ方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（ベイヤー方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（インタライン方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（GストライプRB完全市松方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（ストライプ方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（斜めストライプ方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（GストライプRB線順次方式）の別の例を示す図 固体撮像素子３上に形成される色フィルタ配置（GストライプRB点順次方式）の別の例を示す図

符号の説明

１ 光学レンズ
２ 機械シャッター
３ 固体撮像素子
４ アナログ信号処理手段
５ Ａ／Ｄ変換手段
６ 画像メモリ
７ 信号合成手段
８ デジタル信号処理手段
９ シャッター駆動制御手段
１０ 固体撮像素子駆動制御手段
１１ システム制御手段

Claims (16)

1. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷を第１の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
2. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷の一部のみを第１の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
3. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第１露光として前記ホトダイオード上に蓄積された電荷を第１の読み出し制御パルスの印加後にフィールド読み出しにより前記転送手段を介して出力し、更に、前記第１の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第２露光において前記ホトダイオード上に蓄積された電荷を第２の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第１露光及び前記第２露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
4. 第１露光の露光時間は電子シャッターにより制御することを特徴とする請求項１から請求項３のいずれかに記載の固体撮像装置。
5. 第２の読み出し制御パルスの印加後、第２露光においてホトダイオードに蓄積された電荷はフレーム読み出しにより出力されることを特徴とする請求項１から請求項４のいずれかに記載の固体撮像装置。
6. 第１の読み出し制御パルスの印加後に読み出される画像は、第２の読み出し制御パルス印加後に読み出される画像に比べ、画素数の少ない画像であることを特徴とする請求項１から請求項５のいずれかに記載の固体撮像装置。
7. 機械的な遮光手段は光学絞りを兼用することを特徴とする請求項１から請求項６のいずれかに記載の固体撮像装置。
8. 画素数の少ない画像信号とは１フィールドの画像信号であり、画素数の多い画像信号とは１フレームの画像信号であることを特徴とする請求項１、３のいずれかに記載の固体撮像装置。
9. 露光量と画素数の異なる２つの画像信号のうち、画素数の少ない画像信号は短時間露光信号であり、画素数の多い画像信号は長時間露光信号であることを特徴とする請求項１から請求項８のいずれかに記載の固体撮像装置。
10. 露光量と画素数の異なる２つの画像信号のうち、画素数の少ない画像信号は長時間露光信号であり、画素数の多い画像信号は短時間露光信号であることを特徴とする請求項１から請求項８のいずれかに記載の固体撮像装置。
11. 固体撮像素子で撮像する画像信号の露光量は、機械的な遮光手段もしくは固体撮像素子の電子シャッター機能により制御することを特徴とする請求項１から請求項１０のいずれかに記載の固体撮像装置。
12. 固体撮像素子上に形成されるカラーフィルターはマゼンタ、グリーン、イエロー、シアンの４色であることを特徴とする請求項１から請求項１１のいずれかに記載の固体撮像装置。
13. 固体撮像素子上に形成されるカラーフィルター配列はマゼンタ、グリーン、イエロー、シアンの４色からなる補色市松タイプであることを特徴とする請求項１から請求項１２のいずれかに記載の固体撮像装置。
14. 固体撮像素子上に形成されるカラーフィルターはレッド、グリーン、ブルーの３色であることを特徴とする請求項１から請求項１１のいずれかに記載の固体撮像装置。
15. 固体撮像素子上に形成されるカラーフィルター配列はレッド、グリーン、ブルーの３色からなる３色ストライプタイプであることを特徴とする請求項１から請求項１１のいずれかに記載の固体撮像装置。
16. 固体撮像素子はインタライン転送ＣＣＤ（ＩＴ−ＣＣＤ）であることを特徴とする請求項１から請求項１５のいずれかに記載の固体撮像装置。

Images