JP5177894B2 - 固体撮像装置 - Google Patents

Description

本発明は、複数の固体撮像素子を有する撮像装置に関するものである。

シリコン製撮像素子は約３０００Ｋのハロゲン光照明では、赤と緑に感度が高く青の感度が低い。そのため、赤と緑はダイナミックレンジが不足し易く、青は感度が不足し易い。また、約１００００Ｋのメタルハライド照明では、青と緑に感度が高く赤の感度が低い。そのため、青と緑はダイナミックレンジが不足し易く、赤は感度が不足し易い。有効画素数が多いかあるいは撮像面積が小さいため、フォトダイオード面積が狭い撮像素子は特に、色別にダイナミックレンジが不足するか感度が不足し易い。シリコン製撮像素子は、基板（Substrate以下Sub）電圧（以下V-sub）等の電極電圧を可変することで、フォトダイオード（Photo-Diode以下ＰＤ）の飽和特性が可変する。Sub等のオーバーフロードレイン（Over-flow Drain以下ＯＤ）に正のパルス電圧を印可する事によりＰＤ電荷を掃き捨てる。電荷転送型撮像素子（Cherge Cuopled Device以下ＣＣＤと略す）の中でも電子増倍型ＣＣＤ撮像素子（Electron Multiplying-ＣＣＤ以下ＥＭ−ＣＣＤと略す）やＦＩＴ(Frame Interline Tranfer)−ＣＣＤやＩＴ(Interline Tranfer)−ＣＣＤでは、SubがＯＤとなり、縦型ＯＤと呼ばれる。また横型ＯＤのＦＴ−ＣＣＤは、近赤外線感度が高いが、スメア低減には垂直帰線期間に閉鎖する機械シャッタが必要である。斜行直線ＣＣＤ型画素周辺記録撮像素子では水平１６分割並列読み出しで高速撮像が容易になった。

ＣＣＤ撮像素子は小型でも高感度になった。具体的には、２７万画素で補色フィルターの撮像面対角4.5mm（１／４型）ＣＣＤ撮像素子が被写体3200K、706cd/m2をCM500S（厚さ1.00mm）を装着したレンズを絞りF8で撮像して1950mVと撮像面対角11mm（２／３型）ＣＣＤ撮像素子より高感度になった（非特許文献１参照）。そのため、撮像素子対角長と比例するレンズの直径と厚さは小さくでき、撮像素子の感度に比例してレンズの直径と口径比は大きく（口径比の逆数の開口数は小さく）でき、レンズの直径は撮像素子対角長と感度の逆数の積に比例して小さくできる。さらに、レンズの厚さは屈折率の自乗の逆数に比例し高屈折率ガラスで単体レンズは薄くズームレンズ全体は短くできる。

しかし、ダイナミックレンジは不足していた。具体的には、補色フィルターの撮像面対角８ｍｍ（１／２型）電荷転送型ＣＣＤ撮像素子と１２ｂｉｔＡ／Ｄとフレームメモリとを用い、適応型雑音低減で確保したＳ／Ｎ分を暗部を黒伸張して、自然な映像は得ても、１０倍のダイナミックレンジを確保する程度だった（非特許文献２参照）。

そこで、ＣＭＯＳ撮像素子では、入射光量に対する出力を対数圧縮し６４倍以上のダイナミックレンジを確保しているが、不自然な映像となっていた。補色フィルターの対角６ｍｍ（１／３型）以下のＣＣＤ撮像素子では、倍速走査し、短い掃き捨て動作の信号と長い掃き捨て動作の信号とを加算してダイナミックレンジを確保し６４倍以上のダイナミックレンジを確保しているが、不自然な映像となっていた。そこで、高画素の動画でも消費電力を減らすために並列出力数を増加させダイナミックレンジを向上させるためＡ／Ｄビット数を高める努力がされているが、有効２４８１万画素のＣＭＯＳ撮像素子を４０６４垂直列毎にＡ／Ｄを並列配置し１２チャネル並列出力すると１４ビットＡ／Ｄでは歩留まりが悪く１２ビットＡ／Ｄが量産限界である（非特許文献３参照）。また、ＣＭＯＳ撮像素子では、垂直方向の読み出し方法が、ＣＣＤ撮像素子と同様にフォトダイオードから同時に読みだすグロ−バルシャッタ方式は構造が複雑になり高価なので、撮像管と同様に水平列を露光し順次読みだすローリングシャッタ方式が量産化されている。

掃き捨て動作と読み出し動作の位相を工夫して奇数ラインと偶数ラインとで蓄積時間を可変し蓄積時間の長い白制限領域と蓄積時間の短い直線領域を加算して長いてダイナミックレンジを確保する事も検討されていた（特許文献１参照）。

図６は、従来の撮像装置の構成を示すブロック図であり、（ａ）は色分解光学系とＥＭ−ＣＣＤを３つ用いたカメラであり、（ｂ）は色分解光学系とＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤを３つ用いたカメラである。図６は、ＥＭ−ＣＣＤとＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と水平転送と電圧変換のリセットとＣＤＳとＡＧＣとＡＤＣとのＴＧを内蔵したＦＥＰ（Front End Processor）と雑音低減の平均化内蔵の信号処理回路とＣＰＵ（Central Processing Unit）とからなる。

非個別掃き捨てのＣＣＤ入出力の模式図の図２において、（ａ）は低中高照度時であり、（ｂ）はＥＭ−ＣＣＤの超低照度時である。分光感度から緑の感度が高く、赤の感度が緑より少し低く、青の感度が緑のおおよそ１／４と大きく低く、飽和は感度の逆数分となる。撮像面の小さい監視用カメラでは、緑がおおよそ４倍から飽和が始まり、赤がおおよそ６倍から飽和が始まり、青がおおよそ１６倍から飽和が始まる。感度の逆数分、電子増倍または増幅すれば、緑の飽和が始まるおおよそ４倍まで赤緑青が揃う。つまり高輝度部のダイナミックレンジはおおよそ４倍となる。撮像面対角１１ｍｍ（２／３型）のＣＣＤ撮像素子を用いた放送用カメラでは高輝度部のダイナミックレンジはおおよそ６．５倍で感度２０００ｌｘＦ１１とスタジオ用には、４倍以上感度が高すぎる。また、色分解光学系と赤緑青用に３つのＣＣＤと１４ｂｉｔＡ／Ｄを用いるカメラのＳ／Ｎは６８ｄＢ程度であり、色分解光学系と赤緑青用に３つのＣＣＤと１２ｂｉｔＡ／Ｄを用いるカメラのＳ／Ｎは６６ｄＢ程度であり（非特許文献４参照）、監視用１ＣＣＤカメラのＳ／Ｎは５０ｄＢ程度である。

ＥＭ−ＣＣＤは、電子冷却と組み合わせて感度を高くできるが、電子増倍に比例する暗電流が増大するため信号が飽和がして、ダイナミックレンジが狭くなる。さらに低周波の変調雑音となる電子増倍ゆらぎが増加し雑音が増加して、ダイナミックレンジが狭くなる。

また、直交周波数分割多重変調方式(Orthogonal Frequency Division Multiplexing：以下、ＯＦＤＭ方式と記す)を用いた映像伝送装置では、ＦＰＧＡ（Field Programmable Gate Array）を用い、受信したＯＦＤＭ信号を乗算と加算することにより相関を検出し、相関検出結果の２乗を加算平均してアナログ検知限界以下の受信レベルを算出している（特許文献２参照）。

ガラスや光学結晶は短波長の屈折率が比較的高く、長波長の屈折率が比較的低い。そのため、ガラスや光学結晶を用いた屈折結像光学系では焦点面内の倍率色収差と焦点軸上の軸上色収差が発生するので、波長による屈折率変化の少ないガラスや光学結晶と波長による屈折率変化の大きいガラスや光学結晶を組み合わせて収差を補正する。しかし、波長による屈折率変化の少ないガラスや光学結晶は屈折率の絶対値が低くかつ高価なので、色収差の光学補正が十分にできない。大きさと費用の制約から各収差の光学補正が不足し、高倍率ズームレンズの望遠端や顕微鏡の超高倍率対物レンズなどでは軸上色収差が発生し焦点基準面が多少ずれる。そこで、倍率色収差や幾何学歪等の焦点基準面内の収差は電子的に補正している。また、色分解光学系と複数の固体撮像素子を有する場合は、軸上色収差の典型値に合わせて、固体撮像素子の基準位置を色で一定量オフセットさせている。さらに、軸上色収差の変化に合わせて固体撮像素子の基準位置を変位させる事が提案されている（特許文献３参照）。また、ズーミングに合わせてバックフォーカスレンズを移動させている（特許文献４参照）。可視光と近赤外光との切替でズームレンズの焦点基準面がずれるのことの補正も行われている。家電用の記録付きビデオカメラでは、焦点位置を微小震動させて、自動焦点合わせを行うものもある。

可視光近傍以外は各収差の光学補正が困難な為、波長による焦点移動の差等の焦点基準面外の各収差は、可視光を離れた遠赤外光や真空紫外光が可視光よりはるかに大きい。

特開２００２-４４５２８号公報 特開２００６−８６８５５号公報 特開平１−１２８６８８号公報 特開平１１−３０５１０７号公報

CX-PAL Vol.44 ICX642AKA ソニー(株) 高感度ＣＣＤカラーカメラＮＣ−２８ＨＳ日興電機通信(株) http://www.sony.co.jp/SonyInfo/News/Press/200801/08-010/index.html ソニー(株) 放送用カメラＨＬ−６５ＷH128A073-SI-F1池上通信機(株)

補色フィルターの撮像面対角８ｍｍＣＣＤ撮像素子と１２ｂｉｔＡ／Ｄとフレームメモリとを用い、適応型雑音低減で確保したＳ／Ｎ分を暗部を黒伸張すれば、自然な映像は得られるが、１０倍のダイナミックレンジを確保する程度だった。

ＣＭＯＳ撮像素子で対数圧縮すると、不自然な映像となっていた。ＣＣＤ撮像素子で倍速走査し短い掃き捨てと長い掃き捨てとを加算しても不自然な映像となっていた。

ＣＣＤ撮像素子で掃き捨て動作と読み出し動作の位相を工夫して奇数ラインと偶数ラインとで蓄積時間を可変し蓄積時間の長い白制限領域を用いると、画面内で不均一な白制限領域と画面内で不均一な白飽和領域とを用い、各色で飽和レベルと不均一飽和レベルとが異なるため、被写体と映像との色相が大きく相違する。

また、赤緑青のＣＣＤで読み出し駆動回路を独立にもうけて、蓄積時間を赤緑青のＣＣＤで独立に可変したり、赤緑青のＣＣＤで駆動回路を独立にもうけて、掃き捨て時間と読み出し時間を赤緑青のＣＣＤで独立に可変し、各色Ｓ／Ｎを概略均等にしても、飽和は赤緑青のＣＣＤで異なってしまう。

電子増倍型撮像素子は感度を高くできるが、飽和が低くなり、ダイナミックレンジが狭くなる。また、暗部に目立つ重畳雑音の１／ｆ雑音やＥＭ−ＣＣＤの変調雑音の電子増倍揺らぎ等の低い周波数成分の雑音を減衰させるため、前後の画面または前後のラインの映像と平均化すると、映像信号成分の高周波数成分も動き成分も減衰されてしまう。

本発明の目的は、上記の問題を解決し、入射光量に対する出力の非直線線を各色同士で揃えて、被写体と映像との色相を揃えて、映像信号成分を確保しながら雑音等の偽信号を減衰し、ダイナミックレンジを確保することにある。

本発明は、上記課題を解決するため、利得調整部または電子増倍度調整部との少なくとも一方と入射光を複数の波長域（以下色）に分解する色分解光学系と複数の固体撮像素子と１４ｂｉｔ以上のＡ／Ｄと映像信号処理部とを有する固体撮像装置において、（赤緑青等の）各色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てる電荷掃捨部と前記各色の固体撮像素子の飽和を調整する電極電圧を調整する電極電圧調整部とを有することと、少なくとも１色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てを可変することに応じて前記少なくとも１色の固体撮像素子の飽和を調整する電極電圧を調整して前記少なくとも１色の固体撮像素子の飽和を揃えることと、前記映像信号処理部で少なくとも１色の前記撮像素子で撮像した映像信号の前記撮像素子の飽和特性を補正することまたは前記映像信号の高輝度を圧縮し暗部を伸張するこの少なくとも一方を行うこととを特徴とする固体撮像装置である。

また上記において、（中照度時は）、照明電源周期の掃き捨てまたは掃き捨て非動作の少なくとも一方の固定周期掃き捨ての色の前記固体撮像素子の出力が一定になるように光学絞りや可変光量減衰（ＮＤ）フィルタ他の光量調整部で入射光量を調整し、可変周期の色の前記固体撮像素子の出力が一定になるように掃き捨てを前記色で可変すること、または、掃き捨て周期の最も長い色の前記固体撮像素子の出力の非加算混合が一定になるように光学絞り他で入射光量を制御し、掃き捨て周期が最も長くない色の前記固体撮像素子の出力が一定になるように掃き捨てを可変すること、または、前記固体撮像素子に電子増倍型固体撮像素子を用い、（低照度時は）、入射光量固定で、固定周期掃き捨ての色の撮像装置の出力が一定になるように共通に可変増倍または増幅し、可変周期の掃き捨ての色の前記電子増倍型固体撮像素子の出力が一定になるように掃き捨てを可変すること、の少なくとも一つを行うことを特徴とする固体撮像装置である。

上記において、青の掃き捨てを固定にし赤と緑との掃き捨てを共通に可変することと、赤と青との掃き捨てを固定にし緑の掃き捨てを可変すること、との少なくとも一つを行うことをを特徴とする固体撮像装置である。

また、利得調整部または電子増倍度調整部との少なくとも一方と入射光を複数の波長域（以下色）に分解する色分解光学系と固体撮像素子とと１４ｂｉｔ以上のＡ／Ｄと映像信号処理部とを有する固体撮像装置において、（赤緑青等の）各色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てる電荷掃捨部と前記各色の固体撮像素子の飽和を調整する電極電圧を調整する電極電圧調整部とを有することと、各色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てを可変することに応じて前記各色の固体撮像素子の飽和を調整する電極電圧を調整して前記各色の固体撮像素子の飽和を揃えることと、前記映像信号処理部で各色の前記撮像素子で撮像した映像信号の前記撮像素子の飽和特性を補正することまたは前記映像信号の高輝度を圧縮し暗部を伸張するこの少なくとも一方を行うこととを特徴とする固体撮像装置である。

上記において、（中照度時は）、照明電源周期の掃き捨てまたは掃き捨て非動作の少なくとも一方の固定周期掃き捨ての色の前記固体撮像素子の出力が一定になるように光学絞りや可変光量減衰（ＮＤ）フィルタ他の光量調整部で入射光量を調整し、可変周期の色の前記固体撮像素子の出力が一定になるように掃き捨てを前記色で個々に可変すること、または、掃き捨て周期の最も長い色の前記固体撮像素子の出力の非加算混合が一定になるように光学絞り他で入射光量を制御し、掃き捨て周期が最も長くない色の前記固体撮像素子の出力が一定になるように掃き捨てを個々に可変すること、または、前記固体撮像素子に電子増倍型固体撮像素子を用い、（低照度時は）、入射光量固定で、固定周期掃き捨ての色の撮像装置の出力が一定になるように共通に可変増倍または増幅し、可変周期の掃き捨ての色の前記電子増倍型固体撮像素子の出力が一定になるように掃き捨てを個別に可変すること、の少なくとも一つを行うことを特徴とする固体撮像装置である。

さらに、上記において、前記映像信号処理部は暗部の映像を伸張する信号処理部であり、ラインメモリまたは画面メモリの少なくとも一つと相関検出部と加算平均部とを有し、前記相関検出部は、現在の映像と前後の画面または前後のラインの少なくとも一つと相関量を検出し、前記加算平均部は現在の映像との相関の高い映像を検出した前記相関量に応じて現在の映像に加算平均すること、または、前後の画面の複数走査線の映像を水平に画素をずらして相関を計算して動きベクトルを検出し、動きベクトルに合わせて前後の画面の相関の高い走査線の映像を水平に画素をずらしてから現在の映像に加算平均することとの少なくとも一方を行うことを特徴とする固体撮像装置である。

また、屈折結像光学系と固体撮像素子を有する固体撮像装置において、前記固体撮像素子の信号電荷を蓄積する時間位相を可変する手段と、前記屈折結像光学系の像面の傾きまたは像面湾曲の少なくとも一方を算出する手段と、前記屈折結像光学系の焦点を可変する手段と、を有し、信号電荷を蓄積する時間位相と同期して像面の傾きまたは像面湾曲の少なくとも一方の光学系情報に応じて前記屈折結像光学系の焦点を可変し、信号電荷を読みだすことを特徴とする固体撮像装置である。

また、屈折結像光学系と固体撮像素子を有する固体撮像装置において、（水平分割信号電荷蓄積と読み出しや、水平順次信号電荷蓄積と読み出しや、スリットシャッタ等の）前記固体撮像素子の水平方向の信号電荷を蓄積する時間位相を可変する手段と、前記屈折結像光学系の倍率情報や焦点距離可変情報などの結像光学系情報を取得する手段と、前記屈折結像光学系の像面湾曲を前記結像光学系情報から算出する手段と、前記屈折結像光学系の焦点（前記屈折結像光学系のフォーカス）を可変する手段と、を有し、信号電荷を蓄積する時間位相と同期して前記結像光学系情報から算出した像面湾曲光学系情報に応じて前記屈折結像光学系の焦点を可変し、信号電荷を読みだすことを特徴とする固体撮像装置である。

つまり、固体撮像素子の信号電荷を蓄積する時間位相を可変する手段を追加し固体撮像素子の駆動条件を工夫し、映像信号処理または光学系の焦点可変を工夫する固体撮像装置である。

本発明によれば、（赤緑青等の）各色の固体撮像素子の電極電圧を調整し各色の飽和を揃えて撮像素子飽和特性を補正して高輝度圧縮し暗部を伸張するだけで、入射光量に対する出力の非直線線を各色撮像素子同士で揃えたことになるので、固体撮像素子の飽和特性で各色の固体撮像素子の高輝度領域でのダイナミックレンジとＳ／Ｎとを確保できる。さらに、電子増倍型撮像素子の駆動条件の工夫を追加するだけで、電子増倍型撮像素子の低輝度領域でのダイナミックレンジを確保できる。

特に、青の掃き捨てを固定にし赤と緑との掃き捨てを共通に可変すること、または赤と青との掃き捨てを固定にし緑の掃き捨てを可変することを行えば、掃き捨て可変は従来どおり、１種類で済み、屋内等の照明色温度が一定な条件のダイナミックレンジを確保できる。

さらに、前後の画面または前後のラインの相関の高い映像を検出した前記相関量に応じて現在の映像に加算平均することで、映像信号の高周波数成分や、動き成分の低減を押さえて、低周波の変調雑音の電子増倍揺らぎや重畳雑音の熱雑音等が減少する。または、前後の画面の映像の水平垂直に画素をずらして相関を計算して動きベクトルを検出し、動きベクトルに合わせて前後の画面の映像を水平垂直に画素をずらしてから現在の映像に加算平均すれば、画面内を移動している被写体も、映像信号の高周波数成分や、動き成分を維持したままで、電子増倍揺らぎや熱雑音等が低減される。さらに、雑音が低減した分暗部の映像を伸張することと合わせて、低輝度領域でのダイナミックレンジを確保できる。

また、屈折結像光学系の焦点移動に応じて、屈折結像光学系のバックフォーカス調整の小型レンズ位置を高速可変し、分割・順次読出しや、スリットシャッタ等で焦点移動に応じた信号電荷のみを読み出し、従来の電子補正では困難だった、像面の傾きや像面湾曲や軸上色収差等の焦点基準面移動つまり焦点外の収差が低減できる。

色分解光学系と複数の固体撮像素子を用いた場合、蓄積時間に応じて固体撮像素子の電極電圧を調整して各色の固体撮像素子の飽和を揃え、感度低下の抑制とダイナミックレンジの確保を両立できる。

本発明の１実施例の撮像装置の構成を示すブロック図（（ａ）ＥＭ−ＣＣＤ、（ｂ）ＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤ） 非個別掃き捨て非増倍のＣＣＤ入出力の模式図（（ａ）低中高照度時、（ｂ）ＥＭ−ＣＣＤの超低照度時） 本発明の1実施例の個別掃き捨てのＣＣＤ入出力の模式図（（ａ）低中高照度時、（ｂ）ＥＭ−ＣＣＤの超低照度時） 本発明の1実施例の個別掃き捨てのタイミングチャート（ＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤ） 本発明の他の1実施例の個別掃き捨てのタイミングチャート（ＩＴ−ＣＣＤ） 従来の撮像装置の構成を示すブロック図（ａ）ＥＭ−ＣＣＤ、（ｂ）ＩＴ−ＣＣＤ、 本発明の別の他の1実施例の個別掃き捨てのＣＣＤ入出力の模式図（ａ）低中高照度時、（ｂ）ＥＭ−ＣＣＤの超低照度時、 本発明の1実施例の相関平均含む映像信号処理部の内部ブロック図 本発明の他の1実施例の撮像装置の構成を示すブロック図（（ａ）ＥＭ−ＣＣＤ、（ｂ）ＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤ） 本発明の他の1実施例の撮像装置の焦点距離と焦点基準位置変動を示す模式図（（ａ）各色の焦点基準位置変動量、（ｂ）各色の焦点基準位置の関係） 本発明の他の1実施例の撮像装置の焦点距離と焦点基準位置補正のタイミングチャート（ＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤ） 本発明の他の1実施例の撮像装置の焦点距離と焦点基準位置補正のタイミングチャート（ＩＴ−ＣＣＤ） 本発明の他の1実施例の共通掃き捨ての撮像装置の構成を示すブロック図（（ａ）ＥＭ−ＣＣＤ、（ｂ）ＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤ） 本発明の他の1実施例の赤緑共通掃き捨てのＣＣＤ入出力の模式図（（ａ）低中高照度時、（ｂ）ＥＭ−ＣＣＤの超低照度時） 本発明の他の1実施例の赤青共通掃き捨てのＣＣＤ入出力の模式図（（ａ）低中高照度時、（ｂ）ＥＭ−ＣＣＤの超低照度時） 本発明の他の1実施例の撮像装置の構成を示すブロック図（（ａ）3−撮像素子 分割・順次読出、合成、（ｂ）オンチップカラーフィルタ付分割・順次読出撮像素子、（ｃ）時分割色フィルタと分割・順次読出撮像素子、（ｄ）スリットシャッタとオンチップカラーフィルタ付撮像素子） 本発明の他の1実施例の撮像装置の焦点距離と像面湾曲変動と露光タイミングを示す模式図（（ａ）像面湾曲と焦点距離、（ｂ）像面湾曲と撮像面、(ｃ)像面湾曲と露光タイミング） 本発明の他の1実施例の撮像装置の像面傾きと像面湾曲と露光タイミングを示す模式図（（ａ）像面の水平傾きと撮像面、（ｂ）像面の水平傾きと露光タイミング、（ｃ）像面水平傾きと像面湾曲と撮像面、（ｄ）像面の水平傾きと像面湾曲と露光タイミング、（ｅ）像面の垂直傾きと撮像面、（ｆ）像面の垂直傾きと露光タイミング）

以下、本発明による撮像装置の一実施例について、本発明の1実施例の撮像装置の構成を示すブロック図の図１と、本発明の1実施例の相関平均含む映像信号処理部の内部ブロック図の図８と、非個別掃き捨て非増倍のＣＣＤ入出力の模式図の図２と、本発明の1実施例の個別掃き捨てのＣＣＤ入出力の模式図の図３と本発明の別の他の１実施例の個別掃き捨てのＣＣＤ入出力の模式図の図７と、本発明の1実施例の個別掃き捨てのタイミングチャートの図４と、本発明の他の1実施例の個別掃き捨てのタイミングチャートの図５とを用いて説明する。

本発明の1実施例の撮像装置の構成を示すブロック図の図１において、（ａ）はＥＭ−ＣＣＤであり、（ｂ）はＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤであり、従来の撮像装置の構成を示すブロック図の図６との相違は、各色にＴＧ含むオーバーフロードレイン駆動部が個別にあることと、映像信号処理部５に相関平均を含むことである。また横型オーバーフロードレインＦＴ−ＣＣＤでは、図１（ｂ）において、ＩＴ−ＣＣＤを横型オーバーフロードレインＦＴ−ＣＣＤと機械シャッタに置き換えれば本発明を適用可能である。

本発明の一実施例の撮像装置を示すブロック図である図１において、１と４は撮像装置、２は入射光を結像するレンズ部、３は入射光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）に分解する色分解光学系、５はＦＥＰから出力された信号Ｌに適応平均を含む種々の画像処理を施し所定方式の映像信号に変換する映像信号処理部、６は撮像装置１内の各部を制御するＣＰＵであり、７，８，９はレンズ部２から入射した光を電気信号に変換するＥＭ−ＣＣＤであり、１０，１１，１２は雑音を除去するＣＤＳと暗電流補正とＡＧＣとデジタル映像信号Ｖｉに変換するＡＤＣと水平転送パルスを発生するＦＥＰである。１３は垂直読み出しと垂直転送パルスを発生しＣＣＤを駆動する読出垂直転送駆動部であり、１４、１５，１６はサブストレート等のオーバーフロードレインの駆動を行うＯＤ（Overflow Drain）駆動部であり、１７，１８，１９はV-subやVgg等の電極電圧を調整する電極電圧部でる。２３，２４，２５は電子増倍を行うＣＭＧを駆動するＣＭＧを駆動部である。２６，２７，２８はＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤである。

映像信号処理部９から出力される所定方式の映像信号とは、例えば、ＮＴＳＣ（National Television System Committee）方式、ＰＡＬ（Phase Alternating by Line）方式またはＨＤＴＶ（High Definition TeleVision）方式等の動画像あるいは静止画像のアナログ信号またはＳＤＩ（Serial Digital Interface）信号である。

本発明の1実施例の相関平均含む映像信号処理部の内部ブロック図の図８の従来の撮像装置との相違は、従来と共通の黒伸張含む映像信号処理部３１と映像メモリ３２と平均部２９とＳＤＩ含む出力回路３０に加えて、相関検出部３３がある。現在の映像と前後の画面の映像と前後のラインの映像との相関を比較し、現在の映像と相関の高い映像ＲＶｃ，ＢＶｃ，ＢＶｃとを検出した相関量ＲＣ，ＧＣ，ＢＣに応じて加算平均し、相関加算平均映像信号ＲＶａ，ＢＶａ，ＢＶａすることで、映像信号の高周波数成分や、動き成分の減少を押さえて、１／ｆ雑音やＥＭ−ＣＣＤの電子増倍揺らぎ等の低い周波数成分の雑音が減衰する。さらに、前後の画面の複数走査線の映像を水平に画素をずらして相関を計算して動きベクトルを検出し、動きベクトルに合わせて前後の画面の相関の高い走査線の映像を水平に画素をずらしてから現在の映像に加算平均すれば、画面内を移動している被写体も、映像信号の高周波数成分や、動き成分を維持したままで、低い周波数成分の雑音が効果的に低減される。さらに、雑音が低減した分暗部の映像を伸張することと合わせて、低輝度領域でのダイナミックレンジを確保できる。前後の画面はフレームまたはフィールドのどちらでも良い。

ＲＶｍ，ＢＶｍ，ＢＶｍは映像メモリ３２の出力映像であり、現在の映像と前後の画面の映像と前後のラインの映像からなる。ＲＶo，ＢＶo，ＢＶoは出力回路３０でシリアルデジタル映像信号や複合映像信号のVideo Outに変換される。

赤緑青等の各色の固体撮像素子の電極電圧を調整し各色の飽和を揃えて撮像素子飽和特性を補正して高輝度圧縮し暗部を伸張するだけで、入射光量に対する出力の非直線線を各色撮像素子同士で揃えたことになるので、固体撮像素子の飽和特性で各色の固体撮像素子の高輝度領域でのダイナミックレンジとＳ／Ｎとを確保できる。さらに、電子増倍型撮像素子の駆動条件の工夫を追加するだけで、電子増倍型撮像素子の低輝度領域でのダイナミックレンジを確保できる。

低照度時は入射光量固定で、固定周期掃き捨ての色の撮像装置の出力が一定になるように共通に可変増倍または増幅し、可変周期の掃き捨ての色の前記電子増倍型固体撮像素子の出力が一定になるように掃き捨てを個別に可変し、前後のフレームまたは前後のラインの少なくとも一つの相関の高い映像を加算平均し、電子増倍揺らぎまたは熱雑音を減衰し、暗部を伸張すれば、低輝度領域でのダイナミックレンジを確保できる。

次に、非個別掃き捨て非増倍のＣＣＤ入出力の模式図の図２と、本発明の1実施例の個別掃き捨てのＣＣＤ入出力の模式図の図３と本発明の別の他の１実施例の個別掃き捨てのＣＣＤ入出力の模式図の図７を用いて、動作を説明する。

非個別掃き捨てのＣＣＤ入出力の模式図の図２において、（ａ）は低中高照度時であり、（ｂ）はＥＭ−ＣＣＤの超低照度時である。

分光感度から緑の感度が高く、赤の感度が緑より少し低く、青の感度が緑のおおよそ１／４と大きく低く、飽和は感度の逆数分となり、緑がおおよそ４倍から飽和が始まり、赤がおおよそ６倍から飽和が始まり、青がおおよそ１６倍から飽和が始まる。感度の逆数分、電子増倍または増幅すれば、緑の飽和が始まるおおよそ４倍まで赤緑青が揃う。つまり高輝度部のダイナミックレンジは４倍となる。

本発明の1実施例の個別掃き捨てのＣＣＤ入出力の模式図の図３において、（ａ）は低中高照度時であり、（ｂ）はＥＭ−ＣＣＤの超低照度時であり、非個別掃き捨てのＣＣＤ入出力の模式図の図２との相違は、各色で個別掃き捨てのにより、各色の感度と飽和とが揃っていることである。

赤緑青とが揃っておおよそ１６倍から飽和が始まる。ＣＣＤ撮像素子のV-subやVgg等の電極電圧を調整して赤緑青の飽和のばらつきを揃える。

ここで、１４bit以上のＡ／Ｄを用いている場合、雑音が非個別掃き捨ての約３倍の約１０ｄＢ劣化しＳ／Ｎ６６ｄＢが５６ｄＢになるが、高輝度部のダイナミックレンジは非個別掃き捨ての４倍から３２倍となる。暗部を２倍にブラックストレッチさせ実用Ｓ／Ｎを６ｄＢ劣化させても、５０ｄＢと監視用１ＣＣＤカメラのＳ／Ｎの５０ｄＢと同等である。纏めるとＳ／Ｎとダイナミックレンジは６６ｄＢと４倍となるから、感度飽和を揃えれば５６ｄＢと３２倍となり、ブラックストレッチ２倍すれば５０ｄＢと６４倍となる。

本発明の別の他の１実施例の個別掃き捨てのＣＣＤ入出力の模式図の図７において、（ａ）は低中高照度時であり、（ｂ）はＥＭ−ＣＣＤの超低照度時であり、図３との相違は、１６bit以上のＡ／Ｄと６．５倍と高ダイナミックレンジの撮像対角１１ｍｍのいわゆる２／３型ＣＣＤ撮像素子を用いていることと、非個別掃き捨てより絞りを２絞り開いていることである。赤緑青とが揃っておおよそ１３倍から飽和が始まる。１７，１８，１９の電極電圧部においてＣＣＤ撮像素子のV-subやVgg等の電極電圧を調整して赤緑青の飽和ばらつきを揃える。絞りを２絞り開いているので感度が4倍低下する代わりに、雑音が非個別掃き捨ての約２ｄＢ減少しＳ／Ｎは６８ｄＢが７０ｄＢになり、スタジオカメラとしては、感度Ｓ／Ｎとも非常に好ましい。暗部を８倍にブラックストレッチさせ実用Ｓ／Ｎを１８ｄＢ劣化させても、５２ｄＢと監視用１ＣＣＤカメラ以上である。纏めるとＳ／Ｎとダイナミックレンジは６８ｄＢと６．５倍となるから、感度飽和を揃えれば７０ｄＢと１３倍となり、ブラックストレッチ８倍すれば５０ｄＢと１０４倍となる。

引き続き、本発明の1実施例の個別掃き捨てのタイミングチャートの図４と、本発明の他の1実施例の個別掃き捨てのタイミングチャートの図５とを用いて説明する。

本発明の1実施例の個別掃き捨てのタイミングチャートの図４はＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤであり、本発明の他の1実施例の個別掃き捨てのタイミングチャートの図５はＩＴ−ＣＣＤである。

ＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤを用いた本発明の１実施例の撮像装置の撮影タイミングチャートと動作を示す模式図の図４において、赤（Ｒ）緑（Ｇ）青（Ｂ）各色の感度に比例した図４の下の赤信号電荷、緑信号電荷、青信号電荷、の点線の様に、個々のタイミングにＳｕｂに正のパルスを印加し、ＲＧＢ個々にＰＤ電荷を掃き捨ててからＰＤ電荷を蓄積し、図４の下の赤信号電荷、緑信号電荷、青信号電荷、の実線の様に、ＲＧＢ同一信号電荷を蓄積し、ＲＧＢ同一感度とする。垂直帰線期間にＶ１Ａ,Ｖ３Ａに正の読み出しパルスを印可し垂直転送ＣＣＤにＰＤ電荷を読み出す。垂直帰線期間にＶ１Ａ,Ｖ２Ａ，Ｖ３Ａ,Ｖ４ＡとＶ１Ｂ,Ｖ２Ｂ，Ｖ３Ｂ，Ｖ４Ｂに負の高速転送パルスを印可して、蓄積部に転送し、垂直映像期間にＶ１Ｂ,Ｖ２Ｂ，Ｖ３Ｂ，Ｖ４Ｂに負の転送パルスを印可して、水平転送ＣＣＤに転送し、垂直映像期間の水平映像期間に電荷を水平転送しながら電圧変換し読み出す。ＥＭ−ＣＣＤでは、ＣＭＧに15Vp-pから27Vp-pを印加して電子増倍し、高感度動作を行う。

ＩＴ−ＣＣＤを用いた本発明の１実施例の撮像装置の撮影タイミングチャートと動作を示す模式図の図５において、赤（Ｒ）緑（Ｇ）青（Ｂ）各色の感度に比例した図５の下の赤信号電荷、緑信号電荷、青信号電荷、の点線の様に、個々のタイミングにＳｕｂに正のパルスを印加し、ＲＧＢ個々にＰＤ電荷を掃き捨ててからＰＤ電荷を蓄積し、図５の下の赤信号電荷、緑信号電荷、青信号電荷、の実線の様に、ＲＧＢ同一信号電荷を蓄積し、ＲＧＢ同一感度とする。ＲＧＢ個々のタイミングにＳｕｂに正のパルスを印加し、ＲＧＢ個々にＰＤ電荷を掃き捨ててからＰＤ電荷を蓄積する。垂直帰線期間にＶ１,Ｖ３に正の読み出しパルスを印可し垂直転送ＣＣＤにＰＤ電荷を読み出す。垂直映像期間の水平帰線期間にＶ１,Ｖ２，Ｖ３,Ｖ４に負の転送パルスを印可して、水平転送ＣＣＤに転送し、垂直映像期間の水平映像期間に電荷を水平転送しながら電圧変換し読み出す。

上記の説明は、照明色温度と色温度変換光学フィルタの色温度が一致している場合を説明したが、照明色温度が色温度変換光学フィルタの色温度より大きく低い場合は、赤の分光感度が最も高くなり、照明色温度が色温度変換光学フィルタの色温度より大きく高い場合は、青の分光感度が最も高くなり、分光感度の差は、赤、緑、青で入れ替わり、掃き捨て動作も赤、緑、青で入れ替わる。

また、上記の説明は、可視光を赤、緑、青に分解しカラー映像を作り出す場合の色によるシリコン製撮像素子ＣＣＤ撮像素子の分光感度の補正である。ところで、波長による分光感度の差は、赤、緑、青より近赤外光や近紫外光がはるかに大きい。したがって、可視光と近赤外光を撮影する暗視用カメラや、ミツバチの視感度と同等に緑、青と近紫外光を撮影し疑似カラー映像を作り出す疑似カラーカメラやさらに波長の短い紫外光を分光撮影するカメラは、各映像信号の分光感度の差が大きいので、本発明を適用可能である。

また、さらに波長の長い赤外線を分光撮影するカメラでは、大気の吸収がほとんどない大気の窓といわれる波長と、大気の吸収が激しい波長とで、照明強度が激しく異なるので、本発明を適用可能である。さらに波長が大きく異なると、シリコンやInGaAs等と撮像素子の素材も異なり、フォトダイオードやボロメータ等と撮像素子の受光素子構造も異なり、感度、雑音、飽和レベル、非直線性も異なり、分光撮影するカメラの本発明の有効性が高くなる。

ところで、図９は、本発明の他の1実施例の撮像装置の構成を示すブロック図であり、（ａ）はＥＭ−ＣＣＤ、（ｂ）はＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤであり、本発明の１実施例の撮像装置の構成を示すブロック図の図１との相異は、焦点基準位置可変３９がある事と、屈折結像光学系の例としてのレンズ２からレンズ情報ＣＰＵ６に送られている事である。図１０は、本発明の他の1実施例の撮像装置の焦点距離と焦点基準位置変動を示す模式図であり、（ａ）は各色の焦点基準位置変動量、（ｂ）は各色の焦点基準位置の関係を示し、軸上色収差含めた焦点変動の補正焦点基準点の垂直周期的移動と垂直周期内蓄積位相可変の関係を示している。図１１は本発明の他の1実施例の撮像装置のＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤの焦点距離と焦点基準位置補正のタイミングチャートであり、ＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤの本発明の1実施例の個別掃き捨てのタイミングチャートの図４との相異は、ＰＤ電荷を垂直転送路Ｖ１，Ｖ３に読み出す正パルスが垂直映像期間の水平帰線期間にある事である。図１２は本発明の他の1実施例の撮像装置のＩＴ−ＣＣＤの焦点距離と焦点基準位置補正のタイミングチャートであり、ＩＴ−ＣＣＤの本発明の他の1実施例の個別掃き捨てのタイミングチャートの図５との相異は、ＰＤ電荷を垂直転送路Ｖ１，Ｖ３に読み出す正パルスが垂直映像期間の水平帰線期間にある事である。

図９は、本発明の他の1実施例の撮像装置の構成を示すブロック図であり、焦点基準位置可変３９の１例としては、レンズ２の一部のバックフォーカスレンズとそれを微小可動するモーターまたはムービングコイルまたは圧電素子を用いる。レンズの倍率情報や焦点距離可変（ズーミング）情報などのレンズ２のレンズ情報はポテンションメーター等で電気信号に変換され、ＣＰＵ６に送られる。レンズの各色の焦点移動（焦点移動と軸上色収差）はレンズ情報からＣＰＵ６で算出し、バックフォーカスレンズとそれを高速に微小可動する。また、レンズ２の各色の焦点移動に合わせてＣＰＵ６はＯＤ駆動部と垂直転送駆動部を制御してＳｕｂの正の掃き捨てパルスとＶ１,Ｖ３の正の読み出しパルスの時間位相つまり電荷を蓄積する時間位相を設定する。

非特許文献１の様に対角長4.5mmと小面積の撮像素子でも高感度となったので、撮像素子の感度に比例してレンズの口径比は大きく（口径比の逆数の開口数は小さく）でき、バックフォーカスレンズの直径は撮像素子対角長と感度の逆数の積に比例して小さくできる。さらに、バックフォーカスレンズの厚さは屈折率の自乗の逆数に比例し高屈折率ガラスで薄くできる。そのため、バックフォーカスレンズは直径は小さく薄く軽量になり、バックフォーカスレンズ位置を高速可変することが可能となる。

図１０は、本発明の他の1実施例の撮像装置の焦点距離と焦点基準位置変動を示す模式図であり、（ａ）は各色の焦点基準位置変動量、（ｂ）は各色の焦点基準位置の関係を示し、軸上色収差含めた焦点変動の補正焦点基準点の垂直周期的移動と垂直周期内蓄積位相可変の関係を示している。広角（WIDE）側や中間では、各色の焦点基準位置変動量は少ない。望遠（TELE）端では、各色の焦点基準位置変動量は大きい。

図１１の本発明の他の1実施例の撮像装置のＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤの焦点距離と焦点基準位置補正のタイミングチャートの様に、ＥＭ−ＣＣＤやＦＩＴ−ＣＣＤなら垂直映像期間の別々の水平帰線期間にＳｕｂに正のパルスを印加し、ＰＤ電荷を掃き捨ててからＰＤ電荷を蓄積し、水平周期の整数倍後の水平帰線期間にＶ１Ａ，Ｖ３Ａに正の読み出しパルスを印可し垂直転送ＣＣＤにＰＤ電荷を読み出し、垂直帰線期間に垂直転送路Ｖ１Ａ，Ｖ２Ａ，Ｖ３Ａ，Ｖ４Ａから垂直転送路Ｖ１Ｂ，Ｖ２Ｂ，Ｖ３Ｂ，Ｖ４Ｂに高速転送し垂直映像期間に垂直転送路Ｖ１Ｂ，Ｖ２Ｂ，Ｖ３Ｂ，Ｖ４Ｂから水平転送路に読み出し、図示しない水平転送とを行うことによりＰＤ電荷を映像信号電圧としてＣＣＤから出力する。その結果、ＣＣＤ出力のタイミングは通常動作と同一のまま、水平周期の整数倍で蓄積位相を可変できる。電荷蓄積時間が垂直周期の概略１／１６程度になるが、ＥＭ−ＣＣＤなら感度が高く問題ない。

図１２の本発明の他の1実施例の撮像装置のＩＴ−ＣＣＤの焦点距離と焦点基準位置補正のタイミングチャートの様に、ある垂直映像期間の別々のの水平帰線期間にＳｕｂに正のパルスを印加し、ＰＤ電荷を掃き捨ててからＰＤ電荷を蓄積し、水平周期の整数倍後の水平帰線期間にＶ１,Ｖ３に正の読み出しパルスを印可し垂直転送ＣＣＤにＰＤ電荷を読み出し、次の垂直映像期間に垂直転送と映像メモリ入力と同位相の図示しない水平転送とを行いＰＤ電荷を映像信号電圧としてＣＣＤから出力しＦＥＰ１０，１１，１２経由で相関平均含む映像信号処理部内の映像メモリに入力される。その結果、信号電荷を蓄積しＰＤ電荷を読み出す垂直周期と、垂直転送しＣＣＤから出力する垂直周期が交互となり、フィールドメモリまたはフレームメモリの映像メモリが必要になり、画面周期が半分になる。

以上の動作により、レンズ２の各色の焦点移動に応じて、バックフォーカスレンズ位置を高速可変し、各色の焦点移動に応じた焦点結像の信号電荷のみを読み出し、従来の電子補正では困難だった、焦点外の軸上収差が低減できる。軸上収差が多いが全長の短い高倍率ズームレンズが画素数の少ないＮＴＳＣカメラからＨＤＴＶカメラからＵＨＤＴＶカメラからデジタル一眼レフカメラ等の画素数の多いカメラに使用できる。

また、バックフォーカスレンズ位置を高速可変する端付近は高速可変周期内の時間当たりの位置可量が少なく、高速可変する中心付近は高速可変周期内の時間当たりの位置可変量が大きい。また照明の色温度によって各色の分光感度が異なる。そのため、感度低下を最低限にするために、各色で蓄積時間が異なる。そこで、各色の蓄積時間に応じて１７，１８，１９の電極電圧部で各色のＣＣＤ撮像素子のV-subやVgg等の電極電圧を調整して赤緑青の飽和を揃える。

ところで、図１３は、本発明の他の１実施例の共通掃き捨ての撮像装置の構成を示すブロック図であり、（ａ）はＥＭ−ＣＣＤ、（ｂ）はＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤであり、本発明の１実施例の撮像装置の構成を示すブロック図の図１との相異は、赤が青または緑と共通掃き捨てである事であり、論理スイッチ３８で、赤緑共通可変掃き捨てと、赤青共通固定掃き捨てを切り替える。図１４と図１５とは、本発明の他の1実施例の共通掃き捨てのＣＣＤ入出力の模式図図であり、（ａ）は低中高照度時、（ｂ）はＥＭ−ＣＣＤの超低照度時であり、本発明の１実施例のの個別掃き捨てのＣＣＤ入出力の模式図の図３との相異は、赤が青または緑と共通掃き捨てである事であり、図１４は高色温度の赤青共通固定で緑可変であるか低色温度の青固定で赤緑共通可変である掃き捨てで、図１５は高色温度の青固定で赤緑共通可変であるか低色温度の赤青共通固定で緑可変である掃き捨てである。つまり、感度の低い青は掃き捨て動作せずに感度の高い緑を電子シャッタ動作を可変し、赤は分光感度に比べて色温度が高く赤感度が低い場合は感度の低い青と共通掃き捨て動作とし、赤は分光感度に比べて色温度が低く赤感度が高い場合は感度の高い緑と共通掃き捨て動作とする。掃き捨て可変は従来どおり、１種類で済み、赤または青の感度約2ｄB低下分S/N改善は減少するが、ダイナミックレンジを改善を確保できる。

具体的には、垂直周期1/60秒の撮像装置で、緑が掃き捨てで露光時間1/90秒でＲとＢが掃き捨てなしの露光時間1/60秒、とするか、緑と赤が掃き捨てで露光時間1/90秒で青が掃き捨てなしの露光時間1/60秒とすれば、感度はおおよそ−３ｄＢで、Ｓ／Ｎとダイナミックレンジが向上する。また、緑と赤が掃き捨てで露光時間1/125秒で青が掃き捨てなしの露光時間1/60秒とすれば、感度はおおよそ−６ｄＢで、Ｓ／Ｎとダイナミックレンジが向上する。

絞り位置にスポットＮＤを有するレンズや、可変ＮＤを有する光学系を用いる撮像装置ではや、掃き捨てによる露光時間の可変量は少なくても良い。さらに、赤減衰が少ない赤外カットフィルタを用いるか、フォトダイオードが深く形成された撮像素子や、オンチップレンズからフォトダイオードまでの透光層が厚い撮像素子を用いるか、電球色蛍光灯等の低色温度照明を用いるかすれば、赤感度と緑感度が同等になり、青掃き捨てなしの固定で、赤緑共通可変掃き捨てで、ダイナミックレンジを確保できる。逆に赤減衰が多い赤外カットフィルタを用いるか、フォトダイオードが浅く形成された撮像素子や、オンチップレンズからフォトダイオードまでの透光層が薄い撮像素子を用いるか、昼光色蛍光灯等の高色温度照明を用いるかすれば、赤感度と青感度が同等になり、赤青共通掃き捨てなしの固定で、緑可変掃き捨てで、ダイナミックレンジを確保できる。スタジオや室内競技場等の照明色温度が一定な室内の撮影に適している。

ところで、上記の説明は、本発明の実施例のＣＣＤ撮像素子の動作であるが、撮像素子とタイミング発生部と駆動部とＦＥＰの機能を統合したＣＭＯＳ撮像素子でも、読み出し方法が異なるだけで、電極電圧を調整して各波長の飽和を揃えることと掃き捨てタイミングの動作は同様で本発明を適用可能である。

さらに、図１６は、本発明の他の1実施例の分割・順次読出撮像素子を用いた撮像装置の構成を示すブロック図で（ａ）は色分解光学系と３ヶの分割・順次読出撮像素子と信号合成処理で、（ｂ）は非特許文献３等のオンチップカラーフィルタ付撮像素子で、（ｃ）は時分割色フィルタと分割・順次読出撮像素子で、（ｄ）はスリットシャッタとオンチップカラーフィルタ付撮像素子の例である。図１６と図１との相違は、ＣＣＤ撮像素子と周辺回路の機能を統合した上に分割・順次読み出しとしたＣＭＯＳ撮像素子または斜行直線ＣＣＤ型画素周辺記録撮像素子の４４，４５，４７，４９と合成部含む映像信号処理部４６，４８，５０とを用いたことである。さらに、色分解光学系３の替わりに図１６（ｂ）はオンチップカラーフィルタ付ＣＭＯＳ撮像素子４４を用い、図１６（ｃ）は時分割色フィルタ４３を用いたことである。図１６（ｄ）は分割・順次読出の替わりにフォカルプレーンシャッタや回転切り欠き円板等のスリットシャッタ５１を用いた例である。

図１６（ｃ）は図１０の焦点距離と焦点基準位置変動を示す模式図の軸上色収差補正と、色分解を同時に時分割で行い、時分割色フィルタを用いて色分解光学系と同等の感度を確保する。分割・順次読出撮像素子４７に水平分割読み出しＣＭＯＳ撮像素子を用い軸上色収差を補正した２４００万画素等の高画素の撮像が静止画でも動画でも可能となる。

図１７は図１６の（ａ）（ｂ）（ｄ）に対応する本発明の他の1実施例の撮像装置の焦点距離と像面湾曲変動と露光タイミングを示す模式図で、（ａ）は像面湾曲と焦点距離で、（ｂ）は像面湾曲と画面で、(ｃ)は像面湾曲と露光タイミングである。図１８は図１６の（ａ）（ｂ）（ｄ）に対応する本発明の他の1実施例の撮像装置の像面傾きと像面湾曲と露光タイミングを示す模式図で、（ａ）は像面の水平傾きと撮像面、（ｂ）は像面の水平傾きと露光タイミング、（ｃ）は像面水平傾きと像面湾曲と撮像面、（ｄ）は像面の水平傾きと像面湾曲と露光タイミング、（ｅ）は像面の垂直傾きと撮像面、（ｆ）は像面の垂直傾きと露光タイミングである。図１６の（ａ）の色分解光学系と３ヶの分割・順次読出撮像素子の構成と（ｃ）の時分割色フィルタと分割・順次読出撮像素子の構成とは、図１７と図１８の動作の他に、図１０の軸上色収差補正の動作も可能である。

図１７と図１８とが、図１０と相違する点は、色ではなく水平位置または垂直位置で焦点基準位置が異なることである。ＨＤＴＶからＵＨＤＴＶは縦横比１６：９で３５ｍｍ相当デジタル一眼レフカメラと横長画面で収差の変化が水平方向に大きい。さらにＣＭＯＳ撮像素子では、水平列を露光し順次読みだすローリングシャッタ方式が主流であるだけでなく、ＵＨＤＴＶのカメラや非特許文献３の３５ｍｍ相当デジタル一眼レフカメラ用ＣＭＯＳ撮像素子や斜行直線ＣＣＤ型画素周辺記録撮像素子は画面を横に多分割して読み出しも行われているので、図１７と図１８の露光タイミングを示す模式図の様に、像面の傾きと像面湾曲の焦点移動に応じた焦点結像の信号電荷のみを読み出すことが容易である。そこで、従来どおり倍率色収差や幾何学歪等の焦点基準面内の収差は電子的に補正すれば、像面の傾きを補正するティルト機能を有する高価なレンズを使用することなく、像面の正立した通常レンズを使用して像面の傾きを補正でき、デジタル一眼レフカメラ等高画素撮像装置の低価格化が容易になる。さらに、水平列を露光し順次読みだすローリングシャッタ方式ＣＭＯＳ撮像素子を用い、水面や地表面を斜め上から撮像する監視カメラの焦点面が水面や地表面と一致し、実効的な解像力が向上する。また、全長を短縮させて像面湾曲の残るレンズを使用して地表面に均一に焦点を結んだ広い撮像面の撮像が可能なので、飛行体に搭載する高画素地表面カメラのレンズの全長を短縮することができる。

さらに、レンズは絞り開放方向では結像する軸上の幅（被写界深度）が狭くなり各収差が増加するが、収差がない場合の解像度となる光学理論限界解像度が高くなり像面の中心解像度が高く平面での周辺解像度が低く、絞りを絞り切り方向では結像する軸上の幅（被写界深度）が深くなり各収差が減少し、収差がない場合の解像度となる光学理論限界解像度が低くなり像面の中心も周辺も解像度が低く、通常は絞り中間が像面の平均解像度が高くなる。従来どおり倍率色収差や幾何学歪等の焦点基準面内の収差は電子的に補正し、図１０の軸上色収差補正や図１７の像面湾曲補正の収差補正をすれば、結像する軸上の幅（被写界深度）が狭くても結像できるので、結像する軸上の幅（被写界深度）が狭く像面湾曲の影響が大きいが、光学理論限界解像度が高いくなるレンズ絞り開放付近が収差がない場合と等価で使用でき、像面の中心も周辺も解像度が高い産業用の画像処理に適した高精細撮影が静止画でも動画でも容易になる。

また、固体撮像素子の光軸方向基準位置を可変とする従来技術の様に固体撮像素子の所望しない方向の位置の変位も引き起こすことはない。したがって、各色の固体撮像素子の基準位置を固定としたまま、全長を短縮し収差が残る高倍率ズームレンズの広角端や望遠端や顕微鏡の超高倍率対物レンズなど軸上色収差等の焦点基準面移動を補正できる。

また、上記の説明は、可視光を赤、緑、青に分解しカラー映像を作り出す場合の色による可視光レンズの各色の焦点移動と像面の傾きと像面湾曲の補正である。ところで、可視光近傍以外は色収差の光学補正が困難な為、波長による焦点移動の差は、可視光を離れた赤外光や紫外光がはるかに大きい。したがって、可視光と近赤外光を撮影する暗視用カメラや、ミツバチの視感度と同等に緑、青と近紫外光を撮影し疑似カラー映像を作り出す疑似カラーカメラやさらに波長の短い紫外光を分光撮影するカメラは、各波長の焦点移動の差が大きいので、本発明を適用可能である。また、図１７と図１８の像面の傾きと像面湾曲は図１６の（ｂ）（ｄ）からオンチップカラーフィルタを外した白黒撮像でも適用可能であり、収差の大きい紫外光や赤外光の効果が大きい。

さらに赤外光の波長が可視光と大きく異なる８−１５μｍの遠赤外線ではレンズの素材がゲルマニウム等のカルコゲナイド結晶に限定され、可視光のガラスと異なり８−１５μｍの遠赤外線収差の光学補正が非常に困難な為、分光撮影するカメラや像面の傾きと像面湾曲を補正するカメラの本発明の有効性が高くなる。水面や地表面を斜め上から撮像する遠赤外線監視カメラの焦点面が水面や地表面と一致し、遠赤外線の実効的な解像力が向上し、昼夜連続監視の精度が向上する。

１，４，２０，３４，４１，４２：撮像装置、２：レンズ部、
３：色分解光学系、５：相関平均含む映像信号処理部、６：ＣＰＵ
７，８，９：ＥＭ−ＣＣＤ、
１０，１１，１２：ＣＤＳとＡＧＣとＡ／Ｄ含むＦＥＰ
１３：ＴＧと読出含む読出垂直転送駆動部、
１４，１５，１６：ＴＧ含むＯＤ駆動部、１７，１８，１９：電極電圧部、
２１：ＴＧとＯＤ駆動と読出含む読出垂直転送駆動部、
２２：平均含む映像信号処理部、
２３，２４，２５：ＣＭＧ駆動部、
２６，２７，２８：ＩＴ−ＣＣＤまたはＦＩＴ−ＣＣＤ
２９：平均部、３０：黒伸張含む映像信号処理部、３１：ＳＤＩ含む出力回路、
３２：映像メモリ、３３：相関検出部、３９：焦点基準位置可変、
３５，３６，３７：ＯＤ駆動部、３８：論理スイッチ、
４４，４５，４７，４９：水平分割読出撮像素子、４３：時分割色フィルタ、
４６，４８，５０：合成部含む映像信号処理部、５１：スリットシャッタ、
５２：オンチップカラーフィルタ付撮像素子
ＲＣ，ＧＣ，ＢＣ：相関量または動きベクトル

Claims (4)

1. 利得調整部または電子増倍度調整部との少なくとも一方と入射光を複数の波長域（以下色）に分解する色分解光学系と複数の固体撮像素子と１４ｂｉｔ以上のＡ／Ｄと映像信号処理部とを有する固体撮像装置において、（赤緑青等の）各色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てる電荷掃捨部と前記各色の固体撮像素子の飽和を調整する電極電圧を調整する電極電圧調整部とを有することと、少なくとも１色の前記固体撮像素子を個別の周期にフォトダイオードの電荷を掃き捨てを可変することに応じて前記少なくとも１色の固体撮像素子の飽和を調整する電極電圧を調整して前記少なくとも１色の固体撮像素子の飽和を揃えることと、前記映像信号処理部で少なくとも１色の前記撮像素子で撮像した映像信号の前記撮像素子の飽和特性を補正することまたは前記映像信号の高輝度を圧縮し暗部を伸張することと、を特徴とする固体撮像装置。
2. 請求項１の固体撮像装置において、（中照度時は）、照明電源周期の掃き捨てまたは掃き捨て非動作の少なくとも一方の固定周期掃き捨ての色の前記固体撮像素子の出力が一定になるように光学絞りや可変光量減衰（ＮＤ）フィルタ他の光量調整部で入射光量を調整し、可変周期の色の前記固体撮像素子の出力が一定になるように掃き捨てを前記色で可変すること、または、掃き捨て周期の最も長い色の前記固体撮像素子の出力が一定になるように光学絞り他で入射光量を制御し、掃き捨て周期が最も長くない色の前記固体撮像素子の出力が一定になるように掃き捨てを可変すること、または、前記固体撮像素子に電子増倍型固体撮像素子を用い、（低照度時は）、入射光量固定で、固定周期掃き捨ての色の撮像装置の出力が一定になるように共通に可変増倍または増幅し、可変周期の掃き捨ての色の前記電子増倍型固体撮像素子の出力が一定になるように掃き捨てを可変すること、の少なくとも一つを行うことを特徴とする固体撮像装置。
3. 請求項２の固体撮像装置において、前記映像信号処理部は暗部の映像を伸張する信号処理部であり、ラインメモリまたは画面メモリの少なくとも一つと相関検出部と加算平均部とを有し、前記相関検出部は現在の映像と前後の画面または前後のラインの少なくとも一つと相関量を検出し、前記加算平均部は現在の映像との相関の高い映像を検出した前記相関量に応じて現在の映像に加算平均すること、または、前後の画面の複数走査線の映像を水平に画素をずらして相関を計算して動きベクトルを検出し、動きベクトルに合わせて前後の画面の相関の高い走査線の映像を水平に画素をずらしてから現在の映像に加算平均することとの少なくとも一方を行うことを特徴とする固体撮像装置。
4. 請求項１の撮像装置において、屈折結像光学系と、該屈折結像光学系の倍率情報や焦点距離可変情報などの結像光学系情報を取得する手段と、前記屈折結像光学系の前記各色の焦点移動（焦点移動と軸上色収差）を前記結像光学系情報から算出する手段と、前記屈折結像光学系の焦点（前記屈折結像光学系のフォーカス）を高速可変する手段と、前記各色の固体撮像素子を個別に信号電荷を蓄積する時間位相を設定する手段と、信号電荷を蓄積する時間外の信号を捨てる手段とを有することを特徴とする撮像装置。