JP2013153381A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】ＣＭＯＳ撮像素子の有効画素の黒画像の信号変動を低減する。
【解決手段】積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値を取得しフレームメモリに記憶し、複数の基準温度において、最大ビットシフト量と最大積分回数とにおけるＣＭＯＳ撮像素子の黒画像の各画素の信号値を取得しフレームメモリに記憶し、フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値と、フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおけるＣＭＯＳ撮像素子の黒画像の各画素の信号値と、ＣＭＯＳ撮像素子温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、ＣＭＯＳ撮像素子の有効画素の黒画像信号の平均値とムラ、または各有効画素黒画像信号値の一方を補正する。
【選択図】図１２

Description

本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号に含まれる雑音を低減する方法に関するものである。

ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）撮像素子は一般的にはＣＣＤ撮像素子より感度が低い。そこで、積分増倍Ａ／Ｄ部を有し、ＣＣＤ撮像素子より高感度を狙うＣＭＯＳ撮像素子が開発中である（特許文献１参照）。しかし、フォトダイードの黒画像の信号出力のむらによる暗部むらや黒画像の信号出力が異常に多いフォトダイードの映像信号（白キズ）も積分増倍するため、白キズや暗部むらが増加する。
そこで、従来、光学的黒画素部分の白キズの影響を低減するため、ＣＭＯＳ撮像素子の水平方向の光学的黒画素（Horizontal-Optical Black以下Ｈ−ＯＢ）部分の１２画素信号を平均し、１ライン分の黒画像の基準信号として記憶し、この固体撮像素子の有効画素部分の出力信号よりこの記憶した黒画像の基準信号を減算していた。

しかし、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分増倍に強く相関して黒画像の信号出力のむらが大きくなり、白キズや暗部むらも積分増倍するため、白キズや暗部むらのレベルが大きくなり易い。また、積分増倍のもれ電流は、積分増倍を変えた時の基準暗部レベルの変動となる。さらに、電源やＧＮＤのゆすれは、積分増倍の変動となり、積分増倍を高くした場合の暗部むらとなる。

そのため、Ｈ−ＯＢ部分の出力信号を平均しても、白キズ成分が残留する。さらに、有効画素部分の出力信号から、この平均した信号を減算すると、横筋が発生してしまう。
フォトダイードの暗電流は一般に撮像素子の温度が６℃上昇すると６ｄＢ増加するので、温度変動で、暗部レベルと白キズと暗部シェーディングが変動する。また、積分増倍のもれ電流も温度が上昇すると増加するので、温度変動で、積分増倍による暗部レベルが変動する。

そのため、扇アンプの積分回数ゲインアップ方式およびビットシフトゲインアップ方式による信号レベル変化特性及びノイズ変化特性を検証した際、暗部レベルと暗部シェーディングがゲインアップにより変動してしまう。また、温度変動に対しても暗部レベルが変動してしまう問題がある。
例えばゲインアップにより暗部レベルと暗部シェーディングが上がってしまうことで、黒画像の映像レベル０を基準とした信号処理が正しく行えない。出力画像についても、黒画像の映像レベルが上がることで黒部が白みを帯び、暗部シェーディングにより画像が暗部ムラとなる。

また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ(Field Programmable Gate Array)でも容易に実現できる様になった。

特開２００４−３０４４１３号公報 積分増倍Ａ／Ｄ

本発明の目的は、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子出力の暗部変動を低減することにある。

本発明は、上記課題を解決するため、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値（黒画像の画像信号の平均値つまり暗部レベル）とムラ（暗部シェーディング）と、または各有効画素の黒画像の画像信号の値（黒画像の画像信号値つまり暗部値）との一方をビットシフト量と積分回数と前記ＣＭＯＳ撮像素子の温度に応じて補正する撮像方法である。

さらに、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値を取得しフレームメモリに記憶し、複数の基準温度において、最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値を取得しフレームメモリに記憶し、前記フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値と、前記フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値と、前記ＣＭＯＳ撮像素子の温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値（暗部レベル）とムラ（暗部シェーディング）と、または各有効画素の黒画像の画像信号の値（暗部値）との一方を補正する撮像方法である。

また、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、前記ＣＭＯＳ撮像素子の温度を検出する温度センサと信号処理部とフレームメモリとを有し、最高使用温度の各積分回数および各ビットシフトごとの各画素の画像信号値を取得し前記フレームメモリに記憶し、複数の基準温度において、最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の画像信号値を取得し前記フレームメモリに記憶し、前記フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の画像信号値と、前記フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の画像信号値と、前記温度センサで検出した前記ＣＭＯＳ撮像素子の温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値（暗部レベル）とムラ（暗部シェーディング）と、または各有効画素の黒画像の画像信号の値（暗部値）との一方を補正する撮像装置である。

上記の様に本発明によれば、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子出力の各画素の黒画像の画像信号の平均値つまり暗部レベルが一定となり、暗部が安定した画像信号が得られる。

積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数と標準入射光量の映像レベルの特性を示す模式図 理想の黒画像と映像レベルを示す模式図 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数３回時の黒画像と映像レベルを示す模式図 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数１６回時の黒画像と映像レベルを示す模式図 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数３２回時の黒画像と映像レベルを示す模式図 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数と黒画像の映像レベルを示す模式図 ビットシフト[16:9]で映像レベル１IREにした時の値を基準値とし、その基準から1ずつ[7:0]へビットシフトした時の映像レベルの変化量でビットシフトと映像レベルの特性を示す模式図 ビットシフト[7:0]、映像レベル１００IREにした時の値を基準値とし、その基準値から1ずつ[16:9]へビットシフトした時の映像レベルの変化量でビットシフトと映像レベルの特性を示す模式図 ビットシフト[16:9]時の黒画像と黒画像の映像レベルとを示す模式図 ビットシフト[9:2]時の黒画像と黒画像の映像レベルとを示す模式図 ビットシフト[7:0]時の黒画像と黒画像の映像レベルとを示す模式図 ビットシフトと黒画像の映像レベルの特性を示す模式図 本発明の一実施例の黒画像の映像レベル補正を含む積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を有する撮像装置のブロック図 本発明の一実施例のゲインアップと温度に対する黒画像の映像レベル補正を示す模式図

積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数と標準入射光量の映像レベルの特性を示す模式図の図１から図１１を用いて、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分回数ゲインアップ方式による映像レベルの感度アップ特性および暗部レベルと暗部シェーディングの特性と暗部変化動作を、説明する。

IREとはIEEE（The Institute of Electrical and Electronics Engineers, Inc.）の前身の一つのアメリカ無線学会(Institute of Radio Engineers)が定めた、ビデオ信号の振幅を表す単位で、学会の略称がそのまま単位の名称となった。０．７１４Ｖが１００IREとなる。

図1に積分回数と映像レベルの特性図を示す。積分回数32回、映像レベル１００IREにした時の値を基準値とし、その基準から積分回数1ずつ減らした時の映像レベルの変化量を測定した。積分回数0〜2回については現状仕様外のためデータはない。また、積分回数毎にキャリブレーションを取り直している。

積分回数による黒画像の映像レベルの変化量について、図２に理想の黒画像と映像レベル、実測値の例として図３に積分回数３回の黒画像と映像レベル、図４に積分回数１６回の黒画像と映像レベル、図５に３２回時の黒画像、映像信号レベルを示す。

積分回数ゲインアップ方式について、映像レベルは積分回数に応じてリニアに増加することが分かる。積分回数による黒画像の映像レベルの変動について、黒画像の映像レベルも積分回数に応じてリニアに増加することが分かる。白キズ・ノイズレベルを無視し、積分回数に応じた黒画像の映像レベルの特性図を図６に示す。

次に、ビットシフトゲインアップ方式による映像レベルの感度アップ特性および黒画像の映像レベルの特性を説明する。

図７−１と図７−２に表示用出力レンジ[16:9]〜[7:0]のビットシフトと映像レベルの特性を示す。図７−１はビットシフト[16:9]、映像レベル１IREにした時の値を基準値とし、その基準から１ずつ[7:0]へビットシフトした時の映像レベルの変化量を測定した。図７−２はビットシフト[7:0]、映像レベル１００IREにした時の値を基準値とし、その基準値から１ずつ[16:9]へビットシフトした時の映像レベルの変化量を測定した。

ビットシフトによる黒画像の映像レベルの変化量について、実測値の例として図８にビットシフト[16:9]時の黒画像と映像レベル、図９にビットシフト[9:2]時の黒画像と映像レベル、図１０にビットシフト[7:0]回時の黒画像、映像信号レベルを示す。キャリブレーションは初期に１回行った。白キズ・ノイズは無視する。

ビットシフトゲインアップ方式について、映像レベルはビットシフトに応じてリニアに増加することが分かる。ビットシフトによる黒画像の映像レベルの変動について、黒画像の映像レベルもビットシフトに応じてリニアに増加することが分かる。白キズ・ノイズレベルを無視し、ビットシフトに応じた黒画像の映像レベルの特性図を図１１に示す。

本発明の一実施例の黒画像の映像レベル補正を含む積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を有する撮像装置のブロック図の図１２と、本発明の一実施例のゲインアップと温度に対する黒画像の映像レベル補正を示す模式図の図１３を用いて、本発明の一実施例の積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の黒画像の映像レベルの補正の動作を、説明する。

図１２において、１は撮像装置、２は光学系、３は積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子、４は温度センサ、５は黒画像の映像レベル補正部、６は黒画像の映像レベル補正信号検出部、７は映像信号処理部、９はＣＰＵである。図１２の黒画像の映像レベル補正部５において、１１は減算器である。図１２の黒画像の映像レベル補正信号検出部６において、２１〜２２はメモリ部で、２３は黒画像の映像レベル補正信号算出部である。

黒画像の映像レベル補正部５と黒画像の映像レベル補正信号検出部６とは、映像信号処理部７に統合されても構わない。また、メモリ部２１とメモリ部２２は統合されても構わない。

図１２の黒画像の映像レベル補正信号検出部６において、積分回数３２回までの各黒画像の映像レベルをキャリブレーション値としてメモリ２１に記録し、ビットシフト[11:4]から[7:0]までの各黒画像の映像レベルをキャリブレーション値としてメモリ２２に記録する。使用する積分回数およびビットシフトに応じてメモリ２１とメモリ２２に記録したキャリブレーション値を補正係数として引き出し、黒画像の映像レベル補正信号算出部２３で補正係数から黒画像の映像レベル補正信号を算出する。また温度センサ４では積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の温度を検出し、ＣＰＵ９経由で黒画像の映像レベル補正信号算出部２３に積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の温度の情報を送り、補正係数から温度に応じた黒画像の映像レベル補正信号を算出する。

実施例１では、図１２の黒画像の映像レベル補正信号検出部６において、黒画像の映像レベル補正信号算出部２３で、温度に応じた黒画像の暗電流の平均値（暗部レベル）とムラ（暗部シェーディング）とを算出して黒画像の映像レベル補正信号として出力する。

そして、図１２の黒画像の映像レベル補正部５の減算部１１で、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の出力Ｖｉから算出した黒画像の映像レベル補正信号を減算し、黒画像の映像レベル補正後信号Ｖｍとして、映像信号処理部７に送る。
図１２の映像信号処理部７は、黒画像の映像レベル補正後信号Ｖｍに、ガンマ、ニー、輪郭補正、色信号処理等の信号処理を行い、出力映像信号Ｖｏとして撮像装置１から出力する。

黒画像の映像レベル補正信号の温度係数の例として０〜５０℃の１０℃（または５℃）刻みで持つものとし、補正係数から算出した情報に、その温度に応じた係数をかけて黒画像の映像レベル補正信号を算出して、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の出力Ｖｉから減算し、黒画像の映像レベル補正後信号Ｖｍの黒画像の映像レベルを０IREにする特性図を図１３に示す。

上記の様に本発明によれば、暗電流の平均値（暗部レベル）とムラ（暗部シェーディング）とをビットシフト量と積分回数とＣＭＯＳ撮像素子の温度により補正することにより、黒画像の映像レベルを基準とする信号処理に影響がなくなる。さらに、ゲインアップにより暗部が白みを増すことはなくなり、暗部が安定した画像信号が得られる。

実施例２では実施例１と同様な構成と同様な動作の説明は省略し、実施例１と相違する構成と動作を説明する。
実施例１が暗電流の平均値（暗部レベル）とムラ（暗部シェーディング）とを算出して補正したのに対し、実施例２ではＣＭＯＳ撮像素子の各画素の暗電流を算出して補正する。
図１２の黒画像の映像レベル補正信号検出部６において、使用する積分回数およびビットシフトに応じてメモリ２１とメモリ２２に記録した各画素のキャリブレーション値を補正係数として引き出し、黒画像の映像レベル補正信号算出部２３で各画素の補正係数から黒画像の各画素の映像レベル補正信号を算出する。また温度センサ４では積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の温度を検出し、ＣＰＵ９経由で黒画像の映像レベル補正信号算出部２３に積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の温度の情報を送り、各画素の補正係数から温度に応じた黒画像の各画素の映像レベル補正信号を算出する。

実施例２では実施例１に比較し、フレームメモリの容量は大きくなる可能性が高いが、Gbit程度のＲＡＭ（Random Access Memory）が小型低消費電力で、約１００円以下と低価格になったので問題ない。
実施例１では、異常に大きい暗電流のいわゆる白キズは補正できない。しかし、実施例２では各画素の暗電流を算出して補正するので、白キズも同時に補正できる。

上記の様に本発明の実施例２によれば、ビットシフト量と積分回数とＣＭＯＳ撮像素子の温度によりＣＭＯＳ撮像素子の各画素の暗電流を白キズも含めて補正することにより、黒画像の映像レベルを基準とする信号処理に影響がなくなる。さらに、ゲインアップにより暗部が白みを増すことはなくなり、暗部が安定した画像信号が得られる。

また、本発明は積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子のフォトダイードの黒画像の信号出力の積分増倍量と温度による変動の影響を受けない様にすることにより、黒画像に近い暗部の画像信号を広い温度範囲で有効利用できるようにする。暗部の画像信号を有効利用できるので、撮像装置を実効的に高感度にする。この広い温度範囲で実効的に高感度にすることにより、放送局の情報カメラ（いわゆるお天気カメラ）や寝顔の顔色確認等の寝ている病人の遠隔看護等の低照度でも高画質が必要な撮像用途に利用することができる。さらに、遠距離間鉄道の監視や海峡の監視のように照明が確保できない監視の撮像用途に利用することができる。特に広い温度範囲が必要とされるロシアやモンゴルや中国東北地方や砂漠地域の遠距離間鉄道の監視やメキシコ等の乾燥地域の国境監視の撮像用途に利用することができる。
さらに、高輝度画像の信号出力は維持するので、実効的に撮像装置のダイナミックレンジを拡大する。広い温度範囲で高感度とダイナミックレンジ拡大を両立することにより、高精細監視のワイドダイナミックレンジ撮像が可能になる。そのため、広い温度範囲で高精細とワイドダイナミックレンジが要求される、逆光状態での鉄道ホームの転落防止の監視用途や自動車の車種とドライバーの顔とナンバープレートの同時識別の監視用途に利用することができる。

１：撮像装置、２：光学系、
３：積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子、４：温度センサ、
５：黒画像の映像レベル補正部、６：黒画像の映像レベル補正信号検出部、
７：映像信号処理部、９：ＣＰＵ、１１：減算部、
２１〜２２：メモリ部、２３：黒画像の映像レベル補正信号算出部、

Claims (3)

1. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値とムラと、または各有効画素の黒画像の画像信号の値との一方をビットシフト量と積分回数と前記ＣＭＯＳ撮像素子の温度に応じて補正する撮像方法。
   積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値を取得しフレームメモリに記憶し、複数の基準温度において、最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値を取得しフレームメモリに記憶し、前記フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値と、前記フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値と、前記ＣＭＯＳ撮像素子の温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値とムラと、または各有効画素の黒画像の画像信号の値との一方を補正する撮像方法。
2. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、
   最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値を取得しフレームメモリに記憶し、
   複数の基準温度において、最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値を取得しフレームメモリに記憶し、
   前記フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の信号値と、前記フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の信号値と、前記ＣＭＯＳ撮像素子の温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値とムラと、または各有効画素の黒画像の画像信号の値との一方を補正する撮像方法。
3. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置において、
   前記ＣＭＯＳ撮像素子の温度を検出する温度センサと信号処理部とフレームメモリとを有し、
   最高使用温度の各積分回数および各ビットシフトごとの各画素の画像信号値を取得し前記フレームメモリに記憶し、複数の基準温度において、最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の画像信号値を取得し前記フレームメモリに記憶し、
   前記フレームメモリに記憶した最高使用温度の各積分回数および各ビットシフトごとの各画素の画像信号値と、前記フレームメモリに記憶した複数の基準温度の最大ビットシフト量と最大積分回数とにおける前記ＣＭＯＳ撮像素子の黒画像の各画素の画像信号値と、前記温度センサで検出した前記ＣＭＯＳ撮像素子の温度の情報とを用いて、各温度と各積分回数および各ビットシフトに適応して、前記ＣＭＯＳ撮像素子の有効画素の黒画像の画像信号の平均値とムラと、または各有効画素の黒画像の画像信号の値との一方を補正する撮像装置。

Images