JP5022923B2 - 撮像装置及びその撮像画像信号補正方法 - Google Patents

撮像装置及びその撮像画像信号補正方法 Download PDF

Info

Publication number
JP5022923B2
JP5022923B2 JP2008012742A JP2008012742A JP5022923B2 JP 5022923 B2 JP5022923 B2 JP 5022923B2 JP 2008012742 A JP2008012742 A JP 2008012742A JP 2008012742 A JP2008012742 A JP 2008012742A JP 5022923 B2 JP5022923 B2 JP 5022923B2
Authority
JP
Japan
Prior art keywords
amplifier
correction amount
pixel
image signal
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008012742A
Other languages
English (en)
Other versions
JP2009177402A (ja
Inventor
智行 河合
善工 古田
仁保 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008012742A priority Critical patent/JP5022923B2/ja
Priority to US12/357,858 priority patent/US8269871B2/en
Publication of JP2009177402A publication Critical patent/JP2009177402A/ja
Application granted granted Critical
Publication of JP5022923B2 publication Critical patent/JP5022923B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713Transfer or readout registers; Split readout registers or multiple readout registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は固体撮像素子を用いた撮像装置及びその撮像画像信号補正方法に係り、特に、高品質の被写体画像を撮像するのに好適な撮像装置及びその撮像画像信号補正方法に関する。
例えばCCD型の固体撮像素子は、水平電荷転送路の出力端部にフローティングディフュージョンアンプを備え、転送されてきた信号電荷の電荷量に応じた撮像画像信号を出力する。このアンプは、特許文献1に記載されている様に、信号増幅時にインパクトイオン化現象が起き、微弱な光(赤外光)を発生させる。
固体撮像素子のアンプで発光現象が起きると、この光が固体撮像素子の半導体基板内を伝播して各画素(フォトダイオード)を感光し、ノイズ電荷を発生させてしまう。
特に、固体撮像素子を用いて高感度撮影を行う場合には、被写体からの入射光量に応じて発生する信号電荷量が少ないため、上記のアンプ発光現象でノイズ電荷が各画素に蓄積すると、撮像画像信号のS/Nが悪くなり、被写体画像の画質を大きく劣化させてしまう。
特開2006―148512号公報(段落〔0006〕)
アンプが発光することによる画質劣化は、固体撮像素子の露光中にアンプ電源をオフにしアンプ動作を停止させることで、回避可能である。しかし、例えば動画像撮像時には、露光と撮像画像信号の出力とが同時並行的に行われるため、アンプ電源を信号出力中にオフにすることができず、画質劣化が起きてしまう。
本発明の目的は、アンプ発光現象が起きた場合でも被写体画像の画質劣化を回避可能な撮像装置及びその撮像画像信号補正方法を提供することにある。
本発明の撮像装置の撮像画像信号補正方法は、半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
H(x,y)=α/{(x +x) +(y +y)
ここで、αはパラメータ値
で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
H(x,y)=α/{a(x +x) +b(y +y)
ここで、α,a,bはパラメータ値
で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
H(x,y)=〔α/{a(x +x) +b(y +y) }〕−β
ここで、α,β,a,bはパラメータ値
で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、前記補正量の値がマイナスとなる場合には該補正量を零にすることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、マルチフィールド読み出しを行う固体撮像素子では各フィールド毎に前記補正量を求めることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法の前記補正量は、各フィールド毎に異なるアンプ発光時間に応じて求めることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、前記アンプが複数存在する固体撮像素子では、各アンプ毎に前記補正量を求め、アンプ毎の該補正量を加算した値を前記各画素の検出信号量から減算することを特徴とする。
本発明の撮像装置の撮像画像信号補正方法における前記パラメータ値は、前記遮光画像のデータのうち任意の複数領域の積算値を用いて求めることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、前記複数領域として、前記アンプに最も近い第1領域と、該第1領域に対して垂直方向に最も遠い第2領域と、前記第1領域に対して水平方向に最も遠い第3領域と、前記第1領域に対して対角方向に最も遠い第4領域を用いることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、前記第1領域における前記遮光画像のデータの平均値をA、前記第2領域における前記平均値をB、前記第3領域の前記平均値をC、前記第4領域の前記平均値をDとしたとき、(A−B)−(C−D)を前記パラメータ値の算出に用いることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法は、前記アンプが複数存在する固体撮像素子では、1つづつアンプの電源を入れてアンプ毎の前記遮光画像のデータを求めることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法における前記補正量は、撮影感度毎に求めることを特徴とする。
本発明の撮像装置の撮像画像信号補正方法における前記補正量は、露光時間に応じて調整することを特徴とする。
本発明の撮像装置の撮像画像信号補正方法における前記補正量は、撮影感度が所定感度以上のとき求め該所定感度に達しない撮影感度のときは該補正量を零とすることを特徴とする。
本発明の撮像装置は、半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置において、上述したいずれかに記載の撮像画像信号補正方法を実行する補正手段を備えることを特徴とする。
本発明によれば、アンプ発光に起因するノイズを除去するため、高品質な被写体画像を撮像することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置の機能ブロック図である。この撮像装置1は、CCD型の固体撮像素子2と、この固体撮像素子2の前段に置かれた撮影レンズ3と、その前段に置かれた絞り4と、固体撮像素子2から出力される撮像画像信号の相関二重サンプリング処理(CDS)や信号増幅(AMP)を行う前処理部5と、前処理部5で処理されたアナログの撮像画像信号をデジタル信号に変換するA/D変換回路6と、A/D変換回路6の出力信号を取り込む画像入力コントローラ7とを備える。
画像入力コントローラ7は、バス8に接続され、このバス8に、この撮像装置1を統括制御するCPU9と、デジタルの撮像画像信号に対して各種画像処理を施す画像信号処理回路10と、デジタルの撮像画像信号からレンズ3の焦点位置を自動検出するAF検出回路11と、画像処理された撮像画像信号をJPEG画像データやMPEG画像データ等に圧縮する圧縮回路12と、デジタルの撮像画像信号から露出値やホワイトバランス値を検出するAE&AWB検出回路13とが接続される。
バス8には更に、この撮像装置1のメインメモリとなるSDRAM14と、VRAM15と、外部記録メディア16の書き込み/読み出し制御を行うメディアコントローラ17と、撮像装置背面部等に設けられた液晶等の画像表示装置18を表示制御するビデオエンコーダ19とが接続される。
CPU9には、前処理部5が接続されると共に、二段(S1,S2)シャッタボタンを含む操作スイッチ20が接続され、更に、絞り4を駆動するモータのモータドライバ21と、撮影レンズ3を駆動するモータのモータドライバ22と、固体撮像素子2を駆動するタイミングジェネレータ23とが接続される。
この撮像装置1では、CCD型の固体撮像素子2から出力される撮像画像信号を、前処理部5,A/D変換回路6を介して画像入力コントローラ7が取り込み、画像信号処理回路10が各種画像処理を施して被写体画像データを生成し、これを記録メディア16に格納したり、画像表示装置18に表示する。
この画像処理時に、本実施形態に係る撮像装置1では、上述したアンプ発光によって発生するノイズ成分を、詳細は後述する様にしてCPU9が配下の画像信号処理回路10などを用いて補正処理し、アンプ発光によるノイズを除去した被写体画像データを生成する。
図2は、アンプ30が発光する物理的な原理を説明する図である。図2(a)は、半導体基板に形成されたアンプ30を構成するトランジスタの断面模式図である。2つの離間したN領域31,32(ソース,ドレイン)間の上部に、ゲート絶縁層33を介してゲート34が設けられている。
図2(b)は、信号増幅動作を行うときの図2(a)のトランジスタのポテンシャル図である。図示するように、電子35がN領域32からN領域31に大きな電圧差で加速されながら流れ込むと、インパクトイオン化により二次電子が発生し、これが電荷再結合すると、エネルギーギャップ分の発光(主に赤外領域)が起きる。
図3は、固体撮像素子2の要部断面を示す説明図である。半導体チップ2aの受光領域表面部には多数のフォトダイオードが形成されており、半導体チップ2aの表面の各フォトダイオード上には、カラーフィルタ37,マイクロレンズ38が積層される。
半導体チップ2aの受光領域以外は遮光膜39が覆われ、その下に、アンプ30が形成される。このアンプ30が、信号増幅時つまり電源オン時に微弱発光し、この発光光(波長が長い赤外光)が半導体チップ2aの裏面で反射される等して半導体チップ2a内を伝播し、各フォトダイオード内に入り、電荷(ノイズ電荷)を発生させる。
本実施形態の撮像装置1では、このアンプ発光によるノイズ電荷分と考えられる信号量(補正データ)を、各フォトダイオードの検出電荷から得た信号量(オリジナルデータ)から減算することで、アンプ発光によるノイズを除去した高品質な被写体画像データ(補正後データ)を生成する。
即ち、(x,y)を画素位置の座標としたとき、
補正後データ(x,y)=〔オリジナルデータ(x,y)〕−〔補正データ(x,y)〕
として撮像装置1が補正処理し、高品質な被写体画像データを生成する。発光源はアンプ30であり、ある座標位置(x,y)のフォトダイオードに対する影響は、図4に示す様に、発光源アンプからの距離Rに依存した関数で表すことができる。
発光源となるアンプ30からの総発光エネルギをL、発光源からの距離Rでの単位面積当たりの光量エネルギをSとすると、半径Rの球の表面積は4π× であるから
L=S×4π×R
∴S=L/(4π×R
∴S∝1/R
となる。即ち、ある画素(フォトダイオード)のアンプ感光量は、アンプからの距離Rの2乗に反比例し、その関係式によるグラフは、図5に示す様になる。
従って、アンプ感光量を撮像画像信号から減算する補正を行う場合に、アンプからの距離の関数でアンプ発光量を表し、この関数に基づく補正値を撮像画像信号から減算することで、アンプ感光量の影響を取り除くことが可能となる。特に、距離Rの2乗に反比例する補正量を撮像画像信号から減算することで、効果的な補正が可能となる。
図6は、図1に示すCCD型固体撮像素子2の表面模式図とこの受光領域によるアンプ感光の例を示す図である。CCD型固体撮像素子2の受光領域には画素部41が設けられている。この画素部41には、二次元アレイ状に、図3に示す複数のフォトダイオードが配列形成され、各フォトダイオード上に、カラーフィルタとマイクロレンズその他が形成され、各フォトダイオード列に沿って、周知の垂直電荷転送路が設けられている。
各垂直電荷転送路の転送方向端部に沿って、出力用の水平電荷転送路42が設けられ、水平電荷転送路42の転送方向端部側に、フローティングディフュージョン部43とリセットドレイン44とが設けられ、フローティングディフュージョン部43に、固体撮像素子チップと同じ半導体基板に形成されたトランジスタやダイオードで構成されるアンプ30が接続される。
このアンプ30が電源オン時に発光するのであるが、発光による影響つまり各画素(フォトダイオード)の感光量は、図中の○印を付した、アンプ30に最も近い位置で大きく、遠い位置で小さくなる。
アンプ30による各画素の感光量を補正する場合、アンプ30から最も近い画素を原点とした補正式で表した方が適切である。そこで、画素部(受光領域)41のうち○印を付した角部の画素座標を(x,y)とし、この(x,y)に対する画素部41の任意位置を(x,y)とし、アンプ位置を原点(0,0)とする。
この場合、補正量H(x,y)は、次の数1で表される。
〔数1〕
H(x,y)=α/{(x+x)+(y+y)
ここで、αは所定数である。
この補正量をグラフに示すと、図7となる。図7は、α=100、(x,y)=(10,0)で、y=0と固定し、xを0〜10まで変化させた例である。このグラフによれば、原点から遠ざかるとなだらかに補正量が減っていく曲線となる。
実際の固体撮像素子では、x方向(水平方向)とy方向(垂直方向)の画素数が1:1でないことが多い。画素ピッチが水平,垂直で同一でない場合以外にも、例えば間引き読み出しを実施し、垂直方向に1/2間引き,1/3間引き,…した場合では、水平方向に対して垂直方向の画素が間引かれて読み出される。
この場合、アンプからの読み出し対象画素の位置関係が、水平画素数と垂直画素数で計算が異なることになり、数1をそのまま適用すると誤差が生じてしまう。そこで、斯かる場合には、次の数2の補正式を適用する。
〔数2〕
H(x,y)=α/{a(x+x)+b(y+y)
ここで、a,bは係数である。
この補正式を用いることで、適切な補正が可能となり、高品質な被写体画像データを得ることが可能となる。図8は、数2による補正量計算例を示す図であり、α=220、a=1.5、b=0.7、(x,y)=(10,10)として計算している。
上述した数1,数2の補正式では、アンプ30から最も離れた画素の検出信号も補正対象としている。しかし、アンプ30から或る程度離れた画素に対するアンプ発光の影響は小さく、補正をしなくても良い場合がある。つまり、補正対象とする領域を限定しても問題はない。この場合には、次の数3の補正式を用いる。
〔数3〕
H(x,y)=[α/{a(x+x)+b(y+y)}]−β
ここで、βは所定数である。
図9は、数3で補正するときの補正対象領域を例示する図である。受光領域(有効画素領域)から得られる撮像画像信号のうち、原点座標(0,0)から垂直高さV、水平幅Hの領域内の画像信号を補正し、それ以外の領域については補正量を零(0)にしてしまう。これにより、補正演算処理時間の短縮化を図ることが可能となる。
図10は、実際の補正量の算出例であり、数3において、α=3300、β=5、a=1.5、b=0.7、(x,y)=(10,10)として得た補正量のグラフである。0以下として計算された部分は0にクリップすることで、減算による補正を、過補正なく適切に行うことが可能になると共に、この補正処理方法を導入することが容易となる。
図11は、インタレース読み出し(フィールド読み出し)を行うCCD型固体撮像素子の説明図である。図11では、垂直電荷転送路の図示は省略しており、複数のフォトダイオード(画素)47が二次元アレイ状に配列形成されており、各画素行毎に垂直転送電極膜V1,V2,…,V4が敷設されている。
各画素列に沿って図示しない埋め込みチャネルが形成され、この埋め込みチャネルとその上にゲート絶縁膜を介して形成された上記の垂直転送電極膜とにより垂直電荷転送路が形成される。各垂直電荷転送路の転送方向端部に沿って水平電荷転送路48が形成されている。尚、各画素47の右下付近に書いた丸印は、その画素の読み出しゲートである。
斯かるCCD型固体撮像素子では、図12に示す様に、先ず第1フィールドで、垂直転送電極V2に読み出しパルスを印加し奇数行の各画素から信号電荷を読み出して出力し、次の第2フィールドで、垂直転送電極V4に読み出しパルスを印加し偶数行の各画素から信号電荷を読み出し出力する。
この場合、水平電荷転送路48の転送方向端部に設けられた図示しないアンプは、固体撮像素子の動作開始時に電源オンとなり、微弱発光を開始する。この微弱発光による露光期間は電子シャッタオフのタイミングからが開始され、第1フィールドの読み出しパルス印加タイミングまでが、第1フィールドで読み出される奇数行の各画素のアンプ発光露光期間となる。第2フィールで読み出される偶数行の各画素のアンプ発光露光期間は、電子シャッタオフのタイミングから第2フィールドの読み出しパルス印加タイミングまでとなる。
つまり、第2フィールドで読み出される画素は第1フィールドで読み出される画素より微弱発光の影響を多く受ける。これを図示した例が、図13(a)(b)であり、奇数行の画素と偶数行の画素とで撮像画像信号に段差が生じてしまう。従って、両フィールドで得られた撮像画像信号を同じ補正量で補正すると、横スジ条のノイズが出てしまうため、補正量をフィールド毎に変えることになる。
図14(a)(b)は、夫々、第1フィールドでの読み出し信号と第2フィールドでの読み出し信号とを、数2の補正式で補正したときの算出例を示すグラフである。この様に、インタレース読み出しを行う固体撮像素子では、フィールド毎に補正量の算出パラメータ(数1,数2,数3のα,β,a,b)を変えることで、横スジ条のノイズが無く、高品質な被写体画像データを生成することが可能となる。
尚、上述した実施形態は、インタレース読み出し(2フィールド読み出し)の例であるが、勿論、3フィールド以上のマルチフィールド読み出しにも同様に適用し、フィールド毎に補正量を変えるのが好ましい。
図15(a)(b)は、夫々、CCD型固体撮像素子の別実施形態に係る説明図であり、図15(a)の固体撮像素子では、出力用の水平電荷転送路が中央で分割され、左側の水平電荷転送路42Lに出力アンプ30Lが、右側の水平電荷転送路42Rにアンプ30Rが設けられている。
図15(b)の固体撮像素子では、画素部の上下に夫々出力用の水平電荷転送路42U,42Dが設けられており、夫々に、出力アンプ30U,30Dが設けられている。
これらの固体撮像素子では、各アンプが夫々微弱発光するため、受光領域内の各画素は、複数の各アンプからの微弱発光を受けて感光する。図16(a)(b)は、夫々、図15(a)(b)の固体撮像素子におけるアンプ感光の様子を示す図である。
複数のアンプを備える固体撮像素子では、各アンプ毎に、数1(または数2,数3)の補正量を算出し、これらの算出結果を加算した結果を、固体撮像素子から出力される撮像画像信号から減算することで補正すればよい。
尚、図示の例は2つのアンプを備える例であるが、3つ以上の出力アンプを備える固体撮像素子にも同様に適用でき、各アンプ毎の補正量を求め、各補正量を加算した値を撮像画像信号から減算すればよい。
図17は、アンプ発光による補正量算出パラメータの算出の仕方を説明する図である。図示する例は、インタレース読み出しを行う固体撮像素子の例であるが、図12と同様のタイミングチャートで固体撮像素子を駆動する。このとき、メカニカルシャッタを閉じたまま行うことで、遮光した画像すなわちアンプ感光量だけのデータを得ることができる。
この様にして得られた遮光画像データに基づいて、アンプ感光量の補正量算出パラメータ(数1,数2,数3のα,β,a,b,x,y)のうちα,β,a,bの値を決定することで、高品質の被写体画像データを得ることができる。
図18は、補正量算出パラメータを決定する遮光画像データの取得例を示す図である。図18に示す例では、アンプ感光量が多い場所に3×3=9の領域51を設定し、各領域51の遮光画像データ積算値を求め、補正量算出パラメータを決定する。
図19に示す例では、固体撮像素子の受光領域において、アンプに最も近い隅の領域Aと、領域Aに対し垂直方向の隅の領域B,領域Aに対し水平方向の隅の領域C,領域Aに対して対角となる隅の領域Dの各遮光画像データ積算値(または平均値)を求め、これらから補正量算出パラメータを決定することでもよい。
図19において、各領域A,B,C,Dの平均画素値をA,B,C,Dとした場合、S=(A−B)−(C−D)とすることで、固体撮像素子の暗電流による暗時シェーディング(垂直方向シェーディング,水平方向シェーディング)を簡単に取り除くことができ、これにより、精度良くアンプ発光量のみを算出することが可能となる。
図18,図19は、アンプを1つ備える固体撮像素子における補正量算出パラメータの決定方法であるが、図15(a)(b)に示す様に複数のアンプを備える固体撮像素子の場合には、アンプの電源を1つづつ入れることで、図18,図19で説明した方法をそのまま適用可能である。
本発明の実施形態に係る撮像装置では、上述した補正量算出パラメータの値を、図20に示す様にISO感度毎に決定しておき、撮像装置に設定されたISO感度に応じて、使用する補正量算出パラメータを、後述のアンプ感光量補正プログラムに基づいて決め、アンプ感光量に対する補正量H(x,y)を求め、この補正量により、撮像画像データを補正する。
図1に示す撮像装置で被写体画像を撮像すると、固体撮像素子2の各画素から撮像画像信号が出力され、画像信号処理回路10はこれらの撮像画像信号を画像処理し、例えばMPEGの動画像データを生成し記録メディア16に格納する。
このとき、CPU9は、予め決定され内蔵ROMに格納されているISO感度毎の補正量算出パラメータの値を読み出し、数1(または数2,数3)に基づいてアンプ感光に対する補正を行い、アンプ感光量の影響を除去する。
図21は、アンプ感光量補正プログラムの処理手順を示すフローチャートである。この補正処理が開始すると、先ず、撮影感度がISO400であるか否かを判定する(ステップS1)。ISO感度400の場合には、ステップS2に進み、補正量算出式のパラメータ(α,β,a,b)をISO400用に設定されている値にして補正量H(x,y)を算出する。そして、算出された補正量H(x,y)を、撮像画像信号から減算処理し(ステップS3)、この補正処理を終了する。
ステップS1の判定の結果、ISO400で無い場合には次にステップS4に進み、撮影感度がISO800であるか否かを判定する。ISO800である場合には、ステップS5に進み、補正量算出式のパラメータ(α,β,a,b)をISO800用に設定されている値にして補正量H(x,y)を算出する。そして、算出された補正量H(x,y)を、撮像画像信号から減算処理し(ステップS3)、この補正処理を終了する。
ステップS4の判定の結果、ISO800で無い場合には、次にステップS6に進み、撮影感度がISO1600であるか否かを判定する。ISO1600である場合には、ステップS7に進み、補正量算出式のパラメータ(α,β,a,b)をISO1600用に設定されている値にして補正量H(x,y)を算出する。そして、算出された補正量H(x,y)を、撮像画像信号から減算処理し(ステップS3)、この補正処理を終了する。
ステップS6の判定の結果、ISO1600で無い場合には、この撮像装置の撮影感度は1600が上限のため、ステップS8に進み、この補正処理による補正量の減算処理は行わずに、この補正処理を終了する。
この様にすることで、ISO感度に応じたアンプ感光量補正ができ、撮影感度によらずに高品質な被写体画像を撮像することが可能となる。
図22(a)(b)は、インタレース読み出しを行う固体撮像素子を用いる場合で、撮像毎に露光期間が異なる例を示す図である。第1フィールドと第2フィールドでのアンプ発光露光期間の差は、図12の実施形態で両者間の差を埋めることができる。しかし、撮像毎に露光期間が異なると、その第1フィールド間や第2フィールド間で露光期間に差が生じる。その場合には、アンプ感光量補正パラメータの値を撮像毎に微調整するのがよい。微調整する量は、予め遮光画像データを取得して決定してもよく、また、基準となる第1フィールドでの値を比例演算で求めてもよい。
図21の実施形態では、ISO400,800,1600でアンプ感光量補正を行い、ISO100,200ではアンプ感光量補正を行わなかったが、ISO100,200の場合でも、ステップS1,S4,S6の処理を実行するため、演算処理に無駄が生じてしまう。そこで、図23に示す様に、最初に、撮影感度がISO400以上であるか否かを判定し(ステップS9)、判定結果が肯定の場合に図21のステップS1に進み、判定結果が否定の場合には図21の補正処理を行わない様にしてもよい。
尚、ISO100,ISO200でアンプ感光量補正を行わない実施形態について説明したが、これはISO100,ISO200の撮影感度では元々の信号電荷量が多いため、アンプ感光によって微小なノイズ電荷量の増加があっても影響が非常に少ないためである。ISO100,200でアンプ感光量補正を行ってもよいことはいうまでもない。
本発明に係る撮像装置は、高感度撮影時のアンプ感光によるノイズも低減できるため、動画撮影機能付のデジタルカメラ等に適用すると有用である。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 アンプによる微弱発光の原理説明図である。 アンプによる微弱発光の影響を説明する図である。 発光源(アンプ)からの影響を説明図する図である。 発光源(アンプ)からの影響量を示すグラフである。 CCD型固体撮像素子におけるアンプ発光による影響を説明する図である。 図6に示す固体撮像素子におけるアンプ発光の影響量を示すグラフである。 アンプ感光補正量の計算例を示すグラフである。 アンプ感光補正の対象領域を限定する例を示す図である。 アンプ感光補正量の別の計算例を示すグラフである。 インタレース読み出しを行うCCD型固体撮像素子の説明図である。 インタレース読み出しのタイミングチャートである。 インタレース読み出しするCCD型固体撮像素子における第1フィールド(a),第2フィールド(b)のアンプ感光例を示す図である。 図13に示すアンプ感光例における補正量を示すグラフである。 アンプを複数個備えるCCD型固体撮像素子の説明図である。 図15に示すCCD型固体撮像素子におけるアンプ感光例を示す図である。 インタレース読み出しを行うCCD型固体撮像素子で遮光画像データを取得するときのタイミングチャートである。 アンプ感光量補正を行うときのパラメータ値決定のためのデータ取得を行う領域を示す図である。 図18とは異なる領域を示す図である。 ISO感度毎にアンプ感光量補正を行う例を説明する図である。 ISO感度毎にアンプ感光量補正を行う補正処理手順を示すフローチャートである。 撮像毎に露光期間が異なる場合のインタレース読み出しのタイミングチャートである。 ISO感度でアンプ感光量補正を行うか否かを決定する処理手順を示すフローチャートである。
符号の説明
2 CCD型固体撮像素子
9 CPU
10 画像信号処理回路
30,30R,30L,30U,30D アンプ(発光源)
37 カラーフィルタ
38 マイクロレンズ
41 有効画素領域
42,42R,42L,42U,42D,48 水平電荷転送路(HCCD)
43 フローティングディフュージョン部
44 リセットドレイン

Claims (15)

  1. 半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
    H(x,y)=α/{(x +x) +(y +y)
    ここで、αはパラメータ値
    で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする撮像装置の撮像画像信号補正方法。
  2. 半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
    H(x,y)=α/{a(x +x) +b(y +y)
    ここで、α,a,bはパラメータ値
    で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする撮像装置の撮像画像信号補正方法。
  3. 半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置の撮像画像信号補正方法において、前記アンプの動作時に起きる発光により前記各画素が前記半導体基板を通して感光し得られる信号量を補正量として求め前記アンプから出力される前記各画素の検出信号量から前記補正量を減算補正するに際し、前記補正量を、前記アンプと前記各画素との間の距離の2乗に反比例した値として求めると共に、前記各画素のうち前記アンプに最も近い画素を原点(x ,y )とし、該原点に対する他の画素(x,y)の前記補正量H(x,y)を、
    H(x,y)=〔α/{a(x +x) +b(y +y) }〕−β
    ここで、α,β,a,bはパラメータ値
    で求め、且つ、前記各画素への入射光を遮断した状態で前記アンプを動作させて得られた遮光画像のデータに基づいて前記パラメータ値を定め、該パラメータ値に基づき前記補正量H(x,y)を算出することを特徴とする撮像装置の撮像画像信号補正方法。
  4. 前記補正量の値がマイナスとなる場合には該補正量を零にすることを特徴とする請求項3に記載の撮像装置の撮像画像信号補正方法。
  5. マルチフィールド読み出しを行う固体撮像素子では各フィールド毎に前記補正量を求めることを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置の撮像画像信号補正方法。
  6. 前記補正量は、各フィールド毎に異なるアンプ発光時間に応じて求めることを特徴とする請求項5に記載の撮像装置の撮像画像信号補正方法。
  7. 前記アンプが複数存在する固体撮像素子では、各アンプ毎に前記補正量を求め、アンプ毎の該補正量を加算した値を前記各画素の検出信号量から減算することを特徴とする請求項1乃至請求項6のいずれか1項に記載の撮像装置の撮像画像信号補正方法。
  8. 前記パラメータ値は、前記遮光画像のデータのうち任意の複数領域の積算値を用いて求めることを特徴とする請求項1乃至請求項7のいずれか1項に記載の撮像装置の撮像画像信号補正方法。
  9. 前記複数領域として、前記アンプに最も近い第1領域と、該第1領域に対して垂直方向に最も遠い第2領域と、前記第1領域に対して水平方向に最も遠い第3領域と、前記第1領域に対して対角方向に最も遠い第4領域を用いることを特徴とする請求項8に記載の撮像装置の撮像画像信号補正方法。
  10. 前記第1領域における前記遮光画像のデータの平均値をA、前記第2領域における前記平均値をB、前記第3領域の前記平均値をC、前記第4領域の前記平均値をDとしたとき、(A−B)−(C−D)を前記パラメータ値の算出に用いることを特徴とする請求項9に記載の撮像装置の撮像画像信号補正方法。
  11. 前記アンプが複数存在する固体撮像素子では、1つづつアンプの電源を入れてアンプ毎の前記遮光画像のデータを求めることを特徴とする請求項1乃至請求項10のいずれか1項に記載の撮像装置の撮像画像信号補正方法。
  12. 前記補正量は、撮影感度毎に求めることを特徴とする請求項1乃至請求項11のいずれか1項に記載の撮像装置の撮像画像信号補正方法。
  13. 前記補正量は、露光時間に応じて調整することを特徴とする請求項12に記載の撮像装置の撮像画像信号補正方法。
  14. 前記補正量は、撮影感度が所定感度以上のとき求め該所定感度に達しない撮影感度のときは該補正量を零とすることを特徴とする請求項12に記載の撮像装置の撮像画像信号補正方法。
  15. 半導体基板の表面部に二次元アレイ状に配列形成された複数の画素及び該半導体基板に形成され前記各画素が入射光量に応じて検出した信号を増幅するアンプを有する固体撮像素子と、前記アンプから出力される信号を処理する画像信号処理手段とを備える撮像装置において、請求項1乃至請求項14のいずれか1項に記載の撮像画像信号補正方法を実行する補正手段を備えることを特徴とする撮像装置
JP2008012742A 2008-01-23 2008-01-23 撮像装置及びその撮像画像信号補正方法 Expired - Fee Related JP5022923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008012742A JP5022923B2 (ja) 2008-01-23 2008-01-23 撮像装置及びその撮像画像信号補正方法
US12/357,858 US8269871B2 (en) 2008-01-23 2009-01-22 Image pickup apparatus and method of correcting a picked-up image signal of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008012742A JP5022923B2 (ja) 2008-01-23 2008-01-23 撮像装置及びその撮像画像信号補正方法

Publications (2)

Publication Number Publication Date
JP2009177402A JP2009177402A (ja) 2009-08-06
JP5022923B2 true JP5022923B2 (ja) 2012-09-12

Family

ID=40876168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008012742A Expired - Fee Related JP5022923B2 (ja) 2008-01-23 2008-01-23 撮像装置及びその撮像画像信号補正方法

Country Status (2)

Country Link
US (1) US8269871B2 (ja)
JP (1) JP5022923B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688352A (zh) * 2017-10-19 2019-04-26 沈阳飞欧光电科技有限公司 一种锁相阵列光电探测模块及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197285A (ja) * 1992-12-25 1994-07-15 Canon Inc 撮像装置
JP2001094887A (ja) * 1999-09-21 2001-04-06 Nikon Corp 撮像装置および電子カメラ
US7782377B2 (en) * 2003-02-26 2010-08-24 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, storage medium, and program to create correction data
JP2005051697A (ja) * 2003-07-31 2005-02-24 Canon Inc 撮像装置
US7280141B1 (en) * 2003-09-23 2007-10-09 Pixim Inc Fixed pattern noise subtraction in a digital image sensor
JP4366201B2 (ja) * 2004-01-29 2009-11-18 キヤノン株式会社 撮像装置
JP4054780B2 (ja) * 2004-05-27 2008-03-05 キヤノン株式会社 撮像装置
JP4546223B2 (ja) * 2004-11-19 2010-09-15 キヤノン株式会社 固体撮像装置及び同固体撮像装置を用いたカメラ
JP2006222689A (ja) * 2005-02-09 2006-08-24 Fuji Photo Film Co Ltd 撮影装置
JP4529782B2 (ja) * 2005-04-25 2010-08-25 カシオ計算機株式会社 撮像装置およびその信号処理方法
US7479995B2 (en) * 2005-05-19 2009-01-20 Digital Imaging Systems Gmbh On chip real time FPN correction without imager size memory
JP2007012948A (ja) * 2005-07-01 2007-01-18 Matsushita Electric Ind Co Ltd 固体撮像素子の検査方法および検査装置
JP2007028338A (ja) * 2005-07-19 2007-02-01 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4700445B2 (ja) * 2005-09-01 2011-06-15 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2007123414A (ja) * 2005-10-26 2007-05-17 Fujifilm Corp 固体撮像素子
JP4793059B2 (ja) * 2006-04-03 2011-10-12 セイコーエプソン株式会社 撮像装置及び撮像システム
JP2007305925A (ja) * 2006-05-15 2007-11-22 Matsushita Electric Ind Co Ltd 固体撮像装置
US7619671B2 (en) * 2006-07-18 2009-11-17 Aptina Imaging Corporation Method, apparatus and system for charge injection suppression in active pixel sensors

Also Published As

Publication number Publication date
JP2009177402A (ja) 2009-08-06
US8269871B2 (en) 2012-09-18
US20090185061A1 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP5215262B2 (ja) 撮像装置
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
TWI434569B (zh) 提供直線像素柵格徑向縮放的像素之方法,裝置以及系統
JP4745876B2 (ja) 画像処理装置及び画像処理方法
WO2014122714A1 (ja) 撮像装置及びその駆動方法
US20090290059A1 (en) Connection/separation element in photoelectric converter portion, solid-state imaging device, and imaging apparatus
JP6346479B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5013811B2 (ja) 撮像装置及び補正方法
JP6900227B2 (ja) 撮像装置及び撮像装置の駆動方法
EP2218250A1 (en) Image capturing apparatus and image capturing apparatus control method
KR101556468B1 (ko) 고체 촬상 장치 및 카메라
JP2007174032A (ja) 撮像装置
JP5750918B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP5022923B2 (ja) 撮像装置及びその撮像画像信号補正方法
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009077047A (ja) 電子カメラ
US10009559B2 (en) Imaging apparatus, method for controlling the same, and program
JP2012075050A (ja) 固体撮像素子、撮像装置、黒レベル決定方法
JP5058840B2 (ja) 撮像装置
JP2014175778A (ja) 撮像装置および撮像方法
JP2006303856A (ja) 固体撮像素子および撮像装置
JP6701269B2 (ja) 画像処理装置及び画像処理方法
JP2017142484A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009141558A (ja) Ccd型固体撮像素子及び撮像装置並びにccd型固体撮像素子の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

R150 Certificate of patent or registration of utility model

Ref document number: 5022923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees