JP5244533B2

JP5244533B2 - 撮像装置

Info

Publication number: JP5244533B2
Application number: JP2008266457A
Authority: JP
Inventors: 義信田中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-10-15
Filing date: 2008-10-15
Publication date: 2013-07-24
Anticipated expiration: 2028-10-15
Also published as: JP2010098442A

Description

本発明は、例えば、デジタルスチルカメラ、カムコーダに適用される、撮像装置に関する。

近年、デジタルスチルカメラやカムコーダに代表される撮像装置には、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ（以下、ＣＣＤと称する）や、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（以下、ＣＭＯＳと称する）に代表される固体撮像素子が搭載されているが、これらの固体撮像素子の有効画素領域から出力される被写体像（以下、撮影画像と称する）には、固体撮像素子のカラム方向に沿った縦筋状の固定パターンノイズ（以下、縦筋ノイズと称する）が発生することが知られている。なお、縦筋ノイズは、ＣＣＤにおけるＶキズ、ＣＭＯＳにおけるカラムノイズ、カラムＦＰＮ（ＦｉｘｅｄＰａｔｔｅｒｎＮｏｉｓｅ）と表現されることもある。

このような縦筋ノイズ成分を除去する方法として、固体撮像素子の欠陥ラインのアドレスを記憶しておき、欠陥ラインのアドレスに従ってＣＣＤの縦筋ノイズ成分を除去する方法が知られており(例えば、特許文献１参照)、同様に、ＣＭＯＳにおける縦筋ノイズ成分を除去する方法も知られている(例えば、特許文献２参照)。

このほか、遮光した固体撮像素子の領域にも縦筋ノイズ成分が発生することを利用して、固体撮像素子の遮光した領域から出力される画像（以下、遮光画像と称する）から、固体撮像素子が備えるキャパシタをリセット操作することにより縦筋ノイズ成分を抽出し、撮影画像を用いて相関二重サンプリング（ＣｏｒｒｅｌｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）（以下、ＣＤＳと称する）を行い、撮影画像から縦筋ノイズ成分を除去する方法が知られている。

遮光画像から縦筋ノイズ成分を抽出する場合は、例えばアルミ薄膜等により固体撮像素子に、光を当たらないよう遮光処理を施した光学的ブラック（ＯｐｔｉｃａｌＢｌａｃｋ）領域（以下、ＯＢ領域と称する）を予め設けておき、ＯＢ領域から縦筋ノイズ成分を抽出しておくことで、撮影画像から縦筋ノイズ成分を除去する方法が知られている。また、被写体を撮影する前に予めシャッターを閉じておき、固体撮像素子を遮光した状況下で遮光画像を撮影し、その遮光画像から縦筋ノイズ成分を抽出しておくことで、撮影画像から縦筋ノイズ成分を除去する方法も知られている。

また、固体撮像素子の画素ばらつき等に起因するランダムノイズ成分が、遮光画像に含まれている場合は、複数の撮影フレームを用いてランダムノイズを時間的に平均化してから縦筋ノイズ成分を抽出する方法が知られているが、時間的に平均化することで縦筋ノイズ成分の抽出に時間を要してしまうという欠点があった。このことを解決するため、従来技術(例えば、特許文献３参照)では、ＩＩＲ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタの帰還係数を変化させることにより、フィルタ計算を早く収束させることで、縦筋ノイズ成分を抽出する方法が示されている。
特開２００６−１４８４３９号公報特開２００６−１３５４２３号公報特開２００６−２５１４６号公報

しかしながら、特許文献３に示された方法では、フィルタ計算の途中でＩＩＲフィルタの帰還係数を変更することにより、縦筋ノイズ成分を抽出する時間を短縮することには成功しているものの、この方法では完全にフィルタ計算を収束させることができないため、精度が悪い縦筋ノイズ成分を撮影画像から除去することになり、本来のノイズ除去効果が得られないという問題があった。さらに、複数の撮影フレームを用いてランダムノイズを時間的に平均化してから縦筋ノイズ成分を抽出する方法は、ランダムノイズの平均化に時間を要するため、連写撮影の高速化が困難になるという問題もあった。

本発明は前記の諸点に鑑みてなされたものであり、固体撮像素子に発生する縦筋ノイズ成分を遮光画像から高速に精度よく抽出し、撮影画像から縦筋ノイズ成分を高速に精度よく除去する撮像装置を提供することを目的としている。

本発明は、固体撮像素子と、前記固体撮像素子の遮光された領域から出力される遮光画像データからノイズ成分を抽出するノイズ成分抽出部と、前記固体撮像素子の遮光されていない領域から出力される撮影画像データから前記ノイズ成分を減算する処理を行うノイズ減算部と、を備え、前記ノイズ成分抽出部は、前記遮光画像データに初期化係数を乗算する初期化係数乗算部と、累積値を記憶する記憶部と、前記記憶部に記憶されている累積値に帰還係数を乗算する帰還係数乗算部と、加算部と、を備え、前記遮光画像データに前記初期化係数を乗算した値に、前記記憶部から取得した累積値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第１のモードを実行することで、前記記憶部に累積値の初期値を記憶させ、次に、前記遮光画像データに、前記記憶部から取得した累積値に前記帰還係数を乗算した値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第２のモードを実行する、ことを特徴とする撮像装置である。

また本発明は、前記第１のモードにおいて、前記ノイズ成分抽出部は、前記遮光画像データのライン本数と前記初期化係数との積と、前記帰還係数により算出されるフィルタ増幅率と、が等しくなるよう前記累積値を初期化することを特徴とする撮像装置である。

また本発明は、前記ノイズ成分抽出部は、前記遮光画像データの水平方向における平均値を算出する水平平均値算出部を備え、前記第１のモードにおいて、前記水平平均値算出部で算出した平均値に前記初期化係数を乗算することを特徴とする撮像装置である。

また本発明は、前記ノイズ成分抽出部は、前記第１のモードを実行し、前記第２のモードの実行を省略し、前記ノイズ減算部は、前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする撮像装置である。

また本発明は、前記ノイズ成分抽出部は、前記遮光画像データに対して前記第１のモードを実行し、以降に取得した前記遮光画像データに対して前記第２のモードを実行し、前記ノイズ減算部は、前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする撮像装置である。

また本発明は、前記第２のモードにおいて用いる前記以降に取得した前記遮光画像データのライン本数が、前記第１のモードにおいて用いる前記遮光画像データのライン本数よりも、少ないことを特徴とする撮像装置である。

本発明によれば、撮像装置が、第１のモードにおいてＩＩＲフィルタのフィルタ増幅率を考慮した初期化を行い、第２のモードへと移行するため、遮光画像から取得されるライン数が少ない場合であっても、縦筋ノイズ成分を遮光画像から精度よく高速に抽出することができ、撮影画像から縦筋ノイズ成分を高速に精度よく除去することで、良好な撮影画像を高速に得ることができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施の一形態による撮像装置のブロック図である。図１において撮像装置は、光学レンズ１０１と、絞り１０２と、シャッター１０３と、固体撮像素子１０４と、縦筋ノイズ補正部１０５と、前処理部１０６と、画像処理部１０７と、表示ＩＦ（ＩｎｔｅｒＦａｃｅ）部１０８と、表示パネル１０９と、カードＩＦ（ＩｎｔｅｒＦａｃｅ）部１１０と、記録メディア１１１と、データバス１１２と、メモリコントローラ１１３と、メモリ１１４と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１５と、を備える。

光学レンズ１０１は、被写体からの入射光を屈折させる。絞り１０２は入射光の一部を通し、被写体からの入射光を固体撮像素子１０４に投影させる。これにより被写体像は固体撮像素子１０４に結像される。また、シャッター１０３が開いている場合、入射光は固体撮像素子１０４に投影されるが、シャッター１０３が閉まっている場合は、入射光を遮ることができ、固体撮像素子１０４に遮光画像を作り出すことができる。固体撮像素子１０４は、例えば、ＣＣＤ、ＣＭＯＳにより実現される。

縦筋ノイズ補正部１０５は、縦筋ノイズ減算部１４０と、縦筋ノイズ成分抽出部１５０と、を備える。縦筋ノイズ成分抽出部１５０は、固体撮像素子１０４から、遮光画像を取得し、遮光画像から縦筋ノイズ成分を抽出する。縦筋ノイズ減算部１４０は、抽出された縦筋ノイズ成分を撮影画像から減算することで、撮影画像から縦筋ノイズ成分を除去する。

図２は、ＯＢ領域を設けている場合の固体撮像素子１０４を示す。ＯＢ領域からは、縦筋ノイズ成分を抽出するための遮光画像が1ライン毎に縦筋ノイズ成分抽出部１５０に出力され、有効領域２０２からは、撮影画像が1ライン毎に縦筋ノイズ減算部１４０に出力される。なお、ＯＢ領域は必ずしも図２に示された配置に限られる必要はなく、例えば、有効領域２０２の上に配置（ＯＢ領域２０１）、有効領域２０２の下に配置（ＯＢ領域２０３）、有効領域２０２の上下に配置（ＯＢ領域２０１とＯＢ領域２０３）してもよい。したがって、縦筋ノイズ成分抽出部１５０は、ＯＢ領域２０１若しくはＯＢ領域２０３、又はその両方のＯＢ領域から出力された遮光画像を用いて、縦筋ノイズ成分を抽出することができる。

また、固体撮像素子１０４にＯＢ領域を設けていない場合は、ＣＰＵ１１５がシャッター１０３を閉じることで、入射光が遮光された有効領域２０２を、ＯＢ領域として使用することができる。シャッター１０３が閉じられている場合、縦筋ノイズ成分抽出部１５０は、シャッター１０３により遮光された有効領域２０２から画素の並び１ライン毎に出力された遮光画像を用いて、縦筋ノイズ成分を抽出することができる。また、ＣＰＵ１１５がシャッター１０３を開くことで、入射光を有効領域２０２に投影させれば、縦筋ノイズ減算部１４０は、有効領域２０２から画素の並び１ライン毎に撮影画像を取得することが出来る。

したがって、ＯＢ領域を設けている固体撮像素子１０４を用いる場合は、同時に撮影した遮光画像と撮影画像により、縦筋ノイズ減算部１４０が、抽出された縦筋ノイズ成分を、被写体像から減算することで、被写体像から縦筋ノイズ成分を除去する。シャッター１０３が閉じられることで有効領域２０２から出力される遮光画像を用いる場合は、まずシャッター１０３により遮光された有効領域２０２から遮光画像を取得し、次に、シャッター１０３を開いて、有効領域２０２から撮影画像を取得する。これにより、縦筋ノイズ減算部１４０は、抽出された縦筋ノイズ成分を被写体像から減算することで、被写体像から縦筋ノイズ成分を除去する。なお、ＯＢ領域を設けている固体撮像素子１０４を用いる場合でも、シャッター１０３により遮光された有効領域２０２から遮光画像を取得するようにしてもよい。

さらに縦筋ノイズ減算部１４０は、撮影画像の全体に対して縦筋ノイズ成分を減算する処理を行っても良いが、撮影画像の一部分に対して縦筋ノイズ成分を減算する処理を行うとしても良い。例えば、固体撮像素子１０４において縦筋ノイズ成分のレベルが大きい座標（カラム）に対して特に減算処理を行うとしても良く、あるいは固体撮像素子１０４において予め縦筋ノイズ成分のレベルが大きい座標（カラム）を決め、縦筋ノイズ成分を減算する処理を施すとしても良い。ＣＭＯＳの場合は、列（カラム）方向の特性のばらつきは列（カラム）全体に発生する傾向にある為、列（カラム）全体に対して縦筋ノイズ成分を減算する処理を行うとしても良い。またＣＣＤの場合は、垂直ＣＣＤの欠陥により特定の列（カラム）に縦筋ノイズ成分が発生する傾向にある為、特定の列（カラム）のみに対して縦筋ノイズ成分を減算する処理を行うとしても良い。

図３に、縦筋ノイズ成分抽出部１５０を示す。縦筋ノイズ成分１５０は、初期化係数乗算器１５１と、セレクタ（以下、ＳＥＬと称する）１５２と、累積加算器１５３と、ＳＥＬ１５６と、帰還係数乗算器１５５と、ラインバッファ１５４と、補正係数乗算器１５７と、動作モード切替部１５８と、を備える。動作モード切替部１５８は、入力された遮光画像データのライン数をカウントし、ＳＥＬ１５２と、ＳＥＬ１５６と、を用いて縦筋ノイズ成分抽出部１５０の動作モードである、累積加算モードと、ＩＩＲフィルタモードと、補正モードと、を切り替える。動作モードの詳細については後述する。

初期化係数乗算器１５１は、固体撮像素子１０４から取得した遮光画像データに対して、初期化係数Ｋｘを乗算する。ここで初期化係数Ｋｘは、フィルタ計算の初期値に用いられる係数である。ＳＥＬ１５２は、動作モード切替部１５８の制御により遮光画像データの流れを切り替えるセレクタである。累積加算器１５３は、遮光画像データを累積加算し、ラインバッファ１５４に出力する。累積加算モード動作開始前におけるラインバッファ１５４には、例として値０が記憶されているものとする。ラインバッファ１５４には、累積加算器１５３により累積加算された遮光画像データが記憶される。なお、ラインバッファ１５４を複数とし、複数ライン（カラム）分の遮光画像データを記憶させるようにしてもよい。

帰還係数乗算器１５５は、ラインバッファ１５４に記憶されている累積加算された遮光画像データに帰還係数Ｋｙを乗算する。ＳＥＬ１５６は、動作モード切替部１５８の制御に基づいて画像データの流れを切り替えるセレクタである。補正係数乗算器１５７は、ラインバッファ１５４に記憶されている累積加算された遮光画像データに補正係数Ｋｚを乗算する。

図４に、図３に示す縦筋ノイズ成分抽出部１５０における遮光画像データと撮影画像データの流れを動作モード別に示す。縦筋ノイズ成分抽出部１５０の動作モードには、累積加算モードと、ＩＩＲフィルタモードと、補正モードと、がある。縦筋ノイズ成分抽出部１５０に遮光画像データが入力されると、縦筋ノイズ成分抽出部１５０は、まず累積加算モードにて動作を行う。図４（Ａ）に累積加算モードにおける遮光画像データの流れを示す。ＳＥＬ１５２とＳＥＬ１５６は、動作モード切替部１５８の制御により、累積加算モードを実行するよう、縦筋ノイズ成分抽出部１５０のデータの流れを切り替える。

固体撮像素子１０４から縦筋ノイズ成分抽出部１５０に入力された遮光画像データは、初期化係数乗算器１５１により初期化係数Ｋｘが乗算され、ＳＥＬ１５２を経由して累積加算器１５３に入力される。累積加算器１５３は、入力された遮光画像データに初期化係数Ｋｘを乗算した遮光画像データと、ラインバッファ１５４から取得した前回までに累積加算された遮光画像データと、を加算して、今回累積加算した遮光画像データとしてラインバッファ１５４に記憶させる。

縦筋ノイズ成分抽出部１５０が累積加算モードで動作する場合、ｎ本（ｎは１以上の整数）のラインを累積加算した遮光画像データＳｎは［数１］で表される。ここで、Ｄｎはｎ本目のラインの遮光画像データ、Ｋｘは初期化係数、である。

縦筋ノイズ成分抽出部１５０が累積加算モードで動作する場合、縦筋ノイズ成分抽出部１５０は、入力された遮光画像データに初期化係数Ｋｘを乗じて累積加算を繰り返すことで、［数１］のＳｎで示される値をラインバッファ１５４に記憶させる。

［数２］に、遮光画像のｎ本のラインを累積加算した場合の、入力データに対する累積値の増幅度を示す。すなわち累積値の増幅度は、入力された遮光画像データのラインｎ本を累積加算した場合に、遮光画像データの累積値がどれだけ増幅するかを示している。

次に、動作モード切替部１５８は、遮光画像データが何ライン入力されたかをカウントしておき、そのカウント値が所定のライン数に達すると、ＳＥＬ１５２と、ＳＥＬ１５６と、を切り替えることで、縦筋ノイズ成分抽出部１５０をＩＩＲフィルタモードに切り替える。

ＩＩＲフィルタモードでは、縦筋ノイズ成分抽出部１５０は、ラインバッファ１５４に記憶された遮光画像データに帰還係数Ｋｙを乗算し、これを入力された遮光画像データに加算するＩＩＲフィルタとして動作する。なお、ＩＩＲフィルタモードとして動作するまでに行っていた累積加算モードの動作によってラインバッファ１５４に記憶されていた遮光画像データは、ＩＩＲフィルタモードの動作を開始する際のラインバッファ１５４の初期値として、そのまま引き継がれるものとする。

図４（Ｂ）にＩＩＲフィルタモードにおける遮光画像データの流れを示す。縦筋ノイズ成分抽出部１５０に入力された遮光画像は、ＳＥＬ１５２を経由して累積加算器１５３に入力される。累積加算器１５３は、帰還係数乗算器１５５によって帰還係数Ｋｙが乗算された前回までに累積加算された遮光画像データに、入力された遮光画像データを加算して、今回累積加算した遮光画像データとしてラインバッファ１５４に記憶させる。

縦筋ノイズ成分抽出部１５０がＩＩＲフィルタモードで動作する場合、ｎ本のラインを累積加算した遮光画像データＳｎは［数３］で表される。ここで、Ｄｎはｎ本目のラインの遮光画像データ、Ｋｙは帰還係数（０＜Ｋｙ＜１）、である。

縦筋ノイズ成分抽出部１５０がＩＩＲフィルタモードで動作する場合、縦筋ノイズ成分抽出部１５０は、ｎ本目のラインの遮光画像データが入力された際、前回までに入力された（ｎ−1）本のラインを累積加算した遮光画像データＳ_ｎ−１に帰還係数Ｋｙを乗算して、これに今回入力されたｎ本目のラインの遮光画像データＤｎを加算することで、垂直ＩＩＲフィルタとして動作し、［数３］のＳｎをラインバッファ１５４に記憶させる。

［数４］に、ｎ本のラインの遮光画像データを累積加算した場合の、入力された遮光画像データに対するフィルタ増幅率を示す。ここでフィルタ増幅率は、入力された遮光画像データがＩＩＲフィルタによりどれだけ増幅するか、を示している。

また、ｎが無限大の場合は［数４］は［数５］と一致する。例えば、帰還係数Ｋｙ＝６３／６４である場合、フィルタ増幅率は［数５］により６４になる。

帰還係数Ｋｙの（ｎ−１）乗を、遮光画像データをＩＩＲフィルタモードで累積加算する際のｎ本目のラインに対するゲインと呼ぶ。すなわち図４（Ｂ）、［数３］に示されるように、遮光画像データＤｎが入力された際に、前回の入力までにラインバッファ１５４に累積された（ｎ−１）本のラインの累積値Ｓ_ｎ−１に帰還係数Ｋｙが乗算され、今回入力された遮光画像データＤｎと乗算結果が累積加算器１５３によって加算され、ラインバッファ１５４にＳｎとして入力されるため、遮光画像データをＩＩＲフィルタモードで累積加算する際のｎ本目のラインに対するゲインは、帰還係数Ｋｙの（ｎ−１）乗となる。

したがって、フィルタ計算においてゲインとは重み付けであり、ゲインの大きいラインはノイズ成分減算への影響度が大きい。図５と図６に、累積加算モードからＩＩＲフィルタ動作モードに切り替えた場合の、累積加算ライン本数とゲインとの関係を示す。図５と図６で累積加算ライン本数は、累積加算モードと、累積加算モードの次に実行されるＩＩＲフィルタモードと、において累積加算器１５３により加算されるラインの本数である。

例として、計算条件を図５（Ｆ）に示す、初期化係数Ｋｘ＝１、帰還係数Ｋｙ＝６３／６４、初期化ライン数＝（フィルタ増幅率）／（初期化係数Ｋｘ）＝（１／(１−Ｋｙ)）／Ｋｘ＝６４とした場合の、累積加算ライン本数（横軸）と、ゲイン（縦軸）との関係を、図５の（Ａ）から（Ｅ）に示す。ここで初期化ライン数は、累積加算モードにおいて累積するラインの本数を示す。すなわち「初期化」とは、縦筋ノイズ成分抽出部１５０が、累積加算モードによる累積加算を実行することにより、ラインバッファ１５４の初期値を決めることであり、「初期化あり」とは、縦筋ノイズ成分抽出部１５０が累積加算モードによる累積加算を実行した後にＩＩＲフィルタ動作に移行したことを意味し、「初期化なし」とは、縦筋ノイズ成分抽出部１５０が累積加算モードによる累積加算を実行せずにＩＩＲフィルタ動作に移行したことを意味する。図５と図６では「初期化あり」と「初期化なし」の場合を容易に比較するため、無限本数のラインを累積加算した場合のライン毎のゲインを破線で示している。

図５（Ａ）は、累積加算モードによる初期化が完了した状態での累積加算ライン本数とゲインとの関係を示す。初期化係数Ｋｘ＝１を高さとし、初期化ライン数＝６４を底辺とする長方形で示される網掛け部分の面積は６４であり、［数２］に初期化係数Ｋｘ＝１、ｎ＝６４を代入しても面積が得られる。すなわち、図５（Ａ）の網掛け部分の面積は入力データに対する累積値の増幅度であり、初期化が完了した状態でラインバッファ１５４に記憶されているＳｎを示す。

図５（Ｂ）は、縦筋ノイズ成分抽出部１５０がＩＩＲフィルタモードに移行し、遮光画像データを累積加算している状態であり、５０本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。網掛け部分４００は、ＩＩＲフィルタモードで入力された遮光画像データのライン毎のゲインを示す領域であり、縦筋ノイズ成分抽出部１５０に遮光画像データが入力される毎に、前回までにラインバッファ１５４に記憶された累積値に帰還係数Ｋｙ＝６３／６４が乗算されるため、ライン毎のゲインは網掛け部分４００に示される勾配をもつ。また網掛け部分４００の面積は、［数４］にｎ＝５０を代入することで計算され、約３５となる。

網掛け部分４０１は、累積加算モードで決まったラインバッファ１５４の初期値が、ＩＩＲフィルタモードにおいてライン毎に有しているゲインを示す領域である。累積加算モードで決まったラインバッファ１５４の初期値を使ってＩＩＲフィルタモードを開始することを考慮すると、ラインバッファ１５４の初期値に対してはＩＩＲフィルタモードにおける１本目の遮光画像データ入力から帰還係数Ｋｙ＝６３／６４が乗算される。したがって、網掛け部分の面積は、ＩＩＲフィルタモードにおいて５０本目まで遮光画像データを累積加算した場合、ゲイン（帰還係数Ｋｙ＝（６３／６４）の５０乗）を高さとし、初期化ライン数（６４本）を網掛け部分の底辺とする長方形の面積で示され、約２９となるので、網掛け部分４００の面積と網掛け部分４０１の面積を合計すると、６４となる。

図５（Ｃ）は、同様に１００本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示し、図５（Ｄ）は、同様に１５０本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。またそれぞれの網掛け部分の面積は同様に６４である。

図５（Ｅ）は、無限本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係である。網掛け部分の面積は、帰還係数Ｋｙ＝６３／６４を［数５］に代入することにより６４と判る。

同様に、計算条件を図６（Ｆ）に示す、初期化係数Ｋｘ＝２、帰還係数Ｋｙ＝６３／６４、初期化ライン数＝（フィルタ増幅率）／（初期化係数Ｋｘ）＝（１／(１−Ｋｙ)）／Ｋｘ＝３２とした場合の、累積加算ライン本数（横軸）と、ゲイン（縦軸）との関係を、図６の（Ａ）から（Ｅ）に示す。

図６（Ａ）は、累積加算モードによる初期化が完了した状態での累積加算ライン本数とゲインとの関係を示す。例として、初期化ライン数＝３２の遮光画像データが、初期化係数Ｋｘ＝２で入力された場合を示しているため、初期化係数Ｋｘ＝２を高さとし、初期化ライン数を底辺とする長方形で示される網掛け部分の面積は６４となっている。すなわち、初期化ライン数を図５（Ａ）の場合よりも少ない３２本として、累積に必要な時間を短くする代わりに、初期化係数Ｋｘを２とすることで、ラインバッファ１５４の初期値を６４としている。

図６（Ｂ）は、縦筋ノイズ成分抽出部１５０がＩＩＲフィルタモードに移行し遮光画像データを累積加算する途中の状態であり、５０本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。図５（Ｂ）の場合と同様の計算により、網掛け部分の面積は、６４となる。

図６（Ｃ）は、同様に１００本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示し、図６（Ｄ）は、同様に１５０本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。またそれぞれの網掛け部分の面積は同様に６４である。

図６（Ｅ）は、無限本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係である。網掛け部分の面積は、帰還係数Ｋｙ＝６３／６４を［数５］に代入することにより６４と判る。

したがって、図５（Ａ）から（Ｅ）のそれぞれの網掛け部分面積は等しい。図６についても、同様である。すなわち、縦筋ノイズ成分抽出部１５０は、累積加算モードにより初期化を行ってから（図５（Ａ）、図６（Ａ））ＩＩＲフィルタモードへと移行することで（（図５（Ｂ）、図６（Ｂ）））、遮光画像データの累積加算を少ないライン数で止めたとしても（例えば、図５（Ｃ）、図６（Ｃ））、無限本のライン数をＩＩＲフィルタモードで動作させた場合と同じフィルタ増幅率（図５、図６のそれぞれの網掛け部分の面積）を用いて縦筋ノイズ成分を抽出する計算を行うことができるため、遮光画像データから縦筋ノイズ成分を高い精度で抽出することができる。

また、縦筋ノイズ成分抽出部１５０は遮光画像データの累積加算を少ないライン数で止めた場合、フィルタ計算に時間を要することなく縦筋ノイズ成分を高速に抽出することができる。なお、ＩＩＲフィルタモードを省略して、累積加算モードから直接、補正モードに移行するとしても良い。

また、初期化係数乗算器１５１からの入力がない累積加算器（不図示）を、累積加算器１５３のほかに設けてもよい。その場合、動作モード切替部１５８は、ＳＥＬ１５２によりデータの流れを切り替える代わりに、動作モードに応じて累積加算器（不図示）を選択すれば、ＳＥＬ１５２によらずデータの流れを切り替えることができる。また、帰還係数乗算器１５５からの入力がない累積加算器（不図示）を、累積加算器１５３のほかに設けてもよい。その場合、動作モード切替部１５８は、ＳＥＬ１５６によりデータの流れを切り替える代わりに、動作モードに応じて累積加算器（不図示）を選択すれば、ＳＥＬ１５６によらずデータの流れを切り替えることができる。

図４（Ｃ）に、縦筋ノイズ成分抽出部１５０の補正モードにおける撮影画像データの流れを示す。縦筋ノイズ成分抽出部１５０は、累積加算モードと、所定のライン本数まで累積加算したＩＩＲフィルタモードと、により縦筋ノイズ成分を抽出した後、補正モードに移行する。

補正係数乗算器１５７は、ラインバッファ１５４から遮光画像データの累積値を取得し、補正係数Ｋｚを乗算した値を、縦筋ノイズ成分として縦筋ノイズ減算部１４０に出力する。ここで補正係数Ｋｚは、フィルタにより増幅された遮光画像データを増幅前のレベルに戻すため、例えばフィルタ増幅率の逆数を設定するとしてもよい。あるいは、固体撮像素子１０４の特性、温度、撮像装置にユーザが設定する撮影条件などに応じて、補正係数Ｋｚの値を決めても良い。例えば過補正を防止する目的で、補正係数Ｋｚを小さめに設定してもよく、補正を強める目的で補正係数Ｋｚを大きめに設定してもよい。

縦筋ノイズ成分抽出部１５０は、図３に示す構成以外に次のような構成としてもよい。図７に示す縦筋ノイズ成分抽出部１５０は、図３に示す構成に水平平均値算出器３０１が追加されている。水平平均値算出器３０１は、固体撮像素子１０４から、遮光画像データを取得する。

図８に、図７に示す縦筋ノイズ成分抽出部１５０における遮光画像データと撮影画像データの流れを動作モード別に示す。縦筋ノイズ成分抽出部１５０の動作モードとして、累積加算モード１と、累積加算モード２と、ＩＩＲフィルタモードと、補正モードと、がある。水平平均値算出器３０１は、累積加算器３０２と、フリップフロップ（ＦＦ）３０３と、平均値算出器３０４と、ＳＥＬ３０５と、を備える。

図８（Ａ１）に累積加算モード１における遮光画像データの流れを示す。縦筋ノイズ成分抽出部１５０に遮光画像データが入力されると、縦筋ノイズ成分抽出部１５０は、累積加算モード１にて動作を行う。動作モード切替部１５８は、ＳＥＬ１５２と、ＳＥＬ１５６と、を用いて縦筋ノイズ成分抽出部１５０のデータの流れを切り替える。

水平平均値算出器３０１は、例えば固体撮像素子１０４の水平方向の遮光画像の平均値を1ライン全体に関して算出する。

次に、初期化係数乗算器１５１は、水平平均値算出器３０１から遮光画像データの平均値を取得し、これに初期化係数Ｋｘを乗算後、ＳＥＬ１５２に出力する。ＳＥＬ１５２は、累積加算器１５３に遮光画像データの平均値を出力し、累積加算器１５３はラインバッファ１５４に遮光画像データの累積値を記憶させる。

縦筋ノイズ成分抽出部１５０に再び遮光画像データが入力されると、水平平均値算出器３０１は、固体撮像素子１０４の水平方向の遮光画像の平均値を1ライン全体に関して算出する。次に、初期化係数乗算器１５１は、水平平均値算出器３０１から遮光画像データの平均値を取得し、これに初期化係数Ｋｘを乗算後、ＳＥＬ１５２に出力する。ＳＥＬ１５２は、累積加算器１５３に遮光画像データの平均値を出力し、累積加算器１５３は遮光画像データの累積値をラインバッファ１５４からＳＥＬ１５６経由で取得し、これに遮光画像の平均値を加算した結果をラインバッファ１５４に記憶させる。

次に縦筋ノイズ成分抽出部１５０は、累積加算モード２に移行する（図８（Ａ２））。累積加算モード２では、水平平均値算出器３０１は遮光画像データに対して特に処理を行わず、初期化係数乗算器１５１に遮光画像データを転送する。累積加算モード２の以降の縦筋ノイズ成分抽出部１５０の動作は、前述の図４（Ａ）に示す累積加算モードと同様である。

次に縦筋ノイズ成分抽出部１５０は、ＩＩＲフィルタモードに移行し（図８（Ｂ））、前述の図４（Ｂ）に示すＩＩＲフィルタモードと同様の動作を行う。さらに、縦筋ノイズ成分抽出部１５０は、補正モードに移行し（図８（Ｃ））、前述の図４（Ｃ）に示す補正モードと同様の動作を行う。なお、累積加算モード１で初期化した後、ＩＩＲフィルタモードに移行するとしても良い。また、累積加算モード１で初期化した後に、累積加算モード２でさらに初期化を行い、次にＩＩＲフィルタモードに移行するとしても良い。

すなわち、図３に示した縦筋ノイズ成分抽出部１５０は、遮光画像データに対して垂直方向に累積値を算出していたが、図７に示した縦筋ノイズ成分抽出部１５０は、遮光画像データに対して水平方向に平均値を算出した後、垂直方向に累積値を算出する点が異なる。

図３に示した縦筋ノイズ成分抽出部１５０は、ＯＢ領域のライン本数が少ない場合、初期化係数Ｋｘを大きくすることでフィルタの初期化を行うが、ライン本数が少ないデータで初期化すると、ランダムノイズの影響を受けやすくなるという問題がある。しかし、図７に示した縦筋ノイズ成分抽出部１５０は、水平方向の平均値を用いてから初期化を行うので、ライン本数が少ないデータで初期化した場合でもランダムノイズの影響を受け難いという点で有効である。

図９に、動画撮影状態あるいは動画撮影待機状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係について示す。なお、ここに示す各値は一例である。

固体撮像素子１０４のＯＢ領域２０１若しくはＯＢ領域２０３、又はＯＢ領域２０１とＯＢ領域２０３と、から縦筋ノイズ抽出部１５０に遮光画像データが入力される。縦筋ノイズ抽出部１５０は、初期化ライン数＝８、初期化係数Ｋｘ＝４で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ１）。

固体撮像素子１０４の有効領域２０２から縦筋ノイズ減算部１４０に、撮影画像データが入力される。縦筋ノイズ減算部１４０が撮影画像データから縦筋ノイズ成分を減算するために、縦筋ノイズ抽出部１５０は、初期化ライン数＝８と初期化係数Ｋｘ＝４を掛けた値が３２であるので、例えば補正係数Ｋｚ＝１／３２で補正モードの動作を、ステップＳ１で取得した遮光画像データに対して実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部１４０に出力する。縦筋ノイズ減算部１４０は、撮影画像データから縦筋ノイズ成分を減算する（ステップＳ２）。

固体撮像素子１０４のＯＢ領域２０１若しくはＯＢ領域２０３、又はＯＢ領域２０１とＯＢ領域２０３と、から縦筋ノイズ抽出部１５０に遮光画像データが入力される。縦筋ノイズ抽出部１５０は、帰還係数Ｋｙ＝３１／３２で、ＩＩＲフィルタモードの動作を、８本のラインに対し実行する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ３）。

ステップＳ４では、ステップＳ２と同様の動作を行い、ステップＳ５では、ステップＳ３と同様の動作を行い、ステップＳ６では、ステップＳ２と同様の動作を行い、以降は同様の繰り返しにより、動画撮影状態あるいは動画撮影待機状態を続ける。

このように、縦筋ノイズ抽出部１５０は、ＯＢ領域２０１、ＯＢ領域２０３から遮光画像データを取得し、ステップＳ１において初期化を済ませているので、ステップＳ３以降の遮光画像データに対してはＩＩＲフィルタモードの動作を行うことができ、動画撮影状態あるいは動画撮影待機状態において、シャッター１０３による遮光画像データを使わなくとも、縦筋ノイズ成分の抽出を行うことができる。

図１０に、静止画撮影状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係について示す。なお、ここに示す各値は一例である。

ＣＰＵ１１５は、シャッター１０３を閉じる。固体撮像素子１０４の有効領域２０２から縦筋ノイズ抽出部１５０に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部１５０は、初期化ライン数＝３２、初期化係数Ｋｘ＝２で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ１０）。

ＣＰＵ１１５は、シャッター１０３を閉じたまま、固体撮像素子１０４の有効領域２０２から縦筋ノイズ抽出部１５０に遮光画像データが入力される。縦筋ノイズ抽出部１５０は、帰還係数Ｋｙ＝６３／６４で、ＩＩＲフィルタモードの動作を８本のラインに対し実行する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ１１）。

ＣＰＵ１１５は、シャッター１０３を開く。固体撮像素子１０４の有効領域２０２から縦筋ノイズ減算部１４０に、撮影画像データが入力される。縦筋ノイズ抽出部１５０は、ステップＳ１１までに取得した遮光画像データに対して、補正係数Ｋｚ＝１／６４で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部１４０に出力する。縦筋ノイズ減算部１４０は、撮影画像データから縦筋ノイズ成分を減算する（ステップＳ１２）。

このように、縦筋ノイズ抽出部１５０は、シャッター１０３による遮光画像データを取得することで、固体撮像素子１０４にＯＢ領域２０１、ＯＢ領域２０３が無い場合でも静止画撮影状態において縦筋ノイズ成分の抽出を行うことができる。

図１１に、静止画撮影状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係について、図１０の手順とは異なる手順を示す。なお、ここに示す各値は一例である。

ＣＰＵ１１５は、シャッター１０３を閉じる。固体撮像素子１０４の有効領域２０２から縦筋ノイズ抽出部１５０に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部１５０は、初期化ライン数＝６４、初期化係数Ｋｘ＝１で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ２０）。

ＣＰＵ１１５は、シャッター１０３を開く。固体撮像素子１０４の有効領域２０２から縦筋ノイズ減算部１４０に、撮影画像データが入力される。縦筋ノイズ抽出部１５０は、ステップＳ２０で取得した遮光画像データに対して、補正係数Ｋｚ＝１／６４で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部１４０に出力する。縦筋ノイズ減算部１４０は、撮影画像データから縦筋ノイズ成分を減算する（ステップＳ２１）。

このように、縦筋ノイズ抽出部１５０は、シャッター１０３による遮光画像データを取得し、累積加算モードによる初期化後のＩＩＲフィルタモードにおける動作を実行せずに、静止画撮影状態において縦筋ノイズ成分の抽出を行うことも可能である。

図１２に、静止画撮影の連写状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係について示す。なお、ここに示す各値は一例である。

ＣＰＵ１１５は、シャッター１０３を閉じる。固体撮像素子１０４の有効領域２０２から縦筋ノイズ抽出部１５０に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部１５０は、初期化ライン数＝６４、初期化係数Ｋｘ＝１で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ３０）。

ＣＰＵ１１５は、シャッター１０３を開く。固体撮像素子１０４の有効領域２０２から縦筋ノイズ減算部１４０に、撮影画像データが入力される。縦筋ノイズ抽出部１５０は、ステップＳ２０で取得した遮光画像データに対して、補正係数Ｋｚ＝１／６４で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部１４０に出力する。縦筋ノイズ減算部１４０は、撮影画像データから縦筋ノイズ成分を減算する（ステップＳ３１）。

ＣＰＵ１１５は、シャッター１０３を閉じ、固体撮像素子１０４の有効領域２０２から縦筋ノイズ抽出部１５０に遮光画像データが入力される。縦筋ノイズ抽出部１５０は、帰還係数Ｋｙ＝６３／６４で、ＩＩＲフィルタモードの動作を１６本のラインに対し実行する。縦筋ノイズ減算部１４０は、動作停止中である（ステップＳ３２）。

ステップＳ３３では、ステップＳ３１と同様の動作を行い、ステップＳ３４では、ステップＳ３２と同様の動作を行い、ステップＳ３５では、ステップＳ３１と同様の動作を行い、以降は同様の繰り返しにより、静止画撮影の連写状態を続ける。

このように、縦筋ノイズ抽出部１５０は、少ない本数のラインに対してＩＩＲフィルタモードにおける動作を実行するため、縦筋ノイズ成分の抽出を高速に行うことができ、静止画撮影の高速連写に有利である。

縦筋ノイズ減算部１４０は、固体撮像素子１０４から撮影画像と、縦筋ノイズ成分抽出部１５０から縦筋ノイズ成分と、を取得し、撮影画像から縦筋ノイズ成分を減算したデータを前処理部１０６に出力する。

前処理部１０６と、画像処理部１０７と、表示ＩＦ部１０８と、カードＩＦ部１１０と、はデータバス１１２で接続されており、これらのブロックの起動タイミングや、動作モードはＣＰＵ１１５により制御される。

前処理部１０６は、縦筋ノイズ成分が減算された撮影画像に対し、必要に応じて例えば、画像全体が平均的に一様な明るさとなるようシェーディング補正等の処理を施し、画像処理部１０７に撮影画像データを出力する。

画像処理部１０７は、必要に応じて例えば、撮影画像データに対して輝度クロマ（ＹＣ）生成処理等の画像処理を行い、撮影画像データをメモリコントローラ１１３に出力する。メモリコントローラ１１３は、撮影画像データをメモリ１１４に記憶させる。カードＩＦ部１１０は、メモリ１１４から撮影画像データを取得し、記録メディア１１１に撮影画像データを記憶させる。また、表示ＩＦ部１０８は、メモリ１１４から撮影画像データを取得し、表示パネル１０９に表示する。

このように、縦筋ノイズ成分抽出部１５０は、累積加算モードにおいてＩＩＲフィルタのフィルタ増幅率を考慮した初期化を行い、ＩＩＲフィルタモードへと移行するため、遮光画像から取得されるライン数が少ない場合であっても、縦筋ノイズ成分を遮光画像から精度よく高速に抽出することができ、良好な撮影画像を高速に得ることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、固体撮像素子を９０度回転して撮像装置に配置した場合や、画像信号処理、画像信号記録処理等によって、縦筋状のノイズが横筋状のノイズとして見えることもあるため、縦筋ノイズの方向は縦に限定されなくてもよい。

また、累積加算モードにおける初期化は、初期化ライン数と初期化係数との積が、ＩＩＲフィルタモードにおけるフィルタ増幅率となるよう限定されなくてもよい。

また、本発明に記載のノイズ成分抽出部は、縦筋ノイズ成分抽出部１５０に対応し、ノイズ減算部は、縦筋ノイズ減算部１４０に対応し、初期化係数乗算部は、初期化係数乗算器１５１に対応し、記憶部は、ラインバッファ１５４に対応し、帰還係数乗算部は、帰還係数乗算器１５５に対応し、加算部は、累積加算器１５３に対応し、水平平均値算出部は、水平平均値算出器３０１に対応する。

また、図９、図１０、図１１、図１２に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、通信端末の実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本実施の一形態による撮像装置のブロック図である。ＯＢ領域を設けている場合の固体撮像素子１０４である。縦筋ノイズ成分抽出部１５０である。図３に示す縦筋ノイズ成分抽出部１５０における遮光画像データと撮影画像データの流れを示す図である。累積加算モードからＩＩＲフィルタ動作モードに切り替えた場合の、累積加算ライン本数とゲインとの関係図である。累積加算モードからＩＩＲフィルタ動作モードに切り替えた場合の、累積加算ライン本数とゲインとの関係図である。縦筋ノイズ成分抽出部１５０である。図７に示す縦筋ノイズ成分抽出部１５０における遮光画像データと撮影画像データの流れを示す図である。動画撮影状態等における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係図である。静止画撮影状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係図である。静止画撮影状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係図である。静止画撮影の連写状態における、固体撮像素子１０４から縦筋ノイズ補正部１０５への入力データと、縦筋ノイズ成分抽出部１５０の動作モードと、縦筋ノイズ減算部１４０の動作と、の関係図である。

符号の説明

１０１…光学レンズ１０２…絞り１０３…シャッター１０４…固体撮像素子１０５…縦筋ノイズ補正部１０６…前処理部１０７…画像処理部１０８…表示ＩＦ部１０９…表示パネル１１０…カードＩＦ部１１１…記録メディア１１２…データバス１１３…メモリコントローラ１１４…メモリ１１５…ＣＰＵ１４０…縦筋ノイズ減算部１５０…縦筋ノイズ成分抽出部１５１…初期化係数乗算器１５２…ＳＥＬ１５３…累積加算器１５４…ラインバッファ１５５…帰還係数乗算器１５６…ＳＥＬ１５７…補正係数乗算器１５８…動作モード切替部２０１…ＯＢ領域２０２…有効領域２０３…ＯＢ領域３０１…水平平均値算出器３０２…累積加算器３０３…フリップフロップ（ＦＦ）３０４…平均値算出器３０５…ＳＥＬ４００…網掛け部分４０１…網掛け部分

Claims

固体撮像素子と、
前記固体撮像素子の遮光された領域から出力される遮光画像データからノイズ成分を抽出するノイズ成分抽出部と、
前記固体撮像素子の遮光されていない領域から出力される撮影画像データから前記ノイズ成分を減算する処理を行うノイズ減算部と、
を備え、
前記ノイズ成分抽出部は、
前記遮光画像データに初期化係数を乗算する初期化係数乗算部と、
累積値を記憶する記憶部と、
前記記憶部に記憶されている累積値に帰還係数を乗算する帰還係数乗算部と、
加算部と、
を備え、
前記遮光画像データに前記初期化係数を乗算した値に、前記記憶部から取得した累積値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第１のモードを実行することで、前記記憶部に累積値の初期値を記憶させ、
次に、前記遮光画像データに、前記記憶部から取得した累積値に前記帰還係数を乗算した値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第２のモードを実行する、
ことを特徴とする撮像装置。
前記第１のモードにおいて、前記ノイズ成分抽出部は、
前記遮光画像データのライン本数と前記初期化係数との積と、
前記帰還係数により算出されるフィルタ増幅率と、
が等しくなるよう前記累積値を初期化することを特徴とする請求項１に記載の撮像装置。
前記ノイズ成分抽出部は、
前記遮光画像データの水平方向における平均値を算出する水平平均値算出部
を備え、
前記第１のモードにおいて、前記水平平均値算出部で算出した平均値に前記初期化係数を乗算することを特徴とする請求項１に記載の撮像装置。
前記ノイズ成分抽出部は、
前記第１のモードを実行し、前記第２のモードの実行を省略し、
前記ノイズ減算部は、
前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする請求項１に記載の撮像装置。
前記ノイズ成分抽出部は、
前記遮光画像データに対して前記第１のモードを実行し、
以降に取得した前記遮光画像データに対して前記第２のモードを実行し、
前記ノイズ減算部は、
前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする請求項１に記載の撮像装置。
前記第２のモードにおいて用いる前記以降に取得した前記遮光画像データのライン本数が、前記第１のモードにおいて用いる前記遮光画像データのライン本数よりも、少ないことを特徴とする請求項５に記載の撮像装置。