JP5123756B2 - 撮像システム、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、時系列に取り込まれた画像信号に対してノイズ成分を低減する撮像システム、画像処理方法および画像処理プログラムに関する。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された画像信号中には、一般にノイズ成分が含まれている。この画像信号に含まれるノイズ成分を低減し高画質な画像を得るために、ノイズ低減処理があり、例えば、動画像を時間的に連続する画像フレームとして捉え、時間的に相関性のないノイズ成分を低減する３次元ノイズ低減処理が数多く提案されている。

例えば、３次元ノイズ低減処理は、現在の画像信号と過去の画像信号とを減算して差分信号を取り、このフレーム間の差分にある一定の係数を乗算したものを現在の画像信号に加減算することにより、ノイズ低減処理を行うものである。このような３次元ノイズ低減処理では、ノイズ低減効果が得られる一方で、画像中の動きのある部分においては、差分信号にノイズ成分だけでなく動き成分も含まれることから、残像や尾引き（以下、残像成分と表記）などの画像の劣化が生じる場合がある。

この場合には、差分信号等から得られる動き情報を用いて前記係数を算出し、動きのある部分では係数を小さくすることでノイズ低減の効果を弱くし、残像成分の低減が図られている。
このようなノイズ低減処理には、例えば、特許文献１に示されるように、時間方向、空間方向に入力画素データと相関をもつデータを探してノイズを低減する例が開示されている。この特許文献１においては、入力画素データに近い値を持つ画素には大きい荷重を、入力画素データから遠い値を持つ画素には小さな過重を付けて平均化する非線形フィルタが用いられている。これにより被写体の動きに応じたノイズ低減処理を行っている。

また、他の例として、例えば、特許文献２に示されるように、１フレーム前の信号との間の差分データに対し、所定期間の差分データの最大値と平均値を検出し、検出した最大値と平均値から、補正データ生成時の設定情報とノイズ低減処理のオン／オフを制御する制御信号を生成して精度よくノイズ量を検出し、ノイズ低減する例や、特許文献３に示されるように、複数フレーム間における画素信号の差分を動きの度合いとして検出し、これにより巡回するノイズのゲインを設定して、ノイズ低減を行う例が開示されている。

また、他の例として、特許文献４に示されるように、フレーム差分からの動き検出結果と画像信号のレベルによりノイズの巡回係数を制御することで、画像の明るさに応じたノイズ低減処理を行う装置の例もある。
また、他の例として、特許文献５に示されるに、フレーム間の差分から動き比較を行い、この比較結果を多数決処理回路においてチェックし、比較結果のバラツキを補正し、これを動き信号としてノイズの巡回係数を決定することで、良好に動き検出を行い、ノイズ低減を行う装置の例もある。

特開平６−６２２８３号公報 特開２００３−２１９２０８号公報 特開２００２−３３９４２号公報 特開２００５−３４７８２１号公報 特開平９−８１７５４号公報

上述したように、従来の３次元ノイズ低減処理においては、現在の画像信号との差分値により、ノイズに対する巡回係数を制御し、画像中に動き成分がある場合の、残像成分を低減していた。
しかしながら、一方では、差分信号には画像間の動き成分による差分と、画像信号に含まれるノイズ成分による差分が含まれている。そのため、動き成分の検出感度を上げると、ノイズ成分による差分の検出感度が下がり、ノイズ成分による差分を動き成分と誤検出して、良好なノイズ低減効果が得られない。一方、動き検出の感度を下げると、動き成分をノイズ成分と誤検出して、本来の動き部分に残像成分が生じるという不都合がある。

さらに、例えば、入力画像信号レベルのゲインがアップした場合のようなノイズ成分の値が大きな画像信号が入力されると、ノイズ成分による差分を動き成分と誤検出してしまい、ノイズ低減効果が得られず、良好なノイズ低減を行うことができないという問題がある。

本発明は、上述した課題を解決するためになされたものであり、撮影状況に最適化され、残像成分の発生を抑制した良好なノイズ低減処理を可能とする撮像システム、画像処理方法および画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明のある態様は、撮像系を介して時系列に取り込まれた画像信号に対しノイズ低減処理を行う撮像システムであって、処理対象の画像信号から注目画素を包含する局所領域を抽出する第１の抽出部と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第２の抽出部と、前記第１の抽出部により抽出された局所領域に対し、前記第２の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第１のノイズ低減部と、該第１のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、該ノイズ推定部により推定されたノイズ量に基づき前記第１のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第２のノイズ低減部とを有する撮像システムを提供する。

この態様によれば、記憶部に記憶された異なる時刻に取得された画像信号に基づいて、例えば、信号レベル、ゲインなどの撮影時に動的に変化する要因に対応した輝度信号および色差信号のノイズ量のモデル化が行われ、該モデルに基づきノイズ量が推定される。そして、推定されたノイズ量に基づき、第１のノイズ低減部によりノイズ低減処理を施された局所領域に含まれる残像成分が検出され、該残像成分を低減する第２のノイズ低減処理が施される。これにより、残像成分を抑制したノイズ低減処理を行うことが可能となり、高品位な画像信号が得られる。

また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理を行う画像処理において、処理対象の画像信号から注目画素を包含する局所領域を抽出する第１のステップと、画像信号を所定量記憶する第２のステップと、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第３のステップと、前記第１のステップにより抽出された局所領域に対し、前記第３のステップにより抽出された局所領域を用いてノイズ低減処理を行う第４のステップと、該第４のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第５のステップと、該第５のステップにより推定されたノイズ量に基づき前記第４のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第６のステップと、該第６のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第７のステップとを含む画像処理方法を提供する。

また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理をコンピュータに実行させるための画像処理プログラムにおいて、処理対象の画像信号から注目画素を包含する局所領域を抽出する第１の処理と、画像信号を所定量記憶する第２の処理と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第３の処理と、前記第１の処理により抽出された局所領域に対し、前記第３の処理により抽出された局所領域を用いてノイズ低減処理を行う第４の処理と、該第４の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第５の処理と、該第５の処理により推定されたノイズ量に基づき前記第４の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第６の処理と、該第６の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第７の処理とをコンピュータに実行させる画像処理プログラムを提供する。

本発明によれば、撮影状況に最適化され、残像成分の発生を抑制した、良好なノイズ低減処理を行うことができるという効果を奏する。

（第１の実施形態）
本発明の第１の実施形態に係る撮像システムについて、図１〜図８を参照して以下に説明する。
図１は本実施形態に係る撮像システムの全体構成を示す概略構成図、図２は色差線順次補色フィルタの配列と局所領域抽出に関する説明図、図３は図１の撮像システムのノイズ低減部のブロック構成図、図４は信号レベルに対するノイズ量の関係、図５は図１の撮像システムの残像検出部のブロック構成図、図６は図１の撮像システムの第２のノイズ低減部のブロック構成図、図７は図１の撮像システムの処理全体の流れを示すフローチャート、図８は図１の撮像システムのノイズ低減処理の流れを示すフローチャートをそれぞれ示している。

本実施形態に係る撮像システムは、図１に示されるように、撮像素子（撮像系）１０１、Ａ／Ｄ変換部１０２、Ｙ／Ｃ分離部１０３、ノイズ低減部１０４、信号処理部１０５、出力部１０６、制御部１０７および外部Ｉ／Ｆ部１０８を備えている。

撮像素子１０１は、結像される光学像を光電変換して、アナログの画像信号として出力するための素子である。なお、本実施形態においては、撮像素子１０１として、図２に示すような色差線順次型の補色カラーフィルタが前面に配置された単板撮像素子を想定している。なお、これに限らず、撮像素子１０１として、ベイヤー（Ｂａｙｅｒ）型の原色カラーフィルタが前面に配置された単板撮像素子等を用いても構わない。

図２（ａ）は、色差線順次型の補色フィルタの構成を示している。この色差線順次方式の補色フィルタは、２×２画素を基本単位とし、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、緑（Ｇ）が１画素ずつ配置されている。ただし、ＭｇとＧの位置はライン毎に反転するように構成されている。

撮像素子１０１からの画像信号は、図２に示されるように上下が加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号から構成される。偶数および奇数フィールド信号を合成することで１枚の画像信号が得られる。以後、連続的に出力される複数の画像信号を映像信号、１枚の画像信号を単に画像信号と表記する。

Ａ／Ｄ変換部１０２は、制御部１０７の制御に基づき、撮像素子１０１から出力されたアナログの画像信号を、デジタルの画像信号に変換するものである。撮像素子１０１を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。前記アナログ信号は、Ａ／Ｄ変換部１０２にてデジタル信号へ変換されてＹ／Ｃ分離部１０３へ転送される。

Ｙ／Ｃ分離部１０３は、制御部１０７の制御に基づき、偶数および奇数フィールド信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを次の数１に示すように算出するものである。

ノイズ低減部１０４は、制御部１０７の制御に基づき、Ｙ／Ｃ分離部１０３からの画像信号を用いてノイズ低減処理を行う。ノイズ低減後の画像信号は信号処理部１０５へ転送される。
ノイズ低減部１０４は、例えば、図３に示されるように、第１の領域抽出部（第１の抽出部）２０１と、第２の領域抽出部（第２の抽出部）２０２と、第１のノイズ低減部２０３と、ノイズ推定部２０４と、残像検出部２０５と、第２のノイズ低減部２０６と、フレームメモリ（記憶部）２０７とを有している。
図３は図１の撮像システムのノイズ低減部のブロック構成図である。

また、Ｙ／Ｃ分離部１０３は、第１の領域抽出部２０１と、第１のノイズ低減部２０３と、第２のノイズ低減部２０６とを介して、信号処理部１０５に接続されている。第１の領域抽出部２０１は、残像検出部２０５および第２のノイズ低減部２０６にも接続されている。

第１のノイズ低減部２０３は、ノイズ推定部２０４および残像検出部２０５にも接続されている。ノイズ推定部２０４は、残像検出部２０５に接続されている。残像検出部２０５は、第２のノイズ低減部２０６に接続されている。第２のノイズ低減部２０６は、フレームメモリ２０７にも接続されている。フレームメモリ２０７は、第２の領域抽出部２０２を介して、第１のノイズ低減部２０３に接続されている。

信号処理部１０５は、制御部１０７の制御に基づき、ノイズ低減部１０４からノイズ低減処理後の画像信号を読み出し、公知の補間処理、強調処理、圧縮処理などを行い、処理後の信号を出力部１０６へ転送するものである。
出力部１０６は、信号処理部１０５から出力される映像信号を、例えば、メモリーカードなどの記録媒体へ記録して保存するものである。

制御部１０７は、例えば、マイクロコンピュータなどにより構成されていて、Ａ／Ｄ変換部１０２、Ｙ／Ｃ分離部１０３、ノイズ低減部１０４、信号処理部１０５、出力部１０６および外部Ｉ／Ｆ部１０８と双方向に接続されており、これらを含むこの画像処理装置全体を制御するようになっている。
また、制御部１０７は、第１の領域抽出部２０１、第２の領域抽出部２０２、第１のノイズ低減部２０３、ノイズ推定部２０４、残像検出部２０５および第２のノイズ低減部２０６と双方向に接続されていて、これらを制御するようになっている。

外部Ｉ／Ｆ部１０８は、画像処理システムが適用されたこの画像処理装置に対するユーザからの入力等を行うためのインタフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、ユーザは、この外部Ｉ／Ｆ部１０８を介して、ゲインの設定などを行うことができるようになっている。そして、この外部Ｉ／Ｆ部１０８は、入力された情報を、制御部１０７へ出力するようになっている。

第１の領域抽出部２０１は、制御部１０７の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第１のノイズ低減部２０３、残像検出部２０５および第２のノイズ低減部２０６に出力するようになっている。

本実施形態では、局所領域として図２に示すような５×５画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、３×３画素からなる正方形領域を想定してもよいし、あるいは、７×５画素からなる長方形領域を想定してもよい。

また、他の例として、局所領域として、４×４画素からなる正方形領域や、４×６の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。

また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。輝度信号は、偶数フィールドにおいては図２（ｂ）に示すように、奇数フィールドにおいては図２（ｃ）に示すように、５×５画素の全てに存在する。これに対して、色差信号は５×５画素の全てには存在しない。すなわち、色差信号Ｃｒは、偶数フィールドにおいては図２（ｂ）に示すように５×３画素となり、奇数フィールドにおいては図２（ｃ）に示すように５×２画素となる。また、色差信号Ｃｂは、偶数フィールドにおいては図２（ｂ）に示すように５×２画素となり、奇数フィールドにおいては図２（ｃ）に示すように５×３画素となる。

このような局所領域の構成においては、ノイズ低減処理の対象となる注目画素（例えば、局所領域の中心に位置する画素）は、輝度信号Ｙおよび色差信号Ｃｒ（色差信号Ｃｂは処理対象外）の場合、または、輝度信号Ｙおよび色差信号Ｃｂ（色差信号Ｃｒは処理対象外）の場合の何れかである。図２に示す例においては、偶数フィールドにおいて前者の場合、奇数フィールドにおいて後者の場合となっているが、注目画素の位置が異なれば、これと逆に、偶数フィールドにおいて後者の場合、奇数フィールドにおいて前者の場合となることもある。

第２の領域抽出部２０２は、制御部１０７の制御に基づき、フレームメモリ２０７に記憶されているノイズ低減処理がなされた過去の画像信号から、上述した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第１のノイズ低減部２０３へ出力する。なお、注目画素と同一空間位置の画素のみを抽出してもよく、注目画素と同一空間位置近傍の画素のみを抽出してもよい。

上述した構成において、ノイズ低減部１０４により時刻Ｔに取得された画像信号のノイズ低減処理が行われている時点では、第１の領域抽出部２０１により抽出される局所領域は時刻Ｔの画像信号に係るものであり、第２の領域抽出部２０２により抽出される局所領域は時刻Ｔよりも過去の画像信号に係るものである。
なお、時刻Ｔに取得された画像信号を記憶しておき、その後の異なる時刻に取得された他の画像信号に基づいて、記憶されている時刻Ｔに取得された画像信号にノイズ低減処理を施してもよい。

第１のノイズ低減部２０３は、制御部１０７の制御により、第１の領域抽出部２０１から転送されてきた時刻Ｔの局所領域と、第２の領域抽出部２０２から転送されてきたノイズ低減処理後の時刻Ｔよりも過去の局所領域とに基づき、３次元ノイズ低減処理を行う。本実施形態においては、注目画素と、時刻Ｔの近傍画素と、時刻Ｔよりも過去の近傍画素（注目画素と同一空間位置の画素を含む）とに対して、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。第１のノイズ低減部２０３は、３次元ノイズ低減処理を行った後の注目画素の輝度信号ＮＲｙおよび色差信号ＮＲｃｂ，ＮＲｃｒをノイズ推定部２０４へ出力する。

ノイズ推定部２０４は、制御部１０７の制御に基づき、第１のノイズ低減部２０３から転送されてきた３次元ノイズ低減処理後の注目画素の信号値ＮＲｓ（ｓ＝ｙ，ｃｂ，ｃｒ）を用いて注目画素のノイズ量Ｎｓ（ｓ＝ｙ，ｃｂ，ｃｒ）を推定する。

ここで、図４を参照して、ノイズ量の推定について説明する。この図４は、信号レベルＬに対するノイズ量Ｎｓ（ｓ＝ｙ，ｃｂ，ｃｒ）の関係をプロットしたものである。図示のように、ノイズ量Ｎｓは、信号レベルＬに対して２次曲線的に増加するものとなっている。そこで、信号レベルＬをノイズ低減処理済みの信号値ＮＲｓ（ｓ＝ｙ，ｃｂ，ｃｒ）とした場合、このようなノイズモデルを２次関数を用いて具体的にモデル化すると、数２が得られる。

ここで、αｓ、βｓ、γｓは定数項である。ノイズ推定部２０４は、この数２に示すようなモデルを用いて、３次元ノイズ低減処理後の注目画素の信号値ＮＲｓ（ｓ＝ｙ，ｃｂ，ｃｒ）からノイズ量Ｎｓを推定する。輝度ノイズ量Ｎｙおよび、色差ノイズ量Ｎｃｂ，Ｎｃｒは残像検出部２０５へ出力される。

残像検出部２０５は、制御部１０７の制御により、ノイズ推定量Ｎｓ（ｓ＝ｙ，ｃｂ，ｃｒ）に基づき３次元ノイズ低減処理済みの信号値ＮＲｓ（ｓ＝ｙ，ｃｂ，ｃｒ）に含まれる残像成分を検出する。注目画素に残像成分が含まれるか否かの判定結果Ｔｓ（ｓ＝ｙ，ｃｂ，ｃｒ）は第２のノイズ低減部２０６に出力される。判定結果Ｔｓは「残像成分が含まれる」、「残像成分が含まれない」の２通りである。

第２のノイズ低減部２０６は、制御部１０７の制御に基づき、注目画素の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに、ノイズ低減済み信号ＮＲｓおよび残像検出部からの信号Ｔｓを用いてノイズ低減処理を行う。第２のノイズ低減部２０６は、ノイズ低減処理を行った後の注目画素の輝度信号および色差信号を信号処理部１０５とフレームメモリ２０７とへ出力する。

こうして、フレームメモリ２０７には、ノイズ低減処理がなされた画像信号が記録されることになり、このノイズ低減処理後の画像信号が、次の画像信号の処理に用いられることになる。

次に、残像検出部２０５の詳細な構成について図５を参照して説明する。
演算部３０１は、制御部１０７の制御に基づき、第１の領域抽出部２０１から転送されてきた局所領域中の注目画素の輝度信号値Ｙおよび色差信号値Ｃｂ，Ｃｒと第１のノイズ低減処理を行った輝度信号値ＮＲｙおよび色差信号値ＮＲｃｂ，ＮＲｃｒのそれぞれの絶対差分値信号Ｓｓ（ｓ＝ｙ，ｃｂ，ｃｒ）を求め、判定部３０３に出力する。絶対差分値信号Ｓｓは、注目画素信号値のノイズ成分または、ノイズ低減処理信号値の残像成分を含んだ信号である。

調整部３０２は、制御部１０７の制御に基づき、ノイズ推定部２０４から出力されるノイズ推定量Ｎｓを調整し、調整後ノイズ推定量ＣＮｓ（ｓ＝ｙ，ｃｂ，ｃｒ）を判定部３０３に出力する。ここで、調整部３０２は、判定結果記憶部３０４から注目画素の近傍に位置する画素の判定結果を読み込む。ここで、近傍画素とは隣接する１画素を想定している。他の例として、これに限らず近傍画素として、４近傍画素を想定してもよいし、８近傍画素を想定してもよい。近傍画素の判定結果Ｔｓが「残像成分が含まれる」である場合には、ノイズ推定量Ｎｓを小さくなるよう調整する。

判定部３０３は、制御部１０７の制御に基づき、演算部３０１から出力された絶対差分信号値Ｓｓと、調整部３０２から出力された調整後ノイズ量ＣＮｓを比較することにより、輝度ノイズ低減済み信号ＮＲｙおよび色差ノイズ低減済み信号ＮＲｃｂ，ＮＲｃｒに残像成分が含まれるか否かを判定する。

ここで、絶対差分信号値Ｓｓが調整後ノイズ推定量ＣＮｓより大きい場合には、第１のノイズ低減処理を行った信号ＮＲｓには残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号Ｔｓを「残像成分が含まれる」とする。逆に、絶対差分信号値Ｓｓが調整後ノイズ推定量ＣＮｓより小さい場合には、第１のノイズ低減処理を行った信号ＮＲｓには残像成分が含まれないと判定し、判定信号Ｔｓを「残像成分が含まれない」とする。判定信号Ｔｓは第２のノイズ低減部２０６と判定結果記憶部３０４とへ出力される。

次に、第２のノイズ低減部２０６の詳細な構成について図６を参照して説明する。
切り替え部４０１は、制御部１０７の制御に基づき、第１の領域抽出部２０１から転送されてきた注目画素の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、第１のノイズ低減部２０４から転送されてきた注目画素の３次元ノイズ低減後の信号値ＮＲｓに切り替える処理を行う。

すなわち、切り替え部４０１は、残像検出部２０５による判定結果Ｔｓが「残像成分が含まれない」である場合には、注目画素の輝度信号値Ｙおよび色差信号値Ｃｂ，Ｃｒに、注目画素の３次元ノイズ低減後の信号値ＮＲｓを次の数３に示すように代入する処理を行う。

また、切り替え部４０１は、残像検出部２０５による判定結果Ｔｓが「残像成分を含む」である場合には、注目画素の信号値Ｙ，Ｃｂ，Ｃｒの代入処理を行わない。その後、切り替え部４０１は、注目画素の輝度信号値Ｙおよび色差信号値Ｃｂ，Ｃｒを、２次元ノイズ低減部４０２へ出力する。

２次元ノイズ低減部４０２は、制御部１０７の制御に基づき、切り替え部４０１から転送された注目画素の画素値と、２次元ノイズ低減部４０２内に含まれる図示しないラインメモリに蓄えられた注目画素近傍の画素値と、残像検出部からの判定結果Ｔｓとに基づき、２次元ノイズ低減処理を行う。本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。

ここで、注目画素における判定結果Ｔｓが「残像成分が含まれる」である場合は、近傍画素の重み荷重を大きく重み付け加算する。２次元ノイズ低減部４０２は、２次元ノイズ低減処理を行った後の注目画素の輝度信号ＮＲ２ｙおよび色差信号ＮＲ２ｃｂ，ＮＲ２ｃｒを、信号処理部１０５とフレームメモリ２０７とへ出力する。

なお、上述においては、映像信号処理装置として、撮像素子１０１、Ａ／Ｄ変換部１０２等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生（Ｒａｗ）データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。

ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０１からの信号を未処理のままの生（Ｒａｗ）データとして、制御部１０７からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。

図７を参照して、コンピュータに映像信号処理プログラムを実行させたときの処理の流れを説明する。
この処理を開始すると、まず、映像信号と、ゲインなどのヘッダ情報とが読み込まれる（Ｓｔｅｐ１）。

次に、読み込まれた映像信号が、画像信号毎に、数１に示したように、輝度信号と色差信号とに分離される（Ｓｔｅｐ２）。
続いて、後で図８を参照して詳細に説明するように、輝度信号および色差信号にノイズ低減処理が行われる（Ｓｔｅｐ３）。

さらに、ノイズ低減処理が行われた画像信号が出力される（Ｓｔｅｐ４）。
そして、ノイズ低減処理後の画像信号に、公知の階調変換処理、強調処理、圧縮処理などの信号処理が行われる（Ｓｔｅｐ５）。
次に、信号処理が行われた画像信号が出力される（Ｓｔｅｐ６）。
その後、映像信号に含まれる全画像信号の処理が完了したか否かが判定され（Ｓｔｅｐ７）、完了していないと判定された場合にはＳｔｅｐ２へ戻って次の画像信号について上述したような処理が繰り返して行われる。
一方、全画像信号の処理が完了していると判定された場合には、この処理が終了される。

次に、図８を参照して、図７のＳｔｅｐ３におけるノイズ低減処理の詳細について説明する。
この処理を開始すると、ノイズ低減処理の対象となる画像信号中の、注目画素を含む局所領域が、図２に示したように抽出される（Ｓｔｅｐ１１）。
続いて、ノイズ低減処理がなされた過去の画像信号が入力される（Ｓｔｅｐ１２）。
さらに、過去の画像信号から、注目画素と同一空間位置の画素を含む局所領域が抽出される（Ｓｔｅｐ１３）。

次に、注目画素を含む局所領域と過去の局所領域とに基づいて、３次元ノイズ低減処理が行われる（Ｓｔｅｐ１４）。
続いて、３次元ノイズ低減処理後の注目画素の信号値に基づいてノイズ量が数２に示したように推定される（Ｓｔｅｐ１５）。

さらに、注目画素の近傍に位置する近傍画素の判定結果が読み込まれる（Ｓｔｅｐ１６）。
その後、近傍画素の判定結果に基づいて、ノイズ量の補正が行われる（Ｓｔｅｐ１７）。
次に、Ｓｔｅｐ２において分離された注目画素の信号値と、Ｓｔｅｐ１４で算出された３次元ノイズ低減済み画像信号の差分絶対値が算出される（Ｓｔｅｐ１８）。
ここで、注目画素の差分絶対値がノイズ推定量より小さいか否かが判定される（Ｓｔｅｐ１９）。

一方、Ｓｔｅｐ１９において、注目画素の差分絶対値がノイズ推定量より小さいと判定された場合には、注目画素の信号値に３次元ノイズ低減済み画像信号値が代入される（Ｓｔｅｐ２０）。
次に、注目画素を含む局所領域に基づいて、２次元ノイズ低減処理が行われる（Ｓｔｅｐ２１）。

その後、画像信号から抽出し得る全ての局所領域について処理が終了したか否かが判定され（Ｓｔｅｐ２２）、完了していないと判定された場合はＳｔｅｐ１１へ戻って次の局所領域を抽出して上述したような処理が行われる。
一方、Ｓｔｅｐ２２において、画像信号から抽出し得る全ての局所領域について処理が終了したと判定された場合には、図７に示した処理にリターンされる。

なお、上述では、ノイズ低減処理に用いる過去の画像信号の数について特に限定はしていないが、処理対象となっている画像信号の１つ前の画像信号のみを用いても構わないし、処理対象となっている画像信号よりも過去の複数の画像信号を用いるようにしてもよい。ただし、後者の場合には、フレームメモリ２０７として複数フレームの信号を記憶可能な記憶容量を確保する必要があり、第２の領域抽出部２０２は処理対象のフレーム数分の処理を行うことになり、第１のノイズ低減部２０３は複数フレームに対応した処理を行うことになる。

また、上述では、数２における各係数αｓ、βｓ、γｓ（ｓ＝ｙ，ｃｂ，ｃｒ）を単に定数項としたが、画像信号を撮像したときの撮像素子１０１の温度やゲインなどに依存する定数項とすれば、これらの要因にも対応することが可能となる。

このような実施形態によれば、被写体の動きや信号レベル、輝度レベルなどの撮影時に動的に変化する要因に対応してノイズ量を高精度に推定しているために、画面全体における最適なノイズ低減を行うことが可能となる。これにより、高品位な映像信号を得ることができる。
このとき、処理対象の画像信号のノイズ量を、ノイズ成分が除去された過去の画像信号に基づいて推定するようにしているために、ノイズ量の推定精度を向上することができる。

さらに、輝度ノイズ量と色差ノイズ量とを独立に推定するようにしたために、各々の推定精度を向上することができる。
また、ノイズ量に基づいてノイズ範囲を設定しノイズ低減処理を行うようにしたために、原信号と全く異なる信号値になってしまうことはなく、原信号の保存性に優れるという利点がある。このとき、ノイズ範囲に属すると判定された注目画素については３次元ノイズ低減処理後の画素値を適用し、ノイズ範囲に属さないと判定された注目画素についてはノイズ量に基づく補正処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して高品位な信号を得ることができる。

そして、ノイズ低減処理後の信号を本来の信号として出力して、その後に各種の信号処理等を行うようにしたために、従来の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる利点がある。
また、色差線順次型の色フィルタ配置に合わせて輝度信号と色差信号とを求めるようにしたために、高速な処理が可能となる。

さらに、近傍画素の残像判定結果に基づき、ノイズ推定量Ｎｓを補正するようにしている。つまり、空間的に相関のある残像成分に対して、近傍画素に残像成分が含まれる場合には、ノイズ範囲を狭めて、つまり３次元ノイズ低減処理（数３参照。）を適用する範囲を狭めるようにしたために、３次元ノイズ低減済み画像から高精度に残像成分を除くことが可能となる。一方、近傍画素に残像成分が含まれない場合には、ノイズ範囲は変わらず、動きのない被写体に対しては効果的な３次元ノイズ低減処理を施せるため、高品位な信号を得ることが可能となる。

また、注目画素の３次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、２次元ノイズ低減処理の重み荷重を大きくするように調整することにより、ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号を得ることができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

（第２の実施形態）
本発明の第２の実施形態に係る撮像システムついて、図９〜図１４を参照して以下に説明する。
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

図９は第２の実施形態に係る撮像システムの全体構成を示す概略構成図、図１０は図９の撮像システムノイズ低減部のブロック構成図、図１１はＲＧＢフィルタの配列と局所領域抽出に関する説明図、図１２は図９の撮像システムの残像検出部のブロック構成図、図１３は図９の撮像システムの第２のノイズ低減部のブロック構成図、図１４は残像検出部の算出値に対する重み係数の関係を示している。

まず、図９に示したような本実施形態に係る撮像システムの信号の流れを説明する。
この図９に示す撮像システムは、図１に示された第１の実施形態に係る撮像システムを一部変更したものとなっている。

すなわち、この撮像システムは、図１に示した撮像素子１０１をＲ撮像素子５０１、Ｇ撮像素子５０２およびＢ撮像素子５０３に、ノイズ低減部１０４をノイズ低減部５０４に、それぞれ置換し、Ｙ／Ｃ分離部１０３を除いた構成になっている。また、Ｒ撮像素子５０１、Ｇ撮像素子５０２およびＢ撮像素子５０３には、入射した光束をＲＧＢの３色成分に分離するためのダイクロイックプリズムが設けられている。その他の基本的な構成は第１の実施形態と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。Ｒ撮像素子５０１、Ｇ撮像素子５０２およびＢ撮像素子５０３は、ダイクロイックプリズムによりＲＧＢの３色に分離されたＲ成分の光がＲ撮像素子５０１へ、Ｇ成分の光がＧ撮像素子５０２へ、Ｂ成分の光がＢ撮像素子５０３へそれぞれ導かれることによって、光電変換してアナログの画像信号として出力するようになっている。ここで、Ｒ撮像素子５０１、Ｇ撮像素子５０２およびＢ撮像素子５０３は、Ａ／Ｄ変換部１０２にそれぞれ接続されている。

次に図１０を参照してノイズ低減部５０４の構成の一例について説明する。
この図１０に示すノイズ低減部５０４は、上述した第１の実施形態の図３に示したノイズ低減部１０４を一部変更したものとなっている。すなわち、このノイズ低減部５０４は、図３に示したＹ／Ｃ分離部１０３をＡ／Ｄ変換部１０２に、図３に示した第１の領域抽出部２０１を第１の領域抽出部６０１に、図３に示した第２の領域抽出部２０２を第２の領域抽出部６０２に、図３に示した残像検出部２０５を残像検出部６０５に、図３に示した第２のノイズ低減部２０６を第２のノイズ低減部６０６に、それぞれ置換した構成になっている。その他の基本的な構成は第１の実施形態と同様であって、同一の構成には同一の名称と符号を付している。

Ａ／Ｄ変換部１０２は、第１の領域抽出部６０１と、第１のノイズ低減部２０３と、第２のノイズ低減部６０６を介して、信号処理部１０５に接続されている。第１の領域抽出部６０１は、残像検出部６０５および第２のノイズ低減部６０６にも接続されている。第１のノイズ低減部２０３は、ノイズ推定部２０４および残像検出部６０５にも接続されている。

ノイズ推定部２０４は、残像検出部６０５に接続されている。残像検出部６０５は、第２のノイズ低減部６０６に接続されている。第２のノイズ低減部６０６は、フレームメモリ２０７にも接続されている。フレームメモリ２０７は、第２の領域抽出部６０２を介して、第１のノイズ低減部２０３に接続されている。

また、制御部１０７は、第１の領域抽出部６０１、第２の領域抽出部６０２、第１のノイズ低減部２０３、ノイズ推定部２０４、残像検出部６０５、第２のノイズ低減部６０６と双方向に接続されていて、これらを制御するようになっている。

第１の領域抽出部６０１は、制御部１０７の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第１のノイズ低減部２０３と残像検出部６０５と第２のノイズ低減部６０６とへ出力する。

本実施形態では、局所領域として図１１に示すような５×５画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、３×３画素からなる正方形領域を想定してもよいし、あるいは、７×５画素からなる長方形領域を想定してもよい。

また、他の例として、局所領域として、４×４画素からなる正方形領域や、４×６の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。

第２の領域抽出部２０２は、制御部１０７の制御に基づき、フレームメモリ２０７に記憶されているノイズ低減処理がなされた過去の画像信号から、図１１に示した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第１のノイズ低減部２０３へ出力する。

第２のノイズ低減部６０６は、制御部１０７の制御に基づき、第１の領域抽出部６０１から出力される注目画素のＲＧＢ信号値と、第１のノイズ低減部２０３から出力される注目画素のノイズ低減済みＲＧＢ信号と、残像検出部６０５から出力される算出値とを用いてノイズ低減処理を行う。第２のノイズ低減部６０６は、ノイズ低減処理を行った後の注目画素のＲＧＢ信号値を信号処理部１０５とフレームメモリ２０７とへ出力する。

次に、残像検出部６０５の詳細な構成について図１２を参照して説明する。
この図１２に示す残像検出部６０５は、上述した第１の実施形態の図５に示した残像検出部２０５を一部変更したものとなっている。すなわち、この残像検出部６０５は、図５に示した判定部３０３を判定部７０３に置換した構成になっている。その他の基本的な構成は第１の実施形態と同様であって、同一の構成には同一の名称と符号を付している。

判定部７０３は、制御部１０７の制御に基づき、演算部３０１から出力された絶対差分信号値と、調整部３０２から出力された調整後ノイズ量を比較することにより、ノイズ低減済みＲＧＢ信号に残像成分が含まれるか否かを判定する。ここで、絶対差分信号値と調整後ノイズ推定量の差分値を算出する。絶対差分信号値が調整後ノイズ推定量より大きい場合には、算出値は正の値、絶対差分信号値が調整後ノイズ推定量より小さい場合には、算出値は負の値をとるものとする。

算出値が正の値の場合には、第１のノイズ低減処理を行った信号には残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号を「残像成分が含まれる」とする。逆に、算出値が負の値の場合には、第１のノイズ低減処理を行った信号には残像成分が含まれないと判定し、判定信号を「残像成分が含まれない」とする。算出値は第２のノイズ低減部６０６へ出力される。判定信号は判定結果記憶部３０４へ出力される。

次に、第２のノイズ低減部６０６の詳細な構成について図１３を参照して説明する。
２次元ノイズ低減部８０１は、制御部１０７の制御に基づき、第１の領域抽出部６０１から転送された注目画素を含む局所領域に基づき、２次元ノイズ低減処理を行う。

本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。２次元ノイズ低減部８０１は、２次元ノイズ低減処理を行った後の注目画素のＲＧＢ信号ＮＲ２ｓ（ｓ＝ｒ，ｇ，ｂ）を合成部８０３に出力する。

係数算出部８０２は、制御部１０７の制御に基づき、残像検出部６０５から転送されてきた算出値に基づき、ＲＧＢ信号の重み付け係数Ｋｓ（ｓ＝ｒ，ｇ，ｂ）を設定する。
ここで、注目画素の算出値が正の値の場合は、重み係数Ｋｓを大きく設定する。一方、注目画素の算出値が負の値の場合は、重み係数Ｋｓを小さく設定する。算出値と重み係数Ｋｓとの関係を表す例を図１４（ａ）〜（ｃ）に示す。

合成部８０３は、制御部１０７の制御に基づき、２次元ノイズ低減部８０１から転送されてきた注目画素のＲＧＢ信号と、第１のノイズ低減部２０３から転送されてきた注目画素のＲＧＢ信号値ＮＲｓ（ｓ＝ｒ，ｇ，ｂ）を、係数算出部８０２から出力される重み係数Ｋｓ（ｓ＝ｒ，ｇ，ｂ）に基づき合成処理を行う。出力信号値ＮＲ３ｓ（ｓ＝ｒ，ｇ，ｂ）は次の数４で表わされる。

なお、上述においては、映像信号処理装置として、Ｒ撮像素子５０１、Ｇ撮像素子５０２、Ｂ撮像素子５０３、Ａ／Ｄ変換部１０２等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生（Ｒａｗ）データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。

ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０１からの信号を未処理のままの生（Ｒａｗ）データとして、制御部１０７からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。

このような実施形態によれば、注目画素の３次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、係数算出部で２次元ノイズ低減処理の重み荷重を大きくするように設定することにより、残像成分を抑制した、ノイズ低減処理に伴う不連続性の発生を防止した高品位な信号を得ることができる。

本発明の第１の実施形態に係る撮像システムの全体構成を示す概略構成図である。 図１の撮像システムの色差線順次補色フィルタの配列と局所領域抽出に関する説明図である。 図１の撮像システムのノイズ低減部を示すブロック構成図である。 図１の撮像システムの信号レベルに対するノイズ推定量の関係を示すグラフである。 図１の撮像システムの残像検出部を示すブロック構成図である。 図１の撮像システムの第２のノイズ低減部を示すブロック構成図である。 図１の撮像システムの処理全体の流れを示すフローチャートである。 図１の撮像システムのノイズ低減処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る撮像システムの全体構成を示す概略構成図である。 図９の撮像システムのノイズ低減部を示すブロック構成図である。 図９の撮像システムのＲＧＢフィルタの配列と局所領域抽出の関係を説明する説明図である。 図９の撮像システムの残像検出部を示すブロック構成図である。 図９の撮像システムの第２のノイズ低減部を示すブロック構成図である。 図９の撮像システムの残像検出部の算出値に対する重み係数の関係を示すグラフである。

符号の説明

１０１ 撮像素子（撮像系）
２０１ 第１の領域抽出部（第１の抽出部）
２０２，６０２ 第２の領域抽出部（第２の抽出部）
２０３ 第１のノイズ低減部
２０４ ノイズ推定部
２０５，６０５ 残像検出部
２０６，６０６ 第２のノイズ低減部
２０７ フレームメモリ（記憶部）
３０１ 演算部
３０２ 調整部
３０３，７０３ 判定部
３０４ 判定結果記憶部
４０１ 切り替え部（置き換え部）
４０２，８０１ ２次元ノイズ低減部
８０２ 係数算出部
８０３ 合成部

Claims (8)

1. 撮像系を介して時系列に取り込まれた画像信号に対しノイズ低減処理を行う撮像システムであって、
   処理対象の画像信号から注目画素を包含する局所領域を抽出する第１の抽出部と、
   前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第２の抽出部と、
   前記第１の抽出部により抽出された局所領域に対し、前記第２の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第１のノイズ低減部と、
   該第１のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、
   該ノイズ推定部により推定されたノイズ量に基づき前記第１のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、
   該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第２のノイズ低減部とを有することを特徴とする撮像システム。
2. 前記残像検出部は、前記注目画素と前記第１のノイズ低減部によりノイズ低減処理を施された局所領域との差分の絶対値を算出する演算部と、該演算部により算出された差分の絶対値と前記ノイズ推定部により推定されたノイズ量とを比較し、前記注目画素に残像成分が含まれるか否かを判定する判定部とを有することを特徴とする請求項１に記載の撮像システム。
3. 前記残像検出部は、前記注目画素近傍の判定結果に基づき前記ノイズ量を調整する調整部を有することを特徴とする請求項２に記載の撮像システム。
4. 前記調整部は、前記注目画素近傍に残像成分が含まれる場合には、前記推定されたノイズ量が小さくなるように調整することを特徴とする請求項３に記載の撮像システム。
5. 前記第２のノイズ低減部は、前記残像検出部による検出結果に基づき前記処理対象の画像信号の注目画素を前記第１のノイズ低減部から出力される局所領域に置き換える置き換え部と、該置き換え部により置き換えられた画像信号に対して、前記判定部の判定結果に基づき、注目画素を含む局所領域内でノイズ低減処理を行う２次元ノイズ低減部とを有することを特徴とする請求項２に記載の撮像システム。
6. 前記第２のノイズ低減部は、前記第１の抽出部により抽出された局所領域に対して、注目画素を含む局所領域内でノイズ低減処理を行う２次元ノイズ低減部と、前記残像検出部により検出された残像成分に基づき前記処理対象の画像信号および前記第１のノイズ低減部によりノイズ低減処理を施された局所領域の重み係数を算出する係数算出部と、該係数算出部により算出された係数を前記２次元ノイズ低減部によりノイズ低減処理を施された局所領域と前記第１のノイズ低減部によりノイズ低減処理を施された局所領域にそれぞれ乗算して合成する合成部とを有することを特徴とする請求項１に記載の撮像システム。
7. 撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理を行う画像処理において、
   処理対象の画像信号から注目画素を包含する局所領域を抽出する第１のステップと、
   画像信号を所定量記憶する第２のステップと、
   前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第３のステップと、
   前記第１のステップにより抽出された局所領域に対し、前記第３のステップにより抽出された局所領域を用いてノイズ低減処理を行う第４のステップと、
   該第４のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第５のステップと、
   該第５のステップにより推定されたノイズ量に基づき前記第４のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第６のステップと、
   該第６のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第７のステップとを含むことを特徴とする画像処理方法。
8. 撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理をコンピュータに実行させるための画像処理プログラムにおいて、
   処理対象の画像信号から注目画素を包含する局所領域を抽出する第１の処理と、
   画像信号を所定量記憶する第２の処理と、
   前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第３の処理と、
   前記第１の処理により抽出された局所領域に対し、前記第３の処理により抽出された局所領域を用いてノイズ低減処理を行う第４の処理と、
   該第４の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第５の処理と、
   該第５の処理により推定されたノイズ量に基づき前記第４の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第６の処理と、
   該第６の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第７の処理とをコンピュータに実行させることを特徴とする画像処理プログラム。

Images