JP5302158B2 - 画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法 - Google Patents

Description

本発明は、撮像素子によって撮像された画像信号に対してノイズ低減処理を行う画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法に関するものである。

従来から、撮像素子を用いて撮像した画像信号に含まれるノイズを低減する方法が提案されている。例えば、特許文献１では、使用する撮像素子に関するノイズの発生量を予めモデル化しておき、このノイズ発生モデル（基準ノイズモデル）をもとに画像信号に含まれるノイズ量を推定する。そして、推定したノイズ量を用いてフィルタリング（平滑化処理）を行い、ノイズの低減を図っている。

特開２００５−３０３８０２号公報

ところで、画像信号に含まれるノイズ量は、その画像信号が明るいほど増加する傾向にあるため、前述のノイズ発生モデルを用いたノイズ低減処理では、明るい部分ではノイズが低減される反面、暗い部分では、明るい部分に比べてノイズが低減されないという問題があった。

一方で、エッジ保存型のフィルタを適用した平滑化処理を行ってノイズを低減する場合がある。しかしながら、この手法では、ノイズをエッジと判定してしまう場合があるため、特にノイズの多い画像信号では、画像内にノイズ低減効果の得られない部分が出現する場合があった。例えば、内視鏡を用いて体内を撮像する場合、照明光量が不十分で適正な露光が行えず、暗い画像が得られるため、ゲインを高く設定している。この場合、ノイズが増大してしまうため、ノイズをエッジと誤判定する等してノイズ低減効果が低下する部分が出現してしまう場合があった。そして、このようにノイズ低減効果が低減した部分は視認性を悪化させ、観察に悪影響を与えてしまう。

すなわち、画像全体に画一的に処理を施してノイズを低減すると、上記したように、画像内にノイズ低減効果の低い部分が出現してしまう場合があった。

本発明は、上記に鑑み為されたものであって、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得ることができる画像信号処理装置、画像信号処理方法および画像信号処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像信号処理装置は、撮像素子によって撮像された画像信号に対してノイズ低減処理を行う画像信号処理装置であって、前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成部と、前記画像信号に対して第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成部と、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理部と、を備えることを特徴とする。

この態様にかかる画像信号処理装置によれば、撮像素子によって撮像された画像信号に対し、例えば暗い画像に対するノイズ低減効果の高い第１の平滑化処理を行ってノイズ低減された第１の平滑化信号を生成する一方、例えば明るい画像に対するノイズ低減効果の高い第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成することができる。そして、画像信号、第１の平滑化信号、および第２の平滑化信号のいずれか１つの値に応じた混合割合に従って第１の平滑化信号と第２の平滑化信号とを混合する混合処理することができる。したがって、２種類の平滑化処理の結果を混合することができるので、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得ることが可能となる。

また、本発明の別の態様にかかる画像信号処理プログラムは、コンピュータに、撮像素子によって撮像された画像信号に対してノイズ低減処理を行わせるための画像信号処理プログラムであって、前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成手順と、前記画像信号に対して第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成手順と、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理手順と、を前記コンピュータに実行させることを特徴とする。

また、本発明の別の態様にかかる画像信号処理方法は、撮像素子によって撮像された画像信号に対してノイズ低減処理を行う画像信号処理方法であって、前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成工程と、前記画像信号に対して第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成工程と、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理工程と、を含むことを特徴とする。

本発明によれば、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得ることができるという効果を奏する。

図１は、実施の形態１における撮像システムの全体構成例を示すブロック図である。 図２は、実施の形態１における混合割合の決定方法を説明する図である。 図３は、実施の形態１における混合割合の決定方法を説明する他の図である。 図４は、実施の形態１の変形例における混合割合の決定方法を説明する図である。 図５は、実施の形態１の変形例における混合割合の決定方法を説明する他の図である。 図６は、実施の形態１の他の変形例における混合割合の決定方法を説明する図である。 図７は、実施の形態１の他の変形例における混合割合の決定方法を説明する他の図である。 図８は、実施の形態１の他の変形例における混合割合の決定方法を説明する図である。 図９は、実施の形態１の他の変形例における混合割合の決定方法を説明する他の図である。 図１０は、実施の形態１の他の変形例における混合割合の決定方法を説明する図である。 図１１は、実施の形態１の他の変形例における混合割合の決定方法を説明する他の図である。 図１２は、実施の形態１の他の変形例におけるコンピューターシステムの構成を示すシステム構成図である。 図１３は、実施の形態１の他の変形例のコンピューターシステムにおける本体部の構成を示すブロック図である。 図１４は、実施の形態１の他の変形例においてコンピューターシステムのＣＰＵが行う処理手順を示す全体フローチャートである。 図１５は、実施の形態２における撮像システムの全体構成例を示すブロック図である。 図１６は、実施の形態２で用いるノイズ発生モデルの一例を示す図である。 図１７は、入力信号の一例を示す図である。 図１８は、図１７の入力信号に対して実施の形態２を適用して得た混合画像信号の一例を示す図である。 図１９は、実施の形態２の変形例においてコンピューターシステムのＣＰＵが行う処理手順を示す全体フローチャートである。

以下、図面を参照し、本発明を実施するための形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
先ず、実施の形態１について説明する。実施の形態１では、本発明の画像信号処理装置を適用した撮像システムについて説明する。図１は、実施の形態１における撮像システム１の全体構成例を示すブロック図である。図１に示すように、実施の形態１の撮像システム１は、撮像部１１と、画像処理部１３と、外部インターフェース（Ｉ／Ｆ）部１５と、出力部１７と、記憶部１８と、これら各部の動作を制御する制御部１９とを備える。

撮像部１１は、レンズ系１１１と、ＣＣＤやＣＭＯＳ等の撮像素子１１３とを備えて構成される。レンズ系１１１は、例えば撮像レンズ等で構成され、入射される被写体からの光を撮像素子１１３に結像する。撮像素子１１３は、例えばモノクロの撮像素子上にＲＧＢの各色の原色フィルタをベイヤー配列した単板方式の撮像素子であり、レンズ系１１１を介して受光した被写体からの光を光電変換し、アナログの画像信号を生成する。この画像信号は、画像処理部１３のＡ／Ｄ変換部１３１に入力されるようになっている。

画像処理部１３は、撮像部１１から入力される画像信号に対して各種画像処理を行う。この画像処理部１３は、Ａ／Ｄ変換部１３１と、第１の画像処理部１３２と、バッファ１３３と、第１の平滑化信号生成部１３４と、第２の平滑化信号生成部１３５と、混合処理部１３６と、第２の画像処理部１３７とを備える。この画像処理部１３において、Ａ／Ｄ変換部１３１、第１の画像処理部１３２、バッファ１３３、第２の平滑化信号生成部１３５、混合処理部１３６および第２の画像処理部１３７は、この順に接続されている。バッファ１３３は、第１の平滑化信号生成部１３４および混合処理部１３６にも接続されている。また、第１の平滑化信号生成部１３４は、混合処理部１３６に接続されている。そして、第２の画像処理部１３７からは、後述するように画像処理部１３を構成する各部によって処理されて得られた画像信号（ＲＧＢ画像信号）が出力され、出力部１７に入力されるようになっている。なお、図１中において、画像処理部１３の各部間を接続して画像信号等のデータ信号を伝送するデータ信号線を実線で示し、制御信号を伝送する制御信号線を破線で示している。

Ａ／Ｄ変換部１３１は、撮像素子１１３から入力された画像信号をＡ／Ｄ変換処理してデジタルデータ化する。処理後の画像信号は、第１の画像処理部１３２へ出力される。

第１の画像処理部１３２は、Ａ／Ｄ変換部１３１から入力された画像信号に対し、第１の画像処理として例えばゲイン調整処理やホワイトバランス補正処理等の画像処理を行う。なお、この第１の画像処理部１３２が第１の画像処理として行う画像処理の種類はこれに限定されるものではなく、適宜必要な画像処理を選択して行うこととしてよい。処理後の画像信号は、入力信号としてバッファ１３３へ出力される。

バッファ１３３は、第１の画像処理部１３２によって第１の画像処理が施され、入力信号として出力された画像信号の値を一時的に保持しておくためのものであり、この第１の画像処理部１３２から入力された入力信号の値を順次更新しながら保持する。このバッファ１３３に保持された入力信号は、第１の平滑化信号生成部１３４、第２の平滑化信号生成部１３５および混合処理部１３６によって読み出され、これら各部での処理に用いられる。

第１の平滑化信号生成部１３４は、バッファ１３３に保持されている入力信号の値を読み出し、この入力信号に対してＲＧＢの色毎に第１の平滑化処理を行う。実施の形態１では、第１の平滑化信号生成部１３４は、第１の平滑化処理として例えば平均化フィルタ等を適用した平滑化処理を行う。処理後の画像信号は、第１の平滑化信号として混合処理部１３６に出力される。ここで、平均化フィルタは、所定の画素範囲（例えば３×３画素や５×５画素等）内の画素値の平均値を算出するものであり、この平均化フィルタを適用して平滑化処理を行うことによれば、処理前の画像信号（入力信号）に対してぼけの強い平滑化画像信号が生成される。

なお、第１の平滑化処理として行う平滑化処理は、平均化フィルタを用いた平滑化処理に限定されるものではない。例えば、ガウシアンフィルタ等の加重平均化フィルタを適用した平滑化処理を第１の平滑化処理として行う構成としてもよい。

第２の平滑化信号生成部１３５は、バッファ１３３に保持されている入力信号の値を読み出し、この入力信号に対して第１の平滑化信号生成部１３４が行う第１の平滑化処理とは異なる第２の平滑化処理を行う。実施の形態１では、第２の平滑化信号生成部１３５は、バイラテラルフィルタを適用した平滑化処理を第２の平滑化処理として行う。処理後の画像信号は、第２の平滑化信号として混合処理部１３６に出力される。

ここで、バイラテラルフィルタとは、エッジを保ちつつエッジ以外の部分に平滑化の効果をもたらすものであり、このバイラテラルフィルタを適用して平滑化処理を行うことによれば、処理前の画像信号（入力信号）に対してエッジを保存した平滑化画像信号が生成される。このバイラテラルフィルタでは、例えば２種類の重みを設定する。具体的には、一方の重みは、注目画素と周辺画素との画素値差に関する値であり、画素値差が小さいほど重みを大きく設定するようになっている。したがって、エッジ境界部分の画素のように、周辺画素との間で画素値差の絶対値が大きい画素は、平滑化処理にほとんど利用されない。これによって、エッジを鈍らせないという効果が得られる。他方の重みは、注目画素と周辺画素との距離に関する値であり、距離が短いほど重みを大きく設定するようになっている。すなわち、同じ画素値の画素が近距離と遠距離に存在する場合に、近距離の画素を遠距離の画素よりも画素値の相関が高いとして近距離の画素に重みを大きく作用させる。これは、距離が遠いほど画素値の相関が低くなるとの仮定（遠距離にある同一画素値の画素は、本来の画素値が同一なのではなくノイズが混入したことによって同一の画素値を有しているとの仮定）に基づく。したがって、周辺画素との距離が遠い画素は、平滑化処理にほとんど利用されない。

なお、第２の平滑化処理として行う平滑化処理は、バイラテラルフィルタを用いた平滑化処理に限定されるものではない。例えば、メディアンフィルタやｋ最近隣平均化フィルタ等のエッジ保存型のフィルタを適用した平滑化処理を第２の平滑化処理として行う構成としてもよい。

混合処理部１３６は、第１の平滑化信号生成部１３４から入力された第１の平滑化信号と、第２の平滑化信号生成部１３５から入力された第２の平滑化信号とを所定の混合割合に従って混合処理する。処理後の画像信号は、混合画像信号として第２の画像処理部１３７に出力される。混合する第１の平滑化信号および第２の平滑化信号それぞれの混合割合は、合計が１になるような値として適宜決定できるが、実施の形態１では、明るい部分ではエッジを保存した平滑化画像信号である第２の平滑化信号の混合割合が高く、暗い部分ではぼけの強い平滑化画像信号である第１の平滑化信号の混合割合が高くなるように混合割合を決定する。

より具体的には、混合処理部１３６は、例えばバッファ１３３に保持されている入力信号の値を読み出し、この入力信号の値をもとに混合割合を決定する。そして、決定した混合割合に従って第１の平滑化信号と第２の平滑化信号とを混合する。図２および図３は、実施の形態１における混合割合の決定方法を説明する図である。ここで、図２では、入力信号の値に対して第１の平滑化信号の混合割合をプロットし、グラフ化して示している。一方、図３では、入力信号の値に対して第２の平滑化信号の混合割合をプロットし、グラフ化して示している。実施の形態１では、図２および図３に示すように、第１の閾値である所定の閾値αの値を用いて入力信号の値を閾値処理する。そして、混合処理部１３６は、入力信号の値が閾値α以上の明るい部分については第１の平滑化信号の混合割合を“０”、第２の平滑化信号の混合割合を“１”として固定的に決定する。一方、入力信号の値が閾値αよりも小さく暗い部分については、入力信号の値が“０”に近づきより暗くなるほど第１の平滑化信号の混合割合が高く、第２の平滑化信号の混合割合が低くなるようにそれぞれの混合割合を決定する。

これら入力信号の値に対する第１の平滑化信号および第２の平滑化信号の混合割合の値は、予め設定して記憶部１８に記憶しておく。例えば、図２および図３に示した閾値αの値と、この閾値α未満での第１の平滑化信号および第２の平滑化信号それぞれの混合割合の傾きとを記憶しておく。あるいは、閾値α未満の入力信号の値と対応付けて該当する第１の平滑化信号および第２の平滑化信号それぞれの混合割合の値を設定したルックアップテーブルを用意し、閾値αの値とともに記憶部１８に記憶しておく構成としてもよい。また、これら閾値αの値や閾値α未満の入力信号の値に対する第１の平滑化信号および第２の平滑化信号の混合割合の値は、固定値としてもよいし、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。

ここで、実施の形態１では、第２の平滑化信号としてエッジを保存した平滑化画像信号が生成される。このため、明るい部分においてはエッジを保存した高品質な画像信号が得られるため、暗い部分においてノイズが目立たないよう第１の平滑化信号と第２の平滑化信号とを混合するのが好ましい。したがって、閾値αは暗い側に設定するのが望ましい。ただし、この閾値αは、適宜の値として設定できる。例えば、図２および図３中に示す閾値α´のように明るい側に設定し、図２および図３中に示す実線にかえて一点鎖線で示すように混合割合を決定することとしてもよい。

以上のように予め閾値αを設定し、この閾値αを用いて混合割合を設定しておくことによれば、第１の平滑化信号と第２の平滑化信号とを混合する明るさの範囲（図２および図３の例では、閾値α未満の範囲）を容易に調整でき、自由度の高い混合割合の調整が可能となる。一方、明るさがこの閾値α未満の暗い部分では、混合割合を滑らかに変化させて設定することができるので、急激な画質の差が生じることなく違和感のない高品質な画像信号が得られる。また、この閾値αをユーザの操作入力に従って可変に設定する構成とすれば、ユーザは、所望の混合割合で混合した画像の閲覧・観察が可能となる。

なお、ここでは入力信号の値をもとに第１の平滑化信号と第２の平滑化信号との混合割合を決定する場合を例示したが、これに限定されるものではない。例えば、第１の平滑化信号の値をもとに混合割合を決定することとしてもよい。図４および図５は、本変形例における混合割合の決定方法を説明する図である。ここで、図４では、第１の平滑化信号の値に対して第１の平滑化信号の混合割合をプロットし、グラフ化して示している。一方、図５では、第１の平滑化信号の値に対して第２の平滑化信号の混合割合をプロットし、グラフ化して示している。この場合には、混合処理部１３６は、第１の平滑化信号の値をもとに第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定し、決定した混合割合に従って第１の平滑化信号と第２の平滑化信号とを混合処理する。

あるいは、第２の平滑化信号の値をもとに混合割合を決定することとしてもよい。図６および図７は、本変形例における混合割合の決定方法を説明する図である。ここで、図６では、第２の平滑化信号の値に対して第１の平滑化信号の混合割合をプロットし、グラフ化して示している。一方、図７では、第２の平滑化信号の値に対して第２の平滑化信号の混合割合をプロットし、グラフ化して示している。この場合には、混合処理部１３６は、第２の平滑化信号の値をもとに第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定し、決定した混合割合に従って第１の平滑化信号と第２の平滑化信号とを混合処理する。

また、以上例示した混合割合の決定方法では、閾値として１つの値（α）を用いることとしたが、２以上の閾値を用いることとしてもよい。図８および図９は、本変形例における混合割合の決定方法を説明する図である。ここで、図８では、第１の平滑化信号の値に対して第１の平滑化信号の混合割合をプロットし、グラフ化して示している。一方、図９では、第１の平滑化信号の値に対して第２の平滑化信号の混合割合をプロットし、グラフ化して示している。

本変形例では、図８および図９に示すように、所定の閾値αと、この閾値αよりも値が小さい第２の閾値である所定の閾値βの２種類の閾値を用いて第１の平滑化信号の値を閾値処理する。そして、混合処理部１３６は、閾値αよりも第１の平滑化信号の値が大きく明るい部分については第１の平滑化信号および第２の平滑化信号それぞれの混合割合を固定の第１の混合割合とし、例えば第１の平滑化信号の混合割合を“０”とし、第２の平滑化信号の混合割合を“１”として固定的に決定する。一方、閾値βよりも第１の平滑化信号の値が小さく暗い部分については、第１の平滑化信号および第２の平滑化信号それぞれの混合割合を固定の第２の混合割合とし、第１の平滑化信号の混合割合を“１”、第２の平滑化信号の混合割合を“０”として固定的に決定する。

すなわち、本変形例では、閾値α以上では、明るい部分においてエッジを保存した高品質な画像として得られる第２の平滑化信号の混合割合を“１”とし、閾値β以下では、暗い部分においてぼけが強くノイズの目立たない画像として得られる第１の平滑化信号の混合割合を“１”として、明るさがその中間の部分において第１の平滑化信号と第２の平滑化信号とを混合する。そして、第１の平滑化信号の値が閾値α以下であって、閾値β以上である中間の明るさの部分については、第１の平滑化信号の値が小さく暗くなるほど第１の平滑化信号の混合割合が高く、第２の平滑化信号の混合割合が低くなるようにそれぞれの混合割合を決定する。

より具体的には、第１の平滑化信号の混合割合を次式（１）に従って決定し、第２の平滑化信号の混合割合を次式（２）に従って決定する。
第１の平滑化信号の混合割合
＝（α−第１の平滑化信号の値）／（α−β）・・・（１）
第２の平滑化信号の混合割合
＝（第１の平滑化信号の値−β）／（α−β）・・・（２）

なお、本変形例では、第１の平滑化信号の値を第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定する場合を例示したが、入力信号の値または第２の平滑化信号の値をもとに混合割合を決定することとしてもよい。

また、図２〜図９に例示したように１つ以上の閾値を用いて第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定する手法に限定されるものではなく、閾値を設定せずに混合割合を決定することとしてもよい。図１０および図１１は、本変形例における混合割合の決定方法を説明する図である。ここで、図１０では、第１の平滑化信号の値に対して第１の平滑化信号の混合割合をプロットし、グラフ化して示している。一方、図１１では、第１の平滑化信号の値に対して第２の平滑化信号の混合割合をプロットし、グラフ化して示している。この場合には、第１の平滑化信号が取り得る値の範囲内でその値が“０”に近づきより暗くなるほど第１の平滑化信号の混合割合を高くし、第２の平滑化信号の混合割合を低くしてそれぞれの混合割合を決定する。なお、ここでは第１の平滑化信号の値を第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定する場合を例示したが、この場合も、入力信号の値または第２の平滑化信号の値をもとに混合割合を決定することとしてもよい。

第２の画像処理部１３７は、混合処理部１３６から入力された画像信号の値に対して第２の画像処理を行う。第２の画像処理としては、例えば補間処理、色変換処理、階調変換処理、エッジ検出処理、エッジ強調処理、偽色低減処理等の画像処理が挙げられる。なお、この第２の画像処理部１３７が第２の画像処理として行う画像処理の種類はこれに限定されるものではなく、適宜必要な画像処理を選択して行うこととしてよい。処理後の画像信号（ＲＧＢ画像信号）は、出力部１７へ出力される。

出力部１７は、入力された画像信号をもとに撮像部１１によって撮像された画像（被写体画像）をカラー表示したり、撮像システム１の動作環境を設定するための設定画面等の各種画面を表示するための表示部や、被写体画像を記録するための記録部等で構成される。表示部は、例えばＬＣＤやＥＬディスプレイ等の表示装置で実現される。また、記録部は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、例えばＣＤ−ＲＯＭ等の各種記録媒体およびその読取装置等によって実現される。

外部Ｉ／Ｆ部１５は、例えば撮影モード等の各種モードの切換操作、例えば撮影サイズ等の撮影条件の設定操作、電源のＯＮ／ＯＦＦの切換操作等を行うためのインターフェース装置である。またこの他にも、ユーザは、外部Ｉ／Ｆ部１５を介し、出力部１７を構成する表示部への設定画面の表示等の指示を必要に応じて行えるようになっている。この外部Ｉ／Ｆ部１５は、例えば、ボタンスイッチやダイヤル等の各種操作部材、マウス、タッチパネル、キーボードといった入力装置で実現され、これらに対する操作信号を制御部１９へ出力する。

記憶部１８は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部１８には、撮像システム１を動作させ、この撮像システム１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ、画像処理部１３の各部の動作に必要なデータ等が予め記憶され、適宜更新記憶される。

制御部１９は、制御信号線によって撮像システム１を構成する各部と電気的に接続され、各部の動作を統括的に制御する。例えば、撮像部１１の動作を制御する処理や、外部Ｉ／Ｆ部１５を介して入力されたユーザ操作に応じて各種処理パラメータの値を設定し、各部に通知する処理等を行う。この制御部１９は、各部の動作制御に必要な各種データやプログラム等が記憶されるメモリを内蔵したマイクロコンピューター等で実現される。

以上説明したように、実施の形態１によれば、入力信号に対して例えば平均化フィルタを適用した平滑化処理を行って第１の平滑化信号を生成するとともに、入力信号に対して例えばバイラテラルフィルタを適用した平滑化処理を行って第２の平滑化信号を生成することができる。そして、例えば入力信号に応じた混合割合で第１の平滑化信号と第２の平滑化信号とを混合処理することができる。これによれば、ぼけ感とエッジの保存状態とがそれぞれ異なる２つの平滑化信号を混合することができる。

より具体的には、実施の形態１では、明るい部分においてエッジを保存した高品質な平滑化画像信号として得られる第２の平滑化信号の混合割合を高くし、暗い部分においてぼけが強くノイズの目立たない平滑化画像信号として得られる第１の平滑化信号の混合割合を高くして第１の平滑化信号と第２の平滑化信号とを混合することができる。これによれば、明るい部分ではエッジを保存した第１の平滑化信号によって解像感を残す一方、暗い部分ではぼけを強くした第１の平滑化信号によってノイズを目立たなくすることができる。したがって、画像が明るい場合や暗い場合、明るい画像内に暗い部分が存在する場合や暗い画像内に明るい部分が存在する場合、明るい部分と暗い部分とが混在する場合等であっても、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得ることができる。

また、混合割合を調整することで様々なエッジ保存状態の画像信号を得ることができるので、画像信号の閲覧・観察するユーザが所望する画質の画像を提供することが可能となる。例えば、実施の形態１では、暗い画像信号に対してノイズ低減効果の高い第１の平滑化処理と、明るい画像信号に対してノイズ低減効果の高い第２の平滑化処理とを組み合わせて行っている。このため、例えば、撮像システム１を内視鏡に適用した場合のように暗い場所を詳しく閲覧・観察したい場合であれば暗い画像に対してノイズ低減効果の高い第１の平滑化信号の混合割合を高くし、明るい場所を詳しく閲覧・観察したい場合であれば明るい画像に対してノイズ低減効果の高い第２の平滑化信号の混合割合を高くことが可能となる。

なお、実施の形態１で説明した第１の平滑化信号生成部１３４が行う第１の平滑化処理と第２の平滑化信号生成部１３５が行う第２の平滑化処理との組み合わせは特に限定されない。例えば、上記した平均化フィルタやバイラテラルフィルタ、ガウシアンフィルタ、メディアンフィルタ、ｋ最近隣平均化フィルタの他、微分フィルタやトリラテラルフィルタ、所定の方向に１次元の平滑化処理を行う方向依存型のフィルタ等の公知のフィルタを適用した平滑化処理を２つ組み合わせる構成としてよい。そして、これら組み合わせた平滑化処理を第１の平滑化信号生成部１３４が行う第１の平滑化処理および第２の平滑化信号生成部１３５が行う第２の平滑化処理とし、その処理結果を混合処理部１３６が混合する構成としてもよい。

また、実施の形態１では、撮像部１１を用いて被写体を撮影し、被写体画像を出力する撮像システムについて説明したが、本発明が適用可能は装置は、このような撮像素子を含む撮像装置が一体化された装置に限定されるものではない。例えば、別体の撮像装置によって撮像された画像信号を外部入力して処理する画像信号処理装置にも同様に適用が可能である。例えば、このような画像信号処理装置において、画像信号を可搬型の記録媒体を経由して、あるいは通信接続される外部機器から外部入力し、この画像信号を画像処理する構成としてもよい。

また、実施の形態１では、撮像部１１として単板構成の撮像素子１１３を用いた場合を例示した。これに対し、入射光をＲＧＢ各色の波長帯の色光に分離するプリズム等を備えた３板構成の撮像素子を用いて撮像部１１を構成してもよい。また、カラーの画像信号を扱う場合に限定されるものではなく、モノクロの画像信号に対しても同様に適用可能である。

また、実施の形態１では、画像処理部１３を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、各部が行う処理をＣＰＵが行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像装置を別体とし、画像処理部１３の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像信号処理装置として用いることができる。そして、画像処理部１３の各部が行う処理を実現するためのプログラム（画像信号処理プログラム）を予め用意し、この画像信号処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。

図１２は、本変形例におけるコンピューターシステム２００の構成を示すシステム構成図であり、図１３は、このコンピューターシステム２００における本体部２１０の構成を示すブロック図である。図１２に示すように、コンピューターシステム２００は、本体部２１０と、本体部２１０からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２０と、このコンピューターシステム２００に種々の情報を入力するためのキーボード２３０と、ディスプレイ２２０の表示画面２２１上の任意の位置を指定するためのマウス２４０とを備える。

また、このコンピューターシステム２００における本体部２１０は、図１２および図１３に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６０を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７０を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２０、キーボード２３０およびマウス２４０を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。

さらに、このコンピューターシステム２００には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５０が接続されるとともに、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。

そして、このコンピューターシステム２００は、所定の記録媒体に記録された画像信号処理プログラム（例えば図１４を参照して後述する処理手順を実現するための画像信号処理プログラム）を読み出して実行することで画像信号処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ２６０やＵＳＢメモリ２７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム２００の内外に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム２００によって読み取り可能な画像信号処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像信号処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム２００は、このような記録媒体から画像信号処理プログラムを読み出して実行することで画像信号処理装置を実現する。なお、画像信号処理プログラムは、コンピューターシステム２００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）２８１またはサーバ２８２が画像信号処理プログラムを実行する場合や、これらが協働して画像信号処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

図１４は、本変形例においてコンピューターシステム２００のＣＰＵ２１１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、ＣＰＵ２１１が上記した所定の記録媒体に記録された画像信号処理プログラムを実行することにより実現される。

図１４に示すように、ＣＰＵ２１１は先ず、例えば可搬型の記録媒体を経由し、あるいは通信接続される外部機器から、単板式の撮像素子で構成される撮像装置によって撮影された画像信号を入力する（ステップａ１）。そして、ＣＰＵ２１１は、ステップａ１で入力した画像信号の値に対し、先ず第１の画像処理を行う（ステップａ３）。続いて、ＣＰＵ２１１は、この第１の画像処理後の画像信号に対して例えば平均化フィルタを適用した第１の平滑化処理を行い、第１の平滑化信号を生成する（ステップａ５）。また、ＣＰＵ２１１は、第１の画像処理後の画像信号に対して例えばバイラテラルフィルタを適用した第２の平滑化処理を行い、第２の平滑化信号を生成する（ステップａ７）。そして、ＣＰＵ２１１は、ステップａ５で生成した第１の平滑化信号とステップａ７で生成した第２の平滑化信号とを所定の混合割合で混合処理し、混合画像信号を生成する（ステップａ９）。この第１の平滑化信号および第２の平滑化信号の混合割合は、実施の形態１と同様に、入力信号、第１の平滑化信号および第２の平滑化信号のいずれかの値をもとに決定する。

そして、ＣＰＵ２１１は、混合画像信号に対して第２の画像処理を行う（ステップａ１１）。その後、ＣＰＵ２１１は、第２の画像処理後の画像信号（ＲＧＢ画像信号）を出力する処理を行う（ステップａ１３）。例えば、第２の画像処理後の画像信号を図１４等に示したディスプレイ２２０に表示出力する処理を行い、あるいはＵＳＢメモリ２７０等の所定の記録媒体に記録する処理を行う。

（実施の形態２）
次に、実施の形態２について説明する。図１５は、実施の形態２における撮像システム１ｂの全体構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１５に示すように、実施の形態２の撮像システム１ｂは、撮像部１１ｂと、画像処理部１３ｂと、外部Ｉ／Ｆ部１５と、出力部１７と、記憶部１８ｂと、これら各部の動作を制御する制御部１９ｂとを備える。

撮像部１１ｂは、実施の形態１と同様に、レンズ系１１１と、ＣＣＤやＣＭＯＳ等の撮像素子１１３ｂとを備えて構成される。実施の形態２では、撮像素子１１３ｂをモノクロの撮像素子とし、モノクロの画像信号を生成して画像処理部１３ｂのＡ／Ｄ変換部１３１に出力する。

画像処理部１３ｂは、Ａ／Ｄ変換部１３１と、第１の画像処理部１３２と、バッファ１３３ｂと、第１の平滑化信号生成部１３４ｂと、第２の平滑化信号生成部１３５ｂと、混合処理部１３６ｂと、第２の画像処理部１３７とを備える。第２の平滑化信号生成部１３５ｂは、ノイズ量推定部１３８ｂと、ノイズ低減処理部１３９ｂとを含む。この画像処理部１３ｂにおいて、Ａ／Ｄ変換部１３１、第１の画像処理部１３２、バッファ１３３ｂ、第１の平滑化信号生成部１３４ｂ、ノイズ量推定部１３８ｂ、ノイズ低減処理部１３９ｂ、混合処理部１３６ｂおよび第２の画像処理部１３７は、この順に接続されている。バッファ１３３ｂは、ノイズ低減処理部１３９ｂにも接続されている。また、第１の平滑化信号生成部１３４ｂは、ノイズ低減処理部１３９ｂおよび混合処理部１３６ｂにも接続されている。そして、第２の画像処理部１３７からは、後述するように画像処理部１３ｂを構成する各部によって処理されて得られたモノクロ画像信号が出力され、出力部１７に入力されるようになっている。

実施の形態２において、バッファ１３３ｂは、第１の画像処理部１３２によって第１の画像処理が施され、入力信号として出力された画像信号の値を一時的に保持しておくためのものであり、この第１の画像処理部１３２から入力された入力信号の値を順次更新しながら保持する。このバッファ１３３ｂに保持された入力信号は、第１の平滑化信号生成部１３４ｂおよびノイズ低減処理部１３９ｂによって読み出され、これら各部での処理に用いられる。

第１の平滑化信号生成部１３４ｂは、バッファ１３３ｂに保持されている入力信号の値を読み出し、この入力信号に対して第１の平滑化処理を行う。実施の形態２では、第１の平滑化信号生成部１３４ｂは、第１の平滑化処理として例えばバイラテラルフィルタ等を適用した平滑化処理を行う。処理後の画像信号は、第１の平滑化信号として混合処理部１３６ｂに出力される。

なお、第１の平滑化処理として行う平滑化処理は、バイラテラルフィルタを用いた平滑化処理に限定されるものではなく、適宜公知のフィルタを適用した平滑化処理を行うこととしてよい。

第２の平滑化信号生成部１３５ｂを構成するノイズ量推定部１３８ｂは、撮像部１１ｂから入力される画像信号に対するゲイン調整値を用い、所定のノイズ発生モデルをもとに第１の平滑化信号に含まれるノイズ量を推定する。推定されたノイズ量は、ノイズ低減処理部１３９ｂに出力される。なお、ゲイン調整値は、制御部１９ｂから入力される。図１６は、実施の形態２で用いるノイズ発生モデルの一例を示す図であり、図１６では、画像信号値に対してノイズ量をプロットし、グラフ化して示している。このノイズ発生モデルは、使用する撮像素子１１３ｂに関するノイズの発生量をモデル化したものであり、予め作成して記憶部１８ｂに記憶しておく。実際にノイズ量を推定する際には、ノイズ量推定部１３８ｂは、このノイズ発生モデルを参照し、横軸の画像信号値を第１の画像信号値として対応するノイズ量を取得する。そして、ノイズ量推定部１３８ｂは、ゲイン調整値を用い、取得したノイズ量をもとに推定を行う。

また、第２の平滑化信号生成部１３５ｂを構成するノイズ低減処理部１３９ｂは、バッファ１３３ｂに保持されている入力信号の値を読み出し、ノイズ量推定部１３８ｂから入力されたノイズ量と第１の平滑化信号生成部１３４ｂから入力された第１の平滑化信号とをもとに、入力信号に対してノイズ低減処理を行う。処理後の画像信号は、第２の平滑化信号として混合処理部１３６ｂに出力される。

実施の形態２では、ノイズ量推定部１３８ｂは、入力信号に対してコアリング処理を行う。具体的には、先ず、入力信号の値と第１の平滑化信号の値との差分値を求め、求めた差分値とノイズ量とを比較する。そして、差分値がノイズ量より小さい部分については、その差分値をノイズと判断し、第１の平滑化信号の値を第２の平滑化信号の値として出力する。一方、差分値がノイズ量以上の部分については、差分値のうちのノイズ量分をノイズと判断し、差分値からノイズ量を差し引いた値を第１の平滑化信号に加えた信号値を第２の平滑化信号の値として出力する。この第２の平滑化画像信号では、コアリング処理の結果ノイズと判断されずにエッジと判断された部分については、入力信号の値がある程度保持される。

混合処理部１３６ｂは、第１の平滑化信号生成部１３４ｂから入力された第１の平滑化信号と、第２の平滑化信号生成部１３５ｂから入力された第２の平滑化信号とを所定の混合割合に従って混合処理する。第１の平滑化信号および第２の平滑化信号それぞれの混合割合は、例えば、実施の形態１で図４および図５を参照して変形例として説明した決定方法を用いて決定する。ただし、その他の決定方法で決定してもよい。すなわち、図２，図３，図６〜図１１を参照して説明した決定方法を適宜採用して第１の平滑化信号および第２の平滑化信号それぞれの混合割合を決定することとしてよい。処理後の画像信号は、混合画像信号として第２の画像処理部１３７に出力される。

図１７は、入力信号の一例を示す図である。一方、図１８は、図１７の入力信号に対して実施の形態２を適用して得た混合画像信号の一例を示す図である。ここで、図１７では、図１７中に向かって左側の部分に対して右側の部分が明るく、左側に比べて右側の部分においてよりノイズが高い画像を示している。このような図１７に示す画像に対して実施の形態２を適用すると、図１８に示すように、図１７中ではノイズが高かった図１８中に向かって左側の部分においてもノイズが精度良く低減されており、全体としてノイズ低減効果の高い画像が得られる。

以上説明したように、実施の形態２によれば、入力信号に対して例えばバイラテラルフィルタを適用した平滑化処理を行って第１の平滑化信号を生成することができる。一方、使用する撮像素子１１３ｂに関するノイズの発生量をモデル化したノイズ発生モデルを予め作成しておき、このノイズ発生モデルをもとに第１の平滑化信号に含まれるノイズ量を推定することができる。そして、推定したノイズ量をもとに入力信号に対してノイズ低減処理を行い、第２の平滑化信号を生成することができる。そして、例えば第１の平滑化信号に応じた混合割合で第１の平滑化信号と第２の平滑化信号とを混合処理することができる。したがって、エッジを保存した平滑化画像信号として得られる第１の平滑化信号と、使用する撮像素子１１３ｂに応じたノイズの発生頻度をもとにノイズ低減処理を行った第２の平滑化信号とを混合することができる。

より具体的には、第１の平滑化信号に含まれるノイズ量を推定してノイズ低減処理を行い、第２の平滑化画像を生成することとしたので、ノイズ低減をする際にエッジを保存することができる。また、第１の平滑化処理として行うバイラテラルフィルタを適用した平滑化処理では、実施の形態１で説明したように画素間の距離情報が保持されるため、距離情報を反映させたノイズ低減処理が可能となる。したがって、エッジを保存し、距離情報を反映させたノイズ低減処理後の第２の平滑化信号を、前述のようにエッジを保存した平滑化画像信号として得られる第１の平滑化信号と混合することで、距離情報とエッジ情報とを加味し、バランスよくノイズ低減が行える。これによれば、ノイズ低減効果の低い部分の出現を抑え、全体として高いノイズ低減効果を得ることができ、高品質な画像を提供できる。

また、第２の平滑化処理としてコアリング処理を行うこととした。したがって、ノイズと判断した部分は平滑化し、ノイズではなくエッジと判断した部分はそのままエッジとして残るため、エッジと判断した部分が孤立点として現れやすくなるが、この第２の平滑化信号を第１の平滑化信号と混合することで、前述のような孤立点として残るノイズを緩和させることができる。

なお、実施の形態２の画像処理部１３ｂについても、実施の形態１と同様にハードウェアで構成する場合に限定されるものではない。すなわち、図１２や図１３に例示したようなコンピューターシステム２００のＣＰＵ２１１が画像信号処理プログラムを実行することによってソフトウェアとして実現することとしてもよい。

図１９は、本変形例においてＣＰＵ２１１が行う処理手順を示す全体フローチャートである。図１９に示すように、ＣＰＵ２１１は先ず、例えば可搬型の記録媒体を経由し、あるいは通信接続される外部機器から、モノクロの撮像素子で構成される撮像装置によって撮影された画像信号を入力する（ステップｂ１）。そして、ＣＰＵ２１１は、ステップｂ１で入力した画像信号の値に対し、先ず第１の画像処理を行う（ステップｂ３）。続いて、ＣＰＵ２１１は、この第１の画像処理後の画像信号に対して例えばバイラテラルフィルタを適用した第１の平滑化処理を行い、第１の平滑化信号を生成する（ステップｂ５）。

次に、ＣＰＵ２１１は、所定のノイズ発生モデルをもとにノイズ量推定処理を行い、第１の平滑化信号に含まれるノイズ量を推定する（ステップｂ７）。ここでの処理に用いるノイズ発生モデルは、例えば図１３に示したＲＯＭ２１３等に予め記憶しておく。続いて、ＣＰＵ２１１は、ステップｂ７で推定したノイズ量とステップｂ５で生成した第１の平滑化信号とをもとにステップｂ１で入力した画像信号に対して例えばコアリング処理等のノイズ低減処理を行い、第２の平滑化信号を生成する（ステップｂ８）。そして、ＣＰＵ２１１は、ステップｂ５で生成した第１の平滑化信号とステップｂ７で生成した第２の平滑化信号とを所定の混合割合で混合処理し、混合画像信号を生成する（ステップｂ９）。この第１の平滑化信号および第２の平滑化信号の混合割合は、実施の形態１と同様に、入力信号、第１の平滑化信号および第２の平滑化信号のいずれかの値をもとに決定する。

そして、ＣＰＵ２１１は、混合画像信号に対して第２の画像処理を行う（ステップｂ１１）。その後、ＣＰＵ２１１は、第２の画像処理後の画像信号を出力する処理を行う（ステップｂ１３）。例えば、第２の画像処理後の画像信号を図１３に示したディスプレイ２２０に表示出力する処理を行い、あるいはＵＳＢメモリ２７０等の所定の記録媒体に記録する処理を行う。

また、実施の形態２では、撮像部１１ｂとしてモノクロの撮像素子１１３ｂを用いた場合を例示したが、モノクロの画像信号を扱う場合に限定されるものではなく、カラーの画像信号に対しても同様に適用可能である。すなわち、撮像部１１ｂの構成を、実施の形態１で示した単板構成の撮像素子１１３を用いた構成としてもよいし、３板構成の撮像素子を用いて撮像部１１ｂを構成してもよい。

また、本発明は、上記した２つの実施の形態１，２およびその変形例そのままに限定されるものではなく、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１，２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１，２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

（付記）
コンピュータに、撮像素子によって撮像された画像信号に対してノイズ低減処理を行わせるための画像信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成手順と、
前記画像信号に対して第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成手順と、
前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理手順と、
を前記コンピュータに実行させる画像信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

以上のように、本発明の画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法は、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得るのに適している。

１，１ｂ 撮像システム
１１，１１ｂ 撮像部
１１１ レンズ系
１１３，１１３ｂ 撮像素子
１３，１３ｂ 画像処理部
１３１ Ａ／Ｄ変換部
１３２ 第１の画像処理部
１３３，１３３ｂ バッファ
１３４，１３４ｂ 第１の平滑化信号生成部
１３５，１３５ｂ 第２の平滑化信号生成部
１３６，１３６ｂ 混合処理部
１３７ 第２の画像処理部
１３８ｂ ノイズ量推定部
１３９ｂ ノイズ低減処理部
１５ 外部Ｉ／Ｆ部
１７ 出力部
１８，１８ｂ 記憶部
１９，１９ｂ 制御部

Claims (8)

1. 撮像素子によって撮像された画像信号に対してノイズ低減処理を行う画像信号処理装置であって、
   前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成部と、
   前記画像信号に対して前記第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成部と、
   前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理部と、
   を備え、
   前記第２の平滑化信号生成部は、
   前記撮像素子に関して予め設定されたノイズ発生モデルと前記第１の平滑化信号とをもとにノイズ量を推定するノイズ量推定部と、
   前記ノイズ量と前記第１の平滑化信号とをもとに、前記画像信号に対してノイズ低減処理を行うノイズ低減処理部と、
   を備えることを特徴とする画像信号処理装置。
2. 前記第１の平滑化信号生成部は、前記第１の平滑化処理として、前記画像信号に対してバイラテラルフィルタを用いた平滑化処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記混合処理部は、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値が小さいほど前記第１の平滑化信号の混合割合を高くし、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値が大きいほど前記第２の平滑化信号の混合割合を高くして混合することを特徴とする請求項１に記載の画像信号処理装置。
4. 前記混合処理部は、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値が所定の第１の閾値以上のときに、前記第１の平滑化信号と前記第２の平滑化信号とを固定の混合割合で混合することを特徴とする請求項３に記載の画像信号処理装置。
5. 前記混合処理部は、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値が所定の第１の閾値以上のときには前記第１の平滑化信号と前記第２の平滑化信号とを固定の第１の混合割合で混合し、前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値が所定の第２の閾値以下（ただし、第２の閾値＜第１の閾値）のときには前記第１の平滑化信号と前記第２の平滑化信号とを固定の第２の混合割合で混合することを特徴とする請求項３に記載の画像信号処理装置。
6. 前記第２の平滑化信号生成部は、前記第１の平滑化処理に対してエッジの保存効果の高い平滑化処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
7. コンピュータに、撮像素子によって撮像された画像信号に対してノイズ低減処理を行わせるための画像信号処理プログラムであって、
   前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成手順と、
   前記画像信号に対して前記第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成手順と、
   前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理手順と、
   を前記コンピュータに実行させ、
   前記第２の平滑化信号生成手順は、
   前記撮像素子に関して予め設定されたノイズ発生モデルと前記第１の平滑化信号とをもとにノイズ量を推定するノイズ量推定手順と、
   前記ノイズ量と前記第１の平滑化信号とをもとに、前記画像信号に対してノイズ低減処理を行うノイズ低減処理手順と、
   を含むことを特徴とする画像信号処理プログラム。
8. 撮像素子によって撮像された画像信号に対してノイズ低減処理を行う画像信号処理方法であって、
   前記画像信号に対して第１の平滑化処理を行うことで、ノイズ低減された第１の平滑化信号を生成する第１の平滑化信号生成工程と、
   前記画像信号に対して前記第１の平滑化処理と異なる第２の平滑化処理を行うことで、ノイズ低減された第２の平滑化信号を生成する第２の平滑化信号生成工程と、
   前記画像信号、前記第１の平滑化信号、および前記第２の平滑化信号のいずれか１つの値に応じた混合割合に従って前記第１の平滑化信号と前記第２の平滑化信号とを混合処理する混合処理工程と、
   を含み、
   前記第２の平滑化信号生成工程は、
   前記撮像素子に関して予め設定されたノイズ発生モデルと前記第１の平滑化信号とをもとにノイズ量を推定するノイズ量推定工程と、
   前記ノイズ量と前記第１の平滑化信号とをもとに、前記画像信号に対してノイズ低減処理を行うノイズ低減処理工程と、
   を含むことを特徴とする画像信号処理方法。