JP3862620B2

JP3862620B2 - 画像処理装置、及び画像処理方法

Info

Publication number: JP3862620B2
Application number: JP2002191131A
Authority: JP
Inventors: 稔日下部; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-06-28
Filing date: 2002-06-28
Publication date: 2006-12-27
Anticipated expiration: 2022-06-28
Also published as: US7177463B2; JP2004040235A; US20040001621A1; US7103214B2; US20060088211A1

Description

【０００１】
【発明の属する技術分野】
本発明は、ノイズが重畳された画像において、このノイズを軽減させる画像処理装置、画像処理方法に関するものである。
【０００２】
【従来の技術】
以前から信号成分とは異なるノイズが重畳されたデジタル画像からノイズ成分を除去する研究が行われている。ノイズの特性も発生原因毎に多種多様に分類され、その特性に合わせたノイズ除去方法が提案されている。例えば、デジタルカメラやイメージスキャナ等の画像入力機器を想定すると、固体撮像素子などの入力デバイス特性や、撮影モード、撮影シーン等の入力条件に依存するもの等、光電変換したアナログ原信号に既に重畳されているノイズと、Ａ／Ｄ変換器を介してデジタル信号に変換された後に、各種デジタル信号処理を行う過程で重畳されるノイズとに大別できる。
【０００３】
前者の例としては、周囲の画像信号とは無関係に突出した値が発生するインパルス系のノイズや、固体撮像素子の暗電流によるノイズが挙げられる。また、後者はガンマ補正、感度アップのゲイン補正等の各種補正処理において、ノイズ成分が特定濃度、特定色等の強調時に信号成分と同時に増幅されることで、ノイズレベルが増加する例もある。また、デジタル信号処理による劣化として、JPEGアルゴリズムを用いた符号化時には、２次元の画像はブロック状に切り出され、ブロック単位に直交変換、量子化を行うために、復号後の画像ではブロック境界で段差が発生するブロック歪が生じる例がある。
【０００４】
昨今、上述した各種ノイズも含め、特に画質を劣化させている要因に挙げられているのは、デジタルカメラで撮影した画像に顕著に見られる低周波帯域に発生するノイズ（以降、低周波ノイズと称す）である。これは、固体撮像素子であるCCDやCMOSセンサの感度に起因する場合もあるし、また、信号レベルの低い暗部、陰になる部分等での撮影シーンではＳ／Ｎ比が悪いにも関わらず、信号成分を持ち上げるゲイン補正により低周波ノイズが強調される場合もある。また、素子感度は撮像素子のチップ面積にも依存するため、小面積にもかかわらず画素数を多く配置したデジタルカメラでは、結果的に単位画素あたりの光量が少なくなり、感度が減少してノイズが発生することが多い。低周波ノイズは、青空などの平坦部に数画素から十数画素に渡って擬似的なまだら状のテクスチャとして認識される場合が多い。デジタルカメラによっては偽色を発生させる場合もある。
【０００５】
従来提案されてきたノイズ除去方法としては、インパルス系のノイズに対しては注目画素及びその近傍の画素の画素値の中から中間値となる画素値を抽出し、その抽出値を注目画素値に置換するメディアンフィルタ（以下、MFと略す）を用いる方法が主流である。
【０００６】
インパルス系のノイズや前述したブロック歪等に効果のあるノイズ除去方法としては、注目画素及びその近傍の画素の画素値を利用して加重平均を算出し、算出した加重平均値を注目画素値として置き換えるローパスフィルタ（以下、LPFと略す）を用いる方法が利用されている。また、低周波ノイズに効果のあるノイズ除去方法としては、注目画素周辺の画素から確率的に選択した画素値を注目画素値と置き換える方法（以下、ノイズ分散方式と略す）が提案されている。
【０００７】
前述のように、画像中に重畳されているノイズには、様々な要因が影響している。例えばデジタルカメラの場合、固体撮像素子等の入力デバイス特性等に依存してアナログ原信号に重畳しているノイズを、Ａ／Ｄ変換器を介してデジタル信号に変換した後で行う各種デジタル画像処理により、更に増幅させるといった複合的な要因が影響している場合がある。
【０００８】
デジタルカメラで行われているデジタル画像処理において、ノイズの発生、増幅に関わる処理として代表的なものには、ホワイトバランス補正、感度アップのゲイン補正、記憶色に近づけるために特定色に対して行われる彩度補正等がある。
【０００９】
ホワイトバランス補正は、色フィルタを通過して撮像素子に到達する光量がフィルタ色毎に異なったり、出力画像１画素あたりに採用される撮像素子の画素の数が色毎に異なるため、全体の色バランスが崩れ、本来白であるはずの画像が白ではなくなる現象を補正するものである。
【００１０】
感度アップのゲイン補正は、撮影環境下の光量が少ない場合でも撮影を可能にするために、撮像素子から得られたアナログ信号またはＡ／Ｄ変換後のデジタル信号のいずれかの段階において、信号情報を増幅して不足している光量を補うものである。
【００１１】
彩度補正は、画像中の色を記憶色に近づけることにより好ましい画像を得るために、例えば、晴天時における空の色を鮮やかに表現するために青色の彩度を補正するといったものである。
【００１２】
従来の方法では、画像中の平坦性を検出し、平坦部であれば比較的効果の高いノイズ除去処理を行う一方、エッジ部である場合には弊害を少なくするために比較的効果の低いノイズ除去処理を行う、或いは、処理を行わないといった方法が行われていた。
【００１３】
【発明が解決しようとする課題】
しかし、前述のとおり画像信号中に重畳されているノイズの性質は、画像中の平坦性には依存していない。そのため、従来の方式では、ある領域においてノイズが十分に除去されるノイズ除去処理を行った場合、他の領域においてはノイズレベルが高く、ノイズが十分に除去されないといったことが発生する場合がある。更に、他の領域においては、ノイズ除去処理の弊害が視覚的に目立つ場合もある。
【００１４】
本発明は以上の問題に鑑みてなされたものであり、より効果的にノイズ除去処理を行う画像処理装置、画像処理方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１６】
すなわち、ノイズが重畳された画像において、所定のサイズの領域毎の画像の色を判断する判断手段と、
当該判断手段により判定された色に応じたノイズ除去処理のためのパラメータを決定する決定手段と、
当該決定手段によるパラメータに従って、ノイズ除去処理の実行を制御する制御手段とを備える画像処理装置であって、
前記制御手段は、
前記画像中の注目画素と当該注目画素の周辺画素群とで構成される領域を設定し、当該周辺画素群から擬似乱数を用いて前記注目画素との比較に用いる画素を選択画素として選択し、前記注目画素の画素値と前記選択画素の画素値との差分の大きさが閾値以下である場合には、前記選択画素の画素値に基づいて前記注目画素の新たな画素値を決定し、前記注目画素の画素値を当該新たな画素値に更新することで、ノイズ分散方式に従ったノイズ除去処理を前記画像に対して行うことを特徴とする。
【００１７】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１８】
すなわち、ノイズが重畳された画像において、所定のサイズの領域毎の画像の色を判断する判断工程と、
当該判断工程で判定された色に応じたノイズ除去処理のためのパラメータを決定する決定工程と、
当該決定工程によるパラメータに従って、ノイズ除去処理の実行を制御する制御工程とを備える画像処理方法であって、
前記制御工程では、
前記画像中の注目画素と当該注目画素の周辺画素群とで構成される領域を設定し、当該周辺画素群から擬似乱数を用いて前記注目画素との比較に用いる画素を選択画素として選択し、前記注目画素の画素値と前記選択画素の画素値との差分の大きさが閾値以下である場合には、前記選択画素の画素値に基づいて前記注目画素の新たな画素値を決定し、前記注目画素の画素値を当該新たな画素値に更新することで、ノイズ分散方式に従ったノイズ除去処理を前記画像に対して行うことを特徴とする。
【００１９】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、以下の実施形態では、ノイズが重畳された画像において、このノイズを軽減させる処理を「ノイズ除去処理」と呼んでいるが、これは以下の処理が画像から完全にノイズを除去するという意図のものではなく、このノイズを視覚的に認識しがたいほどに軽減させることを意図したものである。
【００２０】
［第１の実施形態］
図１は本実施形態に係る画像処理装置の機能構成を示すブロック図である。同図の画像処理装置は、入力端子１００、ラインバッファ１０１、周辺画素参照部１０２、色判定部１０３、パラメータ決定部１０４、個別ノイズ除去部１０５、そして出力端子１０６から構成されている。
【００２１】
入力端子１００には、ＲＧＢの各色信号からなるカラー画像データ（以下、単に画像データ、もしくは元画像データ）が入力され、後述のラインバッファ１０１に送られる。ラインバッファ１０１は入力された画像データをライン単位で格納、保持する。周辺画素参照部１０２は、数ライン分のラインバッファにより構成されており、ラインバッファ１０１に格納されている画像データから順次、所定のサイズ毎の画像データを読み出し、格納する。
【００２２】
色判定部１０３は、周辺画素参照部１０２が保持する画像データを参照し、この画像データが示す画像の色を判定する。色の判定方法については後述する。パラメータ決定部１０４で、色判定部１０３で判定された結果に基づいて、後段の個別ノイズ除去部１０５がノイズ除去処理を行うために用いるパラメータを決定し、個別ノイズ除去部１０５に供給する。個別ノイズ除去部１０５は、ＭＦ、ＬＰＦ、ノイズ分散方式などのノイズ除去方法を用いてノイズ除去処理を行うことができ、パラメータ決定部１０４から供給されるパラメータに従って、ラインバッファ１０１から供給される画像に対してノイズ除去処理を行う。そしてノイズ除去処理が施された画像は出力端子１０６を介して外部に出力される。
【００２３】
次に、上記構成を備える画像処理装置が行うノイズ除去処理について、同処理のフローチャートを示す図２を参照して、以下説明する。
【００２４】
なお、図１に示した各部の機能を実行するプログラム群である、画像処理プログラムをコンピュータに読み込ませ、このコンピュータに上記ノイズ除去処理を実行させることでコンピュータを本実施形態に係る画像処理装置として機能させても良い。その場合、図１は、上記画像処理プログラムの機能構成を示していることになる。またその場合、図２は、この画像処理プログラムがコンピュータに実行させる処理のフローチャートを示していることになる。画像処理装置に入力する画像のサイズとして、水平画素数をＷｉｄｔｈ、垂直画素数をＨｅｉｇｈｔで表現するものとする。
【００２５】
まず、入力する画像を構成する各画素の垂直方向のアドレスを示す変数ｉ、水平方向のアドレスを示す変数ｊを夫々０に初期化する（ステップＳ２００，Ｓ２０１）。次に、周辺画素参照部１０２は、位置（ｉ、ｊ）を中心とする所定サイズの画像データ（参照画像データ）をラインバッファ１０１から読み出し、格納すると共に、色判定部１０３は、参照画像の色を検出する（ステップＳ２０２）。
【００２６】
色の検出方法としては、例えば、参照画像に含まれる各画素において色毎の平均濃度を算出し、更に各色の平均濃度の組み合わせに基づいて参照画像の色を判定する。
【００２７】
なお、参照画像内にエッジ（異なる色領域同士の境目）が存在している場合は、上記組み合わせによる色が参照画像の色を正しく反映しなくなる場合があるが、このような場合には、参照画像を更に小さな画像に分割し、各色領域が１つの画像内に存在しないようにし、更に分割した各画像に対して上記色判定を行うようにしても良い。その場合、色判定部１０３は、参照画像を更に小さい画像に分割する旨の指示を後段のパラメータ決定部１０４、そして個別ノイズ除去部１０５に送る。
【００２８】
次に、パラメータ決定部１０４は、色判定部１０３が判定した色に基づいて、個別ノイズ除去部１０５で用いられるパラメータを決定し、後段の個別ノイズ除去部１０５に供給する（ステップＳ２０３）。なお、ステップＳ２０２において、上述の通り参照画像を更に小さい画像に分割する場合、パラメータ決定部１０４は、この分割された画像毎にパラメータを決定し、個別ノイズ除去部１０５に決定したパラメータを供給する。
【００２９】
次に個別ノイズ除去部１０５は、ラインバッファ１０１から、参照画像と同位置（画像の中心位置が同位置）であって、上記パラメータ決定部１０４から供給されたパラメータに従ったサイズの画像（処理対象画像）を読み出し、読み出した画像に対して、ＭＦ、ＬＰＦ、ノイズ分散方式などのノイズ除去方法のうち予められた一つを用いて、パラメータ決定部１０４から供給されたパラメータに従ったノイズ除去処理を行う（ステップＳ２０４）。なお、ステップＳ２０２において、上述の通り参照画像を更に小さい画像に分割する場合、個別ノイズ除去部１０５は、この分割された画像毎にノイズ除去処理を行う。
【００３０】
次に、水平方向のアドレスｊを１つカウントアップし、処理対象画像の位置を１画素左に進め（ステップＳ２０５）、アドレスｊがＷｉｄｔｈよりも小さいか否かを判断する（ステップＳ２０６）。ｊ＜Ｗｉｄｔｈである限り、上記ステップＳ２０２からステップＳ２０５までの処理を繰り返す。
【００３１】
一方、ｊ≧Ｗｉｄｔｈの場合、処理をステップＳ２０６からステップＳ２０７に進め、垂直方向のアドレスｉを１つカウントアップし、処理対象画像の位置を１画素下に進め（ステップＳ２０７）、アドレスｉがＨｅｉｇｈｔよりも小さいか否かを判断する（ステップＳ２０８）。ｉ＜Ｈｅｉｇｈｔである限り、上記ステップＳ２０１からステップＳ２０７までの処理を繰り返す。そしてｉ≧Ｈｅｉｇｈｔの場合、以上の処理を終了する。
【００３２】
次に、上記個別ノイズ除去部１０５について説明する。図３は、上述のＬＰＦを用いてノイズ除去処理を行う場合の個別ノイズ除去部１０５の機能構成を示す。なお、同図において図１と同じ部分については同じ番号を付け、その説明を省略する。
【００３３】
同図の個別ノイズ除去部１０５は、入力端子３００，３０１，３０３，周辺画素参照部３０２、そしてフィルタリング積和演算部３０４から構成されている。入力端子３００には、ラインバッファ１０１から画像が入力される。入力端子３０１には、パラメータ決定部１０４から供給されるパラメータに含まれる、ノイズ除去処理の対象となる領域のサイズを示す情報が入力される。入力端子３０３には、パラメータ決定部１０４から供給されるフィルタリング処理に用いるパラメータが入力される。周辺画素参照部３０２は、入力端子３００に入力された画像（元画像において、参照画像と同位置の画像）において、上記パラメータ決定部１０４から供給されたパラメータに従ったサイズの画像を格納する。
【００３４】
フィルタリング論理和演算部３０４は、入力端子３０３に入力されたパラメータを用いて、周辺画素参照部３０２が保持する画像の各画素値の加重平均を計算し、計算した加重平均値を注目画素の画素値として置き換える処理を行う。同処理の詳細については後述する。
【００３５】
図４は、図３に示した構成を個別ノイズ除去部１０５に適用した場合に、図１に示した画像処理装置が行うノイズ除去処理のフローチャートである。以下、同フローチャートを用いて、同処理について説明する。なお、図４において破線で囲まれた範囲は夫々、ステップＳ２０３，Ｓ２０４において行われる処理を示している。また、ステップＳ２０３，Ｓ２０４以外の処理については図４では省略する。すなわち、図４は、ステップＳ２０３におけるパラメータの決定処理、ステップＳ２０４におけるノイズ除去処理の詳細を示すフローチャートである。
【００３６】
まず、色判定部１０３による上記色判定により、処理対象画像のサイズ（演算対象範囲）を求める（ステップＳ４００）。なお、演算対象範囲は後述の効果、或いは弊害に応じて予め実験的に決定したサイズをテーブルなどに保持しておき、色判定結果に応じて選択する。ここで演算対象範囲において水平方向の範囲（画素数）をＡｒｅａ_{Ｗｉｄｔｈ}、垂直方向の範囲（画素数）をＡｒｅａ_{Ｈｅｉｇｈｔ}で以下表現する。
【００３７】
次に、演算対象範囲内の各画素の画素値を用いて加重平均を算出する際に使用する重み係数Ａ（ｘ、ｙ）を決定する（ステップＳ４０１）。なお重み係数Ａ（ｘ、ｙ）の各要素は、演算対象範囲内の画像を構成する各画素に対応している。そして、重み係数Ａ（ｘ、ｙ）は後述の効果、或いは弊害に応じて予め実験的に決定した値をテーブルなどに保持しておき、色判定結果に応じて選択する。以上、ステップＳ４００，Ｓ４０１による処理によって、パラメータの決定処理を行う。
【００３８】
次に、ノイズ除去処理を行う。まず演算対象範囲内の各画素において、Ｒ、Ｇ、Ｂに対応する以下の処理に用いる変数Ｓｕｍ_Ｒ，Ｓｕｍ_Ｇ，Ｓｕｍ_Ｂを全て０に初期化する（ステップＳ４０２）。
【００３９】
次に、演算対象範囲内の画像を構成する各画素の垂直方向の処理アドレスを示す変数ｉｉを０に初期化する（ステップＳ４０３）。同様に、演算対象範囲内の画像を構成する各画素の水平方向の処理アドレスを示す変数ｊｊを０に初期化する（ステップＳ４０４）。
【００４０】
そして、演算対象範囲内の画像を構成する各画素において、Ｒ、Ｇ、Ｂの各画素値を示すＩ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂと重み係数Ａとの積和演算を行い、Ｒ、Ｇ、Ｂの夫々の累積加算値を求める（ステップＳ４０５）。そして水平方向のアドレスを示す変数ｊｊを１つカウントアップし、積和演算対象の画素の位置を１画素左に進める（ステップＳ４０６）。以上のステップＳ４０５，Ｓ４０６の処理をｊｊ≧Ａｒｅａ_{Ｗｉｄｔｈ}となるまで行う（ステップＳ４０７）。
【００４１】
次に、垂直方向のアドレスを示す変数ｉｉを１つカウントアップし、積和演算対象の画素の位置を１画素下に進める（ステップＳ４０８）。以上のステップＳ４０４乃至Ｓ４０８の処理をｉｉ≧Ａｒｅａ_{Ｈｅｉｇｈｔ}となるまで行う。
【００４２】
以上の処理により、演算対象範囲内の画像を構成する全ての画素と重み係数との積和演算値Ｓｕｍ_Ｒ，Ｓｕｍ_Ｇ，Ｓｕｍ_Ｂを求めることができる。次に、積和演算値Ｓｕｍ_Ｒ，Ｓｕｍ_Ｇ，Ｓｕｍ_Ｂの演算対象範囲内の画像における平均値を求める（ステップＳ４１０）。すなわち、重みの総和Ｓ_ｗ＝Σ_ｙΣ_ｘＡ（ｘ，ｙ）で除算する。ただし、Σ_ａｆ（ａ）は全てのａに対するｆ（ａ）の総和を表す。
【００４３】
そして夫々の除算結果をＦｒ（ｉ，ｊ）、Ｆｇ（ｉ，ｊ）、Ｆｂ（ｉ，ｊ）とし、これらを注目画素のＲ、Ｇ、Ｂの画素値として置換する。
【００４４】
なお、上記処理では重み係数はＲ、Ｇ、Ｂの各成分に対して全て同じものを用いたが、夫々の成分で異なる重み係数を生成しても良い。その場合、ステップＳ４０２乃至Ｓ４１０に示した加重平均算出処理は、各成分毎に個別の演算対象範囲に対して、個別の重みを利用した加重平均算出処理を行う。
【００４５】
また上記処理は、画像がＲ、Ｇ、Ｂにより構成されているものとして説明したが、JPEG等で使用されている輝度色差成分、或いは、プリンタ等でインク色として使用されているCMYK等の補色系の色成分に対して行ってもよい。
【００４６】
次に、上記ステップＳ２０３におけるパラメータを決定する具体的な処理を、同処理のフローチャートを示す図５を参照して、以下説明する。また、同処理はステップＳ４０１において、重み係数を求める処理に適用しても良い。
【００４７】
まず、色判定部１０３による色判定の結果、暗部であると判断した場合（ステップＳ５００）、処理をステップＳ５０１に進め、暗部用のパラメータを設定する（ステップＳ５０１）。一方、肌色であると判断した場合（ステップＳ５０２）、処理をステップＳ５０３に進め、肌色用のパラメータを設定する（ステップＳ５０３）。一方、青色であると判断した場合（ステップＳ５０４）、処理をステップＳ５０５に進め、青色用のパラメータを設定する（ステップＳ５０５）。また、以上のどの色でもないと判断された場合、処理をステップＳ５０６に進め、他の色用のパラメータを設定する（ステップＳ５０６）。以上の処理が終了すると、ステップＳ２０４に処理が進む。
【００４８】
なお、上記判定処理の順番は、暗部→肌色→青色であったが、この順に限定されるものではなく、またこれらの色に限定されるものでもない。
【００４９】
次に、対象領域の色とノイズ除去処理の効果と弊害に関して説明する。図６は、デジタルカメラにより撮影した画像において発生するノイズと、LPF処理結果との関係を示す図である。図６（ａ）は、画像中に重畳されているノイズの例を示す図である。６００で示される斜線部分の画素の領域はノイズ成分を含む画素であり、数画素から十数画素の連続した固まりとして画像中に存在している。６０１で示される白色画素の領域は、ノイズ成分以外の領域を示す。
【００５０】
図６（ｂ）は、LPF処理の処理範囲を示しており、６０２、６０３で示される２つの太枠は各々、６０４で示さる画素を注目画素とするLPFの処理範囲を示す図である。なお、６０２は５画素×５画素の処理範囲を、６０３は９画素×９画素処理範囲を、各々示している。
【００５１】
図６（ｃ）は、図６（ａ）のノイズを含む画像に対して、６０２で示される５画素×５画素の範囲を処理範囲とするLPF処理を行った処理結果の画像の様子を示す図である。６０５の黒画素領域はノイズ成分が減衰した領域を示す。６０６の灰色画素領域は、本来ノイズ成分が無い領域であったにも関わらす、LPF処理によってノイズ成分が拡散された領域である。６０７の斜線部分の画素群による領域は、処理範囲のサイズがノイズの範囲に比べて十分でなかったために処理の効果が少ない領域を示す。６０７の領域では、LPFの処理はノイズの範囲の中で行われるため、ノイズ成分内での加重平均を求めてしまい、ノイズ成分を減衰させる効果が少ない。一方６０５で示される領域では、加重平均の算出の際に、本来ノイズ成分が無い領域６０１の画素値を利用して加重平均を算出している領域であるため、ノイズ成分が減衰される。
【００５２】
図６（ｄ）は、図６（ａ）のノイズを含む画像に対して、６０３で示される９画素×９画素の範囲を処理範囲とするLPF処理を行った処理結果の画像の様子を示す図である。図６（ｄ）では、ノイズの範囲に比べてLPFの処理範囲が十分広いため、図６（ｃ）とは異なり、処理の効果が少ない領域が存在しない。図６に示されるように、処理範囲を大きくとることでノイズ除去の効果を向上させることが可能となる。
【００５３】
図７は、画像中に存在するエッジ部と、LPF処理結果との関係を示す図である。図７（ａ）は、画像中に存在するエッジ部の例を示した図であり、７００は低濃度領域（同図において白の画素で示される領域）を、７０１は高濃度領域（同図において灰色の画素で示される領域）を各々示す。また、処理範囲は図６（ｂ）に示した６０２、及び６０３で示されるサイズを用いて説明する。
【００５４】
図７（ｂ）は、図７（ａ）の画像に対して、６０２で示される５画素×５画素の範囲を処理範囲とするLPF処理を行った処理結果の画像の様子を示す図である。７０２（同図において斜線部分の画素による領域）は、処理前は低濃度領域７００に属していた領域が、LPF処理の結果、高濃度領域の画素値が拡散し、濃度が上昇した領域である。７０３（同図において黒画素による領域）は、処理前は高濃度領域７０１に属していた領域が、LPF処理の結果、画素値が拡散し、濃度が低下した領域である。
【００５５】
図７（ｃ）は、図７（ａ）の画像に対して、６０３で示される９画素×９画素の範囲を処理範囲とするLPF処理を行った処理結果の画像の様子を示す図である。図７（ｃ）では、図７（ｂ）に比べて画素値が拡散した領域７０２、及び７０３の範囲が広がっている。７０２、或いは７０３に示す領域は、ぼけとして視覚的に認識されるようになる。そのため、７０２、或いは７０３に示す領域が狭いほうが、視覚的に検知される弊害が少なくなる。
【００５６】
図８は、LPF処理の加重平均算出時に使用される重みと処理結果の関係を示す図である。図８（ａ）は、処理対象の画像を示す図である。図８（ａ）において、８００は画像中の突出領域（周囲の画素の画素値とは大きく異なる領域）を示しており、８０１は非突出領域を示している。図８（ｂ）は、図８（ａ）の太枠で囲まれた１ラインを横軸にとった、画素値の推移を示す図で、縦軸は各画素の画素値である。
【００５７】
図８（ｃ）は、LPF処理の加重平均算出時に使用される重みの第１の例を示す図であり、注目画素に対する重みが大きい場合の例である。図８（ｄ）は、図８（ａ）の画像に対し、図８（ｃ）で表現される重みを用いてLPF処理を行った結果の各画素値を示す図である。図８（ｅ）は、図８（ｄ）の太枠で囲まれた１ラインを横軸にとった、画素値の推移を示す図で、縦軸は各画素の画素値である。
【００５８】
図８（ｆ）は、LPF処理の加重平均算出時に使用される重みの第２の例を示す図であり、注目画素に対する重みが小さい場合の例である。図８（ｇ）は、図８（ａ）の画像に対し、図８（ｆ）で表現される重みを用いてLPF処理を行った結果の各画素値を示す図である。図８（ｈ）は、図８（g）の太枠で囲まれた１ラインを横軸にとった、画素値の推移を示す図で、縦軸は各画素の画素値である。
【００５９】
２種類のLPF処理の結果を示す図８（ｅ）、及び図８（ｈ）を比較すると、図８（ｅ）に示す結果は、突出領域の隣接画素の画素値が若干上昇しているが、突出領域の画素値が若干減少している。しかし、突出領域近傍で最も突出している部分の幅は図８（ａ）に示す画像と同様にｗ１であり、画像信号の劣化が少ない。そのため、図８（ｂ）の突出領域が上記ノイズ除去を行う単位の画像であった場合、比較的弊害が少ないといえる。
【００６０】
一方、図８（ｈ）に示す結果は、突出領域の隣接画素の画素値が大きく増加している一方で、突出領域の画素値が大きく減少している。また、突出領域近傍で最も突出している部分の幅は、図８（ａ）に示す画像とは異なるｗ２になっており、処理の効果が大きく現れている。そのため、図８（ｂ）の突出領域がノイズ成分であった場合、処理の効果が見られる。
【００６１】
以上、図６、７、８を用いて、LPF処理における処理範囲、及び重みに対する、ノイズ除去効果、及び弊害に関して説明した。一方、上述したノイズの強度、及び、処理後の弊害に対する視覚的な目立ちやすさは、処理対象領域の色によって性質が異なる。
【００６２】
図６に示したノイズ、或いは図８における突出領域のようなノイズは、デジタルカメラにおいて既にノイズが重畳されている画像に対して、輝度ゲイン調整や、彩度ゲイン調整等の処理により、増幅された場合に特に目立ってくる。原色フィルタを使用しているデジタルカメラの場合、ＲＧＢの色成分の中で視覚的に目立ちやすい輝度成分への寄与率の高いＧ成分に関しては、Ｇ成分のフィルタを他の色のフィルタよりも多くすることにより、得られる光量を増加させることで、撮像後の画像信号の増幅率が少なくなるようにされている。しかしＲ、及びＢに関しては、不足している光量を補うために、画像信号の増幅処理が行われてしまう。
【００６３】
更に、晴天の空を鮮やかに表現する等の好ましい色に近づけるために、特にＲ成分に対して大きなゲイン調整が行われる場合がある。大きなゲイン調整が行われると、ノイズ成分も同時に増幅されてしまうことになる。そのため、晴天の青空等に代表される青色領域では、大きなノイズが重畳している場合がある。また、光量が不足している暗闇や影などの暗部に関しても、ゲイン調整によりノイズ増幅が行われ、大きなノイズが重畳している場合がある。また逆に、画像入出力機器の特性によっては、暗部ではゲイン調整の結果、全体の画素値が引き上げられたことにより疑似輪郭が発生しやすくなり、結果、疑似輪郭部周辺において弊害が目立つ場合もある。
【００６４】
大きなノイズが重畳している可能性の高い青色領域では、ノイズを除去するためには、ノイズ除去処理の効果を高める必要がある。図６に示したように、青色領域では範囲を大きくし、処理範囲を広げることによりノイズ除去処理の効果を高めることが可能となる。また、図８（ｈ）に示したように、重みパラメータを変化させ、処理の影響が高くなるようにすることにより、効果的なノイズ除去処理を行うことが可能となる。
【００６５】
一方、人間は視覚的には、人間の顔に対する変化には非常に敏感である。小さな皺や、皮膚表面の凹凸等が微妙に変化しただけでも、敏感に検知され、違和感を覚える場合がある。人間の顔に関してはなるべく弊害が少ないことが望ましいため、人肌の色領域に対しては、図７の例に示したように弊害を少なくするために、処理対象のサイズを小さく採る。これよりノイズ除去処理の弊害を軽減させることが可能になる。また、図８（ｅ）に示したように、重みパラメータを変化させ、処理による影響が少なくなるようにすることにより、視覚的な弊害が少ないノイズ除去処理を行うことが可能となる。
【００６６】
なお、本実施形態では、変更すべきパラメータとして、演算対象範囲と重み係数を示したが、これに限定されるものではない。
【００６７】
以上説明したように本実施形態に係るノイズ除去処理は、ノイズ成分が大きい領域と、ノイズ除去処理の弊害が視覚的に目立つ領域とを処理領域周辺の色により判定することができる。その結果、ノイズ除去処理の効果を高めることが可能になる一方で、ノイズ除去処理の弊害を抑えることが可能になる。
【００６８】
［第２の実施形態］
第１の実施形態では、LPF処理を用いたノイズ除去処理を行う際に、対象領域の色に応じて処理パラメータを変更することにより、ノイズ除去効果を向上させる一方で、弊害を抑える例を示した。本実施形態では、他のノイズ除去方法を利用した際に、対象領域の色に応じて処理パラメータを変更することにより、ノイズ除去処理を効果的に行う例を示す。
【００６９】
本実施形態に係る画像処理装置と第１の実施形態に係る画像処理装置とは、個別ノイズ除去部１０５における構成が異なると共に、パラメータ決定部１０４から供給されるパラメータも異なる。よって、以下、本実施形態に係る個別ノイズ除去部の構成について説明する。
【００７０】
図９は本実施形態に係る、ノイズ分散方式を用いてノイズ除去処理を行う個別ノイズ除去部の機能構成を示すブロック図である。図３と同じ部分については同じ番号を付け、その説明を省略する。同図に示した個別ノイズ除去部は、入力端子３００，３０１，９００，９０３，周辺画素参照部３０２，画素選択部９０１、乱数発生部９０２、画素値決定部９０４より構成されている。
【００７１】
入力端子９００にはパラメータ決定部１０４から供給され、画素値選択部９０１で使用されるパラメータが入力される。画素値選択部９０１は、乱数発生部９０２により発生させた疑似乱数、及び入力端子９００に入力されたパラメータに基づいて、周辺画素参照部３０２から任意に画素を選択し、その画素値を読み出す。入力端子９０３には、パラメータ決定部１０４から供給され、画素値決定部９０４で使用されるパラメータが入力される。
【００７２】
画素値決定部９０４は、入力端子９０３に入力されたパラメータ、周辺画素参照部３０２から読み出したノイズ除去処理対象の注目画素の画素値、そして画素値選択部９０１により選択された画素の画素値を用いて、ノイズ除去処理後の注目画素の画素値を求め、決定する。
【００７３】
図１０は上記構成を備える本実施形態に係る個別ノイズ除去部を上記個別ノイズ除去部１０５として用いた場合に、本実施形態に係る画像処理装置が行うノイズ除去処理のフローチャートである。以下、同フローチャートを用いて、同処理について説明する。なお、図１０において破線で囲まれた範囲は夫々、ステップＳ２０３，Ｓ２０４において行われる処理を示している。また、ステップＳ２０３，Ｓ２０４以外の処理については図１０では省略する。すなわち、図１０は、ステップＳ２０３におけるパラメータの決定処理、ステップＳ２０４におけるノイズ除去処理の詳細を示すフローチャートである。
【００７４】
まずステップＳ４００と同様に、パラメータ決定部１０４は、処理対象の画像のサイズ（演算対象範囲）を求める（ステップＳ１０００）。ここで演算対象範囲において水平方向の範囲をＡｒｅａ_{Ｗｉｄｔｈ}、垂直方向の範囲をＡｒｅａ_{Ｈｅｉｇｈｔ}で以下表現する。またパラメータ決定部１０４は、色判定部１０３による上記色判定により、Ｒ、Ｇ、Ｂの夫々に対して後述の処理で用いる閾値Ｔｈｒ，Ｔｈｇ，Ｔｈｂを決定する（ステップＳ１００１）。次に、乱数発生部９０２は、疑似乱数を発生し（ステップＳ１００２）、画素値選択部９０１は、発生した疑似乱数と、色判定部１０３による上記色判定により、注目画素からの水平、垂直の相対位置を示す変数ａ、ｂの値を決定する（ステップＳ１００３）。ａ、ｂの決定方法としては例えば、乱数発生部９０２により疑似乱数を発生させる。
【００７５】
なお、変数ａ、ｂの値は、ステップＳ１０００で求めた演算対象範囲のサイズを超えないようにする。例えば、演算対象範囲のサイズが注目画素を中心とした９画素×９画素のサイズとすると、ａ、ｂの値はそれぞれ、−４≦ａ≦４、−４≦ｂ≦４の範囲に収まるように、発生させた乱数から剰余計算を用いて設定する。
【００７６】
以上のステップＳ１０００乃至Ｓ１００３の各ステップによる処理によって、以下で用いるパラメータの決定処理を行うことができる。
【００７７】
次に、これらのパラメータを用いたノイズ除去処理を行う。ノイズ除去処理ではまず、以下の判定処理を行う（ステップＳ１００４）。
【００７８】
｜Ｉｒ（ｊ，ｉ）−Ｉｒ（ｊ＋ｂ，ｊ＋ａ）｜＜Ｔｈｒかつ
｜Ｉｇ（ｊ，ｉ）−Ｉｇ（ｊ＋ｂ，ｊ＋ａ）｜＜Ｔｈｇかつ
｜Ｉｂ（ｊ，ｉ）−Ｉｂ（ｊ＋ｂ，ｊ＋ａ）｜＜Ｔｈｂであるか否か？
ここで、Ｉｒ（ｊ，ｉ）は、上記元画像において座標（ｊ，ｉ）に位置する注目画素のＲ成分の画素値、Ｉｇ（ｊ，ｉ）は同様にＧ成分の画素値、Ｉｂ（ｊ，ｉ）は同様にＢ成分の画素値を示す。また、｜ｘ｜はｘの絶対値を示している。
【００７９】
すなわち、上記判定処理では、演算対象範囲内で任意に選択した選択画素値と注目画素値との差分の絶対値が、Ｒ、Ｇ、Ｂの３成分とも閾値よりも小になるか否かを判断している。上位判定処理の結果、Ｒ、Ｇ、Ｂの３成分とも閾値よりも小である場合には処理をステップＳ１００５に進め、注目画素値を選択画素値に更新する（ステップＳ１００５）。一方、Ｒ、Ｇ、Ｂの３成分とも閾値よりも小でない場合には処理をステップＳ１００６に進め、注目画素値の更新は行わない。
【００８０】
なお、上記ステップＳ１０００で決定されるパラメータはＲ、Ｇ、Ｂの各成分毎に異なる値に設定しても良い。その場合、ステップＳ１００２乃至Ｓ１００６に示したノイズ分散処理は、各色毎に個別の演算対象範囲に対して、個別の閾値を利用した処理を行う。
【００８１】
また上記処理は、画像がＲ、Ｇ、Ｂにより構成されているものとして説明したが、JPEG等で使用されている輝度色差成分、或いは、プリンタ等でインク色として使用されているCMYK等の補色系の色成分に対して行ってもよい。また第１の実施形態と同様に、ステップＳ２０３におけるパラメータを決定する具体的な処理は図５に示すフローチャートに従ったものである。
【００８２】
次に、対象領域の色とノイズ除去処理の効果と弊害に関して説明する。図１１は、図６（ａ）に示した画像において発生するノイズと、ノイズ分散処理の結果との関係を示す図である。また、演算対象範囲のサイズは、図６（ｂ）に示した６０２、及び６０３で示されるサイズを用いて説明する。
【００８３】
図１１（ａ）は、図６（ａ）の画像に対して、６０２で示される５画素×５画素の領域を処理範囲とするノイズ分散処理を行った処理結果の画像の様子を示す。図１１（ａ）において、１１００は、処理前は非ノイズ領域６０１に属していた画素であるが、ノイズ分散処理の結果、ノイズ領域の画素値が分散された画素である。１１０１は、処理前はノイズ領域６００に属していた画素であるが、ノイズ分散処理の結果ノイズ領域が分散され、非ノイズ領域６０１の画素値と置き換えられた画素である。
【００８４】
図１１（ａ）では、ノイズ領域６００の大きさに比べ、処理領域が小さいため、ノイズ領域６００の中央部分は、画素の置き換え処理がノイズ領域６００内で行われてしまい、ノイズ除去効果が十分に得られていない。一方、図１１（ｂ）は、図６（ａ）の画像に対して、６０３で示される９画素×９画素の範囲を処理範囲とするノイズ分散処理を行った処理結果の画像の様子を示す。
【００８５】
図１１（ｂ）では、ノイズ領域６００の大きさに対して十分な処理領域を用いて処理を行っている。そのため、ノイズ領域６００の中央部分まで画素値の置き換えが行われており、視覚的に検知しやすい固まり状のノイズが分散しているため、ノイズ除去の効果が得られている。
【００８６】
図１２は、図７（ａ）において示した画像中に存在するエッジ部と、ノイズ分散処理の結果との関係を示す図である。また、処理範囲は図６（ｂ）に示した６０２、及び６０３で示されるサイズの処理範囲を用いて説明する。図１２（ａ）は、図７（ａ）の画像に対して、６０２で示される５画素×５画素の範囲を処理範囲とするノイズ分散処理を行った処理結果の画像の様子を示す。
【００８７】
図１２（ａ）において、１２００は、処理前は低濃度領域７００に属していた画素が、処理の結果、高濃度部７０１の画素値が分散された画素である。１２０１は、処理前は高濃度領域７０１に属していた画素が、処理の結果、低濃度部７００の画素値が分散された画素である。図１２（ａ）では、処理範囲が比較的小さいため、図７（ａ）に示される画像領域中のエッジ近傍でのみ画素が分散されている。
【００８８】
一方、図１２（ｂ）は、図７（ａ）の画像に対して、６０３で示される９画素×９画素の領域を処理範囲とするノイズ分散処理を行った処理結果の画像の様子を示す。図１２（ｂ）では、処理範囲のサイズが大きいため、図７（ａ）に示される画像領域中のエッジから離れた場所の画素に対しても、エッジ境界を越えて画素が分散している。エッジ境界の画素が広範囲に分散してしまうと、輪郭が崩れ、画質劣化につながる。図７（ａ）のような画像エッジ部においては、図１２（ｂ）に示すように、処理範囲が大きくなると処理の弊害が視覚的に目立つようになる。
【００８９】
図１３は、ノイズ分散処理時に使用される閾値と処理結果の関係を示す図である。図１３（ａ）は、処理対象の画像を示している。１３００は、周囲の領域の画素値とは異なる画素値（同図では画素値２５）を有する画素領域である。１３０１は、画素領域１３００の周囲の画素領域であり、例として、画素値２０で示している領域である。１３０２は、同様に１３００の周囲の画素領域であり、例として、画素値１５で示している領域である。図１３（ｂ）は、図１３（ａ）の太枠で囲まれた１ラインを横軸にとった、画素値の推移を示す図で、縦軸は各画素の画素値である。
【００９０】
図１３（ｃ）は、ノイズ分散処理時に使用される画素値入れ替え条件を示す式の例を示す図である。同図において、Ｐ_ｏｒｇは注目画素の画素値、Ｐ_ｓｅｌは選択された画素の画素値を示す。図１３（ｃ）の式においては、閾値Ｔｈ１が８となっており、注目画素と選択された画素の画素値の差の絶対値が８以下であれば画素値の置換を行うことを示している。
【００９１】
図１３（ｄ）は図１３（ｃ）の式に基づいて、処理対象の画像である図１３（ａ）に対してノイズ分散処理を行った結果である。図１３（ｄ）を参照すると、図１３（ａ）において領域１３００内の画素と領域１３０１内の画素との画素値の差の絶対値が８以下となるため、画素値の置換が行われ、一方、領域１３００内の画素と領域１３０２内の画素との画素値の差の絶対値が１０となるため、画素値の置換は行われないことがわかる。図１３（ｅ）は、図１３（ｄ）中の太線で囲まれた１ライン中の各画素の画素値を示す図である。
【００９２】
図１３（ｆ）は、ノイズ分散処理時に使用される画素値入れ替え条件を示す他の式の例を示す図である。図１３（ｆ）では、図１３（ｃ）に比べ閾値Ｔｈ２が１２になっている点が異なる。図１３（ｇ）は、図１３（ｆ）の式に基づいて、処理対象画像である図１３（ａ）に対してノイズ分散処理を行った結果を示す図である。図１３（ｇ）を参照すると、図１３（ａ）において領域１３００内の画素と領域１３０１内の画素との画素値の差の絶対値が８以下となるだけでなく、領域１３００内の画素と領域１３０２内の画素の画素値の差の絶対値が１０となり、画素値の差の絶対値が閾値より小さくなるため、画素値の置換は行われることがわかる。図１３（ｈ）は、図１３（ｇ）中の太線で囲まれた１ライン中の各画素の画素値を示す図である。
【００９３】
２種類のノイズ分散処理の結果である図１３（ｅ）、及び図１３（ｈ）を比較すると、図１３（ｅ）では、グラフ左側の画素では画素値の置換が行われているのに対し、グラフ右側の画素では画素値の置換が行われていない。つまりグラフ右側と同様の条件である、領域１３００、及び領域１３０２付近での、処理対象画像の形状は変更されていない。領域１３００が画像であった場合、ノイズ除去処理結果の画像は変更が少ないことが望ましい。図１３（ｄ）、或いは図１３（ｅ）に示す例の場合、領域１３００は完全には崩れておらず、弊害を抑えているといえる。
【００９４】
一方、図１３（ｈ）では、横軸の位置に関わらず画素値の置換が行われており、領域１３００の形状が崩れている。そのため、領域１３００がノイズ成分であった場合、処理の効果が見られる。
【００９５】
以上、図１１、及び図１２、及び図１３を用いて、ノイズ分散処理における処理範囲、及び閾値に対する、ノイズ除去効果、及び弊害に関して説明した。ところで、第１の実施形態で述べたように、上述したノイズの強度、及び、処理後の弊害に対する視覚的な目立ちやすさは、処理対象領域の色によって性質が異なる。そのため、本実施形態においても、処理対象領域がノイズレベルの高い色であった場合は、前述のように処理対象範囲を広げる、或いは、画素値の選択確率を処理対象領域内の外側の画素ほど高くする、或いは、閾値を高くとる等といったパラメータを設定することにより、ノイズ除去効果を高めることが可能になる。また、処理対象領域が弊害の目立つ色であった場合には、処理対象範囲を狭める、或いは、処理対象領域内での画素値の選択確率を注目画素に近い画素ほど高くする、或いは、閾値を低くとる等といったパラメータを設定することにより、ノイズ除去処理による弊害を抑えることが可能になる。
【００９６】
なお、本実施形態においては、変更すべきパラメータとして、演算対象範囲と閾値を示したが、これに限定されるものではない。
【００９７】
以上説明したように本実施形態に係るノイズ除去処理は、ノイズ成分が大きい領域と、ノイズ除去処理の弊害が視覚的に目立つ領域とを処理領域周辺の色により判定することができる。その結果、ノイズ除去処理の効果を高めることが可能になる一方で、ノイズ除去処理の弊害を抑えることが可能になる。
【００９８】
［第３の実施形態］
上述の第１の実施形態では、LPFにおけるノイズ除去処理の際に、処理対象範囲、及び、加重平均算出時に使用する重みを、対象領域の色によるノイズの目立ちやすさ、及び、ノイズ除去処理の弊害の目立ちやすさに基づいて決定することにより、効果が高く、かつ、弊害の少ないノイズ除去処理を実現する例を示した。
【００９９】
上記第１，２の実施形態で示した以外にも、例えば、代表的なノイズ除去処理方法として前述したMFにも適応可能である。MFは処理対象範囲内の全画素値の中から中間の画素値を選択して、注目画素の画素値として置き換える方法であり、特に周囲の画素との相関が極めて低いスポット状のノイズに対して特に有効である。なお、本実施形態においても、前述した項目と同様の項目に関しては、同様の符号を付し、説明は省略する。
【０１００】
図１４は本実施形態に係る、ＭＦを用いてノイズ除去処理を行う個別ノイズ除去部の機能構成を示すブロック図である。図３と同じ部分については同じ番号を付け、その説明を省略する。同図に示した個別ノイズ除去部は、入力端子３００，３０１、周辺画素参照部３０２、中間値取得部１４００により構成されている。同図の構成を備える個別ノイズ除去部は、処理対象範囲中の全画素から中間の画素値を取得し、この中間の画素値を新たに注目画素の画素値として置き換える処理を行う。
【０１０１】
図１５は上記構成を備える本実施形態に係る個別ノイズ除去部を上記個別ノイズ除去部１０５として用いた場合に、本実施形態に係る画像処理装置が行うノイズ除去処理のフローチャートである。以下、同フローチャートを用いて、同処理について説明する。なお、図１５において破線で囲まれた範囲は夫々、ステップＳ２０３，Ｓ２０４において行われる処理を示している。また、ステップＳ２０３，Ｓ２０４以外の処理については図１５では省略する。すなわち、図１５は、ステップＳ２０３におけるパラメータの決定処理、ステップＳ２０４におけるノイズ除去処理の詳細を示すフローチャートである。
【０１０２】
まずステップＳ４００と同様に、パラメータ決定部１０４は、処理対象の画像のサイズ（演算対象範囲）を求める（ステップＳ１５００）。次に、この演算対象領域中に含まれる各画素の画素値を参照し、全画素中で、Ｒ、Ｇ、Ｂ夫々の中間の画素値ＰＲ＿ｍｉｄ、ＰＧ＿ｍｉｄ、Ｐｂ＿ｍｉｄを取得する（ステップＳ１５０１）。そして、注目画素のＲ、Ｇ、Ｂの各画素値ＦＲ（ｊ，ｉ）、ＦＧ（ｊ，ｉ）、Ｆｂ（ｊ，ｉ）を、取得した中間の画素値ＰＲ＿ｍｉｄ、ＰＧ＿ｍｉｄ、Ｐｂ＿ｍｉｄに置き換える（ステップＳ１５０３）。
【０１０３】
なお、ステップＳ１５００で求めるパラメータは、Ｒ、Ｇ、Ｂで夫々異なる値に変化させても良い。
【０１０４】
また上記処理は、画像がＲ、Ｇ、Ｂにより構成されているものとして説明したが、JPEG等で使用されている輝度色差成分、或いは、プリンタ等でインク色として使用されているCMYK等の補色系の色成分に対して行ってもよい。
【０１０５】
MFは、ノイズが多く、しかも処理対象範囲が狭い場合には処理対象エリア内の中間画素値が、本来の処理対象領域付近の中間画素値近傍の画素値に比べ、ノイズ方向に移動した画素値が選択される場合がある。一方で、処理対象範囲が広い場合には、処理対象領域中にエッジが入り込み、所望の中間値を得られなくなる場合がある。
【０１０６】
ノイズの発生頻度が画像中に一様であった場合でも、ノイズの目立つ領域は対象領域の色に依存する。また、ノイズ除去処理の弊害の目立ち具合も処理対象の色に依存することは前述した。
【０１０７】
本実施形態では、MFによるノイズ除去処理を挙げたが、処理対象領域の色に基づいて、ノイズが目立つ色であった場合には処理対象範囲を広げる一方、ノイズ除去処理による弊害が目立つ色であった場合には処理対象範囲を狭くすることにより、ノイズ除去効果が高く、かつ、弊害の少ないノイズ除去処理が実現できる。
【０１０８】
また、MFは注目画素値が近傍の画素の画素値と比較して突出している場合にのみ処理を行うようにする方法がある。この場合、注目画素値の画素値が突出しているか否かを判定する際の閾値を、処理対象領域の色に応じて変化させるようにしてもよい。
【０１０９】
［第４の実施形態］
上記第１乃至３の実施形態では、ノイズ除去処理における有効な手法に対して、ノイズの目立ちやすさ、及び、ノイズ除去処理の弊害の目立ちやすさが処理対象領域の色に応じて異なることを利用して、ノイズ軽減処理の効果、及び弊害が所望の結果になるように各種処理パラメータを制御する例を述べた。本実施形態では、上記ノイズ除去処理の特徴に基づいて、上記ノイズ除去処理を組み合わせることにより、更に効果の高いノイズ軽減処理を行う例について述べる。
【０１１０】
図１６は本実施形態に係る、上記ノイズ除去処理を組み合わせた画像処理装置の機能構成を示すブロック図である。同図に示した画像処理装置は、入力端子１６００、前段補助ノイズ除去部１６０１、主ノイズ除去部１６０２、そして出力端子１６０３により構成されている。
【０１１１】
入力端子１６００にはノイズが重畳された画像が入力され、入力された画像は後段の前段補助ノイズ除去部１６０１に入力される。前段補助ノイズ除去部１６０１は、主ノイズ除去部１６０２が行うノイズ除去効果を高めるためのノイズ除去処理を行う。主ノイズ除去部１６０２は、メインのノイズ除去処理を行う。そしてノイズ除去処理が施された画像は出力端子１６０３を介して外部に出力される。
【０１１２】
ここで前段補助ノイズ除去部１６０１、主ノイズ除去部１６０２の夫々は、図１に示した機能構成を有しており、個別ノイズ除去部が行うノイズ除去処理が夫々異なる。本実施形態では、前段補助ノイズ除去部１６０１に含まれる個別ノイズ除去部（図１４に示す構成を備える）は上記ＭＦを用いたノイズ除去処理を、主ノイズ除去部１６０２に含まれる個別ノイズ除去部（図９に示す構成を備える）は上記ノイズ分散方式を用いたノイズ除去処理を夫々行う。
【０１１３】
なお、上記構成を備える画像処理装置が行うノイズ除去処理のフローチャートは、第３，２の実施形態で説明した処理を直列に行うものであるので、ここでの説明は省略する。
【０１１４】
図１７は、本実施形態に係るノイズ除去処理を説明する図である。図１７（ａ）は、ノイズ成分が重畳された画像であり、異なる２つのノイズが重畳されている。１７００は、周囲の画素値に比べ、画素値が高い、もしくは低い画素群であって、視覚的に目立つノイズである。１７０１は周囲の画素とは相関の低い画素値を有するスポット状のノイズである。デジタルカメラ等により入力した画像には、複数のノイズが混ざり合って重畳している場合が多い。本実施形態で述べる上記２つのノイズは、デジタルカメラで撮影した画像に対して重畳しているノイズの代表的なものである。図１７（ｂ）は、図１７（ａ）の画像に対して、主ノイズ除去部１６０２で行うノイズ分散方式を適応した処理結果を示す図である。
【０１１５】
上記第２の実施形態で述べたとおり、ノイズ分散方式では注目画素の画素値と選択された画素の画素値との差の絶対値が大きい場合には注目画素の画素値は置換されない。スポット状ノイズは周囲の画素値との相関が低いため、周囲の画素値とは極端に異なる画素値を有していることがある。図１７（ａ）のようにスポット状ノイズ１７０１が多数存在している場合には、ノイズ分散方式では画素値の置換が行われる確率が低下する。その結果、図１７（ｂ）に示すように、ノイズ分散方式では除去可能な固まり状のノイズ１７００が十分に除去できない可能性がある。図１７（ｃ）は、図１７（ａ）の画像に対して、前段補助ノイズ除去部１６０１で行うMFを適応した処理結果である。なお、本実施形態のMFでは、注目画素の画素値が周囲の画素の画素値とは十分に異なる場合にのみMF処理を実行するようにしているものとする。
【０１１６】
図１７（ｃ）では、スポット状のノイズ１７０１がMF処理により除去され、固まり状のノイズ１７００のみが残っている。図１７（ｄ）は、図１７（ｃ）に対して更にノイズ分散方式を行った結果である。図１７（ｄ）では、スポット状ノイズ１７０１が除去されている上に、固まり状のノイズ１７００も分散されており、有効なノイズ除去が行われている。
【０１１７】
なお、本実施形態においては、前段補助ノイズ除去手段１６０１として、上記第３の実施形態で述べたMFを適応した例を述べたが、上記第１の実施形態で述べたLPFであっても同様にスポット状のノイズを除去する効果がある。そのため、前段補助ノイズ除去部１６０１として、LPFを適応しても同様の効果を得ることが可能である。
【０１１８】
図１７で示した２種類のノイズ１７００、及び１７０１は、デジタルカメラにより撮影された画像の場合、各々別の発生原因により発生したノイズである。また、前述した画像処理等による増幅の影響も異なる。そのため、各々のノイズに対して視覚的に目立つ領域には、確実にノイズを除去するために強めに処理を行うようにするとよく、逆に、ノイズ除去処理の弊害が目立つ領域には、弊害を抑えるために弱めに処理を行うようにするとよい。なお、前述のとおり、ノイズの目立ち具合、及びノイズ軽減処理による弊害の目立ち具合は、処理対象領域の色に依存する。更に、弊害の目立ち具合はノイズ除去処理の内容によっても異なる。そこで、複数のノイズ除去処理が行われる場合には、各ノイズ除去処理が除去対象とするノイズが目立つ領域の色、及び、各ノイズ除去処理による弊害が目立つ領域の色に応じて、ノイズ処理毎に処理パラメータを切り替えるとよい。また、特に弊害が目立つ等の場合には、前段補助ノイズ除去部１６０１、或いは、主ノイズ除去部１６０２において、処理の実行を停止するようにパラメータを決定してもよい。
【０１１９】
本実施形態においては、主ノイズ除去部としてノイズ分散方式によるノイズ除去を、また、前段補助ノイズ除去部としてLPF、或いはMFを例に挙げた。しかし、これに限定されるものではなく、事前に他のノイズ除去方式によりノイズ除去を行っても良い。これにより、より効果が向上すると共に、弊害が抑制されるようなノイズ除去方式の組み合わせに対して有効である。また、本実施形態では、前段補助ノイズ除去処理は１つである例を示したが、多数のノイズが重畳されている場合、各ノイズに対して補助ノイズ除去処理を行ってもよく、その場合は複数の前段補助ノイズ除去処理を行ってもよい。
【０１２０】
以上の説明により、本実施形態に係るノイズ除去処理によって、複数の異なるノイズ成分が重畳した画像に対してノイズ除去処理を行う際に、各ノイズに対する除去方式のパラメータを処理対象領域の色に応じて変更することにより、各ノイズを効果的に除去することが可能になる。また、複数のノイズ除去方式を組み合わせることにより、複数の異なるノイズ成分が重畳した画像から効果的にノイズを除去することが可能になる。
【０１２１】
［第５の実施形態］
上記第４の実施形態では、主ノイズ除去処理以前に、主ノイズ除去処理の効果を高めるための補助ノイズ除去処理を行う例を示した。本実施形態では、主ノイズ除去処理の結果発生する弊害を抑えるために、主ノイズ除去処理の実行以後に、弊害を抑制するための後段補助ノイズ除去部を組み合わせて実行する例を示す。
【０１２２】
図１８は本実施形態に係る、上記ノイズ除去処理を組み合わせた画像処理装置の機能構成を示すブロック図である。同図に示した画像処理装置は、入力端子１８００、主ノイズ除去部１８０１、後段補助ノイズ除去部１８０２、そして出力端子１８０３により構成されている。
【０１２３】
入力端子１８００にはノイズが重畳された画像が入力され、入力された画像は後段の主ノイズ除去部１８０１に入力される。主ノイズ除去部１８０１は、メインのノイズ除去処理を行う。後段補助ノイズ除去部１８０２は、主ノイズ除去部１８０１による処理の結果発生した弊害を抑制する処理を行う。そしてノイズ除去処理が施された画像は出力端子１８０３を介して外部に出力される。
【０１２４】
ここで主ノイズ除去部１８０１、後段補助ノイズ除去部１８０２の夫々は、図１に示した機能構成を有しており、個別ノイズ除去部が行うノイズ除去処理が夫々異なる。本実施形態では、主ノイズ除去部１８０１に含まれる個別ノイズ除去部（図９に示す構成を備える）は上記ノイズ分散方式を用いたノイズ除去処理を、後段補助ノイズ除去部１８０２に含まれる個別ノイズ除去部（図３に示す構成を備える）は上記ＬＰＦを用いたノイズ除去処理を夫々行う。
【０１２５】
なお、上記構成を備える画像処理装置が行うノイズ除去処理のフローチャートは、第２，１の実施形態で説明した処理を直列に行うものであるので、ここでの説明は省略する。
【０１２６】
図１９は、本実施形態に係るノイズ除去処理を説明する図である。図１９（ａ）は、ノイズ成分が重畳された画像を示す図である。１９００は周囲の画素に比べ、画素値が高い画素群であって、視覚的に目立つ固まり状ノイズ領域である。１９０１は、図１９（ａ）において、固まり状ノイズ領域１９００以外の非ノイズ領域である。
【０１２７】
図１９（ｂ）は、図１９（ａ）の画像に対して、主ノイズ除去部１８０１がノイズ分散方式を行った処理結果を示す図である。１９０２はノイズ成分の画素値が残存、或いは分散されたノイズ成分画素を示す。１９０３は非ノイズ成分の画素値が残存、或いは分散された非ノイズ成分画素を示す。図１９（ｂ）では、固まり状ノイズが分散され、ノイズ成分が視覚的には目立ちにくくなっており、一定のノイズ除去効果が得られているといえる。
【０１２８】
しかし、ノイズ処理の効果を高めるため、主ノイズ除去部１８０１に用いているノイズ分散方式の画素値を決定する閾値を高めに設定すると、ざらつき感が目立つ場合がある。
【０１２９】
また、近年アプリケーションソフト、或いはプリンタドライバ等において、色調補正処理や彩度アップ処理といった画素値を変更する画像処理が行われる場合がある。ノイズ除去処理において、主ノイズ除去部１８０１による処理のみを行った場合は、図１９（ｂ）の画像が出力されることになる。図１９（ｂ）の画像に対して上記画素値を変更する画像処理が行われる場合、処理の結果ノイズ成分画素１９０２と非ノイズ成分画素１９０３の差が大きくなり、画像全体にざらつき感が発生する場合がある。
【０１３０】
図１９（ｃ）は、図１９（ｂ）の画像に対して、更に後段補助ノイズ除去部１８０２によるLPF処理を行った結果を示す図である。図１９（ｃ）では、図１９（ｂ）の画像に比べて、ノイズ成分画素１９０２、及び非ノイズ成分画素１９０３の画素値の差が少なく、滑らかな画像になっている。そのため、図１９（ｃ）の画像に対して上記画素値を変更する画像処理が行われても、ざらつき感の発生は抑制される。
【０１３１】
ざらつき感は、色によっては視覚的に認識しやすくなる可能性がある。例えば、晴天の青空にざらつき感がある場合では、わずかであっても視覚的には違和感を覚える場合がある。一方、人肌のように表面が完全には滑らかではなく、多数の凹凸がある場合には、ざらつき感が視覚的に目立つことは少なくなるが、滑らかにする処理の結果、本来画像成分として存在する凹凸をも滑らかにしてしまうと不自然になる場合がある。
【０１３２】
ざらつき感は対象画像によって目立ち方が異なるが、青空や人肌を容易に判定するには対象領域の色を判定するとよい。つまり、対象領域の色に応じて、ざらつき感が視覚的に目立つ場合、後段補助ノイズ除去部１８０２が行う処理が強く行われるようにパラメータを決定することにより、主ノイズ除去部１８０１による弊害を抑制することが可能になる。また、後段補助ノイズ除去部１８０２において弊害を強く抑制する処理を行うパラメータを設定した色領域に対しては、ノイズ分散方式の画素値置換を決定する閾値を高めに設定し、置換が起こりやすいようにする等により、ノイズ除去効果を高めることも可能になる。
【０１３３】
一方、ざらつき感が視覚的に目立ちにくい色を有する対象領域の場合には、後段補助ノイズ除去部１８０２が行う処理は弱く行われるようにパラメータを決定することにより、ノイズ除去処理全体の弊害を抑制することが可能になる。また、ノイズ成分画素１９０２、及び非ノイズ成分画素１９０３の画素値の差が十分に少ない、或いは、視覚的に目立たない色領域であった場合には、後段補助ノイズ除去部１８０２が行う処理を停止するようにパラメータを決定してもよい。また、ノイズそのものが目立ちにくい色領域であった場合には、主ノイズ除去部１８０１が行う処理が弱く行われる、若しくは、処理を停止させるようにパラメータを決定してもよい。
【０１３４】
なお、本実施形態では、後段補助ノイズ部手段１８０２として、上位第１の実施形態で述べたLPFを適応した例を述べたが、上記第３の実施形態で述べたMFであっても同様にスポット状のノイズを除去する効果がある。そのため、後段補助ノイズ除去部１８０２として、LPFを適応しても同様の効果を得ることが可能である。
【０１３５】
本実施形態では、主ノイズ除去部としてノイズ分散方式によるノイズ除去を、また、後段補助ノイズ除去部としてLPF、或いはMFを例に挙げた。しかしこれに限定されるものではなく、弊害が発生するノイズ除去方式と、弊害を抑制する他のノイズ除去方式の様々な組み合わせにより、上記目的が達成できることは明らかである。また、後段補助ノイズ除去処理は１つである例を示したが、複数の異なる特性を持った弊害が発生する場合には、複数の後段補助ノイズ除去処理を使用してもよい。
【０１３６】
以上の説明により、本実施形態に係るノイズ除去処理によって、ノイズ成分が重畳した画像情報に対してノイズ除去処理を行う際に、複数のノイズ除去方式を組み合わせることにより、ノイズ除去処理により発生する弊害を抑制することが可能になる。
【０１３７】
［第６の実施形態］
上記第４の実施形態では、主ノイズ除去処理の以前に前段補助ノイズ除去処理を行うことにより、主ノイズ除去処理の効果を高める例を示した。また上記第５の実施形態では、主ノイズ除去処理の以後に後段補助ノイズ除去処理を行うことにより、主ノイズ除去処理の弊害を抑制する例を示した。上記第４の実施形態、第５の実施形態に係る夫々のノイズ除去方式の組み合わせは、組み合わせて使用することにより双方の効果を同時に得ることが可能になる。
【０１３８】
本実施形態に係るノイズ除去処理は、上記第４の実施形態、第５の実施形態で述べたノイズ除去方式の組み合わせを、更に組み合わせる例を示す。
【０１３９】
図２０は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。同図の画像処理装置は、入力端子２０００、前段補助ノイズ除去部２００１、主ノイズ除去部２００２、後段補助ノイズ除去部２００３、そして出力端子２００４により構成される。
【０１４０】
入力端子２０００にはノイズが重畳された画像が入力され、入力された画像は前段補助ノイズ除去部２００１に入力される。前段補助ノイズ除去部２００１は、主ノイズ除去部２００２が行うノイズ除去効果を高めるためのノイズ除去処理を行う。主ノイズ除去部２００２は、メインのノイズ除去処理を行う。後段補助ノイズ除去部２００３は、主ノイズ除去部２００１による処理の結果発生した弊害を抑制する処理を行う。そしてノイズ除去処理が施された画像は出力端子２００４を介して外部に出力される。
【０１４１】
なお、上記構成を備える画像処理装置が行うノイズ除去処理のフローチャートは、この画像処理装置の機能構成が、第４，５の実施形態に係る構成を直列に繋いだものであるので、第４，５の実施形態に係る構成が行う処理を直列に繋いだものと見なせる。
【０１４２】
本実施形態に係るノイズ除去処理は、上記第４，５の実施形態の組み合わせであり、双方の効果を同時に得ることが可能になる。つまり本実施形態に係るノイズ除去処理により、主ノイズ除去処理の効果を高めつつ、更に、主ノイズ除去処理により発生する弊害を抑えることが可能になる。
【０１４３】
［そのほかの実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１４７】
【発明の効果】
以上説明したように、本発明によって、ノイズが重畳された画像から、目立ちやすいノイズを効果的に除去することが可能なだけでなく、画像の劣化を抑制することが可能になる。
【０１４８】
また、本発明により、ノイズ除去処理により発生する弊害を効果的に抑制することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置が行うノイズ除去処理のフローチャートである。
【図３】ＬＰＦを用いてノイズ除去処理を行う場合の個別ノイズ除去部１０５の機能構成を示すブロック図である。
【図４】図３に示した構成を個別ノイズ除去部１０５に適用した場合に、図１に示した画像処理装置が行うノイズ除去処理のフローチャートである。
【図５】ステップＳ２０３におけるパラメータを決定する具体的な処理のフローチャートである。
【図６】デジタルカメラにより撮影した画像において発生するノイズと、LPF処理結果との関係を示す図である。
【図７】画像中に存在するエッジ部と、LPF処理結果との関係を示す図である。
【図８】 LPF処理の加重平均算出時に使用される重みと処理結果の関係を示す図である。
【図９】本発明の第２の実施形態に係る、ノイズ分散方式を用いてノイズ除去処理を行う個別ノイズ除去部の機能構成を示すブロック図である。
【図１０】本発明の第２の実施形態に係る個別ノイズ除去部を個別ノイズ除去部１０５として用いた場合に、本発明の第２の実施形態に係る画像処理装置が行うノイズ除去処理のフローチャートである。
【図１１】図６（ａ）に示した画像において発生するノイズと、ノイズ分散処理の結果との関係を示す図である。
【図１２】図７（ａ）において示した画像中に存在するエッジ部と、ノイズ分散処理の結果との関係を示す図である。
【図１３】ノイズ分散処理時に使用される閾値と処理結果の関係を示す図である。
【図１４】本発明の第３の実施形態に係る、ＭＦを用いてノイズ除去処理を行う個別ノイズ除去部の機能構成を示すブロック図である。
【図１５】本発明の第３の実施形態に係る個別ノイズ除去部を個別ノイズ除去部１０５として用いた場合に、本発明の第３の実施形態に係る画像処理装置が行うノイズ除去処理のフローチャートである。
【図１６】本発明の第４の実施形態に係る、ノイズ除去処理を組み合わせた画像処理装置の機能構成を示すブロック図である。
【図１７】本発明の第４の実施形態に係るノイズ除去処理を説明する図である。
【図１８】本発明の第５の実施形態に係る、ノイズ除去処理を組み合わせた画像処理装置の機能構成を示すブロック図である。
【図１９】本発明の第５の実施形態に係るノイズ除去処理を説明する図である。
【図２０】本発明の第６の実施形態に係る画像処理装置の機能構成を示すブロック図である。

Claims

ノイズが重畳された画像において、所定のサイズの領域毎の画像の色を判断する判断手段と、
当該判断手段により判定された色に応じたノイズ除去処理のためのパラメータを決定する決定手段と、
当該決定手段によるパラメータに従って、ノイズ除去処理の実行を制御する制御手段とを備える画像処理装置であって、
前記制御手段は、
前記画像中の注目画素と当該注目画素の周辺画素群とで構成される領域を設定し、当該周辺画素群から擬似乱数を用いて前記注目画素との比較に用いる画素を選択画素として選択し、前記注目画素の画素値と前記選択画素の画素値との差分の大きさが閾値以下である場合には、前記選択画素の画素値に基づいて前記注目画素の新たな画素値を決定し、前記注目画素の画素値を当該新たな画素値に更新することで、ノイズ分散方式に従ったノイズ除去処理を前記画像に対して行うことを特徴とする画像処理装置。
前記所定のサイズの領域毎の画像に異なる色間のエッジが含まれている場合、当該画像を更にサイズの小さい画像に分割する分割手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、ノイズ除去処理の対象となる領域のサイズを示す情報を決定することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記ノイズ分散方式で用いるパラメータを決定することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、ローパスフィルタを用いたノイズ軽減処理、前記ノイズ分散方式に従ったノイズ軽減処理、メディアンフィルタを用いたノイズ軽減処理の組み合わせによる処理の実行を制御することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
ノイズが重畳された画像において、所定のサイズの領域毎の画像の色を判断する判断工程と、
当該判断工程で判定された色に応じたノイズ除去処理のためのパラメータを決定する決定工程と、
当該決定工程によるパラメータに従って、ノイズ除去処理の実行を制御する制御工程とを備える画像処理方法であって、
前記制御工程では、
前記画像中の注目画素と当該注目画素の周辺画素群とで構成される領域を設定し、当該周辺画素群から擬似乱数を用いて前記注目画素との比較に用いる画素を選択画素として選択し、前記注目画素の画素値と前記選択画素の画素値との差分の大きさが閾値以下である場合には、前記選択画素の画素値に基づいて前記注目画素の新たな画素値を決定し、前記注目画素の画素値を当該新たな画素値に更新することで、ノイズ分散方式に従ったノイズ除去処理を前記画像に対して行うことを特徴とする画像処理方法。
コンピュータを請求項１乃至５のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
コンピュータに請求項６に記載の画像処理方法を実行させるためのプログラム。
請求項７又は８に記載のプログラムを格納する記憶媒体。