JP5147903B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明はノイズ低減処理に関する。

通常、デジタルカメラやスキャナ等の撮像装置により撮影された画像にはノイズが含まれている。被写体像にノイズが混入すると、撮影画像の画質を低下させるという問題がある。

従来、様々なノイズ低減処理方法が提案されているが、それらは主として、平滑化フィルタによる処理を基礎にしている。

通常、被写体像は低周波成分に比べて高周波成分の強度が弱いため、画像の高周波領域ではノイズが支配的となる。そこで高周波成分を抑圧する平滑化フィルタを画像に適用すれば、被写体像の低〜中周波成分を保存しつつ、ノイズを低減し得る。

また、特許文献１では撮像画像の高周波成分をノイズらしくなるように補正して推定ノイズ画像を取得し、取得された推定ノイズ画像を撮像画像から減算することでノイズ低減処理を行なっている。推定ノイズ画像を取得するための補正においては、撮像画像の高周波成分の画素値のヒストグラムを撮像装置のノイズのヒストグラムに近づけるような補正が行なわれる。

特開２００６−３１０９９９

上述の平滑化フィルタをベースとするノイズ低減技術では、ノイズを低減するとともに被写体像の高周波成分も抑圧してしまう。その結果、被写体像の細かなテクスチャ成分が除去されてしまうという課題があった。

また、撮像画像中の個々の画素値のみから、注目画素が被写体のエッジであるかノイズによるものであるかを区別することができない。よって、特許文献１では、推定ノイズ画像の中に被写体像のエッジ成分が含まれることとなる。その結果、特許文献１では、撮像画像からエッジ成分が含まれる推定ノイズ画像を減算することとなり、ノイズ低減処理後の画像のエッジがぼけてしまうという課題があった。

上記課題を解決するために、本発明の画像処理装置は、撮像部により撮像された入力画像データを入力する入力手段と、前記入力画像データに基づいて、前記入力画像データの入力ヒストグラムを生成する第一生成手段と、前記入力画像データの特性値を、前記入力ヒストグラムの分布と前記特性値に対応するノイズ特性データの分布との重複する領域の統計値に補正する補正手段と、を有することを特徴とする。

本発明によれば、被写体像の細かなテクスチャ成分とエッジ成分を保存しつつ良好なノイズ低減をすることができる。

第一実施例における装置構成を表す図 第一実施例における信号処理部１０３を表す図 第一実施例におけるノイズ低減処理にかかる構成を表す図 第一実施例におけるノイズ特性テーブルを表す図 ノイズの有無とかかる画像の一次元ヒストグラムの関係を表す概念図 第一実施例におけるヒストグラム回復の概念図 第一実施例におけるＬＵＴ作成方法、及びＬＵＴを説明に用いる図 図４のノイズ特性テーブルにおいて画素値９０に対応する行を抜き出した図 グラデーション画像及びかかる画像にノイズが混入した画像を表す図 図９の画像データに対応する一次元ヒストグラムを表す図 グラデーション画像が入力である場合のＬＵＴ作成方法の説明する図 ノイズの有無とかかる画像の２次元ヒストグラムの関係を表す概念図 第一実施例におけるＬＵＴ作成方法を説明する図 グラデーション中にエッジ部を含む画像を表す図 図１４にノイズがのった画像が入力である場合のＬＵＴ作成方法の説明する図 画素値割り当ての概念図 複数通りの組合せによる画素値割り当ての概念図 第三実施例におけるＬＵＴ作成方法を説明する図 第五実施例におけるヒストグラム回復の説明する図 ヒストグラム生成のブロック図 第四実施例におけるノイズ低減処理にかかるブロック図 ヒストグラム回復部のブロック図 統計ノイズを説明する図 ノイズ特性テーブルの作成方法のフローを示す図

［第一実施例］
図１は、本実施例における画像処理装置を示す図である。

撮像部１０１は、ズーム／フォーカス／ぶれ補正／レンズ、絞り、シャッター、光学ＬＰＦ、ＩＲカットフィルタ、カラーフィルタ、及びＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体から入射される光量を検知する。

Ａ／Ｄ変換部１０２は、センサが検知した被写体から入射される光量をデジタル値に変換する。

信号処理部１０３は、デジタル値に対して、ノイズ低減処理、ホワイトバランス処理、エッジ強調処理、色変換処理、ガンマ処理を行い、デジタル画像データを生成する。

Ｄ／Ａ変換部１０４は、デジタル画像データに対しアナログ変換を行い、表示部１１３に出力する。

エンコーダ部１０５は、デジタル画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットの画像データに変換する処理を行う。

メディアインターフェース１０６は、ＰＣその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。 ＣＰＵ１０７は、画像処理装置内の各構成の処理に関わり、 ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込み、本実施例の各種処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。

撮像系制御部１１０は、フォーカスの合焦、シャッターの開閉、絞り調節などの、ＣＰＵ１０７から指示された撮像部１０１の制御を行う。

操作部１１１は、タッチパネルやボタン、モードダイヤルなどにより構成され、これらを介して入力されたユーザ指示を受け取る。

キャラクタージェネレーション１１２は、表示などのための文字やグラフィックなどを生成する。

表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１０やＤ／Ａ変換部１１１から受け取った画像データで示される画像や文字、グラフィックの表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。

なお、本実施例における装置の構成要素は上記の画像処理装置以外にも考えられる。例えば、デジタルカメラ等の撮像装置で撮影されたデジタル画像データを、ネットワークやメディアを介してコンピュータが取得し、コンピュータにあるアプリケーションが本実施例の一連の処理を実施しても良い。

本実施例のノイズ低減処理は、信号処理部１０３において実行されることが好適である。信号処理部１０３の詳細図を図２に示す。図２に示す信号処理部１０３は入力されたデジタル画像データに対して画質向上のため様々な処理が行う。まず、ノイズ低減処理部２０１は、以下に詳述するノイズ低減処理を実行する。ノイズ低減処理された画像データは、ホワイトバランス制御部２０２により画像のホワイトバランスが調整される。その後、エッジ強調部２０３により画像データにより示される画像の鮮鋭性を向上させるためのエッジ強調処理がなされる。そして、色変換部２０４による色再現性を向上させるための色変換処理や、ガンマ処理部２０５による画像データに対するガンマ処理がなされる。これら一連の信号処理部１０１によって処理された結果はＤ／Ａ変換部１０４やエンコーダ部１０５に送られる。なお、ノイズ低減処理部２０１によるノイズ低減処理は、ホワイトバランス制御部２０２の前段で行なう必要はない。すなわち、例えば、色変換部２０４による色変換処理やガンマ処理部２０５によるガンマ処理の後段で、ノイズ低減処理を行なってもよい。

（一次元ヒストグラムを用いた場合のノイズ低減方法）
多次元ヒストグラムを用いたノイズ低減方法の原理の説明のため、まず一次元ヒストグラムを用いたノイズ低減方法について以下に述べる。

図３（ａ）に一次元ヒストグラムを用いたノイズ低減処理に必要なブロック構成図を示す。図３（ａ）の各ブロックの動作を説明する。まず、入力部３０１は、入力画像データをＡ／Ｄ変換部１０２から取得する。また、入力部３０１は、入力画像データが示す入力画像の総画素数およびノイズ特性データをＲＯＭ１０８あるいはＲＡＭ１０９から取得する。なお、入力画像の総画素数は、入力された入力画像データを解析することにより取得しても良い。

図４（ａ）は、ＲＯＭ１０８あるいはＲＡＭ１０９に保持されているノイズ特性データ（又はノイズ特性テーブル）の一例である。

図４（ａ）のノイズ特性テーブルは、ある画素値（理想値）が画像処理装置に入力された際に、その画素値がノイズの影響によりどのようなデジタル値（実際値）に変換されるかという確率ヒストグラムを示すテーブルである。

図４（ａ）の例では、入力された画素値５８に対して、画像中の画素の１０％（０．１０）は画素値が５８となる。一方で、５％の画素は画素値が５６となり、９％の画素は画素値が５７となり、９％の画素は画素値５９となる。

図４（ａ）に示すノイズ特性テーブルの作成方法を説明する。図２４はノイズ特性テーブルの作成フローを示している。ステップＳ４０１にて、略一様な輝度を有する被写体を、露光量を変えて撮影し、各露光量に対応した複数枚の画像（参照画像）を取得する。ステップＳ４０２にて、各参照画像の平均画素値を取得する。この平均画素値を前述の中央画素値とみなす。なお、平均画素値（中央画素値）は、各参照画像の画素値の最頻値であっても良い。ステップＳ４０３にて、参照画像ごとに参照画像中の画素値の出現頻度と平均画素値との関係を示すヒストグラムを生成する。そして、ステップＳ４０４にて、参照画像の総画素数で、各ノイズヒストグラムを除算することにより正規化ノイズヒストグラムを生成する。中央画素値がＭである参照画像に対応する正規化ノイズヒストグラムをＨ_Ｍとする。ステップＳ４０５にて、正規化ノイズヒストグラムＨ_Ｍを列ベクトルとして表し、列ベクトルＨ_０から列ベクトルＨ_Ｍｍａｘ（Ｍｍａｘは画像処理装置がとりうる画素値の最大値）までを横に並べて図４のノイズ特性テーブルを得る。ノイズ特性テーブル中の各要素（画像中の各画素値の画素数を総画素数Ｎで除算したもの）を正規化画素頻度と呼ぶ。なお、略一様な輝度を有する被写体を撮影することにより、撮像光学系の解像度特性の影響を低減した状態でノイズ特性が得られる。また周辺光量落ちのあるレンズでは、画像中の小領域でノイズ特性を計算するなどが考えられる。

なおノイズ特性テーブル中の各要素は、正規化画素頻度ではなく、画素中の各画素値の画素数であってもよい。

また、代表的な中央画素値Ｍに対する正規化ノイズヒストグラムＨ_Ｍを取得し、取得された正規化ノイズヒストグラムＨ_Ｍに対して補間処理を行なうことによって残りの中央画素値Ｍに対する正規化ノイズヒストグラムＨ_Ｍを計算しても良い。

更に、ノイズ特性データは、図４（ａ）のようなテーブル形式としたが、画像処理装置における入力された理想値に対する実際値の確率ヒストグラムが生成できるものであればこの限りではない。例えば、ノイズ特性データを関数で作成し、入力された理想値に対して逐次実際値の確率ヒストグラムを生成するとしても良い。

また、複数の反射率の異なる領域を有するチャートを撮影した画像からノイズ特性データを生成しても良い。この場合は、領域毎に中央画素値Ｍに対する正規化ノイズヒストグラムＨ_Ｍを取得することにより、少ない撮影回数でノイズ特性データを生成することができる。

なお、ノイズ特性データは、テーブル形式で記述されるとしたが、他の形式で記述しても良い。例えば、中央画素値（理想値）ごとに標準偏差を保持しておくことにより、画素値（実際値）を計算に求めるとしても良い。

図５は、画像処理装置におけるある画素値の正規化ノイズヒストグラムの分布を示している。

輝度が略一様な被写体を撮影した場合、ノイズが少なければ図５（ａ）のような分散の少ない画像値の正規化ノイズヒストグラムの分布が得られる。一方で、ノイズが画像に混入した場合、図５（ｂ）のような分散の多い画素値の正規化ノイズヒストグラムの分布が得られる。この広がりがノイズの特性を表している。実際に得られる画像は図５（ｂ）のようになることが多い。

そこで、画像処理装置に入力された中央画素値６０１に対応する画素にノイズが混入することにより、中央画素値６０１の周囲に画素値（実際値）が広がって分布されると仮定する。前述のとおり、輝度によってノイズ特性が異なるため、様々な輝度で撮影を行い、複数の中央画素値６０１に対する正規化ノイズヒストグラムを並べて図４（ａ）のノイズ特性テーブルを作成する。

また、図４（ａ）のノイズ特性テーブルの他の作成方法として、まずノイズの少ないカメラ（参照カメラ）を用いて撮影した画像をノイズがない画像と近似的に見なす。この場合、上述のような輝度が略一様な被写体を撮影する必要はない。例えば、屋内の被写体が固定されているものであれば良い。そして前記参照カメラで撮影した被写体を、ノイズ低減処理を行いたいカメラ（対象カメラ）で撮影する。参照カメラで取得した画像データの平均値を中央画素値に設定し、図２４のＳ４０２の平均画素値（中央値）とみなす。そして、対象カメラにより取得した画像データを図２４のＳ４０１の一つの参照画像とみなす。この処理を参照カメラと対象カメラの露光量を変更しながら複数回行い、複数の中央画素値および参照画像を取得する。あとの処理は、前述のノイズ特性テーブルの作成処理と同一である。

また、同一のカメラにより図４（ａ）のノイズ特性テーブルを作成しても良い。撮影感度を調整し、ノイズが少ない画像を取得した後、同一の被写体についてノイズ低減処理が必要な撮影感度で画像を取得する。これら二つの差分画像を参照画像とみなし、同様にノイズ特性テーブルを作成しても良い。

ノイズ特性は、露光量のみならず、温度に依存する。よって、ノイズ低減処理の精度を高めるために、図４（ａ）に示すノイズ特性テーブルを温度に応じて作成していても良い。

次に、一次元ヒストグラム生成部３０４は、入力画像データの画素値に対する頻度を総画素数Ｎで除算して一次元ヒストグラムを生成する。なお除算は、ビットシフトなどの演算コストの低い除算に相当する処理でもよい。生成された一次元ヒストグラムは、入力画像データ中の画素値がＸである画素の画素数を第Ｘ要素とするベクトルにより表す。

一次元ヒストグラム生成部３０４の詳細を図２０（ａ）に示す。頻度計算部はＡ／Ｄ変換部からの入力画像データを得て、入力画像データに含まれる各画素値の頻度をカウントし、カウントされた頻度を入力画像データの総画素数で除算して一次元ヒストグラムを出力する。なお、出力される一次元ヒストグラムは、総画素数で除算することなく各画素値の画素数の頻度からなるヒストグラムであってもよい。

次に、回復行列生成部３０６により、入力画像データの総画素数Ｎ、ノイズ特性テーブル、及び一次元ヒストグラムから回復行列を生成し、回復行列保持バッファ３０７に保持する。回復行列の生成の詳細は後述する。回復行列を一次元ヒストグラムに適用することにより、ノイズ混入により分散したヒストグラムを、ノイズ混入前の頻度が鮮鋭化した状態に近づける。「鮮鋭化した状態」とは、ヒストグラムをフーリエ変換（周波数変換）した際に、高周波成分が大きくなった状態を言う。以降では、この作用を回復（又はヒストグラム回復）と呼ぶ。

次にヒストグラム回復部３０８において、一次元ヒストグラムに回復行列を適用する事により、回復ヒストグラムを算出する。図６（ａ）にヒストグラム回復の概念図を示す。ヒストグラム回復により、入力画像データの一次元ヒストグラム８０７が、より鮮鋭化し、回復ヒストグラムへと変換される。鮮鋭化された回復ヒストグラムの高周波成分は、入力画像データの一次元ヒストグラムの高周波成分よりも大きい。図６（ｂ）は、入力画像データの一次元ヒストグラムの周波数成分、および先鋭化された回復ヒストグラムの周波数成分を示している。図中、高周波成分に注目すれば明らかなように、一次元ヒストグラムの高周波成分は、回復ヒストグラムの高周波成分よりも大きい。

次に、ＬＵＴ作成部３１０によりノイズ特性データ、及び回復ヒストグラムからＬＵＴ（ルックアップテーブル）を作成し、ＬＵＴ保持バッファ３１１にＬＵＴを保存する。ＬＵＴは入力画像データの画素値を、ノイズ混入前の画素値の推定値に変換するためのテーブルである。

ＬＵＴ作成部３１０の説明のため、例として、画素値が９０の入力画像データに対する、ノイズが混入する前の画素値を導出する方法を以下に説明する。

ノイズの混入前のなんらかの画素値がノイズの混入により、入力画像データの画素値が９０になるとみなす。そこで、どのような画素値にノイズが混入することで入力画像データの画素値が９０となったかを考える。まず図４（ａ）のノイズ特性テーブルにおいて、ノイズ混入後に画素値が９０となる行（実際値が９０になる行）を抜き出したものを図８（ａ）に示す。図８（ａ）によれば、画素値が９０になる確率が最も高い元の画素値は９０である。また、元の画素値が８９や９１など画素値が９０に近い画素値は、ノイズが混入すると画素値９０となる確率を有する。しかし、元の画素値が０である画素が、ノイズが混入することにより画素値が９０になる確率は０となっている。このように図４（ａ）のノイズ特性テーブルを横方向に読むことによって、ノイズ混入により画素値９０となり得る画素値の確率が特定され得るのである。

図４（ａ）のノイズ特性テーブルは縦方向には１で正規化されているが、横方向には正規化されていない。そこで、図４（ａ）のテーブルを横方向に正規化することで、入力画像データの画素値Ｘ’として９０を得た場合に、元の画素値の確率を表すテーブルとして利用できる。

図８（ｂ）は、図８（ａ）のノイズ特性テーブルの画素値が９０の行を正規化したものを示している。図８（ｂ）において、画素値が９０の行の正規化画素値頻度を合計すると１となる。

この図８（ｂ）のような横方向の正規化画素頻度の分布をノイズ変動特性分布と呼ぶ。

また同様に、回復ヒストグラムも合計値が１になるように正規化することで正規化回復ヒストグラム８０６を取得する。

図７（ａ）は、正規化回復ヒストグラム８０６及びノイズ変動特性分布８０１を同時に図示している。ノイズ混入前の元の画素値Ｘは、正規化回復ヒストグラムとノイズ変動特性分布の重複する領域に存在する可能性が非常に高い。そこで、正規化回復ヒストグラム８０６とノイズ変動特性分布８０１を画素値ごとに乗算した結果をノイズ混入前画素値の確率分布８０２と見なす。そして、ノイズ混入前画素値の確率分布８０２の重心に相当する画素値をもって、ノイズ混入前の画素値の推定値Ｘとする。なお、ノイズ混入前の画素値の推定値Ｘは、ノイズ混入前画素値の確率分布８０２の中央値や最頻値等の他の統計値であっても良い。

ＬＵＴ作成部３１０では上記のような計算を、画素値が９０以外の他の画素値に対しても行い、入力画像データの画素値Ｘ’から、ノイズ混入前の画素値の推定値Ｘを対応づけるＬＵＴを作成する。

図７（ｂ）は、入力画像データの画素値Ｘ’とノイズ混入前の画素値の推定値Ｘ（理想値Ｘ）との対応関係を示すＬＵＴの一例である。作成されたＬＵＴはＬＵＴ保持バッファ３１１に保持される。なお、代表的な画素値のみに対してノイズ混入前の画素値を推定し、代表的な画素値以外の画素値については、補間処理により推定値を取得することによりＬＵＴを作成しても良い。

次に、画素値変換部３１２では入力画像データにＬＵＴ保持バッファ３１１にあるＬＵＴを適用して処理画像（補正画像）を得る。この処理により、入力画像データの画素にノイズ混入前の画素値の推定値を割り当てた結果、処理画像データはノイズ混入前画像の推定画像データとなる。処理画像は入力画像データが示す画像に比べノイズが低減されている。

最後に、画素値変換部３１２では信号処理部１０３における他処理に処理画像データを出力する。なお、画素値変換部３１２は、ＬＵＴを参照することなく、ノイズ混入前の画素値の推定値を入力画像データの画素毎に算出し、その推定値を出力してもよい。

以上の動作により、ノイズの低減された画像を得る事が出来る。画素値ごとにＬＵＴを適用することでノイズを低減しているため、入力画像の空間周波数に応じて処理内容が変化することはない。従って入力画像の空間周波数に関わらずノイズを低減できる。

以下、回復行列の計算及び適用方法について説明する。

図４（ａ）に示されたノイズ特性を表すノイズ特性テーブル中の正規化画素頻度を要素として持つ行列をＤと表記する。行列Ｄの要素Ｄ_ｉｊはｊ番目のノイズ混入前の画素値（図４（ａ）の中央画素値）がノイズ混入によってｉ番目の画素値（図４（ａ）の画素値）になる確率を表している。入力画像データの一次元ヒストグラムをベクトル表記でｐ’（ｘ）とする。ｘは画素値である。ノイズ混入前の画像のヒストグラムを同じくベクトル表記でｐ（ｘ）とする。行列Ｄ及びベクトルｐ’（ｘ）とｐ（ｘ）との間には次式の関係が成り立つ。

式（１）は、ノイズ特性を示す行列Ｄとノイズ混入前の画像のヒストグラムｐ（ｘ）との積により、ノイズ混入後の画像のヒストグラムｐ’（ｘ）（入力画像の一次元ヒストグラム）が表されることを示している。ノイズ混入前の画像のヒストグラムｐ（ｘ）を導出するには、式（２）のように行列Ｄの逆行列Ｄ^−１を式（１）の両辺に乗ずれば良い。

なお、行列Ｄの特性によっては正確にベクトルｐを計算することができない場合がある。例えば、行列Ｄが非正方行列や非正則行列の場合である。この際、Ｄの疑似逆行列Ｑを計算し、Ｑｐ’（ｘ）をもってノイズ混入前の画像のヒストグラムのベクトルｐ（ｘ）の近似されたヒストグラム

とする。式（３）は、擬似逆行列Ｑによってノイズ混入前の画像のヒストグラムを取得する際の式である。

この疑似逆行列Ｑを改良し、後述する統計ノイズに対してもロバストな回復行列Ｒを計算してＲｐ’によりノイズ混入前のヒストグラムｐの近似とすることも可能である。

図２３を用いて統計ノイズを説明する。図２３の実線は計算機で確率分布が正規分布に従う乱数を発生させ、そのヒストグラムをプロットしたものである。発生させる乱数が有限であるかぎり、ヒストグラムは正規分布にはならない。発生させる乱数の数を増加させていくと、ヒストグラムは正規分布に近づいていく。このように、サンプルが有限であるが故に発生する、理想ヒストグラムと実際のヒストグラムとの誤差を統計ノイズと称する。この統計ノイズの存在を考慮して疑似逆行列を改良したものが回復行列Ｒである。疑似逆行列Ｑはノイズによるヒストグラムの分散を低減するため、ヒストグラムを鮮鋭にする作用がある。しかし、実際のヒストグラムには統計ノイズが存在するため、単純に疑似逆行列Ｑを入力画像データのヒストグラムｐ’に適用すると、統計ノイズまでも鮮鋭化してしまい、ノイズ混入前のヒストグラムの推定誤差が大きくなる。そこで、統計ノイズが大きい場合には疑似逆行列Ｑによる鮮鋭化の程度を抑えることが望ましい。統計ノイズの大小はヒストグラム作成に用いたサンプルの個数、すなわち総画素数に依存するため、総画素数に応じて疑似逆行列Ｑによる鮮鋭化の程度を調整した回復行列Ｒを用いることが望ましい。回復行列Ｒの計算方法の一例を次式に示す。

上式の回復行列Ｒは単位行列Ｉと疑似逆行列Ｑの加重平均であることを意味している。係数ａ，ｂはヒストグラムｐ’（ｘ）、及び入力画像データの総画素数Ｎに応じて変化する係数である。総画素数Ｎが多い場合はａが大きくｂが小さくなることによってＲを疑似逆行列に近づけ、回復処理を行う。一方で、総画素数Ｎが少ない場合は、ａを小さくｂを大きくすることにより統計ノイズによる推定誤差を抑える。

係数ａ，ｂが総画素数Ｎ以外にもヒストグラムｐ’（ｘ）に依存する理由を説明する。例えば、ヒストグラムにおいて画素値が多く分布する範囲と、画素値が少なく分布する範囲がある場合、前者の範囲は後者の範囲よりもサンプル数が多いため、より統計ノイズの少ないヒストグラムの範囲である。そのため、画素値の多い範囲ではａの値を上げ、ｂの値を下げて、回復行列Ｒを疑似逆行列Ｑに近づけても統計ノイズによる誤差は少ないと考えられる。一方で、サンプル数が少ない範囲では統計ノイズによる推定誤差が大きくなると考えられるため、係数ｂの値を大きく、係数ａの値を小さく設定することにより統計ノイズによる影響を相対的に小さくすることが望ましい。

式（４）により導出される回復行列Ｒを用いた回復処理を以下の（５）式に示す。

（一次元ヒストグラムを用いた場合のノイズ低減方法の制限）
上記の一次元ヒストグラムを用いたノイズ低減方法では、実際のノイズ低減には不充分である場合があることを示す。図９（ａ），（ｂ）はグラデーション画像と、グラデーション画像にノイズがのった画像をそれぞれ示す。図９（ａ），（ｂ）の一次元ヒストグラムは図１０（ａ），（ｂ）のように平坦なものとなる。これらの一次元ヒストグラムの回復ヒストグラムはやはり平坦であり、回復前後でヒストグラムに差が生じにくい。

図１１は、入力画像データが図１０（ａ），（ｂ）のようなグラデーション画像の場合の回復処理を示している。図１１から明らかなように、（正規化）回復ヒストグラムとノイズ変動特性分布の積はノイズ変動特性分布と同一形状となることが分かる。すると、ノイズ混入前の画素値の確率分布の重心により示される画素値は入力画像データの画素値と同一となる。そのため、実質的にノイズ低減処理を行う事ができない。この問題はノイズ混入という現象が一次元ヒストグラムの変化に現れていないことに起因する。

（多次元ヒストグラムを用いた場合のノイズ低減方法）
そこで本実施例では、多次元ヒストグラムを用いたノイズ低減処理を示す。

図３（ｂ）は、多次元ヒストグラムを用いたノイズ低減処理に必要なブロック構成図を示している。なお、図３（ｂ）の処理の一部は、図３（ａ）に記載の一次元ヒストグラムを用いたノイズ低減処理と同様の処理を行なうため重複する部分の詳細は省略する。

まず、入力部３５１は、入力画像データ、総画素数、及びノイズ特性データを取得する。

そして、多次元ヒストグラム生成部３５４は、入力画像データ、及び総画素数により多次元ヒストグラムを生成する。多次元ヒストグラム生成部の詳細を図２０（ｂ）に示す。周辺画素選択部２０１１は入力画像データの画素値をＡ／Ｄ変換部から逐次取得し、注目画素の画素値と、所定の位置関係にある画素の画素値の組を頻度計算部２０１２に出力する。頻度計算部２０１２では組合せの頻度をカウントし、入力部３５１により入力される画素値で除算することにより多次元ヒストグラムを生成する。本実施例において、多次元ヒストグラムとは、複数画素を一組とする頻度分布を言う。即ち、多次元ヒストグラムとは、入力画像データが示す入力画像中の各注目画素の画素値と所定の位置関係にある画素の画素値との組合せの出現頻度に基づいて生成される。本実施例では、一次元ヒストグラムを用いたノイズ低減処理における画素値、および、或いは多次元ヒストグラムを用いたノイズ低減処理における画素値と画素値の組合せを特性値と呼ぶ。

本実施例では、多次元ヒストグラムは二次元ヒストグラムであり、位置関係が「注目画素と右隣の画素」とする。入力画像データの二次元ヒストグラムは、入力画像データを走査することにより、注目画素の画素値がＸであり、かかる注目画素の右隣の画素の画素値がＹである組を画像全体に渡ってカウントする。そして、一次元ヒストグラムの場合と同様に、かかる頻度を画像全体の総画素数で除算することで二次元ヒストグラムを取得する。図１２（ａ）は、図９（ａ）のグラデーション画像に対する二次元ヒストグラム、図１２（ｂ）は、図９（ｂ）のノイズを含むグラデーション画像に対する二次元ヒストグラムを示している。Ｘは注目画素の画素値、Ｙは注目画素と所定の位置関係ある画素の画素値を示している。

図１２（ａ）（ｂ）では、実線で囲った範囲内に０でない頻度（出願確率）が分布しているものとする。

図１２（ａ）は、対角方向に０でない頻度が分布している。これはグラデーション画像では隣接する画素の画素値が近いため、Ｘ＝Ｙとなる直線の付近に分布が発生するためである。一方で、Ｘ＝Ｙとなる直線から外れた領域での分布は発生しない。

図１２（ｂ）は、同様に対角方向に０でない頻度が分布している。加えて、ノイズの影響によりＸ＝Ｙとなる直線から離れた領域においても分布が存在する。このような広がった分布は、図９（ｂ）からも明らかなようにノイズを含む画素とノイズを含まない画素との組合せにより生じる分布である。

以上のとおり、二次元ヒストグラムではノイズ混入によるヒストグラムの形状の変化が顕著に見られる。これは、図１０（ａ）（ｂ）に示した、ノイズ混入による一次元ヒストグラムの形状の変化とは大きく異なる点である。

以下、回復テンソル生成部３５６に入力されるノイズ特性テーブルについて説明する。図４（ｂ）は、中央画素値が（３０，４５）の組合せのノイズ特性テーブルを示している。図４（ｂ）は、中央画素値（３０，４５）が入力された場合、画素値が（３０，４５）の組合せとなる確率は０．０４０であることを示している。二次元ヒストグラムを用いてノイズ低減処理を行なう場合は、図４（ｂ）のようなテーブルを全ての画素値の組合せに対して用意することとなる。前述の通り、全ての画素値の組合せについて撮影して取得することが困難な場合は、補間演算などをつかってノイズ特性テーブルを生成しても良い。

回復テンソル生成部３０６にて行われる処理を説明する。まず、二次元ヒストグラムを用いる場合に上述の（１）式に対応する、ヒストグラムとノイズの関係を表すモデル式は次式となる。

（６）式において、ｐ’（ｘ，ｙ）は多次元ヒストグラム生成部３５４で生成される入力画像データの二次元ヒストグラムである。ｘ、ｉは注目画素の画素値、ｙ、ｊは注目画素の右に隣接する画素（第一の位置関係にある画素）の画素値、を示している。ｐ（ｉ，ｊ）はノイズ混入前画像の二次元ヒストグラムである。また、Ｄ_ｘｉはノイズ混入によってｉ番目の画素値がｘ番目の画素値となる確率である。Ｄ_ｙｊも同様である。（６）式はノイズ混入によって多次元ヒストグラムがＸ方向，Ｙ方向に広がることを意味している。第一実施例と同様に行列Ｄの擬似逆行列Ｑを用いて（６）式を以下のように変形することができる。

Ｑ_ｘｉ、Ｑ_ｙｊそれぞれは、Ｄ_ｘｉ、Ｄ_ｙｊの擬似逆行列である。

はノイズ混入前の二次元ヒストグラムｐ（ｘ， ｙ）の推定値である。この場合においても統計ノイズを考慮して、（４）式に対応する（８）式を用いて回復テンソルＲ_ｘｉＲ_ｙｊ（変換データ）が求められる。

ここで、δ_ｘｉ、δ_ｙｊ、δ_ｚｋは単位行列を示す。一次元ヒストグラムを用いたノイズ低減処理の変換データＲは行列形式であるが、二次元以上のヒストグラムを用いたノイズ低減処理の変換データは、テンソル形式となる。一次元ヒストグラムの場合と同様に、係数ａ， ｂはヒストグラムｐ’および入力画像データの総画素数Ｎに応じて変化する係数である。二次元ヒストグラムにおいて画素値が多く分布する範囲と画素値が少なく分布する範囲が存在する場合、以下のような処理をする。即ち、画素値の多い範囲では係数ａの値を上げ、ｂの値を下げて、回復テンソルＲを擬似逆行列Ｑに近づける。一方で、総画素数（サンプル数）が少ない範囲では、統計ノイズによる推定誤差が大きくなると考えられるため、係数ｂの値を大きく、係数ａの値を小さく設定する。以上により、統計ノイズの影響を相対的に小さくすることができる。

以上のように求められた回復テンソルは、回復テンソル保持部３５７に保持される。

そして、ヒストグラム回復部３５８により、回復テンソル保持バッファ３５７に保持されている回復テンソルＲ_ｘｉＲ_ｙｊを用いて、回復ヒストグラム（回復多次元ヒストグラム）

を以下の（９）式により求める。

多次元ＬＵＴ作成部３６０で作成される多次元ＬＵＴは２つの画素値（Ｘ’、Ｙ’）対２つの画素値（Ｘ、Ｙ）の変換テーブルである。一次元ヒストグラムによるノイズ低減処理の場合と同様に、ノイズ変動特性分布と回復ヒストグラムとの積を画素値の組合せごとに計算し、ノイズ混入前の画素値の確率分布を求める。そして、ノイズ混入前イの画素値の確率分布の重心をノイズ混入前の画素値の推定値（Ｘ，Ｙ）とする。 図１３は二次元ヒストグラムを用いたノイズ低減処理を示す図であり、横軸Ｘが注目画素の画素値を、縦軸Ｙが注目画素の右隣の画素の画素値を表す。また、図示していないが、注目画素の画素値Ｘと注目画素の右隣の画素の画素値Ｙとの組合せの頻度（又は出現確率）を示す軸が紙面と垂直な方向に存在する。なお、実線（１４０３、１４０４）ないし波線（１４０２）で囲った範囲内に０でない頻度が分布しているとする。ヒストグラム回復部３５８によるヒストグラム回復によって、入力画像データの二次元ヒストグラム１４０２に対して回復ヒストグラム１４０３が計算される。回復ヒストグラム１４０３は入力画像の多次元ヒストグラム１４０２よりも頻度が鮮鋭化している。入力画素値１４０１を得た場合、まずノイズ変動特性分布１４０４が行列Ｄにより計算される。具体的には入力画素値１４０１が（Ｘ’，Ｙ’）であった場合、ノイズが加わる前の状態が（Ｘ，Ｙ）である確率はＤ_ＸＸ’Ｄ_ＹＹ’で表される。この確率分布がノイズ変動特性分布１４０４である。次にノイズ変動特性分布１４０４と回復ヒストグラム１４０３の積を計算し、ノイズ混入前画素値の確率分布１４０５を得る。そして、ノイズ混入前の画素値の確率分布１４０５の重心１４０６を計算し出力画素値とする。以上の計算を入力画像データ中の各（Ｘ’，Ｙ’）に対して行い、入力画素値に対応する出力画素値（Ｘ，Ｙ）を計算して、二次元ＬＵＴを作成する。作成された二次元ＬＵＴは、多次元ＬＵＴ保持バッファ３６１に保持される。

図７（ｃ）は、二次元ＬＵＴの一例を示している。 二次元ＬＵＴ中、左列は入力画像データの画素値の組（Ｘ’，Ｙ’）を表し、右列に推定された画素値の組（出力画素値（Ｘ，Ｙ））を表している。

画素値変換部３６２は、入力画像データに多次元ＬＵＴ保持バッファ３６１にある二次元ＬＵＴを適用して処理画像（補正画像）を得る。具体的には、入力画像データを走査し、順次、注目画素と右隣にある画素の画素値の組（Ｘ’，Ｙ’）を取得する。そして、二次元ＬＵＴを参照することにより対応する出力画素値（Ｘ，Ｙ）を取得し、取得された出力画素値Ｘを注目画素の画素値とする。

ここで、入力画像データが高周波成分を含んでいたとしても、上記の処理によってノイズ低減が良好に行えることを説明する。高周波成分を有する画像として図１４のようなグラデーション画像の中に画素値Ｅ，画素値Ｆの画素から構成されるエッジを有する画像にノイズがのった入力画像データを考える。平滑化フィルタでは図１４に示すエッジ部の周辺で、エッジをぼけを抑えつつノイズを低減することが困難であった。

図１５に入力画像データの図１４のグラデーション画像の二次元ヒストグラムを示す。横軸は注目画素の画素値Ｘ’、縦軸はその右隣の画素値Ｙ’である。図１５において破線で囲った領域は、入力画像データの二次元ヒストグラムにおいて頻度（又は頻度確率）が０でない領域を表す。図１５に示すようにグラデーションとエッジが混ざった画像にノイズがのった画像のヒストグラムは２つの領域に集中して分布する。すなわち、グラデーション領域、平坦領域に属する画素値の組合せは領域１６０１に対応し、エッジ部の画素値の組合せは領域１６０２に対応する。エッジ部近傍にノイズがのった画素値の組合せ１６０５を得たとする。回復ヒストグラム処理により、二次元ヒストグラム１６０１に対応する回復ヒストグラム１６０３が生成される。同様に、回復ヒストグラムにより、二次元ヒストグラム１６０２に対応する回復ヒストグラム１６０４が生成される。回復ヒストグラム１６０４、１６０５の実線で囲まれた領域に、０でない頻度（又は頻度確率）が分布する。画素値の組合せ１６０５に対応するノイズ変動特性分布１６０６と回復ヒストグラムとの積を計算しノイズ混入前の画素値の確率分布を取得する。そして、ノイズ混入前の画素値の確率分布の重心を計算することで出力画素値１６０８を得る。さて、入力画素値１６０５はノイズがのったエッジ部近傍の画素の組合せである。この組合せが本実施例のノイズ低減により出力画素値１６０８へと変換される。多次元ヒストグラムにおいてコントラストが高い画素値の組合せは図１５では左上ないし右下に配置される。すると、本実施例のノイズ低減処理によってエッジ部近傍の入力画素値の組合せ１６０５は左上に移動したのであるから、コントラストは下がるどころか、むしろ向上している。また本実施例のノイズ低減により、入力画素値１６０５がノイズがのる前の状態の画素値１６０７に近づいているため、ノイズも低減されている事が分かる。以上により、本実施例では入力画像データが高周波成分を含んでいても、良好にノイズ低減が行えることが分かる。

その一方で、低〜中周波成分が主要なグラデーション部分に属する画素値の組合せ１６０９は、回復ヒストグラムと画素値の組合せ１６０９のノイズ変動特性分布１６１０の積の重心である１６１１に変換される。グラデーション部分の注目画素と右隣の画素値の差をＣとして、図１５の横軸をＸ、縦軸をＹとおくと、多次元ヒストグラムの一部領域である１６０１は線分Ｙ＝Ｘ＋Ｃで表される中心軸１６１２付近に０でない値が分布する。ヒストグラム回復により、領域１６０１は中心軸１６１２により近い領域１６０３に変換される。そのため、移動後の画素値の組合せである１６１１は１６０９より中心軸１６１２に近い座標であり、ノイズ混入前の状態であるＹ＝Ｘ＋Ｃ線分上に近づいている。つまり１６１１は入力画素値の組合せ１６０９よりノイズの低減された状態であるから、グラデーション部に対しても良好にノイズが低減されたことになる。

以上により、入力画像の高周波成分であるエッジ部においても、低〜中周波成分であるグラデーション部においても本実施例によりノイズが低減されることが示された。言い換えれば、本件発明では入力画像の空間周波数に関わらず、良好にノイズを低減できることが分かる。

本実施例では、多次元ヒストグラムの例として二次元ヒストグラムを用いてノイズ低減処理を説明した。本実施例においては、画像の右端に位置する注目画素を補正する際、注目画素の右隣の画素値を得る事ができない。その場合には、端に位置する注目画素の右隣に注目画素と同じ画素値を有する画素があるとしてヒストグラムを作成したり、端に位置する注目画素に対して補正処理をしないことが考えられる。入力画像がベイヤ配列を採用したセンサで撮影された画像である場合は、注目画素の右隣が注目画素と同じ色に対応する画素であるとは限らない。そこで入力画像中の画素が、複数の色のいずれかに対応している場合、色毎に本実施例を適用しても良い。また、入力画像を間引いて縮小した画像のノイズ低減に本実施例を適用する場合には、間引かれない画素を対象として本実施例を適用する事が望ましい。また、入力画像の奇数列と偶数列を別々の画像処理装置で処理する場合には、それぞれの演算装置で奇数列のみ、あるいは偶数列のみからなる画像に本実施例を適用しても良い。

あるいは画像を領域分割し、領域ごとに本実施例のノイズ低減処理を適用してもよい。かかる領域とは色、入力画素の位置、入力画素値などで区分された画素の集合のことである。色により画素を区分する場合、例えば、Ｒ値／Ｂ値／Ｇ値で区分したり、あるいは輝度値／色差値で区分してもよい。入力画素の位置により画素を区分する場合、所定のサイズのブロック（メッシュ）で区分したり、画像判定技術（例えば、顔認識）により区分してもよい。領域毎のノイズ低減処理の結果は合成され、最終的な補正画像が取得される。また、ノイズ低減処理を行なった領域と、ノイズ低減処理を行なわなかった領域を合成して最終的な補正画像を取得してもよい。

二次元ヒストグラムを生成する際に注目画素の画素値と右隣の画素の画素値を用いた。しかし、この位置関係は右隣の画素である必要はなく、例えば、左隣の画素、或いは注目画素と一画素を挟んで右の画素などとしてもよい。また、三次元以上のヒストグラムに基づいてノイズ低減処理を行なっても良い。例えば、入力画像データの注目画素の画素値と右隣にある画素の画素値と下隣にある画素の画素値との組合せにより多次元ヒストグラムを生成しても良い。

入力画像と、ノイズ低減処理後の出力画像との関係からみた本実施例の特徴は、入力画像のある画素値とその隣の画素値の組によって出力画素の値が決定する事である。さらにかかる決定の方法は、入力画素値の組を、入力画像の二次元ヒストグラムにおいて、頻度の高い画素値の組に近づけるようになされることである。これはヒストグラム回復により、入力ヒストグラムの山はより急峻になり、山の付近の画素値の組はより山に近づくように変換されるからである。

＜第二実施例＞
第一実施例のノイズ低減処理では、入力画像を走査しつつ、図７（ｃ）のＬＵＴを用いて入力画像データの画素値の組合せ（Ｘ’、Ｙ’）に対して、ノイズ混入前の画素値の推定値の組合せ（Ｘ，Ｙ）を取得する。そして、画素値変換部３６２は、ＬＵＴを参照することにより注目画像の画素値Ｘ’を推定値Ｘに変換する。

本実施例は、画素値変換部３６２で一つの画素に対して画素を割り当てる際に少なくとも二つの組合せの画素値を使用する。

図１６は、画素値変換部３６２により画素値Ｗを割り当てる際の組合せを模式的に示している。ＡからＩは入力画像データの画素を示している。

注目画素が画素Ａの場合、画素Ａの画素値Ｘ_Ａ’と画素Ｂの画素値Ｙ_Ｂ’と基づいて第一実施例に記載されたノイズ低減処理によりノイズ混入前の画素値の推定値Ｘ_ＡとＹ_Ｂとを得る。同様に注目画素が画素Ｂの場合、画素Ｂの画素値Ｘ_Ｂ’と画素Ｃの画素値Ｙ_Ｃ’と基づいてノイズ混入前の画素値の推定値Ｘ_ＢとＹ_Ｃとを得る。

本実施例の画素値変換部３６２は、画素Ｂに対するノイズ低減処理後の画素値の推定値Ｗ_Ｂを以下の式（１０）により割り当てる。
Ｗ_Ｂ＝（Ｙ_Ｂ＋Ｘ_Ｂ）／２ （１０）
即ち、第一実施例では、画素Ｂに対して推定値Ｘ_Ｂを割り当てられる。一方で、本実施例では、画素Ｂに対して二つの組合せ（１７０１および１７０２）それぞれについて推定された画素Ｂの推定値（Ｙ_ＢおよびＸ_Ｂ）の平均値Ｗ_Ｂが割り当てられる。

画素値変換部３６２は、他の画素に対しても式（１０）と同様に、ノイズ低減処理後の画素値の推定値Ｗを割り当てる。

図１７は、本実施例における三次元ヒストグラムを用いた場合のノイズ低減処理を実行した場合における割り当て処理の概要を示した図である。画素Ｅに対して、ノイズ低減処理後の画素値の推定値Ｗ_Ｅを割り当てる際に、以下の組合せによる画素値の推定値を使用する。
・組合せＢ，Ｃ，Ｅにおける画素Ｅの推定画素値Ｖ_１
・組合せＤ，Ｅ，Ｇにおける画素Ｅの推定画素値Ｖ_２
・組合せＥ，Ｆ，Ｈにおける画素Ｅの推定画素値Ｖ_３
Ｖ１、Ｖ２、Ｖ３を使用してＷ_Ｅは以下の式により求める。
Ｗ_Ｅ＝（Ｖ_１＋Ｖ_２＋Ｖ_３）／３ （１１）
以上のように、本実施例では、より多くの情報を使うためノイズ混入前画像の推定精度が高まることが期待される。

また、入力画像データを大きく変更したくない場合は、ノイズ低減の効果を抑えるために、Ｖ_１、Ｖ_２、Ｖ_３の中で入力画像の画素Ｅの画素値に最も近い、すなわち補正による変化の少ない推定画素値を割り当てても良い。このように割り当て方を様々変える事によってノイズ低減後の画像に所望の特性を持たせることが出来る。

また本実施例では、画像のＤＣが必ずしも保存されない。入力画像の画素値の組合わせを（Ｘ’，Ｙ’）， ノイズ混入前の画素値の推定値の組合せ（Ｘ，Ｙ）とする。すると（Ｘ’＋Ｙ’）／２と（Ｘ＋Ｙ）／２は必ずしも等しくなるとは限らない。そこで、平均値が保存されるようにＬＵＴを補正してもよい。ＤＣが保存されるよう補正されたノイズ混入前の推定値を（Ｘ２，Ｙ２）と定義する。すると（Ｘ２，Ｙ２）は
Ｘ２＝Ｘ−（Ｘ−Ｘ’＋Ｙ−Ｙ’）／２
Ｙ２＝Ｙ−（Ｘ−Ｘ’＋Ｙ−Ｙ’）／２
と計算できる。上式によれば（Ｘ２＋Ｙ２）／２＝（Ｘ＋Ｙ）／２となりＤＣが保存されていることが分かる。

＜第三実施例＞
本実施例は、第一実施例において、入力画像データの示す画像の画像領域分割を行い、分割された画像領域毎にＬＵＴを作成して画素値変換部３６２で画素値変換を行う。本実施例では、分割領域がＤ個ならばＬＵＴもＤ個できる。第一実施例では、多次元ヒストグラムを計算する際、エッジ部も平坦部も区別なくカウントされる。

図１８は、二次元ヒストグラムによるノイズ低減処理を表しており、ノイズ量が大きい場合（ノイズ変動特性分布８０１の分散の多い場合）の図１５の例に相当する。入力画像データのエッジ部の画素値の組として１９０５を得た場合のノイズ変動特性分布１９０６は、ノイズ量が大きいと、回復ヒストグラムの平滑領域１９０３と重なり１９２０を生じる。重なり１９２０の存在によって、点１９０５は、ノイズ混入前の点１９０７に近づく方向とは逆方向に補正が働き、点１９０７への接近を妨げている。これは、入力画像のエッジ部も平滑部も区別なく、多次元ヒストグラムに反映したために生じた問題である。入力画像データが示す画像を予め領域分割すれば、エッジ部のノイズ低減処理においては、回復ヒストグラムの領域１９０３の頻度が０になる、あるいは小さくなる。その場合、点１９０５の補正において、重なり１９２０の寄与が無くなる、あるいは少なくなり、点１９０５は理想的な補正結果である点１９０７に近づく。

以上のように本実施例は、予め統計的特性（多次元ヒストグラムにおける分布特性）が似たもので領域を分割し、領域毎にＬＵＴを作成して適用する。かかる領域分割は、入力画像データが示す画像の中でエッジ領域か否かで分割されることが望ましい。

以上のように、領域毎にノイズ低減処理を実施することにより、より好適なノイズ低減処理を実現することが可能となる。

＜第四実施例＞
ヒストグラム回復はノイズ混入後のヒストグラムからノイズ混入前のヒストグラムを推定することである。第一実施例ではノイズ特性の疑似逆行列を用いてヒストグラム回復を行った。本実施例は第一実施例におけるヒストグラム回復を簡易的に行うものである。ヒストグラム回復を行うと、ヒストグラムが鮮鋭化される。そこで、ヒストグラム空間でのフィルタ処理により鮮鋭化を行うことで、疑似逆行列による回復を代用することが考えられる。一次元ヒストグラムの回復では、例えば高周波を強調する［−１ ３ -１］フィルタとヒストグラムに畳み込み演算を行えば、ヒストグラムは鮮鋭化される。二次元ヒストグラムの場合は、Ｘ軸方向に［−１ ３ -１］フィルタを適用し、次いでＹ軸方向に［−１ ３ -１］フィルタを適用すれば二次元ヒストグラムは鮮鋭化される。一般の多次元ヒストグラムも同様に、各軸に順次高周波強調フィルタを適用すれば鮮鋭化がなされる。鮮鋭化フィルタは［−１ ３ -１］フィルタ以外にも様々考えられる。ノイズが大きい場合には、ヒストグラムのボケは大きくなるので、強い高周波強調フィルタを適用するのが好ましい。またノイズは暗部より明部で大きいため、ヒストグラムの暗部は比較的弱い高周波強調フィルタを適用し、明部では比較的強い高周波強調フィルタを適用するなどフィルタを切り替える事が望ましい。また総画素数の大小によりヒストグラムの信頼性が変わるので、総画素数に応じて鮮鋭化の度合いを変える事が望ましい。

以上の動作は図２１に示すブロック図で実現可能である。第一実施例と異なり、図２１には回復テンソル生成部及び保持バッファが存在しない。これはヒストグラムに対するエッジ強調によりヒストグラム回復を行うため、テンソル生成及び保持の必要がないためである。ヒストグラム回復部の詳細を図２２（ａ）に示す。フィルタ生成部ではバスを介して総画素数データ、ノイズ特性データを取得し、この２つのデータに基づいて鮮鋭化フィルタを構成する。フィルタ演算部では多次元ヒストグラムデータと鮮鋭化フィルタの畳み込み演算を行い、鮮鋭化したヒストグラムデータ（回復ヒストグラム）を出力する。

以上のとおり、本実施例では入力された多次元ヒストグラムを鮮鋭化するため、ノイズ特性データや入力画像データの総画素数に基づいて、高周波を強調するフィルタ処理を行なう。従って、擬似逆行列の演算などが要求される第一実施例と比較して、本実施例の処理負荷は小さいという効果がある。

＜第五実施例＞
本実施例は、ヒストグラム回復部において行われる処理以外は第四実施例と同じである。ヒストグラム回復はノイズ混入後のヒストグラムからノイズ混入前のヒストグラムを推定することである。第一実施例ではノイズ特性の疑似逆行列を用いてヒストグラム回復を行った。本実施例は第二実施例におけるヒストグラム回復を簡易に行うものである。ヒストグラム回復を行うと、ヒストグラムが鮮鋭になる。そこで本実施例ではヒストグラムをある関数で変換する事で、鮮鋭化の効果を期待する。図１９（ａ）のヒストグラム２００１に対して図１９（ｂ）のような二次関数のようなガンマ処理を適用すると、２００２のような鮮鋭化したヒストグラムが得られる。図１９（ｂ）のガンマは頻度の小さい画素値の頻度をさらに下げ、頻度の大きい画素値の頻度をさらに大きくする効果がある。そのため、かかる関数による頻度の変換はヒストグラム鮮鋭化の作用がある。またノイズの大小により、ヒストグラムのボケの大小が異なるため、入力のヒストグラムの画素値が大きい部分と小さい部分で異なるガンマを適用して鮮鋭化の程度に差をつけることが望ましい。また総画素数の大小によりヒストグラムの信頼性が変わるので、総画素数により適用すべきガンマを調整することが望ましい。

以上の動作は図２１のヒストグラム回復部を図２２（ｂ）に示すブロック図で構成することによって実現可能である。ガンマデータ生成部ではバスを介して総画素数データ、ノイズ特性データを取得し、この２つのデータに基づいてガンマデータを構成する。ガンマ適用部では多次元ヒストグラムデータにガンマを適用し、鮮鋭化したヒストグラムデータ（回復ヒストグラム）を出力する。

以上のとおり、本実施例では、入力された多次元ヒストグラムを鮮鋭化するため、ノイズ特性データや入力画像データの総画素数に基づいたガンマ処理を行なう。従って、擬似逆行列の演算などが要求される第一実施例と比較して、本実施例の処理負荷は小さいという効果がある。

＜他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 撮像部により取得された入力画像データを入力する入力手段と、
   前記入力画像データに基づいて、前記入力画像データの入力ヒストグラムを生成する第一生成手段と、
   前記入力画像データの特性値を、前記入力ヒストグラムの分布と前記特性値に対応するノイズ特性データの分布との重複する領域の統計値に補正する補正手段と、
   を有する画像処理装置。
2. 前記特性値は画素値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記特性値は、第一の画素の第一の画素値と該第一の画素に対して第一の位置関係にある第二の画素の第二の画素値との組合せにより決定される値であることを特徴とする請求項１に記載の画像処理装置。
4. 前記補正手段は、
   前記入力ヒストグラムの分布とノイズ特性データの分布との重複する領域の統計値に基づいて、前記入力画像データ中の前記組合せにおける第一の画素値と第二の画素値それぞれに対応する第三の画素値と第四の画素値と決定する決定手段と、
   前記第三の画素値と前記第四の画素値とに基づいて、第五の画素値を生成する第二生成手段と
   を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記入力ヒストグラムは、前記入力画像データが示す画像中の各画素の第六の画素値と該各画素に対して前記第一の位置関係にある画素の第七の画素値との組合せの頻度を示すヒストグラムであることを特徴とする請求項３に記載の画像処理装置。
6. 行列形式で表現された前記ノイズ特性データの逆行列を、前記入力ヒストグラムに乗することによりを、前記入力画像データ中のノイズが低減されたヒストグラムである回復ヒストグラムに変換する変換データ生成手段を更に有し、
   前記補正手段は、前記ノイズ特性データと前記回復ヒストグラムとに基づいて、前記入力画像データを補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記入力画像データが示す画像を複数の画像領域に分割する分割手段を更に有し、
   前記第一生成手段は、前記画像領域毎に前記入力ヒストグラムを生成し、
   前記補正手段は、前記画像領域毎に前記入力画像データを補正することを特徴とする請求項１乃至６のいずれかに１項に記載の画像処理装置。
8. 前記分割手段は、エッジ領域か否かに基づいて、前記入力画像データが示す画像を複数の画像領域に分割することを特徴とする請求項７に記載の画像処理装置。
9. 高周波を強調するフィルタ処理を前記入力ヒストグラムに適用することにより、前記入力ヒストグラムを回復ヒストグラムに変換する変換データ生成手段を更に有し、前記補正手段は、前記ノイズ特性データと前記回復ヒストグラムとに基づいて、前記入力画像データを補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. ガンマ処理を前記入力ヒストグラムに適用することにより、頻度の少ない特性値の頻度を更に少なくし、頻度の多い特性値の頻度を更に多くしたヒストグラムである回復ヒストグラムに変換する変換データ生成手段を更に有し、
    前記補正手段は、前記ノイズ特性データと前記回復ヒストグラムとに基づいて、前記入力画像データを補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
11. 前記統計値は、前記重複する領域の重心を示す値であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記統計値は、前記重複する領域の中央値又は最頻値であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 撮像部により取得された入力画像データを入力する入力手段と、
    前記入力画像データに基づいて、前記入力画像データの各特性値の数を前記入力画像データの総特性値の数で除算して得られた分布を生成する生成手段と、
    前記入力画像データの特性値を、前記分布と前記特性値に対応するノイズ特性データの分布との重複する領域の統計値に補正する補正手段と、
    を有する画像処理装置。
14. 撮像部により取得された入力画像データを入力し、
    前記入力画像データに基づいて、前記入力画像データの入力ヒストグラムを生成し、
    前記入力画像データの特性値を、前記入力ヒストグラムの分布と前記特性値に対応するノイズ特性データの分布との重複する領域の統計値に補正することを特徴とする画像処理方法。
15. 撮像部により取得された入力画像データを入力し、
    前記入力画像データに基づいて、前記入力画像データの各特性値の数を前記入力画像データの総特性値の数で除算して得られた分布を生成し、
    前記入力画像データの特性値を、前記分布と前記特性値に対応するノイズ特性データの分布との重複する領域の統計値に補正することを特徴とする画像処理方法。
16. コンピュータを請求項１乃至１３に記載されている手段として機能させるためのプログラム。

Images