JP2014090359A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】ＲＡＷ画像に対するノイズ低減処理を実行する装置、方法を提供する。
【解決手段】ＲＡＷ画像から注目局所領域と、注目局所領域と同一位相を持つ類似局所領域を選択し、これらの局所領域各々を高域信号と低域信号の帯域別信号に分離し、帯域別信号に含まれるノイズの低減処理を実行する。ノイズ低減処理においては、例えば高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、３次元データを適用して２次元ウェーブレット変換、１次元ウェーブレット変換、シュリンケージ処理、１次元および２次元のウェーブレット逆変換を実行して、注目領域のノイズ低減高域信号画像を生成する。
【選択図】図４

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラの撮像素子出力であるＲＡＷ画像、すなわち各画素に特定色の画素値のみが設定されたＲＡＷ画像を処理対象としたノイズ低減処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。

ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの画像処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理を行い、カラー画像を生成して出力する。

一般的に、撮影画像の画素値には所定量のノイズ成分が含まれる。したがって、多くのカメラは撮影画像に対するノイズ低減処理を実行して画素値に含まれるノイズ成分を除去して出力画像を生成する構成を持つ。

撮像装置（カメラ）においてノイズ低減処理を実行する場合の処理タイミングとしては、以下の２つのいずれかタイミングが考えられる。
１つは、上述のデモザイク処理後の画像、すなわち、各画素にＲＧＢの全画素値を設定したＲＧＢ画像を生成した後に、ＲＧＢ画像に対して実行する処理である。
もう１つは、デモザイク処理前の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像に対する処理である。

各画素に対してＲＧＢ全画素値を設定したＲＧＢ画像に対するノイズ低減処理を開示した文献として、特許文献１（特開２００４−１２７０６４号公報）がある。
特許文献１は、ＲＧＢ画像から輝度信号と色差信号に分離した後、各信号に対して、ウェーブレット（Ｗａｖｅｌｅｔ）変換と、コアリング処理を実行して、ノイズ低減を行う手法を開示している。

なお、ウェーブレット変換は、画像に含まれる様々な周波数成分を分離して、画像を所定の周波数成分単位の信号に分離する処理である。また、コアリングは、例えば所定のしきい値未満のデータを破棄あるいは低減して出力する処理である。このコアリングによって低減される成分がノイズ成分であると解釈される。
特許文献１では、このように、ウェーブレット（Ｗａｖｅｌｅｔ）変換と、コアリング処理を実行して、ノイズ低減処理を行う手法を開示している。

しかし、この特許文献１に記載の手法は、デモザイク処理後の画像、すなわち各画素にＲＧＢ全ての色の画素値を設定したＲＧＢ画像から輝度画像と色差画像を生成して、これらの各画像を適用して実行する構成である。
特許文献１は、デモザイク前の画像、すなわち各画素にＲＧＢいずれか一色の画素値のみの設定されたＲＡＷ画像を用いたノイズ低減処理については開示していない。従って、特許文献１に記載の処理を、撮像素子（イメージセンサ）の出力するＲＡＷ画像に対して直接適用することはできない。

各画素位置に１色の情報しかない撮像素子（イメージセンサ）の出力するＲＡＷ画像に対してノイズ低減を実行する処理手法を開示した従来技術として、特許文献２（特開２００５−１５９９１６号公報）や、特許文献３（特開２００８−２１１６２７号公報）がある。

特許文献２は、各画素位置に１色の情報しかない撮像素子（イメージセンサ）の出力するＲＡＷ画像に対して、直接、ウェーブレット（Ｗａｖｅｌｅｔ）変換を実行し、その後、ローパスフィルタ（ＬＰＦ）を適用してノイズ低減を行う手法を開示している。

特許文献３は、撮像素子から出力するベイヤ（Ｂａｙｅｒ）配列に従ったＲＡＷ画像をＲＧＢ各色別に分離し、Ｒ信号、Ｇ信号、Ｂ信号の各信号単位で、ウェーブレットシュリンケージ（ＷａｖｅｌｅｔＳｈｒｉｎｋａｇｅ）を行い、その後に輝度信号と色差信号を生成してノイズ低減を行う手法を開示している。

なお、ウェーブレットシュリンケージ（ＷａｖｅｌｅｔＳｈｒｉｎｋａｇｅ）とは、
（ａ）ウェーブレット変換（ＷＴ：Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｅｒ）と、
（ｂ）コアリング処理と、
（ｃ）ウェーブレット逆変換（ＷＴ逆変換）、
これらの各処理を順次、実行する処理に相当する。

しかし、これらの特許文献２、３のノイズ低減は、２次元のウェーブレットシュリンケージ（ＷａｖｅｌｅｔＳｈｒｉｎｋａｇｅ）の性能によってノイズ低減効果に限界が設定されてしまうという問題がある。さらに、特許文献３に記載の処理は、ＲＧＢ各色別に分けてノイズ低減処理を実行するものであり、ＲＧＢ色間の相関を考慮しないノイズ低減が行なわれるため、ノイズ低減効果が低下するという問題がある。

特開２００４−１２７０６４号公報 特開２００５−１５９９１６号公報 特開２００８−２１１６２７号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、カメラの撮像素子から出力されるＲＡＷ画像、すなわち、各画素位置に１色の情報しかないＲＡＷ画像を処理対象としたノイズ低減を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一実施例の処理では、局所領域の周辺から類似局所領域を探索し、それら局所領域の３次元データに対して帯域分離およびそれぞれの帯域に対するノイズ低減処理を行う。さらに、ノイズ低減処理を行った局所領域を合成して画像全体のノイズ低減を行うことでより高精度のノイズ低減を実現することができる。

本開示の第１の側面は、
各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記画像処理部は、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択部と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択部と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離部と、
前記帯域分離部の生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減部と、
前記帯域別ノイズ低減部の生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成部と、
前記帯域合成部の生成するノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
（ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｃ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｄ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
（ｅ）前記１次元ウェーブレット逆変換処理後のデータによって構成される注目局所領域対応のｘｙ平面信号に対する２次元ウェーブレット逆変換処理、
上記（ａ）〜（ｅ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
（ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対するεフィルタ（イプシロンフィルタ）適用処理、
（ｃ）前記εフィルタ（イプシロンフィルタ）適用処理後のデータに対する２次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の高域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記帯域分離部は、前記注目局所領域および前記類似局所領域各々の局所領域の色単位の平均値を各局所領域の各色対応低域信号として設定し、前記注目局所領域および前記類似局所領域各々の局所領域の各画素対応の高域信号を、
高域信号＝（各画素の画素値）−（各画素対応色平均値）
上記式に従って算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、さらに、前記ＲＡＷ画像に基づいて、前記ＲＡＷ画像の各画素位置に基準色画素値を設定した基準色画像を生成する基準色算出部を有し、前記類似局所領域選択部は、前記基準色画像を適用して前記注目局所領域との類似度を判定し、前記注目局所領域との類似度の高い類似局所領域を選択する。

さらに、本開示の画像処理装置の一実施態様において、前記基準色画素値は輝度値である。

さらに、本開示の画像処理装置の一実施態様において、前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像である。

さらに、本開示の画像処理装置の一実施態様において、前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像であり、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の帯域別信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、ｘｙ平面データである各局所領域の帯域別信号に対する２次元ウェーブレット変換処理を実行して、輝度信号とその他の信号との分離データを生成し、生成した分離データの各々を適用したノイズ低減を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記局所領域選択部は、前記注目局所領域を、重複画素領域を持つ設定として順次選択し、前記局所領域合成部は、重複画素領域を持つノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によるノイズ低減ＲＡＷ画像を生成する際に、複数のノイズ低減注目局所領域画像に含まれる重複画素領域の画素値の平均化処理を実行してノイズ低減ＲＡＷ画像の画素値設定を実行する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記画像処理部が、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、ＲＡＷ画像に対するノイズ低減処理を実行する装置、方法が実現される。
具体的には、ＲＡＷ画像から注目局所領域と、注目局所領域と同一位相を持つ類似局所領域を選択し、これらの局所領域各々を高域信号と低域信号の帯域別信号に分離し、帯域別信号に含まれるノイズの低減処理を実行する。ノイズ低減処理においては、例えば高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、３次元データを適用して２次元ウェーブレット変換、１次元ウェーブレット変換、シュリンケージ処理、１次元および２次元のウェーブレット逆変換を実行して、注目領域のノイズ低減高域信号画像を生成する。
低域信号についても、やはり注目局所領域と類似局所領域データからなる３次元データを適用して、εフィルタを適用した処理、あるいは１次元ウェーブレット変換処理等により、ノイズ低減を実行する。
ノイズ低減された高域信号と低域信号の帯域合成を行ない、注目局所領域対応理ノイズ低減画像を生成し、さらに、各注目局所領域のノイズ低減画像を合成することで、ノイズ低減したＲＡＷ画像を生成する。
本開示の処理によれば、ＲＡＷ画像に対する高精度なノイズ低減処理が実現される。

本開示の画像処理装置の一実施例としての撮像素子の構成例について説明する図である。 撮像素子の構成について説明する図である。 本開示の画像処理装置の画像処理部の構成例と処理について説明する図である。 画像処理部のＲＡＷノイズ低減部の構成例と処理例について説明する図である。 本開示の画像処理装置の実行する類似局所領域の探索処理について説明する図である。 本開示の画像処理装置の実行する帯域分離処理について説明する図である。 本開示の画像処理装置の実行するノイズ低減処理に適用するデータ構成例について説明する図である。 本開示の画像処理装置の実行するノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する２次元ウェーブレット変換処理について説明する図である。 本開示の画像処理装置の実行する２次元ウェーブレット変換処理について説明する図である。 本開示の画像処理装置の実行する１次元ウェーブレット変換処理について説明する図である。 本開示の画像処理装置の実行する１次元ウェーブレット変換処理について説明する図である。 本開示の画像処理装置の実行するシュリンケージ処理について説明する図である。 撮像素子のノイズ特性について説明する図である。 本開示の画像処理装置の実行する２次元ウェーブレット変換処理の特性ついて説明する図である。 本開示の画像処理装置の実行する２次元ウェーブレット変換処理の特性ついて説明する図である。 本開示の画像処理装置の実行するノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行するノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行するノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行するノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する局所領域合成処理の具体例について説明する図である。 本開示の画像処理装置の実行するノイズ低減処理の全体シーケンスについて説明するフローチャートを示す図である。 画像処理部のＲＡＷノイズ低減部の構成例と処理例について説明する図である。 画像処理部のＲＡＷノイズ低減部の基準色算出部の実行する処理について説明する図である。 画像処理部のＲＡＷノイズ低減部の基準色算出部の実行する処理について説明する図である。 本開示の画像処理装置の実行するノイズ低減処理の全体シーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像処理装置の構成例と動作例について
１−１．画像処理装置の構成について
１−２．画像処理装置の動作について
２．本開示の画像処理装置の実行するノイズ低減処理の第１実施例について
２−１．画像処理部の全体構成例について
２−２．ＲＡＷノイズ低減部の構成と処理について
２−３．局所領域選択部の処理について
２−４．類似局所領域選択部の処理について
２−５．帯域分離部の処理について
２−６．高域ノイズ低減部の処理について
２−６−１．（処理例１）３元ウェーブレットシュリンケージによるノイズ低減処理
２−６−２．（処理例２）２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理
２−６−３．（処理例３）Ｚ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理
２−７．低域ノイズ低減部の処理について
２−７−１．（処理例１）１次元ウェーブレット変換シュリンケージによるノイズ低減処理
２−７−２．（処理例２）各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理
２−８．帯域合成部の処理について
２−９．局所領域合成部の処理について
３．ノイズ低減処理の全体シーケンスについて
４．本開示の画像処理装置の実行するノイズ低減処理の第２実施例について
５．第２実施例のノイズ低減処理シーケンスについて
６．本開示の構成のまとめ

［１．画像処理装置の構成例と動作例について］
まず、本開示の画像処理装置の構成例と動作例について説明する。

［１−１．画像処理装置の構成について］
図１は、本開示の画像処理装置の一実施例である撮像装置１０の構成例を示す図である。撮像装置１０は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１、レンズ１１からの光画像の光量を調整する絞り１２、および集光された光画像を光電変換して電気信号に変換する撮像素子（イメージセンサ）１３から構成される。
撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。

撮像素子１３は、例えば図２に示すようにＲＧＢ各画素によって構成されたベイヤ（Ｂａｙｅｒ）配列を持つ色フィルタ（カラーフィルタ）を有する撮像素子である。
各画素には、色フィルタの配列に応じたＲＧＢいずれかの色に対応する画素値が設定されることになる。
なお、図２に示す配列は撮像素子１３の画素配列の一例であり、撮像素子１３は、この他の様々な設定の配列とすることが可能である。

図１に戻り、撮像装置１０の構成についての説明を続ける。
信号処理系は、サンプリング回路１４、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１５、および画像処理部（ＤＳＰ）１６から構成される。

サンプリング回路１４は、例えば、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）によって実現され、撮像素子１３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子１３において発生するノイズが軽減される。サンプリング回路１４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。

Ａ／Ｄ変換部１５は、サンプリング回路１４から供給されるアナログ信号をデジタル信号に変換して、画像処理部１６に供給する。
画像処理部１６は、Ａ／Ｄ変換部１５から入力されるデジタル信号に所定の画像処理を施す。
具体的には、先に図２を参照して説明した各画素単位でＲＧＢのいずれかの一色の画素値データからなる画像データ（ＲＡＷ画像）を入力し、入力したＲＡＷ画像に含まれるノイズを低減するノイズ低減処理などを実行する。
このノイズ低減処理については、後段で詳細に説明する。

なお、画像処理部１６は、ノイズ低減処理の他、ＲＡＷ画像の各画素位置にＲＧＢの全色に対応する画素値を設定するデモザイク処理や、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理も実行する。

記録系は、画像信号を符号化または復号する符号化／復号部１７と、画像信号を記録するメモリ１８とから構成される。
符号化／復号部１７は、画像処理部１６によって処理されたデジタル信号である画像信号を符号化してメモリ１８に記録する。また、メモリ１８から画像信号を読み出して復号し、画像処理部１６に供給する。

表示系は、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１９、ビデオエンコーダ２０、および表示部２１から構成される。
Ｄ／Ａ変換部１９は、画像処理部１６によって処理された画像信号をアナログ化してビデオエンコーダ２０に供給し、ビデオエンコーダ２０は、Ｄ／Ａ変換部１９からの画像信号を表示部２１に適合する形式のビデオ信号にエンコードする。
表示部２１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により実現され、ビデオエンコーダ２０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部２１は、被写体の撮像時にはファインダとしても機能する。

制御系は、タイミング生成部２２、操作入力部２３、ドライバ２４、および制御部（ＣＰＵ）２５から構成される。また、画像処理部１６、符号化／復号部１７、メモリ１８、タイミング生成部２２、操作入力部２３、および制御部２５は、バス２６を介して相互に接続されている。

タイミング生成部２２は、撮像素子１３、サンプリング回路１４、Ａ／Ｄ変換部１５、および画像処理部１６の動作のタイミングを制御する。操作入力部２３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部２５に供給する。

ドライバ２４には所定の周辺機器が接続され、ドライバ２４は接続された周辺機器を駆動する。例えばドライバ２４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部２５に供給する。

制御部２５は、撮像装置１０の全体を制御する。例えば、制御部２５は、プログラム実行機能を有するＣＰＵ等からなり、メモリ１８、あるいは、ドライバ２４を介して、ドライバ２４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部２３からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。

［１−２．画像処理装置の動作について］
次に、図１に示す撮像装置１０の動作について説明する。
撮像装置１０は、被写体からの入射光、すなわち被写体の光画像をレンズ１１および絞り１２を介して撮像素子１３に入射し、撮像素子１３によって光電変換して電気信号を生成する。

撮像素子１３で得られた電気信号は、サンプリング回路１４によってノイズ成分が除去され、Ａ／Ｄ変換部１５によってデジタル化された後、画像処理部１６が内蔵する図示せぬフレームバッファ等の画像メモリに一時的に格納される。

なお、通常の状態、つまりシャッタ操作がされる前の状態では、タイミング生成部２２による信号処理系に対するタイミングの制御により、画像処理部１６の画像メモリ（フレームバッファ）には、一定のフレームレートで、絶えずＡ／Ｄ変換部１５からの画像信号が上書きされる。画像処理部１６の画像メモリ内の画像信号は、Ｄ／Ａ変換部１９によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ２０によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部２１に表示される。

表示部２１は、撮像装置１０のファインダとしての機能も担っており、ユーザは、表示部２１に表示される画像を見ながら構図を定め、操作入力部２３としてのシャッタボタンを押下して、画像の撮像を指示する。

シャッタボタンが押下されると、制御部２５は、操作入力部２３からの信号に基づいて、タイミング生成部２２に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理部１６の画像メモリに画像信号が上書きされないように、信号処理系が制御される。

その後、画像処理部１６は、画像メモリに保持されている画像信号に対する信号処理、例えばノイズ低減処理、デモザイク処理、ホワイトバランス調整処理等の各種の信号処理を実行し、処理後の画像データを符号化／復号部１７に出力する。
符号化／復号部１７は、画像処理部１６から入力した画像データを符号化してメモリ１８に記録する。以上のような撮像装置１０の動作によって、１枚の画像信号の取込みが完了する。

［２．本開示の画像処理装置の実行するノイズ低減処理の第１実施例について］
次に、本開示の撮像装置の画像処理部１６の実行するノイズ低減処理の第１の実施例について説明する。

［２−１．画像処理部の全体構成例について］
図３は、図１の撮像装置１０の画像処理部１６の構成例を示す図である。
ＲＡＷノイズ低減部３１は、例えば図２を参照して説明した配列からなる色フィルタ配列の撮像素子（イメージセンサ）１３で撮像された画像（ＲＡＷ画像）を入力し、色配列（画素位置毎の色）はそのままにノイズ低減処理を行い、ノイズ低減ＲＡＷ画像を生成して出力する。

このＲＡＷノイズ低減部３１で実行するノイズ低減処理は、撮像素子（イメージセンサ）１３からの出力に対する処理として実行可能であるため、予め取得可能な撮像素子（イメージセンサ）１３のノイズ特性を利用した処理として行うことができる。
なお、デモザイク処理や、その他の信号処理後にノイズ低減を行なう場合、信号処理後の画像のノイズ特性が推定困難であるため、特性に応じた効果的なノイズ低減を行なうことが難しいという問題がある。

カメラ信号処理部３２は、ＲＡＷノイズ低減部３１からノイズ低減された色配列画像を入力し、各画素に全色を信号処理によって復元するデモザイク処理や、その他の一般的なカメラ信号処理を実行し、出力画像を生成して出力する。

［２−２．ＲＡＷノイズ低減部の構成と処理について］
図４は、図３に示す画像処理部１６のＲＡＷノイズ低減部３１の詳細構成と処理を説明する図である。
画像処理部１６のＲＡＷノイズ低減部３１には、図１に示す撮像装置１０のＡ／Ｄ変換部１５から、ＲＡＷ画像５１が入力される。
ＲＡＷ画像５１は、各画素にＲＧＢいずれかの画素値のみが設定された画像である。ここでは、図２に示すベイヤ（Ｂａｙｅｒ）配列に従った画素配列を持つＲＡＷ画像５１を入力したものとして説明する。

［２−３．局所領域選択部の処理について］
ＲＡＷ画像５１は、ＲＡＷノイズ低減部３１の局所領域選択部１０１に入力される。
局所領域選択部１０１は、特定の色フィルタ配列、例えば図２に示す色配列を撮像素子（イメージセンサ）１３で撮像された画像を入力し、ある局所領域、例えばｎ×ｎ画素の矩形領域をノイズ低減処理の処理対象とする注目領域（図４に示す注目局所領域Ｐｒ１１２）として順次、選択する。ただし、ｎは２以上の整数である。
局所領域選択部１０１が処理対象として選択した注目局所領域情報は、ＲＡＷ画像５１とともに、類似局所領域選択部１０２に入力される。

［２−４．類似局所領域選択部の処理について］
類似局所領域選択部１０２は、局所領域選択部１０１が選択したノイズ低減処理対象である注目局所領域Ｐｒ１１２と類似性の高い局所領域、すなわち類似領域（類似局所領域）を周辺領域から探索する。

類似局所領域選択部１０２の選択する類似局所領域は、局所領域選択部１０１が選択したノイズ低減処理対象である注目局所領域Ｐｒ１１２の位相と同一位相の画素領域、すなわち色配列が同一の色配列を持つ画素領域であり、かつ類似性の高い複数の局所領域を周辺の領域から探索し選択する。

なお、類似局所領域選択部１０２は、複数の類似局所領域を、注目局所領域Ｐｒ１１２に対する類似性の高い順に、予め設定した数、選択する。
図５は、類似局所領域選択部１０２の実行する類似局所利用域の探索イメージを示す図である。

類似局所領域選択部１０２は、図５（１）に示すように、例えば、局所領域選択部１０１がノイズ低減処理対象領域として選択した注目局所領域Ｐｒ２１０を中心として設定した探索領域２０２から、注目局所領域Ｐｒ２１０と位相が同一で類似性の高い局所領域Ｐｉ（ｉ＝１，２，３・・・）を類似度の高い順から、予め規定した数、探索して抽出する。
図５（１）の例では、３つの類似局所領域Ｐ１−２１１ａ，Ｐ２−２１１ｂ，Ｐ３−２１１ｃを抽出した例を示している。

図５（２）は、色配列がベイヤ配列の場合の探索例を説明する図である。例えば、図５（２）に示す中心のＧ画素を中心とした図の太線の点線で示す３×３画素を局所領域選択部１０１で選択された注目局所領域とする。
この局所領域の位相、すなわち、色配列は、
ＧＲＧ
ＢＧＢ
ＧＲＧ
上記位相である。

探索領域は、注目局所領域周辺に設定される。この探索領域を例えば、図５（２）に示す１１×１１画素領域とする。この探索領域で探索するのは、注目局所領域と同一位相の局所領域である。すなわち、
ＧＲＧ
ＢＧＢ
ＧＲＧ
上記位相を持つ局所領域が抽出対象となる。
従って、探索範囲内のうち実際の探索対象は、太線実線で示すＧ画素を中心とした２４個の３×３の画素領域となる。

これらの２４個の類似局所領域候補から、注目局所領域との類似性の高い局所領域を予め設定した数、選択する。
局所領域の類似性については、例えば、各局所領域間の画素値に基づく差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用する。注目局所領域とのＳＡＤあるいはＳＳＤの値が小さい局所領域を順次、選択する。

なお、２つの局所領域間の差分絶対値和（Ｒ_ＳＡＤ）は、以下の（式１）に従って算出する。
Ｒ_ＳＡＤ＝ΣΣ｜Ｐｒ（ｘ，ｙ）−Ｐｉ（ｘ，ｙ）｜ ・・・・（式１）

なお、上記（式１）において、
Ｐｒ（ｘ，ｙ）は、注目局所領域の座標（ｘ，ｙ）の画素値、
Ｐｉ（ｘ，ｙ）は、類似局所領域の座標（ｘ，ｙ）の画素値、
である。

また、２つの局所領域間の差分２乗和（Ｒ_ＳＳＤ）は、以下の（式２）に従って算出する。
Ｒ_ＳＳＤ＝ΣΣ（Ｐｒ（ｘ，ｙ）−Ｐｉ（ｘ，ｙ））^２・・・・（式２）

なお、上記（式２）において、
Ｐｒ（ｘ，ｙ）は、注目局所領域の座標（ｘ，ｙ）の画素値、
Ｐｉ（ｘ，ｙ）は、類似局所領域の座標（ｘ，ｙ）の画素値、
である。

なお、差分絶対値和（ＳＡＤ）や、差分２乗和（ＳＳＤ）は、値が小さいほど類似度が大きいことを示す指標である。

類似局所領域選択部１０２は、図５を参照して説明したように、局所領域選択部１０１がノイズ低減処理対象領域として選択した注目局所領域Ｐｒ２１０を中心として設定した探索領域２０２から、注目局所領域Ｐｒ２１０と位相が同一で類似性の高い局所領域Ｐｉ（ｉ＝１，２，３・・・）を類似度の高い順から、予め規定した数、探索して抽出する。

類似局所領域選択部１０２は、抽出した類似局所領域の画像情報を、局所領域選択部１０１がノイズ低減処理対象領域として選択した注目局所領域の画像情報に併せて図４に示すように類似局所領域群１１３として、帯域分離部１０３に出力する。

［２−５．帯域分離部の処理について］
帯域分離部１０３は、類似局所領域選択部１０２から、同位相の複数の類似する局所領域画像からなる類似局所領域群１１３を入力する。
帯域分離部１０３は、これらの各局所領域について、高域成分と低域成分を算出し、高域成分１１４を高域ノイズ低減部１０４に出力し、低域成分１１５を低域ノイズ低減部１０５に出力する。

帯域分離部１０３の実行する帯域分離処理について、図６を参照して説明する。
帯域分離部１０３は、図４に示すように類似局所領域選択部１０２から、類似局所領域群データ１１３を入力する。類似局所領域群データ１１３は、局所領域選択部１０１が選択したノイズ低減処理対象領域である注目局所領域と、類似局所領域選択部１０２が選択した類似局所領域の画像データによって構成される。類似局所領域は、注目局所領域と同一位相で、かつ類似する局所領域である。

図６には、類似局所領域群データ１１３の１つの局所領域データとして、４×４の画素からなる局所領域データの例を示している。この４×４画素の局所領域は、注目局所領域、または類似局書領域である。
帯域分離部１０３は、注目局所領域と、複数の類似局所領域の各々について同様の処理を実行して、各局所領域に対応する高域信号画像データ１１４と、低域信号画像データ１１５を生成し、それぞれを、図４に示すように、高域ノイズ低減部１０４、低域ノイズ低減部１０５に出力する。

例えば１つの注目局所領域に対応する類似局所領域として３つの類似局所領域が選択されている場合、帯域分離部１０３は、計４つの局所領域に対して同様の帯域分離処理を実行して、４つの高域信号画像と低域信号画像を生成し、それぞれ、高域ノイズ低減部１０４、低域ノイズ低減部１０５に出力する。

図６に示すように、帯域分離部１０３は、帯域分離処理対象となる局所領域データと同様の画素配列を持つ高域信号画像データ１１４と、低域信号画像データ１１５を生成する。
なお、図６の高域信号画像データ１１４に示す、
ＲＨは、Ｒの高域信号、
ＧＨは、Ｇの高域信号、
ＢＨは、Ｂの高域信号、
であり、それぞれＲＧＢ各色の高域信号相当の信号値（画素値）である。

同様に、図６の低域信号画像データ１１５に示す、
ＲＬは、Ｒの低域信号、
ＧＬは、Ｇの低域信号、
ＢＬは、Ｂの低域信号、
であり、それぞれＲＧＢ各色の低域信号相当の信号値（画素値）である。

このように帯域分離部１０３は、入力信号と同じ画素配列を持つ高域信号画像データ１１４と低域信号画像データ１１５を生成して出力する。
この帯域分離処理は、前述したように、各局所領域について、各々処理を行なうため、類似局所領域群データ１１３に含まれる注目局所領域と類似局所領域、各々について、それぞれ高域信号画像データ１１４と低域信号画像データ１１５を生成して出力する。

帯域分離部１０３は、類似局所領域群データ１１３に含まれる注目局所領域と類似局所領域、各々の局所領域画像データに対して、以下に示す（式３）に従って、低域信号画像データ１１５の各画素値（Ａ^ｌｏｗ _ｘ，ｙ）を算出し、また、以下に示す（式４）に従って、高域信号画像データ１１４の各画素値（Ａ^ｈｉｇｈ _ｘ，ｙ）を算出する。

ただし、上記（式３）、（式４）において、各パラメータは以下の通りである。
Ａ：処理対象画像の各画素色、ベイヤ配列の場合Ｒ，Ｇ，Ｂのいずれか
Ａ_ｘ，ｙ：処理対象となる入力局所領域画像の座標（ｘ，ｙ）位置の画素値
Ｎ_Ａ：処理対象となる入力局所領域画像に含まれる色Ａの画素数
Ａ^ｌｏｗ _ｘ，ｙ：低域信号画像データの座標（ｘ，ｙ）位置の画素値
Ａ^ｈｉｇｈ _ｘ，ｙ：高域信号画像データの座標（ｘ，ｙ）位置の画素値

上記（式３）では、ＲＧＢ毎の局所領域内の平均（ＤＣ成分）を低域信号値（Ａ^ｌｏｗ _ｘ，ｙ）として算出する式である。ベイヤ配列の場合、ＲＧＢの３色が存在するので、上記（式３）に従って、各局所領域単位でＲＧＢ各々の低域信号値が算出される。

また、上記（式４）は、以下の算出式となっている。
高域信号値＝（入力画素値）−（式３で算出した低域信号値）、
高域信号値は、局所領域の各画素独自の値、すなわち画素対応の高域信号値が算出されることになる。

上記（式３）と（式４）の算出式に従えば、高域信号成分は局所領域の画素数分、出力される。一方、低域成分はＲＧＢの３つの値のみとなる。このように、低域成分については、画素数分の算出処理が不要であり、ＲＧＢ各々についての算出処理、計３回の算出処理を行なうのみで低域信号画像データ１１５を生成することが可能となる。従って、メモリ容量の節約、および演算コストの低減が実現される。
また、低域信号成分については、上記（式３）に示すような局所領域内の平均値算出の他、例えばローパスフィルタを適用して算出する構成としてもよい。

帯域分離部１０３は、このように、例えば上記（式３）、（式４）に従って、類似局所領域群データ１１３に含まれる注目局所領域と類似局所領域、各々について、それぞれ高域信号画像データ１１４と低域信号画像データ１１５を生成して出力する。
注目局所領域と類似局所領域の高域信号画像データは高域ノイズ低減部１０４に入力される。
一方、注目局所領域と類似局所領域の低域信号画像データは低域ノイズ低減部１０５に入力される。

［２−６．高域ノイズ低減部の処理について］
高域ノイズ低減部１０４は、帯域分離部１０３から入力する注目局所領域と類似局所領域の高域信号画像データを適用して、注目局所領域の高域成分に含まれるノイズを低減させる処理を実行する。

高域ノイズ低減部１０４は、帯域分離部１０３から、
１枚の注目局所領域に対応する高域信号画像、
ｎ枚の類似局所領域に対応するｎ枚の高域信号画像、
これらのｎ＋１枚の高域信号画像を入力する。

高域ノイズ低減部１０４は、これらｎ＋１枚の画像をまとめて三次元データとし、三次元データに対してノイズ低減を行う。
図７を参照して、高域ノイズ低減部１０４が生成する三次元データの概念について説明する。

高域ノイズ低減部１０４は、図７に示すように、帯域分離部１０３から入力する、
１枚の注目局所領域対応高域信号画像２２１、
ｎ枚の類似局所領域対応高域信号画像２２２−１〜ｎ、
これらの計ｎ＋１枚の画像について、各局所利用域高域信号画像の平面をｘｙ平面として設定し、これら複数の画像をｚ軸方向に重ねた三次元データを生成する。

図７には４×４画素の局所領域に対応する高域信号画像をｎ＋１枚、ｚ軸方向に重ねた例を示している。
高域ノイズ低減部１０４は、このような複数の局所領域対応の高域信号画像からなる３次元データを用いてノイズ低減を行なう。

高域ノイズ低減部１０４の実行するノイズ低減処理としては、様々な手法が適用可能である。以下、高域ノイズ低減部１０４の適用可能なノイズ低減処理の複数の例について説明する。以下の各処理例について、順次、説明する。
（処理例１）３元ウェーブレットシュリンケージによるノイズ低減処理
（処理例２）２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理
（処理例３）Ｚ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理

［２−６−１．（処理例１）３元ウェーブレットシュリンケージによるノイズ低減処理］
まず、処理例１として、３元ウェーブレットシュリンケージによるノイズ低減処理について説明する。
この処理例１の処理シーケンスについて、図８に示すフローチャートを参照して説明する。この処理例１では、図８に示す処理手順、すなわちステップＳ１１〜Ｓ１５を実行することでノイズ低減を実現する。
まず、フローに従って、一連の処理について簡単に説明し、その後、各処理の詳細について説明する。

（Ｓ１１）まず、図７に示す３次元データの各局所領域対応の高域信号画像、すなわちＸＹ面毎に２次元ウェーブレット変換を行ない、各局所領域対応高域信号画像単位の２次元ウェーブレット変換データを生成する。

（Ｓ１２）次に、ステップＳ１１で生成した各局所領域対応高域信号画像単位の２次元ウェーブレット変換データの同一のＸＹ位置毎の画素をＺ軸方向に並べた画素列に対して、１次元ウェーブレット変換を実行する。
この処理により、各画素対応の１次元ウェーブレット変換データを生成する。

（Ｓ１３）ステップＳ１２で生成した１次元ウェーブレット変換データに対してシュリンケージ処理を実行する。
（Ｓ１４）ステップＳ１３で実行したシュリンケージ処理後の１次元ウェーブレット変換データに対して、１次元ウェーブレット逆変換を実行する。
（Ｓ１５）ステップＳ１４で実行した１次元ウェーブレット逆変換データから再構成される局所領域対応のｘｙ平面データに対して、２次元ウェーブレット逆変換を実行する。

これら、ステップＳ１１〜Ｓ１５の一連の処理を実行して、注目局所領域の高域信号に含まれるノイズを低減し、ノイズの低減された注目局所領域対応の高域信号画像データを生成する。
以下、各ステップの処理の詳細について説明する。

まず、ステップＳ１１の処理について、図９、図１０を参照して説明する。
ステップＳ１１では、図７を参照して説明した３次元データ、すなわち、各局所領域対応の高域信号画像をｘｙ平面として、ｚ方向に配列した各局所領域対応の高域信号画像について、各局所領域の高域信号画像毎に２次元ウェーブレット変換を行なう。

図９は、この２次元ウェーブレット変換処理について説明する図である。
図９（１）は、図７に示すと同様の各極所領域の高域信号画像である。この各局所領域の高域信号画像各々について、２次元ウェーブレット変換を実行して、図９（２）に示す２次元ウェーブレット変換データを生成する。

ウェーブレット変換処理は、画像の周波数成分データを分離して、画像を所定の周波数成分単位の信号に分離する処理である。
２次元ウェーブレット変換は、この処理を２次元画像に対して実行する。図１０は、２次元ウェーブレット変換処理の一例である２次元Ｈａａｒウェーブレット変換処理の処理例を示す図である。
例えば図１０（ａ１）に示すように４つの画素領域があり、その各画素の画素値がｖ１〜ｖ４である場合、２次元ウェーブレット変換処理によって、（ｂ１）に示すＬＬ，ＨＬ，ＬＨ，ＨＨの各値が変換後の値として設定される。これらの各値は「展開係数」と呼ばれる。

図１０（ａ２）に示すように、変換前の画素値ｖ１〜ｖ４に基づいて、変換後の値（展開係数）ＬＬ〜ＨＨは、以下の式によって算出される。
ＬＬ＝（ｖ１＋ｖ２＋ｖ３＋ｖ４）／２
ＨＬ＝（ｖ１−ｖ２＋ｖ３−ｖ４）／２
ＬＨ＝（ｖ１＋ｖ２−ｖ３−ｖ４）／２
ＨＨ＝（ｖ１−ｖ２−ｖ３＋ｖ４）／２

なお、図１０に示す例は、２×２の４画素データに対する処理として説明したが、例えば４×４画素など、多数の画素を持つ画像に対して処理を行なう場合、第１レベルの処理として２×２画素単位で上記算出式に従った変換を実行し、さらに、第２レベルの処理として、第１レベルの変換データに対して、上記算出式に従った処理を再度実行するという２レベルの処理を実行するなど、同様の変換処理を繰り返し実行する構成としてもよい。

これらの周波数成分単位の信号ＬＬ〜ＨＨを設定したデータを２次元ウェーブレット変換データとする。例えば、図１０（ｂ１）に示すデータである。
なお、この２次元ウェーブレット変換データの要素である展開係数：ＬＬ〜ＨＨの各信号から、元のｖ１〜ｖ４を算出する式は、図１０（ｂ２）に示すように、以下の式となる。
ｖ１＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ）／２
ｖ２＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２
ｖ３＝（ＬＬ＋ＨＬ−ＬＨ−ＨＨ）／２
ｖ４＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２
なお、この式に従った処理は、２次元ウェーブレット逆変換（２次元Ｈａａｒウェーブレット変換）に相当する。
図７に示すステップＳ１５では、上記式に従った２次元ウェーブレット逆変換を行なう。

図７に示すステップＳ１５の２次元ウェーブレット逆変換によって算出される値は、元の入力値、すなわちステップＳ１１で処理対象とした局所領域対応の高域信号とは異なる値となる。
これは、ステップＳ１３のシュリンケージ処理によって値が変更されているためである。シュリンケージ処理によってノイズ成分が除去され、ステップＳ１５の２次元ウェーブレット逆変換で生成される高域信号画像は、ノイズ成分除去後の高域信号値が設定された画像となる。

次に、図７に示すフローのステップＳ１２において実行する１次元ウェーブレット変換処理について、図１１、図１２を参照して説明する。
図１１には、以下の各図を示している。
（２）図９（２）に示すデータと同じデータであり、図７のフローのステップＳ１１の２次元ウェーブレット変換によって生成した２次元ウェーブレット変換データ
（３）１次元ウェーブレット変換用のデータの組み合わせ
（４）１次元ウェーブレット変換データ

ステップＳ１２では、ステップＳ１１で生成した各局所領域対応高域信号画像単位の２次元ウェーブレット変換データ、すなわち図１１（２）に示す各局所領域対応高域信号画像単位の２次元ウェーブレット変換データの同一のＸＹ位置毎の画素をＺ軸方向に並べた画素列に対して、１次元ウェーブレット変換を実行する。

１次元ウェーブレット変換処理の対象となる画素列は、図１１（３）に示す各データである。すなわち、各局所領域対応の画像が４×４画素である場合、（ｘ，ｙ）＝（１，１）〜（４，４）の１６個の１次元画素列が生成され、これらの１６個の１次元画素列各々に対して、個別に１次元ウェーブレット変換を実行する。

１次元ウェーブレット変換によって生成したデータが、図１１（４）に示す１次元ウェーブレット変換データである。
この例では、（ｘ，ｙ）＝（１，１）〜（４，４）の、計１６個の１次元ウェーブレット変換データが生成される。

ウェーブレット変換処理は、前述したように、画像に含まれる各周波成分を分離して、画像を所定の周波数成分単位の信号に分離する処理である。
１次元ウェーブレット変換は、この処理を１次元画像に対して実行する。図１２には、２次元ウェーブレット変換処理の一例として、１次元Ｈａａｒウェーブレット変換処理の処理例を示している。
例えば図１２（ａ１）に示すように２つの画素領域があり、その各画素の画素値がｖ１〜ｖ２である場合、１次元ウェーブレット変換処理によって、（ｂ１）に示すＬ，Ｈの各値が変換後の値として設定される。これらの各値は展開係数と呼ばれる。

図１２（ａ２）に示すように、変換前の画素値ｖ１〜ｖ２に基づいて、変換後の値Ｌ〜Ｈは、以下の式によって算出される。
Ｌ＝（ｖ１＋ｖ２）／√２
Ｈ＝（ｖ１−ｖ２）／√２

なお、図１２に示す例は、２画素データに対する処理として説明したが、例えば４画素など、多数の画素を持つ画像に対して処理を行なう場合、第１レベルの処理として２画素単位で上記算出式に従った変換を実行し、さらに、第２レベルの処理として、第１レベルの変換データに対して、上記算出式に従った処理を再度実行するという２レベルの処理を実行するなど、同様の変換処理を繰り返し実行する構成としてもよい。

これらの周波数成分単位の信号Ｌ〜Ｈを設定したデータを２次元ウェーブレット変換データとする。例えば、図１２（ｂ１）に示すデータである。
なお、この２次元ウェーブレット変換データの要素である展開係数：Ｌ〜Ｈの各信号から、元のｖ１〜ｖ２を算出する式は、図１２（ｂ２）に示すように、以下の式となる。
ｖ１＝（Ｌ＋Ｈ）／√２
ｖ２＝（Ｌ−Ｈ）／√２
なお、この式に従った処理は、１次元ウェーブレット逆変換に相当する。
図７に示すステップＳ１４では、上記式に従った１次元ウェーブレット逆変換（１次元Ｈａａｒウェーブレット変換）を行なう。

次に、図７に示すフローのステップＳ１３において実行するシュリンケージ処理について、図１３、図１４を参照して説明する。
本実施例で実行するシュリンケージ処理は、ウェーブレット変換後の値、すなわち図９〜図１２を参照して説明したウェーブレット変換後のデータであるＬＬ〜ＨＨ等の展開係数を所定のしきい値（ｔｈ）と比較し、しきい値（ｔｈ）以下の信号を０に向けて減衰させる処理である。

なお、画像信号に対して、まず、ウェーブレット変換を実行し、ウェーブレット変換後の信号である展開係数に対してシュリンケージを実行し、その後、ウェーブレット逆変換を実行するという一連の処理は、ウェーブレットシュリンケージ処理と呼ばれる。

図１３（ａ）には、シュリンケージ処理による入出力データの一例を示すグラフを示している。
横軸が入力値、縦軸が出力値である。ここでは入出力値いずれもウェーブレット変換データ、すなわち展開係数である。
入力値の絶対値がしきい値（ｔｈ）未満の場合、その値が０に近づくように変更される。入力値の絶対値がしきい値（ｔｈ）以上の場合は、変更しない。

入力値の絶対値がしきい値（ｔｈ）未満の信号は、微小振幅の信号、すなわちノイズ成分を多く含む信号である。この部分の信号レベルを選択的に低下させることで、効果的なノイズ低減が実現される。
なお、しきい値（ｔｈ）は、撮像素子（イメージセンサ）のノイズ特性に応じて決定し、予め画像処理装置内のメモリに格納しておく。

図１４は、撮像素子（イメージセンサ）のセンサ出力とノイズ量との対応関係の一例を示すグラフである。
センサ出力が大きいほど、ノイズ量も増加するが、センサ出力に占めるノイズ量の割合は、センサ出力の増加に伴い徐々に低下することになる。
このようなノイズ特性は、撮像素子（イメージセンサ）固有の特性であり、撮像素子の製造段階で決定されるデータである。
撮像素子の製造時に、個々の撮像素子のノイズ特性を計測し、計測したノイズ特性に基づいて図１３に示すしきい値（ｔｈ）を決定し、撮像装置内のメモリに格納しておく。なお、しきい値（ｔｈ）は、ユーザが調整可能な設定としてもよい。

図７に示すフローのステップＳ１３においては、ステップＳ１２において生成した１次元ウェーブレット変換データ、すなわち、図１１（４）に示す複数の１次元ウェーブレット変換データの各々に対してシュリンケージ処理を実行する。
この処理によって、図１１（４）に示す複数の１次元ウェーブレット変換データに設定された信号値（展開係数）は、少なくともその一部の値が変更される。

このシュリンケージ処理の後、図７に示すフローチャートのステップＳ１４において、１次元ウェーブレット逆変換処理を実行する。
１次元ウェーブレット逆変換処理は、先に図１２を参照して説明したとおり、図１２（ｂ２）に示す式、すなわち、以下の式に従って、展開係数Ｌ，Ｈからｖ１，ｖ２を算出する処理である。
ｖ１＝（Ｌ＋Ｈ）／√２
ｖ２＝（Ｌ−Ｈ）／√２

図７のステップＳ１４で実行する１次元ウェーブレット逆変換処理によって算出する値は、図１１に示す（４）の１次元ウェーブレット変換データを図１１（３）に示すデータに戻す処理に相当し、２次元ウェーブレット変換データを算出していることになる。

さらに、図７に示すフローのステップＳ１５において、２次元ウェーブレット逆変換処理を実行する。
この２次元ウェーブレット逆変換処理は、ステップＳ１４の処理で生成した１次元ウェーブレット逆変換データから、各局所領域対応のｘｙ平面に相当する２次元データを再構成し、この再構成２次元データに対して実行する。

すなわち、図９の（２）に示すデータと同様の各局所領域対応の２次元データを再構成し、この２次元データに対して、２次元ウェーブレット逆変換処理を実行して、図９（１）に示す構成を持つ局所領域対応のノイズ除去された高域信号画像を生成する。
なお、このステップＳ１５における２次元ウェーブレット逆変換処理は、ノイズ低減処理対象としている注目局所領域対応の高域信号画像のみに対して実行すればよい。この処理によって、ノイズの低減された注目局所領域対応の高域信号画像が生成される。

２次元ウェーブレット逆変換処理は、先に図１０を参照して説明したとおり、図１０（ｂ２）に示す式、すなわち、以下の式に従って、展開係数ＬＬ〜ＨＨからｖ１〜ｖ４を算出する処理である。
ｖ１＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ）／２
ｖ２＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２
ｖ３＝（ＬＬ＋ＨＬ−ＬＨ−ＨＨ）／２
ｖ４＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２

なお、前述したように、図１０に示す例は、２×２の４画素データに対する処理であり、例えば４×４画素など、多数の画素を持つ画像に対して処理を行なう場合、ウェーブレット逆変換処理も、ウェーブレット変換処理と同様、複数レベルの処理、すなわち多段階の処理を繰り返し実行する構成としてもよい。

ただし、図７に示すステップＳ１５の２次元ウェーブレット逆変換処理は、ステップＳ１１の２次元ウェーブレット変換処理の逆の処理として実行する必要があり、ステップＳ１１の２次元ウェーブレット変換処理の処理態様に対応した逆変換処理を実行することが必要である。
同様に、ステップＳ１４の１次元ウェーブレット逆変換処理も、ステップＳ１２の１次元ウェーブレット変換処理の逆の処理として実行する必要があり、ステップＳ１２の１次元ウェーブレット変換処理の処理態様に対応した逆変換処理を実行する。

図４に示す高域ノイズ低減部１０４は、このように、図７に示すフローチャートに従ったステップＳ１１〜Ｓ１５の処理、すなわち、以下の処理を順次、実行してノイズ低減された高域信号画像を生成する。
（Ｓ１１）局所領域単位の高域信号画像に対する２次元ウェーブレット変換処理、
（Ｓ１２）１次元ウェーブレット変換処理、
（Ｓ１３）シュリンケージ処理、
（Ｓ１４）１次元ウェーブレット逆変換処理、
（Ｓ１５）２次元ウェーブレット逆変換処理、
図４に示す高域ノイズ低減部１０４は、これらの処理を行なうことで、ノイズ低減された高域信号画像を生成する。

この図７に示すフローに従ったノイズ低減処理の１つの特徴について、図１５、図１６を参照して説明する。
図７に示すフローのステップＳ１１では、局所利用域対応の高域信号画像のおのおのに対して２次元ウェーブレット変換処理を実行している。
ＲＧＢベイヤ配列を有するＲＡＷ画像に対して、２次元ウェーブレット変換処理を行なうことで、ウェーブレット変換データを輝度信号（Ｙ）とその他のデータ、例えば色差信号とに区分して、その後の処理を行なうことが可能となる。

図１５、図１６は、ベイヤ配列を有するＲＡＷ画像に対する２次元ウェーブレット変換の具体的処理態様について説明する図である。
図１５は、処理対象となる４×４画素の高域信号画像データ２５１に対して、第１レベルの２次元ウェーブレット変換を実行して第１レベル２次元ウェーブレット変換データ２５２を生成する処理例を示している。
図１６は、図１５の処理によって生成した第１レベルウェーブレット変換データ２５２に対して、第２レベルの２次元ウェーブレット変換処理を施して、第２レベル２次元ウェーブレット変換データ２５３を生成する処理例を示している。

まず、図１５に示す処理について説明する。
図１５は、処理対象となる４×４画素の高域信号画像データ２５１に対して、第１レベルの２次元Ｈａａｒウェーブレット変換を実行して第１レベル２次元ウェーブレット変換データ２５２を生成する処理例である。
４×４画素の高域信号画像データ２５１は、ＲＧＢ各画素からなるベイヤ配列のＲＡＷ画像に基づいて生成した高域信号画像データである。

４×４画素の高域信号画像データ２５１は、図に示すように、Ｒ１〜Ｂ１６まで、ＲＧＢ各画素信号によって構成される。なお、この処理例では、Ｒ１〜Ｂ１６はすべて高域信号である。
この高域信号画像データ２５１に対して、第１レベルの２次元ウェーブレット変換を実行すると、図１６に示す信号（展開係数）：Ｙ１〜ｃ４によって構成される第１レベル２次元ウェーブレット変換データ２５２が生成される。
第１レベル２次元ウェーブレット変換データ２５２の構成信号（展開係数）：Ｙ１〜ｃ４は、高域信号画像データの構成信号：Ｒ１〜Ｂ１６に対する以下の変換式に従った演算処理によって算出される。

Ｙ１＝（Ｒ１＋Ｇ２＋Ｇ５＋Ｂ６）／２
Ｙ２＝（Ｒ３＋Ｇ４＋Ｇ７＋Ｂ８）／２
Ｙ３＝（Ｒ９＋Ｇ１０＋Ｇ１３＋Ｂ１４）／２
Ｙ４＝（Ｒ１１＋Ｇ１２＋Ｇ１５＋Ｂ１６）／２
ａ１＝（Ｒ１−Ｇ２＋Ｇ５−Ｂ６）／２
ａ２＝（Ｒ３−Ｇ４＋Ｇ７−Ｂ８）／２
ａ３＝（Ｒ９−Ｇ１０＋Ｇ１３−Ｂ１４）／２
ａ４＝（Ｒ１１−Ｇ１２＋Ｇ１５−Ｂ１６）／２
ｂ１＝（Ｒ１＋Ｇ２−Ｇ５−Ｂ６）／２
ｂ２＝（Ｒ３＋Ｇ４−Ｇ７−Ｂ８）／２
ｂ３＝（Ｒ９＋Ｇ１０−Ｇ１３−Ｂ１４）／２
ｂ４＝（Ｒ１１＋Ｇ１２−Ｇ１５−Ｂ１６）／２
ｃ１＝（Ｒ１−Ｇ２−Ｇ５＋Ｂ６）／２
ｃ２＝（Ｒ３−Ｇ４−Ｇ７＋Ｂ８）／２
ｃ３＝（Ｒ９−Ｇ１０−Ｇ１３＋Ｂ１４）／２
ｃ４＝（Ｒ１１−Ｇ１２−Ｇ１５＋Ｂ１６）／２

上記、変換式中、
Ｙ１＝（Ｒ１＋Ｇ２＋Ｇ５＋Ｂ６）／２
Ｙ２＝（Ｒ３＋Ｇ４＋Ｇ７＋Ｂ８）／２
Ｙ３＝（Ｒ９＋Ｇ１０＋Ｇ１３＋Ｂ１４）／２
Ｙ４＝（Ｒ１１＋Ｇ１２＋Ｇ１５＋Ｂ１６）／２
これらの４つの変換式は、いずれも輝度信号（Ｙ）の算出式に相当する。

ＲＧＢ信号から輝度（Ｙ）信号を算出する式は、
Ｙ＝Ｒ＋２Ｇ＋Ｂ
上記式であることが知られている。
図１５に示す２次元ウェーブレット変換に従って算出される第１レベル２次元ウェーブレット変換データ２５２の構成画素中、左上の１／４の画素は、すべて輝度信号（Ｙ）に相当するデータが変換値（展開係数）として設定されることになる。

なお、第１レベル２次元ウェーブレット変換データ２５２の構成画素中、左上の１／４の画素を除くその他の３／４の画素には、ａ１〜ａ４，ｂ１〜ｂ４，ｃ１〜ｃ４の各値が設定されるが、これらは、色差信号に相当する値となる。

図１６は、第１レベル２次元ウェーブレット変換データ２５２に対して、さらに２次元Ｈａａｒウェーブレット変換を実行した場合の処理例を示している。
第２レベルの２次元ウェーブレット変換は、第１レベル２次元ウェーブレット変換データ２５２の左上の１／４画素に対する変換処理として実行される。この結果、図に示す信号値（展開係数）：Ｙ１'〜ｃ４から構成される第２レベルウェーブレット変換データ２５３が生成される。

Ｙ１'〜Ｙ４'の各値は、以下の変換式によって算出される。
Ｙ１'＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／２
Ｙ２'＝（Ｙ１−Ｙ２＋Ｙ３−Ｙ４）／２
Ｙ３'＝（Ｙ１＋Ｙ２−Ｙ３−Ｙ４）／２
Ｙ４'＝（Ｙ１−Ｙ２−Ｙ３＋Ｙ４）／２
ａ１〜ｃ４は、第１レベル２次元ウェーブレット変換データ２５２の構成データのまま維持される。

この第２レベルの２次元ウェーブレット変換処理を行なっても、第２レベルウェーブレット変換データ２５３の構成データの左上の１／４の構成画素の信号はすべて輝度信号（Ｙ）によって生成された信号となる。

このように、ベイヤ配列のＲＡＷ画像に対して２次元ウェーブレット変換を実行した場合、その変換処理によって生成される信号値（展開係数）中、左上の１／４画素の構成データはすべて輝度信号によって構成される信号値となる。
なお、図１５、図１６では、第１〜２レベルの２次元ウェーブレット変換処理例のみを示しているが、さらに第３レベル以降の２次元ウェーブレット変換を実行した場合でも、その変換処理によって生成される信号値（展開係数）は、左上の１／４画素の構成データはすべて輝度信号によって構成される信号値となる。

本処理例の構成では、このように２次元ウェーブレット変換処理において、輝度信号（Ｙ）とその他の色差信号に相当する信号を分離し、この分離信号の各々に対してノイズ低減処理としてのシュリンケージを行う構成であるため、輝度、色差ともにバランスよくノイズ低減ができ、輝度だけでなく色のノイズ低減も精度よく行うことができる。

［２−６−２．（処理例２）２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理］
次に、処理例２として、２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理について説明する。
この処理例２の処理シーケンスについて、図１７に示すフローチャートを参照して説明する。この処理例２では、図１７に示す処理手順、すなわちステップＳ２１〜Ｓ２３を実行することでノイズ低減を実現する。
まず、フローに従って、一連の処理について簡単に説明し、その後、各処理の詳細について説明する。

（Ｓ２１）まず、図７に示す３次元データの各局所領域対応の高域信号画像、すなわちＸＹ面毎に２次元ウェーブレット変換を行ない、各局所領域対応高域信号画像単位の２次元ウェーブレット変換データを生成する。

（Ｓ２２）次に、ステップＳ２１で生成した各局所領域対応の２次元ウェーブレット変換データの同一のＸＹ位置毎の画素をＺ軸方向に並べた画素列に対して、εフィルタ（イプシロンフィルタ）を適用した変換処理を実行する。
この処理により、注目局所領域に対応する１つのフィルタ適用変換データを生成する。

（Ｓ２３）ステップＳ２２で生成した注目局所領域対応のフィルタ適用変換データに対して、２次元ウェーブレット逆変換を実行する。

これら、ステップＳ２１〜Ｓ２３の一連の処理を実行して、高域信号に含まれるノイズを低減する。
以下、各ステップの処理の詳細について説明する。

ステップＳ２１の処理は、先に説明した（処理例１）の図８に示すフローのステップＳ１１の処理と同様の処理である。すなわち、ステップＳ２１では、図７を参照して説明した３次元データ、すなわち、各局所領域対応の高域信号画像をｘｙ平面として、ｚ方向に配列した各局所領域対応の高域信号画像について、各局所領域の高域信号画像毎に２次元ウェーブレット変換を行なう。

２次元ウェーブレット変換処理は、先に図９、図１０を参照して説明した処理であり、画像に含まれる低周波成分から高周波成分を分離して、画像を所定の周波数成分単位の信号に分離する処理である。
具体的には、図１０（ａ２）に示すように、変換前の画素値ｖ１〜ｖ４に基づいて、変換後の値ＬＬ〜ＨＨが、以下の式によって算出される。
ＬＬ＝（ｖ１＋ｖ２＋ｖ３＋ｖ４）／２
ＨＬ＝（ｖ１−ｖ２＋ｖ３−ｖ４）／２
ＬＨ＝（ｖ１＋ｖ２−ｖ３−ｖ４）／２
ＨＨ＝（ｖ１−ｖ２−ｖ３＋ｖ４）／２

なお、先に図１５、図１６を参照して説明したように、この２次元ウェーブレット変換処理によって、各局所領域対応の高域信号画像を輝度（Ｙ）成分と、色差成分に分離することが可能となる。

次に、図１７に示すフローのステップＳ２２において実行するεフィルタ（イプシロンフィルタ）の適用処理について説明する。
ステップＳ２２では、ステップＳ２１で生成した各局所領域対応の２次元ウェーブレット変換データの同一のＸＹ位置毎の画素をＺ軸方向に並べた画素列に対して、εフィルタ（イプシロンフィルタ）を適用した変換処理を実行する。
この処理により、注目局所領域に対応する１つのフィルタ適用変換データを生成する。

εフィルタ（イプシロンフィルタ）は、以下の（式５）に従って、処理対象となる注目画素の信号値（ε（Ｖ））を算出するフィルタである。

上記式において、
ｖｒｅｆは、注目局所領域の画素値、
ｖｉは、ｖｒｅｆに対応する画素位置の各局所領域の画素値、
ｔｈは、予め規定したしきい値、
である。
Ｖ＝｛ｖ｜｜ｖｉ−ｖｒｅｆ｜＜ｔｈ｝は、注目局所領域の画素値（ｖｒｅｆ）との差分がしきい値（ｔｈ）未満の各局所領域（注目局所領域および類似局所領域）の画素値（ｖｉ）を選択する式である。
具体的には、上記（式５）は、注目局所領域の画素値（ｖｒｅｆ）との差分がしきい値（ｔｈ）未満の類似局所領域の画素値（ｖｉ）の平均値：ａｖｇ（Ｖ）を注目局所領域の画素の画素値：ε（Ｖ）として設定する式である。

すなわち、上記（式５）により、
ノイズ低減処理対象とする注目局所領域の画素、
注目局所領域の画素との画素値との差分の小さい類似局所領域の画素、
これらの画素のみを選択し、この選択された画素の平均値が、注目局所領域の画素の新たな画素値として設定される。
なお、上記（式５）の説明における「画素値」は、ここでは、２次元ウェーブレット変換後のデータであり、展開係数に相当する。

この（処理例２）において実行するεフィルタ（イプシロンフィルタ）の適用処理は、先の（処理例１）における図７のフローのステップＳ１２〜Ｓ１４の１次元ウェーブレット変換処理、シュリンケージ、１次元ウェーブレット逆変換処理、これらの一連の処理の代わりに実行する処理である。
εフィルタ（イプシロンフィルタ）適用処理は、（処理例１）のステップＳ１２〜Ｓ１４の処理に比較して軽い処理であり、比較的、処理能力の低い装置においても容易に実行可能であり、また処理時間も短縮できるというメリットがある。

最後に、図１７に示すフローのステップＳ２３において、ステップＳ２２で生成した注目局所領域に対応する１つのフィルタ適用変換データに対して、２次元ウェーブレット逆変換処理を実行する。
この２次元ウェーブレット逆変換処理は、先に図１０を参照して説明したとおり、図１０（ｂ２）に示す式、すなわち、以下の式に従って、展開係数ＬＬ〜ＨＨからｖ１〜ｖ４を算出する処理である。
ｖ１＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ）／２
ｖ２＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２
ｖ３＝（ＬＬ＋ＨＬ−ＬＨ−ＨＨ）／２
ｖ４＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ）／２

なお、前述したように、図１０に示す例は、２×２の４画素データに対する処理であり、例えば４×４画素など、多数の画素を持つ画像に対して処理を行なう場合、ウェーブレット逆変換処理も、ウェーブレット変換処理と同様、複数レベルの処理、すなわち多段階の処理を繰り返し実行する構成としてもよい。

ただし、図１７に示すステップＳ２３の２次元ウェーブレット逆変換処理は、ステップＳ２１の２次元ウェーブレット変換処理の逆の処理として実行する必要があり、ステップＳ２１の２次元ウェーブレット変換処理の処理態様に対応した逆変換処理を実行することが必要である。

（処理例２）を適用した構成では、図４に示す高域ノイズ低減部１０４は、図１７に示すフローチャートに従ったステップＳ２１〜Ｓ２３の処理、すなわち、以下の処理を順次、実行してノイズ低減された高域信号画像を生成する。
（Ｓ２１）局所領域単位の高域信号画像に対する２次元ウェーブレット変換処理、
（Ｓ２２）εフィルタ（イプシロンフィルタ）を適用した変換処理、
（Ｓ２３）２次元ウェーブレット逆変換処理、
図４に示す高域ノイズ低減部１０４は、これらの処理を行なうことで、ノイズ低減された高域信号画像を生成する。

なお、本処理例２の構成においても、先に説明した処理例１と同様、２次元ウェーブレット変換処理において、輝度信号（Ｙ）とその他の色差信号に相当する信号を分離し、この分離信号の各々に対してノイズ低減処理としてのεフィルタを適用した処理を行う構成であるため、輝度、色差ともにバランスよくノイズ低減ができ、輝度だけでなく色のノイズ低減も精度よく行うことができる。

［２−６−３．（処理例３）Ｚ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理］
次に、処理例３として、Ｚ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理について説明する。
この処理例３の処理シーケンスについて、図１８に示すフローチャートを参照して説明する。この処理例３では、図１８に示すステップＳ３１を実行することでノイズ低減を実現する。

ステップＳ３１は、以下の処理である。
（Ｓ３１）図７に示す３次元データの各局所領域対応の高域信号画像の同一のＸＹ位置毎の画素をＺ軸方向に並べた画素列に対して、εフィルタ（イプシロンフィルタ）を適用した変換処理を実行する。
この処理により、注目局所領域に対応する１つのフィルタ適用変換データを生成する。

この注目局所領域に対応する１つのフィルタ適用変換データをノイズ低減後の高域信号画像とする。

この（処理例３）は、先に図１７のフローチャートを参照して説明した（処理例２）のステップＳ２２の処理のみを実行する構成であり、ステップＳ２１の２次元ウェーブレット変換、およびステップＳ２３の２次元ウェーブレット逆変換を省略した構成に相当する。

本処理例３は、先に説明した（処理例１）、（処理例２）に比較して、非常に簡単な処理として実行可能であり、演算負荷が小さく、処理速度も速いというメリットがある。

［２−７．低域ノイズ低減部の処理について］
次に、図４に示すＲＡＷノイズ低減部３１における低域ノイズ低減部１０５の処理について説明する。

低域ノイズ低減部１０５は、帯域分離部１０３から入力する注目局所領域と類似局所領域の低域信号画像データを利用して、注目局所領域の低域成分に含まれるノイズを低減させる処理を実行する。
帯域分離部１０３からは、
１枚の注目局所領域に対応する低域信号画像、
ｎ枚の類似局所領域に対応するｎ枚の低域信号画像、
これらのｎ＋１枚の低域信号画像を入力される。
この信号は、先に高域ノイズ低減部１０４に対する入力データの構成として説明した図７に示す構成を持つデータである。

図７には、１つの注目局所領域と、ｎ個の類似局所領域の高域信号画像を示している。これらの高域信号画像は、高域ノイズ低減部１０４に入力される。
低域ノイズ低減部１０５には、図７に示す構成と同様の構成を持つ１つの注目局所領域と、ｎ個の類似局所領域の低域信号画像が入力される。
低域ノイズ低減部１０５は、これらｎ＋１枚の画像を利用したノイズ低減を行う。

なお、前述したように、帯域分離部１０３は、類似局所領域群データ１１３に含まれる注目局所領域と類似局所領域、各々の局所領域画像データに対して、先に説明した（式３）に従って、低域信号画像データ１１５の各画素値（Ａ^ｌｏｗ _ｘ，ｙ）を算出する。
先に説明したように、（式３）では、ＲＧＢ毎の局所領域内の平均（ＤＣ成分）を低域信号値（Ａ^ｌｏｗ _ｘ，ｙ）として算出する。ベイヤ配列の場合、ＲＧＢの３色が存在するので、（式３）に従って、各局所領域単位で、ＲＧＢ各々の低域信号値として３つの信号値が算出される。

低域ノイズ低減部１０５は、例えば図７に示すと同様の１つの注目局所領域と、ｎ個の類似局所領域の各局所領域に対応するＲＧＢ信号値を入力して、処理を行なう。
すなわち、
ｎ＋１個のＲ信号、
ｎ＋１個のＧ信号、
ｎ＋１個のＢ信号、
これらの各信号を利用して、注目局所領域対応の低域信号画像に含まれるノイズ低減を実行する。

低域ノイズ低減部１０５の実行するノイズ低減処理としては、様々な手法が適用可能である。以下、低域ノイズ低減部１０５の適用可能なノイズ低減処理の複数の例について説明する。以下の各処理例について、順次、説明する。
（処理例１）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対して１次元ウェーブレット変換シュリンケージを実行するノイズ低減処理
（処理例２）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理

［２−７−１．（処理例１）１次元ウェーブレット変換シュリンケージによるノイズ低減処理］
まず、処理例１として、１次元ウェーブレット変換シュリンケージによるノイズ低減処理について説明する。

この処理例１の処理シーケンスについて、図１９に示すフローチャートを参照して説明する。この処理例１では、図１９に示す処理手順、すなわちステップＳ５１〜Ｓ５３を実行することでノイズ低減を実現する。
まず、フローに従って、一連の処理について簡単に説明し、その後、各処理の詳細について説明する。

（Ｓ５１）まず、注目局所領域と複数の類似局所領域から、同一色（ＲまたはＧまたはＢ）の低域信号を並べた１次元データに対する１次元ウェーブレット変換処理を実行して、各色対応の１次元ウェーブレット変換データを生成する。

（Ｓ５２）次に、ステップＳ５１で生成した各色対応の１次元ウェーブレット変換データの各々に対して、シュリンケージ処理を実行する。

（Ｓ５３）ステップＳ５２で実行したシュリンケージ処理後の１次元ウェーブレット変換データに対して、１次元ウェーブレット逆変換を実行する。

これら、ステップＳ５１〜Ｓ５３の一連の処理を実行して、低域信号に含まれるノイズを低減する。
以下、各ステップの処理の詳細について説明する。

ステップＳ５１では、まず、注目局所領域と複数の類似局所領域から、同一色（ＲまたはＧまたはＢ）の低域信号を並べた１次元データに対する１次元ウェーブレット変換処理を実行して、各色対応の１次元ウェーブレット変換データを生成する。

処理対象とする１次元データは、図７に示すと同様の１つの注目局所領域と、ｎ個の類似局所領域の各局所領域に対応する同一色（ＲまたはＧまたはＢ）信号の低域信号列である。
すなわち、
ｎ＋１個のＲ信号からなる１次元データ、
ｎ＋１個のＧ信号からなる１次元データ、
ｎ＋１個のＢ信号からなる１次元データ、
これらの各１次元データに対して１次元ウェーブレット変換を実行する。

１次元ウェーブレット変換は、先に高域ノイズ低減部１０４の処理として、図１１、図１２を参照して説明したと同様の処理である。
図１２（ａ２）に示すように、変換前の画素値ｖ１〜ｖ２に基づいて、変換後の値Ｌ〜Ｈは、以下の式によって算出される。
Ｌ＝（ｖ１＋ｖ２）／√２
Ｈ＝（ｖ１−ｖ２）／√２

なお、図１２に示す例は、２画素データに対する処理として説明したが、例えば４画素など、多数の画素を持つ画像に対して処理を行なう場合、第１レベルの処理として２画素単位で上記算出式に従った変換を実行し、さらに、第２レベルの処理として、第１レベルの変換データに対して、上記算出式に従った処理を再度実行するという２レベルの処理を実行するなど、同様の変換処理を繰り返し実行する構成としてもよい。

次のステップＳ５２では、ステップＳ５１で生成した各色対応の１次元ウェーブレット変換データの各々に対して、シュリンケージ処理を実行する。
シュリンケージ処理は、先に高域ノイズ低減部１０４の処理として図１３、図１４を参照して説明した処理と同様の処理である。

先に説明したように、図１３（ａ）は、シュリンケージ処理による入出力データの一例を示すグラフを示す図であり、横軸が入力値、すなわち、ウェーブレット変換後の信号である展開係数である。
縦軸が、シュリンケージ処理後の展開係数の出力値である。
入力値の絶対値がしきい値（ｔｈ）未満の場合、その値が０に近づくように変革される。入力値の絶対値がしきい値（ｔｈ）以上の場合は、変更しない。

入力値の絶対値がしきい値（ｔｈ）未満の信号は、微小振幅の信号、すなわちノイズ成分を多く含む信号である。この部分の信号レベルを選択的に低下させることで、効果的なノイズ低減が実現される。なお、しきい値（ｔｈ）は、撮像素子（イメージセンサ）のノイズ特性に応じて決定し、予め画像処理装置内のメモリに格納しておく。

図１９に示すフローのステップＳ５２においては、ステップＳ５１において生成した各色対応の１次元ウェーブレット変換データの各々に対してシュリンケージ処理を実行する。
この処理によって、各色対応の１次元ウェーブレット変換データに設定された信号値（展開係数）は、少なくともその一部の値が変更される。

このシュリンケージ処理の後、図１９に示すフローチャートのステップＳ５３において、１次元ウェーブレット逆変換処理を実行する。
１次元ウェーブレット逆変換処理は、先に図１２を参照して説明したとおり、図１２（ｂ２）に示す式、すなわち、以下の式に従って、展開係数Ｌ，Ｈからｖ１，ｖ２を算出する処理である。
ｖ１＝（Ｌ＋Ｈ）／√２
ｖ２＝（Ｌ−Ｈ）／√２

この処理によって、ノイズ低減されたＲＧＢ各色対応の一次元データ列が生成される。
図４に示す低域ノイズ低減部１０５は、これらのＲＧＢ対応の一次元データ列を構成する注目局所領域のＲＧＢ各信号をノイズ低減後の低域信号として出力する。

図４に示す低域ノイズ低減部１０５は、このように、図１９に示すフローチャートに従ったステップＳ５１〜Ｓ５３の処理、すなわち、以下の処理を順次、実行してノイズ低減された低域信号画像を生成する。
（Ｓ５１）各局所領域対応のＲＧＢ各色低信号列に対する１次元ウェーブレット変換処理、
（Ｓ５２）シュリンケージ処理、
（Ｓ５３）１次元ウェーブレット逆変換処理、
図４に示す低域ノイズ低減部１０５は、これらの処理を行なうことで、ノイズ低減された低域信号画像を生成する。

［２−７−２．（処理例２）各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理］
次に、処理例２として、注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理について説明する。

この処理例２の処理シーケンスについて、図２０に示すフローチャートを参照して説明する。この処理例２では、図２０に示すステップＳ６１を実行することでノイズ低減を実現する。

ステップＳ６１は、以下の処理である。
（Ｓ６１）図７に示す３次元データの各局所領域、すなわち注目局所領域と複数の類似局所領域から、同一色（ＲまたはＧまたはＢ）の低域信号を並べた１次元データを生成し、これらの各１次元データに対してεフィルタ（イプシロンフィルタ）を適用した変換処理を実行して、各色対応のフィルタ適用変換データを生成する。
この処理により、注目局所領域に対応する１つのフィルタ適用変換データを生成する。

この注目局所領域に対応する１つのフィルタ適用変換データをノイズ低減後の低域信号画像とする。
εフィルタ（イプシロンフィルタ）は、先に説明した高域ノイズ低減部１０４の（処理例２）において、図１７のフローのステップＳ２２において適用したフィルタと同様のフィルタである。
すなわち、前述した（式５）に従って画素値変換を実行するフィルタである。
具体的には、先に（式５）を参照して説明したように、注目局所領域の画素値（ｖｒｅｆ）との差分がしきい値（ｔｈ）未満の類似局所領域の画素値（ｖｉ）の平均値：ａｖｇ（Ｖ）を注目局所領域の画素の画素値：ε（Ｖ）として設定するものである。

この（処理例２）において実行するεフィルタ（イプシロンフィルタ）の適用処理は、先の（処理例１）における１次元ウェーブレット変換処理、シュリンケージ、１次元ウェーブレット逆変換処理、これらの一連の処理の代替処理として行う処理である。εフィルタ（イプシロンフィルタ）適用処理は、これら一連の処理に比較して、軽い処理であり、比較的、処理能力の低い装置においても容易に実行可能となり、また処理時間も短縮できるというメリットがある。

［２−８．帯域合成部の処理について］
次に、図４に示すＲＡＷノイズ低減部３１における帯域合成部１０６の処理について説明する。
帯域合成部１０６は、以下の各信号を入力する。
高域ノイズ低減部１０４から出力された注目局所領域に対応するノイズ低減後の高域信号、
低域ノイズ低減部１０５から出力された注目局所領域に対応するノイズ低減後の低域信号、
帯域合成部１０６は、これらの各信号を入力し、注目局所領域のノイズ低減高域信号と、ノイズ低減低域信号を合成して、合成結果を図４に示すノイズ低減（ＮＲ）局所領域画像１１６として出力する。

帯域合成部１０６は、高域成分と低域成分を加算して合成処理を行なう。
先に説明した帯域分離部１０３は、前述した（式４）、すなわち、以下に示す（式４）に従って、高域信号の各画素値（Ａ^ｈｉｇｈ _ｘ，ｙ）を算出していた。
Ａ^ｈｉｇｈ _ｘ，ｙ＝Ａ_ｘ，ｙ−Ａ^ｌｏｗ _ｘ，ｙ ・・・（式４）
ただし、上記（式４）において、各パラメータは以下の通りである。
Ａ：処理対象画像の各画素色、ベイヤ配列の場合Ｒ，Ｇ，Ｂのいずれか
Ａ_ｘ，ｙ：処理対象となる入力局所領域画像の座標（ｘ，ｙ）位置の画素値
Ａ^ｌｏｗ _ｘ，ｙ：低域信号画像データの座標（ｘ，ｙ）位置の画素値
Ａ^ｈｉｇｈ _ｘ，ｙ：高域信号画像データの座標（ｘ，ｙ）位置の画素値

帯域合成部１０６は、高域信号の画素値（Ａ^ｈｉｇｈ _ｘ，ｙ）と、低域信号の画素値（Ａ^ｌｏｗ _ｘ，ｙ）を入力し、入力局所領域画像の座標（ｘ，ｙ）位置の画素値（Ａ_ｘ，ｙ）を算出する。画素値（Ａ_ｘ，ｙ）は、上記（式４）から導かれる以下の（式６）に従って算出可能となる。
Ａ_ｘ，ｙ＝Ａ^ｈｉｇｈ _ｘ，ｙ＋Ａ^ｌｏｗ _ｘ，ｙ ・・・（式６）
ただし、上記（式６）において、各パラメータは、上記（式４）と同様であり、以下の通りである。
Ａ：処理対象画像の各画素色、ベイヤ配列の場合Ｒ，Ｇ，Ｂのいずれか
Ａ_ｘ，ｙ：処理対象となる入力局所領域画像の座標（ｘ，ｙ）位置の画素値
Ａ^ｌｏｗ _ｘ，ｙ：低域信号画像データの座標（ｘ，ｙ）位置の画素値
Ａ^ｈｉｇｈ _ｘ，ｙ：高域信号画像データの座標（ｘ，ｙ）位置の画素値

帯域合成部１０６は、上記（式６）に従って、注目局所領域に対するノイズ低減処理を施した画像、すなわちノイズ低減局所領域画像１１６を生成して局所領域合成部１０７に出力する。

なお、図４に示すＲＡＷノイズ低減部３１の構成中、局所領域選択部１０１から帯域合成部１０６までの処理は、局所領域選択部１０１で選択される注目局所領域単位で実行される。
局所領域選択部１０１は、例えば、１画素〜数画素ずつずらして、順次、注目局所領域を選択する。
注目局所領域の設定態様としては、様々な態様が可能であるが、例えば１画素ずつずらして、順次、注目局所領域を設定する。すなわち、各注目局所領域が重複領域を持つように注目局所領域の設定を行なう。

これにより、帯域合成部１０６は、ノイズ低減された注目局所領域画像を次々に出力し、出力されたノイズ低減注目局所領域画像は、重複領域を含む画像となる。

［２−９．局所領域合成部の処理について］
局所領域合成部１０７は、帯域合成部１０６からノイズ低減された局所領域画像であるノイズ低減局所領域画像１１６を、順次入力し、入力する局所領域画像を合成して１枚のノイズ低減ＲＡＷ画像１１７を生成して出力する。

帯域合成部１０６から入力するノイズ低減局所領域画像１１６は、局所領域選択部１０１が、順次選択した注目局所領域に対応するノイズ低減局所領域画像である。
局所領域選択部１０１は、入力画像であるＲＡＷ画像５１から、ノイズ低減処理対象とする注目局所領域を、少しずつ画素位置をずらして設定する。これらの注目局所領域は、例えば重複する画素領域を有する局所領域となる。

従って、帯域合成部１０６から、順次入力するノイズ低減局所領域画像１１６も、重複する画素領域を持つ画像データであり、局所領域合成部１０７は、これらの重複領域を考慮して合成処理を行なう。例えば１つの画素に対して、ｎ枚のノイズ低減局所領域画像が入力されている場合、各ノイズ低減局所領域画像の対応画素値を加算し、重複数ｎで除算して、最終的な画素値を算出する。

帯域合成部１０６から入力する重複画素領域を有するノイズ低減局所領域画像の設定例を図２１に示す。図２１には、それぞれ４×４画素の４つのノイズ低減局所領域画像２８１〜２８４を示している。
これらの各領域は重複画素領域を有している。

例えば、図２１に斜線で示す４つの画素は、４×４画素の４つのノイズ低減局所領域画像２８１〜２８４のすべてに含まれる画素領域である。
これらの斜線部で示す４画素については、４つのノイズ低減局所領域画像２８１〜２８４の各々に画素値が設定されている。
この場合、局所領域合成部１０７は、斜線部で示す４画素（Ｒ，Ｇ，Ｇ，Ｂ）の各々については、以下の４つの各局所領域画素に設定された画素値の平均値を算出して、ノイズ低減ＲＡＷ画像１１７の画素値として設定する。

すなわち、
ノイズ低減局所領域画像２８１に設定された画素値ａ、
ノイズ低減局所領域画像２８２に設定された画素値ｂ、
ノイズ低減局所領域画像２８３に設定された画素値ｃ、
ノイズ低減局所領域画像２８４に設定された画素値ｄ、
これらのａ，ｂ，ｃ，ｄの各画素値の加算平均値、
Ｘ＝（ａ＋ｂ＋ｃ＋ｄ）／４
上記算出式によって算出する値Ｘを、ノイズ低減ＲＡＷ画像１１７の画素値として設定する。
このように、複数のノイズ低減局所領域画像の対応画素値の平均化処理により、最終出力画像の画素値を設定することで、出力画像におけるノイズ低減の精度をさらに高めることがきる。

［３．ノイズ低減処理の全体シーケンスについて］
次に、上述したＲＡＷ画像に対するノイズ低減処理、すなわち、図４に示す構成を有するＲＡＷノイズ低減部３１の実行するノイズ低減処理の全体シーケンスについて、図２２に示すフローチャートを参照して説明する。

なお、図２２に示す処理は、図１、図３、図４を参照して説明した撮像装置１０の画像処理部１６のＲＡＷノイズ低減部３１において実行される処理である。この処理は、例えば、図１に示す撮像装置１０のメモリ１８に格納されたプログラムに従って制御部２５が画像処理部１６の制御を実行して行われる。
以下、図２２に示すフローチャートの各ステップの処理について説明する。

（Ｓ１０１）
まず、ステップＳ１０１において、撮像素子から入力された例えばＲＧＢベイヤ配列を持つ特定の色フィルタ配列の撮像画像であるＲＡＷ画像を入力し、ＲＡＷ画像から、ノイズ低減対象とする局所領域を注目局所領域として選択する。
この処理は、図４に示す局所領域選択部１０１の実行する処理である。例えば、ｎ×ｎ画素の注目局所領域を選択する

（Ｓ１０２）
次に、ステップＳ１０２において、ステップＳ１０１で選択した注目局所領域の周辺から、注目局所領域との類似度が高く、かつ、注目局所領域の位相と同位相の類似局所領域を複数選択する。
この処理は、図４に示す類似局所領域選択部１０２の実行する処理である。
この処理は、先に図５を参照して説明したように、例えば、局所領域選択部１０１がノイズ低減処理対象領域として選択した注目局所領域Ｐｒ２１０を中心として設定した探索領域２０２から、注目局所領域Ｐｒ２１０と位相が同一で類似性の高い局所領域Ｐｉ（ｉ＝１，２，３・・・）を類似度の高い順から、予め規定した数、探索して抽出する処理である。

なお、類似度は、各局所領域間の画素値に基づく差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用する。注目局所領域とのＳＡＤあるいはＳＳＤの値が小さい局所領域を順次、選択する。

（Ｓ１０３）
次に、ステップＳ１０３において、ステップＳ１０１およびステップＳ１０２で選択した局所領域群、すなわち、注目局所領域と複数の類似局所領域によって構成される局所領域群の各々に対して、帯域分離処理を行う。具体的には、各局所領域の画素信号を低域信号と高域信号とに分離する。
この処理は、図４に示す帯域分離部１０３の実行する処理であり、先に図６を参照して説明した処理である。例えば、前述の（式３）、（式４）を適用して各局所領域に対応する低域信号画像と高域信号画像を生成する。

（Ｓ１０４）
次に、ステップＳ１０４において、Ｓ１０３で生成した注目局所領域と複数の類似局所領域各々に対応する高域信号画像と、低域信号画像、それぞれに対するノイズ低減処理を行う。すなわち、高域と低域の各帯域別にノイズ低減処理を実行する。
この処理は、図４に示す高域ノイズ低減部１０４と、低域ノイズ低減部１０５の実行する処理である。

高域ノイズ低減部１０４は、例えば、先に図７を参照して説明した各局所領域の高域信号画像からなる３次元データを生成し、この３次元データを適用して高域信号に含まれるノイズ低減処理を実行する。

具体的には、先に、図８〜図１８を参照して説明したように、以下の（処理例１）〜（処理例３）のいずれかに従ったノイズ低減処理を実行する。
（処理例１）図８に示すフローチャートに従った３元ウェーブレットシュリンケージによるノイズ低減処理
（処理例２）図１７に示すフローチャートに従った２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理
（処理例３）図１８に示すフローチャートに従ったＺ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理
高域ノイズ低減部１０４は、図７に示す各局所領域の高域信号画像からなる３次元データを適用して、上記の（処理例１）〜（処理例３）のいずれかを実行して高域信号に含まれるノイズ低減処理を実行する。

低域ノイズ低減部１０５も、高域ノイズ低減部１０４と同様、図７に示す各局所領域の高域信号画像と同様の各局所領域の低域信号画像からなる３次元データを生成し、この３次元データを適用して低域信号に含まれるノイズ低減処理を実行する。

具体的には、先に、図１９〜図２０を参照して説明したように、以下の（処理例１）〜（処理例２）のいずれかに従ったノイズ低減処理を実行する。
（処理例１）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対して１次元ウェーブレット変換シュリンケージを実行するノイズ低減処理
（処理例２）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理

低域ノイズ低減部１０５は、図７に示す各局所領域の高域信号画像と同様の各局所領域の低域信号画像からなる３次元データを生成し、この３次元データを適用して、上記の（処理例１）〜（処理例２）のいずれかを実行して低域信号に含まれるノイズ低減処理を実行する。

（Ｓ１０５）
次に、ステップＳ１０５において、ステップＳ１０４でノイズ低減された各帯域信号を合成して、ノイズ低減局所領域画像を生成する。
この処理は、図４に示す帯域合成部１０６の実行する処理である。

帯域合成部１０６は、以下の各信号を入力する。
高域ノイズ低減部１０４から出力された注目局所領域に対応するノイズ低減後の高域信号、
低域ノイズ低減部１０５から出力された注目局所領域に対応するノイズ低減後の低域信号、
帯域合成部１０６は、これらの各信号を入力し、これら、注目局所領域のノイズ低減高域信号と、ノイズ低減低域信号を合成して、合成結果を、図４に示すノイズ低減（ＮＲ）局所領域画像１１６として出力する。
この合成処理結果としての信号値（画素値）は、先に説明した（式６）に従って算出可能である。
Ａ_ｘ，ｙ＝Ａ^ｈｉｇｈ _ｘ，ｙ＋Ａ^ｌｏｗ _ｘ，ｙ ・・・（式６）
ただし、上記（式６）において、各パラメータは以下の通りである。
Ａ：処理対象画像の各画素色、ベイヤ配列の場合Ｒ，Ｇ，Ｂのいずれか
Ａ_ｘ，ｙ：処理対象となる入力局所領域画像の座標（ｘ，ｙ）位置の画素値
Ａ^ｌｏｗ _ｘ，ｙ：低域信号画像データの座標（ｘ，ｙ）位置の画素値
Ａ^ｈｉｇｈ _ｘ，ｙ：高域信号画像データの座標（ｘ，ｙ）位置の画素値
帯域合成部１０６は、上記（式６）に従って、注目局所領域に対するノイズ低減がなされたノイズ低減局所領域画像１１６を生成して局所領域合成部１０７に出力する。

（Ｓ１０６）
次に、ステップＳ１０６において、画像全体についての処理が完了したか否かを判定する。具体的には、ステップＳ１０１で、順次、選択した注目局所領域が入力画像の全領域を網羅したか否かを判定する。
ステップＳ１０１で、順次、選択した注目局所領域が入力画像の全領域を網羅し、画像全体についての処理が完了したと判定した場合は、ステップＳ１０７に進み、未処理領域がある場合は、ステップＳ１０１に戻り、未処理領域の処理、すなわち新たな注目局所領域の選択を行う。

（Ｓ１０７）
ステップＳ１０６で全ての画像領域の処理が完了したと判定すると、ステップＳ１０７において、Ｓ１０１〜Ｓ１０６の繰り返しで得られたノイズ低減された局所領域の合成処理を実行して、ノイズ低減ＲＡＷ画像を生成して出力する。
この処理は、図４に示す局所領域合成部１０７の実行する処理である。

局所領域合成部１０７は、図４に示すように、帯域合成部１０６からノイズ低減された局所領域画像であるノイズ低減局所領域画像１１６を、順次入力し、入力する局所領域画像を合成して１枚のノイズ低減ＲＡＷ画像１１７を生成して出力する。

先に図２１を参照して説明したように、帯域合成部１０６から入力するノイズ低減局所領域画像１１６は、例えば重複領域を有する局所領域画像データであり、局所領域合成部１０７は、これらの重複領域を考慮して合成処理を行なう。例えば１つの画素に対して、ｎ枚のノイズ低減局所領域画像が入力されている場合、各ノイズ低減局所領域画像の対応画素値を加算し、重複数ｎで除算して、最終的な画素値を算出する。

図１に示す撮像装置１０の画像処理部１６におけるＲＡＷノイズ低減部３１は、これらの処理によって、ノイズ低減されたＲＡＷ画像を生成して、次段のカメラ信号処理部３２に出力する。
カメラ信号処理部３２は、ＲＡＷノイズ低減部３１からノイズ低減された色配列画像（ＲＡＷ画像）を入力し、各画素に全色を信号処理によって復元するデモザイク処理や、その他の一般的なカメラ信号処理を実行し、出力画像を生成してメモリ格納用画像、あるいは表示部に対する表示用画像として出力する。

［４．本開示の画像処理装置の実行するノイズ低減処理の第２実施例について］
次に、図１に示す撮像装置１０の画像処理部１６の実行するノイズ低減処理の第２の実施例について説明する。

本第２実施例においても、撮像装置１０の構成は、第１実施例と同様、図１に示す構成を持つ。
また、画像処理部１６の構成も第１実施例と同様、図３に示す構成であり、ＲＡＷノイズ低減部３１と、カメラ信号処理部３２を有する。

ただし、ＲＡＷノイズ低減部３１の構成が、先に第１実施例において説明した図４に示す構成とは異なる構成となる。
この第２実施例におけるＲＡＷノイズ低減部３１の構成を図２３に示す。

図２３に示す第２実施例におけるＲＡＷノイズ低減部３１の構成の多くは、先に図４を参照して説明した第１実施例のＲＡＷノイズ低減部の構成と共通の構成である。
図２３に示す第２実施例におけるＲＡＷノイズ低減部３１は、図４を参照して説明した第１実施例のＲＡＷノイズ低減部にはない基準色算出部３０１を有する。

基準色算出部３０１は、撮像素子（イメージセンサ）で撮像され、各画素に特定の一色のみが設定されたＲＡＷ画像５１を入力し、入力ＲＡＷ画像５１の各画素位置に対応する基準色、例えば、輝（Ｙ）度を算出して、これを基準色画像３１１として、類似局所領域選択部１０２に出力する。
なお、基準色算出部３０１が、撮像素子（イメージセンサ）から入力するＲＡＷ画像は、例えば先に図２を参照して説明したような、各画素にＲＧＢのいずれか一色の画素値のみが設定されたベイヤ配列を持つＲＡＷ画像である。

基準色算出部３０１の実行する処理について、図２４を参照して説明する。
図２４（ａ）は、基準色算出部３０１が、撮像素子（イメージセンサ）から入力するＲＡＷ画像５１である。
図２４（ｂ）は、基準色算出部３０１が、ＲＡＷ画像５１に基づいて生成する基準色画像（輝度（Ｙ）画像）である。

基準色算出部３０１は、図２４（ｂ）に示すように、全画素位置に基準色（輝度（Ｙ））を設定する。
ＲＡＷ画像５１の各画素位置に対応する基準色（輝度（Ｙ））の算出処理手法としては様々な手法が適用可能である。その一例として、例えば、図２４（ｃ）に示すローパスフィルタ（ＬＰＦ）を適用する処理がある。
図２４（ｃ）に示すローパスフィルタは、５×５画素に対応した構成を有し、ＲＡＷ画像の５×５画素単位で、その中心位置の基準色（輝度（Ｙ））を算出するために適用する。

例えば、図２５に示すように。ＲＡＷ画像５１の１つのＧ画素３２１に対応する基準色（Ｙ）画素値３２３を算出する場合、Ｇ画素３２１を中心とした５×５画素領域３２２を設定し、この５×５画素領域３２２の各画素の画素値に、図２５（ｃ）のＬＰＦの対応画素位置の係数を乗算し、各画素の乗算結果を全て加算する演算処理を実行して基準色（Ｙ）画素値３２３を算出する。
ＲＡＷ画像５１の構成画素に対してこのようなＬＰＦ適用処理を行なって、ＲＡＷ画像５１の各画素位置に対応する基準色画素値を算出し、その結果を図２４（ｂ）に示す基準色画像３１１として、図２３に示すように類似局所領域選択部１０２に出力する。

図２４（ｃ）および、図２５（ｃ）に示すようなローパスフィルタ（ＬＰＦ）を適用することで、入力ＲＡＷ画像５１のサンプリング周波数より低域の基準色（輝度（Ｙ））を全画素に設定することができる。なお、本例では、図２４（ｃ）に示すフィルタの適用処理によってＲＧＢが寄与する輝度相当の基準色を算出しているが、例えばＲＡＷ画像５１のＧ画素情報のみを適用して基準色を算出する設定としてもよい。

類似局所領域選択部１０２は、
局所領域選択部１０１で選択された注目局所領域、
基準色算出部３０１の生成した基準色画像３１１、
これらを入力する。

類似局所領域選択部１０２は、先に説明した実施例１と同様、局所領域選択部１０１で選択された注目局所領域と位相が同じで、かつ類似性の高い複数の類似局所領域を、注目局所領域周辺の領域から探索し選択する。

先に説明した実施例１では、類似局所領域選択部１０２は、類似性の判断に、ＲＡＷ画像５１を適用した処理を実行していた。すなわち、例えば、各局所領域間の画素値に基づく差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用し、注目局所領域とのＳＡＤあるいはＳＳＤの値が小さい局所領域を順次、選択する処理を実行していた。

これに対して、本実施例２の類似局所領域選択部１０２は、類似性の判断に、ＲＡＷ画像５１ではなく、基準色画像３１１を適用する。
位相判定には、ＲＡＷ画像５１を適用するが、その後の類似性判定には、基準色画像３１１を適用する。
基準色画像３１１の構成画素値に基づいて差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ）を算出し、注目局所領域とのＳＡＤあるいはＳＳＤの値が小さい局所領域を順次、選択する。

基準色画像３１１はＲＡＷ画像５１より周波数的に低い信号によって構成されているため、類似局所領域探索がノイズに対してロバストになるというメリットがあり、安定した類似性判定結果を生成することができる。

［５．第２実施例のノイズ低減処理シーケンスについて］
次に、上述した第２実施例のＲＡＷ画像に対するノイズ低減処理、すなわち、図２３に示す構成を有するＲＡＷノイズ低減部３１の実行するノイズ低減処理の全体シーケンスについて、図２６に示すフローチャートを参照して説明する。

なお、図２６に示す処理は、図１、図３、図２３を参照して説明した撮像装置１０の画像処理部１６のＲＡＷノイズ低減部３１において実行される処理である。この処理は、例えば、図１に示す撮像装置１０のメモリ１８に格納されたプログラムに従って制御部２５が画像処理部１６の制御を実行して行われる。
以下、図２６に示すフローチャートの各ステップの処理について説明する。

図２６に示すフローのステップＳ２０２〜Ｓ２０８の処理手順は、先に実施例１において説明した図２２に示すフローのステップＳ１０１〜Ｓ１０７の処理手順と同様であり、図２６に示すフローは、図２２に示すフローのステップＳ１０１の処理の前に、図２６に示すステップＳ２０１の処理を追加した点が異なる。
以下、実施例２におけるノイズ低減処理について説明する。

（Ｓ２０１）
まず、ステップＳ２０１において、撮像素子から入力された例えばＲＧＢベイヤ配列を持つ特定の色フィルタ配列の撮像画像であるＲＡＷ画像を入力し、ＲＡＷ画像の各画素に対応する基準色、例えば輝度値（Ｙ）を算出し、ＲＡＷ画像の全画素に基準色を設定した基準色画像を生成する。
この処理は、図２３に示す基準色算出部３０１の実行する処理である。
基準色算出部３０１は、例えば、先に図２４、図２５を参照して説明したように、ローパスフィルタを適用して、ＲＡＷ画像の各画素に設定する基準色、たとえば輝度値（Ｙ）の画素値を算出し、基準色画像を生成する。

（Ｓ２０２）
ステップＳ２０２において、撮像素子から入力された例えばＲＧＢベイヤ配列を持つ特定の色フィルタ配列の撮像画像であるＲＡＷ画像を入力し、ＲＡＷ画像から、ノイズ低減対象とする局所領域を注目局所領域として選択する。
この処理は、図２３に示す局所領域選択部１０１の実行する処理である。例えば、ｎ×ｎ画素の注目局所領域を選択する

（Ｓ２０３）
次に、ステップＳ２０３において、ステップＳ２０１で選択した注目局所領域の周辺から、注目局所領域との類似度が高く、かつ、注目局所領域の位相と同位相の類似局所領域を複数選択する。
この処理は、図２３に示す類似局所領域選択部１０２の実行する処理である。
この処理は、先に図５を参照して説明したように、例えば、局所領域選択部１０１がノイズ低減処理対象領域として選択した注目局所領域Ｐｒ２１０を中心として設定した探索領域２０２から、注目局所領域Ｐｒ２１０と位相が同一で類似性の高い局所領域Ｐｉ（ｉ＝１，２，３・・・）を類似度の高い順から、予め規定した数、探索して抽出する処理である。

なお、本実施例において、類似度は、ステップＳ２０１で基準色算出部３０１の生成した基準色画像を用いて実行する。基準色画像における各局所領域間の画素値に基づく差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用する。注目局所領域とのＳＡＤあるいはＳＳＤの値が小さい局所領域を順次、選択する。

（Ｓ２０４）
次に、ステップＳ２０４において、ステップ２０２およびステップＳ２０３で選択した局所領域群、すなわち、注目局所領域と複数の類似局所領域によって構成される局所領域群の各々に対して、帯域分離処理を行う。具体的には、各局所領域の画素信号を低域信号と高域信号とに分離する。
この処理は、図２３に示す帯域分離部１０３の実行する処理であり、先に図６を参照して説明した処理である。例えば、前述の（式３）、（式４）を適用して各局所領域に対応する低域信号画像と高域信号画像を生成する。

（Ｓ２０５）
次に、ステップＳ２０５において、Ｓ２０４で生成した注目局所領域と複数の類似局所領域各々に対応する高域信号画像と、低域信号画像、それぞれに対するノイズ低減処理を行う。すなわち、高域と低域の各帯域別にノイズ低減処理を実行する。
この処理は、図２３に示す高域ノイズ低減部１０４と、低域ノイズ低減部１０５の実行する処理である。

高域ノイズ低減部１０４は、例えば、先に図７を参照して説明した各局所領域の高域信号画像からなる３次元データを生成し、この３次元データを適用して高域信号に含まれるノイズ低減処理を実行する。

具体的には、先に、図８〜図１８を参照して説明したように、以下の（処理例１）〜（処理例３）のいずれかに従ったノイズ低減処理を実行する。
（処理例１）図８に示すフローチャートに従った３元ウェーブレットシュリンケージによるノイズ低減処理
（処理例２）図１７に示すフローチャートに従った２次元ウェーブレット変換＋εフィルタ（イプシロンフィルタ）によるノイズ低減処理
（処理例３）図１８に示すフローチャートに従ったＺ方向のεフィルタ（イプシロンフィルタ）によるノイズ低減処理
高域ノイズ低減部１０４は、図７に示す各局所領域の高域信号画像からなる３次元データを適用して、上記の（処理例１）〜（処理例３）のいずれかを実行して高域信号に含まれるノイズ低減処理を実行する。

低域ノイズ低減部１０５も、高域ノイズ低減部１０４と同様、図７に示す各局所領域の高域信号画像と同様の各局所領域の低域信号画像からなる３次元データを生成し、この３次元データを適用して低域信号に含まれるノイズ低減処理を実行する。

具体的には、先に、図１９〜図２０を参照して説明したように、以下の（処理例１）〜（処理例２）のいずれかに従ったノイズ低減処理を実行する。
（処理例１）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対して１次元ウェーブレット変換シュリンケージを実行するノイズ低減処理
（処理例２）注目局所領域と複数の類似局所領域の各局所領域単位の同一色（ＲまたはＧまたはＢ）の平均（ＤＣ）信号からなる１次元データ各々に対してεフィルタ（イプシロンフィルタ）を適用するノイズ低減処理

低域ノイズ低減部１０５は、図７に示す各局所領域の高域信号画像と同様の各局所領域の低域信号画像からなる３次元データを生成し、この３次元データを適用して、上記の（処理例１）〜（処理例２）のいずれかを実行して低域信号に含まれるノイズ低減処理を実行する。

（Ｓ２０６）
次に、ステップＳ２０６において、ステップＳ２０５でノイズ低減された各帯域信号を合成して、ノイズ低減局所領域画像を生成する。
この処理は、図２３に示す帯域合成部１０６の実行する処理である。

帯域合成部１０６は、以下の各信号を入力する。
高域ノイズ低減部１０４から出力された注目局所領域に対応するノイズ低減後の高域信号、
低域ノイズ低減部１０５から出力された注目局所領域に対応するノイズ低減後の低域信号、
帯域合成部１０６は、これらの各信号を入力し、これら、注目局所領域のノイズ低減高域信号と、ノイズ低減低域信号を合成して、合成結果を、図４に示すノイズ低減（ＮＲ）局所領域画像１１６として出力する。
この合成処理結果としての信号値（画素値）は、先に説明した（式６）に従って算出可能である。
Ａ_ｘ，ｙ＝Ａ^ｈｉｇｈ _ｘ，ｙ＋Ａ^ｌｏｗ _ｘ，ｙ ・・・（式６）
ただし、上記（式６）において、各パラメータは以下の通りである。
Ａ：処理対象画像の各画素色、ベイヤ配列の場合Ｒ，Ｇ，Ｂのいずれか
Ａ_ｘ，ｙ：処理対象となる入力局所領域画像の座標（ｘ，ｙ）位置の画素値
Ａ^ｌｏｗ _ｘ，ｙ：低域信号画像データの座標（ｘ，ｙ）位置の画素値
Ａ^ｈｉｇｈ _ｘ，ｙ：高域信号画像データの座標（ｘ，ｙ）位置の画素値
帯域合成部１０６は、上記（式６）に従って、注目局所領域に対するノイズ低減がなされたノイズ低減局所領域画像１１６を生成して局所領域合成部１０７に出力する。

（Ｓ２０７）
次に、ステップＳ２０７において、画像全体についての処理が完了したか否かを判定する。具体的には、ステップＳ２０２で、順次、選択した注目局所領域が入力画像の全領域を網羅したか否かを判定する。
ステップＳ２０２で、順次、選択した注目局所領域が入力画像の全領域を網羅し、画像全体についての処理が完了したと判定した場合は、ステップＳ２０８に進み、未処理領域がある場合は、ステップＳ２０２に戻り、未処理領域の処理、すなわち新たな注目局所領域の選択を行う。

（Ｓ２０８）
ステップＳ２０７で全ての画像領域の処理が完了したと判定すると、ステップＳ２０８において、Ｓ２０２〜Ｓ２０７の繰り返しで得られたノイズ低減された局所領域の合成処理を実行して、ノイズ低減ＲＡＷ画像を生成して出力する。
この処理は、図２３に示す局所領域合成部１０７の実行する処理である。

局所領域合成部１０７は、図２３に示すように、帯域合成部１０６からノイズ低減された局所領域画像であるノイズ低減局所領域画像１１６を、順次入力し、入力する局所領域画像を合成して１枚のノイズ低減ＲＡＷ画像１１７を生成して出力する。

先に図２１を参照して説明したように、帯域合成部１０６から入力するノイズ低減局所領域画像１１６は、例えば重複領域を有する局所領域画像データであり、局所領域合成部１０７は、これらの重複領域を考慮して合成処理を行なう。例えば１つの画素に対して、ｎ枚のノイズ低減局所領域画像が入力されている場合、各ノイズ低減局所領域画像の対応画素値を加算し、重複数ｎで除算して、最終的な画素値を算出する。

本実施例２では、図１に示す撮像装置１０の画像処理部１６におけるＲＡＷノイズ低減部３１は、これらの処理によって、ノイズ低減されたＲＡＷ画像を生成して、次段のカメラ信号処理部３２に出力する。
カメラ信号処理部３２は、ＲＡＷノイズ低減部３１からノイズ低減された色配列画像（ＲＡＷ画像）を入力し、各画素に全色を信号処理によって復元するデモザイク処理や、その他の一般的なカメラ信号処理を実行し、出力画像を生成してメモリ格納用画像、あるいは表示部に対する表示用画像として出力する。

なお、上述した実施例においては、処理対象画像とするＲＡＷ画像をベイヤ配列を有する画像として説明したが、本開示の処理は、ベイヤ配列に限らず、その他の色配列のＲＡＷ画像に対しても適用することができる。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記画像処理部は、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択部と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択部と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離部と、
前記帯域分離部の生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減部と、
前記帯域別ノイズ低減部の生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成部と、
前記帯域合成部の生成するノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成部を有する画像処理装置。

（２）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
（ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｃ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｄ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
（ｅ）前記１次元ウェーブレット逆変換処理後のデータによって構成される注目局所領域対応のｘｙ平面信号に対する２次元ウェーブレット逆変換処理、
上記（ａ）〜（ｅ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する前記（１）に記載の画像処理装置。

（３）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する前記（１）または（２）に記載の画像処理装置。

（４）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する前記（１）または（２）に記載の画像処理装置。

（５）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
（ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対するεフィルタ（イプシロンフィルタ）適用処理、
（ｃ）前記εフィルタ（イプシロンフィルタ）適用処理後のデータに対する２次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する前記（１）に記載の画像処理装置。

（６）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する前記（５）に記載の画像処理装置。

（７）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する前記（５）に記載の画像処理装置。

（８）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の高域信号のノイズ低減処理を実行する前記（１）に記載の画像処理装置。

（９）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する前記（８）に記載の画像処理装置。

（１０）前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、前記３次元データを適用した以下の処理、
（ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
（ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
（ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する前記（８）に記載の画像処理装置。

（１１）前記帯域分離部は、前記注目局所領域および前記類似局所領域各々の局所領域の色単位の平均値を各局所領域の各色対応低域信号として設定し、前記注目局所領域および前記類似局所領域各々の局所領域の各画素対応の高域信号を、
高域信号＝（各画素の画素値）−（各画素対応色平均値）
上記式に従って算出する前記（１）〜（１０）いずれかに記載の画像処理装置。

（１２）前記画像処理部は、さらに、前記ＲＡＷ画像に基づいて、前記ＲＡＷ画像の各画素位置に基準色画素値を設定した基準色画像を生成する基準色算出部を有し、前記類似局所領域選択部は、前記基準色画像を適用して前記注目局所領域との類似度を判定し、前記注目局所領域との類似度の高い類似局所領域を選択する前記（１）〜（１１）いずれかに記載の画像処理装置。

（１３）前記基準色画素値は輝度値である前記（１２）に記載の画像処理装置。
（１４）前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像である前記（１）〜（１３）いずれかに記載の画像処理装置。

（１５）前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像であり、前記帯域別ノイズ低減部は、前記注目局所領域と前記類似局所領域の帯域別信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、ｘｙ平面データである各局所領域の帯域別信号に対する２次元ウェーブレット変換処理を実行して、輝度信号とその他の信号との分離データを生成し、生成した分離データの各々を適用したノイズ低減を実行する前記（１）〜（１４）いずれかに記載の画像処理装置。

（１６）前記局所領域選択部は、前記注目局所領域を、重複画素領域を持つ設定として順次選択し、前記局所領域合成部は、重複画素領域を持つノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によるノイズ低減ＲＡＷ画像を生成する際に、複数のノイズ低減注目局所領域画像に含まれる重複画素領域の画素値の平均化処理を実行してノイズ低減ＲＡＷ画像の画素値設定を実行する前記（１）〜（１５）いずれかに記載の画像処理装置。

（１７）画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記画像処理部が、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行する画像処理方法。

（１８）画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ＲＡＷ画像に対するノイズ低減処理を実行する装置、方法が実現される。
具体的には、ＲＡＷ画像から注目局所領域と、注目局所領域と同一位相を持つ類似局所領域を選択し、これらの局所領域各々を高域信号と低域信号の帯域別信号に分離し、帯域別信号に含まれるノイズの低減処理を実行する。ノイズ低減処理においては、例えば高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、３次元データを適用して２次元ウェーブレット変換、１次元ウェーブレット変換、シュリンケージ処理、１次元および２次元のウェーブレット逆変換を実行して、注目領域のノイズ低減高域信号画像を生成する。
低域信号についても、やはり注目局所領域と類似局所領域データからなる３次元データを適用して、εフィルタを適用した処理、あるいは１次元ウェーブレット変換処理等により、ノイズ低減を実行する。
ノイズ低減された高域信号と低域信号の帯域合成を行ない、注目局所領域対応理ノイズ低減画像を生成し、さらに、各注目局所領域のノイズ低減画像を合成することで、ノイズ低減したＲＡＷ画像を生成する。

例えば本開示の一実施例の処理では、局所領域単位のノイズ低減を行なうため、画素位置毎にノイズ低減を行う従来手法に比べ精度のばらつきが生じるリスクが大幅に低減される。また、ノイズ低減処理された局所領域を合成して、最終的なノイズ低減画像にするため、合成によるノイズ低減効果の付加も期待できる。
また、画像の自己相似性を利用して、周辺から類似する局所領域を選択し、注目局所領域と類似局所領域によって構成される３次元データを利用して３次元ノイズ低減処理を行うことにより、高精度なノイズ低減が可能となる。
また、帯域分離を行った後にノイズ低減処理を行う事で、色間の相関を利用でき、また、低域の色の保存も可能となる。
さらに、イメージセンサ出力と同配列の色フィルタ配列のノイズ低減された画像が出力されるため、本処理の後に、色配列の画素位置毎に全色を揃えるデモザイク処理等の従来のカメラ信号処理をそのまま使うことができる。

１０ 撮像装置
１１ レンズ
１２ 絞り
１３ 撮像素子
１４ サンプリング回路
１５ Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部
１６ 画像処理部（ＤＳＰ）
１７ 符号化／復号部
１８ メモリ
１９ Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部
２０ ビデオエンコーダ
２１ 表示部
２２ タイミング生成部
２３ 操作入力部
２４ ドライバ
２５ 制御部
３１ ＲＡＷノイズ低減部
３２ カメラ信号処理部
５１ ＲＡＷ画像
１０１ 局所領域選択部
１０２ 類似局所領域選択部
１０３ 帯域分離部
１０４ 高域ノイズ低減部
１０５ 低域ノイズ低減部
１０６ 帯域合成部
１０７ 局所領域合成部
１１７ ノイズ低減ＲＡＷ画像
３０１ 基準色算出部

Claims (18)

1. 各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
   前記画像処理部は、
   前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択部と、
   前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択部と、
   前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離部と、
   前記帯域分離部の生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減部と、
   前記帯域別ノイズ低減部の生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成部と、
   前記帯域合成部の生成するノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成部を有する画像処理装置。
2. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データを適用した以下の処理、
   （ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
   （ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
   （ｃ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
   （ｄ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
   （ｅ）前記１次元ウェーブレット逆変換処理後のデータによって構成される注目局所領域対応のｘｙ平面信号に対する２次元ウェーブレット逆変換処理、
   上記（ａ）〜（ｅ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する請求項１に記載の画像処理装置。
3. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する請求項２に記載の画像処理装置。
4. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データを適用した以下の処理、
   （ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
   （ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
   （ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
   上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する請求項２に記載の画像処理装置。
5. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データを適用した以下の処理、
   （ａ）ｘｙ平面データである各局所領域の高域信号に対する２次元ウェーブレット変換処理による局所領域対応の複数の２次元ウェーブレット変換データの生成、
   （ｂ）前記局所領域対応の複数の２次元ウェーブレット変換データから生成したｚ軸方向の一次元画素列の各々に対するεフィルタ（イプシロンフィルタ）適用処理、
   （ｃ）前記εフィルタ（イプシロンフィルタ）適用処理後のデータに対する２次元ウェーブレット逆変換処理、
   上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の高域信号のノイズ低減処理を実行する請求項１に記載の画像処理装置。
6. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する請求項５に記載の画像処理装置。
7. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データを適用した以下の処理、
   （ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
   （ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
   （ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
   上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する請求項５に記載の画像処理装置。
8. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の高域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の高域信号のノイズ低減処理を実行する請求項１に記載の画像処理装置。
9. 前記帯域別ノイズ低減部は、
   前記注目局所領域と前記類似局所領域の低域信号の各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
   生成した３次元データから生成したｚ軸方向の複数の一次元データ各々に対するεフィルタ（イプシロンフィルタ）の適用処理により、前記注目局所領域の低域信号のノイズ低減処理を実行する請求項８に記載の画像処理装置。
10. 前記帯域別ノイズ低減部は、
    前記注目局所領域と前記類似局所領域の低域信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
    前記３次元データを適用した以下の処理、
    （ａ）前記３次元データから生成したｚ軸方向の複数の一次元データ各々に対する１次元ウェーブレット変換処理による複数の１次元ウェーブレット変換データの生成、
    （ｂ）前記複数の１次元ウェーブレット変換データ各々に対するシュリンケージ処理、
    （ｃ）前記シュリンケージ処理後の複数の１次元ウェーブレット変換データ各々に対する１次元ウェーブレット逆変換処理、
    上記（ａ）〜（ｃ）の処理を順次実行して前記注目局所領域の低域信号のノイズ低減処理を実行する請求項８に記載の画像処理装置。
11. 前記帯域分離部は、
    前記注目局所領域および前記類似局所領域各々の局所領域の色単位の平均値を各局所領域の各色対応低域信号として設定し、
    前記注目局所領域および前記類似局所領域各々の局所領域の各画素対応の高域信号を、
    高域信号＝（各画素の画素値）−（各画素対応色平均値）
    上記式に従って算出する請求項１に記載の画像処理装置。
12. 前記画像処理部は、さらに、
    前記ＲＡＷ画像に基づいて、前記ＲＡＷ画像の各画素位置に基準色画素値を設定した基準色画像を生成する基準色算出部を有し、
    前記類似局所領域選択部は、
    前記基準色画像を適用して前記注目局所領域との類似度を判定し、前記注目局所領域との類似度の高い類似局所領域を選択する請求項１に記載の画像処理装置。
13. 前記基準色画素値は輝度値である請求項１２に記載の画像処理装置。
14. 前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像である請求項１に記載の画像処理装置。
15. 前記ＲＡＷ画像は、ベイヤ配列を有するＲＡＷ画像であり、
    前記帯域別ノイズ低減部は、
    前記注目局所領域と前記類似局所領域の帯域別信号各々をｘｙ平面に設定してｚ軸方向に重ねた３次元データを生成し、
    ｘｙ平面データである各局所領域の帯域別信号に対する２次元ウェーブレット変換処理を実行して、輝度信号とその他の信号との分離データを生成し、生成した分離データの各々を適用したノイズ低減を実行する請求項１に記載の画像処理装置。
16. 前記局所領域選択部は、前記注目局所領域を、重複画素領域を持つ設定として順次選択し、
    前記局所領域合成部は、
    重複画素領域を持つノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によるノイズ低減ＲＡＷ画像を生成する際に、
    複数のノイズ低減注目局所領域画像に含まれる重複画素領域の画素値の平均化処理を実行してノイズ低減ＲＡＷ画像の画素値設定を実行する請求項１に記載の画像処理装置。
17. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
    前記画像処理部が、
    前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
    前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
    前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
    前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
    前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
    前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行する画像処理方法。
18. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、各画素に特定色の画素値が設定されたＲＡＷ画像を入力画像とし、該入力画像に含まれるノイズ成分を低減する画像処理部を有し、
    前記プログラムは、前記画像処理部に、
    前記入力画像から処理対象領域としての注目局所領域を選択する局所領域選択処理と、
    前記注目局所領域と同一位相を持ち、かつ前記注目局所領域との類似度が高い類似局所領域を選択する類似局所領域選択処理と、
    前記注目局所領域および前記類似局所領域各々の局所領域を高域信号と低域信号の帯域別信号に分離する帯域分離処理と、
    前記帯域分離処理によって生成した帯域別信号に含まれるノイズの低減処理を実行する帯域別ノイズ低減処理と、
    前記帯域別ノイズ低減処理によって生成したノイズ低減後の帯域別信号を合成して、ノイズ低減注目局所領域画像を生成する帯域合成処理と、
    前記帯域合成処理によって生成したノイズ低減注目局所領域画像を順次入力し、入力画像の合成処理によりノイズ低減ＲＡＷ画像を生成する局所領域合成処理を実行させるプログラム。

Images