JP5668105B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、特に、ベイヤー画像に画像処理を施す画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、Ｒ（赤）の画素、Ｇ（緑）の画素及びＢ（青）の画素からなる画像に種々の処理を施した後に目的の画像処理を実行する画像処理装置が存在する。例えば、特許文献１は、まず、Ｒの画素、Ｇの画素及びＢの画素からなるベイヤー画像に補間処理を施し、各画素においてＲ、Ｇ及びＢのすべての成分を有するＲＧＢ画像を生成する。そして、そのＲＧＢ画像から輝度成分及び色差成分を生成してから、各成分において異なる画像処理を行う。このように、輝度成分か色成分かに応じて異なる画像処理を行うのは、例えば、成分ごとにノイズ特性が異なるので、適切なノイズの除去処理のためには成分に応じて処理を施した方がよいからである。

また、特許文献１では、輝度成分及び色成分のそれぞれにウェーブレット変換を施し、互いに異なる複数の周波数帯域の成分を生成した上で、各周波数帯域の成分にノイズの除去処理を施す。これにより、低周波成分と高周波成分の間のノイズ特性の違いを考慮しつつノイズの除去処理を適切に施すことができる。

国際公開第２００６／１０６９１９号

特許文献１のような従来技術によれば、画像における色成分と輝度成分の特性の違いに着目して画像処理を行うためには、各画素成分を補間するほかなかった。この場合、画像処理の際に、元のベイヤー画像よりも大きいデータ量のデータを処理しなければならない。処理するデータ量が多くなると、データを格納するメモリの容量が大きくなったり、処理に時間がかかったりする。

本発明の目的は、画像における色成分と輝度成分の違いに応じた画像処理を行いながら、処理するデータ量が比較的小さい画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

本発明の第１の観点における画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、前記第２の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記第１及び第２の周波数分解手段が生成し且つ前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成手段とを備えている。また、第１の観点に係る別の画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成手段と、を備えており、前記画像処理手段が、前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理手段とを有しており、前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得される。

本発明は、ベイヤー画像に周波数分解を施すことにより取得される複数の周波数帯域の成分のうち、低周波成分が輝度情報を示し、高周波成分が色情報を示すとの知見に基づく。本発明は、かかる知見に基づき、ベイヤー画像に周波数分解を施すことで、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離した後、それぞれに異なる画像処理を施すことにより、画像における色成分と輝度成分のそれぞれに応じた画像処理を施すものである。これにより、成分に応じた適切な画像処理を実行することが可能になると共に、周波数分解を直接ベイヤー画像に施して各成分を取得するので、補間による場合と比べて、画像処理の際に処理するデータ量を抑えることができる。第１の観点による画像処理装置は、画像処理を行った後に各成分画像を合成することにより、元の画像を再生成する。

以上のように、第１の観点における第１の周波数分解手段による周波数分解は、ベイヤー画像に直接施すことで画像データが色成分と輝度成分とに分解されることに着目したものである。一方、従来の周波数分解は、ベイヤー画像の画素を補間してから周波数分解を施すという点においても本発明と異なるし、低周波成分か高周波成分かという点にのみ着目して画像処理を行うに過ぎない点においても本発明と異なる。

また、第１の観点においては、前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、前記第２の周波数分解手段が生成した前記成分画像を合成する第２の分解画像合成手段とをさらに備えており、前記画像処理手段が、前記第２の周波数分解手段が生成した前記成分画像に関して前記画像処理を実行し、前記第１及び第２の分解画像合成手段が、前記画像処理手段が前記画像処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成することが好ましい。これによると、第２の周波数分解手段によって取得される複数の周波数帯域の成分に画像処理を施すため、低周波成分と高周波成分の間の特性の違いに応じた適切な画像処理を施すことができる。

また、第１の観点においては、前記第１の周波数分解手段と前記第２の周波数分解手段とが、同一の周波数特性であると共に、前記第１の分解画像合成手段と前記第２の分解画像合成手段とが、同一の周波数特性であることが好ましい。第１の周波数分解手段と第２の周波数分解手段とで同一の周波数特性を有するため、ハードウェアで実現する場合には同じ構成の回路を、ソフトウェアで実現する場合には同じアルゴリズムを利用できる。

また、第１の観点においては、前記第１及び第２の周波数分解手段が、いずれも、前記ベイヤー画像を離散ウェーブレット変換により成分画像に分解することが好ましい。これによると、離散ウェーブレット変換により色情報を示す成分と輝度情報を示す成分とに画像を分解できると共に、第１及び第２の周波数分解手段における周波数分解を同じ方法で実現できる。

また、第１の観点においては、前記画像処理手段が、前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波数成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波数成分にフィルタを掛けるフィルタ処理手段とを有しており、
前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることが好ましい。これによると、色情報を示す成分には輝度成分を示す成分に比べて強めのフィルタが施される。一方、一般的に人の視覚は、色の解像度の変化に対して敏感でない。したがって、フィルタ処理による解像度の低下を相対的に抑えつつ、効果の高いフィルタを色成分に施すことができる。

また、第１の観点においては、前記第１の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄ_ｆ１に関する下記の数式１によって表される関数ｗ_Ｒ１と前記第１の重みとの積であり、前記第２の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄ_ｆ２に関する下記の数式２によって表される関数ｗ_Ｒ２と前記第２の重みとの積であり、一様な明るさに対する画素値のばらつきを示す基準値を、前記低周波数成分の成分に関してσ_Ｎ１とし前記高周波数成分に関してσ_Ｎ２とするとき、数式１、２のσ_Ｒ１、σ_Ｒ２が、係数ｋ_Ｎ１及びｋ_Ｎ２（ｋ_Ｎ１＜ｋ_Ｎ２）を用いて、σ_Ｒ１＝ｋ_Ｎ１＊σ_Ｎ１、σ_Ｒ２＝ｋ_Ｎ２＊σ_Ｎ２と表されることが好ましい。これによると、バイラテラルフィルタにより、画像のエッジを保存しながらノイズを低減できる。

本発明の第２の観点における画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、前記第２の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段とを備えている。また、本発明の第２の観点に係る別の画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段と、を備えており、前記画像処理手段が、前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理手段とを有しており、前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得される。

第２の観点によれば、第１の観点と同様に、成分に応じた適切な画像処理を実行することが可能になると共に、周波数分解を直接ベイヤー画像に施して各成分を取得するので、補間による場合と比べて、画像処理の際に処理するデータ量を抑えることができる。第２の観点による画像処理装置は、画像処理を行った後に、成分画像を合成せずそのまま出力したり、演算した特徴量を出力したりする。

また、第２の観点においては、前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段をさらに備えており、前記画像処理手段が、前記第２の周波数分解手段が生成した前記成分画像に関して前記画像処理を実行することが好ましい。これによると、第２の周波数分解手段によって取得される複数の周波数帯域の成分に画像処理を施すため、周波数帯域別の特性に応じた適切な画像処理を施すことができる。

第１の観点における画像処理方法は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解ステップと、前記第１の周波数分解ステップにおいて生成された前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解ステップと、前記第２の周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記第１及び第２の周波数分解ステップ並びに前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成ステップとを備えている。また、第１の観点における別の画像処理方法は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップと、を備えており、前記画像処理ステップが、前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得ステップと、前記フィルタ取得ステップにおいて取得された前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得ステップにおいて取得された前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理ステップとを含んでおり、前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得される。

第１の観点におけるプログラムは、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解ステップと、前記第１の周波数分解ステップにおいて生成された前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解ステップと、前記第２の周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記第１及び第２の周波数分解ステップ並びに前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成ステップとをコンピュータに実行させる。また、第１の観点における別のプログラムは、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップと、を備えており、前記画像処理ステップが、前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得ステップと、前記フィルタ取得ステップにおいて取得された前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得ステップにおいて取得された前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理ステップとを含んでおり、前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得される。

本発明におけるプログラムは、フロッピーディスクなどの磁気記録媒体、ＤＶＤ−ＲＯＭなどの光学記録媒体、ハードディスクやＵＳＢメモリなどのコンピュータ読み取りが可能な記録装置等に記録して配布可能なほか、インターネットを介したダウンロード等により配布可能である。

本発明の一実施の形態である第１の実施形態に係る撮像装置の構成を示すブロック図である。 図１の撮像素子におけるカラーフィルタのベイヤー配列を示す概念図である。 本実施形態で用いられる離散ウェーブレット変換において採用されるフィルタ係数とベイヤー配列の画素との関係を示す概念図である。 図４（ａ）は、撮像素子においてサンプリングされる前の被写体像における色成分及び輝度成分の周波数分布を概念的に示すグラフである。図４（ｂ）は、撮像素子においてサンプリングされた後の被写体像における色成分及び輝度成分の周波数分布を概念的に示すグラフである。図４（ｃ）は、１レベルの離散ウェーブレット変換によって生成された成分画像の周波数分布を概念的に示すグラフである。図４（ｄ）は、図４（ｃ）の各成分画像にさらに２レベルの離散ウェーブレット変換が施されることによって生成された成分画像の周波数分布を概念的に示すグラフである。 図５（ａ）は、各成分画像における横方向及び縦方向に関する周波数分布を概念的に示すグラフである。図５（ｂ）は、各成分画像に含まれる色成分及び輝度成分の周波数分布を概念的に示すグラフである。 １レベルの離散ウェーブレット変換によって生成された各成分画像と、そこにさらに２レベルの離散ウェーブレット変換が施されることによって生成された各成分画像との関係を示す概念図である。 本実施形態の補正処理において用いられるフィルタ係数を示す概念図である。 本実施形態の画像処理部の一実施例に係る回路構成を示すブロック図である。 図８の周波数分解部のうち、Ｗ画像及びＵ画像を周波数分解する回路構成と、周波数分解によって生成されたＷＨＨ１，ＵＨＨ２等の成分画像にフィルタ処理を施す補正処理部の回路構成とを示すブロック図である。 図８の周波数分解部のうち、Ｖ画像及びＹ画像を周波数分解する回路構成と、周波数分解によって生成されたＶＨＨ１，ＹＨＨ２等の成分画像にフィルタ処理を施す補正処理部の回路構成とを示すブロック図である。 図８の分解画像合成部のうち、補正処理が施されたＷＨＨ１´、ＵＬＨ２´等の成分画像を合成してＷ´画像及びＵ´画像を生成する回路構成を示すブロック図である。 図８の分解画像合成部のうち、補正処理が施されたＶＨＨ１´、ＹＬＨ２´等の成分画像を合成してＶ´画像及びＹ´画像を生成する回路構成を示すブロック図である。 本発明の別の一実施の形態に係る第２の実施形態の構成を示すブロック図である。

［第１の実施形態］
本発明の一実施の形態である第１の実施形態に係る撮像装置１について、図面を参照しつつ説明する。撮像装置１は、図１に示すように、撮像光学系２、撮像素子３（画像取得手段）及び画像処理部１００（画像処理手段）を有している。撮像光学系２は、各種のレンズを有し、被写体からの光を撮像素子３へと導いて、撮像素子３において結像させる。撮像素子３は、結像された被写体の像を光電変換により電気信号に変換すると共に、その電気信号をデジタル画像信号に変換して出力する。画像処理部１００は、撮像素子３から出力されたデジタル画像信号に所定の信号処理を施すことにより、被写体像に対応する画像データを生成する。画像処理部１００が生成した画像データは、画像を表示するディスプレイに、表示すべき画像に係る画像信号として出力されたり、コンピュータ読み取り可能な記録媒体へと出力されたりする。以下、撮像素子３及び画像処理部１００についてより詳細に説明する。

撮像素子３は、ベイヤー（Ｂａｙｅｒ）配列で配列されたカラーフィルタと、各カラーフィルタを通じて受光した光の強度に応じたアナログ信号を出力する光電変換素子と、光電変換素子からのアナログ信号をデジタル信号に変換するＡＤ変換部とを備えている。ベイヤー配列は、図２に示すように、Ｒ（赤）及びＧ（緑）が横方向に交互に並んだ行とＧ（緑）及びＢ（青）が横方向に交互に並んだ行とが縦方向に交互に並んだ配列である。図２では、Ｒと同じ行に属するＧをＧｒ、Ｂと同じ行に属するＧをＧｂと表記している。撮像素子３は、このベイヤー配列に従って各画素が並んだ画像（以下、ベイヤー画像と称する）を示す画像信号を出力する。

画像処理部１００は、撮像素子３からの画像信号を高周波成分と低周波成分に分解する２つの周波数分解部を有している。これらの周波数分解部１１０及び１２０（第１及び第２の周波数分解手段）は、いずれも離散ウェーブレット変換に従って画像信号を分解する。

離散ウェーブレット変換に用いるフィルタには様々なものが採用され得るが、本実施形態においては、ＣＤＦ ５／３ ｗａｖｅｌｅｔが採用される。これは、低周波成分をタップ数５（１次元につき５画素）のローパスフィルタで生成し、高周波成分をタップ数３（１次元につき３画素）のハイパスフィルタで生成する方法である。なお、ＣＤＦ ９／７等が採用されてもよい。また、Ｈａａｒ Ｗａｖｅｌｅｔなど、可逆性の多重解像度変換であれば、どのようなものであってもよい。ＣＤＦ ５／３ ｗａｖｅｌｅｔにおける１次元の場合のフィルタ係数は以下のとおりである。
ローパスフィルタ：［−１／８，２／８，６／８，−１／８］
ハイパスフィルタ：［−１／２，１，−１／２］

これを２次元に拡張すると、図３に示すフィルタとなる。図３（ａ）のフィルタは、画像の横方向及び縦方向の両方向に関してローパスフィルタである。図３（ａ）において、横方向及び縦方向にマトリクス状に配列された数値は、横方向及び縦方向の各画素位置における重みである。また、「／６４」は、各画素位置の重みを６４で除算したものが各位置におけるフィルタ係数であることを示す。なお、図３（ｂ）〜図３（ｄ）においても同様である。以下、図３（ａ）のフィルタをＬＬと表記する。

図３（ｂ）のフィルタは、画像の横方向に関してはハイパスフィルタ、縦方向に関してはローパスフィルタである。以下、このフィルタをＨＬと表記する。図３（ｃ）のフィルタは、画像の横方向に関してはローパスフィルタ、縦方向に関してはハイパスフィルタである。以下、このフィルタをＬＨと表記する。図３（ｄ）のフィルタは、画像の横方向及び縦方向の両方向に関してハイパスフィルタである。以下、このフィルタをＨＨと表記する。

これらのフィルタを画像に施す際には、フィルタに含まれる各フィルタ係数をその位置に対応する画素に乗算すると共に、全ての乗算結果の和をフィルタ処理後の画素値とする。図３（ａ）〜図３（ｄ）は、これらのフィルタ処理をベイヤー画像に施す場合の一例を示している。各図においては、ベイヤー画像に含まれる各画素に対し、その画素の位置に対応するフィルタ係数が乗算されることになる。このようなフィルタ演算を、ＬＬフィルタ、ＨＬフィルタ、ＬＨフィルタ及びＨＨフィルタのそれぞれについて、画像における横方向及び縦方向のそれぞれ２画素ごとに行う。これにより、フィルタ処理結果として、フィルタ処理後の画素値からなる４種類の成分画像を得る。以下、ＬＬフィルタを用いたフィルタ処理によって得られる成分画像をＬＬ画像とする。同様に、ＨＬフィルタ、ＬＨフィルタ及びＨＨフィルタを用いたフィルタ処理によって得られる成分画像をＨＬ画像、ＬＨ画像及びＨＨ画像とする。

ＬＬ画像は、横方向及び縦方向の両方向について、元の画像の低周波成分に相当する成分画像である。ＨＬ画像は、横方向については元の画像の高周波成分に相当し、縦方向については元の画像の低周波成分に相当する画像である。ＬＨ画像は、横方向については元の画像の低周波成分に相当し、縦方向については元の画像の高周波成分に相当する画像である。ＨＨ画像は、横方向及び縦方向の両方向について、元の画像の高周波成分に相当する成分画像である。

ところで、多色のカラーフィルタが配列された撮像素子でなく、単色の撮像素子であれば、その撮像素子から得られた画像信号を周波数分解した結果は、単純に画像の輝度成分を周波数分解した結果に過ぎない。しかしながら、本実施形態のように、多色のカラーフィルタが配列された撮像素子３から得られたベイヤー画像に上記のような周波数分解を施す場合、それによって得られる成分画像は、単なる輝度成分の分解結果とは異なる性質を示すことになる。以下、これについて説明する。

まず、簡単のため、画像の横方向のみについて考える。被写体像は、輝度成分と色成分の合成で表される。図４（ａ）は、撮像素子３に入射する前の被写体像における輝度成分と色成分の周波数分布の一例である。図４（ｂ）は、撮像素子３においてサンプリングされた後の画像信号における輝度成分と色成分の周波数分布の一例である。なお、ｆｓはサンプリング周波数である。このように、撮像素子３に入射する前の被写体像における輝度成分と色成分が、撮像素子３において、ベイヤー配列に従って配列されたカラーフィルタにより直交変調される。これにより、低周波側に輝度成分が、高周波側に色成分が配置される。

本実施形態の周波数分解は、まず、図４（ｂ）のように輝度成分及び色成分が配置された画像に施されることになる。例えば、ＬＬフィルタ及びＨＬフィルタを用いたフィルタ処理により、図４（ｂ）に示すベイヤー画像が、図４（ｃ）に示すように、横方向に関して高周波成分及び低周波成分に分解される。したがって、ＬＬ画像は輝度成分を多く含み、ＨＬ画像は色成分を多く含むこととなる。このように、ベイヤー画像に周波数分解を施すことは、ベイヤー配列のカラーフィルタによって直交変調された輝度成分及び色成分を復調することに相当する。

以上の議論を２次元に拡張すると、以下の通りとなる。図５（ａ）は、ＬＬ画像、ＨＬ画像、ＬＨ画像及びＨＨ画像のそれぞれの周波数分布を横方向及び縦方向に関して示している。一方、図５（ｂ）は、ＬＬ画像、ＨＬ画像、ＬＨ画像及びＨＨ画像中の輝度成分と色成分の分布を、図５（ａ）と同様に、横方向の周波数及び縦方向の周波数に関して示す。図５（ａ）と図５（ｂ）を比較すると分かるように、ＬＬ画像は主に輝度成分を含み、ＨＬ、ＬＨ及びＨＨの各画像は主に色成分を含む。つまり、ＬＬ画像は元の画像における輝度情報を示し、ＨＬ、ＬＨ及びＨＨの各画像は元の画像における色情報を示すことになる。

本実施形態の周波数分解部１１０は、撮像素子３から出力されたベイヤー画像に係る画像信号に、図３に示すフィルタ係数を用いて１レベル（１階層）の離散ウェーブレット変換を施す。つまり、周波数分解部１１０は、ベイヤー画像信号から、ＬＬ，ＨＬ、ＬＨ及びＨＨの４つの成分画像を生成する。以下、周波数分解部１１０が生成した４つの成分画像を、Ｙ（＝ＬＬ）画像、Ｕ（＝ＨＬ）画像，Ｖ（＝ＬＨ）画像及びＷ（ＨＨ）画像と称する。

図３に示すフィルタ係数を用いたフィルタ処理により、Ｙ、Ｕ、Ｖ及びＷの各画素は元の画像におけるＲ画素、Ｂ画素及びＧ画素の要素を下記式に示すように取り込むことになる。Ｙ画像は、主に画像の輝度成分を表す。被写体が高周波の色成分を多く含む場合、それらの成分がＹ画像において混合することになる。Ｕ画像は、主に画像の色成分を表す。被写体が横方向に関して高周波の輝度成分を多く含む場合、それらの成分がＵ画像において混合することになる。Ｖ画像は、主に画像の色成分を表す。被写体が縦方向に関して高周波の輝度成分を多く含む場合、それらの成分がＶ画像において混合することになる。Ｗ画像は、主に画像の色成分を表す。被写体が高周波の色成分を多く含む場合、それらの成分がＷ画像において混合することになる。
Ｙ＝（２Ｇ＋Ｒ＋Ｂ）／４
Ｕ＝（Ｒ−Ｂ）／２
Ｖ＝（Ｂ−Ｒ）／２
Ｗ＝２Ｇ−（Ｒ＋Ｂ）

次に、周波数分解部１２０は、周波数分解部１１０が生成したＹ，Ｕ、Ｖ及びＷの各成分画像に、２レベル（２階層）の離散ウェーブレット変換を施す。つまり、周波数分解部１２０は、図６に示すように、Ｙ，Ｕ，Ｖ及びＷの各成分画像をＬＬ、ＨＬ、ＬＨ及びＨＨの各成分画像に分解すると共に、そうして生成したＬＬ画像をさらにＬＬ、ＨＬ、ＬＨ及びＨＨの各成分画像に分解する。以下、周波数分解部１２０による１回目の分解で生成された成分画像をＹＨＬ１、ＹＬＨ１及びＹＨＨ１などと表記する。また、周波数分解部１２０による２回目の分解で生成された成分画像をＹＬＬ２、ＹＨＬ２、ＹＬＨ２及びＹＨＨ２などと表記する。これらの表記において、１文字目のＹ，Ｕ，Ｖ及びＷは、各成分画像が由来するのがＹ，Ｕ，Ｖ及びＷの成分画像のいずれであるかを示す。

周波数分解部１２０が生成したＹＬＬ２、ＹＨＬ２、ＹＨＬ１、ＵＨＬ１、ＵＨＬ２、ＵＬＬ２などの成分画像においては、周波数分解部１１０が生成したＹ，Ｕ、Ｖ及びＷの各成分画像よりも、輝度成分と色成分への分離度が向上している。図４（ｄ）は、周波数分解部１２０により生成された各成分画像の横方向に関する周波数分布を示している。上述の図４（ｃ）に示すＹ画像及びＵ画像は、それぞれ輝度成分及び色成分を主に含んでいるが、図４（ｂ）と比較すれば分かるように、元の被写体像における高周波成分を混合して含んでいる場合がある。一方、図４（ｄ）によれば、ＵＬＬ２画像は、高周波の輝度成分を含まず、元の被写体像における低周波の色成分そのものを示すこととなる。また、ＹＬＬ２画像は、高周波の色成分を含まず、元の被写体における低周波の輝度成分そのものを示すこととなる。

また、画像処理部１００は、図１に示すように、周波数分解部１２０が生成した各成分画像に補正処理を施す補正処理部１３０を有している。補正処理部１３０の補正処理では、各成分画像にフィルタ処理が施されることにより、ノイズ成分が低減される。本実施形態では、エッジ保存フィルタとして、バイラテラルフィルタが用いられる。

まず、バイラテラルフィルタについて説明する。注目画素を中心とした、横：２Ｎ＋１ピクセル（Ｎ：自然数）、縦：２Ｎ＋１ピクセルの正方形の領域に含まれる画素の集合Ωを 以下のように表す。例えば、フィルタカーネルのサイズを横３×縦３とするときはＮ＝１であり、フィルタカーネルのサイズを横５×縦５とするときはＮ＝２である。
Ω＝Ωｐ（Ｎ）

バイラテラルフィルタの演算は、Ωに属する全ての画素ｑ∈Ωの重み付き加重平均を算出することにより行われる。各画素に割り当てられる重みは、距離による重みと、注目画素との画素値の差分による重みの２つの項により決定される。注目画素をｐ、Ωに属する各画素をｑとする。Δ（ｐ，ｑ）を画素ｐ及び画素ｑ同士の距離とすると、距離による重みは、以下のように表される。

また、Ｄｆ（ｐ，ｑ）を画素ｐ及び画素ｑ間の画素値の差分とすると、注目画素との画素値の差分による重みは、以下のように表される。

そして、各画素の重みは、距離による重み及び画素値の差分による重みの積として、以下のように表される。

画素ｐの画素値をｕ_ｐ、画素ｑの画素値をｕ_ｑとするとき、バイラテラルフィルタは、以下の演算により施される。なお、ｕ´は、フィルタ処理後の画素値である。

本実施形態の補正処理部１３０は、バイラテラルフィルタによるフィルタ処理のためのフィルタ係数を取得するフィルタ係数取得部１３１（フィルタ取得手段）と、フィルタ係数取得部１３１が取得したフィルタ係数に基づいてフィルタ処理を施すフィルタ処理部１３２（フィルタ処理手段）とを有している。フィルタ係数取得部１３１は、フィルタ係数を以下のように取得する。

本実施形態は、主に、低周波成分（ＹＬＬ２等）におけるノイズ低減を目的とする。したがって、フィルタの参照範囲（フィルタカーネルのサイズ）は、横３×縦３〜横５×縦５程度に設定できる。ＹＬＬ２画像等は、周波数分解を経ることで、ダウンサンプリングされているため、カーネルサイズが小さくても、低い周波数までフィルタリングすることが可能である。

フィルタ係数取得部１３１は、距離による重みｗ_ｓに関し、図７（ａ）及び図７（ｂ）に示す横３×縦３の重みｗ_ｓ１及びｗ_ｓ２、あるいは、図７（ｃ）及び図７（ｄ）に示す横５×縦５の重みｗ_ｓ１及びｗ_ｓ２を保持している。図７（ａ）〜図７（ｄ）は、図３と同様に、各画素位置に対応するフィルタ係数を示している。このように、ｗ_ｓ１及びｗ_ｓ２の各重みを整数とすることにより、演算量が低減される。なお、ｗ_ｓ１に基づいて得られるフィルタ係数群が本発明における第１の係数群に対応する。また、ｗ_ｓ２に基づいて得られるフィルタ係数群が本発明における第２の係数群に対応する。

ｗ_ｓ１（第１の重み）は、画素同士の距離が大きくなるほど小さい（つまり、距離に対して単調減少の）値を有し、輝度情報を示すＹＬＬ２画像等にフィルタ処理を施す際に用いられる。一方、色情報を示すＵＬＬ２、ＶＬＬ２及びＷＬＬ２の各成分画像に対しては、ｗ_ｓ２（第２の重み）が用いられる。ｗ_ｓ２は、画素位置に関わらずいずれも１であり、距離に応じたものとなっていない。このように、画素同士の距離に応じて変化しない重みを用いたり、画素同士の距離に応じた減少率が比較的小さい重みを用いたりする場合には、フィルタにおけるノイズを低減する能力が高くなる反面、フィルタ処理後の画像における解像度が低下する。しかしながら、人の視覚は、輝度の解像度の変化に対する場合と比較すると、色の解像度の変化（色のにじみ等）に対して敏感ではない。このため、ｗ_ｓ２を色情報を示す成分であるＵＬＬ２、ＶＬＬ２及びＷＬＬ２の各画像に用いることで、人の視覚特性に応じて画像の劣化を相対的に抑制しつつ、色成分の若干のにじみと引き換えに、色ノイズを低減することが可能である。

フィルタ係数取得部１３１は、画素値の差分による重みｗ_Ｒに関し、σ^２ _Ｒの値を保持している。σ_Ｒは、例えば、撮像装置１の撮像光学系２及び撮像素子３の特性に応じてあらかじめ設定される。設定値の取得方法は以下のとおりである。撮像光学系２及び撮像素子３により、被写体として一様な明るさを持つ物体に係るベイヤー画像信号を生成する。次に、そのベイヤー画像信号に対して、周波数分解部１１０及び１２０に上述の周波数分解を施させる。これにより、ＹＬＬ１、ＹＨＬ２、ＹＬＨ２、ＹＨＨ２、ＵＬＬ１…の各成分画像を得る。次に、この成分画像ごとに、画素値の標準偏差σ_Ｎを算出する。そして、σ_Ｎに適切な係数ｋ_Ｎを乗算することにより、下記のように、σ_Ｒを得る。

ここで、ｋ_Ｎの大きさは、処理後の画像劣化とノイズ抑制の能力とのバランスを考慮して調整される。例えば、ｋ_Ｎが小さいほどノイズ抑制の能力が低くなる一方で処理後の画像が劣化度しにくくなる。この逆に、ｋ_Ｎが小さいほどノイズ抑制の能力が高くなる一方で処理後の画像が劣化しにくくなる。画像の劣化とは、例えば、輝度情報に関しては解像度の劣化を示し、色情報に関しては色にじみが強くなることを示す。本実施形態では、上記と同様、輝度の解像度の変化に対する場合と比較すると、人の視覚が色の解像度の変化（色のにじみ等）に対して敏感ではないことを利用してｋＮを設定する。例えば、高周波の輝度成分を示すＹＨＬ１画像等についてはｋＮを小さくし、低周波の色成分を示すＵＬＬ２，ＶＬＬ２の成分画像等についてはｋＮを大きくする。

フィルタ係数取得部１３１は、以上のように、ＹＬＬ２、ＹＨＬ１などの各画像成分についてあらかじめ設定されたσ^２ _Ｒを、各画像成分に関連付けて保持している。以上をまとめると、フィルタ係数取得部１３１は、輝度情報を示すＹＬＬ２画像等に用いる重みとしてｗ_ｓ１を、色情報を示すＵＬＬ２画像等に用いる重みとしてｗ_ｓ２を、各画像成分についてσ^２ _Ｒをそれぞれ保持している。フィルタ係数取得部１３１は、上記の数式６に示すフィルタ演算に用いる下記のフィルタ係数ｃ（ｐ，ｑ）を、数式４〜６に基づき、σ^２ _Ｒ、ｗ_ｓ１及びｗ_ｓ２を使用して、成分画像ごとに算出する。

そして、フィルタ処理部１３２は、フィルタ係数取得部１３１が取得したフィルタ係数を用いて、上記数式６に基づき、各画像成分にフィルタ処理を施す。

さらに、画像処理部１００は、図１に示すように、補正処理部１３０が補正処理を施した各成分画像をすべて合成し、ベイヤー画像を再生成する分解画像合成部１４０及び１５０（第１及び第２の分解画像合成手段）を有している。分解画像合成部１４０は、周波数分解部１２０が施した離散ウェーブレット変換の逆変換をＹＬＬ２、ＹＨＬ１などの各成分画像に施すことにより、Ｙ，Ｕ，Ｖ及びＷの各成分画像を再生する。そして、分解画像合成部１５０は、周波数分解部１１０が施した離散ウェーブレット変換の逆変換を分解画像合成部１４０が生成したＹ，Ｕ，Ｖ及びＷの各成分画像に施すことにより、ベイヤー画像を再生成する。

（実施例）
次に、周波数分解部１１０及び１２０、並びに、分解画像合成部１４０及び１５０の一実施例に係る回路構成について、図８〜図１２を参照しつつ説明する。本実施例において、周波数分解部１１０等は、ラインバッファを用いて画像を処理する回路として構築される。周波数分解部１１０及び１２０を構成する回路には、図８〜図１０に示すように、入力画像を横方向に関して高周波成分と低周波成分に分解する水平ＤＷＴ部１１と、入力画像を縦方向に関して高周波成分と低周波成分に分解する垂直ＤＷＴ部１２とが含まれる。１レベルの離散ウェーブレット変換につき、１つの水平ＤＷＴ部１１と２つの垂直ＤＷＴ部１２とからなる回路構成が設けられる。周波数分解部１１０は、上記の通り１レベルの離散ウェーブレット変換を施す。したがって、周波数分解部１１０として、図８に示すように、１段分の回路構成が設けられる。

水平ＤＷＴ部１１は、入力画像において横方向に関して並ぶ０個目〜２Ｎ＋１個目の画素に対し、下記の数式９に対応する演算を施すことにより、ハイパス成分Ｈ（ｎ）（ｎ＝0，１，２…Ｎ）を取り出す。また、水平ＤＷＴ部１１は、入力画像において横方向に関して並ぶ０個目〜２Ｎ＋１個目の画素に対し、数式１０に対応する演算を施すことにより、ローパス成分Ｌ（ｎ）（ｎ＝0，１，２…Ｎ）を取り出す。なお、数式８及び９において、ｓ（ｍ）は、横方向にｍ個目の画素の画素値である。垂直ＤＷＴ部１２は、入力画像に対し、数式９及び１０を用いた水平ＤＷＴ部１１と同様の演算を縦方向に行う。この場合、ｓ（ｍ）は、縦方向にｍ個目の画素の画素値である。

周波数分解部１１０における水平ＤＷＴ部１１は、ベイヤー画像を横方向に関してＨ成分及びＬ成分に分解する。垂直ＤＷＴ部１２は、水平ＤＷＴ部１２からのＨ成分を、縦方向に関して高周波成分及び低周波成分に分解する。これにより、Ｗ（ＨＨ）画像及びＵ（ＨＬ）画像が生成される。他方の垂直ＤＷＴ部１２は、水平ＤＷＴ部１２からのＬ成分を、縦方向に関して高周波成分及び低周波成分に分解する。これにより、Ｖ（ＬＨ）画像及びＹ（ＬＬ）画像が生成される。なお、上記の数式９及び１０に基づきベイヤー画像に施される離散ウェーブレット変換は、図３に示す離散ウェーブレット変換と等価である。

一方、周波数分解部１２０は、上記の通り、２レベルの離散ウェーブレット変換を画像に施す。このため、周波数分解部１２０には、図９及び図１０に示すように、水平ＤＷＴ部１１と２つの垂直ＤＷＴ部１２とからなる回路構成が、Ｙ、Ｕ，Ｖ及びＷの各成分画像につき、２段にわたって設けられている。例えば、Ｗ画像に関しては、図９に示すように、１段目の水平ＤＷＴ部１１がＷ画像を横方向にＨ成分とＬ成分に分解する。そして、２つの垂直ＤＷＴ部１２が、Ｈ成分及びＬ成分を、それぞれ縦方向に高周波成分及び低周波成分に分解する。これにより、ＷＨＨ１、ＷＨＬ１、ＷＬＨ１及びＷＬＬ１の各成分画像が生成される。このうち、前三者が補正処理部１３０へと出力され、残りのＷＬＬ１画像のみが２段目の水平ＤＷＴ部１１へと出力される。ＷＬＬ１画像は、２段目の水平ＤＷＴ部１１及び垂直ＤＷＴ部１２により、ＷＨＨ２、ＷＨＬ２，ＷＬＨ２及びＷＬＬ２の各成分画像に分解される。これらの成分画像は、補正処理部１３０に出力される。その他のＹ、Ｕ及びＶの各成分画像についても同様である。

各成分画像は、補正処理部１３０として設けられた各フィルタ部１３に入力される。フィルタ部１３は、成分画像ごとに設けられ、フィルタ係数取得部１３１及びフィルタ処理部１３２の両方の機能をそれぞれが有している。フィルタ部１３は、各成分画像に応じた重みｗ_ｓ１又はｗ_ｓ２及びσ^２ _Ｒを保持している。フィルタ部１３は、入力されてきた成分画像に基づいてフィルタ係数を取得すると共に、成分画像にフィルタ処理を施す。フィルタ処理（補正処理）が施された成分画像は、分解画像合成部１４０へと出力される。図９及び図１０において、補正処理後の各成分画像は、ＷＨＨ１´、ＵＬＬ２´などと表記されている。

分解画像合成部１４０及び１５０を構成する回路には、図８、図１１及び図１２に示すように、横方向に関する高周波成分及び低周波成分からなる２つの成分画像を合成する水平ＩＤＷＴ部２１と、縦方向に関する高周波成分及び低周波成分からなる２つの成分画像を合成する垂直ＩＤＷＴ部２２とが含まれる。水平ＩＤＷＴ部２１は、水平ＤＷＴ部１１が行う変換の逆変換を成分画像に施すことにより、成分画像を合成する。垂直ＩＤＷＴ部２２は、垂直ＤＷＴ部１２が行う変換の逆変換を成分画像に施すことにより、成分画像を合成する。１レベルの離散ウェーブレット逆変換につき、１つの水平ＩＤＷＴ部２１と２つの垂直ＩＤＷＴ部２２とからなる回路構成が設けられる。分解画像合成部１４０は、ＷＨＨ１´、ＵＨＬ２´等の成分画像を合成し、Ｙ´、Ｕ´，Ｖ´及びＷ´の各成分画像を生成する。このため、分解画像合成部１４０として、図１１及び図１２に示すように、周波数分解部１２０に対応した２段の回路構成が設けられる。なお、Ｙ´等の表記は、補正処理後の成分画像であることを示す。

例えば、Ｗ´画像を生成する回路構成は以下のとおりである。図１１に示すように、ＷＨＨ２´画像及びＷＨＬ２´画像が入力された１段目の一方の垂直ＩＤＷＴ部２２は、これらを合成してＨ成分を生成する。一方、ＷＬＨ２´画像及びＷＬＬ２´画像が入力された１段目の他方の垂直ＩＤＷＴ部２２は、これらを合成してＬ成分を生成する。そして、１段目の垂直ＩＤＷＴ部２２によって生成されたＨ成分及びＬ成分は、１段目の水平ＩＤＷＴ部２１に入力される。この水平ＩＤＷＴ部２１は、これらを合成してＷＬＬ１´画像を生成する。ＷＨＨ１´画像及びＷＨＬ１´画像が入力された２段目の一方の垂直ＩＤＷＴ部２２は、これらを合成してＨ成分を生成する。ＷＬＨ１´画像及びＷＬＬ１´画像が入力された２段目の他方の垂直ＩＤＷＴ部２２は、これらを合成してＬ成分を生成する。そして、２段目の垂直ＩＤＷＴ部２２によって生成されたＨ成分及びＬ成分は、２段目の水平ＩＤＷＴ部２１に入力される。この水平ＩＤＷＴ部２１は、これらを合成してＷ´画像を生成する。その他のＹ´、Ｕ´及びＶ´の各成分画像についても同様に生成される。

分解画像合成部１５０は、Ｙ´画像、Ｕ´画像、Ｖ´画像及びＷ´画像を合成し、１つのベイヤー画像を再生成する。このため、分解画像合成部１５０として、図８に示すように、周波数分解部１１０に対応した１段分の回路構成が設けられる。一方の垂直ＩＤＷＴ部２２は、Ｗ´画像及びＵ´画像を合成し、Ｈ成分を生成する。他方の垂直ＩＤＷＴ部２２は、Ｖ´画像及びＹ´画像を合成し、Ｌ成分を生成する。水平ＩＤＷＴ部２１は、垂直ＩＤＷＴ部２２が生成したＨ成分及びＬ成分を合成し、ベイヤー画像を再生成する。

以上説明した第１の実施形態によると、補正処理部１３０は、補正処理としてフィルタ処理を画像に施すに当たり、成分画像のうち、色情報を示す高周波成分と輝度情報を示す低周波成分とで異なるフィルタ係数を使用する。例えば、画素同士の距離による重みとして、輝度情報を示すＹＬＬ２画像等にはｗ_ｓ１が、色情報を示すＵＬＬ２画像等にはｗ_ｓ２が用いられる。また、画素値の差分による重みとして、輝度情報を示す成分画像と色情報を示す成分画像に互いに異なるσ_Ｒが用いられる。このように、色情報を示す成分画像と輝度情報を示す成分画像とのそれぞれに異なるフィルタ係数を使用することで、色情報と輝度情報に対して人の視覚特性が異なることに応じた適切なフィルタ処理が成分画像に施される。

また、第１の実施形態によると、周波数分解部１１０及び１２０が、離散ウェーブレット変換による周波数分解を直接ベイヤー画像に施す。したがって、例えば、色補間を経た後の画像に施す場合と比べて、処理するデータ量を抑えることができる。

また、第１の実施形態においては、周波数分解部１１０と周波数分解部１２０とで、各レベルの離散ウェーブレット変換を同じフィルタ係数を用いて行っている。つまり、周波数分解部１１０及び１２０同士は、同じ周波数特性である。また、これに伴い、分解画像合成部１４０及び１５０同士も同じ周波数特性である。その結果、図８〜図１２に示すように、周波数分解部１１０及び１２０の各段が互いに同じ回路構成で構築可能であると共に、分解画像合成部１４０及び１５０も各段が互いに同じ回路構成で構築可能である。

なお、周波数分解部１１０及び１２０の少なくとも一部又は全部、並びに、分解画像合成部１４０及び１５０の少なくとも一部又は全部を、ハードウェアのみで実現するのではなくハードウェアとソフトウェアの組み合わせにより実現することも可能である。この場合には、例えば、離散ウェーブレット変換の所定のアルゴリズムに従ったプログラムをＣＰＵに実行させることになる。このとき、周波数分解部１１０及び１２０同士や分解画像合成部１４０及び１５０同士が同じ周波数特性であることにより、離散ウェーブレット変換の各レベルの演算を行うプログラムを同じアルゴリズムに従って構築することができる。

［第２の実施形態］
次に、本発明に係る別の一実施の形態である第２の実施形態について説明する。なお、第２の実施形態において、第１の実施形態と共通する構成には同じ符号を付し、その説明を適宜省略する。第２の実施形態に係る撮像装置２０１は、図１３に示すように、撮像光学系２、撮像素子３、周波数分解部１１０、周波数分解部１２０及び画像処理部２４０を有している。撮像光学系２、撮像素子３、周波数分解部１１０及び周波数分解部１２０による信号処理又は画像処理は、第１の実施形態と同様である。画像処理部２４０は、補正処理部１３０及び圧縮処理部２１０を有している。補正処理部１３０の補正処理は第１の実施形態と同様である。圧縮処理部２１０は、補正処理部１３０が補正処理を施した後の各成分画像に圧縮処理を施す。圧縮処理は、デジタルデータに関する各種の圧縮方式に従って行われる。圧縮処理部２１０は、成分画像のうち、高周波成分と低周波成分とで異なる圧縮処理を行うことが好ましい。例えば、ＹＬＬ２画像には可逆性の圧縮方式が用いられるが、色の解像度の劣化には敏感でない人の視覚特性を考慮に入れ、ＵＬＬ２画像等には圧縮率の高い不可逆性の圧縮方式が用いられてもよい。

そして、撮像装置２０１は、第１の実施形態と異なり、圧縮処理部２１０によって圧縮された圧縮データをそのまま出力する。圧縮データは、インターネットなどのネットワーク２０３を介して、画像表示装置２０２へと送信される。画像表示装置２０２は、伸長処理部２２１、分解画像合成部１４０、分解画像合成部１５０、色補間部２２２及びディスプレイ２２３を有している。伸長処理部２２１は、撮像装置２０１から送信された圧縮データに伸長処理を施す。伸長処理は、圧縮処理において用いられた圧縮方式とは対となる伸長方式に従い、圧縮データを圧縮前のデータに復元する処理である。伸長処理部２２１が復元したデータは、ＹＨＨ１´画像などの成分画像に係るデータである。これらのデータが示す成分画像は、分解画像合成部１４０及び１５０によって合成され、ベイヤー画像が再生成される。色補間部２２２は、このベイヤー画像の画素値を補間することにより、各画素についてＲ成分、Ｇ成分及びＢ成分の画素値を有する画像を生成する。ディスプレイ２２３は、色補間部２２２が生成した画像を表示する。

本実施形態によると、撮像装置２０１が撮像した画像が、画像表示装置２０２へと、成分画像のまま送信される。このため、データの送信量が少なくて済む。また、成分画像が圧縮されて送信されるので、データの送信量がより少なくて済む。

なお、画像処理部２４０に補正処理部１３０が設けられず、圧縮処理部２１０のみが設けられてもよい。この場合、画像表示装置２０２に補正処理部１３０が設けられ、伸長処理部２２１が復元したデータに補正処理部１３０が補正処理を施すとよい。また、圧縮データがネットワーク２０３ではなく、何らかの他の有線／無線インタフェースを介して別の装置に出力されてもよいし、コンピュータ読み取り可能な記録媒体に出力されてもよい。

［その他の変形例］
以下、上述の実施形態に係る変形例について説明する。上述の実施形態では、画像処理部１００又は２４０に、補正処理部１３０や圧縮処理部２１０が設けられている。これらに加え、又は、代えて、以下に説明する特徴量演算部が画像処理部に設けられてもよい。

特徴量演算部は、ＹＨＨ１´、ＶＬＬ２´などの成分画像に基づいて、画像の特徴量を演算する。画像の特徴量とは、例えば、各種の画像処理に用いられるパラメータである。かかるパラメータには、補正処理や画像のエッジを強調するためのフィルタ処理などに用いられるパラメータが含まれる。また、画像の特徴量は、成分画像に基づいて各種の統計演算を行うことで得られる統計値であってもよい。上述の実施形態におけるσ_Ｎは、かかる統計値の一例である。特徴量演算部は、成分画像のうち、高周波成分と低周波成分とで異なる処理となるように特徴量を演算することが好ましい。例えば、色情報に係る補正処理のための特徴量を演算するため、ＵＬＬ２画像等に基づいて演算するが、ＹＬＬ２画像に関しては演算しない。逆に、輝度情報に係る補正処理のための特徴量を演算するため、ＹＬＬ２画像に基づいて演算するが、その他の成分画像に関しては演算しない。特徴量演算部による演算結果は、撮像装置自身における画像処理に用いられてもよいし、他の装置に向けて、又は、記録媒体に向けて出力されてもよい。

また、上述の実施形態では、周波数分解部１１０及び１２０の２つが設けられているが、周波数分解部１１０のみが設けられていてもよい。この場合、周波数分解部１１０が生成した成分画像に画像処理部１００が画像処理を施す。このとき、成分画像のうち、高周波成分（Ｕ画像等）と低周波成分（Ｙ画像）とで、色情報及び輝度情報の違いに応じて異なる画像処理が施されればよい。

また、上述の実施形態では、周波数分解部１２０が２レベル（２階層）の離散ウェーブレット変換を施す。しかし、周波数分解部１２０が１レベルや３レベル以上の離散ウェーブレット変換を施してもよい。また、周波数分解部１１０及び１２０同士で同一の周波数特性であったが、これらが互いに異なる周波数特性であってもよい。

上述の実施形態では、成分画像が低周波成分であるか高周波成分であるかに応じて補正処理におけるフィルタ係数に用いる重みが異なっている。例えば、ＹＬＬ２画像にはｗ_ｓ１が、ＵＬＬ２画像等にはｗ_ｓ２が用いられている。これら２種類の重みを所定の割合で足し合わせたものが使用されてもよい。この場合にも、高周波側の成分に対しては、低周波側の成分に比べて、距離に応じた減少率が小さくなるような重みが使用されるとよい。上記の通り、人の視覚特性は、比較的、色情報（高周波成分）の劣化に敏感でないからである。

また、上述の実施形態では、補正処理部１３０（フィルタ係数取得部１３１）は、あらかじめ設定されたｗ_ｓ１、ｗ_ｓ２、σ_Ｒに基づいてフィルタ係数を取得している。しかし、さらに撮影条件等に基づいてフィルタ係数が調整されてもよい。例えば、ＩＳＯ感度や撮影時の温度等の撮影条件によっても画像に含まれるノイズの量が変化する場合には、補正処理部１３０が撮影条件に応じてフィルタ係数を調整してもよい。この場合、ＩＳＯ感度などの撮影条件は、撮像装置の外部から入力されてもよいし、撮像装置内に撮像光学系２や撮像素子３を制御する制御手段が設けられている場合には、かかる制御手段から補正処理部１３０へと撮影条件が出力されてもよい。

また、上述の実施形態では、補正処理部１３０がフィルタ処理を１回、成分画像に施すことが想定されている。しかし、フィルタ処理が成分画像に複数回、施されてもよい。また、バイラテラルフィルタが採用されているが、トリラテラルフィルタなど、その他のフィルタが採用されてもよい。

また、上述の実施形態では、撮像光学系２や撮像素子３を備えた撮像装置として本発明が実施されることが想定されている。しかし、撮像光学系や撮像素子等を備えた他の撮像装置において生成されたベイヤー画像に画像処理を施す画像処理装置として本発明が実施されてもよい。この場合、画像処理装置には撮像光学系２や撮像素子３が設けられていなくてもよい。また、他の装置からのベイヤー画像は、ネットワークや各種の有線／無線インタフェースを介して撮像装置から画像処理装置に入力されてもよいし、記録媒体を介して入力されてもよい。かかる画像処理装置においては、外部からベイヤー画像を取得するためのインタフェースや記録媒体からのデータ読み取り部が、本発明の画像取得手段に対応する。

また、上述の第２の実施形態における圧縮処理部２１０及び伸長処理部２２１が、第１の実施形態における画像処理部１００に設けられていてもよい。データを圧縮及び伸長する機能部を有していることにより、例えば、一時的にデータを圧縮して保存することができるため、データを一時的に記憶する記憶部の容量を削減できる。

上述の実施形態や変形例は、画像処理として、補正処理、情報の圧縮伸長処理及び特徴量演算処理の少なくともいずれかを含んでいる形態となっている。そのうちの少なくともいずれかの処理において、高周波成分と低周波成分とで異なる画像処理となっていれば、本発明の範囲である。

本発明のその他の応用例としては、３次元ノイズリダクションへの適用が考えられる。３次元ノイズリダクションは、複数フレームの連続する撮像画像からなる動画の場合に、フレーム同士の比較に基づいてノイズを除去する処理である。本発明のように、成分画像に３次元ノイズリダクションを施すことで、必要なバッファ量やバンド幅を大幅に低減できる。例えば、ＲＧＢ４：４：４やＹＣｂＣｒ４：４：４と比較すると１／３に、ＹＣｂＣｒ４：２：０と比較すると２／３に低減できる。

また、画像処理として、輝度情報を示す成分画像（ＹＬＬ２画像）のみに輝度シェーディングを打ち消すゲインで補正を施してもよい。これにより、画像全体に対して効率的に輝度シェーディングの補正効果を確保できる。また、ＹＬＬ２画像のみに補正を施すため、回路規模を抑制できる。さらに、画像処理として、色情報を示す成分画像のうち、低周波成分（ＵＬＬ２画像，ＶＬＬ２画像，ＷＬＬ２画像）のみに、色シェーディングを打ち消すゲインで補正を施してもよい。これにより、画像全体に対して効率的に輝度シェーディングの補正効果を確保できる。また、成分画像の一部のみに補正を施すため、回路規模を抑制できる。

１…撮像装置，１００…画像処理部，１１０…周波数分解部，１２０…周波数分解部，１３０…補正処理部，１４０…分解画像合成部，１５０…分解画像合成部，２０１…撮像装置，２０２…画像表示装置，２１０…圧縮処理部，２４０…画像処理部

Claims (11)

1. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、
   前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、
   前記第２の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
   前記第１及び第２の周波数分解手段が生成し且つ前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成手段とを備えていることを特徴とする画像処理装置。
2. 前記第１の周波数分解手段と前記第２の周波数分解手段とが、同一の周波数特性であると共に、
   前記第１の分解画像合成手段と前記第２の分解画像合成手段とが、同一の周波数特性であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１及び第２の周波数分解手段が、いずれも、前記ベイヤー画像を離散ウェーブレット変換により成分画像に分解することを特徴とする請求項１又は２に記載の画像処理装置。
4. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、
   前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
   前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成手段と、
   を備えており、
   前記画像処理手段が、
   前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、
   前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理手段とを有しており、
   前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、
   前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることを特徴とする画像処理装置。
5. 前記第１の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄ_f1に関する下記の数式１によって表される関数ｗ_R1と前記第１の重みとの積であり、
   前記第２の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄ_f2に関する下記の数式２によって表される関数ｗ_R2と前記第２の重みとの積であり、
   一様な明るさに対する画素値のばらつきを示す基準値を、前記低周波成分に関してσ_N1とし前記高周波成分に関してσ_N2とするとき、数式１、２のσ_R1、σ_R2が、係数ｋ_N1及びｋ_N2（ｋ_N1＜ｋ_N2）を用いて、σ_R1＝ｋ_N1＊σ_N1、σ_R2＝ｋ_N2＊σ_N2と表されることを特徴とする請求項４に記載の画像処理装置。
   
6. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、
   前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、
   前記第２の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
   前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段とを備えていることを特徴とする画像処理装置。
7. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、
   前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
   前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段と、
   を備えており、
   前記画像処理手段が、
   前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、
   前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理手段とを有しており、
   前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、
   前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることを特徴とする画像処理装置。
8. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解ステップと、
   前記第１の周波数分解ステップにおいて生成された前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解ステップと、
   前記第２の周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
   前記第１及び第２の周波数分解ステップ並びに前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成ステップとを備えていることを特徴とする画像処理方法。
9. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
   前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、
   前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
   前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップと、
   を備えており、
   前記画像処理ステップが、
   前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得ステップと、
   前記フィルタ取得ステップにおいて取得された前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得ステップにおいて取得された前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理ステップとを含んでおり、
   前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、
   前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることを特徴とする画像処理方法。
10. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
    前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解ステップと、
    前記第１の周波数分解ステップにおいて生成された前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解ステップと、
    前記第２の周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
    前記第１及び第２の周波数分解ステップ並びに前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１及び第２の分解画像合成ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。
11. Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
    前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、
    前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
    前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップと、
    を備えており、
    前記画像処理ステップが、
    前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得ステップと、
    前記フィルタ取得ステップにおいて取得された前記第１の係数群を使用して前記低周波成分にフィルタを掛けると共に、前記フィルタ取得ステップにおいて取得された前記第２の係数群を使用して前記高周波成分にフィルタを掛けるフィルタ処理ステップとを含んでおり、
    前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、
    前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることを特徴とする画像処理プログラム。