JP2010166513A - 画像処理装置およびデジタルカメラ - Google Patents

Abstract

【課題】パイプライン化した多重解像度ノイズ除去処理を少ないラインメモリによって実現する画像処理装置およびデジタルカメラを提供する。
【解決手段】Ｎ行Ｍ列に配置した画素の各画素値を順次記憶する、Ｎ行よりも行数が少ないラインメモリと、ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、画像縮小部で生成された縮小画像を記憶する縮小画像メモリと、縮小画像メモリに記憶された縮小画像において、ノイズ除去対象の画素を含む所定の領域を選択し、ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値からアップサンプリング部で算出されたノイズ成分を減算し、減算後の画素値を出力するノイズ減算部とを備える。
【選択図】 図１

Description

本発明は、取得された画像について多重解像度ノイズ除去処理を適用するための画像処理装置およびデジタルカメラに関する。

デジタルカメラなどで取得される画像データに現れる低周波ノイズを除去する方法の一つとして、多重解像度ノイズ除去処理が知られている。

多重解像度ノイズ除去処理は、複数の縮小倍率で縮小された縮小画像についてのノイズ除去効果を元のサイズの画像に反映することにより、例えば、行方向およびまたは列方向に数十画素に渡るような低周波ノイズの除去を実現する技術である(特許文献１参照)。

例えば、行方向および列方向にそれぞれ４分の１の縮小率を適用してダウンサンプリングを行って１６分の１の縮小画像を生成し、この縮小画像から抽出したノイズ成分について線形補間などを用いてアップサンプリングすることにより、元画像サイズの低周波ノイズ成分を推定することができる。このようにして推定された低周波ノイズ成分を元画像から差し引くことにより、元画像から低周波ノイズ成分を除去することができる。

高画素化が進んだ近年のデジタルカメラでは、幅数十画素に及ぶ低周波ノイズが現れる場合がある。このような低周波ノイズを除去する処理を、パイプライン処理によって迅速に実行するためには、低周波ノイズの広がりとして想定される範囲よりも大きい範囲の画像データを保持するラインメモリを用意する必要がある。

しかしながら、そのような膨大なラインメモリを用意することは、回路規模の大幅な増大を招き、また、画像処理回路のコストの増加にもつながってしまう。

本発明は、パイプライン化した多重解像度ノイズ除去処理を少ないラインメモリによって実現する画像処理装置およびデジタルカメラを提供することを目的とする。

上述した目的は、以下に述べる画像処理装置およびデジタルカメラによって実現することができる。

一つの観点の画像処理装置およびデジタルカメラは、Ｎ行Ｍ列に配置した画素の各画素値を順次記憶する、Ｎ行よりも行数が少ないラインメモリと、ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、画像縮小部で生成された縮小画像を記憶する縮小画像メモリと、縮小画像メモリに記憶された縮小画像において、ノイズ除去対象の画素を含む所定の領域を選択し、ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値からアップサンプリング部で算出されたノイズ成分を減算し、減算後の画素値を出力するノイズ減算部とを備える。

以上に説明した画像処理装置およびデジタルカメラでは、ノイズ除去対象の画素よりも先に読み込みが完了している元画像の範囲に偏った範囲に対応する縮小画像の範囲を参照して、ノイズ除去対象の画素についての低周波ノイズ成分を抽出する構成を採用することで、ラインメモリに保持しておくべき元画像の範囲を削減することができる。

これにより、多重解像度ノイズ除去技術を適用した低周波ノイズの除去処理を、ノイズ除去対象の画素を中心とする元画像の範囲に対応する縮小画像の範囲に基づいて低周波ノイズ成分を抽出する場合に比べて、格段に少ないラインメモリを用いてパイプライン処理することが可能である。

画像処理装置の一実施形態を示す図である。 ノイズ抽出部の詳細構成を示す図である。 ノイズ抽出での参照範囲を説明する図である。 パイプライン処理を説明する図である。 画像処理装置の別実施形態を示す図である。 画像処理装置の別実施形態を示す図である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、画像処理装置の実施形態を示す。

図１に示した画像処理装置２０は、デジタルカメラに備えられた撮像部１０によって取得された撮影画像を読み込みつつ、後述するパイプライン処理によって多重解像度ノイズ除去処理を行う。

画像処理装置２０の画像読込部２１は、撮影画像のＮ行Ｍ列のマトリクス状に配列された各画素の画素値を第０行から順次に読み込み、元画像保持メモリ２２を介して画像縮小部２３による縮小画像の作成処理に供する。

画像縮小部２３は、元画像保持メモリ２２に新たに読み込まれた範囲の撮影画像について所定の縮小率を適用したダウンサンプリングを行い、新たに読み込まれた撮像画像の範囲に対応する上述した縮小率の縮小画像の範囲を作成して、縮小画像メモリ２４に保持する。

また、ノイズ抽出部２５は、縮小画像メモリ２４に保持された範囲の縮小画像を参照して低周波ノイズ成分を抽出する。アップサンプリング部２６は、このノイズ抽出部２５によって抽出された低周波ノイズ成分についてアップサンプリング処理を行って、元画像(撮影画像)のサイズに対応する低周波ノイズ成分を生成する。

ノイズ減算部２７は、この低周波ノイズ成分を元画像保持メモリ２２に保持された元画像から減算することによって低周波ノイズを除去し、このノイズ除去結果を高周波ノイズ除去部２８による処理に供する。

次に、ノイズ抽出部２５によるノイズ抽出処理について詳細に説明する。

図２に、ノイズ抽出部の詳細構成を示す。また、図３に、ノイズ抽出での参照範囲を説明する図を示す。

元画像保持メモリ２２は、例えば、元画像サイズの５ライン分の画像データを保持する容量を持つラインメモリであり、画像読込部２１によって読み込まれた元画像の各ラインを、そのラインに対応する低周波ノイズ成分がノイズ減算部２７による減算によって除去されるまで保持する。

また、画像縮小部２３は、例えば、元画像保持メモリ２２に元画像において偶数番目の行が読み込まれたときに、この行とその直前の行とに基づいて、元サイズ画像を行および列方向にそれぞれ１／２に縮小するダウンサンプリングを行うことにより、１／４縮小画像の対応する行を生成し、縮小画像メモリ２４に保持する。

縮小画像メモリ２４には、１／４縮小画像保持用に例えば１ライン分のラインメモリを備えており、画像縮小部２３は、新たに算出した１／４縮小画像の行と、このラインメモリに保持された前の行とに基づいて、１／４縮小画像を行および列方向にそれぞれ１／２に縮小した１／１６縮小画像を生成する。このようにして生成された１／１６縮小画像は、縮小画像メモリ２４に１／１６縮小画像用に設けられた例えば９行分のラインメモリに保持され、ノイズ抽出部２５の処理に供される。

ノイズ抽出部２５の１／１６周波数帯ノイズ抽出部３１は、１／１６縮小画像において、図３(ａ)に太い破線で囲んで示すように、白抜きで示した抽出対象の画素を含む行とその前に生成されてラインメモリに保持されている８行分の１／１６縮小画像において、抽出対象の画素の列方向における位置を中心として両側に４画素分の範囲を参照して、上述した抽出対象の画素に対応して、１／１６縮小画像に対応する周波数帯の低周波ノイズ成分を算出する。例えば、１／１６周波数帯ノイズ抽出部３１は、上述したように、既に読み込みが完了している元画像の範囲側に偏って設けられた９行×９画素の参照範囲について、εフィルタを適用することによって低周波ノイズ成分を抽出することができる。

具体的には、上述した参照範囲内の画素のうち、ノイズ抽出対象の画素の画素値との差の絶対値が所定の閾値よりも小さい画素を選び、選ばれた全ての画素の画素値とノイズ抽出対象の画素の画素値との差分を積算する。得られた積算値を参照範囲内の画素数(例えば、８１)で割った値をノイズ抽出対象の画素に対応する低周波ノイズ成分とする。

なお、上述した所定の閾値としては、縮小画像のノイズの標準偏差の３倍程度の値に設定すればよい。また、ノイズ抽出方法は上記に限らず公知の任意の方法を適用することができる。

このようにして抽出された１／１６縮小画像に対応する周波数帯の低周波ノイズ成分は、１／４ノイズ成分生成部３２に渡され、この１／４ノイズ成分生成部３２によるアップサンプリング処理により、１／４縮小画像において上述した周波数帯の低周波ノイズを示す低周波ノイズ成分に変換される。例えば、この１／４ノイズ成分生成部３２に、１／１６縮小画像サイズのラインメモリを備え、新たに得られたノイズ成分とラインメモリに保持されていたノイズ成分とに基づいて線形補間処理を行い、行および列方向に２倍にするアップサンプリング処理を行うことにより、上述した低周波ノイズ成分を生成して、１／４低周波ノイズ減算部３３の処理に供することができる。

１／４低周波ノイズ減算部３３は、上述した１／４縮小画像用のラインメモリに保持された１／４縮小画像からこの低周波ノイズ成分を差し引くことにより、１／１６縮小画像に対応する周波数帯の低周波ノイズ成分が除去された１／４縮小画像を生成し、これを１／４周波数帯ノイズ抽出部３４の処理に供する。

１／４周波数帯ノイズ抽出部３４は、１／４低周波ノイズ減算部３３から受け取った低周波ノイズ成分除去済みの１／４縮小画像の保持用のラインメモリを備えている。この１／４周波数帯ノイズ抽出部３４の参照範囲は、図３(ｂ)に太い破線で囲んで示すように、ノイズ成分の抽出対象の画素(図３(ｂ)において白抜きで示す)を含む行とこの行の前側２行および後側１行の低周波ノイズ成分除去済みの１／４縮小画像の合計４行分について、抽出対象の画素の列方向における位置を中心として両側に２画素分の範囲とすることができる。１／４周波数帯ノイズ抽出部３４は、上述したように、既に読み込みが完了している元画像の範囲側に偏って設けられた４行×５画素の参照範囲について、εフィルタを適用することによって、抽出対象の画素に対応して、１／４縮小画像に対応する周波数帯の低周波ノイズ成分を抽出することができる。

このようにして抽出された１／４縮小画像に対応する周波数帯の低周波ノイズ成分は、ノイズ成分合成部３５により、上述した１／４ノイズ成分生成部３２で得られた１／４縮小画像において１／１６縮小画像に対応する周波数帯の低周波ノイズを示す低周波ノイズ成分と加算され、合成された低周波ノイズ成分がアップサンプリング部２６の処理に供される。

アップサンプリング部２６では、上述したようにして合成された低周波ノイズ成分が、行および列方向にそれぞれアップサンプリングされて元画像サイズの低周波ノイズ成分に変換される。

したがって、ノイズ減算部２７により、元画像保持部２２のラインメモリに保持された元画像の各ラインの画像データから対応する行について得られた低周波ノイズ成分を差し引くことにより、１／４縮小画像に対応する周波数帯の低周波ノイズと１／１６縮小画像に対応する周波数帯の低周波ノイズとを一括して除去し、高周波ノイズ除去部２８の処理に供することができる。

高周波ノイズ除去部２８は、元サイズ画像を保持するラインメモリを備えており、上述したようにして低周波ノイズ除去が完了した行の画像を受け取って、このラインメモリに保持し、保持した画像について高周波ノイズの除去を行う。例えば、高周波ノイズ除去部２８は、図３(ｃ)に太い破線で囲んで示すように、高周波ノイズ除去の対象となる画素(図３(ｃ)において白抜きで示す)を中心とする５行×５画素の参照範囲についてεフィルタを適用することにより、高周波ノイズを除去することができる。

次に、上述した多重解像度ノイズ除去処理をパイプライン処理する方法について詳細に説明する。

図４に、パイプライン処理を説明する図を示す。

図４(ａ)，(ｂ)，(ｃ)，(ｄ)に、高周波ノイズ除去部２８から行番号４ｎ、４ｎ＋１，４ｎ＋２および４ｎ＋３のノイズ除去済みの画像データが出力される際に、各ラインメモリに保持されているデータ、このタイミングで生成されて保持されるデータおよびこのタイミングでラインメモリから消去されるデータを示す。

図４において、各ラインメモリに既に保持され次のタイミングまで維持されるデータを丸印で示し、一方、既に保持されているデータのうちこのタイミングで消去されるデータは三角で示した。また、新たに生成されて保持されるデータは二重丸で示した。

例えば、図４(ａ)において、１／１６縮小画像の第ｎ−７行から第ｎ行が縮小画像メモリ２４に備えられた１／１６縮小画像サイズのラインメモリに保持され、１／４縮小画像の第２ｎ＋２行が同じく縮小画像メモリ２４の１／４縮小画像サイズのラインメモリに保持されている。また、１／４ノイズ成分生成部３２の１／１６縮小画像サイズのラインメモリには１／１６縮小画像の第ｎ行の低周波ノイズ成分(図４において、１／１６周波数帯ノイズとして示す)が保持されている。一方、１／４周波数帯ノイズ抽出部３４に備えられる１／４縮小画像サイズのラインメモリには、１／１６縮小画像の周波数帯に対応する低周波ノイズ成分が除去された１／４縮小画像(図４において、１／４ノイズ除去画像として示す)の第２ｎ−１行から第２ｎ＋１行が保持されている。また、元画像保持メモリ２２のラインメモリには、第４ｎ＋２行から第４ｎ＋６行の元画像データが保持されており、高周波ノイズ除去部２８に備えられる元画像サイズのラインメモリには、ノイズ減算部２７によって得られる低周波ノイズ成分除去済みの画像データの第４ｎ−２行から第４ｎ＋１行が保持されている。

図２および図３で説明したように、高周波ノイズ除去部２８では、ノイズ除去対象となる行とその前後２行ずつの範囲を参照してノイズ除去処理が行われる。したがって、ノイズ減算部２７によって第４ｎ＋２行についての低周波ノイズ成分の除去が完了したタイミングで、この第４ｎ＋２行までの５行分の低周波ノイズ除去済みの画像データを参照して、第ｎ行の低周波ノイズ除去済みの画像データについての高周波ノイズ除去処理が行われる。

この元画像の第４ｎ＋２行についての低周波ノイズ成分を除去するために、まず、元画像保持メモリ２２に元画像データの第４ｎ＋７行を読み込み、この行と既に保持されている第４ｎ＋６行の画像データとに基づいて、１／４縮小画像の第２ｎ＋３行を生成し、更に、１／１６縮小画像の第ｎ＋１行を生成し、それぞれラインメモリに保持する。

このようにして生成された１／１６縮小画像の第ｎ＋１行を含む範囲(第ｎ−７行から第ｎ＋１行)を参照して、１／１６周波数帯ノイズ抽出部３１により、１／１６縮小画像の第ｎ＋１行に対応して、１／１６縮小画像に対応する周波数帯域の低周波ノイズ成分が抽出される。この抽出処理の完了後は、１／１６縮小画像の第ｎ−７行は不要となる。また、１／４ノイズ成分生成部３２のラインメモリには、第ｎ行の低周波ノイズ成分に代わって新たに抽出された第ｎ＋１行の低周波ノイズ成分が格納される。

１／１６周波数帯ノイズ抽出部３１から第ｎ＋１行に対応する１／１６縮小画像に対応する周波数帯域の低周波ノイズ成分が渡される過程で、１／４ノイズ成分生成部３２により、ラインメモリに保持された第ｎ行の低周波ノイズ成分と新たに渡された低周波ノイズ成分とを用いたアップサンプリング処理が行われ、１／４縮小画像に反映されたこの低周波ノイズ成分が算出され、この低周波ノイズ成分を１／４縮小画像の第２ｎ＋２行の画像データから差し引くことで、低周波ノイズ成分が除去された１／４縮小画像(１／４ノイズ除去画像)の第２ｎ＋２行が生成されて、１／４周波数帯ノイズ抽出部３４のラインメモリに保持される。

このようにして生成された第２ｎ＋２行を含む１／４ノイズ除去画像の範囲(図３(ｂ)参照)を参照して、１／４周波数帯ノイズ抽出部３４により、１／４縮小画像の第２ｎ＋１行に対応する低周波ノイズ成分(１／４周波数帯ノイズ)が抽出される。この抽出処理の完了後には、１／４周波数帯ノイズ抽出部３４のラインメモリに保持されていた第２ｎ−１行の１／４ノイズ除去画像は不要となる。

一方、新たに抽出された１／４周波数帯ノイズ成分は、ノイズ成分合成部３５により、上述した１／４ノイズ成分生成部３２によって１／４縮小画像サイズにアップサンプリングされた１／１６周波数帯の低周波ノイズ成分と合成される。そして、この合成結果を、アップサンプリング部２６によって元画像サイズにアップサンプリングした後に、元画像保持メモリ２２に保持された第４ｎ＋２行の画像データから差し引くことにより、低周波ノイズ除去済みの画像データの第４ｎ＋２行が得られ、高周波ノイズ除去部２８のラインメモリに保持される。

このようにして新たにラインメモリに保持された低周波ノイズ除去済みの画像データの第４ｎ＋２行と既に保持されていた第４ｎ−２行から第４ｎ＋１行までの低周波ノイズ除去済みの画像データを参照して、高周波ノイズ除去部２８により、この参照範囲の中央の第４ｎ行についての高周波ノイズ除去処理が行われる。この処理結果は、高周波ノイズ除去済みの画像データの第４ｎ行として出力され、後段の処理(例えば、画像圧縮処理など)に供される。一方、この過程の終了後には、ラインメモリに保持されていた低周波ノイズ除去済みの画像データの第４ｎ−２行は不要となる。

上述したように、図１，２に示した画像処理装置では、各縮小率の縮小画像(例えば、１／４縮小画像および１／１６縮小画像)周波数帯の低周波ノイズ成分を抽出する際に参照する範囲を、図３に示したように、既に読み込みが完了している範囲に偏らせて設定している。このため、多重解像度ノイズ除去処理をパイプライン化する際に、低周波ノイズ成分の除去のためにノイズ除去対象の画素に先立って読み込む必要のある元画像の範囲を小さくすることができるので、ノイズ除去処理を待つためにラインメモリに蓄積される画像データの量を大幅に削減することが可能である。

実際、図４から分かるように、図１、図２に示した画像処理部２０に対応するパイプラインに備えられるラインメモリは非常に少ない。例えば、元画像サイズのラインメモリは、元画像保持メモリ２２に備えられる５ライン分と高周波ノイズ除去部２８に備えられる４ライン分とを合わせて９ライン分である。また、１／４縮小画像サイズのラインメモリは、１／４縮小画像保持用の１ラインと１／４ノイズ除去画像保持用の３ラインおよび１／４周波数帯ノイズ成分保持用の１ラインを合わせて５ライン分であり、元画像サイズ換算では５／２ラインに過ぎない。また、１／１６縮小画像サイズのラインメモリは、１／１６縮小画像保持用の８ラインと１／１６周波数帯ノイズ成分保持用の１ラインをあわせても、元画像サイズのラインメモリに換算すれば、９／５ライン分の容量で実現することができる。

一方、図４(ｂ)に示した行番号４ｎ＋１の高周波ノイズ除去処理では、１／１６縮小画像の第ｎ−６行から第ｎ＋１行が縮小画像メモリ２４に備えられた１／１６縮小画像サイズのラインメモリに保持され、１／４縮小画像の第２ｎ＋３行が同じく縮小画像メモリ２４の１／４縮小画像サイズのラインメモリに保持されている。また、１／４ノイズ成分生成部３２の１／１６縮小画像サイズのラインメモリには１／１６縮小画像の第ｎ＋１行の低周波ノイズ成分(図４において、１／１６周波数帯ノイズとして示す)が保持されている。一方、１／４周波数帯ノイズ抽出部３４に備えられる１／４縮小画像サイズのラインメモリには、１／１６縮小画像の周波数帯に対応する低周波ノイズ成分が除去された１／４縮小画像(図４において、１／４ノイズ除去画像として示す)の第２ｎ行から第２ｎ＋２行が保持されている。また、元画像保持メモリ２２のラインメモリには、第４ｎ＋３行から第４ｎ＋７行の元画像データが保持されており、高周波ノイズ除去部２８に備えられる元画像サイズのラインメモリには、ノイズ減算部２７によって得られる低周波ノイズ成分除去済みの画像データの第４ｎ−１行から第４ｎ＋２行が保持されている。

このタイミングでは、第４ｎ＋８行の元画像を読み込んで元画像保持メモリ２２のラインメモリに保持した後、元画像において第４ｎ＋３行に対応する低周波ノイズ成分を、アップサンプリング部２６によるアップサンプリング処理によって求めることができる。そして、アップサンプリング処理で得られた低周波ノイズ成分を、ラインメモリに保持されていた元画像(第４ｎ＋３行)から差し引いて得られた低周波ノイズ除去済みの画像データ(第４ｎ＋３行)を、高周波ノイズ除去部２８の処理に供することで、行番号４ｎ＋１の高周波ノイズ除去処理が完了する。

また、図４(ｃ)に示した行番号４ｎ＋２の高周波ノイズ除去処理では、１／１６縮小画像の第ｎ−５行から第ｎ＋２行が縮小画像メモリ２４に備えられた１／１６縮小画像サイズのラインメモリに保持され、１／４縮小画像の第２ｎ＋３行が同じく縮小画像メモリ２４の１／４縮小画像サイズのラインメモリに保持されている。また、１／４ノイズ成分生成部３２の１／１６縮小画像サイズのラインメモリには１／１６縮小画像の第ｎ＋１行の低周波ノイズ成分(図４において、１／１６周波数帯ノイズとして示す)が保持されている。一方、１／４周波数帯ノイズ抽出部３４に備えられる１／４縮小画像サイズのラインメモリには、１／１６縮小画像の周波数帯に対応する低周波ノイズ成分が除去された１／４縮小画像(図４において、１／４ノイズ除去画像として示す)の第２ｎ行から第２ｎ＋２行が保持されている。また、元画像保持メモリ２２のラインメモリには、第４ｎ＋４行から第４ｎ＋８行の元画像データが保持されており、高周波ノイズ除去部２８に備えられる元画像サイズのラインメモリには、ノイズ減算部２７によって得られる低周波ノイズ成分除去済みの画像データの第４ｎ行から第４ｎ＋３行が保持されている。

この場合には、元画像保持メモリ２２に新たに読み込まれた元画像データの第４ｎ＋９行と既に保持されている第４ｎ＋８行の画像データとに基づいて、１／４縮小画像の第２ｎ＋４行が生成される。

このタイミングでは、既に算出されている１／１６周波数帯ノイズ成分をアップサンプリングして、１／４縮小画像の第２ｎ＋３行に対応する低周波ノイズ成分を生成し、ラインメモリに保持されている１／４縮小画像の第２ｎ＋３行から上述した低周波ノイズ成分を差し引いて、低周波ノイズ成分が除去された１／４縮小画像(１／４ノイズ除去画像)の第２ｎ＋３行が生成されて、１／４周波数帯ノイズ抽出部３４のラインメモリに保持される。

このようにして生成された第２ｎ＋３行を含む１／４ノイズ除去画像の範囲(図３(ｃ)参照)を参照して、１／４周波数帯ノイズ抽出部３４により、１／４縮小画像の第２ｎ＋２行に対応する低周波ノイズ成分(１／４周波数帯ノイズ)が抽出される。この抽出処理の完了後には、１／４周波数帯ノイズ抽出部３４のラインメモリに保持されていた第２ｎ行の１／４ノイズ除去画像は不要となる。

一方、新たに抽出された１／４周波数帯ノイズ成分は、ノイズ成分合成部３５により、上述した１／４ノイズ成分生成部３２によって１／４縮小画像サイズにアップサンプリングされた１／１６周波数帯の低周波ノイズ成分と合成される。そして、この合成結果を、アップサンプリング部２６によって元画像サイズにアップサンプリングした後に、元画像保持メモリ２２に保持された第４ｎ＋４行の画像データから差し引くことにより、低周波ノイズ除去済みの画像データの第４ｎ＋４行が得られ、高周波ノイズ除去部２８による行番号４ｎ＋２の高周波ノイズ除去処理に供される。

また一方、図４(ｄ)に示した行番号４ｎ＋３の高周波ノイズ除去処理では、１／１６縮小画像の第ｎ−６行から第ｎ＋１行が縮小画像メモリ２４に備えられた１／１６縮小画像サイズのラインメモリに保持され、１／４縮小画像の第２ｎ＋４行が同じく縮小画像メモリ２４の１／４縮小画像サイズのラインメモリに保持されている。また、１／４ノイズ成分生成部３２の１／１６縮小画像サイズのラインメモリには１／１６縮小画像の第ｎ＋１行の低周波ノイズ成分(図４において、１／１６周波数帯ノイズとして示す)が保持されている。一方、１／４周波数帯ノイズ抽出部３４に備えられる１／４縮小画像サイズのラインメモリには、１／１６縮小画像の周波数帯に対応する低周波ノイズ成分が除去された１／４縮小画像(図４において、１／４ノイズ除去画像として示す)の第２ｎ＋１行から第２ｎ＋３行が保持されている。また、元画像保持メモリ２２のラインメモリには、第４ｎ＋５行から第４ｎ＋９行の元画像データが保持されており、高周波ノイズ除去部２８に備えられる元画像サイズのラインメモリには、ノイズ減算部２７によって得られる低周波ノイズ成分除去済みの画像データの第４ｎ＋１行から第４ｎ＋４行が保持されている。

このタイミングでは、第４ｎ＋１０行の元画像を読み込んで元画像保持メモリ２２のラインメモリに保持した後、元画像において第４ｎ＋５行に対応する低周波ノイズ成分を、アップサンプリング部２６によるアップサンプリング処理によって求めることができる。そして、アップサンプリング処理で得られた低周波ノイズ成分を、ラインメモリに保持されていた元画像(第４ｎ＋５行)から差し引いて得られた低周波ノイズ除去済みの画像データ(第４ｎ＋５行)を、高周波ノイズ除去部２８の処理に供することで、行番号４ｎ＋３の高周波ノイズ除去処理が完了する。

同様にして、自然数ｎの値を１ずつ増やして表される行番号の画像についての処理を行うことにより、１フレームの撮影画像に付いての多重解像度ノイズ除去処理を極めて少ないラインメモリを用いたパイプライン処理によって実現することができる。

なお、多重解像度ノイズ除去処理の段階を増やして、更に、大きな広がりを持つ低周波ノイズの除去を実現することもできる。
(実施形態２)
図５に、画像処理装置の別実施形態を示す。

なお、図５に示した構成要素のうち、図１、図２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５に示したノイズ抽出部２５では、１／６４周波数帯ノイズ抽出部３６、１／１６ノイズ成分生成部３７および１／１６低周波ノイズ減算部３８を備えることにより、上述した１／４縮小画像に対応する周波数帯と１／１６縮小画像に対応する周波数帯に加えて、１／６４縮小画像に対応する周波数帯の低周波ノイズを除去するためのノイズ抽出を実現することができる。

このように、各段階に対応して抽出された周波数帯の低周波ノイズをアップサンプリングして次の段階の縮小画像から差し引いた後に、その段階に対応する周波数帯の低周波ノイズを抽出する構成を採用することにより、各段階に対応する周波数帯域のノイズ成分の抽出精度を向上することができる。

同様にして、更に多数の異なる縮小率の縮小画像を生成し、これらの縮小画像に対応する周波数帯の低周波ノイズを抽出して、多重解像度ノイズ除去の多重度を大きくすることもできる。

一方、元画像に対応して生成された縮小画像と組み合わせて元画像を再現する高周波成分について、同様の多重解像度ノイズ除去処理を適用することも可能である。
(実施形態３)
図６に、画像処理装置の別実施形態を示す。

なお、図６に示した構成要素のうち、図１、図２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図６に示した画像処理装置では、画像読込部２１によって読み込まれた画像データに基づいて、画像縮小部２３によって縮小画像に変換されるとともに、高周波成分生成部４１によって、上述した縮小画像と組み合わせて元画像を再現する高周波成分の生成が行われる。生成された縮小画像および高周波成分は、それぞれ縮小画像メモリ２４および高周波成分メモリ４２に保持される。

なお、高周波成分生成部４１は、例えば、ウェーブレット変換やラプラシアンピラミッドを用いた技法と同様にして、高周波成分を生成することができる。

ノイズ除去部４３において、縮小画像メモリ２４に保持された縮小画像に対して、ノイズ除去対象の画素よりも前側に偏らせた範囲を参照領域としてノイズ除去処理を行うことにより、上述した実施形態１と同様に、パイプライン処理を実現するために必要となるラインメモリの量を削減することができる。

このノイズ除去部４３によって低周波ノイズ成分が除去された縮小画像をアップサンプリング部４４によって元画像サイズにアップサンプリングし、画像復元部４５において、高周波成分メモリ４２に保持された高周波成分と合成することにより、低周波ノイズが除去された元画像サイズの画像を生成して、高周波ノイズ除去部２８の処理に供することができる。

１０…撮像部、２０…画像処理装置、２１…画像読込部、２２…元画像保持メモリ、２３…画像縮小部、２４…縮小画像メモリ、２５…ノイズ抽出部、２６，４４…アップサンプリング部、２７…ノイズ減算部、２８…高周波ノイズ除去部、３１…１／１６周波数帯ノイズ抽出部、３２…１／４ノイズ成分生成部、３３…１／４低周波ノイズ減算部、３４…１／４周波数帯ノイズ抽出部、３５，３５ａ，３５ｂ…ノイズ成分合成部、３６…１／６４周波数帯ノイズ抽出部、３７…１／１６ノイズ成分生成部、３８…１／１６低周波ノイズ減算部，４１…高周波成分生成部、４２…高周波成分メモリ、４３…ノイズ除去部、４５…画像復元部。

特開２０００−２２４４２１号公報

Claims (9)

1. Ｎ行Ｍ列に配置した画素の各画素値を順次記憶する、前記Ｎ行よりも行数が少ないラインメモリと、
   前記ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、
   前記画像縮小部で生成された縮小画像を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された縮小画像において、ノイズ除去対象の画素を含む所定の領域を選択し、前記ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、
   前記抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、
   前記ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値から前記アップサンプリング部で算出されたノイズ成分を減算し、前記減算後の画素値を出力するノイズ減算部と
   を備えたことを特徴とする画像処理装置。
2. Ｎ行Ｍ列に配置した画素の各画素値を順次記憶する、前記Ｎ行よりも行数が少ないラインメモリと、
   前記ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、
   前記画像縮小部で生成された、ノイズ除去対象の画素を含む縮小画像と、前記ノイズ除去対象の画素よりも先に前記縮小画像メモリに記憶された画素を含む縮小画像と、前記ノイズ除去対象の画素よりも後に前記縮小画像メモリに記憶され、前記先に縮小画像メモリに記憶された画素よりも数が少ない画素を含む縮小画像と、を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された縮小画像において、前記ノイズ除去対象の画素を含む所定の領域を選択し、前記ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、
   前記抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、
   前記ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値から前記アップサンプリング部で算出されたノイズ成分を減算し、前記減算後の画素値を出力するノイズ減算部と
   を備えたことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記ノイズ抽出部は、前記縮小画像メモリに記憶された、前記ノイズ除去対象の画素を含む縮小画像と、前記ノイズ除去対象の画素よりも先に前記縮小画像メモリに記憶された画素を含む縮小画像とからなる領域のみを選択してノイズ成分を抽出する
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記画像縮小部は、縮小率の異なる複数の縮小画像を生成し、
   前記縮小画像メモリは、前記複数の縮小画像を記憶し、
   前記ノイズ抽出部は、前記複数の縮小画像について各々前記所定の領域から前記ノイズ成分を抽出することにより、前記複数の縮小率に各々対応する周波数帯域のノイズ成分を生成し、
   前記アップサンプリング部は、前記複数の周波数帯域に対応するノイズ成分を各々アップサンプリングして、前記処理対象画像のノイズ除去対象の画素に対応する前記複数の周波数帯域のノイズ成分を算出し、
   前記ノイズ減算部は、前記アップサンプリング部で算出された前記複数の周波数帯域のノイズ成分の和を、前記ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値から減算することによりノイズを除去する
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記ノイズ抽出部は、
   前記複数の縮小率に各々対応する周波数帯域のうち、低い周波数帯域から順にノイズ抽出を段階的に行って、対応する周波数帯域のノイズ成分として前記ノイズ減算部の処理に供する段階抽出部と、
   前記段階抽出部で抽出された周波数帯域のノイズ成分を、対応する縮小率の縮小画像のノイズ除去対象の画素の画素値から減算し、減算結果として得られる縮小画像を前記段階抽出部の処理に供する抽出制御部とを備える
   ことを特徴とする画像処理装置。
6. Ｎ行Ｍ列に配置した処理対象画像の画素の各画素値を順次読み込む画像読込部と、
   前記読み込まれる画素を所定の割合でダウンサンプリングすることにより、前記画像のうちの低周波ノイズ処理を適用する領域の縮小画像を生成する画像縮小部と、
   前記縮小画像をアップサンプリングして得られる画像と組み合わせることによって前記読み込まれた元画像を再現する高周波成分データを生成する高周波成分生成部と、
   前記高周波成分データを所定範囲にわたり記憶する高周波成分メモリと、
   前記画像縮小部で生成された、ノイズ除去対象の画素を含む縮小画像と、前記ノイズ除去対象の画素よりも先に前記縮小画像メモリに記憶された画素を含む縮小画像と、前記ノイズ除去対象の画素よりも後に前記縮小画像メモリに記憶され、前記先に縮小画像メモリに記憶された画素よりも数が少ない画素を含む縮小画像と、を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された前記縮小画像に対してノイズ除去処理を行う縮小画像ノイズ除去部と、
   前記ノイズを除去された前記縮小画像に対してアップサンプリングを行って前記元画像と同等のサイズの画像を生成するアップサンプリング部と、
   前記高周波成分メモリに記憶された高周波成分データと前記アップサンプリング部で生成された前記画像とを組み合わせることにより低周波ノイズを除去された元サイズの画像を復元する画像復元部と
   を備えたことを特徴とする画像処理装置。
7. Ｎ行Ｍ列の画素からなる画像を取得する撮像部と、
   前記撮像部によって取得された処理対象画像の画素の各画素値を順次記憶する、前記Ｎ行よりも行数が少ないラインメモリと、
   前記ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、
   前記画像縮小部で生成された縮小画像を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された縮小画像において、ノイズ除去対象の画素を含む所定の領域を選択し、前記ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、
   前記抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、
   前記ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値から前記アップサンプリング部で算出されたノイズ成分を減算し、前記減算後の画素値を出力するノイズ減算部と
   を備えたことを特徴とするデジタルカメラ。
8. Ｎ行Ｍ列の画素からなる画像を取得する撮像部と、
   前記撮像部によって取得された処理対象画像の画素の各画素値を順次記憶する、前記Ｎ行よりも行数が少ないラインメモリと、
   前記ラインメモリに順次記憶される部分画像の縮小画像を生成する画像縮小部と、
   前記画像縮小部で生成された、ノイズ除去対象の画素を含む縮小画像と、前記ノイズ除去対象の画素よりも先に前記縮小画像メモリに記憶された画素を含む縮小画像と、前記ノイズ除去対象の画素よりも後に前記縮小画像メモリに記憶され、前記先に縮小画像メモリに記憶された画素よりも数が少ない画素を含む縮小画像と、を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された縮小画像において、前記ノイズ除去対象の画素を含む所定の領域を選択し、前記ノイズ除去対象の画素のノイズ成分を抽出するノイズ抽出部と、
   前記抽出されたノイズ成分にアップサンプリング処理を行うことにより、処理対象画像のノイズ除去対象の画素に対応するノイズ成分を算出するアップサンプリング部と、
   前記ラインメモリに保持された前記処理対象画像のノイズ除去対象の画素の画素値から前記アップサンプリング部で算出されたノイズ成分を減算し、前記減算後の画素値を出力するノイズ減算部と
   を備えたことを特徴とするデジタルカメラ。
9. Ｎ行Ｍ列の画素からなる画像を取得する撮像部と、
   前記撮像部によって取得された処理対象画像の画素の各画素値を順次読み込む画像読込部と、
   前記読み込まれる画素を所定の割合でダウンサンプリングすることにより、前記画像のうちの低周波ノイズ処理を適用する領域の縮小画像を生成する画像縮小部と、
   前記縮小画像をアップサンプリングして得られる画像と組み合わせることによって前記読み込まれた元画像を再現する高周波成分データを生成する高周波成分生成部と、
   前記高周波成分データを所定範囲にわたり記憶する高周波成分メモリと、
   前記画像縮小部で生成された、ノイズ除去対象の画素を含む縮小画像と、前記ノイズ除去対象の画素よりも先に前記縮小画像メモリに記憶された画素を含む縮小画像と、前記ノイズ除去対象の画素よりも後に前記縮小画像メモリに記憶され、前記先に縮小画像メモリに記憶された画素よりも数が少ない画素を含む縮小画像と、を記憶する縮小画像メモリと、
   前記縮小画像メモリに記憶された前記縮小画像に対してノイズ除去処理を行う縮小画像ノイズ除去部と、
   前記ノイズを除去された前記縮小画像に対してアップサンプリングを行って前記元画像と同等のサイズの画像を生成するアップサンプリング部と、
   前記高周波成分メモリに記憶された高周波成分データと前記アップサンプリング部で生成された前記画像とを組み合わせることにより低周波ノイズを除去された元サイズの画像を復元する画像復元部と
   を備えたことを特徴とするデジタルカメラ。

Images