JP2013225779A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 画像から低周波ノイズを確度高く除去することができる技術を提供することを目的とする。
【解決手段】 時間的に連続して撮像された複数の画像それぞれを対象画像として入力する画像入力部と、対象画像を縮小して縮小画像を生成する画像縮小部と、ノイズ除去処理の参照画像を記憶するフレームメモリと、参照画像を参照しつつ縮小画像から低周波ノイズを除去する縮小画像ノイズ除去部と、低周波ノイズが除去された縮小画像に基づいて対象画像から低周波ノイズを除去する対象画像ノイズ除去部と、を備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、動画のフレームからノイズを除去する様々な技術が開発されている。

例えば、動画の現画像と１フレーム前の画像とを入力してフレーム間の差分を求め、その差分の大きさに応じてノイズか否かを判定し、現画像からノイズ除去する技術がある（特許文献１など参照）。

特開２００８−１１３３５２号公報

しかしながら、従来技術では、現画像と１フレーム前の画像との差分のみに基づいて現画像からノイズ除去することから、現画像のサイズよりも大きな空間波長の低周波ノイズに対しては除去効果が十分でないという問題がある。

上記従来技術が有する問題に鑑み、本発明の目的は、画像から低周波ノイズを確度高く除去することができる技術を提供することにある。

上記課題を解決するために、本発明を例示する画像処理装置の一態様は、時間的に連続して撮像された複数の画像それぞれを対象画像として入力する画像入力部と、対象画像を縮小して縮小画像を生成する画像縮小部と、ノイズ除去処理の参照画像を記憶するフレームメモリと、参照画像を参照しつつ縮小画像から低周波ノイズを除去する縮小画像ノイズ除去部と、低周波ノイズが除去された縮小画像に基づいて対象画像から低周波ノイズを除去する対象画像ノイズ除去部と、を備える。

また、フレームメモリは、縮小画像ノイズ除去部により低周波ノイズが除去された縮小画像を参照画像として記憶してもよい。

また、縮小画像ノイズ除去部は、縮小画像の画素に対応する参照画像の画素周辺の画像領域を参照しつつ、縮小画像の画素から低周波ノイズを除去してもよい。

本発明を例示する撮像装置の一態様は、被写体を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。

また、操作部材を備え、縮小画像ノイズ除去部は、ユーザにより撮影モードとして静止画像モードが設定された場合、画像縮小部により生成された縮小画像自身を参照画像として参照しつつ、該縮小画像から低周波ノイズを除去してもよい。

また、画像縮小部により生成された縮小画像からノイズを除去し参照画像としてフレームメモリに記録する参照画像ノイズ除去部を備えてもよい。

本発明を例示する画像処理プログラムの一態様は、時間的に連続して撮像された複数の画像それぞれを対象画像として入力する画像入力手順、対象画像を縮小して縮小画像を生成する画像縮小手順、フレームメモリに記憶されたノイズ除去処理の参照画像を参照しつつ縮小画像から低周波ノイズを除去する縮小画像ノイズ除去手順、低周波ノイズが除去された縮小画像に基づいて対象画像から低周波ノイズを除去する対象画像ノイズ除去手順、をコンピュータに実行させる。

本発明によれば、画像から低周波ノイズを確度高く除去することができる。

本発明の一の実施形態に係るデジタルカメラの構成の一例を示す図 一の実施形態に係るデジタルカメラによる動画モードの場合のノイズ除去処理における画像データの流れの一例を示す図 図２のノイズ除去処理の一例を示すフローチャート 本発明の他の実施形態に係るデジタルカメラによる静止画像モードの場合のノイズ除去処理の一例を示すフローチャート 図４に示すノイズ除去処理における画像データの流れの一例を示す図 本発明の他の実施形態の変形例に係るデジタルカメラの構成の一例を示す図 他の実施形態の変形例におけるノイズ除去処理の画像データの流れの一例を示す図

図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成の一例を示す。

本実施形態のデジタルカメラ１００は、撮像光学系１１、撮像素子１２、ＡＦＥ１３、フレームメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７、ＣＰＵ１９、操作部材２３、バス２４から構成される。フレームメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７、ＣＰＵ１９は、バス２４を介して情報伝達可能にそれぞれ接続される。また、操作部材２３は、ＣＰＵ１９に接続される。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成される。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。

撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、フレームメモリ１４に一時的に記録される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。また、本実施形態のフレームメモリ１４は、後述するように、撮影モードが動画モードの場合、上記撮像部により撮像されたフレームの画像データとともに、その画像より１フレーム前の画像で、低周波ノイズが除去された縮小画像も一時的に記憶する。フレームメモリ１４には、一般的な揮発性の半導体メモリ等を適宜選択して用いることができる。

モニタ１５は、液晶モニタなどの表示部であり、ＣＰＵ１９の指示に応じて各種画像を表示する。つまり、ＣＰＵ１９の指示に基づいて、撮像された画像を表示するとともに、撮像に必要となる各種情報や各種設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式の釦を重畳表示する。

記憶部１６は、ＣＰＵ１９によって実行される制御プログラムや画像処理プログラムなどとともに、デジタルカメラ１００によって撮像された画像のファイルを記憶する。記憶部１６には、不揮発性の半導体メモリなどを用いることができる。

記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。

ＣＰＵ１９は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１９は、ＡＦＥ１３から出力される画像データに対して、デジタル処理を施す。本実施形態のデジタル処理には、一例として、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、本実施形態のＣＰＵ１９は、画像処理プログラムの実行により、画像縮小部２０、縮小画像ノイズ除去部２１、対象画像ノイズ除去部２２として動作する。そこで、図２に示す画像データの流れを参照しつつ、画像縮小部２０、縮小画像ノイズ除去部２１、対象画像ノイズ除去部２２の動作について説明する。

画像縮小部２０は、次式（１）を用いて、撮像素子１２によって撮像された画像（以下、対象画像Ａ）を４ピクセル×４ピクセルの画像領域ごとに画素値を加算平均して、縮小率１／１６の縮小画像Ｂを生成する。

なお、対象画像Ａは、ＣＰＵ１９のデジタル処理により、各画素位置において、ＲＧＢまたはＹＣｒＣｂ全ての色成分の画素値を有し、画像縮小部２０は、色成分ごとに縮小画像Ｂを生成する。また、本実施形態では、縮小率を１／１６（つまり、加算平均する画像領域を４ピクセル×４ピクセル）とするが、対象画像Ａの画像サイズやノイズ除去処理の精度などに応じて適宜決定されることが好ましい。

縮小画像ノイズ除去部２１は、公知の手法を用いて、縮小画像Ｂから低周波ノイズを除去し縮小画像Ｄを生成する。具体的に、縮小画像ノイズ除去部２１は、フレームメモリ１４から対象画像Ａよりも１フレーム前の画像の縮小画像で、上記低周波ノイズが既に除去されたノイズ除去処理の参照画像Ｃを読み込み、次式（２）に基づいて、参照画像Ｃを参照しつつ縮小画像Ｂから低周波ノイズを除去し縮小画像Ｄを生成する。

ここで、式（２）は、公知の手法として、イプシロンフィルタＥＰＳを用いた場合を示す。定数εは、画像の平坦領域における画素値の標準偏差σに基づいた値で、本実施形態では、ε＝３σ〜４σ程度に設定する。縮小画像ノイズ除去部２１は、式（２）に基づいて、｜Ｂ−Ｃ｜≦εの場合、平坦領域なので参照画像Ｃを参照して平滑化することで縮小画像Ｂの低周波ノイズを除去し、｜Ｂ−Ｃ｜＞εの場合、縮小画像Ｂを参照して画像構造を残すようにする。

対象画像ノイズ除去部２２は、次式（３）に基づいて、対象画像Ａに重畳する上記低周波ノイズを、縮小画像Ｂ、Ｄを用いて除去し対象画像Ｅを生成する。

ここで、座標（ｘ／２，ｙ／２）は、対象画像Ａの画素（ｘ，ｙ）に対応する縮小画像Ｂ、Ｄの画素位置を示し、ｘ／２およびｙ／２の小数点以下の端数は切り捨てる。

操作部材２３は、例えば、レリーズ釦、電源釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２３はデジタルカメラ１００の各種入力をユーザから受け付ける。例えば、操作部材２３は、レリーズ釦の半押し操作による撮像前のＡＥ動作開始の指示入力、および全押し操作による撮像モードに応じた撮像開始の指示入力、あるいはデジタルカメラ１００の動作モードの切替操作や、設定画面での入力操作などをユーザから受け付ける。また、モニタ１５と同形状の透明のパネルで構成されモニタ１５の表面全体に積層配置されるタッチパネルが、操作部材２３として用いられてもよい。すなわち、タッチパネルが、パネル表面に接触したスタイラス（または指先など）の位置を検出し、検出した位置情報をＣＰＵ１９に出力することでユーザからの指示入力を受け付けるようにしてもよい。

次に、図２の画像データの流れ図および図３のフローチャートを参照しつつ、本実施形態に係るデジタルカメラ１００によるノイズ除去処理について説明する。なお、デジタルカメラ１００は、ユーザによる操作部材２３の操作指示に基づいて、撮影モードが予め動画モードに設定されているものとする。

ＣＰＵ１９は、ユーザから、動画の撮像指示（例えば、操作部材２３のレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画の撮影を開始させる。ＣＰＵ１９は、撮像された動画のフレームに対してステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１９は、ＡＦＥ１３およびフレームメモリ１４を介して、撮像素子１２から出力されるフレームを読み込み、デジタル処理を施し対象画像Ａとしてフレームメモリ１４に記録する。

ステップＳ１０２：画像縮小部２０は、対象画像Ａを読み込み、式（１）を用いて縮小率１／１６の縮小画像Ｂを生成する。

ステップＳ１０３：縮小画像ノイズ除去部２１は、フレームメモリ１４に記憶されている参照画像Ｃを読み込み、式（２）に基づいて、参照画像Ｃを参照しつつ、縮小画像Ｂから低周波ノイズを除去し縮小画像Ｄを生成する。ＣＰＵ１９は、縮小画像Ｄを次のフレームの縮小画像の参照画像Ｃとして、フレームメモリ１４に上書きして記録する。

なお、本実施形態では、対象画像Ａが最初のフレームの場合、参照画像Ｃが存在しないことから、縮小画像ノイズ除去部２１は、式（２）を用いず、縮小画像Ｄ＝縮小画像Ｂと処理する。

ステップＳ１０４：対象画像ノイズ除去部２２は、式（３）に基づいて、対象画像Ａに重畳する低周波ノイズを、縮小画像Ｂ、Ｄを用いて除去し対象画像Ｅを生成する。

ステップＳ１０５：ＣＰＵ１９は、H.264やMotion JPEGなどの動画形式に応じて、ノイズ除去された対象画像Ｅを動画圧縮し動画データを生成する。なお、ＣＰＵ１９は、対象画像Ｅを動画圧縮するにあたり、公知のノイズ除去フィルタを用いて、対象画像Ｅに重畳する高周波ノイズを除去することが好ましい。

ステップＳ１０６：ＣＰＵ１９は、例えば、ユーザによる操作部材２３のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１９は、動画撮像の終了指示を受け付けた場合（ＹＥＳ側）、動画圧縮された動画データの動画ファイルを生成し、記憶部１６や記憶媒体１８に記録する。ＣＰＵ１９は、一連の処理を終了する。一方、ＣＰＵ１９は、動画撮像の終了指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、終了指示を受け付けるまで、次のフレームに対してステップＳ１０１〜ステップＳ１０５の処理を施す。

このように、本実施形態では、縮小画像ノイズ除去部２１が、縮小画像Ｂの画素（ｘ，ｙ）から低周波ノイズを除去するにあたり、式（２）に基づいて、参照画像Ｃの画素（ｘ＋ｉ，ｙ＋ｊ）という５ピクセル×５ピクセルの画像領域を参照する。同様に、縮小画像ノイズ除去部２１は、参照画像Ｃから低周波ノイズを除去するにあたり、２フレーム前の参照画像における５ピクセル×５ピクセルの画像領域を参照する。つまり、縮小画像ノイズ除去部２１による縮小画像Ｂの低周波ノイズ除去は、実質的に、２フレーム前の参照画像との関係において、５ピクセル×５ピクセルの画像領域より広い領域を参照して行われるのと同等の効果を有し、対象画像Ａから低周波ノイズを強力かつ確度高く除去することができる。

また、フレームメモリ１４に記憶され低周波ノイズ除去で参照される画像データは、１フレーム前の画像の縮小画像で低周波ノイズが除去された参照画像Ｃのみであることから、フレームメモリ１４−ＣＰＵ１９間およびＣＰＵ１９内部でのデータ転送量を削減することができ、コストを大幅に削減することができる。

さらに、縮小画像を利用してノイズを除去することから、ピクセル等倍表示ではなくて画像全体を表示したときに見えやすい低周波ノイズを除去することができる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１に示す一の実施形態のデジタルカメラ１００と同じであり、本実施形態のデジタルカメラ１００の構成要素についての詳細な説明は省略する。

また、本実施形態のデジタルカメラ１００によるノイズ除去処理は、撮影モードが動画モードの場合、図２および図３に示す一の実施形態のものと同じであり、詳細な説明は省略する。

なお、本実施形態のデジタルカメラ１００と一の実施形態のものとの相違点は、撮影モードが単写の静止画像モードに設定された場合のノイズ除去処理が、図４に示すフローチャートおよび図５に示す画像データの流れになる点にある。そこで、図４のフローチャートおよび図５の画像データの流れ図を参照しつつ、本実施形態に係るデジタルカメラ１００による静止画像モードの場合のノイズ除去処理について説明する。

ＣＰＵ１９は、ユーザから静止画像の撮像指示（例えば、操作部材２３に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の静止画像を撮像させる。ＣＰＵ１９は、ステップＳ２０１からの処理を開始する。

ステップＳ２０１：ＣＰＵ１９は、ＡＦＥ１３およびフレームメモリ１４を介して、撮像素子１２から出力される静止画像を読み込み、デジタル処理を施し対象画像Ａとしてフレームメモリ１４に記録する。

ステップＳ２０２：画像縮小部２０は、対象画像Ａを読み込み、式（１）を用いて縮小率１／１６の縮小画像Ｂを生成する。

ステップＳ２０３：縮小画像ノイズ除去部２１は、式（２）に基づいて縮小画像Ｂに重畳する低周波ノイズを除去し縮小画像Ｄを生成する。そのために、本実施形態の縮小画像ノイズ除去部２１は、図５に示すように、参照画像Ｃとして縮小画像Ｂ自身を参照して、縮小画像Ｂから低周波ノイズを除去する。

ステップＳ２０４：対象画像ノイズ除去部２２は、式（３）に基づいて、対象画像Ａに重畳する低周波ノイズを、縮小画像Ｂ、Ｄを用いて除去し対象画像Ｅを生成する。

ステップＳ２０５：ＣＰＵ１９は、公知のノイズ除去フィルタを用いて、対象画像Ｅに重畳する高周波ノイズを除去し、対象画像Ｅの画像データをＪＰＥＧ形式やＹＵＶ形式などの静止画像のファイルを生成して記憶部１６や記憶媒体１８に記録する。ＣＰＵ１９は、一連の処理を終了する。

このように、本実施形態では、動画モードの場合、縮小画像ノイズ除去部２１は、縮小画像Ｂの画素（ｘ，ｙ）から低周波ノイズを除去するにあたり、式（２）に基づいて、参照画像Ｃの画素（ｘ＋ｉ，ｙ＋ｊ）という５ピクセル×５ピクセルの画像領域を参照する。同様に、縮小画像ノイズ除去部２１は、参照画像Ｃから低周波ノイズを除去するにあたり、２フレーム前の参照画像における５ピクセル×５ピクセルの画像領域を参照する。つまり、縮小画像ノイズ除去部２１による縮小画像Ｂの低周波ノイズ除去は、実質的に、２フレーム前の参照画像との関係において、５ピクセル×５ピクセルの画像領域より広い領域を参照して行われるのと同等の効果を有し、対象画像Ａから低周波ノイズを強力かつ確度高く除去することができる。

また、静止画像モードの場合であっても、動画モードの場合と共通した構成を用いて静止画像の低周波ノイズを除去することができる。

また、フレームメモリ１４に記憶され低周波ノイズ除去で参照される画像データは、動画モードの場合の１フレーム前の画像の縮小画像で低周波ノイズが除去された参照画像Ｃのみであることから、フレームメモリ１４−ＣＰＵ１９間およびＣＰＵ１９内部でのデータ転送量を削減することができ、コストを大幅に削減することができる。

さらに、縮小画像を利用してノイズを除去することから、ピクセル等倍表示ではなくて画像全体を表示したときに見えやすい低周波ノイズを除去することができる。
《他の実施形態の変形例》
図６は、本発明の他の実施形態の変形例に係るデジタルカメラ２００の構成の一例を示す。図６において、本実施形態のデジタルカメラ２００の構成要素のうち、一の実施形態のデジタルカメラ１００と同じものについては同一の符号を付し詳細な説明は省略する。

また、本実施形態のデジタルカメラ２００によるノイズ除去処理は、撮影モードが動画モードの場合、図２および図３に示す一の実施形態のものと同一であり、詳細な説明は省略する。

本実施形態のデジタルカメラ２００と他の実施形態のデジタルカメラ１００との相違点は、撮影モードが静止画像モードの場合のノイズ除去処理が、フローチャートは図４のままであるのに対し、画像データの流れが図７に示すようになる点にある。

すなわち、静止画像モードの場合、本実施形態のＣＰＵ１９は、図６に示すように、画像縮小部２０、縮小画像ノイズ除去部２１、対象画像ノイズ除去部２２とともに、参照画像ノイズ除去部３０として動作する。そして、図７に示すように、参照画像ノイズ除去部３０は、例えば、多重解像度解析などの公知の手法を用いて、予め縮小画像Ｂからノイズを除去し、参照画像Ｃとしてフレームメモリ１４に記録する。縮小画像ノイズ除去部２１は、式（２）に基づいて、参照画像ノイズ除去部３０により低周波ノイズが除去された参照画像Ｃを参照しつつ、縮小画像Ｂから低周波ノイズを除去し縮小画像Ｄを生成する。

このように、本実施形態では、動画モードの場合、縮小画像ノイズ除去部２１は、縮小画像Ｂの画素（ｘ，ｙ）から低周波ノイズを除去するにあたり、式（２）に基づいて、参照画像Ｃの画素（ｘ＋ｉ，ｙ＋ｊ）という５ピクセル×５ピクセルの画像領域を参照する。同様に、縮小画像ノイズ除去部２１は、参照画像Ｃから低周波ノイズを除去するにあたり、２フレーム前の参照画像において５ピクセル×５ピクセルの画像領域を参照する。つまり、縮小画像ノイズ除去部２１による縮小画像Ｂの低周波ノイズ除去は、実質的に、２フレーム前の参照画像との関係において、５ピクセル×５ピクセルの画像領域より広い領域を参照して行われるのと同等の効果を有し、対象画像Ａから低周波ノイズを強力かつ確度高く除去することができる。

また、静止画像モードの場合、縮小画像ノイズ除去部２１は、参照画像ノイズ除去部３０によりノイズ除去された縮小画像Ｂを参照画像Ｃとして参照することから、より強力に縮小画像Ｂから低周波ノイズを除去することができる。さらに、縮小画像ノイズ除去部２１は、対象画像Ａと参照画像Ｃとを読み出すタイミングを調整できることから、同期に必要なコストを抑制することができる。

また、フレームメモリ１４に記憶され低周波ノイズ除去で参照される画像データは、動画モードの場合、１フレーム前の画像の縮小画像で低周波ノイズが除去された参照画像Ｃのみであり、静止画像モードの場合、参照画像ノイズ除去部３０によりノイズ除去された縮小画像Ｂの参照画像Ｃのみであることから、フレームメモリ１４−ＣＰＵ１９間およびＣＰＵ１９内部でのデータ転送量を削減することができ、コストを大幅に削減することができる。

さらに、縮小画像を利用してノイズを除去することから、ピクセル等倍表示ではなくて画像全体を表示したときに見えやすい低周波ノイズを除去することができる。
《実施形態の補足事項》
（１）上記実施形態では、デジタルカメラ１００、２００の画像縮小部２０、縮小画像ノイズ除去部２１、対象画像ノイズ除去部２２、参照画像ノイズ除去部３０の各処理を、ＣＰＵ１９がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。

（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１００、２００の例に限定されない。例えば、撮像された画像を、デジタルカメラ１００、２００から直接またはインターネットなどを介してコンピュータに読み込ませて、コンピュータにインストールされた画像処理プログラムを実行させることにより、コンピュータを本発明の画像処理装置として機能させてもよい。そして、コンピュータは、読み込まれた画像が１つしかない場合、読み込んだ画像は静止画像と判定し、図４に示すフローチャートと、図５または図７に示す画像データの流れとに従って処理することが好ましい。

（３）上記実施形態では、縮小画像ノイズ除去部２１が、式（２）に基づいて、縮小画像Ｂの画素（ｘ，ｙ）から低周波ノイズを除去するにあたり、参照画像Ｃの画素（ｘ＋ｉ，ｙ＋ｊ）という５ピクセル×５ピクセルの画像領域を参照したが、本発明はこれに限定されず、５ピクセル×５ピクセル以外の大きさの画像領域を参照してもよい。

また、式（２）は、イプシロンフィルタＥＰＳを用いて低周波ノイズの除去を行ったが、他のフィルタを用いて行ってもよい。

また、撮影対象が風景などの動きの少ない被写体の場合、フレームメモリ１４に記憶される参照画像Ｃは更新せず同じものを用いてもよい。これにより、フレームメモリ１４−ＣＰＵ１９間のデータ転送量をさらに削減することができ、よりコストを削減することができる。

（４）上記他の実施形態の変形例では、参照画像ノイズ除去部３０が、縮小画像Ｂをノイズ除去して参照画像Ｃを生成するために、多重解像度解析などの公知の手法を用いて行ったが、本発明はこれに限定されず、縮小画像ノイズ除去部２１と同じ処理を行ってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…フレームメモリ、１５…モニタ、１６…記憶部、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…ＣＰＵ、２０…画像縮小部、２１…縮小画像ノイズ除去部、２２…対象画像ノイズ除去部、２４…バス、３０…参照画像ノイズ除去部、１００、２００…デジタルカメラ、

Claims (7)

1. 時間的に連続して撮像された複数の画像それぞれを対象画像として入力する画像入力部と、
   前記対象画像を縮小して縮小画像を生成する画像縮小部と、
   ノイズ除去処理の参照画像を記憶するフレームメモリと、
   前記参照画像を参照しつつ前記縮小画像から低周波ノイズを除去する縮小画像ノイズ除去部と、
   前記低周波ノイズが除去された縮小画像に基づいて前記対象画像から前記低周波ノイズを除去する対象画像ノイズ除去部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記フレームメモリは、前記縮小画像ノイズ除去部により前記低周波ノイズが除去された縮小画像を前記参照画像として記憶することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記縮小画像ノイズ除去部は、前記縮小画像の画素に対応する前記参照画像の画素周辺の画像領域を参照しつつ、前記縮小画像の画素から前記低周波ノイズを除去することを特徴とする画像処理装置。
4. 被写体を撮像して画像を生成する撮像部と、
   請求項１に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   操作部材を備え、
   前記縮小画像ノイズ除去部は、ユーザにより撮影モードとして静止画像モードが設定された場合、前記画像縮小部により生成された前記縮小画像自身を前記参照画像として参照しつつ、該縮小画像から前記低周波ノイズを除去する
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記画像縮小部により生成された前記縮小画像からノイズを除去し前記参照画像として前記フレームメモリに記録する参照画像ノイズ除去部を備えることを特徴とする撮像装置。
7. 時間的に連続して撮像された複数の画像それぞれを対象画像として入力する画像入力手順、
   前記対象画像を縮小して縮小画像を生成する画像縮小手順、
   フレームメモリに記憶されたノイズ除去処理の参照画像を参照しつつ前記縮小画像から低周波ノイズを除去する縮小画像ノイズ除去手順、
   前記低周波ノイズが除去された縮小画像に基づいて前記対象画像から前記低周波ノイズを除去する対象画像ノイズ除去手順、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images