JP5370345B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、動画などに対するノイズ除去処理について様々な技術が開発されている。例えば、動画のフレーム間の画素値の差分に基づいて被写体の動き部分を検出して、ノイズ除去のフィルタ係数を被写体の動き部分の検出結果に基づいて決定し、フレームの中から動きとノイズを正確に判定してノイズ除去する技術がある（特許文献１など参照）。

特開平７−７９９５６号公報

しかしながら、従来技術では、フィルタ係数をフレーム間の画素値の差分のみに基づいて決定することから、例えば、被写体の暗い部分のようなノイズレベルの高い画素値を有する画素に対してノイズを正確に除去できない場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、ノイズレベルの高い画素に対してもノイズ除去を確度高く高速に行うことができる技術を提供することにある。

上記課題を解決するために、本実施形態の画像処理装置は、ノイズ除去対象の対象画像とノイズ除去処理の参照となる参照画像との差分に基づいて第１係数の値を決定する第１係数決定部と、対象画像および／または参照画像の輝度情報に基づいて第２係数の値を決定する第２係数決定部と、第１係数および第２係数の値を用いて対象画像と参照画像とを重み付け加算し、対象画像に重畳するノイズを除去するノイズ除去部と、を備える。さらに、対象画像を縮小した第１縮小画像と、参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部を備え、第１係数決定部は、第１縮小画像と第２縮小画像との差分に基づいて第１係数の値を決定し、第２係数決定部は、第１縮小画像および／または第２縮小画像の輝度情報に基づいて第２係数の値を決定し、ノイズ除去部は、第１係数および第２係数の値を用いて第１縮小画像と第２縮小画像とを重み付け加算し、縮小率に応じた周波数帯域のノイズを抽出し、対象画像の画素値から周波数帯域のノイズを除去する。

また、第２係数決定部は、対象画像と参照画像との輝度値の平均値、対象画像と参照画像との輝度値を第１係数の値を用いた重み付け加算した値、第１縮小画像と第２縮小画像との輝度値の平均値、または第１縮小画像と第２縮小画像との輝度値を第１係数の値を用いた重み付け加算した値を輝度情報として用いてもよい。

また、第１係数決定部は、対象画像が有する色成分毎に第１係数の値を決定してもよい。

また、第１係数決定部は、対象画像が有する輝度成分および色差成分毎に第１係数の値を決定してもよい。

また、ノイズ除去部は、複数の縮小率で複数の第１縮小画像および第２縮小画像の組が生成された場合、最小の縮小率に対応した組から周波数帯域のノイズを順次抽出してもよい。

また、第１係数決定部は、参照画像と周波数帯域のノイズが除去された対象画像との差分に基づいて第３係数の値を決定し、第２係数決定部は、参照画像および／または周波数帯域のノイズが除去された対象画像の輝度情報に基づいて第４係数の値を決定し、ノイズ除去部は、第３係数および第４係数の値を用いて参照画像と周波数帯域のノイズが除去された対象画像とを重み付け加算し、対象画像に重畳した高周波帯域のノイズを除去してもよい。

また、周波数帯域のノイズが除去された対象画像に対する画像圧縮を行い、対象画像に重畳した高周波帯域のノイズを除去する圧縮処理部を備えてもよい。

また、対象画像は、連続的に撮像された画像の１つであり、参照画像は、連続的に撮像された画像で、対象画像よりも前に撮像されノイズが除去された画像であってもよい。

本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、対象画像と参照画像との差分に基づいて第１係数の値を決定する第１係数決定手順、対象画像および／または参照画像の輝度情報に基づいて第２係数の値を決定する第２係数決定手順、第１係数および第２係数の値を用いて対象画像と参照画像とを重み付け加算し、対象画像に重畳するノイズを除去するノイズ除去手順、をコンピュータに実行させる。さらに、対象画像を縮小した第１縮小画像と、参照画像を第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順を備え、第１係数決定手順は、第１縮小画像と第２縮小画像との差分に基づいて第１係数の値を決定し、第２係数決定手順は、第１縮小画像および／または第２縮小画像の輝度情報に基づいて第２係数の値を決定し、ノイズ除去手順は、第１係数および第２係数の値を用いて第１縮小画像と第２縮小画像とを重み付け加算し、縮小率に応じた周波数帯域のノイズを抽出し、対象画像の画素値から周波数帯域のノイズを除去する。

本発明によれば、ノイズレベルの高い画素に対してもノイズ除去を確度高く高速に行うことができる。

一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図 係数αおよび係数βを決定する関数ｆおよび関数Ｇの一例を示す図 一の実施形態に係るデジタルカメラ１によるノイズ除去処理の一例を示すフローチャート 他の実施形態に係るデジタルカメラ１’の構成の一例を示すブロック図 他の実施形態に係るデジタルカメラ１’によるノイズ除去処理の一例を示すフローチャート 図５に示すノイズ除去処理における画像データの流れの一例を示す図 他の実施形態の変形例に係るデジタルカメラ１’によるノイズ除去処理の一例を示すフローチャート 図７に示すノイズ除去処理における画像データの流れの一例を示す図

《一の実施形態》
図１は、本発明の一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。

本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアインタフェース（メディアＩ／Ｆ）１８を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続される。

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。

また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。

ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像データとしてＣＰＵ１４に出力する。

ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理を施す。なお、本実施形態では、このデジタル処理により、画像データの各画素は、ＲＧＢ全ての色成分の画素値を有するものとする。

さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、第１係数決定部２０、第２係数決定部２１、ノイズ除去部２２、圧縮処理部２３として動作する。

ノイズ除去部２２は、次式（１）に示すような変形したリカーシブフィルタを用いて、ノイズ除去対象の対象画像とノイズ除去処理の参照となる参照画像とを重み付け加算する合成処理を行い、対象画像からノイズを除去する。

Ｚ_ｋ＝α・βＸ_ｋ＋（１−α・β）Ｚ_ｋ−１ … （１）
ここで、Ｘ_ｋは、対象画像の画素ｉにおけるＲＧＢのいずれかの色成分の画素値で、Ｚ_ｋ−１は、参照画像の画素ｉにおける同じ色成分の画素値である。Ｚ_ｋは、式（１）により画素値Ｘ_ｋからノイズ除去された対象画像の画素値である。ｋは各画像が撮像された順番（または時系列）を示し、本実施形態において、ｋ−１の参照画像は、ｋの対象画像の撮像よりも１つ前に撮像されノイズが除去された画像とする。

式（１）の係数αは、画素値Ｘ_ｋと画素値Ｚ_ｋ−１との合成処理において、それぞれの画素値の重み付けを決める係数である。本実施形態では、第１係数決定部２０が、係数αの値を、図２（１）に示すようなメモリ１５に記憶された関数ｆと、画素値の差分（Ｘ_ｋ−Ｚ_ｋ−１）とに基づいて決定する。すなわち、係数αは、色成分毎に異なる値に決定される。

なお、図２（１）に示す関数ｆは、画素値の差分（Ｘ_ｋ−Ｚ_ｋ−１）が０から閾値Ｔｈ１までの間で単調増加し、閾値Ｔｈ１以上で１になる関数である。ただし、図２（１）では、０から閾値Ｔｈ１までの間、関数ｆは直線的に単調増加するが、２次関数や指数関数などのように単調増加させてもよい。また、閾値Ｔｈ１は、例えば、ＩＳＯ感度が３２００で、画像の階調が０〜２５５の場合、Ｔｈ１＝２〜４などと設定されているものとする。ただし、閾値Ｔｈ１は、撮像される被写体やＩＳＯ感度などに応じて決定されることが好ましい。さらに、本実施形態の閾値Ｔｈ１は、ＲＧＢの色成分では同じ値に設定されるが、色成分毎に異なる値に設定されてもよい。

一方、係数βは、式（１）の係数αによる重み付けの効果を、画素ｉの画素位置における輝度値（輝度情報）に応じて調整する係数である。本実施形態では、第２係数決定部２１が、係数βの値を、図２（２）に示すようなメモリ１５に記憶された関数Ｇと、画素ｉにおける輝度値ＹＢ_ｋに基づいて決定する。すなわち、第２係数決定部２１は、係数βを決定するために、画素ｉのＲＧＢの画素値から対象画像の輝度値ＹＸ_ｋおよび参照画像の輝度値ＹＺ_ｋ−１を、例えば、式（２）に示すような公知の変換手法を用いて算出する。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝０．７０１×Ｒ−０．５８７×Ｇ−０．１１４×Ｂ … （２）
Ｃｂ＝−０．２９９×Ｒ−０．５８７×Ｇ＋０．８８６×Ｂ
そして、第２係数決定部２１は、次式（３）を用い、輝度値ＹＸ_ｋと輝度値ＹＺ_ｋ−１との平均値を算出し、画素ｉにおける輝度値ＹＢ_ｋとする。

ＹＢ_ｋ＝（ＹＸ_ｋ＋ＹＺ_ｋ−１）／２ … （３）
なお、輝度値ＹＢ_ｋは、式（３）に示す輝度値ＹＸ_ｋと輝度値ＹＺ_ｋ−１との平均値以外にも、従来のリカーシブフィルタを用いて算出されるＹＢ_ｋ＝αＹＸ_ｋ＋（１−α）ＹＺ_ｋ−１や、対象画像および／または参照画像の画素ｉの画素位置を中心とする３画素×３画素や５画素×５画素などの領域にある輝度値の平均値であってもよい。

また、図２（２）に示す関数Ｇは、輝度値ＹＢ_ｋが０から閾値Ｔｈ２までの間で単調増加し、閾値Ｔｈ２以上で１になる関数であり、輝度値が小さい暗部におけるノイズ除去を強めに行う。ただし、図２（２）では、０から閾値Ｔｈ２までの間、関数Ｇが直線的に単調増加するが、２次関数や指数関数などのように単調増加させてもよい。また、閾値Ｔｈ２は、例えば、画像の階調が０〜２５５の場合、ＩＳＯ感度によらずＴｈ２＝２０などと設定されているものとする。

圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、ノイズが除去された対象画像を動画圧縮し、動画データを生成する。

メモリ１５は、画像データや図２に示す関数ｆおよび関数Ｇなどとともに、ＣＰＵ１４によって実行される画像処理プログラムなどの各種プログラムを記憶する不揮発性の半導体メモリである。

操作部１６は、例えば、撮像モードの切換設定の入力や、静止画、連写または動画の撮像指示などをユーザから受け付ける。

モニタ１７は、液晶モニタなどのモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像した動画を再生表示する。

メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

次に、図３のフローチャートを参照しつつ、本実施形態に係るデジタルカメラ１による処理動作について説明する。

ＣＰＵ１４は、ユーザから動画の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画撮像を開始させる。ＣＰＵ１４は、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力された第１フレーム（ｋ＝１）を対象画像として読み込む。同時に、ＣＰＵ１４は、対象画像をノイズ除去処理の参照画像として設定する。なお、第２フレーム（ｋ≧２）以降の対象画像に対する参照画像は、本実施形態のノイズ除去が施された１つ前のフレームとする。

ステップＳ１０２：第１係数決定部２０は、色成分毎に、読み込んだ対象画像および参照画像の画素ｉにおける画素値の差分Ｚ_１−Ｚ_０を算出し、図２（１）の関数ｆに基づいて係数α（第１係数）の値を決定する。同時に、第２係数決定部２１は、式（２）および（３）を用い、画素ｉにおける輝度値ＹＢ_１を算出し、図２（２）の関数Ｇに基づいて係数β（第２係数）の値を決定する。

ステップＳ１０３：ノイズ除去部２２は、ステップＳ１０２において決定された係数α、βの値を式（１）に適用し、対象画像の画素ｉにおける各色成分の画素値からノイズを除去する。

ステップＳ１０４：ノイズ除去部２２は、対象画像の全ての画素についてノイズ除去したか否かを判定する。ノイズ除去部２２は、全ての画素についてノイズ除去していない場合、ステップＳ１０２（ＮＯ側）へ移行し、全ての画素に対してステップＳ１０２およびステップＳ１０３の処理を行い、対象画像からノイズを除去する。一方、ノイズ除去部２２は、全ての画素についてノイズを除去した場合、ステップＳ１０５へ移行する。

ステップＳ１０５：圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、ノイズ除去された対象画像を動画圧縮し、動画データを生成する。ＣＰＵ１４は、その動画データをメモリ１５に一時的に記録する。同時に、ＣＰＵ１４は、ノイズ除去された対象画像を、次のフレームの対象画像に対する参照画像としてメモリ１５に記録設定する。

ステップＳ１０６：ＣＰＵ１４は、例えば、ユーザによる操作部１６のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、動画撮像の終了指示を受け付けた場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データから動画ファイルを生成し、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、動画撮像の終了指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、第２フレーム以降の対象画像に対するステップＳ１０１〜ステップＳ１０５の処理を、終了指示を受け付けるまで行う。

このように、本実施形態では、対象画像および参照画像の各画素における画素値の差分から係数αを決定すると同時に、各画素における輝度値、すなわち被写体における輝度状態を考慮して係数βを決定することにより、ノイズレベルの高い画素に対してもノイズ除去を確度高く高速に行うことができる。
《他の実施形態》
図４は、本発明の他の実施形態に係るデジタルカメラ１’の構成の一例を示すブロック図である。図４において、本実施形態のデジタルカメラ１’の構成要素のうち、一の実施形態のデジタルカメラ１と同じものについては同一の符号を付し詳細な説明は省略する。

本実施形態のデジタルカメラ１’と一の実施形態のデジタルカメラ１との相違点は、次のとおりである。

１）ＣＰＵ１４は、画像処理プログラムの実行により、縮小画像生成部２４としても動作する。縮小画像生成部２４は、公知の手法を用い、撮像素子１２によって撮像された動画の各フレームの縮小画像を生成する。本実施形態の縮小画像生成部２４は、対象画像のフレームに対して縮小率１／４の縮小画像（第１縮小画像）を生成する。また、縮小画像生成部２４は、参照画像に対しても縮小率１／４の縮小画像（第２縮小画像）を生成する。なお、本実施形態における公知の手法とは、例えば、多重解像度解析やNearest Neighbor法であるとする。

２）ノイズ除去部２２’は、対象画像のノイズ除去するにあたり、まず式（１）の変形したリカーシブフィルタを、対象画像の縮小画像と参照画像の縮小画像とに適用する。そして、ノイズ除去部２２’は、ノイズ除去の前と後との対象画像の縮小画像による差分を求め、縮小率１／４に対応した周波数帯域（以下、低周波帯域という）のノイズのノイズデータを抽出する。ノイズ除去部２２’は、その低周波帯域のノイズデータを用い、元の対象画像に重畳する低周波帯域のノイズを除去し、対象画像に式（１）を適用することにより、対象画像自身に重畳する高周波帯域のノイズを除去する。

次に、図５のフローチャートおよび図６の画像データの流れ図を参照しつつ、本実施形態に係るデジタルカメラ１’による処理動作について説明する。

ＣＰＵ１４は、ユーザから動画の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に被写体の動画撮像を開始させる。ＣＰＵ１４は、ステップＳ２０１からの処理を開始する。

ステップＳ２０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力された第１フレーム（ｋ＝１）を対象画像３０ａとして読み込む。同時に、ＣＰＵ１４は、対象画像３０ａをノイズ除去処理の参照画像３０ｂと設定する。なお、第２フレーム（ｋ≧２）以降の対象画像３０ａに対する参照画像３０ｂは、本実施形態のノイズ除去が施された１つ前のフレームとする。

ステップＳ２０２：縮小画像生成部２４は、読み込んだ対象画像３０ａおよび参照画像３０ｂそれぞれについて、縮小率が１／４の縮小画像を生成する。図６において、対象画像３０ａに対する縮小率１／４の縮小画像を３１ａと符号を付し、参照画像３０ｂに対する縮小率１／４の縮小画像を３１ｂと符号を付す。

ステップＳ２０３：第１係数決定部２０は、色成分毎に、対象画像３０ａおよび参照画像３０ｂの縮小画像３１ａおよび縮小画像３１ｂの画素ｉにおける画素値の差分Ｘ_１−Ｚ_０を算出し、図２（１）の関数ｆに基づいて係数α（第１係数）の値を決定する。同時に、第２係数決定部２１は、式（２）および（３）を用い、画素ｉにおける輝度値ＹＢ_１を算出し、図２（２）の関数Ｇに基づいて係数β（第２係数）の値を決定する。

ステップＳ２０４：ノイズ除去部２２’は、ステップＳ２０３において決定された係数α、βの値を式（１）に適用し、縮小画像３１ａの画素ｉにおける各色成分の画素値からノイズを除去する。

ステップＳ２０５：ノイズ除去部２２’は、縮小画像３１ａの全ての画素についてノイズを除去したか否かを判定する。ノイズ除去部２２’は、全ての画素についてノイズ除去していない場合、ステップＳ２０３（ＮＯ側）へ移行し、全ての画素に対してステップＳ２０３およびステップＳ２０４の処理を行い、縮小画像３１ａからノイズを除去する。一方、ノイズ除去部２２’は、全ての画素についてノイズを除去した場合、縮小率１／４に対応した低周波帯域のノイズが除去された縮小画像３２を生成する。ノイズ除去部２２’は、縮小画像３１ａと縮小画像３２との差分を求め、縮小画像３１ａに重畳した低周波帯域のノイズデータ３３を抽出する。ノイズ除去部２２’は、ステップＳ２０６（ＹＥＳ側）へ移行する。

ステップＳ２０６：ノイズ除去部２２’は、抽出されたノイズデータ３３を、元の対象画像３０ａの各画素における低周波帯域のノイズデータ３４に変換する。ノイズ除去部２２’は、対象画像３０ａの各画素の画素値からノイズデータ３４のノイズを減算し、低周波帯域のノイズが除去された対象画像３５を生成する。ただし、対象画像３５は、縮小率１／１に対応した周波数帯域（以下、高周波帯域という）のノイズを有する。

ステップＳ２０７：第１係数決定部２０は、色成分毎に、対象画像３５および参照画像３０ｂの画素ｉにおける画素値の差分Ｘ_１−Ｚ_０を算出し、図２（１）の関数ｆに基づいて係数α（第３係数）の値を決定する。同時に、第２係数決定部２１は、式（２）および（３）を用い、画素ｉにおける輝度値ＹＢ_１を算出し、図２（２）の関数Ｇに基づいて係数β（第４係数）の値を決定する。

ステップＳ２０８：ノイズ除去部２２’は、ステップＳ２０７において決定された係数α、βの値を式（１）に適用し、対象画像３５の画素ｉにおける各色成分の画素値から高周波帯域のノイズを除去する。

ステップＳ２０９：ノイズ除去部２２’は、対象画像３５の全ての画素について高周波帯域のノイズを除去したか否かを判定する。ノイズ除去部２２’は、全ての画素についてノイズ除去していない場合、ステップＳ２０７（ＮＯ側）へ移行し、全ての画素に対してステップＳ２０７およびステップＳ２０８の処理を行い、対象画像３５から高周波帯域のノイズを除去する。一方、ＣＰＵ１４は、全ての画素について高周波帯域のノイズを除去した場合、低周波帯域および高周波帯域のノイズが除去された対象画像３６を生成し、ステップＳ２１０（ＹＥＳ側）へ移行する。

ステップＳ２１０：圧縮処理部２３は、H.264やMotion JPEGなどの動画形式に応じて、低周波帯域および高周波帯域のノイズが除去された対象画像３６を動画圧縮し、動画データを生成する。ＣＰＵ１４は、その動画データをメモリ１５に一時的に記録する。同時に、ＣＰＵ１４は、対象画像３６を、次のフレームの対象画像３０ａに対する参照画像３０ｂとしてメモリ１５に記録設定する。

ステップＳ２１１：ＣＰＵ１４は、例えば、ユーザによる操作部１６のレリーズ釦の全押しが解除されたことにより、動画撮像の終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、動画撮像の終了指示を受け付けた場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データから動画ファイルを生成し、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、動画撮像の終了指示を受け付けていない場合、ステップＳ２０１（ＮＯ側）へ移行する。ＣＰＵ１４は、第２フレーム以降の対象画像３０ａに対するステップＳ２０１〜ステップＳ２０９の処理を、終了指示を受け付けるまで行う。

このように、本実施形態では、対象画像３０ａおよび参照画像３０ｂとともに、それらの縮小画像３１ａ、３１ｂの各画素における画素値の差分から係数αを決定すると同時に、各画素における輝度値、すなわち被写体における輝度状態を考慮して係数βを決定することにより、ノイズレベルの高い画素に対してもノイズ除去を確度高く高速に行うことができる。

また、対象画像３０ａおよび参照画像３０ｂから縮小画像３１ａ、３１ｂをそれぞれ生成し、縮小率に対応する周波数帯域のノイズを順次抽出することから、より効率的にノイズ除去が行える。
《他の実施形態の変形例》
本発明の他の実施形態の変形例に係るデジタルカメラは、図４に示す他の実施形態に係るデジタルカメラ１’と同じである。したがって、本実施形態のデジタルカメラ１’を構成する各構成要素についての詳細な説明は省略する。

図７は、本実施形態のデジタルカメラ１’による処理動作のフローチャートを示す。図７において、図５に示す他の実施形態における処理と同一の処理については、下２桁が同一のステップ番号を付し詳細な説明は省略する。

図８は、図７に示す処理における画像データの流れを示す。図８において、図６に示す他の実施形態における画像データと同一のものについては、同一の符号を付し詳細な説明は省略する。

本実施形態に係るデジタルカメラ１’による処理動作と他の実施形態に係るものとの相違点は、ステップＳ２０７からステップＳ２０９の高周波帯域のノイズ除去処理が省略される点にある。これは、ステップＳ３１０（ステップＳ２１０に対応）において行われる、圧縮処理部２３による対象画像３５を動画データに変換する動画圧縮処理が、高周波帯域のノイズを除去するのと同様の効果を有するからである。

また、ステップＳ２０７からステップＳ２０９の処理が省略されることにより、本実施形態では、対象画像３６が算出されず、縮小画像生成部２４は、ステップＳ３０２において、第２フレーム以降の参照画像３０ｂの縮小画像３１ｂを生成しない。その代わり、本実施形態のＣＰＵ１４は、ステップＳ３１０において、縮小画像３２を、参照画像３０ｂの縮小率１／４の縮小画像３１ｂとして、メモリ１５に記録設定する。ＣＰＵ１４は、ステップＳ３０１において、縮小画像３１ｂをメモリ１５から読み込む。

このように、本実施形態では、対象画像３０ａおよび参照画像３０ｂとともに、それらの縮小画像３１ａ、３１ｂの各画素における画素値の差分から係数αを決定すると同時に、画素ｉにおける輝度値、すなわち被写体における輝度状態を考慮して係数βを決定することにより、ノイズレベルの高い画素に対してもノイズ除去を確度高く高速に行うことができる。

また、対象画像３０ａおよび参照画像３０ｂから縮小画像３１ａ、３１ｂをそれぞれ生成し、縮小率に対応する周波数帯域のノイズを順次抽出することから、より効率的にノイズ除去が行える。

さらに、高周波帯域のノイズ除去を動画圧縮処理で代用することにより、デジタルカメラ１’によるノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができ、デジタルカメラ１’の回路規模を小さくすることができる。

また、第２フレーム以降の縮小画像生成部２４による参照画像３０ｂの縮小画像の生成処理を省略することにより、ノイズ除去処理の処理時間の短縮および処理負荷の軽減をさらに図ることができ、デジタルカメラ１’の回路規模をさらに小さくすることができる。
《実施形態の補足事項》
（１）上記実施形態では、第１係数決定部２０、第２係数決定部２１、ノイズ除去部２２、圧縮処理部２３、縮小画像生成部２４の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。

（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１、１’の例に限定されない。例えば、動画または連写によって撮像された複数の画像をコンピュータに読み込ませ、コンピュータにノイズ除去処理のプログラムを実行させることにより、コンピュータを本発明の画像処理装置として機能させてもよい。

（３）上記実施形態では、閾値Ｔｈ１の値は、ＲＧＢの色成分毎に同じ値に設定したが、本発明はこれに限定されない。成分毎に異なる閾値Ｔｈ１の値を設定してもよい。また、式（２）に基づいて、ＲＧＢからＹＣｒＣｂに変換し、閾値Ｔｈ１を輝度成分および色差成分毎に設定してもよい。例えば、色差成分Ｃｒ、Ｃｂの閾値の値を、輝度成分Ｙの閾値よりも１．５倍などと大きく設定し、色差成分Ｃｒ、Ｃｂに対するノイズ除去を強めにすることで、色ノイズが目立ちにくくすることができる。

また、閾値Ｔｈ２の値についても、色成分または輝度成分および色差成分毎に異なる値に設定されてもよい。

（４）上記実施形態では、第１フレームの対象画像に対する参照画像として、対象画像を用いたが、本発明はこれに限定されず、例えば、対象画像に公知のノイズ除去処理を施した画像を参照画像としてもよい。

（５）上記一の実施形態では、画素ｉが有する画素値がＲＧＢの成分である場合、画素ｉにおける輝度値を式（２）の公知の手法を用いて算出するとしたが、本発明はこれに限定されず、Ｇ成分などのＲＧＢのいずれかの色成分の画素値を輝度値として用いてもよい。

（６）上記他の実施形態では、縮小画像生成部２４は、対象画像３０ａおよび参照画像３０ｂそれぞれの縮小率１／４の縮小画像を多重解像度解析により生成したが、本発明はこれに限定されない。縮小画像生成部２４は、２以上の縮小率が異なる縮小画像を生成してもよい。

なお、２以上の縮小率が異なる縮小画像を生成した場合、縮小画像は、自身の縮小率に対応した周波数帯域のノイズとともに、より小さな縮小画像が有するより低周波帯域のノイズも重畳して有する。そこで、ノイズ除去部２２’は、各縮小画像から自身の縮小率に対応した周波数帯域のノイズを効率的に抽出するために、最小の縮小率の縮小画像から開始するのが好ましい。

（７）上記他の実施形態では、ＣＰＵ１４は、撮像素子１２から出力される対象画像３０ａとともに、参照画像３０ｂを読み込み、縮小画像生成部２４は、対象画像３０ａおよび参照画像３０ｂの縮小画像を生成したが、本発明はこれに限定されない。例えば、ＣＰＵ１４は、対象画像３６を参照画像３０ｂとしてメモリ１５に記憶設定するとともに、縮小画像３２を縮小率１／４の参照画像３１ｂとしてメモリ１５に記録設定してもよい。これにより、縮小画像生成部２４による参照画像３０ｂの縮小画像の生成処理を省略でき、ノイズ除去処理の処理時間の短縮および処理負荷の軽減を実現することができる。さらに、デジタルカメラ１’の回路規模を小さくすることができる。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。

１、１’…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…第１係数決定部、２１…第２係数決定部、２２、２２’…ノイズ除去部、２３…圧縮処理部、２４…縮小画像生成部

Claims (10)

1. ノイズ除去対象の対象画像とノイズ除去処理の参照となる参照画像との差分に基づいて第１係数の値を決定する第１係数決定部と、
   前記対象画像および／または前記参照画像の輝度情報に基づいて第２係数の値を決定する第２係数決定部と、
   前記第１係数および前記第２係数の値を用いて前記対象画像と前記参照画像とを重み付け加算し、前記対象画像に重畳するノイズを除去するノイズ除去部と、を備え、
   前記対象画像を縮小した第１縮小画像と、前記参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成部をさらに備え、
   前記第１係数決定部は、前記第１縮小画像と前記第２縮小画像との差分に基づいて前記第１係数の値を決定し、
   前記第２係数決定部は、前記第１縮小画像および／または前記第２縮小画像の輝度情報に基づいて前記第２係数の値を決定し、
   ノイズ除去部は、前記第１係数および前記第２係数の値を用いて前記第１縮小画像と前記第２縮小画像とを重み付け加算し、前記縮小率に応じた周波数帯域のノイズを抽出し、前記対象画像の画素値から前記周波数帯域のノイズを除去する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２係数決定部は、前記対象画像と前記参照画像との輝度値の平均値、前記対象画像と前記参照画像との輝度値を前記第１係数の値を用いた重み付け加算した値、前記第１縮小画像と前記第２縮小画像との輝度値の平均値、または前記第１縮小画像と前記第２縮小画像との輝度値を前記第１係数の値を用いた重み付け加算した値を前記輝度情報として用いることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記第１係数決定部は、前記対象画像が有する色成分毎に前記第１係数の値を決定することを特徴とする画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置において、
   前記第１係数決定部は、前記対象画像が有する輝度成分および色差成分毎に前記第１係数の値を決定することを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、複数の縮小率で複数の前記第１縮小画像および前記第２縮小画像の組が生成された場合、最小の縮小率に対応した組から前記周波数帯域のノイズを順次抽出することを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記第１係数決定部は、前記参照画像と前記周波数帯域のノイズが除去された前記対象画像との差分に基づいて第３係数の値を決定し、
   前記第２係数決定部は、前記参照画像および／または前記周波数帯域のノイズが除去された対象画像の輝度情報に基づいて第４係数の値を決定し、
   前記ノイズ除去部は、前記第３係数および前記第４係数の値を用いて前記参照画像と前記周波数帯域のノイズが除去された前記対象画像とを重み付け加算し、前記対象画像に重畳した高周波帯域のノイズを除去する
   ことを特徴とする画像処理装置。
7. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記周波数帯域のノイズが除去された前記対象画像に対する画像圧縮を行い、前記対象画像に重畳した高周波帯域のノイズを除去する圧縮処理部を備える
   ことを特徴とする画像処理装置。
8. 請求項１ないし請求項７のいずれか１項に記載の画像処理装置において、
   前記対象画像は、連続的に撮像された画像の１つであり、
   前記参照画像は、前記連続的に撮像された画像で、前記対象画像よりも前に撮像されノイズが除去された画像である
   ことを特徴とする画像処理装置。
9. 被写体像を撮像して画像を生成する撮像部と、
   請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
10. ノイズ除去対象の対象画像およびノイズ除去処理の参照となる参照画像を読み込む入力手順、
    前記対象画像と前記参照画像との差分に基づいて第１係数の値を決定する第１係数決定手順、
    前記対象画像および／または前記参照画像の輝度情報に基づいて第２係数の値を決定する第２係数決定手順、
    前記第１係数および前記第２係数の値を用いて前記対象画像と前記参照画像とを重み付け加算し、前記対象画像に重畳するノイズを除去するノイズ除去手順、をコンピュータに実行させ、
    前記対象画像を縮小した第１縮小画像と、前記参照画像を前記第１縮小画像と同じ縮小率で縮小した第２縮小画像との組を少なくとも１つの縮小率で生成する縮小画像生成手順をさらに有し、
    前記第１係数決定手順は、前記第１縮小画像と前記第２縮小画像との差分に基づいて前記第１係数の値を決定し、
    前記第２係数決定手順は、前記第１縮小画像および／または前記第２縮小画像の輝度情報に基づいて前記第２係数の値を決定し、
    ノイズ除去手順は、前記第１係数および前記第２係数の値を用いて前記第１縮小画像と前記第２縮小画像とを重み付け加算し、前記縮小率に応じた周波数帯域のノイズを抽出し、前記対象画像の画素値から前記周波数帯域のノイズを除去する
    ことを特徴とする画像処理プログラム。

Images