JP6020904B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は画像処理装置に関し、特に、入力された画像に対して３次元ノイズリダクション（ＮＲ）処理を施すことができる画像処理装置に関する。

特許文献１には、入力された画像に対して３次元ＮＲ処理を施すことができる画像処理装置が開示されている。この画像処理装置は、入力画像のエッジ部分に対して鮮鋭化処理を施し、かつ、入力画像のエッジ部分以外の画像領域に対して３次元ＮＲ処理を施した画像を出力することができる。

これにより、この画像処理装置は、入力画像のエッジ部分以外の画像領域のランダムノイズを低減できる。

特開２０１１−６５３３９号公報

しかしながら、例えば、動いている被写体を撮像することで得られた画像など、エッジ強度の小さい画像に対して、上記従来の画像処理装置のように、３次元ＮＲ処理を施した場合、処理結果の画像において残像がより目立ってしまうという問題が生じる。

本発明は、上記従来の課題を考慮し、入力画像に対して３次元ＮＲ処理を施して出力する画像処理装置であって、出力する画像における残像の発生を抑制することができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る画像処理装置は、時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行う画像処理部と、前記画像処理部による３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出する検出部と、前記検出部による検出結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、決定した合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、前記合成により得られた合成画像データを出力する合成部と、を備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、入力画像に対して３次元ＮＲ処理を施して出力する画像処理装置であって、出力する画像における残像の発生を抑制できる画像処理装置を提供することができる。また、当該画像処理装置を備える撮像装置を提供することができる。

図１は、デジタルビデオカメラの構成の一例を示すブロック図である。 図２は、ノイズリダクション部の機能構成の一例を示す図である。 図３は、ノイズリダクション部の処理の流れの一例を示すフロー図である。 図４は、エッジ強度と係数βとの関係の一例を示す図である。 図５は、被写体が静止していた場合の３次元ＮＲ処理後の画像の一例を示す図である。 図６は、被写体が動いていた場合の３次元ＮＲ処理後の画像の第１の例を示す図である。 図７は、被写体が動いていた場合の３次元ＮＲ処理後の画像の第２の例を示す図である。 図８は、ノイズリダクション部よる処理結果の一例を示す図である。 図９は、ＹＯＵＴのエッジ強度と合成比率に示されるＹＩＮの割合（β）との関係の各種の例を示す図である。 図１０は、エッジ強度の変化量に対するβの変化量の割合が動的に変化する場合の、エッジ強度とβとの関係を例示する図である。

（本発明の基礎となった知見）
本発明者は、上記従来の技術に関し、以下の問題が生じることを見出した。

例えば、動いている物体を静止したカメラで撮像した場合に得られる複数の画像のそれぞれでは当該物体はブレているため、当該物体が表された部分の画像のエッジ強度は比較的に小さな値となる。

そのため、上記従来の画像処理装置では、当該物体の画像に対して３次元ＮＲ処理が行われる。つまり、簡単に言うと、残像が付加され、かつ、互いに物体の位置が異なる複数の画像が合成される処理が発生する。その結果、当該３次元ＮＲ処理を行う前の画像よりも、当該３次元ＮＲ処理後の画像の方が残像がより強く現れるという問題が生じる。

このような問題を解決するために、本発明の一態様に係る画像処理装置は、時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行う画像処理部と、前記画像処理部による３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出する検出部と、前記検出部による検出結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、決定した合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、前記合成により得られた合成画像データを出力する合成部と、を備える。

この構成によれば、第一画像データと、第一画像データに対する３次元ＮＲ処理によって得られた処理後画像データとが、合成部によって決定された合成比率を用いて合成される。

具体的には、この合成比率は、処理後画像データに示される画像のエッジ強度に基づいて決定される。そのため、例えば、処理後画像データに示される画像が被写体の残像の一部である場合など、エッジ強度が比較的に小さい場合、当該合成における処理後画像データの割合を下げる等の制御が可能である。その結果、出力する画像における残像の発生が抑制される。

また、例えば、前記合成部は、前記検出部による検出結果が、第一エッジ強度よりも大きな第二エッジ強度を示す場合、前記合成比率に示される前記処理後画像データの割合が、前記検出結果が前記第一エッジ強度を示す場合における前記割合よりも大きな値となるように前記合成比率を決定する、としてもよい。

この構成によれば、例えば、エッジ強度が比較的に大きい場合と、比較的に小さい場合とのそれぞれにおいて、３次元ＮＲ処理に起因する残像の抑制と、３次元ＮＲ処理によるノイズの低減とがバランスよく実行される。

また、例えば、前記合成部は、前記検出部による検出結果に示されるエッジ強度が大きいほど、前記合成比率に示される前記処理後画像データの割合が大きくなるように、前記合成比率を決定する、としてもよい。

この構成によれば、例えば、様々な値をとり得るエッジ強度に応じて、３次元ＮＲ処理に起因する残像の抑制と、３次元ＮＲ処理によるノイズの低減とがバランスよく実行される。

また、例えば、前記合成部は、前記処理後画像データに示される明度が第一明度よりも低い第二明度である場合、前記検出結果に示されるエッジ強度に対応する前記合成比率における前記処理後画像データの前記割合が、前記明度が前記第一明度の場合における前記割合よりも大きな値となるように前記合成比率を決定する、としてもよい。

この構成によれば、例えば、撮影環境が暗かったことにより、被写体の輪郭が鮮明ではない場合であっても、当該輪郭部分のノイズが３次元ＮＲ処理によって低減された合成画像データが出力される。

また、例えば、前記第一画像データは時間的に互いに異なるタイミングで撮像することで得られた２つのフレームのうちの一方に含まれる所定の単位の画像データであり、前記第二画像データは、前記２つのフレームのうちの他方に含まれる前記所定の単位の画像データであり、前記合成部は、前記所定の単位ごとに前記合成比率の決定および前記合成を行うことで、前記２つのフレームのうちの前記一方のフレームに対応する合成画像データを出力する、としてもよい。

この構成によれば、例えば１枚の写真を構成する画像データであって、部分ごとに適切に残像の抑制およびノイズの低減の少なくとも一方がなされた画像データが、合成画像データとして出力される。

また、例えば、前記画像処理部は、前記第二画像データである、前記第一画像データに対する前記３次元ＮＲ処理の前に前記画像処理部から出力された処理後画像データを用いて、前記３次元ＮＲ処理を行う、としてもよい。

この構成によれば、画像処理部は、過去の３次元ＮＲ処理によって既に得られている画像データを用いて、現在の処理対象である第一画像データに対する３次元ＮＲ処理を行うことができる。その結果、例えば、合成画像データにおけるノイズ発生の抑制効果がより向上する。

また、本発明の一態様に係る撮像装置は、前記第一画像データおよび前記第二画像データを得るための撮像を行う撮像部と、上記いずれかの態様に係る画像処理装置とを備える。

この構成によれば、３次元ＮＲ処理を用いてノイズを低減させる撮像装置であって、出力または記録する画像における残像の発生を抑制することのできる撮像装置を実現することができる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

（実施の形態）
以下、実施の形態の画像処理装置を、図面を参照しつつ説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。

また、以下で説明する実施の形態は、本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

１−１．構成
まず、本実施の形態におけるデジタルビデオカメラ１００の構成について図１を用いて説明する。

図１は、実施の形態におけるデジタルビデオカメラ１００の構成の一例を示すブロック図である。

デジタルビデオカメラ１００は、撮像部１０１と画像処理装置１６０とを備える。

撮像部１０１は、光学系１１０、レンズ駆動部１２０、絞り３００、シャッタ１３０、およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ１４０を有する。

撮像部１０１では、１以上のレンズで構成される光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０が撮像する。

ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理装置１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズおよびフォーカスレンズなどにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大および縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズの移動を駆動する。レンズ駆動部１２０は、例えば、ズームレンズを駆動するズームモータ、および、フォーカスレンズを駆動するフォーカスモータを含む。

絞り３００は、使用者の設定に応じてまたは自動で、開口部の大きさを調整し、これにより、絞り３００を透過する光の量を調整する。

シャッタ１３０は、シャッタ１３０を介してＣＭＯＳイメージセンサ１４０に到達する光を遮光する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、および電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理装置１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データ（より詳細には、Ａ／Ｄコンバータ１５０による変換後のデジタル画像データ、以下同じ。）に対して各種処理を施し、表示モニタ２２０に表示するための画像データの生成、および、メモリカード２００に格納するための画像データの生成等を行う。

画像処理装置１６０は、例えば、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、および傷補正などの各種処理を行う。

また、画像処理装置１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。

また、本実施の形態の画像処理装置１６０は、特徴的な機能構成として、３次元ＮＲ処理を含む、画像データに対するノイズおよび残像の低減のための処理を行うノイズリダクション部１６１を有している。ノイズリダクション部１６１については図２を用いて後述する。

なお、画像処理装置１６０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはマイコンなどで実現可能である。

コントローラ１８０は、デジタルビデオカメラ１００全体を制御する。コントローラ１８０は、半導体素子などで実現可能である。また、コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理装置１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、または強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００が着脱可能な装置である。具体的には、カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。

メモリカード２００は、フラッシュメモリまたは強誘電体メモリなどを内部に含み、画像処理装置１６０で生成された画像データ等を格納可能である。

内部メモリ２４０は、フラッシュメモリまたは強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースである。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーおよび決定釦等を有する。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）および、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

１−２．画像処理装置に含まれるノイズリダクション部
図２は、実施の形態における画像処理装置１６０が有するノイズリダクション部１６１の機能構成の一例を示す図である。

本実施の形態における画像処理装置１６０に含まれるノイズリダクション部１６１について図２を用いて説明する。

３ＤＮＲ部２０１は、３次元ＮＲ処理を実行する画像処理部の一例である。３ＤＮＲ部２０１では、３次元ＮＲ処理として、入力された２フレームに対応する画像データ（ＹＩＮとＹＭＥＭとする）からＹＩＮのノイズ成分を低減させるための、式１に示す計算が行われる。また当該計算の結果として、処理後画像データの一例であるＹＯＵＴが３ＤＮＲ部２０１から出力される。

ＹＩＮは、第一画像データの一例である。ＹＩＮは、本実施の形態では、ＣＭＯＳイメージセンサ１４０で生成され、Ａ／Ｄコンバータ１５０によりデジタルデータに変換された画像データである。なお、ＹＩＮは、３ＤＮＲ部２０１および合成部２０３に入力される前に、例えばガンマ補正等の所定の処理が、画像処理装置１６０において行われている場合もある。

ＹＭＥＭは、第二画像データの一例であり、本実施の形態では、バッファ１７０から読み出される画像データである。つまり、ＹＭＥＭは、当該ＹＩＮに対する３次元ＮＲ処理の前に３ＤＮＲ部２０１から出力され、バッファ１７０に格納されていた画像データである。言い換えると、ＹＭＥＭは、過去のＹＯＵＴである。

ＹＯＵＴ ＝ ＹＩＮ − α（ＹＩＮ − ＹＭＥＭ） （式１）
ここで、αは０以上かつ１以下の任意の値であり、ノイズ低減効果の強弱を決定する変数である。

次に上記式１によりノイズが低減される原理を説明する。仮にＹＩＮにノイズが存在し、ＹＭＥＭにはノイズが存在しなかった場合を想定する。

この場合、α（ＹＩＮ−ＹＭＥＭ）成分をＹＩＮから減算することによりＹＯＵＴはＹＭＥＭのデータに近づくことになり、結果としてノイズ成分は低減されることになる。

例えば、ＹＩＮ本来の画像データ値＝１００、ＹＩＮに付加されているノイズ成分＝２０、ＹＭＥＭの画像データ値＝１００（ノイズが無いと仮定）の場合を想定する。

この場合、α＝０．５とすると、ＹＯＵＴ＝１２０−０．５（１２０−１００）＝１１０となりノイズ成分が低減できる。

合成部２０３では、入力された２フレームに対応する画像データ（ＹＩＮおよびＹＯＵＴ）を、式２に示す通り、合成部２０３が決定した比率（β：１−βとする）を用いて合成を行う。

つまり、ＹＩＮ（第一画像データ）と、ＹＯＵＴ（処理後画像データ）とが、β：１−βの比率で合成される。

すなわち、βが大きくなるに従い、合成部２０３から出力されるＹＭＩＸにおけるＹＩＮの割合は大きくなるとともに、ＹＭＩＸにおけるＹＯＵＴの割合は小さくなる。なお、ＹＭＩＸは、合成画像データの一例である。

ＹＭＩＸ ＝ βＹＩＮ ＋ （１−β）ＹＯＵＴ （式２）
エッジ検出部２０４では、入力された画像データＹＯＵＴが示す画像のエッジ強度を検出する。

具体的には、エッジ検出部２０４は、入力された画像データＹＯＵＴから画像中に含まれるエッジ成分の抽出を行う。エッジ成分の抽出では、例えば、画像データＹＯＵＴに対するエッジ抽出フィルター（例えばソーベルフィルターまたはラプラシアンフィルター等）の畳み込み演算が行われ、その演算の結果として、当該画像データにおけるエッジ強度がエッジ検出部２０４から出力される。

合成部２０３は、エッジ検出部２０４による検出結果に基づいて、上記の合成比率（β：１−β）を決定する。

１−３．データフロー
本実施の形態にかかる画像処理装置１６０が有するノイズリダクション部１６１におけるデータおよび処理の流れを、図２および図３を参照しながら説明する。

図３は、本実施の形態における画像処理装置１６０が有するノイズリダクション部１６１の処理の流れの一例を示すフロー図である。

３ＤＮＲ部２０１には、Ａ／Ｄコンバータ１５０から画像処理装置１６０に入力される画像データＹＩＮと、バッファ１７０から出力される画像データＹＭＥＭとが入力される。

３ＤＮＲ部２０１では、式１に示す計算を行うことにより、画像データＹＩＮに対するノイズ低減処理（３次元ＮＲ処理）が施される（Ｓ１０）。当該処理により得られた処理後画像データであるＹＯＵＴは、合成部２０３、エッジ検出部２０４およびバッファ１７０へ入力される。

エッジ検出部２０４では、３ＤＮＲ部２０１から入力された画像データＹＯＵＴに示される画像のエッジ強度の検出を行い（Ｓ２０）、その検出結果は合成部２０３へ入力される。

合成部２０３では、エッジ検出部２０４から入力された検出結果に示されるエッジ強度に応じて式２における合成比率（β:１−β）を決定する（Ｓ３０）。

なお、エッジ検出部２０４は、例えば、０以上１以下であるβを決定することで、合成比率（β:１−β）を決定する。つまり、βおよび１−βは、いずれか一方が決定されることで、他方も決定される関係にある変数である。従って、βおよび１−βのいずれか一方が決定されることは、合成比率（β:１−β）が決定されることを意味する。

合成部２０３は、決定した合成比率を用いて、画像データＹＩＮと３ＤＮＲ部２０１から入力された画像データＹＯＵＴとの合成を行う（Ｓ４０）。

合成部２０３は、当該合成により得られた画像データＹＭＩＸを出力する（Ｓ５０）。つまり、画像データＹＭＩＸが、画像処理装置１６０が有するノイズリダクション部１６１からの出力画像データとして、デジタルビデオカメラ１００で扱われる。

なお、本実施の形態では、具体的には、画素ごと、または、複数の画素で構成されるブロックごとなどの所定の単位ごとに、図３に示す一連の処理が実行される。

例えば、所定の単位がｎ画素×ｍ画素（ｎ、ｍは２以上の整数）のブロックである場合、画素ごとに算出されるエッジ強度の平均または総和、もしくは、当該ブロックの一部の画素のエッジ強度などが、当該ブロックに対応するエッジ強度として扱われる。

つまり、処理対象の１つのフレームに対し、所定の単位ごとに、３次元ＮＲ処理（式１）および合成処理（式２）が実行され、その結果、当該フレームに対応する合成画像データ（ＹＭＩＸ）が得られる。

なお、３次元ＮＲ処理が実行される所定の単位と、合成処理が実行される所定の単位とは一致していなくてもよい。

ここで、本実施の形態では、エッジ強度とβとの関係は、例えば、図４に示す関係である。具体的には、合成部２０３は、例えば図４に示されるエッジ強度とβとの関係を示す関数またはテーブル等である合成比率情報を保持している。つまり、合成部２０３は、合成比率情報と、エッジ検出部２０４から入力されるエッジ強度とから、当該エッジ強度に対応するβを算出することができる。

つまり、本実施の形態では、合成部２０３は、エッジ検出部２０４が検出したエッジ強度が大きいほど、βは小さくなる。

これは、ＹＩＮとＹＯＵＴとの合成において、ＹＯＵＴに示される画像のエッジ強度が大きいほど、ＹＩＮとＹＯＵＴとの合成比率に示されるＹＯＵＴの割合（１−β）が大きくなることを意味する。このような処理を実行する理由について以下に説明する。

１−４．残像が低減する理由について
本実施の形態の画像処理装置１６０は、上述のデータフローに係る処理を行うことにより、３ＤＮＲ処理に起因して発生する残像を低減することができる。このことを図５〜図８を用いて説明する。

図５は、被写体が静止していた場合の３次元ＮＲ処理後の画像の一例を示す図である。

図６は、被写体が動いていた場合の３次元ＮＲ処理後の画像の第１の例を示す図である。

図７は、被写体が動いていた場合の３次元ＮＲ処理後の画像の第２の例を示す図である。

図５に示すように、静止している被写体（リンゴ）を時間的に互いに異なるタイミングで撮像することで得られた画像４０１および画像４０２を用いて、画像４０２のノイズを低減させるための３次元ＮＲ処理（１−２で説明した処理）を行った場合を想定する。

つまり、ＹＭＥＭに対応する画像が画像４０１であり、ＹＩＮに対応する画像が画像４０２である場合を想定する。

この場合、当該３次元ＮＲ処理によって得られた画像４０３では、ノイズが低減され、画像中の被写体に３次元ＮＲ処理に起因する残像は無い。すなわち、くっきりとしたリンゴの画像が得られる。

一方、図６に示すように、一部の被写体（リンゴ）が動いているシーンを、時間的に互いに異なるタイミングで撮像することで得られた画像５０１および画像５０２を用いて、画像５０２のノイズを低減させるための３次元ＮＲ処理を行った場合を想定する。

つまり、ＹＭＥＭに対応する画像が画像５０１であり、ＹＩＮに対応する画像が画像５０２である場合を想定する。

この場合、当該３次元ＮＲ処理によって得られた画像５０３では、ノイズは低減されているが、動いていた被写体の周辺に３次元ＮＲ処理に起因した残像が発生してしまう。

これは、被写体が動いていた場合には、ＹＭＥＭに示される画像における被写体の位置に対して、ＹＩＮに示される画像における被写体の位置がずれてしまうからである。つまり、本来ＹＭＥＭに示される画像において被写体の存在しなかった空間位置に、ＹＩＮの成分が出力されてしまうからである。その結果、当該ＹＩＮの成分が、残像として画像５０３に現れる。

より詳細には、図７に示すように、画像６０１および画像６０２のような被写体に動きがある画像のエッジ強度は低い。

また、画像６０１および画像６０２のようなエッジ強度の低い画像に対して３次元ＮＲ処理を施した場合、画像６０３のように、３次元ＮＲ処理を施す前よりも多くの残像が現れた画像が生成されてしまう。

このようなことからも分かる通り、被写体の動きとエッジ強度との関係は深い。具体的には、被写体が動いている場合には、当該被写体に対応する画像のエッジ強度は低くなり、被写体が静止している場合には、当該被写体に対応する画像のエッジ強度は強くなる。

そこで、上述した、本実施の形態における処理フローでは、３次元ＮＲ処理後の画像データＹＯＵＴの画像に示されるエッジ強度に応じて、３次元ＮＲ処理後の画像データＹＯＵＴと、３次元ＮＲ処理前の画像データＹＩＮとの合成比率を変えて合成する。これにより、残像の発生量が低減される。

図８は、実施の形態における画像処理装置１６０が有するノイズリダクション部１６１による処理結果の一例を示す図である。

上述のように、動いている被写体（リンゴ）を含むシーンを撮像することで得られた２枚の画像（５０１および５０２）を用いて画像５０２に対する３次元ＮＲ処理を行った場合、当該３次元ＮＲ処理の結果である画像５０３では被写体の周辺に残像が発生する。

しかしながら、本実施の形態のノイズリダクション部１６１は、当該残像を低減させるように、場所によって合成比率を変えながら、３次元ＮＲ処理の対象である画像５０２と、３次元ＮＲ処理の結果である画像５０３との合成を行う。

例えば、残像の一部を構成する領域ａの画像データについては、領域ａの画像におけるエッジ強度が比較的に低いため、βとして比較的に大きい値が採用される。つまり、合成比率に示される画像５０３の割合（１−β）として比較的に小さい値が採用される（式２および図４参照）。

その結果、領域ａにおいては、３次元ＮＲ処理に起因する残像が含まれていない３次元ＮＲ処理前の画像である画像５０２（ＹＩＮに対応）の成分の割合が高くなる。これにより、合成画像データであるＹＭＩＸに示される画像５０４における残像は、３次元ＮＲ処理の結果である画像５０３における残像よりも低減される。

また、例えば、静止している被写体の一部である領域ｂの画像データについては、領域ｂの画像におけるエッジ強度が比較的に大きいため、合成比率に示されるβとして比較的に小さい値が採用される。つまり、画像５０３の割合（１−β）として比較的に大きい値が採用される（式２および図４参照）。

その結果、領域ｂにおいては、３次元ＮＲ処理によってノイズが低減された画像である画像５０３（ＹＭＥＭに対応）の成分の割合が高くなり、これにより、合成画像データであるＹＭＩＸに示される画像５０４におけるノイズが低減される。

このように、本実施の形態のノイズリダクション部１６１は、３次元ＮＲ処理による画像のノイズの低減を図りながら、当該画像における、３次元ＮＲ処理に起因する残像の発生を抑制することができる。

２．実施の形態についての補足
以上、本発明の実施の形態を説明した。しかし、本発明は、上記の実施の形態で説明される内容には限定されない。そこで、実施の形態についてのいくつかの補足を説明する。

上記の実施の形態では、撮像部１０１が有する撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像手段はこれに限定されない。例えば、撮像手段を、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＮＭＯＳ（Ｎｅｇａｔｉｖｅ Ｃｈａｎｎｅｌ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで実現されてもよい。

また、画像処理装置１６０とコントローラ１８０とは、１つの半導体チップで実現されてもよく、別々の半導体チップで実現されてもよい。

また、３ＤＮＲ部２０１によって実行される３次元ＮＲ処理は、特定の方式に限定されない。例えば、本実施の形態では、バッファ１７０に蓄積されたＹＯＵＴ（過去のＹＯＵＴ）が、ＹＭＥＭとしてその後の３次元ＮＲ処理に用いられるとした（図２参照）。しかしながら、３ＤＮＲ部２０１は、ＹＭＥＭを使用せず、例えば、連続して取得される２つのＹＩＮを用いて、一方のＹＩＮのノイズを低減するための３次元ＮＲ処理を行ってもよい。

また、エッジ強度とβとの関係は、図４に示すような比例関係でなくてもよい。

図９は、ＹＯＵＴのエッジ強度と、ＹＩＮおよびＹＯＵＴを合成する際の合成比率に示されるＹＩＮの割合（β）との関係の各種の例を示す図である。

例えば、βは、エッジ強度が大きくなるに従って連続的に減少するのではなく、図９の（ａ）に示すように、段階的に減少してもよい。

また、図９の（ｂ）に示すように、βは“０”および“１”の２段階であってもよい。例えば、エッジ強度が閾値Ｅ以下の場合は、β＝１であり、エッジ強度が閾値Ｅより大きい場合、β＝０であってもよい。

つまり、簡単にいうと、合成部２０３は、エッジ強度が閾値Ｅ以下の場合には、入力画像データ（ＹＩＮ）のみを合成画像データとして出力し、エッジ強度が閾値Ｅより大きい場合は、３次元ＮＲ処理後の画像データ（ＹＯＵＴ）のみを合成画像データとして出力してもよい（式２参照）。

このように、βとしてとり得る値を段階的な複数の値に限定することで、例えば、合成部２０３における合成処理の負荷が軽減される。

なお、βが“０”および“１”のいずれかである場合、合成部２０３による合成処理の単位ごとにＹＩＮおおよびＹＯＵＴのいずれか一方が合成画像データ（ＹＭＩＸ）に採用されることになる。そのため、１つのフレームに対応するＹＭＩＸにおいて、ＹＩＮが採用された領域とＹＯＵＴが採用された領域との境目で、ＹＩＮとＹＯＵＴとの間の画質の差が目立つことも考えられる。

しかしながら、合成処理の単位として、例えば１画素ごとなどの比較的に小さい単位を採用することで、ＹＭＩＸにおいて、視覚としてとらえられるＹＩＮとＹＯＵＴとの間の画質の差を、実質的に問題にならない程度に収めることは可能である。

また、エッジ強度とβとの関係は、エッジ強度軸とβ軸とで形成される２次元平面において一次関数（直線）として表される必要はない。例えば、エッジ強度とβとの関係は曲線で表されてもよい。

例えば、図９の（ｃ）に示すように、エッジ強度が大きくなるほど、βの低下率（横軸方向の単位長さあたりのβの減少値）が大きくなってもよい。

この場合、例えば、エッジ強度が中間レベル程度であっても、βは比較的大きい値である。そのため、ＹＩＮとＹＯＵＴとの合成結果であるＹＭＩＸにおいて、ＹＩＮの成分の割合がＹＯＵＴの成分の割合よりも多くなる。つまり、３次元ＮＲ処理に起因する残像がＹＭＩＸに現れることに対する抑制効果が向上する。

また、例えば、図９の（ｄ）に示すように、エッジ強度が大きくなるほど、βの低下率が小さくなってもよい。

この場合、例えば、エッジ強度が中間レベル程度であっても、βは比較的小さい値である。そのため、ＹＩＮとＹＯＵＴとの合成結果であるＹＭＩＸにおいて、ＹＯＵＴの成分の割合がＹＩＮの成分の割合よりも多くなる。つまり、ＹＭＩＸに現れるノイズの３次元ＮＲ処理による低減効果が向上する。

このように、エッジ強度とβとの関係は、例えば負の相関関係であれば、どのような関係であってもよい。つまり、エッジ強度と、合成比率（β：１−β）に示されるＹＯＵＴの割合（１−β）とが、正の相関関係となるように、エッジ強度に応じたβが決定されればよい。

言い換えると、合成部２０３は、エッジ検出部２０４による検出結果が、第一エッジ強度よりも大きな第二エッジ強度を示す場合、合成比率（β：１−β）に示されるＹＯＵＴの割合（１−β）が、当該検出結果が第一エッジ強度を示す場合における当該割合よりも大きな値となるように合成比率を決定すればよい。

また、エッジ強度の変化量に対するβの変化量の割合（例えば、図４における、エッジ強度とβとの関係を示す直線の傾き）が、撮影環境に応じて動的に変化してもよい。

図１０は、エッジ強度の変化量に対するβの変化量の割合が動的に変化する場合の、エッジ強度とβとの関係を例示する図である。

例えば、デジタルビデオカメラ１００による撮影環境が、晴天時の屋外など比較的に明るい環境Ａである場合と、曇天時の屋外など比較的に暗い環境Ｂである場合とを想定する。

この場合、一般に、環境Ａにおける撮影結果として、明度の高い画像データが得られ、環境Ｂにおける撮影結果として、明度の低い画像データが得られる。

つまり、一般に、環境Ｂにおいて得られた画像に示される被写体の輪郭は、環境Ａにおいて得られた画像に示される被写体の輪郭よりも鮮明ではない。

そのため、エッジ強度の検出の対象であるＹＯＵＴの明度が低いほど、エッジ強度とβとの関係を示す直線の傾きを、例えば図１０の（ａ）および（ｂ）に示すように小さくする（負の傾斜角度を大きくする）。

すなわち、合成部２０３は、ＹＯＵＴに示される明度が第一明度よりも低い第二明度である場合、エッジ検出部２０４による検出結果に示されるエッジ強度に対応する合成比率におけるＹＯＵＴの割合が、当該明度が第一明度の場合における割合よりも大きな値となるように、合成比率を決定してもよい。

これにより、被写体の輪郭が鮮明ではない場合であっても、当該輪郭部分のノイズが３次元ＮＲ処理によって低減された合成画像データ（ＹＭＩＸ）が、合成部２０３から出力される。

例えば、ある被写体の輪郭部分のエッジ強度が、当該被写体の撮影環境が暗い環境であったために、Ｅ１という比較的小さな値であった場合を想定する。

この場合、エッジ強度とβとの関係が、図１０の（ａ）に示される関係であれば、Ｅ１に対応する、ＹＩＮおよびＹＯＵＴを合成する際の合成比率に示されるＹＩＮの割合として、比較的大きな値であるβ１が算出される。

一方、エッジ強度とβとの関係が、図１０の（ｂ）に示される関係であれば、Ｅ１に対応するＹＩＮの割合として、β１よりも小さなβ２が算出される。

すなわち、図１０の（ａ）の場合よりも、図１０の（ｂ）の場合の方が、当該被写体の輪郭部分の画像についての合成比率における、３次元ＮＲ処理後の画像データであるＹＯＵＴの割合（１−β）が大きい。

従って、例えば撮影環境が比較的に暗かったために、ＹＯＵＴにおける被写体の輪郭が鮮明ではない場合であっても、当該輪郭部分の画像であって、３次元ＮＲ処理によるノイズが低減された画像を、合成結果として得ることができる。

簡単に言うと、ＹＯＵＴの明度が低いほど、エッジ強度とβとの関係を示す直線の傾き小さくする（負の傾斜角度を大きくする）ことで、被写体の輪郭の認識感度を上げることができる。その結果、比較的暗い環境で撮影された画像に対する、３次元ＮＲ処理によるノイズの低減と、３次元ＮＲ処理に起因する残像の発生の抑制とがバランスよく実行される。

なお、ＹＯＵＴの明度の特定は、ＹＯＵＴの１つ以上の画素値を用いて行ってもよく、もしくは、ＹＩＮまたはＹＭＥＭの１つ以上の画素値を用いて行ってもよい。

また、ＹＯＵＴ等の画素値を用いずに、例えば、デジタルビデオカメラ１００の絞り３００等の設定値、または、撮影環境の明度を検出するセンサからの明度情報等の、画像処理装置１６０の外部機器から取得する情報を用いてＹＯＵＴの明度が特定されてもよい。

以上説明したように、本実施の形態のデジタルビデオカメラ１００は、画像処理装置１６０を備え、画像処理装置１６０は、ノイズリダクション部１６１によって、３次元ＮＲ処理によるノイズの低減と、３次元ＮＲ処理に起因する残像の低減とを行うことができる。

なお、上記の実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の画像処理装置を実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、以下の画像処理方法を実行させる。

時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行い、前記３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出し、前記検出の結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、決定された合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、前記合成において得られた合成画像データを出力する、画像処理方法。

以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

例えば、ノイズリダクション部１６１は、デジタルビデオカメラ１００以外の機器において画像処理装置として備えられてもよい。

例えば、撮像機能を有する、携帯端末または据え置き型の機器等に、ノイズおよび残像を低減するための画像処理装置としてノイズリダクション部１６１が備えられてもよい。

また、例えば、ノイズリダクション部１６１を備えないデジタルビデオカメラから出力される画像データに対して、上述の一連の処理（例えば図３参照）を実行する画像処理装置として実現されてもよい。

本発明はデジタルビデオカメラ、カメラ付携帯電話、およびスマートフォン等の撮像装置における、ノイズおよび残像を低減するための画像処理装置に適用できる。

１００ デジタルビデオカメラ
１０１ 撮像部
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理装置
１６１ ノイズリダクション部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２０１ ３ＤＮＲ部
２０３ 合成部
２０４ エッジ検出部
２１０ 操作部
２２０ 表示モニタ
２４０ 内部メモリ

Claims (9)

1. 時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行う画像処理部と、
   前記画像処理部による３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出する検出部と、
   前記検出部による検出結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、決定した合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、前記合成により得られた合成画像データを出力する合成部と、
   を備える画像処理装置。
2. 前記合成部は、前記検出部による検出結果が、第一エッジ強度よりも大きな第二エッジ強度を示す場合、前記合成比率に示される前記処理後画像データの割合が、前記検出結果が前記第一エッジ強度を示す場合における前記割合よりも大きな値となるように前記合成比率を決定する、
   請求項１に記載の画像処理装置。
3. 前記合成部は、前記検出部による検出結果に示されるエッジ強度が大きいほど、前記合成比率に示される前記処理後画像データの割合が大きくなるように、前記合成比率を決定する、
   請求項１に記載の画像処理装置。
4. 前記合成部は、前記処理後画像データに示される明度が第一明度よりも低い第二明度である場合、前記検出結果に示されるエッジ強度に対応する前記合成比率における前記処理後画像データの前記割合が、前記明度が前記第一明度の場合における前記割合よりも大きな値となるように前記合成比率を決定する、
   請求項２または３に記載の画像処理装置。
5. 前記第一画像データは時間的に互いに異なるタイミングで撮像することで得られた２つのフレームのうちの一方に含まれる所定の単位の画像データであり、前記第二画像データは、前記２つのフレームのうちの他方に含まれる前記所定の単位の画像データであり、
   前記合成部は、前記所定の単位ごとに前記合成比率の決定および前記合成を行うことで、前記２つのフレームのうちの前記一方のフレームに対応する合成画像データを出力する、
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像処理部は、前記第二画像データである、前記第一画像データに対する前記３次元ＮＲ処理の前に前記画像処理部から出力された処理後画像データを用いて、前記３次元ＮＲ処理を行う、
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記第一画像データおよび前記第二画像データを得るための撮像を行う撮像部と、
   請求項１〜６のいずれか１項に記載の画像処理装置と、
   を備える撮像装置。
8. 時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行う画像処理部と、
   前記画像処理部による３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出する検出部と、
   前記検出部による検出結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、決定した合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、前記合成により得られた合成画像データを出力する合成部と、
   を備える集積回路。
9. 時間的に互いに異なるタイミングで撮像することで得られた第一画像データおよび第二画像データを用いて、前記第一画像データのノイズを低減する３次元ノイズリダクション（ＮＲ）処理を行い、
   前記３次元ＮＲ処理が施された画像データである処理後画像データが示す画像のエッジ強度を検出し、
   前記検出の結果に基づいて、前記第一画像データと前記処理後画像データとの合成比率を決定し、
   決定された合成比率を用いて、前記第一画像データと前記処理後画像データとの合成を行い、
   前記合成において得られた合成画像データを出力する、
   画像処理方法。

Images