JP2011217294A - ノイズ低減処理装置 - Google Patents

Abstract

【課題】ノイズ低減を精度良く行なうことのできるノイズ低減処理装置を提供する。
【解決手段】動き検出部２では、現フレームと前フレーム画像情報の差分量を画素ごとに算出する。また、現フレームと前フレームの奥行き情報の差分量を画素ごとに算出する。算出した前記２種類の差分量のうちいずれかが所定の閾値以上であれば現フレームと前フレームとの間で画像に動きがあったと判定を行う。また前記判定に応じて動き量を検出し、動きの有無、動き量などを動き情報として出力する。合成比率設定部５では、入力される動き情報に基づいて所定の比率を設定する。三次元ノイズ低減処理部６では、前記比率から三次元ノイズ低減処理を行なう。
【選択図】図１

Description

本発明は、映像に含まれるノイズの低減を行なうためのノイズ低減処理装置に関する。

受像機で表示される映像中のノイズを低減する手法に、三次元ノイズ低減処理や二次元ノイズ低減処理あるいは一次元ノイズ低減処理などがある。処理手法は様々であるが、具体例を挙げると、三次元ノイズ低減処理においては、１つ前のフレームと現在のフレームの画像情報（輝度情報あるいは色情報など）を用いて、フレーム間で同一の画素について１画素単位でフレーム間の差分量を得る。得られた差分量は、あらかじめ定めた閾値と比較され、所定の閾値以下であれば画像情報は同一であると判断し、動きはなかったものとみなされ、１つ前のフレームと現在のフレームの画像情報に所定の比率を掛け算して足し合わせることによりノイズ低減処理を行なう。三次元ノイズ低減処理は、映像が静止している場合は優れたノイズ除去効果を示すが、映像に動きがある場合はノイズ低減処理を行なうとかえって画質の劣化を招く可能性がある。

また、一次元ノイズ低減処理は、現フレーム内において、隣接する画素の画像情報の相関性を用いてノイズ低減処理を行なう。二次元ノイズ低減処理は、例えば現フレームの各ラインの画像情報の相関性を用いてノイズ低減処理を行なう。一次元及び二次元ノイズ低減処理は、動きのある映像であっても、隣接画素間の画像情報に同一性があれば、一定のノイズ除去効果を示す。今日では、上述した三次元ノイズ低減処理及び一、二次元ノイズ低減処理を組み合わせることで、より効果的にノイズ低減をはかる方法もとられている。

特許文献１では、画像情報を用いてフレーム間で動き検出を行い、上述したような三次元ノイズ低減処理、あるいは一次元、二次元ノイズ低減処理を組み合わせて、複数のフレームを用いてノイズ低減処理を行なう方法が開示されている。

特開２００６−２８７６３２号公報

しかしながら、特許文献１開示の技術では、画像情報として色情報を用いて三次元ノイズ低減処理を行なった場合において、例えば、映像中に色情報の近い複数の異なる物体が存在しており、それらが相互に動いた場合、近い色情報を有する異なる物体に関して、フレーム間で差分をとると所定閾値以下となり、動きはなかったものと誤判断する可能性がある。図６は、動き検出を行なうと誤判断が起こりうる典型例について示している。物体Ａ及びＢはともに近い色情報を有しており、それらが前フレームと現フレームとの間でちょうど入れ替わるように動いた場合を示している。この場合、現フレーム及び前フレーム画像間で差分をとっても、動きはなかったものと誤判断がなされ、三次元ノイズ低減処理が行なわれると、色にじみや輝度むらなどが生じるため問題となる。

そこで、本発明は、上記課題に鑑みてなされたものであり、その目的は、奥行き情報を用いて正確に動き検出を行なうことで、精度の良いノイズ低減処理を実現することである。

本発明に係るノイズ低減処理装置は、画像情報を記憶する第一の記憶手段と、
奥行き情報を記憶する第二の記憶手段と、前記第一及び第二の記憶手段に記憶された画像情報及び奥行き情報と、現フレームの画像情報及び奥行き情報とを用いて動き情報を検出する手段と、前記検出した動き情報に基づいて、ノイズ低減処理を行なう手段とを備えて構成されることを特徴とする。

本発明に係るノイズ低減処理装置では、奥行き情報を用いて動き検出を行なうことにより、精度良くノイズ低減処理を行なうことのできるノイズ低減処理装置を提供することが可能となる。

本発明の第１の実施例に関するブロック構成図。 本発明の第１の実施例に関する説明図。 本発明の第２の実施例に関するブロック構成図。 本発明の第２の実施例に関するブロック構成図。 本発明の第３の実施例に関するブロック構成図。 動き検出を行なった際に誤判断が起こりうる典型例。

本発明の実施例について以下に説明する。尚、本発明は以下の実施例に限定されるものではない。

本発明の第１の実施例について、以下、図１を用いて説明する。図１は、本発明の第１の実施例におけるノイズ低減処理装置１の基本構成を示すブロック構成図である。ノイズ低減処理装置１は、動き検出部２と、フレームバッファ３と、奥行き情報フレームバッファ４と、合成比率設定部５と、三次元ノイズ低減処理部６とを備えて構成される。

次に、第１の実施例の動作について説明する。ノイズ低減処理装置１には、１フレームに対応する画像情報（以下、現フレーム画像情報と呼ぶ）及び奥行き情報（以下、現フレーム奥行き情報と呼ぶ）が入力される。画像情報はフレーム画像が画素単位で有している輝度情報あるいは色情報などである。奥行き情報に関しては、周知の方法で演算を行なって画素単位で算出してもよいし、奥行き情報をグレースケールで示した奥行き画像を用いてもよい。それらは動き検出部２と三次元ノイズ低減処理部６に入力される。

フレームバッファ３には、三次元ノイズ低減処理部６で既にノイズ低減処理（ノイズ低減処理については後述する）が行なわれた現フレームに対する直前フレームの画像情報（以下、前フレーム画像情報と呼ぶ）が格納されている。また、奥行き情報フレームバッファ４には、直前フレームに関する奥行き情報（以下、前フレーム奥行き情報と呼ぶ）が格納されている。格納されている前フレーム画像情報及び前フレーム奥行き情報はそれぞれ動き検出部２に出力される。

動き検出部２では、現フレームと前フレーム画像情報の差分量をフレーム間で同一画素について１画素単位で算出する。画像情報は例えば色情報である。また、現フレームと前フレームの奥行き情報に関しても同一画素について１画素単位で差分量を算出する。算出した前記２種類の差分量のうち、いずれかが所定の閾値以上であればフレーム間で動きがあったと判定する。該判定及び前記２種類の差分量をまとめて動き情報と呼ぶこととする。動き検出部２は、前記動き情報を合成比率設定部５に出力する。

合成比率設定部５では、入力される動き情報から、１画素ごとに現フレームと前フレーム画像情報に関して比率を設定する。該比率は、動きがあったと判定された画素に関し、現フレームと前フレーム画像情報の差分量の大きさに基づいて決定される。図２は、前記差分量の大きさと前フレーム画像情報に設定する比率との関係を示しており、差分量の大きさが増加するに従って比率を下げている。図２中のＡは、差分量が比較的小さいときで前フレーム画像情報に設定する比率を０．８としている。この場合、現フレーム画像情報に設定する比率は０．２である。Ｂは差分量が大きいときで、前フレーム画像情報に設定する比率を０．３にしている。また、差分量が閾値よりも小さく、動きがなかったと判定された画素については、前フレーム画像情報に設定する比率を１とする。上述した比率は、後述する三次元ノイズ低減処理部６で用いられる。

三次元ノイズ低減処理部６では、合成比率設定部５から入力される画素ごとの比率に基づいて周知の三次元ノイズ低減処理を行なう。例えば、現フレームと前フレームの同一画素間で、各画素が有する色情報に、前記比率を掛け算して足し合わせを行なうような処理を行ない、結果を所定の映像処理部に出力する。尚、本実施例では、フレーム間で同一画素の画像情報に関して差分量を算出し、該差分量から動きがあったと判定された画素については差分量に基づいて比率を設定しノイズ低減処理を行なうような構成としているが、これに限定されず、動きがあったと判定された画素に関してはノイズ低減処理を行なわないとする構成であってもよい。

上記構成により、奥行き情報を用いて動き検出を行なうことにより、より精度良く三次元ノイズ低減処理を行なうことのできるノイズ低減処理装置を提供することが出来る。

次に、本発明の第２の実施例について図３のブロック構成図を用いて説明する。基本的には実施例１と同様の構成及び動作からなり、同一の構成には同一の符号を付してその説明は省略する。図３は、ノイズ低減処理装置７の基本構成を示すブロック構成図である。実施例１で示した構成に加え、一次元／二次元ノイズ低減処理部８と、合成処理部９とを更に備えて構成される。

次に、本実施例の動作について実施例１と異なる点について説明する。一次元／二次元ノイズ低減処理部８は、入力された現フレームの画像情報及び奥行き情報から周知のノイズ低減処理を行なう。例えば、一次元ノイズ低減処理は、現フレーム内において、隣接する画素の同一性に基づいて処理を行う。また、二次元ノイズ低減処理は、現フレーム内において、ラインごとの同一性に基づいて処理を行なう。

合成処理部９では、入力される三次元及び一次元／二次元ノイズ低減処理結果について、合成比率設定部５で設定した比率に基づいて合成処理を行なう。同一画素に関し、フレーム間で差分量が大きかった画素については、一次元／二次元ノイズ低減処理結果を用い、差分量が小さかった画素に関しては、三次元ノイズ低減処理結果を用いて１フレーム画像を構成するように合成を行なう。合成後のフレーム画像は図示しないが所定の映像処理部に出力される。

尚、上記した本実施例では、三次元及び一次元／二次元ノイズ低減処理結果を合成比率設定部５で設定した比率に基づいて合成処理を行なうとしたが、これに限られるものではなく、例えば図４に示すような構成であってもよい。図４では、動き検出部２から出力される動き情報に基づき、差分量が大きかった画素については現フレームに関して一次元／二次元ノイズ低減処理部８で処理を行ない、処理結果を三次元ノイズ低減処理部６に出力する。三次元ノイズ低減処理部６では、該処理結果を用いて三次元ノイズ低減処理を行ない、所定の映像処理部に出力する。図４のような構成とすることでより回路規模の低減を図ることができる。

上記構成により、奥行き情報を用いて動き検出を行なうことにより、より精度良く三次元ノイズ低減処理を行なうことが出来るとともに、加えて、一次元／二次元ノイズ低減処理も組み合わせて行なうことでノイズ除去効果の大きいノイズ低減装置を提供することが出来る。

次に、本発明の実施例３について図５のブロック構成図を用いて説明する。基本的には実施例１と同様の構成及び動作からなり、同一の構成には同一の符号を付してその説明は省略する。本実施例では、図１の動き検出部２を動きベクトル検出部２２に置き換えた構成としている。

次に、本実施例の動作について実施例１と異なる点について説明する。特に本実施例では、動きベクトル検出部２２によって動き検出を行なうものとする。はじめに、動きベクトル検出について述べることとし、一例としてブロックマッチング法を適用して動きベクトル検出を行なった場合について説明する。

まず、現フレーム画像及び前フレーム画像についていずれも、例えば８×８画素の矩形画素領域（マクロブロック）に分割し、前記マクロブロックごとに画像情報に関して積算する。前記画像情報は本実施例では色情報を用いる。

そして、前フレーム画像について前記積算した色情報を、マクロブロック単位で現フレーム画像と順番に比較していき、積算値が最も類似するブロックを移動した領域として、移動距離、移動方向から動きベクトルを求める。

しかし、前記積算値が近似するブロックが複数存在する場合には、候補となるベクトル（候補ベクトル）が複数存在する結果となり、動きベクトルを正確に決定できない可能性がある。このような場合であっても、周知の手法によって、候補ベクトルに対して優先順位を設けることで、動きベクトルの決定を行なう様々な手法が存在する。本実施例では特にこの候補ベクトルから動きベクトルを決定する手法について開示する。

図５において、動きベクトル検出部２２では、従来の画像情報に加えて奥行き情報についても現フレーム及び前フレーム画像に関してマクロブロック単位で積算値を算出する。そして、上述したような候補ベクトルが複数存在する場合においては、前記奥行き情報の積算値が最も近似するブロックを移動した領域として、動きベクトルを求めるような構成とする。また、併せて求めた動きベクトルに対する信頼度も算出する。該信頼度は、候補ベクトルの存在数の増加に応じて低くなるものとする。動きベクトル検出部２２は、前記求めた動きベクトル及び信頼度を合成比率設定部５に出力する。

合成比率設定部５には、前記動きベクトル及び信頼度が入力される。動きベクトルからフレーム間で対応するマクロブロックの突き合せを行い、該対応するマクロブロックごとに現フレームと前フレーム画像情報に関して比率を設定する。つまり、前記入力される信頼度が低ければ、前フレーム画像情報に設定する比率を下げるように構成する。

三次元ノイズ低減処理部６では、入力される前記比率に基づいて現フレーム画像と前フレーム画像に関して、マクロブロック単位で比率を掛け算して足し合わせを行なうことで、三次元ノイズ低減処理を行ない、結果を図示しない所定の映像処理部に出力する。尚、本実施例では、マクロブロックは８×８画素の矩形画素領域としたが、４×４画素の矩形画素領域でもよいし、１画素単位であってもよい。また、求めた動きベクトルから動きがあったと判定されたマクロブロックに関してはノイズ低減処理を行なわないとする構成であってもよい。

上記構成により、奥行き情報を用いて動き検出を行なうことで、正確に動きベクトルを検出出来るので、動きのある映像であっても精度良く三次元ノイズ低減処理を行なうことが可能なノイズ低減処理装置を提供することが出来る。

本発明は、映像に係るノイズ低減処理を精度よく行うことが出来るため、テレビジョン受像機やＰＣモニタに有用である。

１、７、１０、１１ ノイズ低減処理装置
２ 動き検出部
３ フレームバッファ
４ 奥行き情報フレームバッファ
５ 合成比率設定部
６ 三次元ノイズ低減処理部
８ 一次元／二次元ノイズ低減処理部
９ 合成処理部
２２ 動きベクトル検出部

Claims (6)

1. 画像情報を記憶する第一の記憶手段と、
   奥行き情報を記憶する第二の記憶手段と、
   前記第一及び第二の記憶手段に記憶された画像情報及び奥行き情報と、現フレームの画像情報及び奥行き情報とを用いて動き情報を検出する手段と、
   前記検出した動き情報に基づいて、ノイズ低減処理を行なう手段とを備えたことを特徴とするノイズ低減処理装置。
2. 画像情報を記憶する第一の記憶手段と、
   奥行き情報を記憶する第二の記憶手段と、
   前記第一及び第二の記憶手段に記憶された画像情報及び奥行き情報と、現フレームの画像情報及び奥行き情報とを用いて動き情報を検出する手段と、
   該検出した動き情報に基づいて第一のノイズ低減処理を行なう手段と、
   同一フレーム内の隣接画素の相関性に基づいて第二のノイズ低減処理を行なう手段と、
   前記第一及び第二のノイズ低減処理による処理結果を前記動き情報に基づいて合成する手段とを備えたことを特徴とするノイズ低減処理装置。
3. 画像情報を記憶する第一の記憶手段と、
   奥行き情報を記憶する第二の記憶手段と、
   前記第一及び第二の記憶手段に記憶された画像情報及び奥行き情報と、現フレームの画像情報及び奥行き情報とを用いて動きベクトルを検出する手段と、
   該検出した動きベクトルに基づいてノイズ低減処理を行なう手段とを備えたことを特徴とするノイズ低減処理装置。
4. 前記ノイズ低減処理は動き情報に応じて設定される比率に基づいて行なわれることを特徴とする請求項１に記載のノイズ低減処理装置。
5. 前記第一のノイズ低減処理及び前記処理結果の合成は動き情報に応じて設定される比率に基づいて行なわれることを特徴とする請求項２に記載のノイズ低減処理装置。
6. 前記ノイズ低減処理は候補ベクトルに関連して設定される比率に基づいて行なわれることを特徴とする請求項３に記載のノイズ低減処理装置。

Images