JP2011199349A

JP2011199349A - 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム

Info

Publication number: JP2011199349A
Application number: JP2010060654A
Authority: JP
Inventors: Teruyuki Sato; 輝幸佐藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-03-17
Filing date: 2010-03-17
Publication date: 2011-10-06

Abstract

【課題】動画像データに含まれる画像に重畳されたノイズを除去するとともに、画像内でのボケ度合いを均一化可能な画像処理装置を提供する。
【解決手段】画像処理装置１は、動画像データに含まれる第１の画像と少なくとも１枚の第２の画像との間で、第１の画像上の第１の画素についての動きベクトルを求め、動きベクトルを用いて少なくとも１枚の動き補償画像を作成し、第１の画像及び動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことで第３の画像を作成し、そのグループに含まれる画素値のバラツキ度を算出し、バラツキ度が高いほど強くなるようにエッジ強調度を設定し、設定されたエッジ強調度に従って第３の画像における第１の画素に対応する画素のエッジを強調する。
【選択図】図１

Description

本発明は、例えば、動画像データに含まれる複数の画像にわたる情報を用いて各画像を処理する画像処理装置、画像処理方法及び画像処理用コンピュータプログラムに関する。

動画像データの画質を向上するために、動画像データに含まれる各画像に対して画像上に写っている物体の輪郭を強調するエッジ強調処理を行うことが知られている。このようなエッジ強調処理に関して、画像上の部分領域ごとに、その部分領域に写っている物体の動きに応じて、エッジ強調の度合いを変える技術が提案されている（例えば、特許文献１及び２を参照）。

しかし、ノイズが重畳された画像に対してエッジ強調のような空間的な強調処理が施されると、ちらつき、フリッカなどの画質を劣化させる現象も強調されてしまう。

そこで、動画像データに含まれる各画像のノイズを除去する技術が利用されている。そのようなノイズ除去技術の一例として、空間情報とともに時間軸方向の情報を用いる３次元ノイズリダクション（3-dimensional noise reduction、3DNR）方式が提案されている。3DNRの一例では、時間軸方向における各画素の画素値の揺らぎが除去すべきノイズとなる。3DNRは、空間情報として、各画像に写っている物体の位置の変位、すなわち「動き」を求めることにより、その空間情報を用いて各画像間で同一の物体が写っている画素を特定する。そして3DNRは、同一の物体が写っている画素に対して時間軸方向にフィルタ処理を行ってノイズを除去する。

静止している物体が写っている領域に対してフィルタ処理が行われると、その領域に含まれる画素の値は時間軸に対してあまり変化しないので、比較的良好にノイズが除去される。
しかしながら、動いている物体が写っている領域に対してフィルタ処理が行われると、その領域においてボケが生じるおそれがあった。なお、以下では、静止している物体が写っている領域を静領域と呼び、動いている物体が写っている領域を動領域と呼ぶ。
そこで、静領域に対する処理と動領域に対して適用するフィルタ処理を異ならせる技術が提案されている（例えば、特許文献３を参照）。

特開２００３−５０５６０号公報特開２００８−３０１４４１号公報特開２００８−１９３１４２号公報

画像処理装置は、ノイズ除去技術を用いて動画像データの各画像からノイズを除去した後に、各画像に対してエッジ強調処理を行うことにより、フリッカなどの現象が強調されることを抑制できる。しかし、ノイズ除去処理が行われた動領域のボケ度合いは、動画像データに表された映像の内容に依存する。一般に、動領域に重畳されたノイズの量が少ないほど、ノイズ除去処理が実行された後のその動領域のボケ度合いも低くなる。そのため、ノイズ除去処理が行われた後の画像上の各動領域に対して一律にエッジ強調処理が行われると、一つの画像において、エッジが強く強調された領域と、エッジがあまり強調されていない領域とが生じるおそれがあった。また、エッジが強く強調された領域では、オーバーシュート、ジャギーといったアーティファクトが目立ち、結果として動画像の画質が低下してしまう。
そのため、動きに応じて強調度合いを変えるエッジ強調処理を用いたとしても、映像特性に依存したボケ度合いとエッジ強調度合いとは必ずしも相関しない。そのため、エッジ強調度合いが動きに応じて決定されたとしても、エッジ強調処理によって動領域間あるいは動領域と静領域間のボケ度合いの差を補償することは困難であった。その結果、ノイズ除去処理が施された後にエッジ強調処理が施された動画像は、奥行き感を欠いたものとなってしまうおそれがあった。

そこで、本明細書は、動画像データに含まれる画像に重畳されたノイズを除去するとともに、画像内でのボケ度合いを均一化可能な画像処理装置及び画像処理方法を提供することを目的とする。

一つの実施形態によれば、画像処理装置が提供される。この画像処理装置は、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求める動きベクトル計算部と、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成する動き補償部と、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成するノイズ除去部と、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、第１の画素に対するバラツキ度として算出するバラツキ度算出部と、バラツキ度が高いほど強くなるようにエッジ強調度を設定する強調度制御部と、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うエッジ強調部とを有する。

また他の実施形態によれば、画像処理方法が提供される。この画像処理方法は、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより第３の画像を作成し、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を第１の画素に対するバラツキ度として算出し、バラツキ度が高いほど強くなるようにエッジ強調度を設定し、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うことを含む。

さらに他の実施形態によれば、コンピュータに動画像データに対する画像処理を実行させる画像処理用コンピュータプログラムが提供される。このコンピュータプログラムは、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより第３の画像を作成し、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を第１の画素に対するバラツキ度として算出し、バラツキ度が高いほど強くなるようにエッジ強調度を設定し、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うことをコンピュータに実行させる命令を有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された画像処理装置及び画像処理方法は、動画像データに含まれる画像に重畳されたノイズを除去するとともに、画像内でのボケ度合いを均一化できる。

一つの実施形態に係る画像処理装置の概略構成図である。ノイズ除去処理の概念図である。（ａ）は、画像上に写っている物体の境界の一部を表す図であり、（ｂ）は、（ａ）に示された物体の境界近傍に位置する画素の値の時間変化を表すグラフを示す図である。エッジ強調フィルタの一例を示す図である。エッジ強調フィルタの他の一例を示す図である。画像処理装置により実行される、ノイズ除去・エッジ強調処理の動作フローチャートを示す。何れかの実施形態による画像処理装置が組み込まれた映像再生装置の概略構成図である。

以下、図を参照しつつ、一つの実施形態による、画像処理装置について説明する。
この画像処理装置は、動画像データに含まれる処理対象の画像の着目画素に対して、その処理対象の画像と時間的に前後する少なくとも一つの画像において着目画素に写っている物体と同じ物体が写っている画素を探索する。そしてこの画像処理装置は、同一の物体が写っているそれら複数の画素の値に基づいて着目画素に対するノイズ除去処理を行うとともに、それら複数の画素の値のバラツキ度合いに応じたエッジ強調度に従って、その着目画素に対してエッジ強調処理を実行する。

なお、画像は、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

図１は、一つの実施形態による画像処理装置の概略構成図である。画像処理装置１は、バッファ１０と、動きベクトル計算部１１と、動き補償部１２と、ノイズ除去部１３と、バラツキ度算出部１４と、強調度制御部１５と、エッジ強調部１６とを有する。

バッファ１０は、例えば、読み書き可能な半導体メモリを有する。そしてバッファ１０は、処理対象となる動画像データに含まれる画像が画像処理装置１に入力される度に、その画像を記憶する。そしてバッファ１０は、入力された動画像データのうち、着目する画像に対するノイズ除去処理を実行するために必要な所定枚数の画像を記憶する。またバッファ１０は、記憶されている画像の枚数が所定枚数を超えると、古い画像から順に廃棄する。

動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、それぞれ別個の回路として形成される。あるいは動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、その各部に対応する回路が集積された一つの集積回路として画像処理装置１に実装されてもよい。さらに、動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、画像処理装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

動きベクトル計算部１１は、着目する画像の各画素について、その画素に写っている物体についての、着目画像と、着目画像よりも時間的に前または後の少なくとも一つの参照画像との間での空間的な移動量及び移動方向を表す動きベクトルを算出する。
動きベクトル計算部１１は、例えば、ブロックマッチング法を用いて動きベクトルを算出することができる。この場合、動きベクトル計算部１１は、着目画像を所定のサイズを持つ複数のブロックに分割する。所定のサイズは、例えば、１６画素×１６画素とすることができる。そして動きベクトル計算部１１は、複数のブロックのうち、着目するブロックをテンプレートとして、バッファ１０に記憶されている各参照画像とテンプレートマッチングを行う。動きベクトル計算部１１は、例えば、着目ブロックと各参照画像の対応画素間の画素値の差の絶対値の合計が最小となる各参照画像上の領域の位置を求める。動きベクトル計算部１１は、着目画像における着目ブロックの位置を基準として、その最も一致する位置のずれ量(mvx_ij,mvy_ij)を、着目ブロックに含まれる各画素についての各参照画像に対する動きベクトルとして求める。ただし、mvx_ijは、着目画像の画素jに対して求められた、参照画像iの動きベクトルの水平成分を表し、mvy_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの垂直成分を表す。

少なくとも一つの参照画像は、例えば、着目画像よりも１フレーム〜数フレーム前の画像とすることができる。なお、バッファ１０に所定枚数の画像がバッファされた後に動きベクトル計算部１１が動きベクトルを求める場合、参照画像には、着目画像よりも１フレーム〜数フレーム後の画像が含まれてもよい。
また、参照画像の枚数は、少なくとも１枚であり、ノイズ除去精度を向上するために、２枚以上、例えば、３枚、５枚、１０枚あるいは２０枚とすることが好ましい。

動きベクトル計算部１１は、動きベクトルを求めるための他の方法、例えば、勾配法または透視変換法を用いてもよい。
動きベクトル計算部１１は、着目画像の各画素について求めた動きベクトルを、その動きベクトルに対応する参照画像及び着目画像上の画素の位置を示す番号とともに動き補償部１２へ渡す。

動き補償部１２は、バッファ１０から読み込んだ参照画像と、その参照画像について求められた各動きベクトルに基づいて補償画像を作成する。具体的には、動き補償部１０は、同一の物体に関して、着目画像上のその物体の位置と補償画像上のその物体の位置が同じとなるように、参照画像の各画素を対応する動きベクトルを用いて動き補償することにより補償画像を作成する。
具体的に、動き補償部１２は、次式に従って補償画像P_i(x_j,y_j)を作成する。

ここで、x_jは画素jの水平座標を表し、y_jは画素jの垂直座標を表す。またR_i(x_j,y_j)は、参照画像iを表す。そしてmvx_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの水平成分を表し、mvy_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの垂直成分を表す。
なお、(mvx_ij,mvy_ij)の少なくとも一方が小数である場合、動き補償部１２は、（１）式によって補償画像の画素jに少なくとも一部が重なる参照画像の各画素の値を用いて線形補間することにより、補償画像の画素jの値を決定する。
動き補償部１２は、作成した各補償画像をノイズ除去部１３及びバラツキ度算出部１４へ渡す。

ノイズ除去部１３は、着目画像の各画素の値とともに補償画像の対応する画素の値を用いて時間フィルタ処理を行うことにより、着目画像に重畳した時間変動ノイズを除去する。
例えば、ノイズ除去部１３は、時間フィルタ処理として、着目する画像の着目画素の値と、その着目画素に対応する各補償画像の画素の値の組に対してメディアンフィルタ処理、あるいは平均化処理を実行する。そしてノイズ除去部１３は、時間フィルタ処理を行うことによって得られた値を、ノイズ除去後の着目画素の値とする。

図２は、ノイズ除去処理の概念図である。画像２０１は、ノイズ除去処理の対象となる着目画像であり、現時刻tの画像である。また画像２０２、２０３は、それぞれ、画像２０１に対する参照画像であり、時刻tよりも前の時刻(t-1)、時刻(t-2)の画像である。各画像２０１〜２０３には、それぞれ、同一の物体Ａが写っているが、この物体Ａは時間の経過にしたがって空間的に移動している。そのため、各画像２０１〜２０３において、物体Ａが写っている位置が異なっている。
画像２０２’、２０３’は、それぞれ、参照画像２０２、２０３に対して動き補償することにより作成された補償画像である。動き補償により、補償画像２０２’、２０３’及び画像２０１において物体Ａが写っている位置は同一となる。そのため、画像２０１、補償画像２０２’、２０３’のそれぞれにおける同じ位置の画素の値を用いて時間フィルタ処理を行うことにより、時間変動ノイズが除去された画像２０４が作成される。
ノイズ除去部１３は、ノイズ除去された画像をエッジ強調部１６へ渡す。

バラツキ度算出部１４は、バッファ１０からノイズ除去処理の対象となった着目画像を読み込むとともに、動き補償部１２から着目画像に対する補償画像を受け取る。そしてバラツキ度算出部１４は、画素ごとに、エッジ強調部１６によるエッジ強調処理の強調度合いを決定するために、着目画像と各補償画像の対応する画素の値のバラツキ度を算出する。

ここで、図３（ａ）及び図３（ｂ）を参照しつつ、以下に述べる３通りのケースについて、ノイズ除去された画像において生じるボケについて説明する。
図３（ａ）は、ある時刻における画像上の物体Ｂが写っている領域の一部を表す図である。図３（ａ）において、領域３００のうち、物体Ｂが写っていない領域に含まれる各画素は比較的高い画素値を有する。着目する画素３０１は、このような物体Ｂが写っていない領域に含まれる。一方、物体Ｂが写っている領域に含まれる画素は、比較的低い画素値を有する。この物体Ｂは、時間が経つにつれて右から左へ移動し、時刻tの前後で画素３０１に物体Ｂが写るものとする。
図３（ｂ）は、ノイズ除去処理が行われた後での、図３（ａ）に示された画素３０１の値の時間変化を表すグラフを示す。図３（ｂ）において、横軸は時間を表し、縦軸は画素値を表す。そして実線で表されたグラフ３２１及び点線で表されたグラフ３２２、３２３は、それぞれ、画素３０１の画素値の時間変化を表す。

・ケース１では、画像にノイズが重畳されておらず、かつ、動きベクトルの水平成分及び垂直成分が画素サイズの整数倍であっても、正確な動き補償が行えると仮定される。この場合には、画素３０１が物体Ｂと重なるとき、画素３０１に対応する各補償画像の画素にも物体Ｂが重なり、画素３０１に対応する着目画像及び各参照画像の画素の値は同一となる。そのため、画素３０１でボケは生じない。したがって、グラフ３２１に示されるように、時刻t以前では、画素３０１の値は、物体Ｂが写っていないときの値で一定であり、一方、時刻t以降では、画素３０１の値は、物体Ｂに対応する値で一定となる。
・ケース２では、画像にノイズが重畳されておらず、かつ物体Ｂの動きを補償するために、動きベクトルの水平成分または垂直成分が画素サイズの整数倍とならないと仮定される。この場合、画素３０１の近傍に物体Ｂの輪郭が位置する時刻tの前後では、画素３０１に対応する補償画像の画素の値は、物体Ｂが写っている画素の値と物体Ｂが写っていない画素の値に基づく補間によって求められ、中間的な値となる。そのため、画素３０１に対応する画素が、その中間的な値を持つ補償画像が作成されている期間中、ノイズ除去後の画素３０１も中間的な値を取り得る。したがって、時刻tの前後では、グラフ３２２に示されるように、画素３０１の値は漸減し、画素３０１に物体Ｂが写っていないときの残像が観察される。すなわち、画素３０１にはボケが生じる。しかしこの場合には、画素３０１に対応する着目画像及び各補償画像の画素の値のバラツキは小さいので、残像が観察される期間も短く、ボケ度合いも低い。
・ケース３では、画像にノイズが重畳されており、かつ動きベクトルの水平成分または垂直成分が画素サイズの整数倍とならないと仮定される。この場合、物体Ｂの同じ位置が写っている画素の値が、ノイズのために参照画像によって異なりうる。そのため、画素３０１に対応する、各補償画像の画素の値もばらつくことになる。この画素値のバラツキは、画素３０１における、時間方向のノイズ量を表している。そして、ノイズ除去処理によってこのノイズを除去することは、画素３０１近傍に物体Ｂの輪郭が存在する場合において、その輪郭近傍での空間的なノイズ除去処理を行うことに対応する。そのため、ノイズ除去処理により、画素３０１にはボケが生じる。この場合も、時刻tの前後では、グラフ３２３に示されるように、例えば、画素３０１の値は漸減する。また、ノイズの影響により、画素３０１に対応する補償画像の画素の値が、物体Ｂが写っている画素の値と物体Ｂが写っていない画素の値の中間的な値を持つ期間は、一般的に、ケース２においてその画素が中間的な値を持つ期間よりも長い。そのため、画素３０１において残像が観察される期間も長く、ボケの度合いも大きい。

上記のように、着目画像及び各補償画像における各画素の値のバラツキは、ノイズ除去処理によって生じるボケに影響する。そして、画素値のバラツキが大きいほど、生じるボケも大きくなる。そのため、その画素の値のバラツキ度を、エッジ強調度の指標とすることにより、適切なエッジ強調処理が行えることが分かる。
そこで、バラツキ度算出部１４は、画素値のバラツキ度として、例えば、着目する画素の値のグループから、画素値の最大値と最小値の差、分散、または標準偏差若しくは四分位数範囲といった値のバラツキを表す統計量を求める。そしてバラツキ度算出部１４は、求めた各画素のバラツキ度を強調度制御部１５へ渡す。

強調度制御部１５は、エッジ強調部１６により行われるエッジ強調処理で用いられるエッジ強調フィルタを作成する。その際、強調度制御部１５は、ノイズ除去処理によって生じたボケの度合いが高い画素に対するエッジ強調フィルタのエッジ強調度を、ノイズ除去処理によって生じたボケの度合いが低い画素に対するエッジ強調度よりも高く設定する。

図４は、エッジ強調フィルタの一例を示す図である。図４において、エッジ強調フィルタ４００の各画素には、対応する画素に乗じる係数が示されている。このうち、中心の画素４０１が、エッジ強調処理の対象となる着目画素に対応する。すなわち、着目画素の値には、係数(1+4B)が乗じられ、着目画素の上下左右に隣接する各画素の値には、係数-Bが乗じられ、そしてそれらの積の和が、エッジ強調された着目画素の値となる。

図５は、エッジ強調フィルタの他の一例を示す図である。図５において、エッジ強調フィルタ５００の各画素には、対応する画素に乗じる係数が示されている。このうち、中心の画素５０１が、エッジ強調処理の対象となる着目画素に対応する。エッジ強調フィルタ５００は、着目画素から２画素離れた画素の値を参照する。そのため、５画素以上にわたって画素値が変化するエッジに対して、エッジ強調フィルタ５００を用いることにより、エッジ強調フィルタ４００を用いる場合よりもエッジが強調される。

また強調度制御部１５は、画素ごとに、その画素に対応するバラツキ度に応じてエッジ強調フィルタを調節する。例えば、強調度制御部１５は、エッジ強調フィルタとして図４に示したフィルタ４００を選択する。そして強調度制御部１５は、画素ごとに、バラツキ度が所定の閾値Th以上か否かに応じて、エッジ強調フィルタの係数に含まれるパラメータBの値をエッジ強調度として調節する。この場合、強調度制御部１５は、バラツキ度が所定の閾値Th未満であれば、例えば、パラメータBの値を、パラメータの基準値B₀に設定する。一方、バラツキ度が所定の閾値Th以上であれば、強調度制御部１５は、パラメータBの値を、基準値B₀に1よりも大きい係数αを乗じた値に設定する。係数αは、例えば、1.1〜2の範囲内の何れかに設定される。また基準値B₀は、例えば、0.1〜1の範囲内の何れかに設定される。

あるいは、強調度制御部１５は、エッジ強調フィルタのサイズをエッジ強調度として調節してもよい。例えば、強調度制御部１５は、バラツキ度が所定の閾値Th以上であれば、図５に示したエッジ強調フィルタ５００を選択し、一方、バラツキ度が所定の閾値Th未満であれば、図４に示したエッジ強調フィルタ４００を選択してもよい。

なお、所定の閾値Thは、例えば、ノイズ除去部１３により実行されたノイズ除去処理が強く作用したと推定されるバラツキ度に設定される。例えば、所定の閾値Thは、観察者がノイズ除去処理が行われた動画像を観察して、ボケを検知できるバラツキ度の最小値に設定され、着目画素についてのバラツキ度がこの最小値よりも大きい場合、着目画素に対してノイズ除去処理が強く作用したと推定される。バラツキ度が最大値と最小値の差である場合、所定の閾値Thは、例えば、６４に設定される。

強調度制御部１５は、各画素について決定したエッジ強調フィルタを、対応する画素と関連付けてエッジ強調部１６へ渡す。

エッジ強調部１６は、強調度制御部１５から受け取った各画素についてのエッジ強調フィルタを用いて、ノイズ除去部１３から受け取ったノイズ除去画像の各画素に対して空間フィルタ処理を行う。そしてエッジ強調部１６は、空間フィルタ処理を行うことにより得られたエッジ強調画像を出力する。

図６は、画像処理装置１により実行される、ノイズ除去処理及びエッジ強調処理の動作フローチャートを示す。なお、この動作フローチャートで表された処理は、動画像データに含まれる画像ごとに実行される。
先ず、動きベクトル計算部１１は、バッファ１０から読み込んだ着目画像と少なくとも一枚の参照画像とに基づいて、参照画像ごとに、着目画像の各画素に対応する動きベクトルを求める（ステップＳ１０１）。動きベクトル計算部１１は、求めた動きベクトルを動き補償部１２へ渡す。
動き補償部１２は、バッファ１０から読み込んだ各参照画像と、各参照画像に対応する動きベクトルに基づいて、補償画像を作成する（ステップＳ１０２）。動き補償部１２は、作成した補償画像をノイズ除去部１３及びバラツキ度算出部１４へ渡す。

ノイズ除去部１３は、バッファ１０から読み込んだ着目画像と、動き補償部１２から受け取った補償画像に基づいて、同じ位置にある画素の値を用いて時間フィルタ処理を行うことにより、ノイズ除去画像を作成する（ステップＳ１０３）。そしてノイズ除去部１３は、ノイズ除去画像をエッジ強調部１６へ渡す。
またバラツキ度算出部１４は、着目画像の各画素について、着目画像及び補償画像の対応する画素の値のバラツキを表す統計量を、その画素についてのバラツキ度として算出する（ステップＳ１０４）。そしてバラツキ度算出部１４は、各画素のバラツキ度を強調度制御部１５へ渡す。

強調度制御部１５は、ノイズ除去画像に含まれる画素のうち、着目画素に設定されていない画素の何れかを着目画素に設定する（ステップＳ１０５）。そして強調度制御部１５は、着目画素に対応するバラツキ度が所定の閾値Th以上か否か判定する（ステップＳ１０６）。
バラツキ度が所定の閾値Th以上である場合（ステップＳ１０６−Ｙｅｓ）、強調度制御部１５は、相対的にエッジ強調度が強いエッジ強調フィルタを作成する（ステップＳ１０７）。一方、バラツキ度が所定の閾値Th未満である場合（ステップＳ１０６−Ｎｏ）、強調度制御部１５は、相対的にエッジ強調度が弱いエッジ強調フィルタを作成する（ステップＳ１０８）。

ステップＳ１０７またはＳ１０８の後、強調度制御部１５は、ノイズ除去画像の全ての画素が着目画素に設定されたか否か判定する（ステップＳ１０９）。何れかの画素が着目画素に設定されていなければ（ステップＳ１０９−Ｎｏ）、強調度制御部１５は、ステップＳ１０５〜Ｓ１０９の処理を繰り返す。
一方、全ての画素が着目画素に設定されている場合（ステップＳ１０９−Ｙｅｓ）、強調度制御部１５は、各画素に対するエッジ強調フィルタをエッジ強調部１６へ渡す。
エッジ強調部１６は、ノイズ除去画像の各画素に対して、対応するエッジ強調フィルタを用いて空間フィルタ処理を行うことにより、エッジ強調画像を作成する（ステップＳ１１０）。そしてエッジ強調部１６は、エッジ強調画像を出力する。その後、画像処理装置１は、ノイズ除去処理及びエッジ強調処理を終了する。

なお、強調度制御部１５は、一つの画素に対するエッジ強調フィルタを作成する度に、作成したエッジ強調フィルタをエッジ強調部１６に渡してもよい。そしてエッジ強調部１６は、エッジ強調フィルタを受け取る度に、対応する画素についてのエッジ強調処理を行ってもよい。これにより、画像処理装置１は、エッジ強調フィルタの作成とエッジ強調処理を並列に実行することができるので、処理時間を短縮することができる。

以上に説明してきたように、この画像処理装置は、ノイズ除去処理の対象となる着目画像及び補償画像の着目画素の値のバラツキ度が高いほど、その着目画素に対するエッジ強調度を強くする。画素値のバラツキ度が高いほど、ノイズ除去処理により生じるボケも大きくなるので、この画像処理装置は、ボケが大きい画素に対するエッジ強調の度合いを、ボケが小さい画素に対するエッジ強調の度合いよりも強くできる。したがって、この画像処理装置は、動画像データにおける、ノイズによる時間軸方向の画素値の揺らぎを低減できるとともに、ノイズ除去により生じるボケの度合いが画像全体で均一化されるように、ボケを適切に抑制できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、強調度制御部は、着目する画素のバラツキ度が高いほど、エッジ強調度も強くなるように、エッジ強調度を３段階以上に設定してもよい。例えば、強調度制御部は、バラツキ度を入力とし、図４または図５に示されたパラメータBを出力とする単調増加関数により、パラメータBの値をエッジ強調度として決定してもよい。
また、エッジ強調部は、他のエッジ強調方法を用いてエッジを強調してもよい。例えば、エッジ強調部は、ノイズ除去画像の着目画素を含む所定の領域の画素値の平均値をアンシャープ信号として求め、着目画素の値とアンシャープ信号との差に所定のエッジ強調度を乗じた値を着目画素の値に加算することにより、エッジ強調画像を作成してもよい。
この場合も、強調度制御部は、着目画素のバラツキ度が高いほど、エッジ強調度も強くなるように、そのエッジ強調度を決定する。

上述した画像処理装置は、テレビジョン、投影プロジェクタ、携帯電話機またはコンピュータなど、動画像を再生する様々な映像再生装置に利用できる。また、図６に示された動作フローチャートの処理を、プロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。

図７は、上述した画像処理装置が組み込まれた映像再生装置の概略構成図である。映像再生装置１００は、入力部２と、記憶部３と、復号部４と、画像処理部５と、出力部６とを有する。
入力部２は、例えば、映像再生装置１００をネットワークに接続するためのインターフェース回路を有する。また、入力部２は、無線信号により配信される動画像データを受信するために、アンテナ及び無線信号から動画像データを含む信号を再生するための復調回路を有していてもよい。そして入力部２は、ネットワークを介して受信した信号または無線信号から符号化された動画像データを抽出し、その符号化された動画像データを記憶部３に記憶する。なお、受信した動画像データに適用された符号化方式は、例えば、Moving Picture Experts Group(MPEG)-2、H.264/MPEG-4 AVCなど、所定の動画像圧縮規格に準拠した方式とすることができる。

記憶部３は、例えば、読み書き可能な半導体メモリを有する。そして記憶部３は、受信した動画像データ、復号部４及び画像処理部５で生成された各種のデータなどを記憶する。

復号部４は、例えば、一つまたは複数のプロセッサ及びその周辺回路を有する。そして復号部４は、入力部２を介して受信した動画像データを復号する。そして復号部４は、復号された動画像データを記憶部３に記憶する。その際、動画像データに含まれる一部の画像が、例えば、MPEG-2、H.264/MPEG-4 AVCなどに従って、複数のマクロブロックに分割され、マクロブロックごとに動きベクトルを用いて符号化されていることもある。この場合、復号部４は、符号化された動画像データに含まれる動きベクトルも復号し、記憶部３に記憶する。

画像処理部５は、例えば、一つまたは複数のプロセッサ及びその周辺回路を有する。そして画像処理部５は、図１に示された画像処理装置１が有する構成要素のうち、動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６の各部により実行される機能を実現する。
そして画像処理部５は、復号された動画像データに含まれる各画像のノイズを除去し、かつエッジを強調する。その際、画像処理部５は、演算量を減らすために、復号部４により復号された動きベクトルを、補償画像を作成するために利用してもよい。
なお、復号部４と画像処理部５とは、同じプロセッサ上で動作するプログラムモジュールであってもよい。

出力部６は、表示部７を映像再生装置１００に接続するためのインターフェース回路を有する。表示部７は、例えば、液晶ディスプレイまたは有機ELディスプレイを有する。なお、表示部７は、映像再生装置１００の一部として、映像再生装置１００に一体的に組み込まれていてもよい。そして画像処理部５によりノイズ除去処理及びエッジ強調処理が施された動画像データは、出力部６を介して表示部７へ送信され、表示部７にて表示される。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求める動きベクトル計算部と、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成する動き補償部と、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成するノイズ除去部と、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出するバラツキ度算出部と、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定する強調度制御部と、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行うエッジ強調部と、
を有する画像処理装置。
（付記２）
前記バラツキ度算出部は、前記バラツキ度として、前記第１の画素に対応する画素の値のグループに含まれる、前記画素の値の最大値と最小値の差を算出する、付記１に記載の画像処理装置。
（付記３）
前記強調度制御部は、前記バラツキ度が所定の閾値以上である場合、前記エッジ強調度を第１の値に設定し、前記バラツキ度が前記所定の閾値未満である場合、前記エッジ強調度を前記第１の値よりも小さい第２の値に設定する、付記１または２に記載の画像処理装置。
（付記４）
前記所定の閾値は、前記第３の画像においてボケが検知される前記バラツキ度の最小値である、付記３に記載の画像処理装置。
（付記５）
前記強調度制御部は、前記エッジ強調度が強いほど、前記第１の画素の値に対して乗じる第１の係数と前記第１の画素の近傍画素の値に対して乗じる第２の係数との差が大きくなるエッジ強調フィルタを作成し、
前記エッジ強調部は、前記エッジ強調フィルタを前記第３の画像に対して適用することにより、前記エッジ強調を行う、付記１〜４の何れか一項に記載の画像処理装置。
（付記６）
前記強調度制御部は、前記エッジ強調度が強いほど、サイズが大きくなるエッジ強調フィルタを作成し、
前記エッジ強調部は、前記エッジ強調フィルタを前記第３の画像に対して適用することにより、前記エッジ強調を行う、付記１〜４の何れか一項に記載の画像処理装置。
（付記７）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことを含む画像処理方法。
（付記８）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。

１画像処理装置
１０バッファ
１１動きベクトル計算部
１２動き補償部
１３ノイズ除去部
１４バラツキ度算出部
１５強調度制御部
１６エッジ強調部
１００映像再生装置
２入力部
３記憶部
４復号部
５画像処理部
６出力部
７表示部

Claims

動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求める動きベクトル計算部と、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成する動き補償部と、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成するノイズ除去部と、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出するバラツキ度算出部と、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定する強調度制御部と、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行うエッジ強調部と、
を有する画像処理装置。
前記バラツキ度算出部は、前記バラツキ度として、前記第１の画素に対応する画素の値のグループに含まれる、前記画素の値の最大値と最小値の差を算出する、請求項１に記載の画像処理装置。
前記強調度制御部は、前記バラツキ度が所定の閾値以上である場合、前記エッジ強調度を第１の値に設定し、前記バラツキ度が前記所定の閾値未満である場合、前記エッジ強調度を前記第１の値よりも小さい第２の値に設定する、請求項１または２に記載の画像処理装置。
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことを含む画像処理方法。
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。