JP5085762B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

テレビのデジタル放送が開始され、これまでのアナログ放送よりも解像度や画質が向上した。更なる画質の向上を図るためには、精細感の向上が重要となる。
画像の精細感を向上させる技術として、特許文献１の手法がある。この手法は、入力画像から抽出したテクスチャ成分を縮小し、微細なテクスチャ成分を生成して入力画像と合成することで、従来に比して画像の精細感を向上させる手法である。

しかし先行技術では、微細なテクスチャ成分を付与し画像の質感を向上させることが可能だが、毎フレームに実施すると画像のちらつきが発生する可能性がある。

特開２００８−３１０１１７号公報

本発明の実施の形態は、動画像の各フレーム画像に対して微細なテクスチャ成分を付加した場合に発生するちらつきを抑制することができる画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば画像処理装置は、複数のフレームから構成される動画像を取得する取得部と、前記動画像中の処理フレームと処理フレーム以外のフレームである参照フレームとの動き量を推定する推定部と、参照フレームに含まれるテクスチャ成分の空間周波数を増大させた微細画像を、前記動き量により動き補償して処理フレームの微細画像である生成微細画像を生成する微細画像生成部と、前記処理フレームと前記生成微細画像を合成する合成部と、を備え前記微細画像生成部は、未来方向の前記参照フレームと前記処理フレームとの隔たりの制限を設ける。

この発明の一実施形態を示す画像処理装置１１のブロック構成図。 同実施形態の画像処理装置２のブロック構成図。 同実施形態の画像処理装置１１の処理フロー図。 同実施形態の動き推定の処理フロー図。 同実施形態に用いられる等角フィッティングを示す説明図。 同実施形態に用いられるｎ，ｓの概念を示す説明図。

以下、実施形態を図を参照して説明する。
図１は、本実施形態の画像処理装置１１の構成を表す図である。画像処理装置１１は、取得部１１０１、推定部１１０２、動き補償部１１０３、ブレンド部１１０４、記憶部１０３、合成部１０５、フレーム遅延量指定部１１２１を有する。また合成部１０５の出力は液晶パネル等により構成される表示部１２へ導かれて表示されるように構成されている。表示部１２は、画像処理装置１１に含まれる形態としてもよい。

画像処理装置１１は、動画像１０６を入力とし、高画質化処理およびちらつき抑制処理が施された処理結果フレーム１１２を出力する。処理結果フレーム１１２は動画像１０６内の任意の処理フレーム（現在フレーム）に対して高画質化処理およびちらつき抑制処理を施した結果である。

取得部１１０１は、動画像１０６から、任意の処理フレーム１０７と、処理フレーム１０７より前時刻に存在する過去フレーム１１０５と、処理フレーム１０７より後時刻に存在する未来フレーム１１０６を読み込む。なお、前時刻と後時刻とは、直前と直後に限定されない。

推定部１１０２は、処理フレーム１０７と過去フレーム１１０５から第１動き量１１０７を推定し、処理フレーム１０７と未来フレーム１１０６から第２動き量１１０８を推定する。

記憶部１０３は、動画像１０６中のフレームで、図２に示す画像処理装置２を用いて処理した際に生成された微細画像を記憶する。画像処理装置２は、生成部２０１と合成部２０２を有し、入力フレーム２０３を入力とし、出力フレーム２０５を出力する。生成部２０１では、入力フレーム２０３に含まれるテクスチャ成分の空間周波数を増大させた微細テクスチャ成分である微細画像２０４を生成する。この生成部２０１は、たとえば特開2010-211300号公報で開示された方法を用いることができる。合成部２０２では、入力フレーム２０３と、生成部２０１が生成した微細画像２０４とを合成し、出力フレーム２０５を生成する。ここで生成した微細画像２０４を記憶部１０３に記憶する。

動き補償部１１０３は、記憶部１０３に記憶されている第１微細画像１１０９を第１動き量１１０７により動き補償することで第１仮生成微細画像１１１１を生成し、記憶部１０３に記憶されている第２微細画像１１１０を第２動き量１１０８により動き補償することで第２仮生成微細画像１１１２を生成する。第１微細画像１１０９は生成部２０１で過去フレーム１１０５から生成した微細テクスチャ成分であり、第２微細画像１１１０は生成部２０１で未来フレーム１１０６から生成した微細テクスチャ成分である。

ブレンド部１１０４は、第１仮生成微細画像１１１１と第２仮生成微細画像１１１２を後述のαブレンドを用いて合成し、生成微細画像１１１を生成する。
図３は、画像処理装置１１の動作を示すフローチャートである。
Ｓ３０１では、入力された動画像１０６から処理対象とする処理フレーム１０７を決定する。処理フレーム１０７は未処理フレームの中から任意に選択することが可能である。Ｓ３０２では、Ｓ３０１で選択した処理フレーム１０７を画像データとして読み込む。

Ｓ１２０１では、処理フレーム１０７に適用する処理を決定する。処理には、画像処理装置１１で行う処理と、画像処理装置２で行う処理がある。記憶部１０３にすでに、処理フレーム１０７の前時刻と後時刻のフレームそれぞれから生成した微細画像が少なくとも1枚ずつ記憶されている場合には画像処理装置１１を選択する。ただし、前時刻と後時刻のフレームまでの距離が大きい（即ち少なくとも直前と直後ではない）場合には画像処理装置２を選択してもよい。また、周期を決定する変数Ｎを設定し、ｋＮ（ｋは自然数）フレーム目に画像処理装置２を選択し、それ以外のフレームでは画像処理装置１１を選択してもよい。この場合、あらかじめすべてのｋＮフレーム目を先に処理してもよい。

Ｓ３０４では、Ｓ１２０１で画像処理装置２が選択された場合に、処理フレーム１０７から微細画像２０４を生成する。Ｓ３０５では、S３０４で生成された微細画像２０４を記憶部１０３に保存する。

Ｓ１２０２では、Ｓ１２０１で画像処理装置１１が選択された場合に、過去フレーム１１０５と未来フレーム１１０６を決定する。記憶部１０３に保存されている微細画像の生成元フレームで、処理フレーム１０７よりも前時刻のフレームの中から過去フレームを、後時刻のフレームから未来フレームをそれぞれ選択する。

Ｓ１２０６では、Ｓ１２０５のαブレンドの初期値として０を設定する。
Ｓ１２０７では、選択しようとする未来フレーム１１０６の時刻と、処理フレーム１０７の時刻に、フレーム遅延量指定部１１２１に指定されたフレーム遅延量１１２２を加えた時刻とを比較する。もし未来フレーム１１０６までのフレーム数がフレーム遅延量１１２２より大きい場合は、未来フレーム１１０６への動き量は算出せず、Ｓ１２０３へ進む。未来フレーム１１０６までのフレーム数がフレーム遅延量１１２２以下である場合は、Ｓ１２０８、Ｓ１２０９を行う。

Ｓ１２０３、Ｓ１２０８では、処理フレーム１０７から過去フレーム１１０５への動き量である第１動き量１１０７（以下、動きベクトル）と、未来フレーム１１０６への動き量である第２動き量１１０８をそれぞれ算出する。動きベクトルは、画素精度で算出しても良いし、１画素よりも細かい精度（サブピクセル精度）で算出しても良い。

ここでサブピクセル精度で動きベクトルを算出する方法を、図４で図３のＳ１２０３、Ｓ１２０８内のサブルーチンＳ３０７のフローチャートを参照しながら説明する。

まず、Ｓ３１２で処理フレーム１０７中の１画素を注目画素Pに設定する。次に、Ｓ３１３で参照フレーム１０８において、注目画素Pの処理フレーム１０７内での空間的位置と同じ位置を中心として、動き探索範囲を設定する。動き探索範囲は、例えば矩形のブロックである。

次に、Ｓ３１４で探索範囲内の各画素を中心とするブロックと、注目画素を中心とするブロックの画素値パターンの相違度を算出する。以降では、この画素値パターンの相違度をそれぞれのブロックの中心画素間のマッチング誤差と呼ぶものとする。マッチング誤差として、本実施形態ではＳＡＤ値（Sum of Absolute Differences）を用いるが、他にもＳＳＤ値（Sum of Squared Differences）を用いることもできる。マッチング誤差が大きいブロック程、注目画素を中心とするブロックの画素値パターンとの相違度が大きい。マッチング誤差を探索範囲内の画素について算出し、マッチング誤差が最小であった探索範囲内の画素位置を画素精度での動きベクトルの示す画素とする。このとき、探索範囲内の全画素を探索する他に、ダイヤモンドサーチを用いて高速化することもできる。動きベクトルを画素精度で算出する際には、S３１４が終了した後、S３１７に進む。サブピクセル精度で算出する際には、S３１５に進む。

Ｓ３１５では、画素精度での動きベクトルを中心にして、次の方法でサブピクセル精度での動きを算出する。まず、Ｓ３１５で水平方向の動きを算出する。画素精度での動きベクトルの示す画素の座標が(x,y)であったとする。すると、画像の水平方向サブピクセル精度の動き量Ｘsubは、座標(i,j)におけるSAD値をSAD(i,j)として、等角直線フィッティングと呼ばれる手法により、次式で求めることができる。

Ｓ３１６では、垂直方向の動きを算出する。方法はＳ３１５と同様である。S３１７では、全画素を算出完了したかを判定し探索する他に、完了していない場合にはS３１２に戻り、完了している場合にはＳ３０７の処理を終了する。

図３の説明に戻りＳ１２０４、Ｓ１２０９では、記憶部１０３に記憶されている第１動き量１１０７と第２動き量１１０８を読み取り、第１微細画像１１０９と第１動き量１１０７から第１仮生成微細画像１１１１を推定し、記憶部１０３に記憶されている第２微細画像１１１０と第２動き量１１０８から第２仮生成微細画像１１１２を推定する。第１微細画像１１０９は生成部２０１で過去フレーム１１０５から生成した微細テクスチャ成分であり、第２微細画像１１１０は生成部２０１で未来フレーム１１０６から生成した微細テクスチャ成分である。微細画像の生成方法はＳ１２０５以下と同様である。

Ｓ１２０５では、Ｓ１２０４で生成された第１仮生成微細画像１１１１と第２仮生成微細画像１１１２をαブレンドを用いて合成し、生成微細画像１１１を生成する。式（２）は、過去フレームである画像Ａの座標（ｉ，ｊ）における画素値valueＡと未来フレームである画像Ｂの座標（ｉ，ｊ）における画素値valueＢをαブレンドし、処理フレームである画像Ｃの座標（ｉ，ｊ）における画素値valueＣを算出する式である。

Ｓ１２１０では、このα値を決定する。αは０以上１．０以下の値であり、ある尺度を用いた場合の重みとする。例えば、フレーム間の時間差を尺度とする場合には、時間差が大きいほど小さな値をとる。すなわち、画像Ａと画像Ｃの時間差よりも、画像Ｂと画像Ｃの時間差が長いとき、αは０．５未満の値をとる。また、動き量推定精度の信頼度を尺度とする場合には、信頼度が大きいほど大きな値とする。また、Iピクチャ、Pピクチャ、Ｂピクチャなど、未来フレームと過去フレームの画質信頼度が異なる場合には、画質信頼度が高いほど大きな値とする。また、αは画面一括で決定してもよいし、画素ごとに変えてもよい。

Ｓ３０９では、Ｓ１２０１で画像処理装置１１が選択された場合には、Ｓ１２０５で生成された生成微細画像１１１と処理フレーム１０７とを合成して処理結果フレーム１１２を生成し、Ｓ１２０１で画像処理装置２が選択された場合には、Ｓ３０４で生成された微細画像２０４と入力フレーム２０３とを合成して出力フレーム２０５を生成する。

Ｓ３１０では、生成した処理結果フレーム１１２または出力フレーム２０５を出力する。Ｓ３１１では、動画像１０６の全フレームに対する処理が終了したか否かを判定し、終了していない場合にはＳ３０１に移動し、終了している場合には処理を終了する。

図５は、等角直線フィッティングでサブピクセル推定を行う様子を示した模式図である。図５の横軸が画像内の座標、縦軸が各座標におけるSAD値を表している。式（１）は、図５に示されているように、傾きの等しい直線で(x-1,y),(x,y),(x+1,y)の３点におけるSAD値を結んだときの、直線が交差する位置を求めている。なお、マッチング誤差の算出にＳＳＤ値を用いた場合は、サブピクセル推定にはパラボラフィッティングを用いるほうがよい場合もある。

なお、図３のＳ１２０７において、選択しようとする未来フレームの時刻が、処理フレーム１０７の時刻に、フレーム遅延量指定部１１２１に指定されたフレーム遅延量１１２２を加えた時刻よりも大きかった場合は、α＝0のままであり、結果として第１仮生成微細画像１１１１の画素値がそのまま用いられる。

図６は、実施形態に用いられるｎ，ｓの概念を示す説明図である。丸印はｓフレーム毎に微細なテクスチャ成分を生成するフレームであり、四角印はｎ個までの未来のこの微細なテクスチャ成分を参照して処理するフレームである。三角印は残るｓ−ｎ−１個のこの未来の微細なテクスチャ成分を参照しないフレームである。

本実施形態の画像処理装置１１によれば、処理フレーム１０７の前後のフレームから動き量を推定し、距離を重みとした重みつき和により生成微細画像１１１を推定するため、より高い精度でのちらつき抑制効果が期待できる。また、第２仮生成微細画像１１１２の生成を、未来フレームからフレーム遅延量１１２２以内の処理フレームに限定することで、生成微細画像１１１の生成の処理フレーム遅延量を決定することができる。フレーム遅延量の決定により、バッファ量などのシステム制約への対応や、視聴時の出画までの遅延を制御することが可能となる。

上述の実施例は、入力動画像サイズと出力動画像サイズが等しい等倍処理について述べたが、これに限らず、入力動画像サイズよりも出力動画像サイズの方が大きい拡大処理にも適用することができる。

微細テクスチャを付与する装置または方法の効果として、ちらつきを抑制することができ、かつ、処理遅延を特定の値に制限することができる。
本実施形態は、ビデオカメラで撮影された動画像データやテレビが受信した動画像データをより画質の高い動画像データに変換する画像高画質化方法および装置に関する。

本実施形態では、いくつかのフレームごとに微細なテクスチャ成分を生成し、中間のフレームでは、過去および未来の微細なテクスチャ成分を生成したフレームからの動き推定を行い、この動き量で微細なテクスチャ成分を動き補償して求め、かつ、未来のフレームとの動き推定および動き補償を行うフレームを、微細なテクスチャ成分を生成するフレームから、固定数内のフレームに限定する。

この装置および方法による効果として、ちらつきを抑制することができ、かつ、処理遅延を特定の値に制限することができる。
動画像に微細なテクスチャ成分を付加することで動画像の質感を向上させる技術で、過去および未来のフレームとの動き量を推定し動き量に応じて微細テクスチャ成分を生成し、かつ、未来フレームを参照して処理するフレームを、当該未来フレームからの特定フレーム数以内のものに制限することで、表示フレーム遅延を制御する。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１１…画像処理装置、１１０１…取得部、１１０２…推定部、１１０３…動き補償部、１１０４…ブレンド部、１０３…記憶部、１０５…合成部、１１２１…フレーム遅延量指定部。

Claims (5)

1. 複数のフレームから構成される動画像を取得する取得部と、
   前記動画像中の処理フレームと処理フレーム以外のフレームである参照フレームとの動き量を推定する推定部と、
   参照フレームに含まれるテクスチャ成分の空間周波数を増大させた微細画像を、前記動き量により動き補償して処理フレームの微細画像である生成微細画像を生成する微細画像生成部と、
   前記処理フレームと前記生成微細画像を合成する合成部と、
   を備え前記微細画像生成部は、未来方向の前記参照フレームと前記処理フレームとの隔たりの制限を設ける画像処理装置。
2. 前記微細画像を生成するフレームの間隔をｓフレームとし、前記未来方向の参照フレームとの動き推定による動き補償を、処理フレームから該未来方向の参照フレームまでのフレーム数がｎフレーム以内の場合のみ行い、
   このとき、ｓ−ｎ−１で規定される数は、前記未来方向の参照フレームのテクスチャ成分を参照しないフレームの数を表し、
   さらに、ｎで規定される数は、前記隔たりの制限を表すフレームの数である、
   請求項１に記載の画像処理装置。
3. 前記隔たりの制限は、前記処理フレームより後の前記参照フレームを対象とするものである請求項１に記載の画像処理装置。
4. 前記合成部の出力を表示する表示部を更に備える請求項１に記載の画像処理装置。
5. 複数のフレームから構成される動画像を取得し、
   前記動画像中の処理フレームと処理フレーム以外のフレームである参照フレームとの動き量を推定し、
   参照フレームに含まれるテクスチャ成分の空間周波数を増大させた微細画像を、前記動き量により動き補償して処理フレームの微細画像である生成微細画像を生成し、
   前記処理フレームと前記生成微細画像を、未来方向の前記参照フレームと前記処理フレームとの隔たりの制限を設けて合成する画像処理方法。

Images