JP2014086813A - フレーム補間装置及びプログラム - Google Patents

Abstract

【課題】入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行い、補間フレームの画質を向上させる。
【解決手段】フレーム補間装置１は、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部１１と、前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部１３と、照合部１３により得られた複数の第１の動きベクトルに非線形関数を当てはめて、入力フレーム群から選択した動き補償元フレームから補間フレームへの第２の動きベクトルを求めるパラメータ推定部１４と、前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレームの画像を生成する動き補償部１５と、を備える。
【選択図】図１

Description

本発明は、入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成し、フレームを時間方向に補間するフレーム補間装置及びそのプログラムに関する。

従来、フレームを時間方向に補間して補間フレームを生成する手法として、補間対象時刻の前後のいずれかのフレームを補間フレームとして複数回提示する手法が知られている。しかし、同一フレームを複数回提示する手法では、映像の動きがぎこちなくなってしまう。

そこで、補間対象時刻の前後フレームを平均又は重み付き平均した画像を補間フレームとする手法や、補間対象時刻の前後フレームから動きベクトルを求め、動き補償を行うことで補間フレームを生成する手法が知られている（例えば、特許文献１参照）。

特許第３４９５４８５号公報

しかし、従来の前後フレームの平均又は重み付き平均を用いる手法や、特許文献１に記載されたような動き補償を用いる従来の手法では、映像中の被写体が等速直線運動しているとの仮定の下で動き補償を行うため、加速度的な運動などの非線形な運動をする被写体では動きがぎこちなくなるという問題があった。

かかる事情に鑑みてなされた本発明の目的は、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質を向上させることが可能なフレーム補間装置及びそのプログラムを提供することにある。

上記課題を解決するため、本発明に係るフレーム補間装置は、入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成するフレーム補間装置であって、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部と、前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部と、前記照合部により得られた複数の第１の動きベクトルに非線形関数を当てはめて、前記入力フレーム群から選択された動き補償元フレームから、補間フレームへの第２の動きベクトルを求めるパラメータ推定部と、前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレーム画像を生成する動き補償部と、を備えることを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数の当てはめを誤差最小化により行うことを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数を２次以上の多項式とし、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数をスプライン曲線又はベジエ曲線により定義することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償部は、前記第２の動きベクトルにより前記動き補償元フレームの複数の画素が前記補間フレームの同位置に対応付けられた場合には、該複数の画素の値の平均値を補間フレームの画素値とすることを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記補間フレームにおいて、前記動き補償元フレームの画素が対応付けられなかった画素の値を、該画素位置における１以上の入力フレームの重み付け和とすることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。

本発明によれば、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質を向上させることが可能となる。

本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。 本発明の一実施形態に係るフレーム補間装置における照合部の処理例を説明するための図である。 本発明の一実施形態に係るフレーム補間装置におけるパラメータ推定部の第１の処理例を説明するための図である。 本発明の一実施形態に係るフレーム補間装置におけるパラメータ推定部の第２の処理例を説明するための図である。

以下、本発明によるフレーム補間装置の一実施形態について、図面を参照して詳細に説明する。本明細書では、入力フレーム群（入力映像）をＩとし、そのフレーム番号ｆのフレームをＩ（ｆ）と記し、フレームＩ（ｆ）の画像座標（ｘ，ｙ）における画素値をＩ（ｆ，ｘ，ｙ）と記す。また、生成する補間フレームをＪとし、そのフレーム番号ｆのフレームをＪ（ｆ）と記し、補間フレームＪ（ｆ）の画像座標（ｘ，ｙ）における画素値をＪ（ｆ，ｘ，ｙ）と記す。また、フレーム時刻位置をフレーム番号で表すものとする。

図１は、本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。図１に示すように、フレーム補間装置１は、フレーム選択部１１と、走査部１２と、複数の照合部１３と、パラメータ推定部１４と、動き補償部１５とを備える。図１に示す実施形態では、照合部１３を３つ（１３−１乃至１３−３）備えるものとして、以下説明する。

フレーム補間装置１は、入力フレーム群Ｉのうちの複数のフレームを参照して、フレーム時刻位置ｆにおける補間フレーム画像Ｊ（ｆ）を生成する。なお、フレーム時刻位置ｆは整数時刻位置であっても、非整数時刻位置であっても構わない。例えば、ｆ＝３．２５は、フレーム番号３のフレームの時刻位置と、フレーム番号４のフレームの時刻位置を１：３に内分した時刻位置を指す。

フレーム選択部１１は、入力フレーム群Ｉから動き推定元フレーム及び２以上の動き推定先フレームを選択して記憶する。図１に示すフレーム選択部１１は、動き推定元フレームＩ（ａ）、及び３つの動き推定先フレームＩ（ｂ_１），Ｉ（ｂ_２），Ｉ（ｂ_３）を選択し記憶する。なお、フレーム番号ａ，ｂ_１，ｂ_２，ｂ_３は、互いに異なる番号であれば、その順序を問わない。

走査部１２は、動き推定元フレームＩ（ａ）上に部分領域を順次設定するため、走査の第ｋステップ（ｋは０≦ｋ＜Ｓ_ｘ・Ｓ_ｙなる整数、Ｓ_ｘ及びＳ_ｙは走査の水平及び垂直方向の標本点数を表す自然数）において座標（ｐ_ｋ，ｑ_ｋ）を順次生成するカウンタである。そして、座標（ｐ_ｋ，ｑ_ｋ）を照合部１３及び動き補償部１５に出力する。例えば、走査部１２は、次式（１）で表される座標（ｐ_ｋ，ｑ_ｋ）を順次出力する。

式（１）において、ｋ％Ｓ_ｘはｋをＳ_ｘで除したときの剰余を表す。また、

は、ｋをＳ_ｘで除したときの値を超えない最大の整数を表す。また、Ｗ_ｘ及びＷ_ｙはフレームＩ（ａ）上における水平方向及び垂直方向の標本化間隔を表す自然数である。さらに、（Ｐ_０，Ｑ_０）はフレームＩ（ａ）上における水平方向及び垂直方向の標本化の始点の画像座標である。

例えば、走査部１２が、１９２０画素×１０８０画素のフレームＩ（ａ）を、水平１６画素、垂直８画素の間隔で、左上原点を始点として水平１２０点、垂直１３５点標本化すべくラスタ走査する場合には、Ｓ_ｘ＝１２０、Ｓ_ｙ＝１３５、Ｗ_ｘ＝１６、Ｗ_ｙ＝８、Ｐ_０＝０、及びＱ_０＝０となる。

照合部１３は、動き推定元フレーム及び動き推定先フレームを参照して、動き推定元フレームから各動き推定先フレームへの動きベクトルＶ_１（第１の動きベクトル）を求め、パラメータ推定部１４に出力する。図１に示す実施形態では、各照合部１３−ｓ（ｓはＳ以下の自然数；Ｓは２以上の自然数；図１の例ではＳ＝３）が参照する動き推定元フレームはフレームＩ（ａ）で共通である一方、動き推定先フレームは全て異なるフレームＩ（ｂ_ｓ）とする。以下では、一つの照合部１３に注目し、動き推定元フレームをＩ（ａ）、動き推定先フレームをＩ（ｂ）としてその動作を説明する。

図２は、照合部１３の処理内容を説明するための図であり、動き推定元フレームＩ（ａ）及び動き推定先フレームをＩ（ｂ_１），Ｉ（ｂ_２），Ｉ（ｂ_３）を示している。図２に示す部分領域Ｂ_ｋは、走査部１２により指定される座標（ｐ_ｋ，ｑ_ｋ）に基づいて設定される領域であり、本実施形態では（ｐ_ｋ，ｑ_ｋ）を左上座標とする幅Ａ_ｘ、高さＡ_ｙの矩形領域とする。このとき、部分領域Ｂ_ｋは次式（２）で表される。

照合部１３は、動き推定元フレーム及び動き推定先フレーム間の対応付けを、部分領域Ｂ_ｋごとに実行する。つまり、照合部１３は、動き推定元フレームＩ（ａ）の部分領域Ｂ_ｋの画素値パターンと類似する領域を動き推定先フレームＩ（ｂ）内において探索し、動き推定元フレームＩ（ａ）及び動き推定先フレームＩ（ｂ）間の対応付けを行う動きベクトルＶ_１（ａ，ｂ）＝（ｕ_ｋ（ａ，ｂ），ｖ_ｋ（ａ，ｂ））を求める。例えば、照合部１３が差分絶対値和（ＳＡＤ；Sum of Absolute Difference）の最小化に基づき照合を行う場合には、動きベクトルＶ_１（ａ，ｂ）＝（ｕ_ｋ（ａ，ｂ），ｖ_ｋ（ａ，ｂ））を次式（３）により求める。ここで、領域Ｄは動きベクトルの探索範囲を表す。

なお、照合部１３は、差分絶対値和の最小化の代わりに、例えば、差分二乗和（ＳＳＤ；Sum of Squared Difference)の最小化、相互相関（正規化相互相関を含む）の最大化、領域内の画素値ヒストグラム間のBhattacharrya距離の最小化など、任意の照合方法により動きベクトルを求めることができる。また、照合部１３は照合前にエッジ検出、平滑化、ノイズ除去等のフィルタ処理や特徴抽出を行ってもよい。

パラメータ推定部１４は、照合部１３−ｓにより求められた複数の動きベクトルＶ_１（ａ，ｂ_ｓ）＝（ｕ_ｋ（ａ，ｂ_ｓ），ｖ_ｋ（ａ，ｂ_ｓ））の水平成分及び垂直成分に対して、非線形関数ｇ（θ；ｔ）及びｈ（θ；ｔ）を当てはめ、入力フレーム群Ｉから選択された動き補償元フレームから補間フレームＪ（ｃ）へ至るフレーム補間用の動きベクトルＶ_２（第２の動きベクトル）を算出し、動き補償部１５に出力する。θは非線形関数の形状を変化させるパラメータであり、ｔは時刻（フレーム）を表す。

図３は、パラメータ推定部１４の処理内容を説明するための図であり、動き推定元フレームＩ（ａ）、動き推定先フレームをＩ（ｂ_１），Ｉ（ｂ_２），Ｉ（ｂ_３）、及び補間フレームＪ（ｃ）を示している。図３では、動き補償元フレームを動き推定元フレームＩ（ａ）とし、動き補償元Ｉ（ａ）から補間フレームＪ（ｃ）へのフレーム補間用の動きベクトルＶ_２（ａ，ｃ）＝（（ｕ＾_ｋ（ａ，ｃ），ｖ＾_ｋ（ａ，ｃ））を求める例を示している。

まず、パラメータ推定部１４は、動きベクトルＶ_１（ａ，ｂ_ｓ）＝（ｕ_ｋ（ａ，ｂ_ｓ），ｖ_ｋ（ａ，ｂ_ｓ））に非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を二乗誤差最小化や絶対値誤差最小化などの誤差最小化により当てはめ、予測曲線Ｐを求める。例えば、二乗誤差最小化による当てはめを行う場合には、次式（４）によって当てはめ結果のパラメータθ＾_ｋを導出する。また、絶対値誤差最小化による当てはめを行う場合には、次式（５）によって当てはめ結果のパラメータθ＾_ｋを導出する。

式（４）の当てはめには、例えば、繰り返し演算による非線形最小二乗法を用いることができる。既知の繰り返し演算による非線形最小二乗法としては、例えばLevenberg-Marquardt法を用いることができる。

なお、パラメータ推定部１４は、非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を２次以上の多項式関数とすることで、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することができる。この場合、非線形関数として次式（６）に示すＮ次関数（Ｎは２以上の自然数）及びＭ次関数（Ｍは２以上の自然数）を用いることができる。ここで、α_ｋ ^（ｎ）及びβ_ｋ ^（ｎ）はパラメータθ_ｋを構成する要素である。

このとき、式（６）の当てはめは、Ｓ≧ＮかつＳ≧Ｍであれば、繰り返し演算によることなく次式（７）により解析的に解くことができる。

ここで、

は、α_ｋ ^（１），α_ｋ ^（２），…，α_ｋ ^（Ｎ），β_ｋ ^（１），β_ｋ ^（２），…，β_ｋ ^（Ｍ）の最適化結果である。

あるいは、非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を次式（８）のように定義し、パラメータθを次式（９）のように定義した場合には、次式（１０）に示すように、解析的に当てはめ結果のパラメータθ＾_ｋを導出することができる。

このほか、パラメータ推定部１４は、非線形関数ｇ及び非線形関数ｈを、点列（ｕ_ｋ（ａ，ｂ_ｓ），ｖ_ｋ（ａ，ｂ_ｓ））（ｓ＝１，２，…，Ｓ）を通過するようなベジエ曲線又はスプライン曲線として定義してもよい。

続いて、パラメータ推定部１４は、最適化したパラメータを設定した非線形関数に補間対象の時刻ｃを代入することで、フレーム補間用の動きベクトルＶ_２（ａ，ｃ）＝（ｕ＾_ｋ（ａ，ｃ），ｖ＾_ｋ（ａ，ｃ））を得る。すなわち、パラメータ推定部１４は、次式（１１）に示す演算を行う。

動き補償部１５は、動き補償元フレーム（本実施形態ではＩ（ａ））の部分領域Ｂ_ｋをフレーム補間用の動きベクトルＶ_２によって動き補償し、補間フレームＪ（ｃ）の画像を生成する。例えば、動き補償部１５は、次式（１２）で表されるように、動き補償元フレームＩ（ａ）の各部分領域Ｂ_ｋの画素値パターンをフレーム補間用の動きベクトルＶ_２（ａ，ｃ）＝（ｕ＾_ｋ（ａ，ｃ），ｖ＾_ｋ（ａ，ｃ））に基づいて移動させて補間フレームＪ（ｃ）上に貼り付ける演算を実行する。

ここで、式（１２）の演算により全てのｋについて貼り付け操作を行うと、フレーム補間用の動きベクトルＶ_２の如何によっては、同じ画素位置に重複して貼り付け操作をすることも考えられる。この場合、式（１２）によれば最後に貼り付けた画素が補間フレームＪ（ｃ）の画像に反映されることとなる。一方で、重複して貼り付け操作が行われた画素については、それら複数の貼り付け結果の平均値を補間フレームＪ（ｃ）の画素値として採用することも可能である。この場合には、動き補償部１５は、次式（１３）で表されるように、動き補償元フレームＩ（ａ）の各部分領域Ｂ_ｋの画素値パターンをフレーム補間用の動きベクトルＶ_２に基づいて移動させて補間フレームＪ（ｃ）上に重ね合わせる演算を実行する。ここで、Ｋは部分領域Ｂ_ｋの総数Ｓ_ｘ・Ｓ_ｙである。

式（１３）におけるＱ^（ｋ）は、貼り付けの際に領域が互いに重複した画素についてはそれらの画素値の総和を画素位置毎に算出するためのバッファ（画像）である。Ｒ^（ｋ）は、各画素位置に何回貼り付け操作が行われたかをカウントするためのバッファである。Ｋ個の全部分領域につき貼り付け操作を行った後、その結果であるＱ^{（Ｋ-１）}をＲ^{（Ｋ-１）}によって画素位置毎に除することにより、複数の貼り付け結果の平均値を得る。

式（１３）における画像Ｐは、補間フレームＪ（ｃ）上において、動き補償元フレームＩ（ａ）の画素値パターンが一度も重ね合わされなかった領域を埋め合わせるための画像である。例えば、次式（１４）に示すように、ある入力フレーム（ここでは動き補償元フレームＩ（ａ））と同一とすることや、次式（１５）に示すように複数の入力フレームの重みづけ和（ここでは重みｗ_ｓ）とすることができる。

上述した実施形態では、図３に示すように動き補償部１５が入力フレームＩ（ａ）を動き補償元フレームとして補間フレームＪ（ｃ）の画像を生成するものとして説明した。しかし、動き補償の対象となる動き補償元フレームは入力フレームＩ（ａ）に限定されるものではない。例えば、図４に示すように、動き補償部１５が入力フレームＩ（ｂ_ｓ）（図４ではｓ＝２の場合を例示）上における対応部分領域Ｂ_ｋをフレーム補間用の動きベクトルＶ_２によって動き補償して補間フレームＪ（ｃ）の画像を生成してもよい。

以上説明したように、フレーム補間装置１は、まずフレーム選択部１１により、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択する。次に、照合部１３により、動き推定元フレームから各動き推定先フレームへの動きベクトルＶ_１を求める。そして、パラメータ推定部１４により、照合部１３にて得られた複数の動きベクトルＶ_１に非線形関数を当てはめて、入力フレーム群Ｉから選択した動き補償元フレームから補間フレームへのフレーム補間用の動きベクトルＶ_２を求める。最後に、動き補償部１５により、動き補償元フレームをフレーム補間用の動きベクトルＶ_２に基づいて動き補償して補間フレーム画像を生成する。このため、本発明に係るフレーム補間装置１によれば、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質向上させることが可能となる。

なお、上述したフレーム補間装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、あるいは分割したりすることが可能である。

このように、本発明によれば、補間フレームの画質を向上させることができるので、入力フレーム群の補間フレームを生成する任意の用途に有用である。

１ フレーム補間装置
１１ フレーム選択部
１２ 走査部
１３ 照合部
１４ パラメータ推定部
１５ 動き補償部

Claims (7)

1. 入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成するフレーム補間装置であって、
   入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部と、
   前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部と、
   前記照合部により得られた複数の第１の動きベクトルに非線形関数を当てはめて、前記入力フレーム群から選択された動き補償元フレームから補間フレームへの第２の動きベクトルを求めるパラメータ推定部と、
   前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレーム画像を生成する動き補償部と、
   を備えることを特徴とするフレーム補間装置。
2. 前記パラメータ推定部は、前記非線形関数の当てはめを誤差最小化により行うことを特徴とする、請求項１に記載のフレーム補間装置。
3. 前記パラメータ推定部は、前記非線形関数を２次以上の多項式とし、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することを特徴とする、請求項２に記載のフレーム補間装置。
4. 前記パラメータ推定部は、前記非線形関数をスプライン曲線又はベジエ曲線により定義することを特徴とする、請求項１に記載のフレーム補間装置。
5. 前記動き補償部は、前記第２の動きベクトルにより前記動き補償元フレームの複数の画素が前記補間フレームの同位置に対応付けられた場合には、該複数の画素の値の平均値を補間フレームの画素値とすることを特徴とする、請求項１から４のいずれか一項に記載のフレーム補間装置。
6. 前記動き補償部は、前記補間フレームにおいて、前記動き補償元フレームの画素が対応付けられなかった画素の値を、該画素位置における１以上の入力フレームの重み付け和とすることを特徴とする、請求項１から５のいずれか一項に記載のフレーム補間装置。
7. コンピュータを、請求項１から６のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。

Images