JP2014007658A - 動きベクトル導出装置、方法およびプログラム - Google Patents

Abstract

【課題】あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出する。
【解決手段】動きベクトル導出部１４は、二つの画像フレーム内の対応するブロック間の動きベクトルを導出する。候補ベクトル生成部２０は、動きベクトルの計算対象ブロックについて複数の候補ベクトルを生成する。ブロックテクスチャ抽出部２２は、候補ベクトルが生成された画像フレーム内のブロックテクスチャを抽出する。動きベクトル選択部２６は、抽出された複数のブロックテクスチャのうち、対応するブロック間の、輝度変化の局所的な空間的構造のマッチング度合いが最も高いブロックテクスチャから生成された候補ベクトルを、前記対象ブロックの動きベクトルとして選択する。
【選択図】図４

Description

本発明は、動画像内の連続するフレーム間で動きベクトルを求める技術に関する。

液晶パネルを使用した薄型表示装置が大画面化すると、残像によるぼやけやぶれなどが目立つようになるという問題が生じる。これに対処するには、薄型表示装置で再生される動画像のフレームレートを高めることが有効である。一般的なフレームレート変換技術では、ある時点のフレームと時間的に一つ前または後のフレームとの間において、所定の大きさのブロック単位で動きベクトルを導出する。そして導出した動きベクトルを利用した動き補償によって両フレームの中間フレームを作成する。フレームレート変換後に滑らかな動画像を実現するためには、動きベクトルを正確に求めることが重要である。

一般的に、動きベクトルの導出は、両フレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われる。しかしながら、実用上は、複数のブロックのペアにおける輝度値の絶対値誤差または二乗誤差が同程度の大きさになることが多い。このような場合に、単に誤差が最小であるという理由で動きベクトルを決定してしまうと、フレーム間の連続性の観点からは不適切な動きベクトルを選択してしまうことがある。

ブロックマッチングのみに基づき動きベクトルを決定するのではなく、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択する技術も知られている。例えば、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングする動作ベクトル検出装置が提案されている（例えば、特許文献１参照）。

特開２００５−０３３７８８号

上述のメディアンフィルタリングする動作ベクトル検出装置では、基準ブロックの複数の動作ベクトル間で大きさが中位のものを選択し、他のものは考慮されないので、正しい動きベクトルが棄却されてしまうおそれがある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出する技術を提供することにある。

本発明のある態様の動きベクトル導出装置は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する装置であって、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出するブロックテクスチャ抽出部と、前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのうち、対応するブロック間の、輝度変化の局所的な空間的構造のマッチング度合いが最も高いブロックテクスチャから生成された候補ベクトルを、前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出することができる。

本発明の一実施形態に係るフレームレート変換装置の概略構成を示すブロック図である。 被補間フレームを作成する方法を説明する図である。 被補間フレームにおいてオブジェクトが交差する場合を示す図である。 動きベクトル導出部の詳細な構成を示すブロック図である。 ブロックテクスチャを示す図である。 本実施形態における動きベクトル導出のフローチャートである。 輝度値変化の局所的構造を表現するための関数を示す図である。 ブロックサイズが8x8の場合の相関判定に使用する画素を示す図である。

図１は、本発明の一実施形態に係るフレームレート変換装置１０の概略構成を示すブロック図である。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

フレームレート変換装置１０は、入力される動画像のフレームレートを変換して出力する装置である。本実施形態では、入力動画像のフレームレートを二倍に変換して出力する倍速変換について説明する。

フレーム選択部１２は、動画像から時間的に連続する二つのフレームを取り出す。この二つのフレームのうち時間的に後のものを「現フレーム」、時間的に前のものを「遅延フレーム」と呼ぶ。フレーム選択部１２は、所定のタイミングで一フレームずつずらしながら二つのフレームを連続的に動画像から取り出し、動きベクトル導出部１４に順次出力する。

動きベクトル導出部１４は、入力された現フレームと遅延フレームをそれぞれ所定の大きさのブロック（例えば、１６×１６画素のマクロブロック）に分割する。続いて、動きベクトル導出部１４は、現フレームと遅延フレームとの間でブロックマッチングを実行し、ブロック毎に一つの動きベクトルを導出する。導出された各ブロックの動きベクトルは被補間フレーム作成部１６に供給される。

被補間フレーム作成部１６は、動きベクトル導出部１４により供給された動きベクトルを使用して周知の動き補償を行い、現フレームと遅延フレームの中間の被補間フレームを作成する。

図２は、被補間フレームを作成する方法を説明する図である。図中、Ｆ１が現フレーム、Ｆ２が遅延フレームであり、二つのフレームＦ１とＦ２の中間時点の被補間フレームＦ３を作成することを考える。フレームレート変換装置１０から出力される動画像では、フレームＦ１、Ｆ３、Ｆ２の順に再生される。

動きベクトル導出部１４は、被補間フレームＦ３を所定のサイズのブロックに分割する。被補間フレーム内のあるブロック（ブロックＢ３）の左上隅の座標（ｘ、ｙ）を通過する直線を考え、この直線が現フレームＦ１および遅延フレームＦ２上でそれぞれ左上隅を通過するブロックＢ１およびブロックＢ２の間でブロックマッチングを実行する。このブロックマッチングを現フレームＦ１および遅延フレームＦ２の全体にわたり実行し、ブロック間の類似性を評価するために各ブロックに対して輝度差の絶対値の総和を計算する。図２の例において、現フレームＦ１上で左上隅の座標が（ｘ＋ｉ，ｙ＋ｊ）であるブロックＢ１と、遅延フレームＦ２上で左上隅の座標が（ｘ−ｉ，ｙ−ｊ）であるブロックＢ２とでブロックマッチングを実行した場合、両者を結ぶ動きベクトルは（ｉ，ｊ）で表される。

動きベクトル（ｉ，ｊ）が最適と判定された場合、被補間フレーム作成部１６は、遅延フレームＦ２におけるブロックＢ２（または現フレームＦ１におけるブロックＢ１）のテクスチャを、被補間フレームＦ３におけるブロックＢ３に入れ込む。このような処理を被補間フレームＦ３内の全ブロックについて繰り返すことで、被補間フレームＦ３を作成することができる。

なお、ブロックマッチングおよび被補間フレームの作成は当業者にとって周知であるため、これ以上の詳細な説明は省略する。

動画像内に移動するオブジェクトが複数存在する場合には、被補間フレームＦ３の作成位置でオブジェクトの交差が発生することがある。図３に示すように、オブジェクトＣ１がフレーム内を左上から右下方向に移動し、オブジェクトＣ２がフレーム内を左下から右上方向に移動するとき、被補間フレームＦ３の中央付近で両オブジェクトが交差することになる。オブジェクトＣ１、Ｃ２を含むブロックの動きベクトルがそれぞれ求められたとしても、被補間フレームＦ３においていずれのオブジェクトを手前側に配置すべきかの情報を得ることはできない。

そこで、本実施形態では、被補間フレームにおいてオブジェクトの交差が発生したと考えられる場合に、最適なオブジェクトを手前側に配置するように動きベクトルを選択できるようにする。

図４は、動きベクトル導出部１４の詳細な構成を示すブロック図である。動きベクトル導出部１４は、候補ベクトル生成部２０、ブロックテクスチャ抽出部２２、隣接画素間輝度差判定部２４、動きベクトル選択部２６、相関判定部２８および輝度差計算部３０を含む。

候補ベクトル生成部２０は、現フレームと遅延フレームとを受け取り、被補間フレーム内のブロック毎に図２で説明したブロックマッチングを実行する。そして、マッチングを実行した現フレームのブロックと遅延フレームのブロックの組合せ毎に、輝度差の絶対値の総和（または輝度差の二乗和）を計算する。この総和が十分に小さくなるブロックの組合せを選び出し、それぞれの動きベクトルを求める。「十分に小さくなるブロックの組合せを選び出し」とは、例えば、その総和が所定のしきい値以下となるブロックの組合せを選び出すことを言う。または、その総和が小さい順にソートし、（Ａ_ｉ−Ａ_ｉ−１）／（Ａ_ｉ＋１）が所定値（例えば１／１００）以下になるとき、Ａ_ｉまでの全てのブロックの組合せを選び出すことを言う。ここでＡ_ｉは先頭からｉ番目の値を表している。選び出されたブロックの組合せについて求められた動きベクトルを「候補ベクトル」と呼ぶ。

本実施形態では、候補ベクトル生成部２０により生成された候補ベクトルが二つ以上存在する場合を想定している。これ以外の場合、例えばあるブロックの組合せにおける輝度差の総和の最小値が、二番目に小さい値の１／１００である場合のように、最小値が際だって小さいときには、候補ベクトルを生成せずに、輝度差の総和が最小であるブロックの組合せから動きベクトルを直接求めれば十分である。

ブロックテクスチャ抽出部２２は、候補ベクトル生成部２０により生成された候補ベクトルに対応する遅延フレーム内の複数のブロックをそれぞれ抽出する。以下、これらを「抽出ブロックテクスチャ」と呼ぶ。図５は、抽出ブロックテクスチャを示す。なお、テクスチャはp×p画素のサイズであるとする。

輝度差計算部３０は、抽出ブロックテクスチャのそれぞれについて、隣接する画素間の輝度差の累積値Ｚを下記（式１）のように計算する。
ここで、Ｙ（ｉ，ｊ）は画素（ｉ，ｊ）の輝度値を表す。

一方、隣接画素間輝度差判定部２４は、抽出ブロックテクスチャのそれぞれの画素について、周囲の画素との輝度差を計算して、輝度値変化の局所的な空間的構造を概略的に表現する。相関判定部２８は、対応する２つのブロックにつき輝度の大小の相関性を計算する。

動きベクトル選択部２６は、輝度差計算部３０によって計算された複数の抽出ブロックテクスチャの輝度差累積値Ｚを比較する。輝度差累積値Ｚの最大値が残りのものよりも所定倍以上（例えば、二倍以上）大きい場合、動きベクトル選択部２６は、輝度差累積値Ｚが最大の抽出ブロックテクスチャについて求められた候補ベクトルを、対象ブロックの動きベクトルとして選択する。輝度差累積値Ｚの最大値が残りのものより所定倍未満の場合、動きベクトル選択部２６は、相関判定部２８で計算された相関性が、最も大きいまたは相対的に大きい抽出ブロックテクスチャについて求められた候補ベクトルを、対象ブロックの動きベクトルとして選択する。即ち、現フレームと遅延フレームの対応するブロック間の輝度変化の局所的な空間的構造のマッチング度合いが、最も大きいまたは相対的に大きい抽出ブロックテクスチャについて求められた候補ベクトルを、対象ブロックの動きベクトルとして選択する。

上記のようにする理由は、以下の知見に基づく。すなわち、輝度差累積値Ｚが大きい抽出ブロックテクスチャの動きベクトルを選択するのは、順光環境下では近景側のオブジェクトの方が遠景側のオブジェクトよりも高精細であり、高域成分を多く含む確率が高いと考えられるためである。また、高域成分を多く含むブロックテクスチャは情報量が多いため、精度が高い動きベクトル推定が行われている可能性が高いためである。

輝度値変化の局所構造の相関性が高い抽出ブロックテクスチャの動きベクトルを選択するのは、輝度値変化の局所構造は照明状態や撮影条件などの微妙な変化に対して影響を受けずに正しい照合が行われる可能性が高いためである。この点、ブロック間の輝度差の絶対値の総和（または輝度差の二乗和）を計算する一般的なブロックマッチングは、照明状態や撮影条件などの微妙な変化の影響を受ける。例えば、現フレームと遅延フレームとの間で照明状態が異なる場合、局所的な空間的構造がほぼ一致していても、輝度差の絶対値の総和（または輝度差の二乗和）が大きくなる可能性がある。つまりマッチング度合いが実際より低く判定される場合がある。この点、輝度値変化の局所構造の相関性をもとにマッチング度合いを判定すると、フレーム間における照明状態や撮影条件の違いの影響を受けにくくなる。

このように、被補間フレームにおけるオブジェクトの前後関係を考慮に入れて、対象ブロックの動きベクトルを選択することができる。また照明状態や撮影条件などの影響を受けにくい高精度な相関判定を行うことができる。

図６は、本実施形態における動きベクトル導出のフローチャートである。まず、候補ベクトル生成部２０が、現フレームと遅延フレーム内のブロック間のブロックマッチングを行って、複数の候補ベクトルを生成する（Ｓ１０）。ブロックテクスチャ抽出部２２は、候補ベクトル生成部２０で選び出された複数のブロックの組合せのうち、遅延フレーム内のブロックのテクスチャをそれぞれ抽出する（Ｓ１２）。輝度差計算部３０は、抽出ブロックテクスチャのそれぞれについて、隣接する画素間の輝度差の累積値Ｚを計算する（Ｓ１４）。隣接画素間輝度差判定部２４は、抽出ブロックテクスチャのそれぞれの構成画素について周囲の隣接画素との輝度値の大小を比較する（Ｓ１６）。相関判定部２８は、抽出ブロックテクスチャのそれぞれについて、上記の大小関係の相関性を判定する（Ｓ１８）。

動きベクトル選択部２６は、輝度差計算部３０によって計算された、複数の抽出ブロックテクスチャの輝度差累積値Ｚを比較する（Ｓ２０）。輝度差累積値Ｚの最大値が残りのものよりも所定倍以上（例えば、二倍以上）大きい場合（Ｓ２２のＹ）、動きベクトル選択部２６は、輝度差累積値Ｚが最大の抽出ブロックテクスチャについて求められた候補ベクトルを、対象ブロックの動きベクトルとして選択する（Ｓ２４）。輝度差累積値Ｚの最大値が残りのものより所定倍未満の場合（Ｓ２２のＮ）、動きベクトル選択部２６は、相関判定部２８で計算された、相関性が最大の抽出ブロックテクスチャについて求められた候補ベクトルを対象ブロックの動きベクトルとして選択する（Ｓ２６）。

次に、隣接画素間輝度差判定部２４での処理につき詳説する。輝度変化の局所的な空間的構造を概略的に表現するために、図７に示すような関数str[m]を導入する。これは輝度値Y[i, j]の周囲８画素に対する大小関係を表現するものであり、m=0で左上、m=1で上、m=2で右上、m=3で左、m=4で右、m=5で左下、m=6で左下、m=7で左下との大小関係が表現される。thはノイズなどによる影響を軽減するための閾値で、８ビット処理の場合、例えば５から１０程度に設定する。基本的に中心画素の画素値のほうが小さいときに０、同等のときに１、大きいときに２が出力される。

相関判定部２８における具体的な処理としては、１画素についての局所的な空間的構造表現である上記str[m]をブロックテクスチャに展開することにより実現される。隣接画素との計算を行う都合上、str[m]はブロックの最外周では計算できない。図８に示すようにブロックサイズが8x8の場合、画素番号を付記した6x6=36画素について計算を行う。画素番号を(n=0,1,...35)とする場合、任意のブロックＡの画素nについてstr[m]を適用したものを、strblkA[n][m]のように記述する(m=0,1,...7)。同様に任意のブロックＢについて適用したものを、strblkB[n][m]のように記述する。両ブロックテクスチャの局所構造の相関性は下記（式２）のように記述できる。
但し、f(0)= 1, f(1)= 0, f(2)= -1とする。これが意味するところは、ブロックＡとブロックＢの対応する画素の対応する隣接画素との画素値の大小関係において、一致する組み合わせの場合はカウントアップし、増加と減少というように矛盾する組み合わせの場合はカウントダウンし、増加または減少と、変化なしというような組み合わせはカウントしないということである。したがって上記（式２）の関数の値が大きいほど、ブロックＡとブロックＢの局所構造の相関性が高いことを示す。

以上説明したように、本実施形態によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、被補間フレーム内のあるブロックについて動きベクトルの候補が複数存在する場合、その複数の動きベクトルの中から最適な動きベクトルを選択できる。即ち、ブロック間の輝度変化の局所的な空間的構造のマッチング度合いを判定することにより、照明状態や撮影条件などの影響を受けにくい高精度なブロックマッチングを実現できる。また、高域成分を多く含むブロックテクスチャの動きベクトルを選択することにより、対象ブロックの場所でオブジェクトの交差が発生している場合でも、手前側に位置するオブジェクトに対応する動きベクトルを選択できる。これらにより、被補間フレームにおいて誤った動きベクトルが使用される可能性が低くなり、フレームレート変換後にも正確な動画像を得ることができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施形態では、隣接画素間輝度差判定部２４は、ブロックテクスチャの対象画素の輝度値と、その対象画素の周囲に隣接する８画素の輝度値とのそれぞれの大小関係を判定した。この点、大小関係を判定する画素は、周囲に隣接する８画素に限らない。例えば、その８画素の外周の１６画素を加えて合計２４画素と比較してもよい。大小関係を判定する画素数が多いほど精度が上がるが、演算量が多くなる。設計者はこのトレードオフ関係を考慮して、大小関係を判定する画素を決定することができる。

実施形態では、現フレームと遅延フレームとの中間時点の被補間フレームを生成する場合について説明したが、同様の手法により、現フレームと遅延フレームを二等分、三等分（またはそれ以上）する複数の被補間フレームを作成できることは当業者であれば明らかである。

実施形態では、フレームレート変化において被補間フレームを作成する場合の動きベクトルの導出に本発明を適用することを説明したが、本発明の方法を動画像符号化時の動きベクトルの導出にも適用することができる。本発明の方法を用いて導出された動きベクトルを動画像符号化に用いることで、符号量は通常の手法よりも増大する可能性はあるものの、画質を向上させることができる。

さらに上記のような時系列な画像の補間のみならず、複数視点画像の中間的な仮想視点画像の生成などにも適用可能である。

１０ フレームレート変換装置、 １２ フレーム選択部、 １４ 動きベクトル導出部、 １６ 被補間フレーム作成部、 ２０ 候補ベクトル生成部、 ２２ ブロックテクスチャ抽出部、 ２４ 隣接画素間輝度差判定部、 ２６ 動きベクトル選択部、 ２８ 相関判定部、 ３０ 輝度差計算部。

Claims (6)

1. 時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する装置であって、
   動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、
   前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出するブロックテクスチャ抽出部と、
   前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのうち、対応するブロック間の、輝度変化の局所的な空間的構造のマッチング度合いが最も高いブロックテクスチャから生成された候補ベクトルを、前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、
   を備えることを特徴とする動きベクトル導出装置。
2. 前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素の輝度と、その周囲の画素の輝度との大小を判定する画素間輝度差判定部と、
   前記輝度の大小の一致および不一致をもとに、対応するブロック間の相関性を評価する相関判定部と、をさらに備え、
   前記動きベクトル選択部は、相関の最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択することを特徴とする請求項１に記載の動きベクトル導出装置。
3. 前記画素間輝度差判定部は、前記ブロックテクスチャを構成する画素の輝度と、その周囲に隣接する８画素の輝度との大小をそれぞれ判定することを特徴とする請求項２に記載の動きベクトル導出装置。
4. 前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素の隣接画素間の輝度差の累積値を計算する輝度差計算部を、さらに備え、
   前記動きベクトル選択部は、前記累積値の最大値が残りの累積値よりも所定倍以上の大きさであるとき、前記累積値の最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択し、前記累積値の最大値が残りの累積値よりも所定倍未満の大きさであるとき、前記相関の最大値が得られたブロックテクスチャから生成された候補ベクトルを選択することを特徴とする請求項２または３に記載の動きベクトル導出装置。
5. 時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する方法であって、
   動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成し、
   前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出し、
   抽出された複数のブロックテクスチャのうち、対応するブロック間の、輝度変化の局所的な空間的構造のマッチング度合いが最も高いブロックテクスチャから生成された候補ベクトルを、前記対象ブロックの動きベクトルとして選択する、
   ことを特徴とする動きベクトル導出方法。
6. 時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出するプログラムであって、
   動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する処理と、
   前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出する処理と、
   抽出された複数のブロックテクスチャのうち、対応するブロック間の、輝度変化の局所的な空間的構造のマッチング度合いが最も高いブロックテクスチャから生成された候補ベクトルを、前記対象ブロックの動きベクトルとして選択する処理と、
   をコンピュータに実現させることを特徴とする動きベクトル導出プログラム。