JP5506800B2

JP5506800B2 - フレーム補間装置及びフレーム補間方法

Info

Publication number: JP5506800B2
Application number: JP2011524883A
Authority: JP
Inventors: チョウ，ヤン−ホ; パク，ヒョン−ウク; ソン，ヨル−ミン; リー，ホ−ヨン
Original assignee: Korea Advanced Institute of Science and Technology KAIST
Current assignee: Korea Advanced Institute of Science and Technology KAIST
Priority date: 2008-09-03
Filing date: 2009-04-28
Publication date: 2014-05-28
Anticipated expiration: 2029-04-28
Also published as: WO2010027137A3; US20100053451A1; EP2321793A4; JP2012504878A; EP2321793A2; US8494055B2; KR101493325B1; KR20100027703A; EP2321793B1; WO2010027137A2

Description

本発明の実施形態は映像復元のためのフレーム補間方式に関し、特に、フレーム間の動き予測および動き補償によって映像を復元する技術に関する。

表示装置の駆動方式によって動画を再生する場合、画面が鮮明に見られなくて曇って見える、いわゆるモーションブラー（ｍｏｔｉｏｎｂｌｕｒ）現象が発生することがある。このような現象は、映像が動く方向に応じてテイル状に現れたり繊細な対比または色の変化を有する映像である場合に細かい映像情報が消えるなど、動画の画質が低下してしまう恐れがある。

また、映像信号を処理する過程において、多い量の映像データを制限された帯域幅を介して送信するとき、所望するビット率を合わせるため頻繁に映像データを減少しなければならない場合がある。このようにデータが減少することから、全体のフレームを送信せずに任意のフレームのみを送信することよってデータの損失が発生し、結果的に画質が低下する原因となる。

様々な原因による表示装置の画質の低下を改善するために、フレーム数を増やして映像を復元するフレーム補間技術を用いてもよく、フレーム補間技術のうち動き予測によって映像を復元するための動き補償フレーム補間方式を用いてもよい。

このようなフレーム補間方式として、動き予測を介して中間フレームを補間するために映像内のオブジェクトの動きベクトルを正確に把握することが重要であり、正確な動きベクトルを探索するほどオリジナル映像に近いフレームを補間することができる。

したがって、表示装置の画質を向上させるため技術研究のみならず、フレーム補間方式で動き予測方法および動き補償方法に対する研究が持続的に必要とされる。

両方向動き予測と共に回転検出を介してフレーム間の精密な動き予測が可能なフレーム補間装置およびその方法を提供する。

フレーム間の動き推定の正確度を向上させるためのフレーム補間装置およびその方法が提供される。

本発明の一実施形態に係るフレーム補間装置は、現在フレームと以前フレームを介して前方動き予測と後方動き予測を行い、補間フレームの現在ブロックそれぞれに対して初期動きベクトルを決定する初期動きベクトル決定部と、前記初期動きベクトルによって決定された前記現在フレームと前記以前フレームのブロックを回転して回転要素を含む最終動きベクトルを決定する最終動きベクトル決定部と、前記最終動きベクトルに応じて前記補間フレームを生成するフレーム生成部とを備えてもよい。

このとき、前記初期動きベクトル決定部は、前記以前フレームから現在フレームへの前方動きベクトルを算出する前方動き算出部と、前記現在フレームから以前フレームへの後方動きベクトルを算出する後方動き算出部と、前記補間フレームの現在ブロックに対して前方動きベクトルと後方動きベクトルとの間の動きベクトルの差を算出する動きベクトル差算出部と、前記動きベクトルの差に基づいて前記現在ブロックの初期動きベクトルを選定する初期動きベクトル選定部とを備えてもよい。

さらに、前記最終動きベクトル決定部は、前記初期動きベクトルを用いて前記現在フレームと以前フレームそれぞれの初期位置を選定する初期位置選定部と、前記現在フレームと以前フレームの初期位置に該当するブロックを回転させてブロック間のブロックマッチングの誤差を算出する誤差算出部と、前記ブロックマッチングの誤差が最小であるときの回転角度を回転要素として選定する回転要素選定部とを備えてもよい。

また、本発明の一実施形態に係るフレーム補間方法は、現在フレームと以前フレームを介して前方動き予測と後方動き予測を行い、補間フレームの現在ブロックそれぞれに対して初期動きベクトルを決定するステップと、前記初期動きベクトルによって決定された前記現在フレームと前記以前フレームのブロックを回転して回転要素を含む最終動きベクトルを決定するステップと、前記最終動きベクトルに応じて前記補間フレームを生成するステップとを含んでもよい。

本発明の一実施形態によれば、両方向動き予測と共に回転検出を介してフレーム間の精密な動き予測が可能になり、動き予測の正確度を向上することができる。

本発明の一実施形態によれば、フレーム間の動き推定の正確度を向上することによって、オリジナルの映像に近い補間映像を生成して高画質の映像を提供することができる。

本発明の一実施形態に係るフレーム補間装置を示す図である。図１に示す初期動きベクトル決定部の一例を示すブロック図である。図２に示す初期動きベクトル決定部の動作を説明するための図である。図２に示す初期動きベクトル決定部の動作を説明するための図である。図１に示す最終動きベクトル決定部の一例を示すブロック図である。図５に示す最終動きベクトル決定部の動作を説明するための図である。本発明の一実施形態に係るフレーム補間方法を示す動作フローチャートである。図７に示す初期動きベクトルを決定する過程を示す動作フローチャートである。

以下、添付された図面に記載された内容を参照して本発明に係る好適な実施形態を詳細に説明する。ただし、本発明が実施形態によって制限されたり限定されることはない。

図１は、本発明の一実施形態に係るフレーム補間装置を示す図である。図１を参照するに、フレーム補間装置は、初期動きベクトル決定部１０１、フィルタ部１０２、最終動きベクトル決定部１０３、フレーム生成部１０４に構成してもよい。

初期動きベクトル決定部１０１は、現在フレームと以前フレームを介して前方動き予測と後方動き予測を行った後、補間フレームの現在ブロックそれぞれに対して初期動きベクトルを決定してもよい。

初期動きベクトル決定部１０１は、ブロックマッチングアルゴリズムを用いて初期動きベクトルを探索してもよい。初期動きベクトルを正確に探索しない場合、望まない要素が補間フレームを歪みする恐れがあるため、前方動き予測と後方動き予測を介して信頼性の高い動きベクトルを初期動きベクトルとして選定してもよい。

フィルタ部１０２は、初期動きベクトルの平坦化のためにメディアンフィルタアルゴリズムを適用してもよい。フィルタ部１０２は、前方動き予測と後方動き予測から獲得される動きベクトルの差ＭＶＤ（ＭｏｔｉｏｎＶｅｃｔｏｒＤｉｆｆｅｒｅｎｃｅ）を用いるメディアンフィルタアルゴリズムを適用してもよい。

最終動きベクトル決定部１０３は、精密な動き予測のためにフレーム間の並進運動のみならず、回転が発生する部分を探索して回転要素を考慮した最終動きベクトルを決定してもよい。すなわち、最終動きベクトル決定部１０３は、初期動きベクトルに回転要素を含んで３次元（ｘ軸、ｙ軸、回転値）の最終動きベクトルを決定してもよい。

フレーム生成部１０４は、最終動きベクトルに基づいてフレーム間の重なったブロックに対する移動補償方法を用いて補間フレームを生成してもよい。

結局、本発明の一実施形態に係るフレーム補間装置は、フレーム間の両方向動きと共に回転要素を考慮した動きベクトルを決定し、精密な動き予測を用いるフレーム補間を行うことができる。

図２は、初期動きベクトル決定部１０１の一例を示すブロック図である。図２を参照するに、初期動きベクトル決定部１０１は、前方動き算出部２０１、後方動き算出部２０２、動きベクトル差算出部２０３、初期動きベクトル選定部２０４に構成してもよい。

初期動きベクトル決定部１０１は、初期動きベクトルを正確に探すために各ブロックに対して前方動き予測と後方動きの予測を行う。

図３に示す左側の図面を参照するに、前方動き算出部２０１は、現在フレームを基準として以前フレームからの前方動きに対する大きさと方向性を探すために以前フレームから現在フレームに前方動きベクトルＭＶ_ｆｏｒｗを算出する。

図３に示す右側の図面を参照するに、後方動き算出部２０２は、以前フレームを基準として現在フレームからの後方動きに対する大きさと方向性を探すために、現在フレームから以前フレームに後方動きベクトルＭＶ_ｂａｃｋを算出する。

前方動きおよび後方動き予測が行われれば、補間フレームの各ブロックは、２つの候補動きベクトルの前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋを有してもよい。

動きベクトル差算出部２０３は、補間フレームの現在ブロックに対して前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋ間の動きベクトルの差ＭＶＤを算出してもよい。

動きベクトルの差ＭＶＤは式（１）のように定義してもよい。

ＭＶＤ＝｜ＭＶ_ｆｏｒｗ−ＭＶ_ｂａｃｋ｜（１）
初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤに基づいて候補動きベクトルのうち信頼性の高い動きベクトルを選択して現在ブロックに対する初期動きベクトルとして選定してもよい。

一例として、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤに応じて前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋのうち１つを初期動きベクトルに選定してもよい。

このとき、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤが０（ｚｅｒｏ）である場合、前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋとが同一で、２つの候補動きベクトルが同一であることを意味する。これは、以前フレームと現在フレームの連続的な線型性がよく維持されると判断されることから、同一の２つの候補動きベクトルのうち１つを初期動きベクトルに選定する。

他の一例として、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤと予め選定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）閾値Ｔとの比較によって、２つの候補動きベクトルのうち１つの初期動きベクトルを選定してもよい。ここで、閾値Ｔは、動きベクトルに対して動き補正が可能な誤差範囲を意味する。

このとき、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤが０よりも大きくて予め選定された閾値Ｔよりも小さい場合、前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋのブロックマッチングとの誤差を比較し、２つの候補動きベクトルのうちブロックマッチングの誤差の小さい動きベクトルを初期動きベクトルに選定してもよい。

前方動きベクトルＭＶ_ｆｏｒｗに対するブロックマッチングの誤差は、以前フレームの現在ブロックと現在フレームで前方動きベクトルＭＶ_ｆｏｒｗだけ移動したブロック間の画素明度値の差に対する平均を意味する。同様に、後方動きベクトルＭＶ_ｂａｃｋに対するブロックマッチングの誤差は、現在フレームの現在ブロックと以前フレームで後方動きベクトルＭＶ_ｂａｃｋだけ移動したブロック間の画素明度値の差に対する平均を意味する。

前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋのうちブロックマッチングの誤差が小さい動きベクトルの場合、動き予測が相対的に正確であると判断して該当の動きベクトルを初期動きベクトルとして選定してもよい。

他の一例として、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤと前記閾値Ｔとの比較によって、現在ブロックに隣接する隣接ブロックの初期動きベクトルを用いて初期動きベクトルに選定してもよい。

このとき、初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤが閾値Ｔよりも大きい場合、現在ブロックに対して両方向動き予測にもかかわらず、動きベクトルに対する信頼度が落ちるケースに該当する。例えば、物体を遮る（ｏｃｃｌｕｓｉｏｎ）現象や固定された背景で小さい物体が早く移動する場合などで発生することがあり、両方向動き予測では動き補正が難しいこともある。

初期動きベクトル選定部２０４は、動きベクトルの差ＭＶＤが閾値Ｔよりも大きい場合、隣接ブロックの初期動きベクトルを用いて現在ブロックに対する初期動きベクトルを選定する。

このために、以前フレームの全ブロックに対して算出された現在フレームへの前方動きベクトルＭＶ_ｆｏｒｗと、現在フレームの全ブロックに対して算出された以前フレームへの後方動きベクトルＭＶ_ｂａｃｋを格納および維持することができる。そのうち、現在ブロックに隣接したブロックに該当する各ブロックの初期動きベクトルを選定した後、選定された隣接ブロックの初期動きベクトルを用いてもよい。

現在ブロックに対する動きベクトルの差ＭＶＤが閾値Ｔよりも大きい場合には、各隣接ブロックで予め決定された初期動きベクトルのうち動き予測誤差が最も小さい動きベクトルを現在ブロックに対する初期動きベクトルとして選定してもよい。例えば、現在ブロックを中心にした３×３ブロックの構造において、現在ブロックを除いた８個の周辺ブロックを隣接ブロックとして用いてもく、隣接ブロックの数は、ハードウェアの複雑度などを考慮して可変されることはもちろんである。

図４に示したフレームの場合、固定された背景を有するためＰブロックに対してブロックマッチングの誤差を用いて選定可能な動きベクトル（図４において実線または点線で表すベクトル）は多様に存在し得る。しかし、Ｐブロックにおいて点線に該当する動きベクトルを選定できない場合、補間フレームではＰ−１ブロックに該当する映像が存在しないか、歪みが発生することがある。

初期動きベクトル選定部２０４は、Ｐブロックに対して動きベクトルの差ＭＶＤが閾値Ｔよりも大きい場合、Ｐブロックに隣接した隣接ブロックのうち動きベクトルの差ＭＶＤが０であるか、閾値Ｔよりも小さいながらも同時に現在ブロックを通過するブロックを候補ブロックとして決定する。

また、初期動きベクトル選定部２０４は、前記決定された候補ブロックを含む探索領域を設定し、探索領域に含まれたブロックの初期動きベクトルを現在ブロックに対する候補動きベクトルに決定した後、前記候補動きベクトルのうちブロックマッチングの誤差が最も小さい動きベクトルを現在ブロックに対する初期動きベクトルとして最終選定してもよい。

また、初期動きベクトル選定部２０４は、Ｐブロックに対して候補ブロックとして決定される条件の隣接ブロックが存在しない場合、隣接ブロックの範囲を拡大しながら現在ブロックの初期動きベクトルを選定してもよい。

したがって、現在ブロックに対する初期動きベクトルは、隣接ブロックの初期動きベクトルの中から決定されるため、動きベクトルが空間的に相関性が維持されて動きベクトルに対する急激なエラー発生を最小化することができる。

フィルタ部１０２は、補間フレームの全ブロックに対して初期動きベクトルの選定が完了すれば、動きベクトルの差ＭＶＤが閾値Ｔ以上であるブロック（「エラーブロック」と称する）に限って選択的にメディアンフィルタを適用してもよい。各ブロックの動きベクトルの差ＭＶＤが閾値Ｔ以下である場合には、該当のブロックに対する前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋとの関係度が高いため、このような場合メディアンフィルタを使用すれば、かえって動きベクトルがわい曲される可能性が大きい。

フィルタ部１０２は、各エラーブロックに対して（上／下方向、左／右方向、対角線方向に）隣接した隣接ブロックのうち動きベクトルの差ＭＶＤが閾値Ｔよりも小さいブロックを候補ブロックとすて選定した後、候補ブロックの初期動きベクトルを用いてメディアンフィルタを適用してもよい。言い換えれば、フィルタ部１０２は、各候補ブロックの初期動きベクトルを該当のエラーブロックに対する候補動きベクトルに選定した後、メディアンフィルタを適用して該当する動きベクトルの平均値を該当のエラーブロックに対する初期動きベクトルに選定してもよい。

したがって、補間フレームの各ブロックに対して初期動きベクトルを決定した後メディアンフィルタを選択的に適用することによって、信頼性の低い動きベクトルを除去し、誤った動きベクトルが初期動きベクトルとして選定されることを最小化できる。

図５は、最終動きベクトル決定部１０３の一例を示すブロック図である。図５を参照するに、最終動きベクトル決定部１０３は、初期位置選定部５０１、誤差算出部５０２、回転要素選定部５０３に構成してもよい。

最終動きベクトル決定部１０３は、各ブロックに対して最適の初期動きベクトルが決定されれば、初期動きベクトルを半分に分けて補間フレームを生成してもよい。

初期位置選定部５０１は、初期動きベクトルを用いて該当のブロックに対する現在フレームと以前フレームの初期位置をそれぞれ選定してもよい。

図６を参照するに、現在フレームの現在ブロックにおいて初期動きベクトルＶを用いて補間フレームを生成するためには、補間フレームの現在ブロックＰの位置から以前フレームに−Ｖ／２だけ移動したブロック１と、現在フレームに＋Ｖ／２だけ移動したブロック２を初期位置として選定する。

誤差算出部５０２は、以前フレームの初期位置に該当するブロック１と現在フレームの初期位置に該当するブロック２を回転させ、ブロック間のブロックマッチングの誤差を算出してもよい。以前フレームから現在フレームまでＤ度回転した場合、補間フレームはＤ／２度回転された映像を意味し、各ブロックに対する正確な回転要素を算出するために以前フレームと現在フレームの初期位置に該当する各ブロック１、２を一定の角度（±θ度）ずつ対称的に回転しながらブロックマッチングの誤差を算出することができる。

回転要素選定部５０３は、算出されたブロックマッチングの誤差が最小であるときの回転角度を現在ブロックの回転要素として選定してもよい。

このような構成の最終動きベクトル決定部１０３は、補間されるフレームを基準として初期動きベクトルを半分にそれぞれ移動した地点で回転を考慮し、ブロックマッチングの誤差が最小になる動きベクトルを最終動きベクトルとして選定してもよい。すなわち、補間される地点で両方向にブロックマッチングの誤差を推定することによって、補間フレームの各ブロックに対する精密動きベクトルとして回転要素を含む最終動きベクトルを決定してもよい。

したがって、フレーム生成部１０４は、ｘ軸、ｙ軸、回転３つの要素に構成された最終動きベクトルに基づいて重なったブロック移動補償方法を適用して最終的な補間フレームを生成することができる。

図７は、本発明の一実施形態に係るフレーム補間方法を示す動作フローチャートである。

本発明の一実施形態に係るフレーム補間方法において補間フレームを生成する過程は次のような過程を含んでもよい。

本発明の一実施形態に係るフレーム補間方法は、現在フレームと以前フレームを介して前方動き予測と後方動き予測を行って補間フレームの現在ブロックに対する初期動きベクトルを決定する（Ｓ７０１）。

このとき、初期動きベクトルを決定するステップＳ７０１は、ブロックマッチングアルゴリズムを用いて動きベクトルを探索してもよく、前方動き予測と後方動き予測を介して信頼性の高い動きベクトルを初期動きベクトルとして決定してもよい。

初期動きベクトルを決定するステップＳ７０１は次のような過程を含んでもよい。

図８を参照するに、初期動きベクトルを決定するステップＳ７０１は、以前フレームから現在フレームへの前方動きベクトルＭＶ_ｆｏｒｗを算出し、現在フレームから以前フレームへの後方動きベクトルＭＶ_ｂａｃｋを算出する（Ｓ８０１）。

また、初期動きベクトルを決定するステップＳ７０１は、補間フレームの現在ブロックに対して前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋとの間の動きベクトルの差ＭＶＤを算出した後、動きベクトルの差ＭＶＤが０（ｚｅｒｏ）値に該当するか否かを判断する（Ｓ８０２）。このとき、動きベクトルの差ＭＶＤが０（ｚｅｒｏ）の場合には、前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋのうち１つを選択し（Ｓ８０３）、現在ブロックに対する初期動きベクトルに選定する（Ｓ８０９）。

一方、初期動きベクトルを決定するステップＳ７０１は、動きベクトルの差ＭＶＤが０（ｚｅｒｏ）よりも大きくて予め選定された閾値Ｔよりも小さいか否かを判断する（Ｓ８０４）。このとき、動きベクトルの差ＭＶＤが０よりも大きくて予め選定された閾値Ｔよりも小さい場合、前方動きベクトルＭＶ_ｆｏｒｗと後方動きベクトルＭＶ_ｂａｃｋのブロックマッチングの誤差を比較した後（Ｓ８０５）、２つの動きベクトルのうちブロックマッチングの誤差が小さい動きベクトルを選択し（Ｓ８０６）、現在ブロックに対する初期動きベクトルに選定する（Ｓ８０９）。

一方、初期動きベクトルを決定するステップＳ７０１は、動きベクトルの差ＭＶＤが閾値Ｔよりも大きい場合、現在ブロックに隣接したブロックの初期動きベクトルに基づいて探索領域を設定した後（Ｓ８０７）、前記探索領域に含まれたブロックの初期動きベクトルのうちブロックマッチングの誤差が最も小さいブロックの初期動きベクトルを選択し（Ｓ８０８）、現在ブロックに対する初期動きベクトルに選定する（Ｓ８０９）。

再び図７において、本発明の一実施形態に係るフレーム補間方法は、補間フレームの全ブロックに対して初期動きベクトルが決定されれば、動きベクトルの差ＭＶＤが閾値Ｔ以上であるエラーブロックに限って、選択的にメディアンフィルタを適用して初期動きベクトルの平坦化を行なう（Ｓ７０２）。

このとき、初期動きベクトルの平坦化を行うステップＳ７０２は、各エラーブロックに対して隣接した隣接ブロックのうち動きベクトルの差ＭＶＤが閾値Ｔよりも小さいブロックを候補ブロックに選定した後、候補ブロックの初期動きベクトルをメディアンフィルタに適用して該当する動きベクトルの平均値を該当のエラーブロックに対する初期動きベクトルとして選定してもよい。

また、本発明の一実施形態に係るフレーム補間方法は、補間フレームの各ブロックに対して最適の初期動きベクトルが決定されれば、初期動きベクトルに回転要素を含んで３次元（ｘ軸、ｙ軸、回転）の最終動きベクトルを決定する（Ｓ７０３）。

このとき、最終動きベクトルを決定するステップＳ７０３は、初期動きベクトルＶを用いて補間フレームを生成するため、補間フレームの現在ブロック位置で以前フレームに−Ｖ／２だけ移動したブロックと、現在フレームで＋Ｖ／２だけ移動したブロックとを初期位置に選定する。次に、各ブロックに対する正確な回転要素を算出するために、以前フレームの初期位置に該当するブロックと現在フレームの初期位置に該当するブロックとを対称的に回転しながら、ブロック間のブロックマッチングの誤差を算出する。また、算出されたブロックマッチングの誤差が最小であるときの回転角度を該当のブロックの回転要素として選定した後、補間フレームの各ブロックに対する精密動きベクトルとして回転要素を含む最終動きベクトルを決定する。

また、本発明の一実施形態に係るフレーム補間方法は、最終動きベクトルに基づいてフレーム間の重なったブロックに対する移動補償方法を用いて補間フレームを生成する（Ｓ７０４）。

したがって、フレーム補間方法は両方向動き予測と回転予測によって精密な動き予測を実行することができ、ｘ軸、ｙ軸、回転の３つの要素に構成された最終動きベクトルに基づいてオリジナルの映像に近い補間フレームを生成することができる。

本発明の実施形態に係るフレーム補間方法は、多様なコンピュータ手段によって実現することのできるプログラム命令形態によって具現され、コンピュータ読み出し可能媒体に記録することができる。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計して構成されたものであるか、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み出し可能記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の一実施形態の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。

上述したように、本発明では具体的な構成要素などの特定事項と限定される実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供したものに過ぎず、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の思想は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等または等価的変形のある全てのものは本発明の思想の範疇に属するといえる。

Claims

現在フレームと以前フレームを介して前方動き予測と後方動き予測を行い、補間フレームの現在ブロックそれぞれに対して初期動きベクトルを決定する初期動きベクトル決定部と、
前記初期動きベクトルによって決定された前記現在フレームと前記以前フレームのブロックを回転して回転要素を含む最終動きベクトルを決定する最終動きベクトル決定部と、
前記最終動きベクトルに応じて前記補間フレームを生成するフレーム生成部と、
を備え、前記初期動きベクトル決定部は、
前記補間フレームの現在ブロックに対して前方動きベクトルと後方動きベクトルとの間の動きベクトルの差を算出し、前記動きベクトルの差が、予め選定された閾値より小さかった場合には前記前方動きベクトルと後方動きベクトルのうちブロックマッチングの誤差が小さい方を前記初期動きベクトルとして決定し、前記動きベクトルの差が前記閾値以上であった場合には、前記現在ブロックに隣接する隣接ブロックの初期動きベクトルに基づいて探索領域を設定し、前記探索領域内のブロックの初期動きベクトルに基づいて前記現在ブロックの初期動きベクトルを決定するフレーム補間装置。
前記初期動きベクトル決定部は、
前記以前フレームから現在フレームへの前方動きベクトルを算出する前方動き算出部と、
前記現在フレームから以前フレームへの後方動きベクトルを算出する後方動き算出部と、
前記動きベクトルの差に基づいて前記現在ブロックの初期動きベクトルを選定する初期動きベクトル選定部と、
を備える請求項１に記載のフレーム補間装置。
前記初期動きベクトル選定部は、前記現在ブロックに隣接するブロックの初期動きベクトルに基づいて探索領域を設定し、前記現在ブロックの初期動きベクトルを選定する請求項２に記載のフレーム補間装置。
前記前方動きベクトルと前記後方動きベクトルとの間の動きベクトルの差に基づいて、前記初期動きベクトルに対するフィルタリングを行うフィルタ部をさらに備える請求項２に記載のフレーム補間装置。
前記フィルタ部は、前記補間フレームの全ブロックのうち前記動きベクトルの差が予め選定された閾値以上であるエラーブロックに対してメディアンフィルタアルゴリズムを適用する請求項４に記載のフレーム補間装置。
前記フィルタ部は、前記エラーブロックに隣接するブロックのうち前記動きベクトルの差が前記閾値内の候補ブロックを選定した後、前記候補ブロックの初期動きベクトルを用いて前記メディアンフィルタアルゴリズムを適用する請求項５に記載のフレーム補間装置。
前記最終動きベクトル決定部は、
前記初期動きベクトルを用いて前記現在フレームと以前フレームそれぞれの初期位置を選定する初期位置選定部と、
前記現在フレームと以前フレームの初期位置に該当するブロックを回転させてブロック間のブロックマッチングの誤差を算出する誤差算出部と、
前記ブロックマッチングの誤差が最小であるときの回転角度を回転要素として選定する回転要素選定部と、
を備える請求項１に記載のフレーム補間装置。
前記誤差算出部は、前記初期位置に該当するブロックを一定の角度単位に応じて対称的に回転させてブロックマッチングの誤差を算出する過程を繰り返す請求項７に記載のフレーム補間装置。
現在フレームと以前フレームを介して前方動き予測と後方動き予測を行い、補間フレームの現在ブロックそれぞれに対して初期動きベクトルを決定するステップと、
前記初期動きベクトルによって決定された前記現在フレームと前記以前フレームのブロックを回転して回転要素を含む最終動きベクトルを決定するステップと、
前記最終動きベクトルに応じて前記補間フレームを生成するステップと、
前記初期動きベクトルを決定するステップは、
前記補間フレームの現在ブロックに対して前方動きベクトルと後方動きベクトルとの間の動きベクトルの差を算出し、前記動きベクトルの差が、予め選定された閾値より小さかった場合には前記前方動きベクトルと後方動きベクトルのうちブロックマッチングの誤差が小さい方を前記初期動きベクトルとして決定し、前記動きベクトルの差が前記閾値以上であった場合には、前記現在ブロックに隣接する隣接ブロックの初期動きベクトルに基づいて探索領域を設定し、前記探索領域内のブロックの初期動きベクトルに基づいて前記現在ブロックの初期動きベクトルを決定するフレーム補間方法。
前記初期動きベクトルを決定するステップは、
前記以前フレームから現在フレームへの前方動きベクトルを算出するステップと、
前記現在フレームから以前フレームへの後方動きベクトルを算出するステップと、
前記補間フレームの現在ブロックに対して前方動きベクトルと後方動きベクトルとの間の動きベクトルの差を算出するステップと、
前記動きベクトルの差に基づいて前記現在ブロックの初期動きベクトルを選定するステップと、
を含む請求項９に記載のフレーム補間方法。
前記初期動きベクトル選定するステップは、前記現在ブロックに隣接する隣接ブロックの初期動きベクトルに基づいて探索領域を設定し、前記現在ブロックの初期動きベクトルを選定する請求項１０に記載のフレーム補間方法。
前記前方動きベクトルと前記後方動きベクトルとの間の動きベクトルの差に基づいて前記初期動きベクトルに対するフィルタリングを行うステップをさらに含む請求項１０に記載のフレーム補間方法。
前記初期動きベクトルに対するフィルタリングを行うステップは、前記補間フレームの全ブロックのうち前記動きベクトルの差が予め選定された閾値以上であるエラーブロックに対してメディアンフィルタアルゴリズムを適用する請求項１２に記載のフレーム補間方法。
前記最終動きベクトルを決定するステップは、
前記初期動きベクトルを用いて前記現在フレームと以前フレームそれぞれの初期位置を選定するステップと、
前記現在フレームと以前フレームの初期位置に該当するブロックを回転させてブロック間のブロックマッチングの誤差を算出するステップと、
前記ブロックマッチングの誤差が最小であるときの回転角度を回転要素として選定するステップと、
を含む請求項９に記載のフレーム補間方法。
前記ブロック間のブロックマッチングの誤差を算出するステップは、前記初期位置に該当するブロックを一定の角度単位に応じて対称的に回転させてブロックマッチングの誤差を算出する過程を繰り返す請求項１４に記載のフレーム補間方法。
請求項９〜請求項１５のうちいずれか一項の方法を行うプログラムを記録したコンピュータ読み出し可能記録媒体。