JP4198608B2

JP4198608B2 - 補間画像生成方法および装置

Info

Publication number: JP4198608B2
Application number: JP2004008268A
Authority: JP
Inventors: 雅裕馬場; 直三島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-01-15
Filing date: 2004-01-15
Publication date: 2008-12-17
Anticipated expiration: 2024-01-15
Also published as: US7697769B2; US7343044B2; US20050157792A1; US20090129688A1; JP2005204066A

Description

本発明は、入力動画の第１の参照画像と第２の参照画像との間の補間画像を生成する補間画像生成方法および装置に関する。

近年、冷陰極管線（以下、ＣＲＴ）や液晶ディスプレイ（以下、ＬＣＤ）、有機エレクトロルミネッセンスディスプレイ（以下、ＥＬディスプレイ）と様々なディスプレイ上で動画を表示する機会が増えてきている。これらのディスプレイは、その表示方法によって、ホールド型表示装置と、インパルス型表示装置に分けられる。ＬＣＤやＥＬディスプレイのようなホールド型表示装置では、表示された動画のあるフレームが１フレーム期間保持されて表示される。そのため、観察者が動体を滑らかに追従しながら観察している場合でも、動体は、フレーム期間毎に不連続に動いていくため、観察者の滑らかな視線の移動と、表示されている動体の不連続な動きのずれにより、動画はぼけて観察者に認識される。これは一般にホールド効果による動画劣化と言われている。

一方、動画は、その用途に応じて様々なフレームレートを有している。一方、ディスプレイもまた様々なフレームレートを有しており、動画のフレームレートは、表示するディスプレイに応じて変換する必要がある。例えば映画は、秒間２４コマ（２４ｆｐｓ）であり、一般に使われる６０Ｈｚのリフレッシュレートを有するディスプレイに表示するためには、２−３プルダウン（pull down）変換が使われる。これは、同じコマを２コマ、３コマと表示することにより単純にフレームレートを変換するものである。しかし、上記のような方法では、動画のコマ数が不十分なため、動きが不自然に不連続となりぎくしゃくした印象を受ける。

上記のような問題を解決するためには、動画の動きに応じた新たな補間フレームを作成し内挿することにより、フレーム数を増やす必要がある。この補間フレームを作成する手段としては、例えばＭＰＥＧ（Motion Picture Experts Group）で用いられているようなブロックマッチングによりブロックの動きベクトルを求め、それを用いて、内挿する補間フレームを作成する方法、また、ブロックを基準とした動きベクトル探索の後に、更に画素レベルでブロック基準の動きベクトル周辺を探索することにより、より細かい動きに対応できる方法等がある（例えば特許文献１参照。）。
特開平１１−１１２９４０号公報

上記のように２フレーム間の動きベクトルを用いて補間フレームを生成する方法では、陰面（オクルージョン）領域において正しい動きベクトルを求めることができない。例えば、図２０のような状況を考える。図２０は、説明を簡単にするために、１次元の静止画上をオブジェクトが移動しているモデルを表している。図２０の縦線はＮフレームからＮ＋１フレームの１次元の画像を表しており、楕円はオブジェクトを表している。また縦線を分割する横線は、ブロックを表しおり、上からブロック１、ブロック２、ブロック３、ブロック４とする。ＮフレームとＮ＋１フレーム間に補間フレームを生成する。このとき、ＮフレームからＮ＋１フレームへのブロックマッチングにより動きベクトルを求めると、ブロック１、ブロック２、ブロック４は、正しい動きベクトルを求めることができるが、ブロック３については、Ｎ＋１フレームに対応するブロックがオブジェクトにより隠されているため、正しい動きベクトルを求めることができない。そのため、オクルージョン領域において正しい補間フレームを得ることができない。

本発明は、上記課題を鑑みてなされたものであり、オクルージョン領域について正しい補間画像を生成する補間画像生成方法を提供することを目的とする。

本発明の一局面は、入力動画の第１の参照画像と第２の参照画像との間の補間画像を生成する補間画像生成方法において、前記第１の参照画像および前記第２の参照画像の各々を複数の画素により構成される複数の参照領域に分割するステップと、前記第１の参照画像と該第１の参照画像の時間的に前後に対応する少なくとも２つの第１の探索先画像との相関演算および前記第２の参照画像と該第２の参照画像に対応する少なくとも１つの第２の探索先画像との相関演算を前記参照領域毎に行って、前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求める動き推定ステップと、前記動きベクトルが指し示す前記探索先画像上の対応領域と前記参照領域との相関値を求め、前記参照領域を高相関領域または低相関領域に判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された領域を用いて前記第１の参照画像と前記第２の参照画像との間の補間画像候補を生成する動き補償ステップと、前記参照領域の複数の前記動きベクトルを用いて複数の前記補間画像候補を合成し、補間画像を生成する合成ステップと、を含むことを特徴とする補間画像生成方法を提供する。

本発明の他の局面は、入力動画の第１の参照画像と第２の参照画像との間の補間画像を生成する補間画像生成装置において、前記第１の参照画像および前記第２の参照画像の各々を複数の画素により構成される複数の参照領域に分割する分割部と、前記第１の参照画像と該第１の参照画像の時間的に前後に対応する少なくとも２つの第１の探索先画像との相関演算および前記第２の参照画像と該第２の参照画像に対応する少なくとも１つの第２の探索先画像との相関演算を前記参照領域毎に行って、前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求める動き推定部と、前記動きベクトルが指し示す前記探索先画像上の対応領域と前記参照領域との相関値を求め、前記参照領域を高相関領域または低相関領域に判定する相関判定部と、前記相関判定部により前記高相関領域と判定された領域を用いて前記第１の参照画像と前記第２の参照画像との間の補間画像候補を生成する動き補償部と、前記参照領域の複数の前記動きベクトルを用いて複数の前記補間画像候補を合成し、補間画像を生成する合成部と、を具備することを特徴とする補間画像生成装置を提供する。

本発明によれば、オクルージョン領域を含む２つの画像間の補間画像を精度よく求めることが可能となる。

（第１の実施形態）
図１に本発明による第１の実施形態の補間画像生成方法を実施する補間フレーム生成装置のブロック回路を示す。

本補間フレーム生成装置によると、入力部１１から入力される動画を格納するフレームメモリ部１２が複数の動き推定部１３，即ち４つの動き推定部１３_１〜１３_４の入力ポートに接続される。動き推定部１３_１〜１３_４の入力ポートにはフレームメモリ部１２からフレーム動画が入力される。動き推定部１３_１〜１３_４の出力ポートは複数の動き補償部１４，即ち４つの動き補償部１４_１〜１４_４の入力ポートに接続される。動き補償部１４_１〜１４_４の出力ポートは合成部１５に接続される。合成部１５は動き補償部１４_１〜１４_４からの補間フレーム候補を合成し、補間フレームを補間フレーム内挿部１６に出力する。補間フレーム内挿部１６は補間フレーム画像を出力部１７に出力する。

上記構成の補間フレーム生成装置の動作を、図２を参照して入力動画のＮフレームとＮ＋１フレームの間の時間的に中央位置の補間フレームＩを生成する場合について述べる。図２のｔはフレーム間隔時間（６０ｆｐｓであれば、１／６０秒、３０ｆｐｓであれば、１／３０秒）を示している。すなわち、入力動画が３０ｆｐｓの場合は６０ｆｐｓに、６０ｆｐｓの場合は１２０ｆｐｓに変換される場合である。

入力部１１をより入力された動画は、フレームメモリ部１２に蓄積される。動き推定部１３_１、動き推定部１３_２、動き推定部１３_３、動き推定部１３_４は、フレームメモリ部１２より、動き推定を行う２つのフレームを読み出し、動き推定を行う。なお、本実施形態においては、動き推定部は４つとしたが、その他の数でも構わない。

本実施形態では、動き推定部１３_１は、ＮフレームからＮ−１フレームへの動き推定、動き推定部１３_２は、ＮフレームからＮ＋１フレームへの動き推定、動き推定部１３_３では、Ｎ＋１からＮフレームへの動き推定、動き推定部１３_４では、Ｎ＋１フレームからＮ＋２フレームへの動き推定を行う。また、動き推定手法は、図３に示すようなブロックマッチングとした。すなわち、図３に示すように、動き推定の基準となるフレーム（ＮフレームからＮ−１フレームへの動き推定であればＮフレーム）を複数の画素から構成される領域（本実施形態ではブロック）に分割し、各ブロックを参照ブロックとする。

次に、動き推定の探索先フレーム（ＮフレームからＮ−１フレームへの動き推定であればＮ−１フレーム）上で最も参照ブロックとの相関が高いブロックを探索し、対応ブロックとする（以降、動き探索の基準となるフレームを参照フレーム、探索先のフレームを対応フレームと呼ぶ）。参照ブロックと対応ブロックの空間的なベクトルが動きベクトルとなる。動き補償部１４_１〜１４_４では、補間フレーム候補を内挿する前後のフレームをフレームメモリ部１２より読み出し、動き推定部１３_１〜１３_４により求められた動きベクトルを利用して、補間フレーム候補を生成する。生成された複数の補間フレーム候補は、合成部１５に入力され、１枚の補間フレームに合成される。最後に、合成部１５により合成された補間フレームを、補間フレーム内挿部１６で、入力された動画の目的のフレーム位置に内挿し、出力する。

次に、各部の動作を説明する。動き推定部１３_１〜１３_４から動き補償部１４_１〜１４_４までのフローを図４に示す。図４は、動き推定部１３_１、すなわちＮフレームからＮ−１フレームへの動き推定を行い、ＮフレームとＮ＋１フレーム間の補間フレーム候補を生成するフローである。ただし、その他の動き推定部１３_２〜１３_４においても参照するフレームが異なるのみで同様のフローにより処理することができる。

入力フレームは、ブロック分割ステップＳ１１において、複数の画素により構成されるブロック（参照ブロック：Ｂ_Ｒ（ｉ）、ｉはブロック番号）に分割される。ブロックはどのような形でも良いが、本実施形態では、垂直画素数、水平画素数がそれぞれ１６画素の正方形の領域とした。

低相関判定ブロック初期化ステップＳ１２では、参照ブロックと同じサイズの低相関判定ブロックＢ_Ｄ（０）を生成し、全ての要素を「低相関」とする。本実施形態では、参照ブロックが垂直画素数、水平画素数それぞれ１６画素の正方形の領域であるため、低相関ブロックも垂直画素数、水平画素数それぞれ１６画素の正方形の領域となる。低相関ブロックとは、参照ブロックと対応ブロックの画素毎の相関を求め、相関の高い画素に相対する位置の低相関ブロックの要素を「高相関」、相関の低い画素に相対する位置の低相関ブロックの要素を「低相関」とするブロックである。詳細は、相関判定ステップで述べる。なお、低相関ブロックは、各要素に高相関／低相関の情報が保持できれば良いため、各要素１ビットの情報が保持できるものでよい。

繰り返し回数設定ステップＳ１３では、動き推定ステップＳ１５から動き補償ステップＳ１７までの処理の繰り返し回数Ｉｔｅを設定する。すなわち、本実施形態では、参照ブロックと対応ブロックの画素毎に相関演算を行うことにより、ブロックを高相関領域と低相関領域に分割し、低相関領域に対して更に動き推定を行う再帰的な処理を行うが、この再帰的処理の繰り返し回数を設定する。例えば、繰り返し回数を２と設定すれば、ステップＳ１４以降の処理が２回繰り返される。本実施形態では、繰り返し回数は、２と設定し、同時に現在の繰り返し数を示すカウンタｎを１に設定する。

低相関判定ブロック生成ステップＳ１４では、各繰り返し数における低相関判定ブロックＢ_Ｄ（ｎ）を生成し、全ての要素を「低相関」とする。このステップは、低相関判定ブロック初期化ステップと同様である。

動き推定ステップＳ１５では、低相関判定ブロックＢ_Ｄ（ｎ）が「低相関」かつ低相関判定ブロックＢ_Ｄ（ｎ−１）が「低相関」の要素位置に対応する参照ブロックの画素のみの相関演算を行いＮフレームからＮ−１フレームへの動きベクトルＭＶを求める。動きベクトルＭＶを求める方法は、本実施形態では、図３に示すように、Ｎフレーム上の参照ブロックに対し、Ｎ−１フレーム上で最も相関の高いブロック位置（動きベクトル）を求める方法であり、ＮフレームからＮ−１フレームへのいわゆるブロックマッチングとした。相関の大小の基準となる相関値としては、絶対値差分和（Sum of Absolute Difference：ＳＡＤ）、高相関画素数和（Sum of Agreement Pixels：ＳＡＰ）等が考えられる。ＳＡＤは、以下の式により求めることができる。

ここでｘはフレームにおける画素の位置、Ｂ_Ｄは低相関判定ブロックの「低相関」領域（画素位置の集合）、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮー１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のＮ−１フレーム上のブロックが対応ブロックとなる。また、ＳＡＰは以下の式により求めることができる。

（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮー１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のＮ−１フレーム上のブロックが対応ブロックとなる。なお、１回目の再帰的処理（ｎ＝１）においては、低相関判定ブロックの全ての要素が「低相関」であるため、一般的なブロックマッチングと同様の相関演算となる。

相関判定ステップＳ１６では、低相関判定ブロックＢ_Ｄ（ｎ−１）が「低相関」である、Ｎフレームの参照ブロックとＮ−１フレームの対応ブロックの画素毎に相関値を求め相関の高い画素位置に対応する低相関判定ブロックＢ_Ｄ（ｎ）の要素を「高相関」に変更する。本実施形態では、相関値は絶対値差分とした。

図５は低相関判定ブロックＢ_Ｄ（ｎ）、即ち水平、垂直４画素のブロックにおける低相関判定ブロックＢ_Ｄ（ｎ）の出力過程を示す。参照ブロック及び対応ブロックに記述されている数値は、それぞれの画素の輝度成分を示している。参照ブロック及び対応ブロックに対し低相関判定ブロックＢ_Ｄ（ｎ−１）に従い「高相関」領域をマスクし、「低相関」領域に対してのみ絶対値差分演算を行い、差分ブロックを求める。差分ブロックにおいて絶対値差分が演算されている画素に対して閾値判定を行い、所定の閾値以下である画素位置に相当する低相関判定ブロックＢ_Ｄ（ｎ）の要素を「高相関」と変更する。

図５では、閾値を５と設定した場合の低相関判定ブロックＢ_Ｄ（ｎ）の生成過程である。なお、このとき、参照ブロックと対応ブロックとの相関が非常に低い場合は、低相関判定ブロックＢ_Ｄ（ｎ）全体を「低相関」に設定することもできる。すなわち、参照ブロックと対応ブロックとのＳＡＤが非常に大きい場合、もしくはＳＡＰが非常に小さい場合においては、その動きベクトルの精度は低いと判断し、低相関判定ブロックＢ_Ｄ（ｎ）全体を「低相関」とする。こうすることにより、画素毎の相関演算において誤判定と考えられるような、低相関判定ブロックの小さな高相関領域を取り除くことが可能となる。

動き補償ステップＳ１７では、低相関判定ブロックＢ_Ｄ（ｎ）において「高相関」となっている要素位置に対応する参照ブロックの画素に対し、動き推定ステップＳ１５で求めた動きベクトルＭＶを利用して動き補償を行い、補間フレーム候補を求める。動き補償方法としては様々に考えられるが、本実施形態においては、動きベクトルに従い、対象領域を補間フレーム候補上に貼り付ける方法とした。この動き補償方法を以下に詳細に説明する。

動き推定ステップＳ１７で求められた動きベクトルＭＶは、入力フレーム間の動きベクトルであるため、補間フレーム候補を動き補償により求めるために、動きベクトルのスケール変換が必要である。ここで、図６に示すように、ＮフレームとＮ＋１フレーム間をｐ：１−ｐ（０＜ｐ＜１）に分割する位置に補間フレーム候補を生成する場合を考える。Ｎフレームの参照ブロックからＮ−１フレームの対応ブロックへの動きベクトルをＭＶ_１とすると、図７に示すようにＮフレームからＮ＋ｐフレームへの動きベクトルＭＶ_Ｉに変換するために、動きベクトルＭＶ_１を反転させて、Ｎフレームからの距離に応じてスケール変換を行う。この変換は、以下の式により表される。

同様にＮフレームからＮ＋１フレームへの動きベクトルをＭＶ_２とすると、図８に示すようにスケール変換を行う必要があり、この変換は、以下の式により表される。

また、Ｎ＋１フレームからＮフレームの動きベクトルＭＶ_３、Ｎ＋１フレームからＮ＋２フレームへの動きベクトルＭＶ_４については、Ｎ＋１フレームからＮ＋ｐフレームまでの距離に応じたスケール変換が必要となるため、それぞれ、以下の式により動きベクトルＭＶ_Ｉを求めることができる。

なお、本実施形態においては、ＮフレームとＮ＋１フレームの時間的中央の位置に補間フレーム候補を内挿するために、ｐは０．５となる。

上記のように、各動きベクトルをスケール変換し、動き補償の動きベクトルを求めた後、参照ブロック上の画素を動きベクトルに従い補間フレーム候補上に貼り付ける。参照フレームの位置Ｘの画素をＰ（Ｘ）、補間フレーム候補の位置Ｘの画素をＩ（Ｘ）、低相関判定ブロックの「高相関」領域をＢ_Ａ、とすると、参照フレームは、以下の式に従い補間フレーム候補に貼り付けられる。

このように貼り付けを行った場合、貼り付けた領域同士が重なったり、貼り付けた領域間に隙間が発生したりする恐れがあるが、重なった領域は、重なった領域の平均や中央値もしくは、後から重ねられた領域が常に上書きする構成とすればよく、隙間領域に関しては、後述する合成部により処理する。

低相関判定ブロック更新ステップＳ１８では、低相関判定ブロックＢ_Ｄ（ｎ−１）が「高相関」の要素に対し、対応する位置の低相関判定ブロックＢ_Ｄ（ｎ）の要素を「高相関」に更新する。すなわち、図９に示すように低相関判定ブロックの「高相関」領域を１、「低相関」領域を０とした場合、上記低相関判定ブロックＢ_Ｄ（ｎ）の更新は、低相関判定ブロックＢ_Ｄ（ｎ−１）と低相関判定ブロックＢ_Ｄ（ｎ）の論理和演算により行うことができる。

ステップＳ１９では、以上のような処理がｎ回繰り返されたかが判定され、この判定がＮＯであると、ｎが１つインクリメントされ（Ｓ２０）、処理はステップＳ１４に戻る。ステップＳ１９の判定がＹＥＳであると、全てのブロックの動き推定が行われたかが判定される。この判定がＮＯであると、ｉが１つインクリメントされ（Ｓ２２）、処理はＳ１２に戻る。ステップＳ２１の判定がＹＥＳであると、処理は終了する。次に、合成部１５の動作を説明する。合成部１５では、動き推定部１３および動き補償部１４により求められた複数の補間フレーム候補を合成し、合成補間フレームを求める。合成方法を以下に説明する。

合成部１５は、合成ステップと穴埋めステップの２つのステップにより処理される。まず、合成ステップについて説明する。各動き推定部１３及び動き補償部１４により求められた補間フレーム候補の各画素について動き補償が行われている画素のみを利用して合成補間フレームを求める。すなわち、動き推定部の再帰処理で「高相関」とされなかった領域および動き補償部１４において補間フレーム候補上に発生した隙間部分は、合成の候補に含まない。よって、本実施形態においては、各画素の合成の候補は、０〜４つとなる。

次に、候補が０だった場合は、その画素については合成を行わず、合成補間フレーム上では、隙間としておく。また候補が１つだった場合は、そのまま、その候補を合成補間フレーム上に貼り付け、候補が２つだった場合は、２つの候補を平均して貼り付ける。候補が３つ以上の場合は、全ての候補の平均もしくは、候補の中央値を求め、合成補間フレーム上に貼り付ける。候補数が偶数の場合は、中央の候補２つの画素を平均して合成補間フレーム上に貼り付ければよい。

候補の中央値を求める処理は、平均に比べ処理量が増えることとなるが、候補に誤って発生したエラーを取り除くことができるため、合成補間フレームの画質を向上させる点においては、中央値を求める処理が望ましい。すなわち、４つの候補画素が１０、５０、５３、５４の場合、１０は、その他の候補に対し、明らかに異なった値であり、動き補償時にエラーとして発生した可能性が高いが、中央値を取った場合には、５０、５３の平均値が採用されるため、エラーである１０の候補は、合成補間フレームに影響を与えない。中央値処理は、一般に画像のノイズ除去等に用いられており、候補を昇順もしくは降順に並べた際に、他の候補と異なる傾向を有する候補が順列の端に集まる傾向を利用した処理である。上記処理を補間フレーム候補の全ての画素について行うことにより、補間フレームの合成が行われる。

次に穴埋めステップについて説明する。上記のような合成処理において、候補が０だった画素は、合成補間フレーム上に画素が貼り付けられていない。このような画素は、空間的な方向より補間を行えばよい。すなわち、注目画素（合成補間フレーム上に画素が貼り付けられていない画素）の４近傍もしくは８近傍の画素の平均値もしくは中央値を注目画素に貼り付ける。合成補間フレーム上で画素が貼り付けられていない画素数は僅かであるため、上記処理で十分に合成補間フレームの隙間を埋めることが可能である。

最後に合成補間フレームを入力フレームの目的の時間位置に補間フレーム内挿部で内挿し、出力する。本実施形態では、フレーム数を倍にするため、入力フレーム間の時間的半分の位置に、合成補間フレームを内挿すればよい。

次に、本実施形態の補間フレーム生成方法による作用を説明する。説明を簡単にするために、図１０に示すように、１次元の静止画上をオブジェクトが移動しているモデルを用いて説明する。図１０の縦線はＮ−１からＮ＋２フレームの１次元の画像を表しており、楕円はオブジェクトを表している。また縦線を分割する横線は、ブロックを表しおり、上からブロック１、ブロック２、ブロック３、ブロック４とする。まずＮフレームからＮ＋１フレームへの動き推定を考える。Ｎフレーム上のブロック１は、Ｎ＋１フレーム上の同じ位置に対応するブロックが存在するため、図１１の矢印のように動きベクトルを求めることができる。

ブロック２、ブロック４についても同様にＮ＋１上に対応するブロックが存在するため、図１１に示すように動きベクトルを求めることができる。しかし、ブロック３については、Ｎ＋１ブロックに対応するブロックが存在しないため、正しい動きベクトルを求めることができない。よってブロック３は動き推定部１３により適当な位置の動きベクトルを求めることになるが、動き推定部１３の相関判定ステップにおいて、ほとんどの画素が「低相関」と判定されることになる。そのため、動き補償ステップにおいて動き補償を行った場合に、図１２に示すように、ブロック１、ブロック２、ブロック４は補間フレーム候補上に貼り付けられることになるが、ブロック３については、ほとんどの画素が「低相関」であるため、補間フレーム候補上には貼り付けられず図１２に示すように隙間として残る。同様に図１３に示すようにＮ＋１フレームからＮフレームへの動き推定においても、Ｎ＋１フレーム上のブロック１、ブロック３、ブロック４については、対応するブロックがＮフレーム上に存在するため、図１３に示すように動きベクトルを求めることができる。しかし、Ｎ＋１フレーム上のブロック２は、対応するフレームがＮフレームに存在しないため、ほとんどの画素が「低相関」となり、その結果、図１４に示すような補間フレーム候補が求められる。

次に、ＮフレームからＮ−１フレームへの動き推定であるが、これも同様に、図１５に示すように、Ｎフレームのブロック１は対応するブロックが存在しないため、ほとんど全ての画素が「低相関」となる。そのため、補間フレーム候補は、図１６のように隙間が残ることとなる。ここで、ブロック２とブロック３の動き補償により、補間フレーム候補上でブロックの重なりが発生するが、この領域は、オブジェクトと背景の平均となる。同様に図１７に示すように、Ｎ＋１フレームからＮ＋２フレームへの動き推定においても、Ｎ＋１フレームのブロック４は対応ブロックが存在しないため、ほとんどの画素が「低相関」となり、図１８に示すように補間フレーム候補には隙間が発生する。なお、ブロック２とブロック３の動き補償により、補間フレーム候補上でブロックの重なりが発生するが、この領域は、オブジェクトと背景の平均となる。

上記のように生成された補間フレーム候補は、合成部１５により合成される。合成の様子を、図１９を用いて説明する。ブロック１では、それぞれの動き推定および動き補償処理により正しく補間されているものが３フレーム、隙間として残っているのが１フレームあり、隙間以外は、いずれも正しい補間フレーム候補であるため、合成補間フレームには正しいブロックが貼り付けられる。ブロック４についても同様である。

次に、ブロック２であるが、オブジェクトの存在する領域は、オブジェクトが正しく補間されているフレームが３つ、背景とオブジェクトが平均化されているものが１つある。ここで中央値を求めると、オブジェクトが正しく補間されているものが３つ存在するため、中央値は必ずオブジェクトとなり、エラーであるオブジェクトと背景の平均化されたものは、選択されない。そのため、合成補間フレームにはオブジェクトが正しく貼り付けられる。また、ブロック２の背景部分は、正しく補間されているものが１つ、隙間として残っているものが３つであるため、合成補間フレームには、正しく補間されたものが貼り付けられることとなる。ブロック３についても同様である。その結果、図１９のように正しい補間フレームが合成されることとなる。また、上記は理想的な動作を示したが、例えば、ブロック１のある補間フレーム候補にエラーが発生しても、残りのフレームが正しく補間されていれば、ある一つの動き推定及び動き補償のエラーの影響を受けることのない合成補間フレームを生成することが可能となり、ロバスト性が向上する。

なお、本実施形態では、補間フレームを挿入したい前後それぞれ２フレーム、合計４フレームを利用して補間フレームを生成する構成について説明してきたが、３フレーム以上を利用すれば、本実施形態と同様の効果を得ることができる。例えば、入力から表示までの遅延がそれほど許容されないシステムの場合、補間フレーム挿入位置に対して１フレーム前と２フレーム後の３フレームを利用して補間フレームを生成する。即ち、動き推定部１３_１がＮフレームからＮ−１フレームの推定を行い、動き推定部１３_２がＮフレームからＮ＋１フレームへの動き推定を行い、動き推定部１３_３がＮ＋１からＮフレームへの動き推定を行う。動き推定部１３_４は使用されない。この方法によると、４フレーム利用する場合に比べ、遅延を小さくすることができる。この場合、図１７及び図１８で説明されている補間フレーム候補が生成されないことになるため、図１９で説明される合成の際に、補間フレーム候補の一つが無くなり、オブジェクトの上下に存在する陰面の内、片側の陰面は再現されないこととなる。そのため、３フレームを利用して補間フレームを生成した場合は、４フレームに比べ陰面を再現する効果は小さくなるが、従来の２フレームによる補間フレームの生成に比べれば、少なくともオブジェクトによる片側の陰面を再現することは可能となる。

また、入力フレームのフレームレートが大きい場合は、本実施形態のように補間フレーム生成位置に対して前後２フレームではなく、前後３フレーム以上を用いることで、ロバスト性を更に向上させることが可能となる。入力フレームレートが大きい場合、補間フレーム位置に対して時間的に離れたフレームにおいても、オブジェクト等の変形が小さく、正しい動き推定を行うことができる。そのため、前後３フレーム以上を利用することにより、補間フレーム候補の数を増やすことが可能となり、合成補間フレーム生成のロバスト性を向上させることが可能となる。

また、合成補間フレームの精度を向上させるために、複数の補間フレーム候補を合成する際に、補間フレームを内挿する位置と動きベクトルを求めたフレーム位置との時間的距離に応じた重み付けを行い、補間フレーム候補を合成する。すなわち、図２に示すようにＮ−１フレームからＮ＋２フレームの４フレームを用いて、ＮフレームとＮ＋１フレームの間の補間フレームを合成する場合、補間フレーム位置から遠いＮフレームからＮ−１フレームへの動き推定及びＮ＋１フレームからＮ＋２フレームへの動き推定により求めた動きベクトルを用いて動き補償を行った補間フレーム候補（図１６、図１８に相当）に対し、補間フレーム位置に近いＮフレームとＮ＋１フレーム間の動き推定により求めた動きベクトルを用いて動き補償を行った補間フレーム候補（図１２、図１４に相当）の重み付けを大きくして合成部により合成を行う。これは、補間フレーム内挿位置に対して時間的に近いフレーム間の動きベクトルを用いた補間フレーム候補の方が、時間的に遠いフレーム間の動きベクトルを用いた補間フレーム候補に比べ精度が高いと予測されるためである。合成時の重率の与え方としては、補間フレーム候補を平均して合成するのであれば、重み付け平均を取ればよく、中央値を用いて合成するのであれば、重み付けを大きくしたい候補の数を見かけ上増やして合成すればよい。具体的には、補間フレーム候補の合成対象の画素が、Ｐ０、Ｐ１、Ｐ２、Ｐ３の４つで、Ｐ１、Ｐ２の重み付けを２倍にしたいのであれば、平均合成の場合、（Ｐ０＋２×Ｐ１＋２×Ｐ２＋Ｐ３）／６と重み付けすればよく、中央値合成の場合、（Ｐ０、Ｐ１、Ｐ１、Ｐ２、Ｐ２、Ｐ３）と、候補数を見かけ上６個として中央値を求めればよい。以上、本実施形態によれば、２フレーム間の動き推定では、動きを推定できないオクルージョン領域について正しく補間フレームを得ることが可能となる。また、複数の補間フレーム候補を合成することにより、比較的ロバストに正しい補間フレームを生成することが可能となる。

第１実施形態の補間フレーム生成方法を実行する奉還フレーム生成装置のブロック回路図第１実施形態における補間フレームと入力フレームの関係を示す図ブロックマッチングの概念を示す図第１実施形態における動き推定部と動き補償部の動作を示すフローチャート図第１実施形態における高相関判定ステップの動作を説明するための図入力フレームと補間フレームの関係を示す図動きベクトルのスケール変換を説明するための図動きベクトルのスケール変換を説明するための図第１実施形態における低相関判定ブロック更新ステップの動作を説明するための図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図本実施形態の補間フレーム生成方法による作用を説明する図従来の補間フレーム生成方法を説明するための図

符号の説明

１１…入力部、１２…フレームメモリ部、１３…動き推定部、１４…動き補償部、１５…合成部、１６…補間フレーム内挿部、１７…出力部

Claims

入力動画の第１の参照画像と第２の参照画像との間の補間位置に補間画像を生成する補間画像生成方法において、
前記第１の参照画像および前記第２の参照画像の各々を複数の画素により構成される複数の参照領域に分割する分割ステップと、
前記入力動画中で前記第１の参照画像よりも時間的に前の画像および前記入力動画中で前記第１の参照画像よりも時間的に後の画像の両方を含む少なくとも２つの第１の探索先画像と前記第１の参照画像との相関演算、および、前記入力動画中で前記第２の参照画像よりも時間的に前の画像および前記入力動画中で前記第２の参照画像よりも時間的に後の画像のうちの少なくとも１つの第２の探索先画像と前記第２の参照画像との相関演算を前記参照領域毎に行って前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求める動き推定ステップと、
前記動きベクトルが指し示す、前記探索先画像上の対応領域と前記参照領域との画素毎の相関値を求め、前記参照領域内を高相関領域と低相関領域とに判定する相関判定ステップと、
前記高相関領域と判定された参照領域を用いて前記第１の参照画像と前記第２の参照画像との間に補間画像候補を生成する動き補償ステップと、
前記参照領域の複数の前記動きベクトルを用いて前記動き補償ステップによって生成された複数の前記補間画像候補の平均又は中央値を前記補間位置の前記補間画像に貼付けて補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
前記動き推定ステップは、前記入力動画中で前記第１の参照画像よりも時間的に前の画像および前記入力動画中で前記第１の参照画像よりも時間的に後の画像の２つの前記第１の探索先画像と前記第１の参照画像との相関演算、および、前記入力動画中で前記第２の参照画像よりも時間的に前の画像および前記入力動画中で前記第２の参照画像よりも時間的に後の画像の２つの前記第２の探索先画像と前記第２の参照画像との相関演算を前記参照領域毎に行って前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求めることを特徴とする請求項１記載の補間画像生成方法。
前記分割ステップによって得られる前記参照領域は、水平、垂直方向に複数の画素から構成される四角形のブロック領域であることを特徴とする請求項１または２記載の補間画像生成方法。
前記動き推定ステップは、前記参照画像から前記探索先画像へのブロックマッチングにより前記動きベクトルを求めることを特徴とする請求項１乃至３のいずれか１記載の補間画像生成方法。
前記相関判定ステップは、前記参照領域と前記対応領域との画素毎の絶対値差分を前記相関値とすることを特徴とする請求項１または２記載の補間画像生成方法。
低相関と判定された前記低相関領域を用いて、前記動き推定ステップ、前記相関判定ステップ、前記動き補償ステップを再帰的に行うことを特徴とする請求項１または２記載の補間画像生成方法。
前記補間画像生成ステップは、前記補間画像に時間的に近い画像間における前記動きベクトルを用いた前記補間画像候補ほど、重み付けを大きくして画素毎の前記中央値を求め、該中央値を前記補間画像の画素として前記補間画像に貼付けることを特徴とする請求項
１または２記載の補間画像生成方法。
入力動画の第１の参照画像と第２の参照画像との間の補間位置に補間画像を生成する補間画像生成装置において、
前記第１の参照画像および前記第２の参照画像の各々を複数の画素により構成される複数の参照領域に分割する分割部と、
前記第１の参照画像よりも時間的に前の画像および前記入力画像中で前記第１の参照画像よりも時間的に後の画像の両方を含む少なくとも２つの第１の探索先画像と前記第１の参照画像との相関演算および前記入力動画像で前記第２の参照画像よりも時間的に前の画像および前記入力画像中で前記第２の参照画像よりも時間的に後の画像のうちの少なくとも１つの第２の探索先画像と前記第２の参照画像との相関演算を前記参照領域毎に行って前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求める動き推定部と、
前記動きベクトルが指し示す前記探索先画像上の対応領域と前記参照領域との画素毎の相関値を求め、前記参照領域内を高相関領域と低相関領域に判定する相関判定部と、
前記相関判定部により前記高相関領域と判定された参照領域を用いて前記第１の参照画像と前記第２の参照画像との間の補間画像候補を生成する動き補償部と、
前記参照領域の複数の前記動きベクトルを用いて前記動き補償部により生成された複数の前記補間画像候補の平均又は中央値を前記補間位置の前記補間画像に貼付けて補間画像を生成する補間画像生成部と、
を具備することを特徴とする補間画像生成装置。
前記動き推定部は、前記第１の参照画像と時間的に前後の２つの前記第１の探索先画像との相関演算および前記第２の参照画像と時間的に前後の２つの前記第２の探索先画像との相関演算を前記参照領域毎に行って前記参照領域毎に前記第１および第２の探索先画像に対する複数の動きベクトルを求めることを特徴とする請求項８記載の補間画像生成装置。
前記参照領域は、水平、垂直方向に複数の画素から構成される四角形のブロック領域であることを特徴とする請求項８または９記載の補間画像生成装置。
前記動き推定部は、前記参照画像から前記探索先画像へのブロックマッチングにより前記動きベクトルを求めることを特徴とする請求項８乃至１０のいずれか１記載の補間画像生成装置。
前記相関判定部は、前記参照領域と前記対応領域との画素毎の絶対値差分を前記相関値とすることを特徴とする請求項８または９記載の補間画像生成装置。
低相関と判定された前記低相関領域を用いて、前記動き推定部、前記相関判定部および前記動き補償部の処理を再帰的に行うことを特徴とする請求項８または９記載の補間画像生成装置。
前記補間画像生成部は、前記補間画像に時間的に近い画像間における前記動きベクトルを用いた前記補間画像候補ほど、重み付けを大きくして画素毎の前記中央値を求め、該中央値を前記補間画像の画素として前記補間画像に貼付けることを特徴とする請求項８または９記載の補間画像生成装置。
第１画像と第２画像との間の補間位置に補間画像を生成する補間画像生成方法において、
第１画像および第２画像の各々を複数の領域に分割するステップと、
前記第１画像から前記第２画像への動き推定を領域単位で行うステップと、
前記第１画像から、この第１画像を基準として前記第２画像と時間的に反対側にある第３画像への間の動き推定を領域単位で行うステップと、
前記第２画像から前記第１画像への動き推定を領域単位で行うステップと、
前記動き推定ステップにより得られるベクトルによって指し示す領域に対する相関値を画素毎に求め、前記領域内を高相関領域と低相関領域に判定する相関判定ステップと、
前記高相関領域を用いて前記第１画像と前記第２画像との間に補間画像候補を生成する動き補償ステップと、
複数の前記動きベクトルを用いて前記動き補償ステップによって生成された複数の前記補間画像候補の平均又は中央値を前記補間位置の前記補間画像に貼付けて補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
前記第２画像から、この第２画像を基準として前記第１画像と時間的に反対側にある第４画像への動き推定を行うステップを含む請求項１５記載の補間画像生成方法。