JP2010147699A - 補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置 - Google Patents

Abstract

【課題】特に特殊な時間的周期性を持って処理された画像に対して動きベクトル検出の安定性が維持できるようにし、良好な補間画像を提供する。
【解決手段】本発明の一実施例では、入力フレーム間の検索エリア内のブロックマッチング処理により、前記動きベクトル候補を検出する判定部と、前記検出した動きベクトル候補に基づいて前記入力フレーム間の対応ブロックを決定して前記補間フレームの補間ブロックの画像を作成する補間画像作成部と、前記入力フレームの画質変動の時間的周期性を示す情報に基づいて、前記動きベクトル候補が複数検出されると推定される特定期間を設定する画質変動情報検出部と、前記特定期間では少なくとも前記判定部が前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行う処理動作制御部を有する。
【選択図】 図１

Description

この発明は、補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置に関し、動画像を構成するフレーム画像の間に補間フレームを作成し、挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。

液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。

ＬＣＤに表示されたこのような映像が視聴される場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。

動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチング処理が実行され、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルが利用され、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームが２枚の入力フレーム間に挿入されることで、フレーム数が増加された動画像を表示することができる。

上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックが選択され、次に、両ブロック間の互いに対応する画素間の差分が計算される。この差分結果を累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中の画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。このような演算処理を実行する文献としてたとえば特許文献１がある。

ＳＡＤを用いたブロックマッチングに基づいて動画の動きを推定する時、入力フレーム内に空間的周期的パターンをもつ絵柄が存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。

動きベクトルを得るための技術としてブロックサイズを可変する技術もある。この技術では、画像圧縮を行うために、小ブロックを利用して動きベクトルを検出して画像動き補償を行なう。動き補償を行なった画像と次のフレームの画像が比較されたとき、予測誤差が得られる。この予測誤差と閾値とが比較され、もし閾値より予測誤差が大きいときは、小ブロックを結合した大きいブロックを利用して動きベクトルを検出する。検出した動きベクトルに基づいて画像動き補償を行う。そして、動き補償を行なった画像と次のフレームの画像が比較され予測誤差が得られる。この予測誤差が閾値より小さければ、現在のブロックサイズを用いた動きベクトル検出が行なわれる。

しかし上記の技術は、前フレームと後フレームの２枚の現存するフレーム間の画像が比較され、動きベクトルが検出され、前のフレームの画像を動きベクトルに従って予測画像として後のフレームの画像に近づける処理である。この処理は、圧縮情報量を少なくするための手法である。

これに対して新たな補間フレームを作成し、この補間フレームが２枚の入力フレーム間に挿入する場合、補間フレームは画像の動きを滑らかに表示する役割を持たなければならない。しかしこのような補間フレームを得る技術として従来は不十分な点があった。
特開２００５−１３６９４１号公報

この発明は上記の事情に鑑み成されたもので、補間フレームを作成するために必要な動きベクトルを一層適切に選択又は作成することができ、特に特殊な時間的周期性を持って処理された画像に対して動きベクトル検出の安定性が維持できるようにし、良好な補間画像を提供できるようにした補間フレーム作成方法及び補間フレーム作成装置及び放送受信装置を提供することを目的とする。

上記課題を解決するために、本発明の一実施例では複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置において、前記入力フレーム間の検索エリア内のブロックマッチング処理により、前記動きベクトル候補を検出する判定部と、前記検出した動きベクトル候補に基づいて前記入力フレーム間の対応ブロックを決定して前記補間フレームの補間ブロックの画像を作成する補間画像作成部と、前記入力フレームの画質変動の時間的周期性を示す情報に基づいて、前記動きベクトル候補が複数検出されると推定される特定期間を設定する画質変動情報検出部と、前記特定期間では少なくとも前記判定部が前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行う処理動作制御部を有することを特徴とする。

上記の手段によると、特に特殊な時間的周期性を持って処理された画像に対して動きベクトル検出の安定性を維持できる。結果として、補間画像を適切な表現として生成できる。

以下図面を参照して、この発明の実施の形態を説明する。図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。

補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。

補間画像作成部１３は、動きベクトル検出部１２の検出結果及び判定結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。

動きベクトル検出部１２内には、後述するように第１、第２、第３の判定部１２ａ，１２ｂ，１２ｃが設けられ、動きベクトルを抽出するブロックを種々選択し、多面的に適切な動きベクトルを得られる。判定部の数はさらに増加されてもよい。なおここでは、第１の判定部１２ａは、フレームを小ブロックに分割して小ブロック単位で動きベクトル候補を検出するものとする。また第２の判定部１２ｂは、フレームを大ブロック（可変長の大ブロックあるいは固定長の大ブロックを意味する）に分割して大ブロック単位も参照して動きベクトル候補を検出するものとする。さらに第３の判定部１２ｃは、動きベクトル候補の検出をあきらめて、再描画を指示する指示情報を判定結果と補間画像作成部１３に出力する。

さらに、動きベクトル検出部１２には、画質変動情報検出部１２ｄ、処理動作制御部１２ｅも設けられている。画質変動情報検出部１２ｄ、処理動作制御部１２ｅは、必ずしも動きベクトル検出部１２内に設けられる必要は無いが、次のような動作を司る。

即ち、画質変動情報検出部１２ｄは、入力フレームの画質変動の時間的周期性を示す情報に基づいて動きベクトル候補が複数検出されると推定される特定期間を設定する。特定期間については、さらに後で詳しく説明する。また処理動作制御部１２ｅは、特定期間では判定部１２ａ、１２ｂが動きベクトル候補を一意に検出しやすい方向へ検出閾値の可変を行う、又は補間画像作成部１３で補間画素を生成するのに利用する前又は後フレームの画素のうち、いずれの画素の比重を大きくするかを選択操作する。ここでいずれの画素の比重を大きくするかを選択することは、一方が０％、他方が１００％も含む（つまり後述する再描画も含む）ものとする。

また上記の補間画像作成部１３は、補間ブロック画像成生部１３ａを含む。補間ブロック画像成生部１３ａは、後述するブロックマッチング処理により採用する動きベクトルが特定された場合の補間ブロック画像を成生している。また補間ブロック画像成生部１３ａは、再描画処理を行うことができる。また補間ブロック画像成生部１３ａは、特定期間（詳しくは後述する）に、画質の良いフレームの画素を用いて補間ブロック画像を生成する。特定期間とは後述するように採用する動きベクトル候補が一意に特定される確率が少ない期間として推定される期間である。

図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。

補間フレーム２１の画像の挿入位置２１Ａを設定する。挿入位置２１Ａを中心にした点対象として、補間フレーム２１を挟む前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが平行方向に順次に選定される。また前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが垂直方向に順次に選定される。このようにブロックの選定箇所は探索範囲内で平行に変遷移動される。

対応する２つのブロックが選定されたとき、２つのブロック内の対応画素間の画素値の差分の絶対値がブロック内の画素全てについて計算され、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が求められ、このＳＡＤ値が最小となる方向が前フレームのブロックに対する画像動きベクトルとされる。

即ち、例えば図３のように水平方向の各領域１−９のＳＡＤの極小値が求められる。実際には図２で示したように探索範囲内の各ブロックの極小値が求められるのであるが、ここでは説明をわかり易くするために水平方向の各領域１−９を代表して示している。今、ＳＡＤの変化曲線ＳＡＤ−１が得られたとする。ここで各領域の極小値のうち、予め最小値からの相対誤差として設定している閾値内（TH for SAD1）に存在するのは、領域３の極小値Ｐ１である(極小値Ｐ１自身が最小値)。したがってこの場合は、この値Ｐ１が選択され、この値Ｐ１を得た領域の方向へ画像が動いているものとされる。つまりこの値Ｐ１が動きベクトルとして利用される。

しかし、変化曲線ＳＡＤ−１の例では都合よく１つの値Ｐ１が動きベクトルとして現われたが、映像のパターンあるいは絵柄によっては、ＳＡＤの変化曲線ＳＡＤ−２のように、複数の極小値Ｐ０１，Ｐ０２、Ｐ０３が閾値内(TH for SAD-2)に現われることがある。このような場合にいずれの極小値を適切な動きベクトルとして採用すべきかは不定である。

ブロックマッチングによる動きベクトル検出を精度良く行うために最適なブロックサイズは、映像の解像度や映像内に含まれる対象画像の動き方によって変わってくる。マッチングを行うためには対象画像の形状を識別できる画素値の変化がブロック内に含まれていることが必要であるが、ブロックサイズを大きくしすぎると、そのブロック内に複数の動きをした対象画像が含まれる可能性が大きくなるという問題が発生する。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。

しかしながら、例えばこのブロックサイズの水平サイズよりも幅の広い、水平方向の空間的周期パターンが対象画像に含まれている場合には、対象画像の動きと空間的周期的な画像の繰り返しとが区別できず、正しい動きの検出が出来なくなる。

図４（Ａ）、図４（Ｂ）、図４（Ｃ）には、空間的周期的な画像の繰り返しパターン５０を有するフレーム上で、小ブロック５１を用いて動きベクトルを検出する様子を示している。このような場合、図４（Ａ）、図４（Ｂ）、図４（Ｃ）の小ブロック５１の位置では、同じＳＡＤ値が得られ、複数の動きベクトルが検出されることになる。

これに対して、図５（Ａ）、図５（Ｂ）、図５（Ｃ）にはブロックサイズを大きくして大ブロック５２を利用して動きベクトル検出を行なった場合を示している。この場合は、図５（Ａ）、図５（Ｂ）、図５（Ｃ）の大ブロック５２のそれぞれの位置で異なるＳＡＤ値が得られ、例えば１つの動きベクトルが得られる。動きベクトルが得られない場合もある。

上記の大ブロックの設定方法としては、可変長（或いは可変サイズ）と固定長（或いは固定サイズ）の設定方法がある。可変長ブロックの設定としては、例えば絵柄判定回路が利用される。絵柄判定回路としては、水平及び垂直方向のエッジ検出を行い、エッジの分布状態を検出する。エッジ分布の水平方向周波数、垂直方向周波数を任意に設定してエッジ検出が行われる。そして繰り返しパターンと見られるエッジが集中して分布する領域を大ブロックとして設定する方法がある。

上記のようにＳＡＤの変化曲線は、空間的周期パターンの含まれていない一般的な自然画像では、あるベクトルの方向においてただ一つの極小点(=最小点)を持つことが多いが、空間的周期パターンが映像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。

今、同じ絵柄に対して、小ブロックによる動きベクトル検出、大ブロックによる動きベクトル検出を実施したときに、図６の変化曲線ＳＡＤ−１１，ＳＡＤ−１２のように変化曲線が得られたとする。このような場合、選択される動きベクトルは、図７に示すフローチャートの如く設定される。

即ち図７において、小ブロックを用いた動きベクトル検出において、
｜最小値−極小値ｉ｜＜閾値（ＴＨ） ・・・（１）、ｉは探索範囲内のブロックの番号
を満たすｉが２個以上存在するかが判断される（ステップＳＡ１）。存在しない場合にはＳＡＤの最小値で決まったベクトルを選択する（ステップＳＡ２）。

ステップＳＡ１において、（１）式を満たすｉが複数存在した場合には、大ブロックで求めたベクトルを参照する（ステップＳＡ３）。そして、（１）式を満たす複数の極小値方向のベクトルの中で、大ブロックで求めたベクトルと最も距離が近いベクトルが選択される（ステップＳＡ４）。

上記したブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法は、大きさの異なるブロックを少なくとも２つ以上用いる手法である。通常時には該２つ以上のブロックのうち、小ブロックで検出した動きベクトルを採用する。しかし小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合、小ブロックよりも大きい大ブロックを用いて検出されたベクトルを参照する。そして小ブロックにおいて検出された確からしい動きベクトルの中から、前記大ブロックで検出された動きベクトルに近い動きベクトルを採用する。これにより、ブロック内に含まれる細かい画像の動きベクトルの検出精度を落とすことなく、空間的周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。

さらに大ブロックの動き検出を行う際のブロックサイズとして、どれほどの大きさにすれば空間的周期的繰り返しパターンに惑わされずに大ブロックの動きベクトルが正しく検出できるかを検討した。空間的周期的繰り返しパターン幅全てを包含するブロックサイズを適切に設定すれば良い事が分かった。

すなわち、図４、図５に示したように小ブロック５１では各々矩形領域内に同一の画像しか含まないため図４（Ａ）−図４（Ｃ）の状態を区別ができない。しかし図５（Ａ）−図５（Ｃ）に示すように、空間的周期的繰り返しパターン幅全てを包含するサイズの大ブロック５２では各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。

この考え方に基づいて、大ブロックの動き検出時ブロックサイズとして、空間的周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさである、というブロックサイズ最適化する手法を実現することができる。

なお、さらに空間的周期的繰り返しパターン幅の算出に関しては、（ａ）小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった事象(つまりベクトルを一意に検出できず迷っている状態)の、連続発生回数を測定する。（ｂ）入力画像のライン上での単位パターン繰り返し回数を測定する。等の手法が挙げられる。

絵柄の動きによっては、大ブロックを駆使してもなお正しいベクトルを検出できない場合がある。このような場合、ベクトル検出を素直にあきらめて入力画像を再描画するという選択肢もある。

図８は、小ブロック、可変長大ブロック、固定長大ブロックを利用して動きベクトル候補を見つけるときの動作を示すフローチャートである。この処理は、下記の結果Ａ−Ｄをもたらすものである。尚、可変長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分可変される領域をもつブロックである。固定長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分拡大され、固定された領域のブロックである。

結果Ａ：小ブロック自身のベクトル検出結果が信用に足るので、小ブロックでのベクトル検出結果から最小ＳＡＤの動きベクトルを選択する（ステップＳＢ１−ＳＢ２−ＳＢ３の経路）。

結果Ｂ：ついで、可変長大ブロックでのベクトル検出結果が信用に足るので、可変長大ブロックでのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ６の経路）。

結果Ｃ：ついで、固定長大ブロックでのベクトル検出結果が信用に足るので、大ブロック(固定長)でのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ９の経路）。

結果Ｄ：ついで、前記結果ＡからＣまでのステップでは信用に足るベクトルが検出できなかったので、正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を行うステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ１０の経路）。

上記結果Ａ，Ｂ，Ｃに基づき作成される画像は動きベクトル対応画像である。結果Ｄに基づき作成される画像は再描画指示に基づく画像である。

以上のステップを順次経ることで、入力画像の絵柄に応じて部分部分で適応的に、結果ＡからＤまでを柔軟に切り替えたベクトル検出処理が可能となり、結果として高品位な補間画像を生成するための動きベクトルを検出することができるようになった。

図９（Ａ）〜図９（Ｄ）は、図８に示した処理により、探索範囲内で小ブロック、可変長大ブロック、固定長大ブロックの動きベクトル候補が決まっていく様子を示している。小ブロックは縦５個横９個の例で示している。図９（Ａ）は先の小ブロック単位でのブロックマッチング処理が得られるときの様子である。１補間画面内に均等に小ブロックが存在している。図９（Ｂ）は先の可変長大ブロック単位でのブロックマッチング処理が得られるときの様子である。先の小ブロックでのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(可変長)が構成されている。

図９（Ｃ）は先の固定長大ブロック単位でのブロックマッチング処理が得られるときの様子を示している。先の小ブロックでのベクトル検出結果および大ブロック(可変長)でのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(固定長)が構成されている。

そして図９（Ｄ）は、最終的に選択された結果Ａ−Ｄの分布を示している。絵柄に応じて、１補間画面内で部分部分で適応的に、結果ＡからＤまでを柔軟に切り替えたベクトル検出が行えることを示す一例である。このように、結果Ｄ(正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を生成する)を適用する部分が新たに生じている。

結果Ａ乃至Ｃはなんとか頑張って動きベクトルを検出した結果であり、一方結果Ｄはあきらめてしまった結果である。

上記説明では、複数考えられるベクトル検出手法に対して、小さいブロック自身でベクトルを決定→可変長大ブロックを利用してベクトルを決定→固定長大ブロックを利用してベクトルを決定→あきらめて入力フレーム画像を再描画、という順序で優先度を付けて切り替える説明を行ったが、優先度の判断に関しては本順序のみに限定される必要は無い。

上記説明では、結果Ｄは入力フレーム画像を再描画と表現したが、具体的な動作としては次のいずれかの動作が可能である。（Ａ）入力フレームの前フレーム側画像を再描画、（Ｂ）入力フレームの後フレーム側画像を再描画、（Ｃ）入力フレームの前フレーム側画像と後フレーム側画像との平均値を再描画する。

ところで、上記した動きベクトル候補を検出する場合、検出精度が悪化する期間が予め推定できる入力フレームもある。本件発明者はこの点に着目している。

即ち本発明は上記した手法に対してさらに新たに入力フレームが例えばＭＰＥＧ映像のＧＯＰ構造を有する場合、動きベクトル候補を検出する際のパラメータとなる閾値を適応的に変化させ、より安定した補間フレーム作成を可能とする手法を提案する。すなわち、
１．基本的に、ＭＰＥＧ映像をデコードして得られる1フレーム当たりの画像の質は、Iフレーム＞Pフレーム＞＞Bフレームであると想定する。

２．ＧＯＰ構造のＧＯＰ内画像数(Ｎ枚)とIフレーム位置を推定することで、Ｎに依存する時間的周期性を持つ補間フレーム生成難易度に応じた、適応的な補間フレーム生成時パラメータ制御(例えば、多段階の結果振り分け判定の閾値操作や、補間画素生成を前後フレーム画素のどちらから行うかを切り替える)を行うことを可能とする。

(例)・・I,B,B,P,B,B,P,B,B,P,B,B,P,B,B,I,B,B,P,B,B,P,B,B,P,B,B,P,B,B,・・・
下線部処理時((B→I)および(I→B))は動きベクトルの安定した検出が難しいので閾値を甘く(閾値を小さく)、下線部以外処理時は易しいので閾値を辛く(閾値を大きく)する等。

３．また、ＭＰＥＧデコーダからのフレーム識別情報(I/P/Bのどのフレームかを指示)が直接利用できるのであれば、上記手法のＧＯＰ内画像数(Ｎ枚)は推定値ではなく確定値として得られる。ＭＰＥＧデコーダでは、フレーム識別情報を採用している。

４．網羅的には、(B→P),(P→B),(I→P),(P→I),(B→B),(P→P),(I→I)という入力フレーム全組み合わせまで含めて、当該組み合わせに適した補間フレーム生成時パラメータ制御にも柔軟に拡張可能な手法となる。

上記の手法により、ＭＰＥＧ映像のＧＯＰ構造に起因する入力フレーム当たりの画質の差(Iフレームが一番きれい、ついで、Pフレーム、Bフレームの順)を考慮できず誤った条件判定により先に説明した結果Ａ−Ｄの分布を適正化できない可能性があったが、本発明では、ＧＯＰ構造のＧＯＰ内画像数(Ｎ枚)を推定することで、Ｎに依存する時間的周期性を持つ補間フレーム生成難易度に応じて、動作パラメータ制御を適応的に変化させ結果分布がより安定した補間フレーム作成すなわちより高品位な補間フレーム生成を可能とする。以下順を追って詳細を説明する。

まず、本発明の基本理念として、ＭＰＥＧ映像をデコードして得られる1フレーム当たりの画像の質は、Iフレーム＞Pフレーム＞＞Bフレームの順位であると設定する。すなわち、フレーム内符号化画像であるIフレームが一番きれい(元画像に近い)、ついで、フレーム間予測符号化画像であるPフレーム、双方向予測符号化画像であるBフレーム、の順に画質が低下すると考えられる。特に、Bフレームは意図的に量子化パラメータが粗く設定され、画質の面からはもっとも不利なフレームタイプである。

このようにフレームタイプにより画質の差が存在するときに、I/P/Bフレームのいずれかを入力画像として逐次与えられ各々の間に補間フレームを生成しようとするならば、この画質差を考慮した補間フレーム生成動作制御が有用である。

図１０には、代表的なＭＰＥＧ方式ＧＯＰ構造(ＧＯＰ内画像数Ｎは１５枚で構成され、I/Pフレームの時間周期Ｍは３とした)の入力フレームに対して動きベクトル候補の検出処理を適用したときの、時系列に沿った入力I/P/Bフレームに対する補間フレーム作成時の結果Ａ〜Ｄの分布例を示す。これは動きベクトル候補を検出する際の閾値の制御を行わなかった場合の例である。

ここで注目すべきは、ＧＯＰ構造の時間周期(本例では１５フレーム)に依存して、結果Ａ〜Ｄのうち結果信頼度が低い補間フレーム(たとえば結果Ｃと結果Ｄの両者の出現割合を合計した比率で判断)が、突出して観測される異質な箇所が存在するということである。

本例ではたとえば入力フレームとして、Bフレームの次にIフレーム、もしくはその反対の組み合わせの、Iフレームの次にBフレームという３枚を使用して補間フレームを生成するときに、結果Ｃと結果Ｄの両者の出現割合を合計した比率が相対的に突出して大きくなっている図を示した。なお、突出して異質であることの判定は、たとえば結果Ｃと結果Ｄの両者の出現割合を合計した比率がある閾値(水準、本例では３０％)を超えているかをチェックすることで実現できる。

このような異質な箇所が存在する一要因として、補間フレームを生成する際の２枚の入力フレーム間に、本質的な画質差が大きいということが考えられる。特に、IフレームとBフレームという組み合わせがもっとも画質差が大きい。このため該フレームの組み合わせ処理時のための動きベクトル候補検出結果及び補間フレーム生成処理の信頼度が低くなる傾向にあると予想される。

この異質な箇所の検出は、入力映像のチャンネルや番組の切り替え時から一定時間、入力フレームを監視することで可能である。また定期的に入力フレームを監視してもよい。そして異質な箇所が現れる時間的周期特性を捕らえることで、動きベクトル候補の検出処理を制御することができる。

つまりこの発明では、以上説明した、補間フレーム生成時の２枚の入力フレーム間画質差に起因する補間フレーム生成動作の結果分布揺らぎを解消するために、ＭＰＥＧ方式ＧＯＰ構造の時間周期を推定し結果分布の揺らぎを抑制する方法を実現している。

ＭＰＥＧ方式ＧＯＰ構造の時間周期は、上述の通り結果の信頼度が低い補間フレームが突出して異質であることの判定(たとえば結果Ｃと結果Ｄの両者の出現割合を合計した比率がある閾値(水準、本例では３０％)を超えているか)を行い、異質であると判断された補間フレームグループの時間軸方向での位置を特定しその繰り返し幅として得られる。

一旦ＧＯＰ構造の時間周期が推定できれば、異質であると判断されたグループの補間フレーム生成結果Ａ〜Ｄ分布を、異質ではないと判断されたグループの補間フレーム生成結果Ａ〜Ｄ分布に近づけるように動作パラメータ制御を行う。

この動作パラメータ制御とはたとえば、時間軸方向で周期的に発生する異質であると判断されると予想される補間フレーム生成時に、動きベクトル候補を特定するための多段階の結果振り分け判定の閾値調整(閾値を甘く(小さく)して結果Ｄ寄りの結果を生成しにくくする等)が可能である。つまり、動きベクトル候補の値はフレーム間画素の差分の絶対値から求められており、第１及び第２の判定部では、絶対値が閾値内の値であるとき採用する動きベクトル候補を判定している。そこで処理動作制御部は、特定期間で絶対値が閾値内に唯一存在しやすくするよう、閾値を調整するのである。

また、ＧＯＰ構造の時間周期推定に伴いIフレームの位置まで推定できているならば、補間画素生成を前後フレーム画素のどちらを使用して行うべきかという問題に対してひとつ有益な示唆が得られる。すなわち、Iフレームの位置まで推定できていれば、補間画素生成に使用するべきは画質の低いBフレーム側の画素ではなく画質の高いIフレーム側の画素であると判断できる。したがって、結果Ａ〜Ｃの動きベクトルに基づき補間画素を生成する時や結果Ｄが得られてやむなく再描画を行うときには、主にＩフレーム側の画素を補間ブロックに使用するほうが良質の補間画像を得ることができることになる。Ｉフレーム側の画素を使う比率と、Ｂフレーム側の画素を使う比率とは、例えば100対0でも良いし70対30でも良い。また、補間フレームを生成するのに使用される前後のフレームの順番（I/P/Bフレーム）がわかっていれば、これらのフレームに優先順位を設定しておき、結果Ａ〜Ｃの動きベクトルに基づき補間画素を生成する時や結果Ｄのときに主に採用する画素を優先順位の高いフレームから抽出して使用するようにしてもよい。

かくして、突出して異質であると判断される事象の発生(つまり異質な結果生成)を抑制すること、つまり、ＭＰＥＧ映像のＧＯＰ構造に対応して既存提案の動作パラメータ制御を適応的に変化させ結果分布がより安定した補間フレーム作成すなわちより高品位な補間フレーム生成が可能となる。

上記手法に関して、以下の拡張例が可能である。

上記説明では、ＧＯＰ構造のＧＯＰ内画像数(N枚＝時間周期)を知らない補間フレーム生成システムにおける説明を行った。容易に推察されるとおり、そもそものＭＰＥＧデコーダからのフレーム識別情報(I/P/Bのどのフレームかを指示)が直接利用できるシステムであれば、上記説明時のＧＯＰ内画像数(N枚)は推定値ではなく確定値として得られ、補間フレーム生成時に使用する2枚の入力フレーム組み合わせ((B→I),(I→B),(B→P),(P→B),(P→I),(I→P),(B→B),(P→P),(I→I)のいずれか)に起因する結果Ａ〜Ｄ分布の偏りを抑制するよう、より確度の高い補間フレーム生成時パラメータ制御を行うことが可能となる。

上記説明では、結果分布において異質であると判定するための閾値を１水準のみ示したが、判定にヒステリシス特性を持たせるために２水準設けることができる。すなわち、上記説明中では結果ＣとＤの割合が３０％を超えていたら異質であると判断し、３０％以下であれば異質ではないと判断という1水準のみの例であったが、たとえば結果ＣとＤの割合が５０％を超えていたら異質であると判断(水準Ａ)/３０％以下であれば異質ではないと判断(水準Ｂ)という２水準を用いることも可能である。

上記説明では、たとえば入力フレームとして、Bフレームの次にIフレーム、もしくはその反対の組み合わせの、Iフレームの次にBフレームという２枚を使用して補間フレームを生成するときに、結果Ｃと結果Ｄの両者の出現割合を合計した比率が相対的に突出して大きくなっている図を例示したが、結果の出現パターンはこの例に限定されることはない。結果Ａ〜Ｄを求める過程でのパラメータ設定や手法切り替えに応じて、たとえば入力フレームとして、Bフレームの次にIフレーム、もしくはその反対の組み合わせの、Iフレームの次にBフレームという２枚を使用して補間フレームを生成するときに、結果Ｃと結果Ｄの両者の出現割合を合計した比率が相対的に突出して小さくなっているパターンも考えられる。いずれにせよ、本発明の骨子としては、ＧＯＰ構造のＧＯＰ内画像数(N枚＝時間周期)に依存して突出して異質であると判断される事象の時間的周期性が検出できれば良い。すなわち、異質であるとは、結果分布のグループ分けを行うための閾値(水準)を設定したときに、時間軸方向に見て出現回数がより少数派のグループに属する事象を指す概念である。

上記説明では、突出して異質であると判断される事象の時間的周期性が検出できた時の処置として、異質であると判断されたグループの結果Ａ〜Ｄの生成を、異質ではないと判断されたグループの結果Ａ〜Ｄの生成に近づけるように動作パラメータ制御を行うとしたが、グループ立場を入れ替えて反対の制御を行っても良い。結局どちらのグループに結果を揃えたいかという考え方次第である。

上記説明では、(B→I)および(I→B)という入力フレーム組み合わせに注目して説明を行ったが、網羅的には、(B→P),(P→B),(I→P),(P→I),(B→B),(P→P),(I→I)という入力フレーム全組み合わせまで含めて、当該組み合わせに適した補間フレーム生成時パラメータ制御にも柔軟に拡張可能である。

本発明は入力フレーム枚数として２枚に限定するものではなく、３枚以上の入力フレームから補間フレーム生成を行う際にも適用可能である。

本発明はＭＰＥＧ方式で処理された入力フレームに限定するものではなく、エンコード・デコード処理に依存して、補間フレーム生成時の２枚の入力フレーム間画質差に起因する補間フレーム動作の結果分布揺らぎが時間的周期性をもって生じるシステムに適用可能である。例えば２−３プルダウンされた画像信号のフレームに対しても適用できることは勿論のことである。したがって、画質変動情報検出部１２ｄは、入力フレームの画質変動の時間的周期性を示す情報を、ＭＰＥＧデコーダ若しくは２−３プルダウン処理判別器から受け取るようにしてもよい。

以上のようにして、ＭＰＥＧ映像のＧＯＰ構造に対応して既存提案の動作パラメータ制御を適応的に変化させ結果分布がより安定した補間フレーム作成すなわちより高品位な補間フレーム生成が可能となる。

本発明は上記の実施形態のみに限定されるものではない。本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置一例を図１１に示す。図１１において、放送受信装置１００は、一例としてテレビジョン装置であり、制御部１３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１１６と、装置本体の動作を制御する制御部１３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１１４と出力側のセレクタ部１２０とを有し、入力側のセレクタ部１１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２と、ＢＳ／地上波アナログチューナ部１１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１１がデータバスに接続されている。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２からの復調信号を一時格納するバッファ部１１５と、格納された復調信号であるパケットを種類別に分離する分離部１１７と、分離部１１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１１６と、操作情報等のイメージを映像信号に重畳するＯＳＤ（On Screen Display）重畳部１３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１１６からの音声信号に増幅処理等を施す音声処理部１１８と、ＭＰＥＧデコーダ部１１６から映像信号を受けて、所望の映像処理を施す映像処理部１１９を有する。映像処理部１１９は、ＩＰ変換部１４１、上述した本発明の一実施形態に係る補間フレーム生成部１０、スケーリング部１４３、ガンマ補正部１４４を有する。ＩＰ変換部１４１はインターレース信号をノンインターレース信号に変換することができる。スケーリング部１４３は表示部１２２の画角、表示方式に合わせてフレーム画像のスケールを調整する、またガンマ補正部１４４は表示部１２２における輝度を適正な特性にするための輝度調整を行う。

セレクタ部１２０は、映像処理部１１９の映像信号、音声処理部１１８からの音声信号をＩ／Ｆ部１２３側に出力することもできる。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２及びＢＳ／地上波アナログチューナ部１１３からの映像情報等を適宜記録する記憶部１３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部１３６を有しており、これらは、データバスを介して制御部１３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部１３０に接続されユーザの操作やリモコンＲの操作を受ける操作部１３２及び操作信号を表示する表示部１３３を有する。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部１３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。

このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１１６等でデコード処理されて映像音声信号となって、音声処理部１１８及び映像処理部１１９に供給される。

映像処理部１１９は、与えられた映像信号について、例えば、ＩＰ変換部１４１によりインターレース信号をプログレッシブに変換等の画像処理を行う。更に、上述した補間フレーム生成部１０により上述した処理を行う。

セレクタ部１２０は、制御部１３０の制御信号に応じて例えば表示部１２２に映像信号を供給し、これにより映像信号に応じた映像が表示部１２２に表示される。また、音声処理部１１８からの音声信号に応じた音声がスピーカ部１２１から出力される。

また、ＯＳＤ重畳部１３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１１９を経てこれに応じた映像が表示部１２２に表示される。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係る補間フレーム生成装置の構成例を示すブロック図である。 本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。 ブロックマッチング処理時に得られる動きベクトル候補の変遷例を示す説明図である。 ブロックマッチング処理を行うときの小ブロックの例を示す説明図である。 ブロックマッチング処理を行うときの大ブロックの例を示す説明図である。 ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。 小ブロックと大ブロックを利用して動きベクトル候補を求める際の動作を説明するためのフローチャートである。 小ブロックと可変領域大ブロック及び固定領域大ブロックを利用して動きベクトル候補を求める際の動作、及び再描画指示を出す際の動作を説明するためのフローチャートである。 図８に示したフローチャートで示した小ブロック、可変領域大ブロック、及び固定領域大ブロックと、各ブロックにおける動きベクトル判定結果の説明図である。 代表的なMPEG方式のGOP構造の入力フレーム列に対して図８の処理を適用したときの結果A〜Dの分布例を示す図である。 この発明の補間フレーム成生装置が受信装置に適用された様子を示すブロック図である。

符号の説明

１０・・・補間フレーム作成装置、１１・・・フレームメモリ部、１２・・・動きベクトル検出部、１２ａ，１２ｂ，１２ｃ・・・第１、第２、第３の判定部、１２ｄ・・・画質変動情報検出部、１２ｅ・・・処理動作制御部、１３・・・補間画像作成部、１３ａ・・・補間ブロック画像成生部、１００・・・放送受信装置、１１２・・・ＢＳ／ＣＳ／地上波デジタルチューナ部、１１３・・・ＢＳ／地上波アナログチューナ部、１１４・・・セレクタ部、１１５・・・バッファ部、１１６・・・ＭＰＥＧデコーダ部、１１７・・・分離部、１１８・・・音声処理部、１１９・・・映像処理部、１２２・・・表示部。

Claims (10)

1. 複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置において、
   前記入力フレーム間の検索エリア内のブロックマッチング処理により、前記動きベクトル候補を検出する判定部と、
   前記検出した動きベクトル候補に基づいて前記入力フレーム間の対応ブロックを決定して前記補間フレームの補間ブロックの画像を作成する補間画像作成部と、
   前記入力フレームの画質変動の時間的周期性を示す情報に基づいて、前記動きベクトル候補が複数検出されると推定される特定期間を設定する画質変動情報検出部と、
   前記特定期間では少なくとも前記判定部が前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行う処理動作制御部を有することを特徴とする補間フレーム作成装置。
2. 前記処理動作制御部は、前記特定期間で前記動きベクトル候補が複数検出されて１つに特定できない場合、前記補間画像作成部で補間画素を生成するのに利用する前又は後フレームの画素のうち、いずれの画素の比重を大きくするかを選択操作することを特徴とする請求項１記載の補間フレーム作成装置。
3. 前記処理動作制御部は、
   前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行うに際して、前記動きベクトル候補の値の検出範囲を縮小することを特徴とする請求項１記載の補間フレーム作成装置。
4. 前記処理動作制御部は、
   前記補間画素を生成するのに利用する前又は後フレームの画素のうち、ＭＰＥＧ規格に基づいてデコードされたIピクチャー側のフレームの画素を使用することを特徴とする請求項１記載の補間フレーム作成装置。
5. 前記処理動作制御部は、
   前記特定期間に加えて、任意に設定した期間においても前記閾値の可変量を適応的に変化させることを特徴とする請求項１記載の補間フレーム作成装置。
6. 前記画質変動情報検出部は、前記入力フレームの画質変動の時間的周期性を示す情報を、ＭＰＥＧデコーダ若しくは２−３プルダウン処理判別器から受け取ることを特徴とする請求項１記載の補間フレーム作成装置。
7. 前記判定部は、
   サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、
   前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、
   前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前または後のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、
   前記動きベクトル候補の値はフレーム間画素の差分の絶対値から求められ、前記第１及び第２の判定部では、前記絶対値が前記閾値内のとき採用する動きベクトル候補として判定し、前記処理動作制御部は、前記特定期間に前記絶対値が前記閾値内を縮小する方向へ操作することを特徴とする請求項１記載の補間フレーム作成装置。
8. 複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成方法において、
   前記入力フレーム間の検索エリア内のブロックマッチング処理により、前記動きベクトル候補を判定部により検出し、
   前記検出した動きベクトル候補に基づいて前記入力フレーム間の対応ブロックを決定して前記補間フレームの補間ブロックの画像を作成し、
   前記入力フレームの画質変動の時間的周期性を示す情報に基づいて、前記動きベクトル候補が複数検出されると推定される特定期間を設定し、
   前記特定期間では少なくとも前記判定部が前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行う
   ことを特徴とする補間フレーム作成方法。
9. 前記特定期間では、さらに前記動きベクトル候補が複数検出されて１つに特定できない場合、補間画素を生成するのに利用する前又は後フレームの画素のうち、いずれの画素の比重を大きくするかの選択操作を行うことを特徴とする請求項８記載の補間フレーム作成方法。
10. 放送信号を選局するチューナ部と、前記チューナ部からの放送信号をデコードして映像信号を出力するデコーダ部と、前記デコーダ部から出力される複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置と、前記補間フレーム作成装置からの前記補間フレームの画像が挿入された連続フレーム画像に基づいて、映像を画面表示する表示部と、を有し、
    複数の入力フレームの間に位置する新たな補間フレームの画像を作成する前記補間フレーム作成装置は、
    前記入力フレーム間の検索エリア内のブロックマッチング処理により、前記動きベクトル候補を検出する判定部と、
    前記検出した動きベクトル候補に基づいて前記入力フレーム間の対応ブロックを決定して前記補間フレームの補間ブロックの画像を作成する補間画像作成部と、
    前記入力フレームの画質変動の時間的周期性を示す情報に基づいて前記動きベクトル候補が複数検出されると推定される特定期間を設定する画質変動情報検出部と、
    前記特定期間では少なくとも前記判定部が前記動きベクトル候補を一意に検出しやすい方向へ閾値の可変を行う処理動作制御部を有することを特徴とする放送受信装置。

Images