JP2008135980A - 補間フレーム作成方法および補間フレーム作成装置 - Google Patents

Abstract

【課題】動きベクトルの検出精度によらず画像の破綻を防止できるようにした補間フレーム作成方法および補間フレーム作成装置を提供すること。
【解決手段】補間フレームの前フレームと後フレームとの差分ベクトルの絶対値を規定のしきい値Ｔｈ１と比較し、差分ベクトルの絶対値がしきい値Ｔｈ１よりも小さい動きベクトルを、確かな動きベクトルと判別する。この条件に当てはまらないベクトルを、確かでない動きベクトルと判別する。そして、確かな動きベクトルと判別された場合にはこの動きベクトルを用いて補完フレームを作成する。確かでない動きベクトルと判別された場合には、動きベクトルを０ベクトルとして補完フレームを作成する。
【選択図】 図４

Description

本発明は動画像を構成するフレーム画像の間に補間フレームを作成および挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。

液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。

ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。

動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。

上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。

ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に周期的パターンが存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。このほか、動きベクトル検出のため２種類のサイズのブロックを用いるという技術が特願２００６−２０８７９２（２００６年７月３１日出願）として出願されている。
特開２００５−６２７５号公報 特開２００５−５６４１０号公報

ブロックマッチングによる動きベクトルの検出の精度は完全ではなく、失敗することがある。画像処理においてはこの失敗の影響が大きく、画像の破綻に繋がることから何らかの対策が求められている。
この発明は上記事情によりなされたもので、その目的は、動きベクトルの検出精度によらず画像の破綻を防止できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することにある。

上記目的を達成するためにこの発明の一態様によれば、連続するフレーム間に挿入される補間フレームを複数の入力フレーム画像を用いて新たに作成する補間フレーム作成方法であって、前記複数の入力フレーム画像間でのブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する検出工程と、この検出工程において検出された動きベクトルの確からしさを判定してその結果に基づいて確かな動きベクトルと確かでない動きベクトルとを判別する判別工程と、前記検出工程において検出された動きベクトルを用いて前記補間フレームを作成する工程であって、前記判別工程において確かでない動きベクトルと判定された動きベクトルを０ベクトルとして前記補間フレームを作成する作成工程とを具備することを特徴とする補間フレーム作成方法が提供される。
このような手段を講じることにより、確かでない動きベクトルは、補間フレームの作成に際して用いられなくなる。従って動き検出が失敗した場合の画像の破綻を防止することが可能になる。

この発明によれば、動きベクトルの検出精度によらず画像の破綻を防止できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することができる。

図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。図１の補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３、および判定部１４を備える。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。すなわち動きベクトル検出部１２は、２つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値（ＳＡＤ）の極小値に対応する動きベクトルを動きベクトル候補として選択する。なお入力画像信号のフレームレートは例えば６０フレーム／秒である。

補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。
判定部１４は、動きベクトル検出部１４により検出された動きベクトルの確からしさを判定する。すなわち判定部１４は、動きベクトル検出部１２により検出された動きベクトルの確からしさを判定して、その結果に基づいて確かな動きベクトルと確かでない動きベクトルとを判別する。特に判定部１４は、規定のしきい値以上の大きさを持つベクトルを確かでない動きベクトルと判定する。または、判定部１４は、自ベクトル（判別の対象となる動きベクトル）に対応する画素の周辺の画素の動きベクトルとの一致の割合が規定のしきい値以下である動きベクトルを、確かでない動きベクトルと判定する。

すなわち判定部１４は検出された動きベクトルが正しいか否かを画素ごとに判定する。そして、検出された動きベクトルを用いて補間フレームを生成するか、または、周辺のブロックの動きベクトルを用いて補間フレームを生成するか、あるいは、動きベクトルを０ベクトルとして補間フレームを生成するかを判定する。そしてその結果を補間画像作成部１３に渡す。補間画像作成部１３は判定部１４の判定結果に基づいて補間画像を作成する。

補間画像作成部１３は、動きベクトル検出部１２により検出された動きベクトルを用いて補間フレームを作成する。その際、判定部１４により確かでない動きベクトルと判定された動きベクトルを０ベクトルとして、補間フレームを作成する。または、補間画像作成部１３は、判定部１４により確かな動きベクトルと判定された動きベクトルに基づいて作成した画像と、確かでない動きベクトルと判定された動きベクトルを０ベクトルとして作成した画像とを合成（ブレンド）して補間フレームを作成する。
動きベクトル検出部１２、補間画像作成部１３、および、判定部１４は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。

図２はブロックマッチング処理の一例を説明するための図である。図２に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。このときに用いられる画像ブロックのサイズが、ここでは２種類となる。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。

互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。

図２に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする。

図３は、動きベクトルの確からしさを判定する方法の一例を説明するための模式図である。図４は図３に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャートである。図３において、判別対象の動きベクトルが例えば（２Ｘａ，２Ｙａ）と検出されたとする（図４のステップＳ１）。そうすると、判定部１４は補間画像Ｐａ［Ｘ，Ｙ］の動きベクトルの確からしさ（正しいベクトルであるか否か）を次式（１）を用いて判定する（ステップＳ２）。
｜Ｐ０［Ｘ−Ｘａ，Ｙ−Ｙａ］−Ｐ１［Ｘ＋Ｘａ，Ｙ＋Ｙａ］｜＜Ｔｈ１ ・・・（１）
式（１）において右辺のＴｈ１は規定のしきい値である。左辺は差分ベクトルの絶対値を示す。式（１）が成り立てば判定部１４は検出された動きベクトルが正しいと判定し、この動きベクトルを用いて補間フレームを作成する（ステップＳ３）。式（２）が成り立たなければ、判定部１４はその旨を補間画像作成部１３に通知する。これを受けて補間画像作成部１３は動きベクトルを０ベクトルとして補間フレームを作成する（ステップＳ４）。

以上説明したようにこの実施形態では、補間フレームの前フレームと後フレームとの差分ベクトルの絶対値を規定のしきい値Ｔｈ１と比較し、差分ベクトルの絶対値がしきい値Ｔｈ１よりも小さい動きベクトルを、確かな動きベクトルと判別する。この条件に当てはまらないベクトルを、確かでない動きベクトルと判別する。そして、確かな動きベクトルと判別された場合にはこの動きベクトルを用いて補完フレームを作成する。確かでない動きベクトルと判別された場合には、動きベクトルを０ベクトルとして補完フレームを作成するようにしている。このようにしたので、補間フレームの作成にあたり確かでない動きベクトルを排除することができ、従って動きベクトルの検出精度によらず画像の破綻を防止できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することが可能となる。

なお、この発明は上記実施の形態に限定されるものではない。
図５は、動きベクトルの確からしさを判定する方法の他の例を説明するための模式図である。図６は図５に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャートである。図５において、判別対象の動きベクトルが例えば（２Ｘａ，２Ｙａ）と検出されたとする（図６のステップＳ１０）。そうすると、判定部１４は補間画像Ｐａ［Ｘ，Ｙ］の動きベクトルの確からしさを、判定対象Ｐａ［Ｘ，Ｙ］の画素の左右のｎ個の画素Ｐａ［Ｘ’，Ｙ’］が一致しているか否かを次式（２）で判定する（ステップＳ２０）。
｜Ｐ０［Ｘ’−Ｘａ，Ｙ’−Ｙａ］−Ｐ１［Ｘ’＋Ｘａ，Ｙ’＋Ｙａ］｜＜Ｔｈ２ ・・・（２）
式（２）において右辺のＴｈ２は規定のしきい値である。左辺は差分ベクトルの絶対値を示す。補間画像作成部１３は式（２）の成り立つ周辺画素の数Ｃｔを求め、その比率ａ（０≦ａ≦１）を計算する（ステップＳ２０）。そして補間画像作成部１３は、この比率（一致度）ａに従って補間画像を生成する（ステップＳ３０）。すなわち補間画像作成部１３は、検出された動きベクトルでの画像と、動きベクトル０での画像とをブレンドして補間フレームを作成する。具体的には、検出された動きベクトルでの補間画像をＰｖ［Ｘ，Ｙ］、動きベクトル０での補間画像をＰｖ０［Ｘ，Ｙ］とすると、補間画像作成部１３は次式３に基づいて補間フレームを作成する。
Ｐａ［Ｘ，Ｙ］＝Ｐｖ［Ｘ，Ｙ］×ａ＋Ｐｖ０［Ｘ，Ｙ］×（１−ａ） ・・・（３）
なお、ａを単純に一致数の比率として扱うだけでなく、対象画素のすぐ隣は大きい重みを付与し、対象画素から離れるに従い小さい重みを付与するようにしても良い。
また図５では水平方向（Ｘ軸）に関してのみ一致度を求めるようにしているが、上下方向（Ｙ軸）に関して求めた一致度を用いても良い。さらにはブロック全体の一致度を求めるようにしてもよい。

さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

この発明による補間フレーム作成装置の一実施形態を示すブロック構成図。 ブロックマッチング処理の一例を説明するための図。 動きベクトルの確からしさを判定する方法の一例を説明するための模式図。 図３に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャート。 動きベクトルの確からしさを判定する方法の他の例を説明するための模式図。 図５に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャート。

符号の説明

１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部、１４…判定部

Claims (8)

1. 連続するフレーム間に挿入される補間フレームを複数の入力フレーム画像を用いて新たに作成する補間フレーム作成方法であって、
   前記複数の入力フレーム画像間でのブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する検出工程と、
   この検出工程において検出された動きベクトルの確からしさを判定してその結果に基づいて確かな動きベクトルと確かでない動きベクトルとを判別する判別工程と、
   前記検出工程において検出された動きベクトルを用いて前記補間フレームを作成する工程であって、前記判別工程において確かでない動きベクトルと判定された動きベクトルを０ベクトルとして前記補間フレームを作成する作成工程とを具備することを特徴とする補間フレーム作成方法。
2. 前記作成工程は、前記判別工程において確かな動きベクトルと判定された動きベクトルに基づいて作成した画像と、前記判別工程において確かでない動きベクトルと判定された動きベクトルを０ベクトルとして作成した画像とを合成して前記補間フレームを作成することを特徴とする請求項１に記載の補間フレーム作成方法。
3. 前記判別工程は、規定のしきい値以上の大きさを持つベクトルを前記確かでない動きベクトルと判定することを特徴とする請求項１に記載の補間フレーム作成方法。
4. 前記判別工程は、判別対象の動きベクトルに対応する画素の周辺の画素の動きベクトルとの一致の割合が規定のしきい値以下である前記判別対象の動きベクトルを、前記確かでない動きベクトルと判定することを特徴とする請求項１に記載の補間フレーム作成方法。
5. 連続するフレーム間に挿入される補間フレームを複数の入力フレーム画像を用いて新たに作成する補間フレーム作成装置であって、
   前記複数の入力フレーム画像間でのブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する検出処理部と、
   この検出処理部において検出された動きベクトルの確からしさを判定してその結果に基づいて確かな動きベクトルと確かでない動きベクトルとを判別する判別処理部と、
   前記検出処理部において検出された動きベクトルを用いて前記補間フレームを作成するものであって、前記判別処理部において確かでない動きベクトルと判定された動きベクトルを０ベクトルとして前記補間フレームを作成する作成処理部とを具備することを特徴とする補間フレーム作成装置。
6. 前記作成処理部は、前記判別処理部において確かな動きベクトルと判定された動きベクトルに基づいて作成した画像と、前記判別処理部において確かでない動きベクトルと判定された動きベクトルを０ベクトルとして作成した画像とを合成して前記補間フレームを作成することを特徴とする請求項５に記載の補間フレーム作成装置。
7. 前記判別処理部は、規定のしきい値以上の大きさを持つベクトルを前記確かでない動きベクトルと判定することを特徴とする請求項５に記載の補間フレーム作成装置。
8. 前記判別処理部は、判別対象の動きベクトルに対応する画素の周辺の画素の動きベクトルとの一致の割合が規定のしきい値以下である前記判別対象の動きベクトルを、前記確かでない動きベクトルと判定することを特徴とする請求項５に記載の補間フレーム作成装置。

Images