JP4179089B2 - 動画像補間用動き推定方法及び動画像補間用動き推定装置 - Google Patents

Description

本発明は動画像補間用動き推定方法及び動画像補間用動き推定装置に係り、特に動画像を自然な動きで高画質に表示する場合、入来動画像信号の画像レートと異なった画像レートの動画像信号や、インターレース走査画像から順次走査画像を得るために、元の動画像信号に存在しないフレーム・フィールド・走査線を、入来動画像信号から補間して形成し、動画像の実効フレーム（フィールド）レートや走査線構造を変更する動画像補間用動き推定方法及び動画像補間用動き推定装置に関する。

まず、動画像の時間軸補間と走査線構造変換について説明する。動画像信号である通常のＮＴＳＣ方式のテレビ信号は、インターレース走査で毎秒６０フィールドなので、動画像の動きのスムーズさにおいてあまり問題はない。これに対し、映画など毎秒２４駒ないし３０駒のフィルム映像や、毎秒３０フレームの順次走査で作られたコンピュータグラフィックス画像などは、動きの不自然さ（ジャダー、ジャーギネス）がある。

一方、ＰＡＬ方式やＳＥＣＡＭ方式のテレビ信号は、インターレース走査で毎秒５０フィールドなので、ＮＴＳＣ方式のテレビで放送や表示するためには、毎秒６０フィールドに変換する必要がある。また、ＰＡＬ方式やＳＥＣＡＭ方式は、フィールド周波数が低いので、画面全体でのフリッカが問題となり、表示においては５０フィールドではなく、１００フィールドに変換することが望まれる。

このように、入来動画像信号を異なった画像レートの動画像信号に変換する場合、画像の動きが自然であることが望まれる。そのため、動き補償補間して時間的に存在しないフレームやフィールドを形成し、スムーズな動きで実効画像レートを変化させる動き補償を行う動画像レート変換方法（動画像補間用動き推定方法）は、従来より知られている（例えば、特許文献１参照）。

すなわち、特許文献１には、画像信号に基づいてブロック単位動きベクトルを探索し、ブロック単位動きベクトルに基づいて画素単位動きベクトルを生成し、画素単位動きベクトルに基づいて生成した画像信号の内挿フレーム又は画像信号のフレームの信号で生成した画像信号の内挿フレームを用いて画像信号のフレーム数を変換する方法が開示されている。

また、画像を液晶やプラズマディスプレイで表示したり、動画像フォーマットを変換したり、高能率符号化で高い効率を得るため、インターレース走査画像を順次（プログレッシブ）走査画像に変換する。この場合は、インターレース走査で間引かれている走査線を、時間的に前後するフィールドの走査線や上下の走査線から補間して、順次走査の画像信号を形成する。

次に、従来の動画像補間用動き推定について説明する。図９は従来の動画像補間用動き推定装置の一例のブロック図を示す。同図において、画像入力端子１より入来する画像信号は、動き補償器２に供給されると同時に、フレーム遅延器３により略１フレーム分遅延された後動き補償器４に供給される。

動き補償器２は、入力された画像信号を仮動きベクトル（ＭＶ）設定器５からの仮ＭＶに従って空間的に移動させる。動き補償器４は、フレーム遅延器３の出力である略１フレーム遅延した画像信号を、仮ＭＶ設定器５からの仮ＭＶに従って空間的に移動させる。ここで、両方の動き補償器２及び４に供給される仮ＭＶは共通であるが、移動させる方向は動き補償器２と動き補償器４で逆となる。仮ＭＶ設定器５は、予め設定された仮ＭＶの情報を動き補償器２及び４とＭＶ判定器８に与える。

動き補償器２で動き補償された入力画像信号と、動き補償器４で逆向きに動き補償された１フレーム遅延画像信号は減算器６で減算され、差分信号となる。この差分信号は、マッチング検出器７で絶対値化された後に、所定ブロック単位で加算され、当該仮ＭＶでのブロックのマッチング値となる。ここでブロックは８×８画素などであるが、より細かなブロックの場合や、方形でない場合もある。

マッチング検出器７から出力されたブロックマッチング値は、仮ＭＶ毎に仮ＭＶ設定器５から出力された予め設定された仮ＭＶと共に、ＭＶ判定器８に入力され、当該ブロックにおける仮ＭＶ毎のマッチング値が比較され、最も小さな値となる仮ＭＶが最終的にＭＶとして判定される。

特開平１１−１１２９３９号公報

しかるに、従来の動画像補間用動き推定は、動き推定探索範囲の拡大に伴いマッチングを求める画像が変わることになるので、マッチングを求める対象が平坦な画像となる動きベクトルでは、マッチング値が小さくなりがちで、逆に空間的に変化の激しい画像となる動きベクトルでは、マッチング値が大きくなりがちとなり、適正な動き推定が行い難い。特に、平坦な画像の前に小さいか細いオブジェクトがあると、オブジェクトより平坦な背景間の方がマッチング良好となり、背景で補間画像が形成されてしまうといった問題がある。

なお、画像符号化などでは、被符号化フレームのブロックは仮ＭＶによらず同じなので、この様な問題は起こらないが、補間ではマッチングをとる両方の画像が仮ＭＶによって変化するのでこのような問題を生じる。

本発明は以上の点に鑑みなされたもので、動き推定の各仮動きベクトルで補間参照画像の当該部分の空間活性度を求め、画像間のマッチングを活性度で正規化した後に比較することで、背景が平坦な画像などでも適正な動きベクトルが求められる動画像補間用動き推定方法及び動画像補間用動き推定装置を提供することを目的とする。

上記の目的を達成するため、本発明の動画像補間用動き推定方法は、入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定方法において、各所定領域において探索範囲の複数の仮動きベクトルを設定する第１のステップと、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出する第２のステップと、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する第３のステップと、マッチング値を所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る第４のステップと、所定領域において各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとする第５のステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の動画像補間用推定装置は、入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定装置において、各所定領域において探索範囲の複数の仮動きベクトルを設定する仮動きベクトル設定手段と、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出するマッチング値算出手段と、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する空間活性度算出手段と、マッチング値を所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る正規化済みマッチング値算出手段と、所定領域において各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力する動きベクトル判定手段とを有する構成としたものである。

本発明の動画像補間用推定方法及び装置では、動画像の動き補償補間において動き推定の各仮動きベクトルで補間参照画像の所定領域の空間活性度を求め、参照画像間における所定領域間のマッチング値を空間活性度で正規化した後に各仮動きベクトル毎に比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力するようにしたため、空間活性度は小さく、正規化済みマッチング値が大きな補間参照画像の所定領域の平坦部分を動きベクトルとして選択しにくくでき、一方、空間活性度は大きく、正規化済みマッチング値が小さな、補間参照画像の所定領域の空間変化が大きい部分を動きベクトルとして選択し易くできる。

本発明によれば、仮動きベクトルによって補間参照画像が平坦部分となる場合は、空間活性度は小さいので、正規化済みマッチング値が大きくなり、参照部分の空間変化が大きい場合は、空間活性度は大きいので、正規化済みマッチング値が小さくなり、正規化済みマッチング値は画像の動きによるマッチングの違いを適切に表現でき、各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力するようにしたため、より適切な動き推定が可能になる。

従って、本発明によれば、平坦な画像の前に小さいが細いオブジェクトがあると、オブジェクトより平坦な背景間の方がマッチング値は正規化でマッチング値が大きくなるので、選択され難くなり、背景で補間画像が形成されてしまうといった問題は回避される。このように、本発明によれば、実際の画像の動きに即した動きベクトルが求められるので、適切な補間画像や補間走査線が形成される。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像補間用動き推定装置の第１の実施の形態のブロック図を示す。同図中、図９と同一構成部分には同一符号を付してある。図１の第１の実施の形態は、図９に示した従来装置に比べて、活性度検出器１１及び１２と、マッチング正規化器１３が追加されている。

本実施の形態の動作について、毎秒３０フレーム（３０ｆｐｓ）の順次（プログレッシブ）走査画像信号を毎秒６０フレーム（６０ｆｐｓ）の順次走査画像信号に変換する場合を例にとって説明する。図１において、画像入力端子１より入来する３０ｆｐｓの順次走査画像信号は、動き補償器２に供給されると同時に、フレーム遅延器３により略１フレーム分遅延された後動き補償器４に供給される。

動き補償器２は、入力された画像信号を仮動きベクトル（ＭＶ）設定器５からの仮ＭＶに従って空間的に移動させる。動き補償器４は、フレーム遅延器３の出力である略１フレーム遅延した画像信号を、仮ＭＶ設定器５からの仮ＭＶに従って空間的に移動させる。ここで、両方の動き補償器２及び４に供給される仮ＭＶは共通であるが、移動させる方向は動き補償器２と動き補償器４で逆となる。仮ＭＶ設定器５は、各ブロックの動き推定において、予め設定されたサーチレンジ内の仮ＭＶを動き補償器２、４とＭＶ判定器８に与える。

動き補償器２で動き補償された入力画像信号と、動き補償器４で逆向きに動き補償された１フレーム遅延画像信号は減算器６で減算され、差分信号となる。この差分信号は、マッチング検出器７で絶対値化された後に、所定ブロック単位で加算され、当該仮ＭＶでのブロックのマッチング値となる。それぞれのマッチング値は、マッチング正規化器１３に与えられる。

一方、動き補償器２及び４においてそれぞれ動き補償されたそれぞれの画像信号は、活性度検出器１１、１２にも供給される。活性度検出器１１、１２は、動き補償器２、４において動き補償されたブロック内画素の空間活性度（アクティビティ）を求める。この活性度はブロック内画素値の標準値差や近隣差分の絶対値である。

近隣差分の取り方としては、図２（ａ）のような隣接画素間の差分（１画素差分）、図２（ｂ）のような一つ離れた画素間の差分（２画素差分）などが考えられる。また、この処理は仮ＭＶ毎に求めなければならないので、処理量軽減のために簡略化して、図２（ｃ）のような間引きでもよい。

さらに、単純な差分でなく、ＨＰＦ（高域通過フィルタ）で高い周波数成分を抽出してもよい。いずれの差分値や高い周波数成分の信号も絶対値化され、ブロック内で加算され、当該仮ＭＶでの活性度となる。

マッチング正規化器１３は、（１）式に示すように、活性度検出器１１から与えられる入力画像の活性度Ａｂと、活性度検出器１２から与えられる１フレーム遅延画像の活性度Ａｆとを加算し、当該仮ＭＶの空間活性度Ａ’を得る。

Ａ’＝Ａｆ＋Ａｂ （１）
ここで、正規化の分母となる空間活性度Ａは、仮ＭＶの空間活性度Ａ’が下限値ＡＬより大きいときにはＡ’の値とされるが、仮ＭＶの空間活性度Ａ’が下限値ＡＬ以下であるときには下限値ＡＬで制限される。又は下限値ＡＬを仮ＭＶの空間活性度Ａ’に加算して空間活性度Ａを得てもよい。これは活性度が低く、仮ＭＶの空間活性度Ａ’の値がノイズ成分程度の場合に、正規化処理が不安定になるのを避けるためである。以上のことを式で表すと、次のようになる。

Ａ＝ＡＬ （ＡＬ≧Ａ’のとき）
Ａ＝Ａ’ （ＡＬ＜Ａ’のとき）
または、
Ａ＝Ａ’＋ＡＬ

続いて、マッチング正規化器１３は、空間活性度Ａでマッチング値Ｃを正規化し、正規化後マッチング値ＮＣを次式により得る。
ＮＣ＝Ｃ／Ａ （２）
この正規化後マッチング値ＮＣは、仮ＭＶ毎にＭＶ判定器８に入力され、当該ブロックにおける仮ＭＶ毎のマッチング値が比較され、最も小さな値となる仮ＭＶが最終的にＭＶとして判定される。

次に、本発明の第１の実施の形態である動画像補間用の動き推定を用いたフレーム補間について説明する。その構成例を図３に示す。ここで、フレーム補間は毎秒３０フレームの順次走査画像信号を毎秒６０フレームの順次走査画像信号に変換するものである。

このフレーム補間の様子を図４に示す。図４で一つの円は１画素であり、縦の連続は、走査線の一部または垂直方向の画素列を示す。また、実線で示された画素は毎秒３０フレームの入来動画像信号であり、破線で示された画素は補間された画像信号である。矢印が動き補償補間である。

図３において、画像入力端子１より入来した毎秒３０フレーム（３０ｆｐｓ）順次走査の動画像信号は、動き推定器３１及び動き補償器３２に直接に供給される一方、フレーム遅延器３で略１フレーム分遅延された後、動き推定器３１及び動き補償器３３に供給される。動き推定器３１は、図１に示した構成により動きベクトルＭＶを推定する。

動き補償器３２は入力画像信号を動き推定器３１からのＭＶに従って空間的に移動させる。動き補償器３３は１フレーム遅延画像信号を動き推定器３１からのＭＶに従って空間的に移動させる。動き補償器３２で動き補償された画像信号と、動き補償器３３で逆向きに動き補償された画像信号は加算器３４で加算された後、２で除算されて補間画像信号となり、フレームバッファ３６に与えられる。

フレームバッファ３６は加算器３４から出力された１フレーム分の画像信号を蓄え、蓄えられた画像信号は２倍の速度で読み出される。同様に入来動画像信号もフレームバファ３５に蓄えられ、２倍の速度で読み出される。入来動画像信号の１フレームの時間で、フレームバッファ３５に保持されている入来動画像信号と、フレームバッファ３６に保持されている補間画像信号の両方が交互に読み出され、２倍の画像レートである６０ｆｐｓの動画像信号として出力される。

実施の形態におけるフレーム補間の様子を図５に示す。図５は図４と同様であるが、各円の濃淡は画素値であり、画像は時間と共に穏やかに動いている。図５（ａ）は、正しい動きベクトルによるフレーム補間の場合で動きに適合しているが、図５（ｂ）は誤った動きベクトルによるフレーム補間の場合で動きに適合していない。従来手法では単純にマッチングのみにより判断するので、図５（ａ）は正しい動きであっても、微小な移動量のずれや折り返し歪み成分により多少の誤差を生じる。

一方、図５（ｂ）は、いずれも全くの平坦部なので、マッチング誤差は少ない。このような場合、マッチング誤差で判断する従来手法では図５（ｂ）が最終的なＭＶとして選択される。これに対し、前述した空間活性度は図５（ａ）の方が遥かに大きいので、本実施の形態のように空間活性度で正規化されたマッチング値は、図５（ａ）の方が少なくなり、本実施の形態によれば、図５（ａ）の正しいＭＶが選択される。

なお、上記実施の形態は３０ｆｐｓから６０ｆｐｓへの変換なので、補間画像の時間が入来画像の中央となり、加算画像は均等加算で得ている。しかし、例えば５０ｆｐｓから６０ｆｐｓへの変換などでは、補間画像は必ずしも時間的に中央で無いので、加算は時間距離に応じて線形内挿などにしてもよい。なお、その場合は動きベクトルの移動量の関係も、時間関係に応じて異なったものとなる。

次に、本発明の第２の実施の形態の動画像補間用動き推定について説明する。図６は本発明になる動画像補間用動き推定装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図６の第２の実施の形態は、図１の第１の実施の形態に対して、活性度メモリ２３及び２４が追加されており、活性度検出器２１及び２２の入力画像と動作速度が異なる。

図６の第２の実施の形態は、図１の第１の実施の形態と同様に、毎秒３０フレーム（３０ｆｐｓ）の順次（プログレッシブ）走査画像信号を毎秒６０フレーム（６０ｆｐｓ）の順次走査画像信号に変換する場合である。第１実施の形態では、動き補償されたブロックに対して仮ＭＶ毎に活性度を求めていたが、この第２実施の形態は、入来画像と１フレーム遅延画像に対してあらかじめ活性度を求めておき、仮ＭＶに応じて活性度メモリ２３、２４から動き補償ブロックに相当する活性度を読み出す。

図６において、画像入力端子１より入来する３０ｆｐｓの順次走査信号は、動き補償器２と活性度検出器２１にそれぞれ供給されると同時に、フレーム遅延器３により略１フレーム分遅延された後動き補償器４と活性度検出器２２にそれぞれ供給される。動き補償器２及び４、減算器６、マッチング検出器７の動作は図１と同様で、各仮ＭＶでマッチング値を得る。

一方、活性度検出器２１、２２の動作は、基本的には図１の活性度検出器１１、１２と同様であるが、仮ＭＶ毎に活性度を求めるのではなく、入力画像に対して１画素単位でブロックを移動させながら、全画素に対して活性度を求めていく。求められた活性度は画素毎の情報として活性度メモリ２３、２４に与えられる。

活性度メモリ２３、２４は供給された活性度情報を１画素毎に保持し、処理ブロック位置と仮ＭＶ設定器５からの仮ＭＶとから、該当する動き補償ブロックの活性度を読み出し、マッチング正規化器１３にそれぞれ供給する。マッチング正規化器１３、ＭＶ判定器８の動作は図１の第１の実施の形態と同じである。

図６の第２実施の形態の場合、１フレームの補間において１フレームの画素数だけ、処理が必要となるが、第１の実施の形態のように仮ＭＶ毎に求めた場合、（ブロック数）×（仮ＭＶ数）の処理が必要になるので、１ブロック内の画素数が仮ＭＶ数より少なければ、第２の実施の形態の方が処理量は少なくなる。例えば、ブロックが８×８画素、仮ＭＶがサーチレンジ１５画素×１５画素（水平±７画素×垂直±７画素）で１画素精度なら、処理量の比は、（第２実施の形態）／（第１実施の形態）が６４／２２５となる。すなわち、この場合は、第２の実施の形態の方が第１の実施の形態よりも処理量が少ない。

次に、本発明の第３の実施の形態の動画像補間用動き推定について説明する。その構成図は図１に示した第１の実施の形態と同じであるので図示を省略する。本実施の形態が第１の実施の形態と異なるのは、対象画像信号と各部の具体的処理内容であり、第３の実施の形態は毎秒６０フィールドの飛越し（インターレース）走査画像信号を毎秒６０フレームの順次（プログレッシブ）走査画像信号に変換するためのものある。

この場合、補間対象は順次走査に対してインターレース走査で欠落している走査線であり、時間的には既存フィールドと同じ位置に前後のフィールドから補間する。従って、第３の実施の形態では、入来画像信号はインターレース走査画像信号であり、図１の動き補償器２及び４、活性度検出器１１及び１２、減算器６、マッチング検出器７で処理される信号は、インターレース走査の１フィールドにおけるものとなる。

一方、フレーム遅延器３は、２フィールド遅延させる必要があるので、そのままフレーム遅延を行う。マッチング正規化器１３、ＭＶ判定器８の動作は図１の第１の実施の形態と同じである。

次に、第３の実施の形態である動画像補間用の動き推定を用いた走査線補間（順次走査への変換）について説明する。その構成例を図７に示す。毎秒６０フィールドの飛越し（インターレース）走査画像信号を毎秒６０フレームの順次（プログレッシブ）走査画像信号に変換するものであり、この走査線補間の様子を図８に示す。図８で一つの円は走査線であり、縦の連続はフィールドを示す。また、実線で示された画素は毎秒６０フィールドの入来インターレース走査画像信号であり、破線で示された画素は補間された走査線である。矢印が動き補償補間である。

図７において、画像入力端子４１より入来した毎秒６０フィールドのインターレース走査画像信号は、動き推定器４２及び動き補償器４３にそれぞれ供給される一方、縦続接続されたフィールド遅延器４４及び４５により計略２フィールド分遅延されて動き推定器４２及び動き補償器４６にそれぞれ供給される。また、フィールド遅延器４４で略１フィールド遅延された毎秒６０フィールドのインターレース走査画像信号は、フィールド内補間器４７とラインバッファ４８にそれぞれ供給される。

動き推定器１２は、前記第３の実施の形態の動画像補間用の動き推定により得られた動きベクトル（ＭＶ）を、動き補償器４３及び４６にそれぞれ供給する。動き補償器４３は入力画像信号を上記のＭＶに従って空間的に移動させる。他方、動き補償器４６は１フレーム（２フィールド）遅延画像信号を、上記のＭＶに従って空間的に移動させる。

両方の動き補償器４３及び４６に供給されるＭＶは共通であるが、画像信号を移動させる方向は動き補償器４３と動き補償器４６で逆となる。動き補償器４３で動き補償された画像信号と、動き補償器４６で逆向きに動き補償された画像信号は、加算器４９で加算され、かつ、２で除算されて補間画像信号となり、乗算器５０に供給される。

一方、フィールド内補間器４７は、同一フィールドの画面上被補間走査線の上下位置にある走査線から補間画像信号を形成し、その補間信号を乗算器５１に供給する。乗算器５０で第１の乗算係数と乗算された被補間走査線の前後フィールドから補間された第１の補間画像信号と、乗算器５１で第２の乗算係数と乗算された被補間走査線の上下走査線から補間された第２の補間画像信号とは、加算器５２に供給されて加算され最終的な補間走査線の第３の補間画像信号としてラインバッファ５３に供給される。なお、上記の第１の乗算係数と第２の乗算係数との和は１となるように設定されている。

ラインバッファ５３は１ライン分の第３の補間画像信号を蓄え、蓄えられた第３の補間画像信号は２倍の速度で読み出される。同様に、フィールド遅延器４４の出力である略１フィールド遅延した動画像信号もラインバッファ４８に１ライン分蓄えられ、蓄えられた動画像信号が２倍の速度で読み出される。

略１フィールド遅延した動画像信号の１ライン時間で、ラインバッファ４８に保持されている入来動画像信号と、ラインバッファ５３に保持されている補間画像信号が交互に読み出され、スイッチ５４により交互に選択されて走査線が２倍の密度のフレームの画像信号が形成される。この画像信号は、毎秒６０フレームの順次走査画像信号として画像出力端子５５から出力される。

なお、上記した装置の機能をプログラムによりコンピュータで実現できるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の画像補間用動き推定装置の第１、第３の実施の形態のブロック図である。 本発明の実施の形態の空間活性度検出の様子を示す図である。 本発明の第１の実施の形態である動画像補間用の動き推定を用いたフレーム補間装置の構成図である。 本発明の実施の形態の動き補償フレーム補間の様子を示す図である。 本発明の実施の形態の動き補償フレーム補間の様子を示す図である。 本発明の画像補間用動き推定装置の第２の実施の形態のブロック図である。 本発明の第３の実施の形態である動画像補間用の動き推定を用いた走査線補間装置の構成図である。 本発明の第３の実施の形態の動き補償走査線補間の様子を示す図である。 従来の画像補間用動き推定装置の一例のブロック図である。

符号の説明

１、４１ 画像入力端子
２、４、３２、３３、４３、４６ 動き補償器
３ フレーム遅延器
５ 仮ＭＶ設定器
６ 減算器
７ マッチング検出器
８ ＭＶ判定器
９ ＭＶ出力端子
１１、１２、２１、２２ 活性度検出器
１３ マッチング正規化器
２３、２４ 活性度メモリ
３１、４２ 動き推定器
３８、５５ 画像出力端子
３４、４９、５２ 加算器
３５、３６ フレームバッファ
４４、４５ フィールド遅延器
４７ フィールド内補間器
４８、５３ラインバッファ
５０、５１ 乗算器
５４ スイッチ

Claims (2)

1. 入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定方法において、
   各所定領域において探索範囲の複数の仮動きベクトルを設定する第１のステップと、
   前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出する第２のステップと、
   前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する第３のステップと、
   前記マッチング値を前記所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る第４のステップと、
   前記所定領域において前記各仮動きベクトル毎に、前記正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを該所定領域における前記動きベクトルとする第５のステップと
   を含むことを特徴とする動画像補間用推定方法。
2. 入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定装置において、
   各所定領域において探索範囲の複数の仮動きベクトルを設定する仮動きベクトル設定手段と、
   前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出するマッチング値算出手段と、
   前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する空間活性度算出手段と、
   前記マッチング値を前記所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る正規化済みマッチング値算出手段と、
   前記所定領域において前記各仮動きベクトル毎に、前記正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを該所定領域における前記動きベクトルとして出力する動きベクトル判定手段と
   を有することを特徴とする動画像補間用推定装置。
   
   
   

Images