JP2007300209A - 動画像再符号化装置およびその動きベクトル判定方法 - Google Patents

Abstract

【課題】予測動きベクトルと入力された符号データの動きベクトルの比較を行うことにより、動きベクトルの再利用の判断が出来るようになる動画像再符号化装置等を提供することを課題とする。
【解決手段】動きベクトル判定部は、対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力する予測動きベクトル精度判定部と、対象ブロックの動きベクトルと予測動きベクトルとを比較し、対象ブロックの動きベクトルの精度について判定処理を行い、対象ブロックの動きベクトルと動きベクトル判定結果とを出力する動きベクトル精度判定部と、予測動きベクトル判定結果と動きベクトル判定結果とを入力することにより、動きベクトルを再利用するか否か総合判定を行う総合判定部と、を少なくとも備えて構成される。
【選択図】 図２

Description

本発明は、動画像再符号化装置およびその動きベクトル判定方法に関するものである。

従来、符号化装置における動き探索処理時の探索開始点として、予測動きベクトルを利用することが適切かどうかを判定する動きベクトル検出方法が存在する（特許文献１参照）。ここで、特許文献１に記載の動きベクトル検出方法は、予測動きベクトルを求める場合に利用する周辺の３つの隣接マクロブロックの動きベクトルの分散や差分を利用することにより、予測動きベクトルの評価を行うものである。

特開２０００−２５３４０７号公報

しかしながら、上述した特許文献１は、符号化装置おける探索中心点としての予測動きベクトル利用の判断を行うものであり、このような予測動きベクトルの評価だけでは、再符号化時における入力された符号データの動きベクトルを再利用すべきかどうかの判断は出来ないというという問題が生じる。

また、通常の動画像再符号化装置においては、動きベクトルの再利用を行わずに探索により動きベクトルを検出する手法と、動きベクトルをそのまま再利用する手法の２つの手法が考えられるが、前者の場合には、探索を行うことによる計算量の増大やハードウェア規模の増大という問題が生じ、後者の場合には、符号化効率の低下や画質劣化という問題が生じる。本発明が解決しようとする課題には上述した問題が一例として挙げられる。

本発明では、上記問題に鑑みてなされたものであって、予測動きベクトルと入力された符号データの動きベクトルの比較を行うことにより、動きベクトルの再利用の判断が出来るようになる動画像再符号化装置およびその動きベクトル判定方法を提供することを目的とするものである。すなわち、本発明は、動きベクトルや予測動きベクトルの単純な比較（例えば、分散や内積などのベクトル演算など）のみの処理で、計算量を抑え、かつ画質劣化等の問題を抑えて動きベクトルの再利用を判断することができる動画像再符号化装置およびその動きベクトル判定方法を提供することを目的とするものである。

このような目的を達成するため、請求項１に記載の動画像再符号化装置は、復号化部と動きベクトル判定部と符号化部とを少なくとも備えて構成され、入力符号データを再符号化する動画像再符号化装置において、上記復号化部は、上記入力符号データを復号して画像データを上記符号化部へ出力し、対象ブロックの動きベクトルを上記動きベクトル判定部に出力し、上記動きベクトル判定部は、動きベクトル判定処理を行い、判定処理の結果に基づいて上記対象ブロックの動きベクトルを上記符号化部に出力し、上記符号化部は、上記対象ブロックの動きベクトルを利用して、上記画像データを再符号化するものであって、上記動きベクトル判定部は、上記対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、上記予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力する予測動きベクトル精度判定部と、上記対象ブロックの動きベクトルと上記予測動きベクトルとを比較し、上記対象ブロックの動きベクトルの精度について判定処理を行い、上記対象ブロックの動きベクトルと動きベクトル判定結果とを出力する動きベクトル精度判定部と、上記予測動きベクトル判定結果と上記動きベクトル判定結果とを入力することにより総合判定を行い、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が高いと判定した場合に、上記対象ブロックの動きベクトルを上記符号化部へ出力する総合判定部と、を備えたことを特徴とする。

また、請求項９に記載の動きベクトル判定方法は、復号化部と動きベクトル判定部と符号化部とを少なくとも備えて構成され、入力符号データを再符号化する動画像再符号化装置における動きベクトル判定方法において、上記復号化部にて、上記入力符号データを復号して画像データを上記符号化部へ出力し、対象ブロックの動きベクトルを上記動きベクトル判定部に出力するステップと、上記動きベクトル判定部の予測動きベクトル精度判定部にて、上記対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、上記予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力するステップと、上記動きベクトル判定部の動きベクトル精度判定部にて、上記対象ブロックの動きベクトルと上記予測動きベクトルとを比較し、上記対象ブロックの動きベクトルの精度について判定処理を行い、上記対象ブロックの動きベクトルと動きベクトル判定結果とを出力するステップと、上記動きベクトル判定部の総合判定部にて、上記予測動きベクトル判定結果と上記動きベクトル判定結果とを入力することにより総合判定を行い、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が高いと判定された場合に、上記対象ブロックの動きベクトルを上記符号化部へ出力するステップと、上記符号化部にて、上記対象ブロックの動きベクトルを利用して、上記画像データを再符号化ステップと、を含むことを特徴とする。

以下に、本発明にかかる動画像再符号化装置およびその動きベクトル判定方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［動画像再符号化装置の概要］
以下、本動画像再符号化装置の概要について説明し、その後、本装置の構成および処理等について詳細に説明する。

本動画像再符号化装置は、概略的に、復号化部と、動きベクトル判定部と、符号化部とを少なくとも備えて構成される。ここで、復号化部は、入力符号データを復号して画像データを符号化部へ出力し、対象ブロックの動きベクトルを動きベクトル判定部に出力する。また、動きベクトル判定部は、動きベクトル判定処理を行い、判定処理の結果に基づいて対象ブロックの動きベクトルを符号化部に出力する。また、符号化部は、対象ブロックの動きベクトルを利用して、画像データを再符号化する。

ここで、この装置の動きベクトル判定部は、概略的に、以下の基本的特徴を有する。すなわち、動きベクトル判定部は、対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力する予測動きベクトル精度判定部と、対象ブロックの動きベクトルと予測動きベクトルとを比較し、対象ブロックの動きベクトルの精度について判定処理を行い、対象ブロックの動きベクトルと動きベクトル判定結果とを出力する動きベクトル精度判定部と、予測動きベクトル判定結果と動きベクトル判定結果とを入力することにより総合判定を行い、総合判定の結果、対象ブロックの動きベクトルの精度が高いと判定した場合に、対象ブロックの動きベクトルを符号化部へ出力する総合判定部と、を少なくとも備えて構成される。

ここで、予測動きベクトル精度判定部は、隣接ブロックの動きベクトルの揃い具合を利用することにより、予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を総合判定部へ出力してもよい。

また、動きベクトル精度判定部は、対象ブロックにＴｏｐ−動きベクトルとＢｏｔｔｏｍ−動きベクトルが存在している場合、対象ブロックのＴｏｐ−動きベクトルとＢｏｔｔｏｍ−動きベクトルの揃い具合を対象ブロックの動きベクトルの精度判定に利用してもよい。

また、動きベクトル精度判定部は、対象ブロックにＦｏｒｗａｒｄ−動きベクトルとＢａｃｋｗａｒｄ−動きベクトルが存在している場合、対象ブロックのＦｏｒｗａｒｄ−動きベクトルとＢａｃｋｗａｒｄ−動きベクトルの揃い具合を対象ブロックの動きベクトルの精度判定に利用してもよい。

また、動きベクトル精度判定部は、対象ブロックの動きベクトルと予測動きベクトルの揃い具合を対象ブロックの動きベクトルの精度判定に利用してもよい。ここで、動きベクトル精度判定部は、対象ブロックの動きベクトルと予測動きベクトルの揃い具合について、内積、長さの比率、分散、差分のうちいずれか一つを用いることにより求めてもよい。

また、総合判定部は、総合判定の結果、対象ブロックの動きベクトルの精度が低いと判定した場合に、判定結果情報を符号化部へ出力してもよい。また、この場合に、予測動きベクトル、ゼロベクトルを符号化部へ出力してもよい。

このように、本実施の形態の動画像再符号化装置は、予測ベクトルと入力された符号データの動きベクトルの比較を行うことにより、動きベクトルの再利用の判断が出来るようになる。すなわち、本実施の形態の動画像再符号化装置においては、動きベクトルや予測動きベクトルの単純な比較（例えば、分散や内積などのベクトル演算）のみの処理で動きベクトルの再利用判定を行うことができるため、計算量を抑え、かつ画質劣化等の問題をも抑えて容易に再符号化のための動きベクトルの評価を行うことができるという効果がある。

［装置構成］
以下、このような基本的特徴を具現化するための、本装置の構成について説明する。

図１は、本発明の動きベクトル判定部を含む動画像再符号化装置の構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。本発明の動きベクトル判定部を含む動画像再符号化装置は、DVD/HDDレコーダ、符号化変換装置および符号化変換プログラムなどとして実装してもよい。

図１において動画像再符号化装置（１）は、概略的に、復号化部（１１）、符号化部（１２）および動きベクトル判定部（１３）を備えて構成されている。

図１のように構成された動画像再符号化装置（１）は、ＭＰＥＧ−２などの入力符号データ（１４）が入力され、復号化部（１１）において復号処理を行い、復号された画像データ（１６）を符号化部（１２）において再符号化を行い、例えばＨ．２６４などの出力符号データ（１５）を出力する装置である。

ここで、復号化部（１１）から復号時に得られた入力符号データ（１４）の対象のマクロブロック（以下、単に「対象ブロック」と表す場合がある。）の動きベクトル（１７）が、動きベクトル判定部（１３）に入力されると、動きベクトル判定部（１３）が動きベクトル判定処理などを行い、判定処理の結果得られた動きベクトル情報（１８）および判定結果情報（１９）を符号化部（１２）に入力し、符号化部（１２）がこれらの情報を利用して再符号化を行う。

また、図２は、図１の本発明の動きベクトル判定部（１３）の構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。

図２において動きベクトル判定部（１３）は、概略的に、予測動きベクトル精度判定部（１３１）、動きベクトル精度判定部（１３２）、動きベクトル情報バッファ（１３３）および総合判定部（１３４）を備えて構成されている。

図２のように構成された動きベクトル判定部（１３）は、図１の復号化部（１１）から得られる対象マクロブロックの動きベクトル（１７）を入力とし、図１の符号化部（１２）に対して動きベクトル情報（１８）と動きベクトルの判定結果情報（１９）を出力とする。

ここで、動きベクトル判定部（１３）における処理の一実施の形態としては、動きベクトル情報バッファ（１３３）から隣接マクロブロック（以下、単に「隣接ブロック」と表す場合がある。）の動きベクトル（１３６）を取り出し、予測動きベクトル精度判定部（１３１）で予測動きベクトル情報（１３５）を作成し、さらに予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果（１３８）を総合判定部（１３４）へ出力する。

さらに動きベクトル精度判定部（１３２）においては、対象マクロブロックの動きベクトル（１７）と予測動きベクトル情報（１３５）の比較処理を行い、動きベクトル情報（１３９）と動きベクトル判定結果（１４０）を総合判定部（１３４）へ出力する。

また総合判定部（１３４）は、予測動きベクトル判定結果（１３８）と動きベクトル判定結果（１４０）により動きベクトルの総合判定処理を行い、動きベクトル情報（１８）と動きベクトルの判定結果情報（１９）を出力する。

ここで、総合判定部（１３４）から出力される動きベクトル情報（１８）及び（１３７）は、総合判定部（１３４）における総合判定の結果、対象ブロックの動きベクトルの精度が高いと判定した場合には当該対象ブロックの動きベクトルであり（再利用）、一方、対象ブロックの動きベクトルの精度が低いと判定した場合には予測動きベクトル、ゼロベクトル等に振り替えられた動きベクトルである（詳細は後述する）。

［動きベクトル判定部（１３）の処理］
次に、このように構成された本実施の形態における動きベクトル判定部（１３）の処理の一例について、以下に図３〜図８を参照して詳細に説明する。

図３は、本実施形態における動きベクトル判定部（１３）の処理の一例を示すフローチャートである。また、図４は、予測動きベクトルの精度が高い場合を示す概念図であり、図５は、予測動きベクトルの精度が低い場合を示す概念図であり、図６は、Ｔｏｐ−ＭＶおよびＢｏｔｔｏｍ−ＭＶを示す概念図であり、図７は、Ｆｏｒｗａｒｄ−ＭＶとＢａｃｋｗａｒｄ−ＭＶの関係を示す概念図であり、図８は、予測動きベクトルと動きベクトルの揃い具合の一例を示す概念図である。

ここで、以下に説明する実施の形態は、入力符号データＭＰＥＧ−２から出力符号データＨ．２６４への再符号化処理を一例にして説明する。

動きベクトル判定部（１３）による動きベクトル判定処理は、図３に示すように、大きく分けて３つのステップから成る。
（１）予測動きベクトル（以下、「ＭＶＰ」という。）の精度判定（予測動きベクトル精度判定部：図２の１３１：図３のステップＳ―１０）
（２）ＭＰＥＧ−２ 動きベクトル（以下、「ＭＶ」という。）の精度判定（動きベクトル精度判定部：図２の１３２：図３のステップＳ―２０）
（３）総合判定および動きベクトル振替処理（総合判定部：図２の１３４：図３のステップＳ―３０）

以下に、各処理の詳細を説明する。

（１）予測動きベクトルＭＶＰの精度判定について（ステップＳ―１０）
ＭＰＥＧ−２ ＭＶの判定を行う際に、ＭＰＥＧ−２ ＭＶとＭＶＰとの比較を行うことによって、ＭＰＥＧ−２ ＭＶの精度判定を行う。このとき、ＭＶＰの精度が高いことが条件となる。なぜなら、ＭＶＰの精度が悪いとＭＰＥＧ−２ ＭＶの比較対象として利用できないためである。

まず、Ｈ．２６４における予測動きベクトルＭＶＰの基本的な求め方は、図４に示すように、上、右上、左の隣接マクロブロック（以下、「ＭＢ」という。）“Ａ，Ｂ，Ｃ”における各ＭＶ“ＭＶａ，ＭＶｂ，ＭＶｃ”の水平成分、垂直成分のそれぞれの中央値として求められる。

すなわち、ＭＶａ＝（Ｘａ，Ｙａ），ＭＶｂ＝（Ｘｂ，Ｙｂ），ＭＶｃ＝（Ｘｃ，Ｙｃ）とすると、

ＭＶＰ＝（Ｘｐ，Ｙｐ）＝（ｍｅｄｉａｎ（Ｘａ，Ｘｂ，Ｘｃ），ｍｅｄｉａｎ（Ｙａ，Ｙｂ，Ｙｃ））

となる。

したがって、図４に示すように、隣接ＭＢの各ＭＶ“ＭＶａ，ＭＶｂ，ＭＶｃ”が揃っている場合には、ＭＶＰもほぼ同じＭＶになり、ＭＶＰの精度は高いと推定される。

一方、図５に示すように、隣接ＭＢの各ＭＶ“ＭＶａ，ＭＶｂ，ＭＶｃ”が揃っていない場合には、ＭＶＰは隣接ＭＢのどのＭＶとも異なってしまい、ＭＶＰの精度は低いと推定される。

以上のように、予測動きベクトルＭＶＰを決定するのに利用される隣接ＭＢのＭＶの揃い具合を利用することにより、ＭＶＰの精度判定を行う。

ここで、ＭＶの揃い具合を判定する方法については様々な方法が考えられるが、例えば、３つの隣接ＭＢのＭＶの水平成分“Ｘａ，Ｘｂ，Ｘｃ”および垂直成分“Ｙａ，Ｙｂ，Ｙｃ”のそれぞれの分散値を計算し、これをＭＶＰの精度判定に利用してもよい。

（２）ＭＰＥＧ−２ ＭＶの精度判定について（ステップＳ―２０）
ＭＶＰの精度判定の後、動きベクトル精度判定部（１３２）は、そのＭＶＰを利用してＭＰＥＧ−２ ＭＶの精度判定を行う。

ＭＰＥＧ−２ ＭＶの精度判定処理は次の３つの処理からなる。
Ａ） Ｔｏｐ／Ｂｏｔｔｏｍ−ＭＶ判定処理（ステップＳ―２１）
Ｂ） Ｆｏｒｗａｒｄ／Ｂａｃｋｗａｒｄ−ＭＶ判定処理（ステップＳ―２２）
Ｃ） ＭＰＥＧ−２ ＭＶ／ＭＶＰ判定処理（ステップＳ―２３）

以下に順番に詳細を説明する。

（２−Ａ） Ｔｏｐ／Ｂｏｔｔｏｍ−ＭＶ判定処理について（ステップＳ―２１）
図６に示すように、対象となるＭＢにＴｏｐ−動きベクトルＭＶ（以下、「ＭＶｔｏｐ」という。）およびＢｏｔｔｏｍ−動きベクトルＭＶ（以下、「ＭＶｂｔｍ」という。）の２つのＭＶが存在している場合、Ｈ．２６４におけるＭＢ内の２つのＭＶ“ＭＶｔｏｐ， ＭＶｂｔｍ”は共に同じフィールドのＭＶであり、ＭＰＥＧ−２ ＭＶの精度が高ければ、このＭＢ内で画像が上下２つに分かれそれぞれ別の動きをするようなオブジェクトの境界部分でない限り、２つのＭＶは近いベクトルであると考えられる。

したがって、ＭＢの２つのＭＶ“ＭＶｔｏｐ，ＭＶｂｔｍ”の揃い具合を、ＭＰＥＧ−２ ＭＶの精度判定に利用することが出来る。

ここで、２つのＭＶの揃い具合を判定する方法として、例えば、２つのＭＶの方向と長さを比較するために、２つのベクトルの内積、および、長さの比率を組み合わせ、これをＭＶの精度判定として利用してもよい。

以下に、MVtop”と“MVbtm”の２つのＭＶの内積および長さ比率を利用したＭＶの精度判定の具体例を示す。

２つのＭＶをそれぞれ以下のように表す。

これら２つのベクトルの方向成分の揃い具合を示す内積を正規化した形で表すと、次式inner_product_top/btmで求めることが出来る。

このinner_product_top/btmから内積による判定処理のためのコストI_top/btmを、

とすることにより、ベクトルの向きが一致する場合(I_top/btm=0)から正反対の場合(I_top/btm =1)をコストとして表現することが出来る。

さらに、ベクトルの向きの比較に加えて長さの比較を行うために、２つのベクトルの長さ比率length_ratio_top/btmは、

となる。このlength_ratio_top/btmから長さ比較による判定処理のためのコストL_top/btmを、

とすることにより、ベクトルの長さが一致する場合(L_top/btm =0)から完全に一致しない場合(L_top/btm =1)をコストとして表現することが出来る。

そして、上記により求められた内積によるコストI_top/btmと長さ比率によるコストL_top/btmを以下のように組み合わせることによって、２つのベクトルMVtopとMVbtmの判定コストCOST_top/btmを計算する。

上記ではCOST_top/btmを加算のより求めたが、以下のように乗算、最大／最小値選択などの手法により計算することも出来る。

（２−Ｂ） Ｆｏｒｗａｒｄ／Ｂａｃｋｗａｒｄ−ＭＶ判定処理について（ステップＳ―２２）
図７に示すように、通常ＭＢにおけるＦｏｒｗａｒｄ−動きベクトルＭＶ（以下、「ＭＶｆｗ」という。）とＢａｃｋｗａｒｄ−動きベクトルＭＶ（以下、「ＭＶｂｗ」という。）の関係は、対象となるオブジェクトが動いている場合、それぞれのＭＶはほぼ反対方向を向くはずである。

逆に、それぞれのＭＶが同じ方向を向いていたり、直角になっていたりする場合は、ＭＶの精度が低いと推定される。

したがって、ＭＢの２つのＭＶ“ＭＶｆｗ，ＭＶｂｗ”の揃い具合を、ＭＰＥＧ−２ ＭＶの精度判定に利用することが出来る。

ここで、２つのＭＶの揃い具合を判定する方法として、例えば、２つのＭＶの方向と長さを比較するために、２つのベクトルの内積、および、長さの比率を組み合わせ、これをＭＶの精度判定として利用してもよい。

以下にMVfw”と“MVbw”の２つのＭＶの内積および長さ比率を利用したＭＶの精度判定の具体例を示す。

２つのＭＶをそれぞれ以下のように表す。

これら２つのベクトルの方向成分の揃い具合を示す内積を正規化した形で表すと、次式inner_product_fw/bwで求めることが出来る。

このinner_product_fw/bwから内積による判定処理のためのコストI_fw/bwを、

とすることにより、ベクトルの向きが正反対の場合 (I_fw/bw =0)から一致する場合 (I_fw/bw =1)をコストとして表現することが出来る。

さらに、ベクトルの向きの比較に加えて長さの比較を行うために、２つのベクトルの長さ比率length_ratio_fw/bwは、

となる。このlength_ratio_fw/bwから長さ比較による判定処理のためのコストL_fw/bwを、

とすることにより、ベクトルの長さが一致する場合(L_fw/bw =0)から完全に一致しない場合(L_fw/bw =1)をコストとして表現することが出来る。

そして、上記により求められた内積によるコストI_fw/bwと長さ比率によるコストL_fw/bwを以下のように組み合わせることによって、２つのベクトルMVfwとMVbwの判定コストCOST_fw/bwを計算する。

上記ではCOST_fw/bwを加算により求めたが、以下のように乗算、最大／最小値選択などの手法により計算することも出来る。

（２−Ｃ） ＭＰＥＧ−２ ＭＶ／ＭＶＰ判定処理について（ステップＳ―２３）
予測動きベクトルＭＶＰの精度判定の結果、ＭＶＰの精度が高いと判定された場合、そのＭＶＰは対象のＭＢがオブジェクトの境界部分等でない限り、ＭＶＰとＭＶは近い可能性が高い。

逆に、ＭＶＰの精度が高いと判定されているのに、ＭＶＰとＭＶが離れている場合には、ＭＰＥＧ−２ ＭＶの精度が低い、もしくは、オブジェクトの境界部分であると考えられる。

したがって、図８に示すようなＭＶＰとＭＰＥＧ−２ ＭＶの揃い具合を、ＭＰＥＧ−２ ＭＶの精度判定に利用することが出来る。

ここで、ＭＶＰとＭＶの揃い具合を判定する方法として、例えば、２つのＭＶの方向と長さを比較するために、２つのベクトルの内積、および、長さの比率を組み合わせ、これをＭＰＥＧ−２ ＭＶの精度判定として利用してもよい。

以下に、“ＭＶ”と“ＭＶＰ”の２つのＭＶの内積および長さ比率を利用したＭＶの精度判定の具体例を示す。

２つのＭＶをそれぞれ以下のように表す。

これら２つのベクトルの方向成分の揃い具合を示す内積を正規化した形で表すと、次式inner_product_mv/mvpで求めることが出来る。

このinner_product_mv/mvpから内積による判定処理のためのコストI_mv/mvpを、

とすることにより、ベクトルの向きが一致する場合(I_mv/mvp =0)から正反対の場合(I_mv/mvp =1)をコストとして表現することが出来る。

さらに、ベクトルの向きの比較に加えて長さの比較を行うために、２つのベクトルの長さ比率length_ratio_mv/mvpは、

となる。このlength_ratio_mv/mvpから長さ比較による判定処理のためのコストL_mv/mvpを、

とすることにより、ベクトルの長さが一致する場合(L_mv/mvp =0)から完全に一致しない場合(L_mv/mvp =1)をコストとして表現することが出来る。

そして、上記により求められた内積によるコストI_mv/mvpと長さ比率によるコストL_mv/mvpを以下のように組み合わせることによって、２つのベクトルMVとMVPの判定コストCOST_mv/mvpを計算する。

上記ではCOST_mv/mvpを加算のより求めたが、以下のように乗算、最大／最小値選択などの手法により計算することも出来る。

（３）総合判定および動きベクトル振替処理について（ステップＳ―３０）
総合判定部（１３４）は、「（１） ＭＶＰの精度判定」と「（２） ＭＰＥＧ−２ ＭＶの精度判定」の結果を組み合わせることにより、最終的なＭＰＥＧ−２ ＭＶの精度判定を行う。

総合判定の結果、ＭＰＥＧ−２ ＭＶの精度が高いと判定された場合には、ＭＰＥＧ−２ ＭＶをＨ．２６４ ＭＶとして再利用するために、動きベクトル判定部（図１の１３）から符号化部（図１の１２）に動きベクトル情報（図１の１８）を渡す。

逆に、総合判定の結果、ＭＰＥＧ−２ ＭＶの精度が低いと判定された場合には、ＭＰＥＧ−２ ＭＶをＨ．２６４ ＭＶとして再利用せずに、動きベクトル判定部（図１の１３）から符号化部（図１の１２）に判定結果情報（図１の１９）を渡す。

さらに、ＭＰＥＧ−２ ＭＶを再利用しない場合のＭＶの振替処理については、予測動きベクトルＭＶＰをＭＶとして利用してもよく、また、零ベクトル（０，０）を利用する方法や、ＭＶＰの周辺を再探索することにより最適なＭＶを検出する方法、イントラ予測モードに振替える方法などを利用してもよい。

ここで、総合判定の具体例としては、「（１）MVPの精度判定」においてMVPの精度が高いと判定された場合、かつ、「（２）MPEG-2 MVの精度判定」においてMPEG-2 MVの精度が低いと判定された場合に、総合判定結果としてMPEG-2 MVの精度が低いと判定してもよい。

また、「（１）MVPの精度判定」においては、３つの隣接MBのＭＶの水平成分と垂直成分のそれぞれの分散値の和が、ある閾値より小さい場合にはMVPの精度が高いと判定し、ある閾値より大きい場合にはMVPの精度が低いと判定してもよい。

一方、「（２）MPEG-2 MVの精度判定」においては、前述のA),B),C)で計算したそれぞれのコスト、COST_top/btm, COST_fw/bw, COST_mv/mvpからMPEG-2 MVのコストCOSTを求め、このコストがある閾値より大きければMPEG-2 MVの精度は低いと判定し、ある閾値より小さければMPEG-2 MVの精度は高いと判定してもよい。

MPEG-2 MVのコストCOSTを求める方法としては、

のように加算により求める方法や、以下のように乗算、最大／最小値選択により求めることも出来る。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、上述した実施例においては、（１）予測動きベクトルの精度判定、（２）MPEG-2動きベクトルの精度判定の両方を行う構造であるが、（２）の処理だけを行うようにしてもよい。これによりさらに計算量を抑えられる。

また、（２）MPEG-2動きベクトルの精度判定の処理においても、(2-A)Top/Bottom-MVの判定、(2-B)FW/BW-MVの判定、(2-C)MPEG-2 MV/MVPの判定という3つの処理を組み合わせたが、(2-A)と(2-C)のみ、(2-B)と(2-C)のみ、(2-C)のみ等の組み合わせで処理を行ってもよい。

さらに、実施例の各処理におけるベクトルの比較処理で、ベクトルの分散を利用したり、内積や長さ比率などを利用したが、それぞれの処理において実施例にある組み合わせが必須ではなく、ベクトルの揃い具合やばらつき具合を判定できるならば、分散、内積、長さ比率、差分など何れかもしくは組み合わせで判定処理を行うことも可能である。

すなわち、動きベクトルの判定の精度を高めることに重点をおくのであれば、上述の判定方法を適切に組み合わせることで精度を高めることが可能であり、逆に計算量を抑えることに重点を置くのであれば、上述の判定方法のうち計算量の軽い処理を適宜、選択利用することが可能である。

また、本実施例においては、２つのＭＶの比較を行う手法として、内積と長さ比率を組み合わせた手法を例示したが、他の実施例として２つのＭＶの差分により比較を行う手法を用いてもよい。なお、差分を利用する方法は、内積や長さ比率を利用する方法と比べて計算量が少なくすることができるという特徴がある。

まず、２つのベクトルを

とすると、この２つのベクトルの差分MVDは、

となる。

この差分MVDの大きさをコストD_a/bとし、コストがある閾値より大きければ２つのベクトルは揃っていないと判定し、ある閾値より小さければ揃っていると判定することが出来る。

ここで、差分MVDの大きさの求め方としては、

のように水平成分、垂直成分の大きさを単純に加算する方法や、

のように差分ベクトルの長さを利用する方法がある。

また、実施形態において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行なわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

また、図１および図２に示した各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

本発明の動きベクトル判定部を含む動画像再符号化装置の構成の一例を示すブロック図である。 本発明の図１の動きベクトル判定部（１３）の構成の一例を示すブロック図である。 本実施形態における動きベクトル判定部（１３）の処理の一例を示すフローチャートである。 予測動きベクトルの精度が高い場合を示す概念図である。 予測動きベクトルの精度が低い場合を示す概念図である。 Ｔｏｐ−ＭＶおよびＢｏｔｔｏｍ−ＭＶを示す概念図である。 Ｆｏｒｗａｒｄ−ＭＶとＢａｃｋｗａｒｄ−ＭＶの関係を示す概念図である。 予測動きベクトルと動きベクトルの揃い具合の一例を示す概念図である。

符号の説明

１ 動画像再符号化装置
１１ 復号化部
１２ 符号化部
１３ 動きベクトル判定部
１３１ 予測動きベクトル精度判定部
１３２ 動きベクトル精度判定部
１３３ 動きベクトル情報バッファ
１３４ 総合判定部

Claims (9)

1. 復号化部と動きベクトル判定部と符号化部とを少なくとも備えて構成され、入力符号データを再符号化する動画像再符号化装置において、
   上記復号化部は、上記入力符号データを復号して画像データを上記符号化部へ出力し、対象ブロックの動きベクトルを上記動きベクトル判定部に出力し、
   上記動きベクトル判定部は、動きベクトル判定処理を行い、判定処理の結果に基づいて上記対象ブロックの動きベクトルを上記符号化部に出力し、
   上記符号化部は、上記対象ブロックの動きベクトルを利用して、上記画像データを再符号化するものであって、
   上記動きベクトル判定部は、
   上記対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、上記予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力する予測動きベクトル精度判定部と、
   上記対象ブロックの動きベクトルと上記予測動きベクトルとを比較し、上記対象ブロックの動きベクトルの精度について判定処理を行い、上記対象ブロックの動きベクトルと動きベクトル判定結果とを出力する動きベクトル精度判定部と、
   上記予測動きベクトル判定結果と上記動きベクトル判定結果とを入力することにより総合判定を行い、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が高いと判定した場合に、上記対象ブロックの動きベクトルを上記符号化部へ出力する総合判定部と、
   を備えたことを特徴とする動画像再符号化装置。
2. 請求項１に記載の動画像再符号化装置において、
   上記予測動きベクトル精度判定部は、上記隣接ブロックの動きベクトルの揃い具合を利用することにより、上記予測動きベクトルの精度について判定処理を行い、上記予測動きベクトル判定結果を上記総合判定部へ出力すること、
   を特徴とする動画像再符号化装置。
3. 請求項１に記載の動画像再符号化装置において、
   上記動きベクトル精度判定部は、上記対象ブロックにＴｏｐ−動きベクトルとＢｏｔｔｏｍ−動きベクトルが存在している場合、上記対象ブロックの上記Ｔｏｐ−動きベクトルと上記Ｂｏｔｔｏｍ−動きベクトルの揃い具合を上記対象ブロックの動きベクトルの精度判定に利用すること、
   を特徴とする動画像再符号化装置。
4. 請求項１に記載の動画像再符号化装置において、
   上記動きベクトル精度判定部は、上記対象ブロックにＦｏｒｗａｒｄ−動きベクトルとＢａｃｋｗａｒｄ−動きベクトルが存在している場合、上記対象ブロックの上記Ｆｏｒｗａｒｄ−動きベクトルと上記Ｂａｃｋｗａｒｄ−動きベクトルの揃い具合を上記対象ブロックの動きベクトルの精度判定に利用すること、
   を特徴とする動画像再符号化装置。
5. 請求項１に記載の動画像再符号化装置において、
   上記動きベクトル精度判定部は、上記対象ブロックの動きベクトルと上記予測動きベクトルの揃い具合を上記対象ブロックの動きベクトルの精度判定に利用すること、
   を特徴とする動画像再符号化装置。
6. 請求項３〜５のいずれか一つに記載の動画像再符号化装置において、
   上記動きベクトル精度判定部は、上記対象ブロックの動きベクトルと上記予測動きベクトルの揃い具合について、内積、長さの比率、分散、差分のうちいずれか一つを用いることにより求めること、
   を特徴とする動画像再符号化装置。
7. 請求項１に記載の動画像再符号化装置において、
   上記総合判定部は、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が低いと判定した場合に、判定結果情報を上記符号化部へ出力することを特徴とする動画像再符号化装置。
8. 請求項１に記載の動画像再符号化装置において、
   上記総合判定部は、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が低いと判定した場合に、上記予測動きベクトル、ゼロベクトルを上記符号化部へ出力することを特徴とする動画像再符号化装置。
9. 復号化部と動きベクトル判定部と符号化部とを少なくとも備えて構成され、入力符号データを再符号化する動画像再符号化装置における動きベクトル判定方法において、
   上記復号化部にて、上記入力符号データを復号して画像データを上記符号化部へ出力し、対象ブロックの動きベクトルを上記動きベクトル判定部に出力するステップと、
   上記動きベクトル判定部の予測動きベクトル精度判定部にて、上記対象ブロックに隣接する隣接ブロックの動きベクトルから予測動きベクトルを作成し、上記予測動きベクトルの精度について判定処理を行い、予測動きベクトル判定結果を出力するステップと、
   上記動きベクトル判定部の動きベクトル精度判定部にて、上記対象ブロックの動きベクトルと上記予測動きベクトルとを比較し、上記対象ブロックの動きベクトルの精度について判定処理を行い、上記対象ブロックの動きベクトルと動きベクトル判定結果とを出力するステップと、
   上記動きベクトル判定部の総合判定部にて、上記予測動きベクトル判定結果と上記動きベクトル判定結果とを入力することにより総合判定を行い、上記総合判定の結果、上記対象ブロックの動きベクトルの精度が高いと判定された場合に、上記対象ブロックの動きベクトルを上記符号化部へ出力するステップと、
   上記符号化部にて、上記対象ブロックの動きベクトルを利用して、上記画像データを再符号化ステップと、
   を含むことを特徴とする動きベクトル判定方法。

Images