JP2005515731A

JP2005515731A - ウェーブレット定義域ハーフピクセル動き補償

Info

Publication number: JP2005515731A
Application number: JP2003561253A
Authority: JP
Inventors: リー、フレデリック; チャング、ジョナサン
Original assignee: オクタ・テクノロジー・インコーポレイテッド
Priority date: 2002-01-09
Filing date: 2003-01-09
Publication date: 2005-05-26
Also published as: US20030128760A1; CN100366093C; EP1470725A1; KR20040083422A; CN1640147A; US6888891B2; WO2003061296A1; EP1470725A4; AU2003207502A1

Abstract

本発明は、エイリアシング効果を減少させ、逆ウェーブレット変換を必要としないでウェーブレット定義域における動き予測及び補償（４９０）を提供するウェーブレット定義域ハーフピクセル動き補償プロセス（図４）に関する。エンコーディングには、従来の方式で、ｑ−次元Ｈ変換（４９０）が第１フレームに於ける非オーバーラッピングｑ×ｑマトリクスに対して提供される。第２フレームのための動きベクトルが決定されるとき、第１フレームのウェーブレットデータのハーフピクセル補間（４８０）が、変換されたｑ×ｑマトリクスより水平及び／又は垂直にずれたｑ×ｑ空間定義域マトリクスに対応するハーフピクセルデータ（４８０）を生成する。動き予測技術（４９０）は、次に、１フレームのウェーブレット定義域オブジェクトデータと、別フレームの為の実際及び補間されたウェーブレット定義域データとを比較することによってオブジェクトの動きを識別しうる。ハーフピクセル補間若しくはデータの生成（４８０）が、高性能なウェーブレットビデオエンコーダにおいてマルチ解像度の動き予測と共に併用されて良い。

Description

ウェーブレット変換は、イメージ内の変化を近似して、イメージを捕捉する人間の視覚系に巧みに適応させる空間周波数定義域構造として静止画を分解する。結果として、ウェーブレット圧縮技術は、静止画圧縮の定義域において多大な成功を収めてきた。例えば、米国のＦＢＩの指紋圧縮標準ＪＰＥＧ２０００、及びＩＳＯ静止画圧縮標準ＪＰＥＧ２０００では、ウェーブレット圧縮技術が用いられている。

ウェーブレット変換の一つの型として、Ｈ変換すなわちＨａａｒ変換の拡張がある。数式１は、二次元のＨ変換マトリクスＨを示すものである。ここで数式２では、係数ａ００、ａ０１、ａ１０、及びａ１１を有する２×２マトリクスＡである空間定義域を、係数ｈ０、ｈｘ、ｈｙ、及びｈｄを有するウェーブレット定義域マトリクスへと変換する。イメージエンコーディングのためには、係数ａ００、ａ０１、ａ１０、及びａ１１はピクセル値（例えばカラー値、グレイスケール値、若しくはＲＧＢ又はＹＵＶのカラーコンポーネント値）であり、イメージ内の対応ピクセル位置に従ったマトリクスＡ内の位置を有する。変換後のマトリクスでは、ウェーブレット定義域値ｈ０がマトリクスＡの（低周波数の）平均空間エネルギーを示しており、ウェーブレット定義域値ｈｘ、ｈｙ、ｈｄは、各々、マトリクスＡ内の（高周波数）垂直、水平、及び対角方向の変化を示す。

ここで、

となる。

しかしながら、Ｈ変換は基本的に二次元のマトリクス変換であり、ピクセル値ａ００、ａ０１、ａ１０、及びａ１１、及び、ウェーブレット定義域値ｈ０、ｈｘ、ｈｙ、及びｈｄを、４つのコンポーネントベクトルへと再整列させることによって、数式３が、シングルマトリクス乗法を用いたウェーブレット定義域に対するピクセル値のＨ変換を示し、ここでは、

となる。

Ｈ変換を用いる一つの静止画エンコーディング方法は、イメージを示すピクセル値のＮ×Ｎマトリクスを分解し、Ｎ／２×Ｎ／２非オーバーラップ２×２マトリクスとし、ピクセル値の各々の２×２マトリクスに対して二次元Ｈ変換を適用するものである。完全なＮ×Ｎマトリクスのためのウェーブレット変換コンポーネントは、次に再整列され、図１に示されているようなアレイ１００を構成する。示されているとおり、アレイ１００は、オリジナルのＮ×Ｎアレイ内の２×２空間定義域マトリクスに対応する空間位置に応じたＮ／２×Ｎ／２サブアレイＨ０内に配置された低周波数コンポーネントｈ０を有する。Ｎ／２×Ｎ／２サブアレイであるＨｘ、Ｈｙ、及びＨｄは、オリジナルのＮ×Ｎアレイ内の対応する２×２マトリクスの空間位置によって、Ｎ／２×Ｎ／２サブアレイであるＨｘ、Ｈｙ、及びＨｄ内部に各々配置された高周波数コンポーネントｈｘ、ｈｙ、及びｈｄを有する。

オリジナルイメージのＨ変換と同様の規則で、Ｈ変換が低周波数サブアレイＨ０に適用されても良く、結果として獲得されたレベル２の変換構成要素ｈ０’、ｈｘ’、ｈｙ’、及びｈｄ’が、Ｎ／４×Ｎ／４サブアレイであるＨ０’、Ｈｘ’、Ｈｙ’、及びＨｄ’内に配置されても良い。プロセスが複数回繰り返され、図２で示されているようなマルチ解像度ピラミッドデータ構造を構築する。静止画をエンコードし、変換し、ストアするとき、不可逆圧縮が、ピラミッド構造の一つ若しくは複数のより低いレベルに落ちて（ｄｒｏｐ）も良く、データ／圧縮の量が、イメージの利用可能帯域幅、すなわち所望とする解像度に適応して容易に変化若しくは適合してよい。

ビデオ（動画）のエンコーディングは、一般的には、異なった時間インデックスを有するフレーム内の冗長な情報を除去する、動き予測／補償手順を用いるものである。ビデオイメージのフレームのウェーブレット変換を用いるようなシステムでは、ウェーブレット定義域におけるイメージデータ上で直接的に動き予測を実行することが望ましい。しかしながら、ビデオに於けるオブジェクトの比較的小さな動きが、ウェーブレット定義域データ、とりわけ高周波数コンポーネントにおいて著しい変化を引き起こし得る。

図３は、背景色“ｅ”上に色“ｄ”を有するオブジェクトを含むイメージの実施例である。オブジェクトの一部に対応する２×２マトリクス３１０のＨ変換が、値２ｄを有する低周波数コンポーネントｈ０を提供し、０である高周波数コンポーネントｈｘを提供する。次のフレームで、オブジェクトが左に１ピクセル移動するとすると、オブジェクトのエッジが２×２マトリクス３２０内となり、マトリクス３２０はマトリクス３１０が第１フレーム内で有していたの同様に、第２のフレーム内で同一の相対位置を有する。マトリクス３２０のＨ変換によって、値ｄ＋ｅを有する低周波数コンポーネントｈ０が提供され、ｅ−ｄである高周波数コンポーネントｈｘが提供される。従って、色ｅが色ｄと著しく異なるとき、オブジェクトの小さな動きがウェーブレット定義域データに於ける大きな変化を招く。

ウェーブレット定義域における迅速な変化によって、ウェーブレット定義域における動き予測技術が複雑になってしまう。動き予測は空間定義域で実行されうるが、圧縮のための空間定義域からウェーブレット定義域への変換、及び動き予測のための空間定義域への戻り（ｂａｃｋ）は、ウェーブレット定義域ピラミッド構造のレベルに対応した一連の逆ウェーブレット変換を要求する。逆ウェーブレット変換は、エンコーディングを複雑にしてしまい、処理能力の低いシステムにとってはリアルタイムエンコーディングが困難となる。そのようなわけで、ビデオエンコーディングシステムは、低処理能力でよく、充分なウェーブレット定義域圧縮を用いることが要求される。

（発明の効果）
本発明の一側面に依れば、Ｈ変換を用いた複雑性の低いハーフピクセル補間プロセスが、動き予測、及び逆ウェーブレット変換を要しないウェーブレット定義域内補償を提供する。エンコーディングのためには、ｑ次元（例えばｑ＝２）Ｈ変換が、第１フレームアレイに於けるオーバーラップしないｑ×ｑマトリクスに対し従来方式で適用され、第１フレームを示すウェーブレット定義域データ構造を構築する。第２フレームのための動きベクトルを決定するとき、第１フレームのウェーブレットデータの“ハーフピクセル補間”が、ｑ×ｑマトリクスの標準セットより水平及び／又は垂直に（例えば１ピクセル分）ずれた、ｑ×ｑマトリクスのウェーブレット変換に対応するハーフピクセルデータを生成する。動き予測技術は、次に、第２フレームアレイのためのウェーブレット定義域データと、第１フレームのための現実のウェーブレット定義域データ及び補間“ハーフピクセル”のウェーブレット定義域データとを比較することで、第２フレームのオブジェクトを識別しうる。

本発明の一実施例は、ウェーブレット変換ユニット、ハーフピクセルデータジェネレータ、及び動き予測ユニットを有するエンコーダである。ウェーブレット変換ユニットは、空間定義域よりウェーブレット定義域へと従来の方式を用いてビデオデータ変換を行い、ビデオフレームを表現するものである。ハーフピクセルデータジェネレータは、ウェーブレット変換ユニットよりウェーブレット定義域データを受信し、ハーフピクセルデータを生成する。ハーフピクセルデータは、ウェーブレット変換ユニットが変換するマトリクスに対しずれているマトリクスのウェーブレット変換の結果得られるウェーブレット定義域データを近似する。ハーフピクセルデータジェネレータは、以下に述べるような公式及び方法を用いて良く、逆ウェーブレット変換を採用することなく、ウェーブレット定義域データよりハーフピクセルデータを生成する。

動き予測ユニットは、コードされたフレームに於けるオブジェクトブロックにベストマッチングするブロックのため、ウェーブレット定義域データ及びハーフピクセルデータの双方をサーチする。従って、インターコードされたフレーム内のオブジェクトブロックのための動き予測は、ウェーブレット定義域データのブロック若しくはハーフピクセルデータのブロックであるベストマッチを識別しうる。

一般的に、エンコーダはさらに量子化ユニット及び逆量子化ユニットを含む。量子化ユニットは、デコーダに送信するためのフレームエンコーディングを行うべくデータを量子化する。逆量子化ユニットは、量子化ユニットよりのアウトプットデータを逆量子化し、次のフレームの動き予測で用いられるためのメモリ、すなわちバッファ内に結果をストアする。とりわけ、ハーフピクセルジェネレータは、典型的にはウェーブレット定義域データを量子化及び逆量子化した後に用いるので、生成されたハーフピクセルデータが、デコーダが生成しうるハーフピクセルデータと同一であって良い。

本発明の別の実施例は、ビデオエンコーディングのプロセスである。エンコーディングプロセスには、ビデオデータの第１フレーム上でウェーブレット変換を実行し第１ウェーブレット定義域データを生成する過程、及び第１ウェーブレット定義域データよりハーフピクセルデータを生成する過程が含まれる。ハーフピクセルデータは、ウェーブレット変換の間に用いられるマトリクスと比較してずれたマトリクスのウェーブレット変換の結果として生じうるウェーブレット定義域データを近似する。エンコーディングプロセスは、次に、第２フレームのウェーブレット定義域データよりのオブジェクトブロックにベストマッチングするブロックのために、ウェーブレット定義域データ及びハーフピクセルデータをサーチして良い。従って、第２フレームを表すデータ構造すなわちストリームが、オブジェクトブロックにベストマッチするウェーブレット定義域データ若しくはハーフピクセルデータのブロックを識別する動きベクトルを含んでいても良い。

本発明の更に別の実施例は、ビデオデコードプロセスを含む。デコーディングプロセスは、データ構造すなわちデータストリームをデコードし、ビデオの第１フレームに関連するウェーブレット定義域差分アレイ及び動きベクトルを復元する。各々の動きベクトルのため、デコーディングプロセスが、動きベクトルが第１タイプであるか第２タイプであるかを決定する。第１タイプの動きベクトルは、第２フレームを示すウェーブレット定義域データ各ブロックを識別する。第２タイプの動きベクトルは、第２フレームの一部分を示す、ずれたマトリクスのウェーブレット変換近似に対応するハーフピクセルデータの各ブロックを識別し、ここで、ずれたマトリクスは、第２フレームを示すウェーブレット定義域データを生成する際に用いられるマトリクスに対しずれている。

第１フレームのためにウェーブレット定義域データを生成すべく、デコーディングプロセスが第１タイプの動きベクトルによって識別されたウェーブレット定義域データの各ブロックを、差分アレイの各部分に加算する。加えて、第２タイプの各動きベクトルのために、デコーディングプロセスが、第２タイプの動きベクトルによって識別されたハーフピクセルウェーブレット定義域データのブロックを生成する際に第２フレームを示すウェーブレット定義域データを使用し、また生成されたブロックを動きベクトルに対応する差分アレイの一部に加算する。第１フレームのための構成されたウェーブレット定義域データの逆ウェーブレット変換によって、第１フレームの表示が可能となる。

本発明の更に別の実施例には、ビデオを示すデータ構造が含まれる。ある実施例では、データ構造が、ビデオの第１フレームの為のウェーブレット定義域データを有する第１のデータ、ビデオの第２フレームの為のウェーブレット定義域差分アレイを有する第２のデータ、及び第１及び第２タイプの動きベクトルを含む。第１タイプの動きベクトルは、差分アレイに於ける各ブロックに対応し、差分アレイ中の各ブロックに対する加算の為の第１フレームのウェーブレット定義域データブロックを識別する。第２タイプの動きベクトルは、差分アレイ中の各ブロックに対応し、差分アレイ中の各ブロックに加算するためのハーフピクセルデータブロックを識別する。ここで、ハーフピクセルデータは、第１のフレームの為のウェーブレット定義域データ生成するのに用いたれた第１フレームよりのアレイに対してずれている第１フレーム中のアレイのウェーブレット変換を近似する。

本発明の一側面によれば、ビデオエンコードための動き予測プロセスは、ウェーブレット変換が決定したウェーブレット定義域イメージデータより“ハーフピクセル”のウェーブレット定義域データを生成する。ハーフピクセルデータは、ウェーブレット変換で用いられるマトリクスより、水平、垂直、若しくは対角線上にずれた、空間定義域若しくは低周波数マトリクスのウェーブレット変換結果を近似する。近似されたハーフピクセルデータは、動き予測の間に逆ウェーブレット変換及びウェーブレットデータ再変換を必要とすることなく決定され、低い有効処理能力の装置及びアプリケーションに適している。ビデオに於けるオブジェクトの動きを示す動きベクトル決定の動き予測手順は、あるフレームからのウェーブレット定義域データへのウェーブレット定義域オブジェクトブロックと、別フレームのハーフピクセルデータとを比較しうる。

図４は、本発明の実施例によるビデオエンコーダ４００のブロック図である。ビデオエンコーダ４００は、ウェーブレット変換ユニット４１０、量子化ユニット４３０、エントロピーエンコードユニット４４０、逆量子化ユニット４５０、ハーフピクセルデータジェネレータ４８０、及び動き予測ユニット４９０を有する。ビデオエンコーダ４００の機能ブロックは、専用のハードウェア、ソフトウェア、若しくはそれらの組み合わせを実行することで実現されてよく、ここに記載されているエンコード機能を実行する。

動作中、ウェーブレット変換ユニット４１０は、ビデオイメージよりの一連のフレームを示す一連の空間定義域アレイとして、ビデオイメージデータをレシーブする。ウェーブレット変換ユニット４１０は、各々の空間定義域アレイをウェーブレット定義域データ構造へと変換させる。特に、ウェーブレット変換ユニット４１０は、各々の空間定義域アレイを非オーバーラッピングｑ×ｑマトリクスのセットへと分離させ、各々ｑ×ｑのウェーブレット定義域変換を実行する。本発明の実施例では、ｑは２であり、空間定義域、若しくは低周波数アレイのウェーブレット変換は、式１、２、及び３の二次元Ｈ変換である。低周波数ウェーブレット定義域データは、次に、空間定義域アレイと同一の規則で変換された低周波数コンポーネントアレイへと集約（ｃｏｌｌｅｃｔ）されて良い。低周波数アレイを繰り返し構築し、構築されたアレイへとウェーブレット変換を適用することで、ウェーブレット変換ユニット４１０は、図２で示されているようなピラミッドデータ構造を構築する。一般的には、ピラミッドデータ構造におけるレベルの数は、単一レベルにのみ限定されることを含め所望に限定される。

上述したような２次元Ｈ変換は、高速での低複雑性エンコーダの使用で複数のメリットを有している。とりわけ、オーバーラップしないｑ×ｑピクセルブロック変換は、エンコーダ４００内でのパラレル処理アーキテクチャのインプリメンテーションを単純化する。また、Ｈ変換は小カーネルを含んでおり、８回の整数の加法／減法によって、空間的若しくは低周波数コンポーネントであるａ００、ａ０１、ａ１０、及びａ１１の、ウェーブレット定義域値ｈ０、ｈｘ、ｈｙ、及びｈｄへの変換を完了させることが可能となる。加えて、第１にロウを変換し、次にカラムを変換することによる、二次元拡張された一次元変換とは異なった二次元ウェーブレット変換が、水平方向のより高周波数の貢献（ｃｏｎｔｒｉｂｕｔｉｏｎ）、及び垂直方向の低周波数のコンポーネントに隠れた問題を回避する。

エンコードされたフレームがウェーブレット変換ユニット４１０を通過した後、エンコーダ４００内のすべてのエンコードプロセスがウェーブレット定義域内で実行される。動き予測を用いずにコードされた、ｉｎｔｒａフレームのためには、量子化ユニット４３０が、ウェーブレット変換ユニット４２０よりのウェーブレット定義域データを量子化し、エントロピーコーディングユニット４４０がｉｎｔｒａフレームを示す量子化されたウェーブレットデータに対してハフマンエンコーディングのようなエンコーディング法を適用する。ビデオエンコーダ４００のアプリケーションに依って、エンコードされたイメージデータが転送されても良く、またストアされても良い。

逆量子化ユニット４５０は、エンコーダ４００よりのデコーダレシーブデータとして、量子化ユニット４３０よりのデータの量子化を取り消す。ｉｎｔｅｒフレームを連続してエンコーディングするために、逆量子化ユニット４５０は、最終的なウェーブレット定義域データをフレームメモリ４７０内にストアする。

ｉｎｔｅｒフレームは、ウェーブレット変換４１０よりのウェーブレット定義域データ及び動きベクトルを用いて構成された類似するウェーブレット定義域データと、ストアされたウェーブレット定義域データ及び別フレームのためのハーフピクセルデータとの間の差分としてエンコードされる。特に、加算器４２０は、ウェーブレット変換ユニット４１０が量子化ユニット４３０へとアウトプットするウェーブレット定義域データより構成フレームデータを減じる。一般的には、差分データは、図２に示されているピラミッド構造に於けるウェーブレット定義域データの各々のアレイ若しくはサブアレイのための差分アレイを含んでいて良い。

ｉｎｔｅｒフレームのためには、逆量子化ユニット４５０が差分データを逆量子化し、加算器４６０が、動きベクトルより構成された同一のフレームデータ及びウェーブレット定義域データ若しくはフレームメモリ４７０内に先にストアされているハーフピクセルデータを加算しなおす。結果として得られるウェーブレット定義域フレームデータが、別のｉｎｔｅｒフレームに要求されてよい動き予測プロセスのため、フレームメモリ４７０内にストアされる。

結果として得られた差分フレームデータは、量子化ユニット４３０によって量子化され、またエントロピーコーディングユニット４４０によってエンコードされる。エントロピーコーディングユニット４４０はまた、アウトプットデータＣＯＤＥの一部としてｉｎｔｅｒフレームのために動きベクトルをエンコードする。

図５はアウトプットデータＣＯＤＥをデコーディングすることが可能なデコーダ５００のブロック図である。デコーダ５００は、エントロピーデコーディングユニット５１０及び逆量子化ユニット５２０を有しており、逆量子化ユニットが量子化及びエントロピーコーディングを取り消し、ｉｎｔｒａフレームのためのウェーブレット定義域データ、若しくは差分データ及びｉｎｔｅｒフレームのための動きベクトルを生成する。ｉｎｔｒａフレームのためのウェーブレット的定義域データが、フレームメモリ５４０内部に直接的にストアされてもよい。逆ウェーブレット変換ユニット５５０は、ディスプレー又はその他使用のためにビデオフレームを示す空間定義域データＶＩＤＥＯへと、ウェーブレット定義域データを変換する。

ｉｎｔｅｒフレームのために、加算機５３０が、現在フレームのために動きベクトルが識別するフレームメモリ５４０よりのウェーブレット的定義域データ若しくはハーフピクセルデータの差分アレイブロックへと加算する。従って、動きベクトルがハーフピクセルデータのブロックを識別する時、ハーフピクセルデータジェネレータ５５０は、エンコーダ４００においてハーフピクセルデータジェネレータ４８０と同一技術を用いることで、フレームメモリ５４０内部のウェーブレット定義域データより所望とされるハーフピクセルデータブロックを生成する。

本発明の一側面によれば、ウェーブレット定義域ハーフピクセルデータジェネレータ４８０及び５５０が、ウェーブレット変換ユニット４１０が使用しない空間定義域ピクセル値のｑ×ｑマトリクス若しくは低周波数ウェーブレット定義域係数のウェーブレット変換に対応し、また近似するハーフピクセルデータを生成する。とりわけ、図６Ａ、６Ｂ、および６Ｃは、１６個のピクセル値のアレイ、若しくは周波数コンポーネントａ乃至ｐを示しており、それらは４つの２×２アレイ６１０、６２０、６３０、及び６４０へと区分けされている。実施例では、ウェーブレット変換ユニット４１０が、アレイ６１０、６２０、６３０、及び６４０の二次元Ｈ変換を実行し、４セットのウェーブレット定義域係数、｛ｈ０１，ｈｘ１，ｈｙ１，ｈｄ１｝、｛ｈ０２，ｈｘ２，ｈｙ２，ｈｄ２｝、｛ｈ０３，ｈｘ３，ｈｙ３，ｈｄ３｝、｛ｈ０４，ｈｘ４，ｈｙ４，ｈｄ４｝を生成する。

図６Ａ、６Ｂ、および６Ｃはまた、ウェーブレット変換ユニット４１０が変換したアレイ６１０、６２０、６３０、及び６４０に対してずれているアレイ６１２、６３４、６１３、６２４、及び６１４も示している。とりわけ、アレイ６１２（若しくは６３４）はアレイ６１０及び６２０（または６３０及び６４０）より１ピクセル水平方向にずれている。アレイ６１３（若しくは６２４）は、アレイ６１０及び６３０（または６２０及び６４０）より１ピクセル垂直方向にずれており、アレイ６１４は、アレイ６１０、６２０、６３０、及び６４０の各々より対角方向に１ピクセルずれている。

ウェーブレット変換ユニット４１０は、それら変換がフレームの表示のために要求されていない、すなわちダウンサンプリングのために変換がスキップされているので、オフセットアレイ６１２、６３４、６１３、６２４、及び６１４のウェーブレット変換を決定しない。アレイ６１２、６３４、６１３、６２４、及び６１４のウェーブレット定義域変換は、ピクセル値ａ乃至ｐ若しくはウェーブレット定義域係数｛ｈ０１，ｈｘ１，ｈｙ１，ｈｄ１｝、｛ｈ０２，ｈｘ２，ｈｙ２，ｈｄ２｝、｛ｈ０３，ｈｘ３，ｈｙ３，ｈｄ３｝、｛ｈ０４，ｈｘ４，ｈｙ４，ｈｄ４｝より厳密に決定され得るが、ピクセル値ａ乃至ｐ、又はウェーブレット定義域ピラミッド構造よりの低周波数ウェーブレット定義域コンポーネントｈ０１、ｈ０２、ｈ０３、及びｈ０４の決定は、一般的に一連のウェーブレット変換を要する。各レベルのマルチ分解構造において、高周波数コンポーネントは利用可能であるが、低周波数コンポーネントはマルチ分解構造のトップレベルのためだけに利用可能である。

上述したように、低処理能力のエンコーディングまたはデコーディングプロセスが、オフセットアレイ６１２、６３４、６１６、６２４、若しくは６１４のためのウェーブレット定義域係数が、アレイ６１０、６２０、６３０、及び６４０のウェーブレット定義域係数と大きく異なり得るにも関わらず、逆ウェーブレット変換を回避することを求める（ｓｅｅｋ）。逆ウェーブレット変換を回避するためには、ハーフピクセルデータジェネレータ４８０が、アレイ６１２、６３４、６１３、６２４、及び６１４と、サブバンド内のその他のオフセットアレイのウェーブレット変換を近似するハーフピクセルデータを生成する時に、利用不可能な低周波数コンポーネントｈ０１、ｈ０２、ｈ０３、及びｈ０４の近似を用いる。従って、ウェーブレット定義域ハーフピクセルデータジェネレータ４８０が、ピラミッドウェーブレット定義域データ構造のその他レベル内の類似するオフセットアレイのウェーブレット変換近似を構築し、ピラミッド構造の全てのレベルにおける全てのサブバンドのハーフピクセル動き予測を可能とする。

数式４は、オフセットアレイに関連するハーフピクセルデータ獲得のための式を得るための技術に関する概要（アウトライン）であり、

である。

式４では、ｈｘ、ｈｙ、ｈｄは、実際の高周波数のウェーブレット定義域コンポーネントであり、ｈ０’は、２×２アレイのための実際の低周波数のコンポーネントｈ０の近似である。ピラミッドデータ構造の上部レベルの対応する低周波数コンポーネントによって提供されているように、ローカルの低周波数ウェーブレット係数の平均値は、典型的には実際の低周波数係数ｈ０の適切な近似を示すが、ｈ０の別の近似が用いられてもよい。アレイｈ’は、低周波数コンポーネントの上述した近似を有するウェーブレット定義域係数を示しており、ｈ’に対し逆Ｈ変換を適用すると、空間定義域ピクセル値または低周波数係数の近似マトリクスＡ’が得られる。シフトされた、即ちオフセットアレイＡ’_ｔを置換し、またシフトされたアレイＡ’_ｔへとＨ変換を適用することで、実際のウェーブレット定義域係数ｈ０、ｈｘ、ｈｙ、ｈｄを近似するウェーブレット定義域アレイｈ’_ｔを提供する。式４において示されているような数学的な操作を実行することによって、オーバーラップしたアレイ（例えばアレイ６１０、６２０，６３０、及び６４０）のウェーブレット定義域係数、及びウェーブレット定義域ピラミッドデータ構造のトップレベルの低周波数コンポーネントに関するハーフピクセルウェーブレット定義域データ（例えばアレイ６１２、６３４、６１３、６２４、及び６１４）のための公式が提供される。

図６Ａにおいて示されている、例えばアレイ６１２及び６３４のような水平方向にずれているアレイのためにはハーフピクセルデータジェネレータ４８０が数式５を用いてハーフピクセル係数ｈ０’（ｒ，ｓ）、ｈｘｘ（ｒ，ｓ）、ｈｙｘ（ｒ，ｓ）、ｈｄｘ（ｒ，ｓ）を生成し、ここで、

である。

数式５では、ｉは、対象となる水平方向にずれたアレイを含むマルチ解像度のウェーブレット定義域データ構造レベルを示しており、ｒ及びｓは所望のオフセットアレイより１ピクセル分水平方向にずれているアレイを識別するインデックスであり、ｈｘｒ、ｈｙｒ、ｈｄｒはウェーブレット定義域係数である。また、ｈ０’ｒは左のアレイｒに対応する近似低周波数ウェーブレット定義域係数であり、ｈｘｓ、ｈｙｓ、ｈｄｓはウェーブレット定義域係数であり、ｈ０ｓは右のアレイｓに対応する近似低周波数ウェーブレット定義域係数であり、またｈ０（ｒ，ｓ）^ＴＯＰは、マルチ解像度構造のトップレベル（ＭＡＸＬＥＶＥＬ）での、低周波数ウェーブレット定義域係数であり、または低周波数ウェーブレット定義域係数の平均であり、アレイｒ及びｓを含むアレイに対応している。ｈｙｘ（ｒ，ｓ）及びｈｄｘ（ｒ，ｓ）に関して、式５では、近似ｈ０’ｓ若しくはｈ０’ｒが用いられることはなく、また正確である。

図６Ｂにおいて示されている、例えばアレイ６１３及び６２４のような垂直方向にずれているアレイのためには、ハーフピクセルデータジェネレータ４８０が数式６を用いてハーフピクセル係数ｈ０’（ｒ，ｓ）、ｈｘｙ（ｒ，ｓ）、ｈｙｙ（ｒ，ｓ）、ｈｄｙ（ｒ，ｓ）を生成し、ここで、

である。

数式６では、ｉは、対象となる垂直方向にずれたアレイを含むマルチ解像度のウェーブレット定義域データ構造レベルを示しており、ｒ及びｓは所望のオフセットアレイより１ピクセル分垂直方向にずれているアレイを識別するインデックスであり、ｈｘｒ、ｈｙｒ、ｈｄｒはウェーブレット定義域係数である。また、ｈ０’ｒは上のアレイｒに対応する近似低周波数ウェーブレット定義域係数であり、ｈｘｓ、ｈｙｓ、ｈｄｓはウェーブレット定義域係数であり、ｈ０ｓは下のアレイｓに対応する近似低周波数ウェーブレット定義域係数であり、またｈ０（ｒ，ｓ）^ＴＯＰは、マルチ解像度構造のトップレベル（ＭＡＸＬＥＶＥＬ）での、低周波数ウェーブレット定義域係数であり、または低周波数ウェーブレット定義域係数の平均であり、アレイｒ及びｓを含むアレイに対応している。ｈｘｙ（ｒ，ｓ）及びｈｄｙ（ｒ，ｓ）に関して、式６では、近似ｈ０’ｓ若しくはｈ０’ｒが用いられることはなく、また正確である。

図６Cにおいて示されている、例えばアレイ６１４のような対角線方向にずれているアレイのためには、ハーフピクセルデータジェネレータ４８０が数式７を用いてハーフピクセル係数ｈ０’（ｒ，ｓ）、ｈｘｄ（ｒ，ｓ）、ｈｙｄ（ｒ，ｓ）、ｈｄｄ（ｒ，ｓ）を生成し、ここで、

となる。

式７では、ｉは、対象となる対角線方向にずれたアレイを含むマルチ解像度のウェーブレット定義域データ構造レベルを示しており、ｒ、ｓ、ｔ、及びｕは所望のオフセットアレイより１ピクセル分対角線方向にずれているアレイを識別するインデックスであり、ｈｘｒ、ｈｙｒ、ｈｄｒはウェーブレット定義域係数である。また、ｈ０’ｒは左上のアレイｒに対応する近似低周波数ウェーブレット定義域係数であり、ｈｘｓ、ｈｙｓ、ｈｄｓはウェーブレット定義域係数であり、ｈ０’ｓは右上のアレイｓに対応する近似低周波数ウェーブレット定義域係数であり、ｈｘｔ、ｈｙｔ、ｈｄｔはウェーブレット定義域係数であり、ｈ０’ｔは左下のアレイｔに対応する近似低周波数ウェーブレット定義域係数であり、ｈｘｕ、ｈｙｕ、ｈｄｕはウェーブレット定義域係数であり、ｈ０’ｕは右下のアレイｕに対応する近似低周波数ウェーブレット定義域係数であり、またｈ０（ｒ，ｕ）^ＴＯＰは、マルチ解像度構造のトップレベル（ＭＡＸＬＥＶＥＬ）での、低周波数ウェーブレット定義域係数であり、または低周波数ウェーブレット定義域係数の平均であり、アレイｒ乃至ｕを含むアレイに対応している。

図４のエンコーダ４００では、フレームメモリ４７０が、エンコードされ、量子化され、逆量子化され、またデコードされた、前フレームのウェーブレット定義域データ（例えばピラミッド構造）を有する。次フレームのｉｎｔｅｒコーディングのためには、ハーフピクセルデータジェネレータ４８０が、メモリ４７０内の前フレームのウェーブレット定義域データを使用して、ハーフピクセルデータを生成する。とりわけ、ハーフピクセルデータジェネレータ４８０は、数式５、６、及び７を用いて、ピラミッドデータ構造の各々のレベルｉのためのハーフピクセルウェーブレット定義域データを生成しうる。

ジェネレータ４８０より結果として得られるウェーブレット定義域データ及びハーフピクセルウェーブレット定義域データは、図７Ａにおいて示されているマルチタイプの解像度データ構造７００へと混合されてよい。マルチ解像度データ構造７００の各々のレベルである、サブバンドアレイＨｘ、Ｈｙ、及びＨｄが、各々ウェーブレット定義域係数ｈｘ、ｈｙ、及びｈｄのコレクション（ｃｏｌｌｅｃｔｉｏｎ）だけでなく、それらに適応する近似されたハーフピクセルウェーブレット定義域係数（ｈｘｘ、ｈｘｙ、ｈｘｄ）、（ｈｙｘ、ｈｙｙ、ｈｙｄ）、及び（ｈｄｘ、ｈｄｙ、ｈｄｄ）を包含するべく増加される。ピラミッド構造のトップレベルは、低周波数係数ｈ０^ＴＯＰ及びハーフピクセルの低周波数係数ｈｘ^ＴＯＰ、ｈｙ^ＴＯＰ、及びｈｄ^ＴＯＰを含んでおり、それらはトップレベルのために厳密に計算され得る。

図７Ｂは、マルチ解像度データ構造７５０におけるウェーブレット定義域データ及びハーフピクセルウェーブレット定義域データの代替構成を示している。データ構造７５０は、トップレベルの下のレベル毎に、１２のサブアレイであるＨｘ、Ｈｙ、Ｈｄ、Ｈｘｘ、Ｈｙｘ、Ｈｄｘ、Ｈｘｙ、Ｈｙｙ、Ｈｄｙ、Ｈｘｄ、Ｈｙｄ、及びＨｄｄを有する。サブアレイＨｘ、Ｈｙ、及びＨｄは、内在するピクセル値の対応位置に従って整列されているウェーブレット定義域係数（ｈｘ、ｈｙ、及びｈｄ）を含む。サブアレイＨｘｘ、Ｈｙｘ、Ｈｄｘ、Ｈｘｙ、Ｈｙｙ、Ｈｄｙ、Ｈｘｄ、Ｈｙｄ、及びＨｄｄの各々が、内在するピクセル値の位置に適合するハーフピクセルのウェーブレット定義域係数ｈｘｘ、ｈｙｘ、ｈｄｘ、ｈｘｙ、ｈｙｙ、ｈｄｙ、ｈｘｄ、ｈｙｄ、及びｈｄｄを含む。オブジェクトブロックは、サブアレイＨｘ、Ｈｙ、Ｈｄ、Ｈｘｘ、Ｈｙｘ、Ｈｄｘ、Ｈｘｙ、Ｈｙｙ、Ｈｄｙ、Ｈｘｄ、Ｈｙｄ、及びＨｄｄにおけるブロックと直接的に比較されてもよいので、マルチ解像度のデータ構造７５０は、ウェーブレット定義域データのブロックと別フレームの同一レベル内におけるオブジェクトブロックとの比較を単純化し得る。

エンコードされるべきｉｎｔｅｒフレームの一部のためのベストマッチの検索が実行される時に、図４の動き予測ユニット４９０が、前フレームのためのハーフピクセルデータ及びウェーブレット定義域データをサーチする。ハーフピクセルウェーブレットデータを効果的に用いることが、ｉｎｔｅｒフレームのウェーブレット定義域データのブロックとマッチングするためのコードブックにおけるベクトル数を拡張し、従って、エンコーディングの際に、達成される圧縮レート及びイメージイクオリティが改善され得る。

図８はエンコーダ４００（図４）において実現された本発明の実施例によるビデオエンコーディングプロセス８００のフローチャートである。エンコーディングプロセス８００はステップ８１０で開始されており、ここでウェーブレット変換ユニット４１０がビデオイメージのフレームのためのウェーブレット定義域データを生成する。ステップ８１５は、次にフレームが動き予測を用いることなくエンコードされるｉｎｔｒａフレームであるか、動き予測を要するｉｎｔｅｒフレームであるか否かを決定する。代替例として、フレームがｉｎｔｒａによるエンコードを実行されるかｉｎｔｅｒによるエンコードを実行されるかの選択が、動き予測が到達した圧縮量の決定後に実行されてもよい。とりわけ、動き予測が当該フレームが前フレームと著しく異なると示す場合、フレームがｉｎｔｒａエンコーディングのために選択されてもよい。

ｉｎｔｒａフレームのためには、量子化ユニット４３０及びエントロピーコーディングユニット４４０が、フレームのためウェーブレット定義域データを量子化し、エンコードして送信する。ステップ８２５では、逆量子化ユニット４５０が、別フレームの動き予測に実行可能な量子化されたウェーブレットデータを逆量子化する。フレームバッファ４７０は、逆量子化ユニット７５０よりの逆量子化されたウェーブレットデータアウトプットをストアする。

プロセス８００のステップ８３０では、ハーフピクセルデータジェネレータ４８０がフレームメモリ４７０内部にバッファされたウェーブレット定義域データよりハーフピクセルデータを生成する。ステップ８３０は、インターコードされた後フレームの予測においてハーフピクセルデータを生成するが、複数のケースでハーフピクセルデータが要求されなくてもよい。要求される処理能力を低くするためには、代替のエンコーディングプロセスが、動き予測が要求されるフレームのインターコーディングの間のみ、ハーフピクセルデータを生成する。

プロセス８００は、ステップ８３０におけるハーフピクセルウェーブレット定義域情報の生成の後、エンコーディングを要する別フレームを識別した場合に、ステップ８３５で分岐してステップ８１０へと戻る。

エンコードされるフレームがｉｎｔｅｒフレームである場合、プロセス８００がステップ８１５から分岐してステップ８４０へと進行し、そこで動き予測ユニット４９０がフレーム内でオブジェクトブロックを選択する。オブジェクトブロックはウェーブレット定義域ピラミッドデータ構造の特定レベルにおけるウェーブレット定義域係数ブロックであってよい。多様なオブジェクトブロック選択過程が採用されてよい。例えば、各オブジェクトブロックがブロックのコンテンツに従って選択されたイレギュラーなサイズを有していてもよい。代替例としては、ブロックが、固定されたサイズ（例えば１６×１６のアレイ）や、オブジェクトブロックのピラミッド構造におけるレベルによって選択されたサイズを有していてもよい。

一度オブジェクトブロックが選択されると、動き予測ユニット４９０が、前のフレームの同一レベルにあるウェーブレット定義域データ及びハーフピクセルデータを検索し、ベストマッチングするブロックを識別する。動き予測ユニット４９０は、次にベストマッチングブロックに対応する動きベクトルを生成する。各々の動きベクトルが、セットされる加算ビットを含んでいてよく、また、動きベクトルがウェーブレット定義域データおよびハーフピクセルデータの何れを識別するかを示さない。そのような訳で、動きベクトルが、ウェーブレット定義域データ若しくはハーフピクセルデータのブロックの何れかを識別し得る。ステップ８５５では、ベストマッチングブロックがオブジェクトブロックより減じられ、差分ブロックを生成する。前記差分ブロックはエンコードされたフレームを示す差分データの一部となる。ステップ８６０は、次に別オブジェクトブロックが選択され得るか否か決定する。

動き予測ユニット４９０は、オブジェクトブロックが選択されないで、また差分ブロックの集まり（ｃｏｌｌｅｃｔｉｏｎ）がフレームのウェーブレット定義域差分データを形成するまで、マルチ解像度構造の各レベルのために、ステップ８４０乃至８６０を繰り返す。ステップ８６５では、量子化ユニット４３０及びエントロピーコーディングユニット４４０がウェーブレット定義域差分データ及び関連する動きベクトルを量子化、エンコード、及び送信する。

ステップ８７０及び８７５では、逆量子化ユニット４５０が差分データを逆量子化し、また加算器４６０が動きベクトルが識別するベストマッチングブロックを加算し直す。結果として、エンコーディングプロセス８００は、ウェーブレット定義域データ（量子化、エンコーディング、デコーディング、若しくは逆量子化へと可能な限り導入された変化をを含む）を再構築し、次にステップ８３０へと戻り、次のフレームのための動き予測において利用可能なハーフピクセルデータを生成する。

動き予測プロセスがハーフピクセルデータを識別し得る動きベクトルを使用するので、デコーディングプロセスが複数のハーフピクセルウェーブレット定義域イメージデータを要求してもよい。図９は本発明の実施例によるデコーディングプロセス９００のフローチャートである。

デコーディングプロセス９００はステップ９１０で開始されており、ここで、デコーダ５００がエンコードされたフレームデータをレシーブする。ステップ９１５では、デコーダ５００がｉｎｔｅｒフレーム若しくはｉｎｔｒａフレームのどちらにフレームデータが対応するか決定する。ｉｎｔｒａフレームのためのデータは動きベクトルを含んでおらず、デコーディングのためにハーフピクセルデータを要求しない。従って、ｉｎｔｒａフレームは従来の方法でデコードされ得る。とりわけ、ステップ９２０はｉｎｔｒａフレームを示すウェーブレット定義域データをデコード及び逆量子化する。ここでステップ９６５は、逆ウェーブレット変換を実行し得り、ピクセル情報を再構築する。逆変換の前に、ステップ９２０が、ｉｎｔｅｒフレームをデコーディングする際の実行可能な後の使用のために、ウェーブレット定義域データをバッファする。

レシーブされたフレームデータがｉｎｔｅｒフレームに対応すると、ステップ９１５が決定する場合、プロセス９００はステップ９１５よりステップ９２５へと分岐し、ステップ９２５では、ｉｎｔｅｒフレームに関連する差分データ及び動きベクトルがデコード及び逆量子化される。ステップ９３０は、次に、差分データよりのｉｎｔｅｒフレームのためのウェーブレット定義域データ、及び先のフレームのためのバッファされたウェーブレット定義域データを再構築するプロセスのために、動きベクトルの１つを選択する。

ステップ９３０に続いて、ステップ９３５は選択された動きベクトルがウェーブレット定義域データ若しくはハーフピクセルデータの何れのマッチングブロックに対応するか決定する。動きベクトルがウェーブレット定義域データのブロックに対応する場合、ステップ９４５が、前フレームのためにバッファされたウェーブレット定義域データよりウェーブレット定義域データのブロックを識別し、また使用する。

動きベクトルがハーフピクセルデータのブロックに対応する場合は、ステップ９４０が前のフレームのためにバッファされたウェーブレット定義域データよりハーフピクセルデータのブロックを生成する。とりわけ、ステップ９４０は上述したように数式５、６、及び７を使用してもよく、要求されたブロックハーフピクセルデータを生成する。デコーディングのために全てのハーフピクセルデータ生成が要求されることはなく、また要求される処理能力を低くするために、動きベクトルによって識別されたハーフピクセルデータのブロックのみが生成される。代替例としては、動きベクトルが特定のブロックを識別する前に、デコーダが全てのハーフピクセルのウェーブレット定義域データを決定してもよい。

ステップ９５０は、識別され生成されたウェーブレット定義域データのブロック若しくはハーフピクセルデータのブロックを、動きベクトルに対応し差分アレイ内にあるブロックへと加算する。ステップ９３０乃至９５５が各動きベクトルのために一回ずつ反復され、ステップ９５０における加算がデコードされたｉｎｔｅｒフレームのためのウェーブレット定義域データを再構築する。ステップ９６５が逆ウェーブレット変換を実行する前に、最新のデコードされたウェーブレット定義域データが、後のｉｎｔｅｒフレームをデコーディングする際に実行可能となるべくバッファされ、フレームの表示のために要求されるピクセルデータを再構築する。

上述したように、比較的少ない処理能力を有するエンコーダがウェーブレット定義域データよりのハーフピクセルデータを生成し得る。ハーフピクセルデータは動き予測の検索内に含まれていてもよく、実行可能なマッチングブロックのコードブックを効果的に拡張する。この拡張によって、ビデオ信号における冗長な情報のより効果的な除去を提供することで、圧縮が改善される。

本発明は特定の実施例に関して記載されたが、記載は単なる例示に過ぎず本発明をこれに限定するものではない。例えば、本発明の記載は、後のターゲットフレームに対する前のソースフレームを基にした動き予測に関して特化されているが、ターゲットフレームに続くソースフレーム若しくは複数のソースフレームを用いたその他の動き予測手順も本発明の実施例に適している。加えて上述したような本発明の原理は、別形式及び別次元のウェーブレット変換に対しても、より一般的に適用され得る。特許請求の範囲に含まれる変形及び変更は全て本発明の範囲内のものである。

図は、静止画のウェーブレット変換の結果として得られるデータ構造を示すものである。図は、静止画データへの一連のウェーブレット変換の適用によって得られたマルチ解像度データ構造を示すものである。図は、オブジェクトの小さな動きが、ウェーブレットドメインデータ上で有し得る効果を示すものである。図は、本発明の実施例によるウェーブレットドメインハーフピクセル補間を用いたエンコーディングシステムを示すブロック図である。図は、本発明の実施例によるウェーブレットドメインハーフピクセル補間を用いたデコーディングシステムを示すブロック図である。図は、本発明の実施例によるハーフピクセルデータに関連し、空間ドメインまたは低周波数イメージデータの標準部分より水平方向にずれているマトリクスを示すものである。図は、本発明の実施例によるハーフピクセルデータに関連し、空間ドメインまたは低周波数イメージデータの標準部分より垂直方向にずれているマトリクスを示すものである。図は、本発明の実施例によるハーフピクセルデータに関連し、空間ドメインまたは低周波数イメージデータの標準部分より対角線方向にずれているマトリクスを示すものである。図は、本発明の実施例によるウェーブレットドメインハーフピクセルデータを含むマルチ解像度データ構造を示すものである。図は、本発明の実施例によるウェーブレットドメインハーフピクセルデータを含むマルチ解像度データ構造を示すものである。図は、本発明の実施例によるエンコーディングプロセスのフローチャートである。図は、本発明の実施例によるデコーディングプロセスのフローチャートである。

Claims

空間定義域よりウェーブレット定義域へと、ビデオデータを変換するために操作可能なウェーブレット変換ユニットと、
ウェーブレット変換ユニットよりウェーブレット定義域データをレシーブするために接続されたハーフピクセルデータジェネレータであって、
前記ハーフピクセルデータジェネレータは前記ウェーブレット定義域データよりハーフピクセルデータを生成し、前記ハーフピクセルデータが、前記ウェーブレット変換ユニットが変換するマトリクスに対しずれている、マトリクスのウェーブレット変換よりの結果として得られるウェーブレット定義域データを近似することを特徴とするハーフピクセルデータジェネレータと、
コードされるフレームにおけるオブジェクトブロックにベストマッチングするブロックのために、前記ウェーブレット定義域データ及び前記ハーフピクセルデータを検索するべく操作可能な動き予測ユニットとを有するエンコーダ。
前記ハーフピクセルデータジェネレータが、逆ウェーブレット変換を実行することなく、前記ウェーブレット定義域データより前記ハーフピクセルデータを生成することを特徴とする請求項１に記載のエンコーダ。
更に、ｉｎｔｒａフレームのエンコーディングのために前記ウェーブレット定義域データを量子化するべく接続された量子化ユニットと、
メモリと、
前記量子化ユニットよりのデータアウトプットを逆量子化し、後のフレームのための動き予測に用いられるべく前記メモリ内に結果をストアするべく接続された逆量子化ユニットとを含む請求項１に記載のエンコーダ。
前記ウェーブレット変換は、二次元Ｈ変換であることを特徴とする請求項１に記載のエンコーダ。
前記ハーフピクセルジェネレータが、マルチ解像度データ構造のレベルのために、該レベルのための高周波数ウェーブレット定義域データ及び低周波数ウェーブレット定義域データの近似を用い、前記ハーフピクセルデータを生成することを特徴とする請求項１に記載のエンコーダ。
該レベルのための前記低周波数ウェーブレット定義域データの前記近似が、前記マルチ解像度データ構造のより高いレベルよりの低周波数ウェーブレット定義域データによって決定されることを特徴とする請求項５に記載のエンコーダ。
前記マルチ解像度データ構造のより高いレベルが前記マルチ解像度データ構造のトップレベルであることを特徴とする請求項５に記載のエンコーダ。
前記ウェーブレット定義域データに対応するマトリクスより水平方向にずれているオフセットマトリクスのために、前記エンコーダが、次式、

を用い、ハーフピクセル係数ｈｘｘ（ｒ，ｓ）、ｈｙｘ（ｒ，ｓ）、ｈｄｘ（ｒ，ｓ）を含むハーフピクセルデータを決定し、
ここで、ｒ及びｓは、前記オフセットマトリクスより１係数だけ水平方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１に記載のエンコーダ。
前記ウェーブレット定義域データに対応するマトリクスより垂直方向にずれているオフセットマトリクスのために、前記エンコーダが、次式、

を用い、ハーフピクセル係数ｈｘｙ（ｒ，ｓ）、ｈｙｙ（ｒ，ｓ）、ｈｄｙ（ｒ，ｓ）を含むハーフピクセルデータを決定し、
ここで、ｒ及びｓは、前記オフセットマトリクスより１係数だけ垂直方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１に記載のエンコーダ。
前記ウェーブレット定義域データに対応するマトリクスより対角線方向にずれているオフセットマトリクスのために、前記エンコーダが、次式、

を用い、ハーフピクセル係数ｈｘｙ（ｒ，ｓ）、ｈｙｙ（ｒ，ｓ）、ｈｄｙ（ｒ，ｓ）を含むハーフピクセルデータを決定し、
ここで、ｒ、ｓ、ｔ、及びｕは、前記オフセットマトリクスより１係数だけ対角線方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｔ、ｈｙｔ、及びｈｄｔがウェーブレット定義域係数であり、ｈ０’ｒはｔに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｕ、ｈｙｕ、及びｈｄｕはウェーブレット定義域係数であり、ｈ０ｓはｕに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１に記載のエンコーダ。
第１のウェーブレット定義域データを生成するために、ビデオデータの第１フレーム上でウェーブレット変換を実行する過程と、
前記第１のウェーブレット定義域データよりハーフピクセルデータを生成する過程であって、ここで前記ハーフピクセルデータが、前記ウェーブレット変換の間に用いられるマトリクスに対しずれているマトリクスのウェーブレット変換の結果として得られるウェーブレット定義域データを近似することを特徴とする過程と、
第２フレームを示す第２のウェーブレット定義域データよりのオブジェクトブロックにベストマッチするブロックのために、ウェーブレット定義域データ及び前記ハーフピクセルデータを検索する過程と、
前記第２フレームを示すデータストリーム内に、前記オブジェクトブロックにベストマッチする前記ブロックを識別する動きベクトルを有する過程とを有するエンコーディングプロセス。
前記第１のウェーブレット定義域データよりハーフピクセルデータを生成する過程が、逆ウェーブレット変換を実行することなく実行されることを特徴とする請求項１１に記載のエンコーディングプロセス。
前記第１のウェーブレット定義域データが、トップレベル、及びより低いレベルを含む複数のレベルを有し、各々のより低いレベルが高周波数ウェーブレット定義域データを含み、前記トップレベルは高周波数ウェーブレット定義域データ及び低周波数ウェーブレット定義域データを含んでおり、
前記第１のウェーブレット定義域データよりハーフピクセルデータを生成する過程が、前記より低いレベルの１つよりの高周波数ウェーブレット定義域データと、前記より低いレベルのための低周波数の近似とを組み合わせる過程を含むことを特徴とする請求項１１に記載のエンコーディングプロセス。
前記より低いレベルのための前記低周波数の近似が、前記トップレベルの前記低周波数ウェーブレット定義域データより獲得されることを特徴とする請求項１３に記載のエンコーディングプロセス。
前記ハーフピクセルデータを生成する過程が、前記ウェーブレット定義域データに対応するマトリクスより水平方向にずれているオフセットマトリクスのために、次式、

を用い、ハーフピクセル係数ｈｘｘ（ｒ，ｓ）、ｈｙｘ（ｒ，ｓ）、ｈｄｘ（ｒ，ｓ）を決定する過程を含み、
ここで、ｒ及びｓは、前記オフセットマトリクスより１係数だけ水平方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１１に記載のエンコーディングプロセス。
前記ハーフピクセルデータを生成する過程が、前記ウェーブレット定義域データに対応するマトリクスより垂直方向にずれているオフセットマトリクスのために、次式、

を用い、ハーフピクセル係数ｈｘｙ（ｒ，ｓ）、ｈｙｙ（ｒ，ｓ）、ｈｄｙ（ｒ，ｓ）を決定する過程を含み、
ここで、ｒ及びｓは、前記オフセットマトリクスより１係数だけ垂直方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１１に記載のエンコーダ。
前記ハーフピクセルデータを生成する過程が、前記ウェーブレット定義域データに対応するマトリクスより対角線方向にずれているオフセットマトリクスのために、次式、

を用い、ハーフピクセル係数ｈｘｙ（ｒ，ｓ）、ｈｙｙ（ｒ，ｓ）、ｈｄｙ（ｒ，ｓ）を決定する過程を含み、
ここで、ｒ、ｓ、ｔ、及びｕは、前記オフセットマトリクスより１係数だけ対角線方向にずれているアレイを識別するインデックスであり、
ｈｘｒ、ｈｙｒ、及びｈｄｒがウェーブレット定義域係数であり、ｈ０’ｒはｒに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｓ、ｈｙｓ、及びｈｄｓはウェーブレット定義域係数であり、ｈ０ｓはｓに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｔ、ｈｙｔ、及びｈｄｔがウェーブレット定義域係数であり、ｈ０’ｒはｔに対応する近似低周波数ウェーブレット定義域係数であり、
ｈｘｕ、ｈｙｕ、及びｈｄｕはウェーブレット定義域係数であり、ｈ０ｓはｕに対応する近似低周波数ウェーブレット定義域係数であることを特徴とする請求項１に記載のエンコーダ。
ビデオデコーディングプロセスであって、
ビデオの第１フレームに関連する動きベクトル及びウェーブレット定義域データの差分を含む差分アレイを抽出するべくデータ構造をデコーディングする過程と、
各動きベクトルのために、前記動きベクトルが第１のタイプ、第２のタイプでいずれであるかを識別する過程と、
前記第１のタイプの動きベクトルによって識別されたウェーブレット定義域データの前記各々のブロックを、前記差分アレイの各部分に加算する過程と、
第２のタイプの各動きベクトルのために、前記第２フレームを示す前記ウェーブレット定義域データより、前記第２のタイプの前記動きベクトルによって識別されたデータの前記ブロックを生成し、生成された前記ブロックを前記第２のタイプの前記動きブロックに対応する前記差分アレイの一部に加算する過程とを含み、
ここで、前記第１のタイプの動きベクトルは、第２のフレームを示すウェーブレット定義域データの各ブロックを識別し、
前記第２のタイプの動きベクトルが、前記第２のフレームの一部を示すピクセル値のマトリクスのウェーブレット変換の近似に対応するデータの各ブロックを識別し、前記マトリクスが前記第２フレームを示す前記ウェーブレット定義域データを生成する際に用いられるマトリクスに対しずれていることを特徴とするビデオデコーディングプロセス。
更に、ウェーブレット定義域データ及び生成されたデータの前記ブロックを、前記差分アレイに対して加算し、結果として生ずるアレイ上で逆ウェーブレット変換を実行する過程を含む請求項１８に記載の方法。
前記第２のタイプの前記動きベクトルによって識別されたデータの前記ブロックが、前記第２フレームのための前記ウェーブレット定義域データ上で逆ウェーブレット変換を実行することなく、前記第２フレームのための前記ウェーブレット定義域データより生成されることを特徴とする請求項１８に記載の方法。
前記第２フレームを示す前記ウェーブレット定義域データが、トップレベル及びより低いレベルを含む複数のレベルを有し、各々のより低いレベルが高周波数ウェーブレット定義域データを含み、トップレベルが低周波数ウェーブレット定義域データを有し、
前記第２のタイプの前記動きベクトルによって識別されたデータの前記ブロックを生成する過程が、前記より低いレベルの１つよりの高周波数ウェーブレット定義域データと、前記より低いレベルのための低周波数近似とを組み合わせる過程を含むことを特徴とする請求項１８に記載の方法。
前記より低いレベルのための低周波数の前記近似が前記トップレベルにおける前記低周波数ウェーブレット定義域データより獲得されることを特徴とする請求項２１に記載の方法。
ビデオを示すデータ構造であって、
前記ビデオの第１フレームのためのウェーブレット定義域データを示す第１のデータと、
前記ビデオの第２フレームのための差分アレイを示す第２のデータと、
第１のタイプの動きベクトルと、
第２のタイプの動きベクトルとを有し、
ここで、前記第１のタイプの動きベクトルが前記差分アレイにおける各ブロックに対応しており、また、第２フレームのためのウェーブレット定義域データの生成時、前記差分アレイに於いて前記各ブロックに対する加算を目的として、前記ウェーブレット定義域データのブロックを識別し、
前記第２のタイプの前記動きベクトルが前記差分アレイにおける各ブロックに対応しており、また、前記第２フレームのための前記ウェーブレット定義域データの生成時、前記差分アレイにおける前記各ブロックに対する加算を目的として、ハーフピクセルデータのブロックを識別し、前記ハーフピクセルデータが、前記第１のフレームのために前記ウェーブレット定義域データを生成する際に用いられた前記第１フレームよりのアレイに対しずれている前記第１フレームよりのアレイのウェーブレット変換を近似することを特徴とするデータ構造。
前記第１のデータが、
前記ビデオの前記第１フレームのための第２の差分アレイを示すデータと、
前記第１フレームに関連する前記第１のタイプの動きベクトルと、
前記第１フレームに関連する前記第２のタイプの動きベクトルとを有し、
ここで、前記第１のフレームに関連する前記第１のタイプの前記動きベクトルが、前記第２の差分アレイにおける各ブロックに対応し、また、前記第１フレームのための前記ウェーブレット定義域データの生成時、前記第２の差分アレイにおける前記各ブロックに対する加算を目的として、第３フレームのためのウェーブレット定義域データブロックを識別し、
前記第１フレームに関連する前記第２のタイプの前記動きベクトルが、前記第２の差分アレイにおける各ブロックに対応し、前記第１フレームのための前記ウェーブレット定義域データの生成時、前記第２の差分アレイにおける前記各ブロックに対する加算を目的として、ハーフピクセルデータのブロックを識別し、前記ハーフピクセルデータが、前記第３フレームのための前記ウェーブレット定義域データを生成する際に用いられた前記第３フレームよりのアレイに対しずれている、前記第３フレームよりのアレイのウェーブレット変換を近似することを特徴とする請求項２３に記載のデータ構造。