JPH09505188A

JPH09505188A - ４分木構造ｗａｌｓｈ変換符号化

Info

Publication number: JPH09505188A
Application number: JP7514428A
Authority: JP
Inventors: ラン，シャオノン
Original assignee: National Semiconductor Corp
Current assignee: National Semiconductor Corp
Priority date: 1993-11-15
Filing date: 1994-08-23
Publication date: 1997-05-20
Also published as: KR960706267A; WO1995014350A1; US5768434A; EP0729688A1

Abstract

(57)【要約】２次元データ構造が、組み込みWalsh変換を用いた４分木コードによって表現される。この４分木コードによって、４分木で固有の可変長ブロック・サイズと、ほとんど均一のデータのブロックの計算の単純さを把握することができる。Walsh変換係数と歪みの尺度を、４分木における前のレベルからのWalsh変換係数だけを用いて再帰的に計算できるので、４分木のボトムアップ判定を行うディジタル・システムに実装するための４分木の構築は、計算が単純である。可変長符号化と一般化されたガウス分布に最適化された均一ステップ・サイズ量子化によって、高速な４分木の符号化と復号化が可能になる。

Description

【発明の詳細な説明】４分木構造WALSH変換符号化発明の背景発明の属する分野本発明は、２次元に関連する情報を転送し、記憶するための方法、及び回路に関し、より詳細には、埋め込まれたWalsh変換係数とともに、４分木コードを用いて、ディジタル情報を転送し、記憶する方法、及び回路に関する。関連技術の説明多くの２次元データ構造が、ディジタル・システムにおいて用いられている。共通の例はピクセル・マップである。ピクセル・マップは通常、ビデオ・ディスプレイ、及びプリンタで用いられ、生成されるべきイメージを記述する。ピクセル・マップを用いて、各ピクセルの色、または輝度がピクセル・マップ内の対応データによって示される。ピクセル・マップは、ビデオ・ディスプレイ上のピクセルの行と列に対応するデータの行と列を有し、何千、何万というデータを含むことができる。例えば、標準VGAビデオ・ディスプレイは幅640ピクセル、高さ48 0ピクセルであり、307,200ピクセルを含む。VGAディスプレイに充填される、２色イメージを表すピクセル・マップは、少なくとも307,200ビットのデータを含み、各ピクセルに対し、１ビットである。256色、シェード、又はグレースケールに関しては、ピクセル毎に８ビットのデータが必要になり、ピクセル・マップは少なくとも307,200バイトを含む。ビデオ・イメージに多くの数のピクセルを使用するため、ピクセル・マップは、長い転送時間と記憶のための大量のメモリを必要とする可能性がある。ピクセル・マップを使用することなく、２次元データ構造を効果的に転送、記憶する符号化技法がある。こうした技法の１つは、４分木(quadtree)を使ってイメージを記述するものである。４分木は、複数のレベルに組織化され、枝によって結合されたノードの集まりである。４分木構造における各ノードは、そのノードが葉ノードでなければ、そのノードを上位レベルの４つのノードに結合する４つの枝を有している。葉ノードは上位レベルに対する枝を持たない。２色イメージに関しては、４分木における各葉ノードが、イメージの特定の領域の色を記述する値を有する。レベル０のノードは、イメージ全体を含むブロックを表現し、そのイメージが前景色を含んでいれば１であり、背景色のみを含んでいれば０である。レベル０の４分木は、単一色のイメージを忠実に表現する。４分木における、より上位レベルのノードは、前のレベルで記述されたブロックのサブ・ブロックに対応しており、通常このレベルが多ければ、イメージのより正確な４分木表現がなされる。図１Aは、前景色領域100を有する、２色イメージを示している。図１Bは図１A のイメージの近似を記述する４分木を示している。図１Cは、図１Bの４分木のノードに対応するブロックを示している。この４分木のレベル１は、イメージを４つのブロック110、120、130、及び140に分割する区画に対応する。ブロック120は背景色のみを含み、ノードの値は０である。ブロック110、130、及び140は、少なくともブロック110、130、及び140の一部が前景色を含んでいることを示すノード値１を有している。図１Bにおいて、左上のブロックが最も左の枝で、右上のブロックが左から２番目の枝で、左下のブロックが左から３番目の枝で、右下のブロックが最も右の枝であるという規約を用いると、レベル１のノードは、1011となる。図１Aの、レベル１の４分木の記述は、ブロック120を背景色に、ブロック110、130、及び140のそれぞれを前景色に置き換える。レベル２に関して、ブロック110、130、及び140が、サブ・ブロック111-114、 131-134、及び141-144の３つの集合に分割される。ブロック120は、ブロック120 のレベル１の記述が忠実に、背景色のみからなるブロック120を表現しているので、これ以上分割されない。レベル２では、ブロック113、114、131、132、及び 141が前景色を含み、ノード値１を有する。ブロック111、112、133、134、及び1 42-144は、背景色のみを含み、ノード値０を有する。図１Bの４分木は、レベル１の非ゼロのノードに対して、それぞれ４つの新しいノードと４つの新しい枝を追加することによって、拡張される。図１Bのレベル２の４分木は、ブロック113、114、131、132、及び141に前景色を充填し、ブロック111、112、120、133、134、及び142-144に背景色を充填することによって、このイメージを近似する。レベル２の４分木は、より小さなブロックが表されているために、レベル０又はレベル１のどちらよりも正確である。前景色を含む各ブロック113、114、131、132、及び141は、レベル３を生成するために４つのサブ・ブロックに分割される。最小ブロックが単一ピクセルを含むようになるまで、前景色を含むブロックを再帰的に分割することによって、より上位のレベルが決定される。４分木コードが、事前に定義されたフォーマットに従う４分木からのノード値を順序づけることによって、４分木から生成される。あるフォーマットはノード値を、左から右に、かつ上から下に読み取られたものとして順序づける。図１B の４分木に関して、４分木コードは1|1011|001111001000である。（記号｜は、４分木コードを、読み取るものの便宜を図るためにレベル単位に分割したものであり、４分木コードの一部ではない。）４分木コードはピクセル・マップが要求するメモリより少ないメモリで済み、ピクセル・マップより高速に転送が行われることが多い。この前述の４分木コードの欠点の１つは、各ブロックが単一色に制限されることである。各ブロックの領域にわたってデータ値の変化を効果的に記述できる方法が望ましい。発明の概要本発明の実施例によれば、組み込みWalsh変換係数を用いた４分木コードの生成を行うための方法が提供される。この方法は、４分木を簡素化するためのボトム−アップ再帰処理を使用し、通常２次元データ構造を４分バランス木の葉ノードに対応する４^Nのブロックを有する、レベルＮの均一区画に分割することで開始される。レベルＮの区画における各ブロックは、ピクセル値の行列を含む。このピクセル値の行列は、Walsh変換され、事前選択されたWalsh変換係数の部分集合が、各ブロックの近似のために保持される。保持されたWalsh変換係数は、Walsh変換記述として参照される。レベルN-1の２次元データ構造の均一区画は、４^N-1のばらばらなブロックを含み、各ブロックはレベルＮの区画の４つのブロックからなる集合体である。レベルＮのブロックに関して保持されたWalsh変換係数から、レベルN-1の均一区画におけるブロックに関するWalsh変換係数が計算される。また、レベルＮの区画における４つのブロックのWalsh変換記述を、レベルN-1の区画における１つのブロックのWalsh変換記述と入れ替えることによって生じる、ブロック毎の歪みの大きさも計算される。この歪みの大きさが、事前に定義された閾値Ｔ_mより小さい場合、４つのレベルＮのブロックに対応するノードが、４分木から取り除かれ、その４つのブロックの集合体に対応するノードが葉ノードとして作成される。その葉ノードに関して、事前選択されたWalsh変換係数の部分集合が保持される。この４分木の簡素化は、全ての４分木のレベルにわたって再帰的に継続される。簡素化された４分木から構成された４分木コードは、所定の順序で、その簡素化された４分木の各ノードに関する値を含み、その各値は、対応するノードが葉ノードかどうかを示している。保持されたWalsh変換係数は、対応する葉ノードに従って、４分木コードに組み込まれる。Walsh変換係数は、均一なステップ・サイズを用いて量子化され、次に転送のために可変長コードに符号化される。本発明の別の実施例によれば、４分木コードの値は、ノード値がそれぞれが葉ノードで終わる枝の連続性によって定義された順序に従う、木を歩く順序(walki ng-the-tree order)に従う。４分木コードでは、葉ノードを表す値の後に、Wals h変換係数のような情報が組み込まれて、その葉ノードに対応するブロック内のデータを記述する。木を歩く順序は、符号化の開始と４分木の転送を、４分木の全部が分かる前に可能にし、最初の分岐が完了したときに４分木の復号化を可能にした。本発明の別の実施例は、静止イメージや差分イメージを表すピクセル・マップを、組み込みWalsh変換係数を用いて４分木コードに変換する、ビデオ／イメージ・コーダを含む。本発明に従う、更に別の実施例は、組み込みWalsh変換係数を用いて、４分木コードをピクセル・マップに変換するデコーダである。図面の簡単な説明図１Aは、ピクセル・マップによって表現される２色イメージを示す図である。図１Bは、図１Aのイメージを表すレベル２の４分木を示す図である。図１Cは、図１Aのイメージを表す、レベル１、２、及び３の４分木の葉ノードに対応するブロックを示す図である。図２は、２レベルの簡素化が行われた後の、４分バランス木の葉ノードに対応する区画と、４分木に対応する区画を示す図である。図３は、図１Aのイメージのレベル１と２の均一区画を示す図である。図４は、図１Aのイメージに対応する４分木のノードに関する、木を歩く順序を示す図である。図５、及び６は、４分木のボトムアップ・テスト、及び簡素化の間の、枝とブロックの優先順位を示す図である。図７は、４分木を決定するように簡素化された、４色イメージの表現を示す図である。図８は、２×２、４×４、及び８×８のWalsh変換行列である。図９は、８×８のWalsh変換行列を、３つの疎行列に因数分解することを示す図である。図10は、レベル３の４分バランス木構造を示す図である。図11は、本発明の実施例に従う、ビデオ／イメージCODECのブロック図を示す図である。図12は、４×４Walsh変換係数の転送に関する順序を示す図である。異なる図面上にある同様、又は同一の項目には、同じ参照番号又は文字が使用されている。好適実施例の詳細な説明４分木は、２次元データ構造を４^Nのデータのブロックに分割する、レベルＮの均一区酉に対応する葉ノードを有する４分バランス木で始まる、ボトムアップによって構成される。ノードは、４つのブロックの組をテストし、マージすることによって、４分木から除去されうる（又は取り除かれうる）。図２では、レベル３の均一区画が、２色のビデオ・イメージを64（４３）ブロックのピクセルに分割する。簡略化のために、図２のブロックは、全て同じサイズとする。しかし、４分木コードによって表されるブロックが同一視される可能性がある場合は、サイズの異なるブロックを用いることもできる。一般に、最初の区画の選択が、２色イメージの４分木表現の正確性を決定する。各ブロックが単一ピクセルのみを保持している場合、この４分木表現は、イメージの正確な表現を提供する。１ピクセルより多いピクセルが、区画の最初のブロック内にある場合、４分木表現は、イメージの最初の区画の全てのブロックが単一色のみを含む、２色イメージのような特定のイメージに対してのみ、正確である。最初の均一区画におけるブロック311-314は、ブロック311-314が単一のブロック310にマージされるかどうか判定するためにテストされうる。２色イメージに関して、テストはブロック311-314のいずれかが前景色を含むかどうかを判定できる。そのいずれかが前景色を含む場合、これらのブロックはマージされない。そのいずれもが前景色を含まない場合、そのブロックに対応する４つのノードが、４分木から取り除かれる。グレイスケールや多色イメージに対しては、あるタイプのテストによって、４つの隣接するブロックが同じ色又は輝度を有するかどうかが判定され、それらのブロック全てがそうである場合、そのブロックは、１つの均一色又は輝度を有する、より大きいブロックにマージされる。マージのための他のテストが、以下に説明される。４つのブロックがマージされるとき、それらは下位レベル４分木に対応する、より粗い均一区画の一部となるブロックを形成する。従って、４分木の各レベルは、一連の均一区画からの、対応する均一区画を有する。均一区画内のブロックを同一視するルール、又はルックアップ・テーブルは、４分木コードから２次元データ構造を復号化するのに必要である。例えば、ブロックが均一色を有することを４分木コードが示す場合、ブロックのサイズと位置は、４分木コードが復号化される前に分かっていなければならない。４分木のレベルに対応する一連の均一区画のうち、最も簡単なものの１つは、イメージを反復して４等分することによって形成される。図２のレベル３の均一区画、及び図３のレベル１とレベル２の均一区画は、４等分によって形成された一連の均一区画を例示している。４等分を使用することによって、512×512のピクセルであって、１つの512×512ピクセル・ブロックであるレベル０の均一区画、４つの256×256ピクセル・ブロックであるレベル１の均一区画、16の128×128 ピクセル・ブロックであるレベル２の均一区画など、262,144の単一ピクセルであるレベル９の均一区画までを有するイメージが形成される。４分木のボトムアップ構成において、最初の４分バランス木を簡素化することによって、中間区画に対応する葉ノードを有する４分木が作成される。中間区画のブロックはここで、ブロックが適切な条件を満たすかどうかテストされ、マージされる。図２において、ブロック351-354は背景色のみを含み、レベル１の均一区画におけるブロックの１つである、ブロック350を形成するようマージされる。ブロック310と320は、ブロック330もブロック340も中間区画にないためマージされない。一般的に、４分木のマージと簡素化は、これ以上のマージができなくなるまで、１つ以上の中間区画に対して再帰的に継続される。この時点で、得られた４分木区画は、簡素化された４分木の葉ノードに対応するブロックのみを含んでいる。４分木コードは簡素化された４分木の各ノードに２進値を提供することによって決定されうる。例えば、葉ノードに対しては０、その他には１を提供し、次にその２進値を事前に定義された順序で順序づける。例えば、前述のように、簡素化された４分木のレベル０に対してその値全てを提供し、次にレベル１、その次にレベル２など、４分木の最高レベルまで続けられる。本発明によると、木を歩く順序と呼ばれる、値の別の順序づけが使用されうる。この木を歩く順序に従うと、４分木コードは、通常レベル０の値である、最下位レベルの値から開始され、葉ノードに達するまで枝を降りて進む。この順序づけは次に、枝を上方向に戻ってまだ記述されていない１つ以上の枝を有する最上位ノードに向かい、次にノードは、次の葉ノードに達するまで、まだ記述されていない枝を降下する。この値の順序づけは、このように４分木の値全てが得られるまで枝毎に続けられる。図４は、図１Bの４分木を示しており、木を歩く順序の一例を示している。図４に示された、木を歩く順序は、下位レベルから上位レベルの順で、葉ノードに達するまでの各枝のノード値が記述されている。これらの枝は、各ノードに関して事前に定義された優先順位に従って選択される。ノードがまだ記述されていない複数の枝を有する場合、より高い優先順位のノードに向かう枝が続く。このノードに関する優先順位は、図５に示されるように、対応するブロックの位置によって与えられる。左上のブロックに対応するノードが最も高い優先順位を有し、右上のブロックが２番目の優先順位を有し、左下のブロックが３番目の優先順位を有し、右下のブロックが最も低い優先順位を有している。葉ノードに達すると、枝は、値が得られていないノードを有する枝を有する最も高いレベルのノードに向かって下方向に戻り、次に、値の得られていない最も高い優先順位の枝に続く。こうして、４分木のノード値が４分木コードによって全て得られるまで、枝から枝に続けられる。前述の規約を用いて、図４の最初の枝が、N1から始まりN2に向かってN3に達する。次に最も高いノードN2は、ノード値が得られていない３つの枝を有する。N2 からの３つの枝は、葉ノードN4、N5、及びN6のみを含み、この順序で得られる。 N2からの最後の枝が完了すると、次の枝はノードN1からのものであり、葉ノード N7のみを含む。次の枝もN1からのものであり、ノードN8とN9を含む。次に、N8から３つの枝が伸び、それぞれはノードN10、N11、又はN12のみを含む。この木を歩く順序は、４分木の全ての枝が、４分木コード11001101110011000が得られるように記述されるまで、同様の方法で続けられる。木を歩く順序を用いれば、最初の枝が分かるとすぐに、４分木コードの最初の値を転送することができ、４分木のボトムアップ判定が、枝毎に進められる。全ての４分木が判定される間、４分木コードの転送を待つ必要はない。例えば、図３のレベル２の均一区画において、ノードN3にブロック310が対応し、ノードN2にブロック360が対応し、及びノードN1に全体イメージが対応する。ブロック341、342、343、及び344（図２）をテストすることによって、ブロック341、342、343、及び344はマージできないことが分かる。従って、ブロック310、320、330、及び340はマージされず、ノードN1とN2は値１を有する。ブロック310は均一な背景色を有するため、N3は０であり、４分木の最初の枝が分かり、枝N1-N2-N3は、他のいかなるノードや各レベルのうち任意のものを判定することなく、転送されうる。従来技術の４分木コードは、次の上位レベルにおいて任意の値が記述される前に、全ての下位レベルを記述するため、４分木のボトムアップ判定を使用する場合、従来技術の４分木コードの最初の値が提供される前に、全体の４分木が判定されなければならない。従って、従来技術の順序に従った４分木コードの転送は、全体の４分木が判定されるまで待たなければならない。図６は、レベル３の均一区画のブロックがテストされ、前述の木を歩く順序によって定義されたシーケンスで、枝上のノード値を判定する順序を示す。図６の順序によって、４分木の残りを判定している間にも４分木コードの転送が可能になる。多くの他の木を歩く順序も用いられて、枝に関する４分木コードのシーケンスと、ブロックがテストされる順序を変更する。前述の４分木コードは、多色やグレイスケール・イメージに関する、色及び輝度の情報を提供しない。４分木コードの１と０は、４分木構造だけを示す。本発明によって、色や輝度の情報が、４分木コードに組み込まれうる。図７は、各ブロック内の数がそのブロックの色を示す、４色イメージのレベル３の均一区画を示している。４分木を生成するため、レベル３のノードに対応する４つのブロックの集合がテストされ、４つのブロック全てが同じ色を有するかどうか判定する。この４つのブロックが同じ色を有していれば、これらのブロックはマージされ、対応するノードが、レベル２の葉ノードとして４つのブロックの集合体に対応するノードを残して、４分木から取り除かれる。均一区画内のブロックをマージするものは、これも図７に示される中間区画を形成し、部分的に簡素化された葉ノードを表す。中間区画において、レベル２の葉ノードに対応するブロックが、これ以上マージ及び簡素化が可能かテストされる。レベル２の葉ノードが取り除かれた後に、レベル１の葉ノードがテストされるが、図７のイメージ例に関しては、レベル１のノードのマージが可能なものはない。全てのレベルにわたるテストに代えて、カラー・イメージも又、前述のように、木を歩く順序に従って簡素化が可能である。簡素化方法はイメージの４分木表現の葉ノードを表す４分木区画を提供する。カラー・イメージに関する４分木コードは、全ての葉ノードに従うコード・カラー情報内に組み込むことによって形成される。例えば、図７の４分木区画に関する従来の４分木コードは、1|1011|011 110011010であり、ここでは、図５で示された分岐規約が用いられている。色情報は、全ての０の値を持った葉ノードと次の最も高いレベルの葉ノードがノード値１を有するとすぐに提供される。この規約に従えば、図７のイメージを記述する４分木コードは、1|10(2)11|0(0)1(1211)1(0111)1(1211)1(1122)0(1)0(3)1(21 23)1(2213)0(3)1(2333)0(3)であり、ここで、括弧と｜は、４分木コードの一部ではないが、読むものの便宜を考えて、色情報とレベルをそれぞれ分離するために付加されたものである。この４分木コードは、色情報に関する34の２ビット数と、４分木構造に関する17ビットの計85ビットを必要とする。圧縮されていないピクセル・マップは各ブロックに２ビットずつで、計128ビットを必要とする。色、及び輝度情報は又、例えば1|1011(2)|011110011010(01333)|(1211011112111 122212322132333)のように、各レベルの終わりに配置して、４分木コード内に組み込むことができる。他の組み込み規約が可能であり、４色イメージに制限されることはなく、多色又はグレイスケール・イメージに使用可能である。４分木コードに、色情報を組み込むことは、例えば全ての色情報を有する４分木コードの後に、色情報と離して４分木コードを提供する場合に有利である。前述のような木を歩く順序に従う４分木コードに関して、４分木コードが全て分かる前に、各葉ノードの後の４分木コードに組み込まれた色情報が、イメージのブロックをすぐに構成することができる。葉ノード毎に単一の数字を組み込んで、そのノードに対応するブロックに関する色やグレイスケールの輝度を示す代わりに、いくつかの係数が４分木コードに組み込まれて、対応するブロックにわたるピクセル値の変化を記述する。例えば、ブロックの領域にわたって色や輝度の変化を記述する多項式や他の関数の係数が、４分木コードに組み込まれうる。本発明の一実施例では、以下で定義するような１つ以上のWalsh変換係数が、ブロックの色や輝度を記述する。簡略化のため、以下の実施例は、各ピクセルの輝度がピクセル・マップ内の単一の数によって記述される、ピクセルの２次元グリッドを記述するピクセル・マップを有するグレイスケール・イメージを扱う。３つの数を使用して色の要素を示すピクセル・マップのような、他の２次元データ構造への一般化は、開示された実施例から明らかである。グレイスケール・イメージのピクセル・マップは、輝度の値からなる行と列を有し、それは、周知の線形代数と行列表記を用いて、行列として操作可能である。同様に、ピクセル・マップがブロックに分割された場合、各ブロックは行列として操作可能である。本発明に従って、４分木が異なるサイズのブロックに対応する葉ノードとともに選択されるが、同じ所与の数のWalsh変換係数が、ブロックのサイズとは無関係に各ブロックを記述する。葉ノードに対応する各ブロック内のピクセルの数は、所与の数のWalsh変換係数が、ブロックにわたってピクセルの変化の正確な近似を効果的に提供する要件によって制限される。独立型Walsh変換は、Nが２、４、及び８の場合に、図８に示すように、行列の乗算とＮ×Ｎ変換行列を使用して行われる。図８では、記号「−」は-1を表す。Walsh変換行列の値は全て、１又は-1である。従って、Walsh変換行列との乗算は、構成要素の加算（又は減算）によって行われる。（１との乗算以外の）乗算は必要とされない。従って、Walsh変換は、ディジタル・システムによって高速に計算される。任意のＮ×Ｍ行列ｘ（ここで、Ｎ及びＭはそれぞれ２ⁱ及び２^jに等しく、ｉ及びｊは任意の正の整数である）に関して、行列ｘのWalsh変換ｘは、^Nｗ・ｘ・^Mｗと定義され、ここで^Nｗと^Mｗはそれぞれ、Ｎ×Ｎ及びＭ×ＭのWalsh変換行列である。Walsh変換された行列ｘの構成要素は、Walsh変換係数と呼ばれる。Walsh 変換行列^Nｗ・^Nｗの行列の積が、Ｎ・Ｉに等しいので（ここでＩは恒等行列）、ｘは(^NＷ・Ｘ・^MＷ)/(Ｎ・Ｍ)に等しい。Ｎ×ＮのWalsh変換行列は疎行列^NＡ₁,...,^NＡ_zに因数分解されうる（ここで、Ｚ＝log₂Ｎ）。図９には、８×８のWalsh変換行列の３つの疎行列⁸Ａ₃・⁸Ａ₂・⁸Ａ₁ への因数分解が示されている。任意の２Ｎ×２ＮのWalsh変換行列に関して示すこともできる。また、^2NＡ_Z+1が、偶数のｉに対しては、δ_(i/2)j+（-１）^(i/2)δ_(N+i/2)jに等しく、奇数のｉに対してはδ_(i/2+1/2)j+（-１）^(i-1)/2δ_(N+i/2+1/2)j に等しい（ここで、ｉ及びｊはそれぞれ、行及び列のインデックスであり、１と2Nの間の値を取る。δａｂはクロネッカーの記号であり、ａとｂが等しければ１であり、それ以外は０である。図８に示すWalsh変換行列は、上部（又は左）から始まる各行（又は列）が、前の行（又は列）より符号の変更が１つ多いことを意味する、連続する順序であるものとして参照される。連続する順序で、均一な行列、即ち全ての要素が等しい行列のWalsh変換が、１つの非ゼロのWalsh変換係数、即ち左上の係数を有する。均一に近い行列に関しては、変換された行列の左上に近いWalsh変換係数のみが重要である。従って、Walsh変換係数の部分集合は、均一な行列、又は均一に近い行列の良好な近似を提供するのに十分である。正確にイメージを記述する４分バランス木は、高さ及び幅が２ｉピクセル（ｉは任意の正の整数）の任意の四角いイメージに関して構成される。他のサイズのイメージは、こうした四角いイメージの集合から構成されうる。図10は、64の葉ノードを有する４分バランス木を示す。各葉ノードが、単一ピクセルを含むブロックに対応する場合、輝度の情報や単一のWalsh変換係数と結合された、図10の４分木が、正確にそのイメージを記述する。図10のレベル３の各ブロックが２× ２の行列であった場合、葉ノード毎の４つのWalsh変換係数は、２×２のブロックのWalsh変換が４つの係数を有しているだけなので、イメージの正確な表現を保証するのに十分である。同様に、レベル３の区画がブロック毎にＮ_t×Ｎ_tのピクセルを有する場合、Ｎ_t ²Walsh変換係数は、正確な表現を保証する。本発明の一実施例によれば、正確な４分木が簡素化され、左上のWalsh変換係数が所望の正確度で記述されるよう、ほぼ均一なブロックに対応する葉ノードを生成する。４分木が簡素化されるので、任意のWalsh変換係数は、切り取られたブロックを記述する必要がない。Walsh変換係数は、再帰的に判定される。 walsh変換係数の再帰的な関係は、以下のような行列表記で表現されうる。４つのＮ×Ｎ行列ｘ₁、ｘ₂、ｘ₃、及びｘ₄が2Ｎ×2Ｎ行列ｘにマージされると、以下のようになる。行列ｘ₁、ｘ₂、ｘ₃、ｘ₄、及びｘのWalsh変換は、それぞれ行列Ｘ₁、Ｘ₂、Ｘ₃、Ｘ₄、及びＸである。左上のＮ_t ²Walsh変換係数が、簡素化の間保持され、Walsh 変換行列Ｘ₁、Ｘ₂、Ｘ₃、Ｘ₄、及びＸが、行列Ｘ'₁、Ｘ'₂、Ｘ'₃、Ｘ'₄、及びＸ 'によって近似され、それらは、といった形式を有し、ここでａはＮ_t×Ｎ_tの行列であり、０は全要素が０に等しい適当なサイズの行列を表している。と表すことができる。ここで、^2NＡ_Z+1は前述の疎行列であり、^2NＡ_Z+1 ^Tは行列² ^N Ａ_Z+1の転置である。行列^2NＡ_Z+1の形式から、行列Ｘ₁、Ｘ₂、Ｘ₃、及びＸ₄の左上の係数のみ、即ちＸ'₁、Ｘ'₂、Ｘ'₃、Ｘ'₄のみが、Ｘの左上のＮ_t ²、Ｘ'の判定に必要である。従って、４分木（又はブロックのマージを行うもの）のそれぞれの簡素化の後で、新しい葉ノードのブロックのWalsh変換係数を、保持されたWalsh変換係数のみを用いて、計算することができる。ピクセル・レベルから計算を行ったり、上位レベルのブロックを記述するために保持されるＮ_t ²Walsh 変換係数の値以外の値を一時的に記憶する必要はない。４分木が簡素化される度に、４つのブロックｘ₁、ｘ₂、ｘ₃、及びｘ₄が１つのブロックｘにマージされ、全てのブロックｘ₁、ｘ₂、ｘ₃、ｘ₄、及びｘが、同じ数のWalsh変換係数のＮ_t ²によって記述される場合、イメージを記述する係数の全体の数は、Ｎ_t ²の３倍だけ減少する。通常、このことは、イメージの再構築における歪みを増加させる。この歪みの１つの尺度は、ブロックごとの歪みを提供する２乗誤差である。この２乗誤差は、元のイメージと４分木コードから再構築されたイメージを比較する。４分木に保持されている左上のＮ_t ²Walsh変換係数によって、復号化されたイメージが４つのピクセル行列ｘ'₁、ｘ'₂、ｘ'₃、及びｘ'₄又は、その４つがマージされていれば１つのピクセル行列ｘ'を有する。ピクセル行列ｘ'₁、ｘ'₂、ｘ'₃、ｘ'₄、及びｘ'は、前述の行列Ｘ'₁、Ｘ'₂、Ｘ'₃、Ｘ'₄、及びＸ'の逆Wlash変換である。Ｎ_tWalsh変換係数でブロックｘを記述することによって生じる２乗誤差歪みは、行列ｘ−ｘ'の全要素の２乗誤差の合計、‖ｘ−ｘ'‖である。これは、標準の線形代数技法を用いて、‖ｘ−ｘ'‖＝‖ｘ₁−ｘ'₁‖＋‖ｘ₂−ｘ'₂‖＋‖ｘ₃− ｘ'₃‖＋‖ｘ₄−ｘ'₄‖＋trＢＢ^T/(2N)²と表される。ここで、Z＝log₂Nの場合、である。ブロックｘを葉ノードとして用いることによって生じる２乗誤差は、ブロックＸ'₁、Ｘ'₂、Ｘ'₃、及びＸ'₄によって生じる２乗誤差と、マージによって発生する付加的な誤差の合計である。行列Ｂは、Walsh変換係数Ｘ'₁、Ｘ'₂、Ｘ'₃ 、及びＸ'₄によって全て判定されるので、付加的な誤差を、保存されたWalsh変換係数から再帰的に判定することができ、ピクセル・レベルの計算に戻ったり、付加的な２乗誤差の計算のために余分なWalsh変換係数の値を保存したりする必要がない。付加的な歪みに対する、別の尺度は、Ｂの要素を２乗する必要がないために、計算時に乗算が少なくてすむ行列Ｂの絶対値の合計である。付加的な歪みに対する、更に別の尺度は、行列Ｂの係数の絶対値の最大値である。イメージにとってどの尺度が最善かを判定することは、イメージ毎に、その目標が、人間の視覚で、元のイメージからの変更が最も少ない、復号化イメージを有することであるので、主観的な問題である。Ｂ内の係数の絶対値の合計と最大値の両方は、経験則的に見つけられてきたものであり、元のイメージに近い復号化イメージを提供する。４分木の簡素化は、最も小さい付加的誤差を生じさせる４つのブロックの集合をのみをマージすることによって再帰的に行われる。簡素化閾値Ｔ_mは、簡素化による付加的誤差が、簡素化閾値より小さい場合に、ノードが取り除かれるようにセットされうる。簡素化閾値Ｔ_mの値、及び誤差に対する尺度のタイプは、４分木記述の精度を決定する。２乗誤差に関して、付加的誤差は、ＢＢ^T/(2N)²のトレースである。絶対合計誤差に関して、付加的誤差はＢの係数を(2N)²で割った値の絶対値の合計である。絶対最大誤差に関して、付加的誤差は、Ｂの係数の絶対値の最大値であり、除算なしで求められる。通常、Walsh変換係数は、４分木コード内に組み込まれたビットより重要なビットを含むように決定され、とりうる値の所望の数に量子化される。この量子化は、量子化された値が正確な係数の値の近似のみを行うので、歪みを発生させる。当業界で周知のように、固定ビット速度転送に関して、量子化される値の歪み、及び量子化された値の符号化の方法に従って、量子化によって発生する歪みを最小化する最適量子化技法がある。一般化されたガウス分布と、Walsh変換係数の可変長符号化に関しては、均一なステップ・サイズを用いた量子化によって、固定ビット速度転送の歪みを最小化できる。均一なステップ・サイズは、Walsh変換係数を、固定量子化ステップ・サイズｑによって分割し、次にその結果を最も近い整数に四捨五入する。予期される最も大きなWalsh変換係数が値の所望の範囲に含まれるように、各係数毎に様々なステップ・サイズｑを選択することができる。前述のように、本発明の特定の実施例では、同じ量子化ステップ・サイズが、１つのブロック内の全ての係数に対して用いられる。異なるステップ・サイズｑ_Nが、異なるサイズのブロックに用いられる。通常、Walsh変換係数の大きさは、Ｎ²に比例し、ここでＮ×Ｎはブロックのサイズである。ｑ₀・Ｎ²に等しいｑ_Nは、より大きいブロックの係数のサイズにおける増加を補う。量子化は、大きなブロックの係数の量子化によって生じる誤差が、小さなブロックの量子化におけるものより多くのピクセルの量子化を妨げることを考慮に入れることによって、改善されうる。均一な分布を仮定して、量子化誤差の変化を見積もると、それは、Ｎ²・ｑ²に比例する。従って、より良い量子化方法は、サイズＮのブロックに対してｑ₀・Ｎに等しいステップ・サイズｑ_Nを使用する。ステップ・サイズの更なる制限は、量子化の結果の分布が簡素化閾値Ｔ_mのイメージ精度を保持しなければならないことである。従って、量子化の後でとりうる値の数が最小にされ、量子化された値を表現するのに必要なビット数を減少させるが、そのとりうる値には、量子化によって生じた歪みが、簡素化によって生じた歪みよりも重くならないような値が提供される。表１及び表２は、歪みの共存可能な量を提供する、簡素化閾値Ｔ_mと量子化定数ｑの値を示している。Ｔ_mは２乗誤差(trBB^T/(2N)²)を４で割ったものであり、量子化係数のステップ・サイズは、２・Ｎ・ｑである。これらの係数が量子化された後、それらは可変長に符号化される。ハフマン符号化のような可変長符号化は、４分木の平均サイズが可変長符号化によって小さくなるように、最も頻繁に現れる値に対しては、より少ないビットを用い、最も頻度の低い値に対してはより多くのビットを用いる。４分木コードを受信するデコーダは通常、ルックアップ・テーブルを用いてハフマン符号を復号化し、次に量子化されたWalsh変換係数をステップ・サイズｑ_N と乗算し、Walsh変換係数を概略復旧する。このデコーダはブロック・サイズと適切なステップ・サイズｑ_Nを４分木構造から判定する。図11は、本発明の実施例による、ビデオ／イメージCODECを含むブロック図を示している。ビデオ／イメージCODECは、例えば、ビデオ電話通信、又は圧縮イメージを記憶するためのイメージ記録システムのようなアプリケーションに用いることができる。図11に示すように、CODECのコーダ側は、カメラ105や、動画イメージの映像を作成する一連のイメージやフレームを表現するビデオ信号を提供するいくつかの他のソースに接続される。ビデオ信号に関して、既知の、又はまだ開発中の任意のビデオ・フォーマットを使用することができ、必要であればコンバータ1110を用いて、あるフォーマットから別のフォーマットに変換することも可能である。現在のほとんどのビデオ・フォーマットは、各フレームをカメラ・バッファ11 15内で把握できる一連の水平線として提供し、フレームのピクセル・マップのような２次元データ構造を作成する。フレーム・メモリ1120は、カメラ・バッファ 1115から、そのフレームのピクセル・マップを受信する。通常、動画イメージにおける２つの連続するフレームは互いに密接に関連している。２つの連続するフレームを比較し、前のフレームで既に転送された情報を減じることによって、第２フレームの情報量が減らされる。一連のフレームにおけるフレーム毎の情報量を減らすための技法が多く知られている。図11の実施例において、動作予測器1125は、フレーム・メモリ1120内のフレームのイメージと、フレーム・バッファ1130内に記憶されている前のフレームとを比較し、フレーム間の情報の平均オフセットを判定し、デコーダに転送される動作ベクトルを生成する。シフトされた前のフレームは次にフレーム・メモリ1120内のフレームから減算され(1135)、差分イメージを提供する。動作予測器1125と減算器1135は、イメージ記録システムに見られるような静止イメージに対しては必要ではない。従って、静止イメージCODECは、動作予測器1 125と減算器1135を除去することによって作られ、差分フレームに関するものの代わりに、静止イメージが符号化される。４分木Walsh変換(QTWT)プロセッサ1140は４分木コードを作成し、上述の方法を用いて差分フレームのWalsh変換係数を量子化する。こうしたプロセッサは、ハードウエアやソフトウエア（コーディング例のように）内で実施されうる。一実施例では、プロセッサ1140は、一連の16×16ピクセルのサブ・イメージのような、一連の四角いサブ・イメージ内に差分フレームを分割し、個別のサブ・イメージ毎に４分木コードを提供する。プロセッサ1140はまた、Walsh変換係数も量子化する。広範にわたる様々な動画イメージの差分フレームが、左上（又はＤＣ）の係数を除いて、係数が値ｘを有する確率がexp{-|ｘ|}にほぼ比例する、Lapa cian分布に概略従う値を有するWalsh変換係数を有することが、経験則的に判定されてきた。フレームがサブ・イメージに分割される実施例において、隣接するサブ・イメージのDC係数間の差分もほぼ、Lapacian分布に従う。ビット速度歪み関数は、Ｎ×Ｎのブロック内の全てのWalsh変換係数の関するビット速度とステップ・サイズを判定するのに用いられうる。実験によって、固定ビット速度の制限を受ける、量子化の歪みを最小にするステップ・サイズの割当てが、係数の絶対量が変化したとしても、Ｎ×Ｎのブロック内に保持されている係数の全てとほとんど等しいことが示されている。４分木コードは、内部的な利用のためにバッファ1130で前のフレームと組み合わせられ、ソース・エンコーダ1145、チャネル・エンコーダ1150、及びチャネル・バッファ1155を介して、チャネルに送信される。４分木コードを復号化し、復号化された差分イメージをバッファ1130内で前のフレームと組み合わせることによって、デコーダによって生成されるフレームと同じ、復号化されたフレームが提供される。ソース・エンコーダ1145は、４分木コード内のWalsh変換係数を可変長にコード化する。本発明の一実施例に従えば、ブロック・サイズに従った量子化を行った後では、差分イメージに関するWalsh変換係数は-255から255までの値をとる（０である可能性が高い、511の値をとりうる）。この実施例に関してハフマン・コードを生成するために、とりうる可能な値は、表３に示すような８つのクラスＣ_o-Ｃ₈に分割される。各クラスで使用されるハフマン・コードは、各ブロックを記述するWalsh変換係数の数に依存する。表４、５、及び６に示す、クラスＣ₀-Ｃ₈のハフマン・コードは、それぞれ、ブロックあたり１、４、及び16のWalsh変換係数に関するものである。表４、５、及び６では、クラス内の任意の値に対するハフマン・コードは、必要であれば符号ビット、及び固定長選択値と組み合わせられたクラス・コードによって表現される。表５と６においては、EOB（ブロックの終わり）が、ブロックに関するその他のWalsh変換係数が全て０であることを示している。表６では、R(2)ないしR(15)は、２から15の連続する０を、それぞれ示している。図12は、Walsh変換係数の４×４のブロックに対するジグザグの順序を示している。前述の簡素化技法と図12に示した順序を用いることによって、最終的な係数はゼロである確率が最も高い。チャネル・エンコーダ1150は、エラー・チェック・コードを付加する。チャネル・バッファ1155は一時的に、４分木コードの一部を記憶し、それによって、転送速度は出力チャネルの４分木コード送信能力を超えることはない。図11は、入力チャネルで受信された４分木コードの復号を行うデコーダ部分も示している。チャネル・バッファ1160は、入力チャネル上の転送速度が一時的にデコーダの処理速度を上回った場合に、データが失われないように、入力４分木コードを記憶する。チャネル・デコーダ1165は、転送エラー符号化を除去し、転送エラーをチェックする。ソース・デコーダ1170は、４分木コード内のWalsh変換係数のハフマン符号を復号し、復号化されたその値をQTWTデコーダ1175に提供する。QTWTデコーダ1175は４分木コードの葉ノードに対応するブロックを識別し、葉ノードに対応するWalsh変換係数に関する逆Walsh変換を実行する。この識別されたブロックは次に、逆Walsh変換によって提供された値を充填し、差分イメージを形成する。加算器1185は、その差分イメージをフレーム・バッファ1180内に記憶された前のフレームの受信された動作ベクトルに従う、シフトされたピクセル・マップと結合し、新しいフレームのピクセル・マップを生成する。この新しいフレームは次に、次の差分イメージに用いられるように、フレーム・バッファ 1180内に記憶される。新しいフレームに関するピクセル・マップも、例えばその新しいフレーム内で不連続性を滑らかにすることができるフィルタ1190を通過する。フィルタが行われた後、その新しいフレームはディスプレイ1195上に表示される。また、その新しいフレームはフィルタなしでも表示されうる。後述のコーディング例は、組み込みWalsh変換係数を用いて４分木コードを符号化、及び復号化するＣ言語サブルーチンのリストを含む。符号化に関して、サブルーチンqtwt_quan_enco2D.cは、４分木コードの作成、量子化、及び可変長符号化に必要なサブルーチンをコールする、トップ・レベルのサブルーチンである。サブルーチンqtwt_grow_costt.cは４分バランス木を生成する。サブルーチンq twt_prune_costt.cは４分木を簡素化する。サブルーチンoutput_bits.cは４分木コードを形成し、出力する。復号化に関して、サブルーチンqtWt_quan_deco2D.cは、可変長復号化、及びフレームの再構築に必要なサブルーチンをコールする、トップ・レベルのサブルーチンである。サブルーチンinput_bits2D.cはWalshコードからブロックを復号化する。サブルーチンbits_to_matrix2D.c、input_bits2D.c、及びinput_bits.cは入力４分木コードを可変長復号化する。他のサブルーチンは汎用であり、符号化と復号化の両方に用いられる。サブルーチンone_d_wt.c、one_d_iwt.cは再帰的１次元Walsh変換、及び逆Walsh変換を行う。サブルーチンone_d_wt_rc.cは単一ステップ１次元Walsh変換を行う。サブルーチンtwo_d_iw.cとtwo_d_iwt.cは、それぞれ２次元（即ち行列）Walsh変換、及び逆Walsh変換を行う。本発明が、特定の実施例に関連して説明されてきたが、この説明は単に本発明の適用例に過ぎず、これに制限されるものではない。特に、前述の説明のほとんどがビデオ・イメージ、特にピクセル・マップの処理を目的としているが、本発明は２次元データ構造の任意のアレイの説明として、より一般的に適用されうる。

Claims

【特許請求の範囲】１．それぞれ２次元グリッドの位置によって同一視が可能な複数のデータの部分を含む情報を転送する方法であって、前記方法が、情報の一連の区画を選択するステップで、前記一連の各区画が、Ｎ≦Ｉ≦Ｍである、対応する整数Ｉを有し、かつ４^Iの交差しないブロックと接し、各区画内の各ブロックが、２次元グリッドの対応する矩形領域を有し、かつ対応する矩形領域内に位置する全てのデータの部分と接し、Ｎ≦Ｊ＜Ｍである各整数Ｊに関して、Ｊに対応する区画内の各ブロックがＪ＋１に対応する区画内の４つのブロックからなる集合体と等しい、前記ステップ、一連の区画に含まれるブロックから、接合していないブロックの集合を選択するステップで、そのブロックの集合の中に第１及び第２のブロックが存在し、第１のブロック内の情報の部分の数が第２のブロック内の情報の部分の数より大きい、前記ステップ、及び複数のブロックのうち２つにある各ブロックのWalsh変換係数を表す一連のデジタル信号を転送するステップを含むことを特徴とする、前記方法。２．４分木コードによって表されるイメージを描画するための方法であって、前記方法が、メモリ内に、４分木のレベルに関する葉ノードを示す値、及び前記葉ノードに対応するWalsh変換係数を示す値を含む４分木コードの部分を記憶するステップ、４分木コードの部分から葉ノードを同一視するステップ、４分木コードの部分を解析して、前記葉ノードに対応する組み込みWalsh変換係数を独立させるステップ、描画媒体上で、前記葉ノードに対応するピクセルのブロックを同一視するステップ、独立Walsh変換係数に関して逆Walsh変換を実行するステップで、逆Walsh変換の次元がブロックのサイズに依存し、Walsh変換係数が、ブロックと同じサイズを有する行列の左上の要素として扱われる、前記ステップ、及び逆Walsh変換の対応する値によって示される色でピクセルを充填するステップを含むことを特徴とする、前記方法。３．色でピクセルを充填するステップが、シェードやグレイスケールでピクセルを充填することを含むことを特徴とする、請求項２に記載の方法。４．描画媒体がビデオ・ディスプレイ・スクリーンであることを特徴とする、請求項２に記載の方法。５．描画媒体がプリンタで使用する紙であり、ピクセル充填ステップが紙への印刷を含むことを特徴とする、請求項２に記載の方法。