JP4541896B2 - 多重記述符合化のための装置及び方法 - Google Patents

Description

本発明は、一般にマルチメディア、より具体的にはデータの多重記述（ｍｕｌｔｉｐｌｅ ｄｅｓｃｒｉｐｔｉｏｎｓ）を生成するための圧縮システムに基づいた離散コサイン（ｃｏｓｉｎｅ）変換に関する。

通常、ディジタル情報は、符号器による処理或いは予め選択されたフォーマットを用いて圧縮される。しかしながら、高精細テレビ（ＨＤＴＶ）、ディジタル多目的ディスク或いはビデオディスク（ＤＶＤ）、先進テレビジョンシステム委員会（ＡＴＳＣ）、ディジタルビデオ放送（ＤＶＢ）、ディジタル衛星システム（ＤＳＳ）のような従来のディジタル消費者形式（ｃｏｎｓｕｍｅｒ ｆｏｒｍａｔｓ）は、様々な、特定の解像度、フレームレート及び／又はビットレートで動作する。それに応じて様々なフォーマットに対応するために、ビデオの多重記述を生成することができる圧縮技術が求められている。

多重記述を提供する現在のビデオ圧縮標準は、それを元来の（ｉｎｎａｔｅ）形式の中で行い、個別のアプリケーションを目標としている。例えば、共同の写真専門家グループ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（ＪＰＥＧ）２０００は、ビデオを縮めることによってビデオの多重記述を生成することができる。しかしながら、フレーム内（ｉｎｔｒａｆｒａｍｅ）及びウェーブレット（ｗａｖｅｌｅｔ）に基づいているので、ＪＰＥＧ２０００は本質的により低い解像度の像を提供する。さらに、それは２進数であるように制限されている。即ち、縮小因子（ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒｓ）は２の倍数である。動画専門家グループ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（ＭＰＥＧ）４は、インターネットビデオのような制限された或いは固定された帯域幅のアプリケーションを目標とした多重記述離散コサイン変換（ＤＣＴ）もサポートする。この技術において、ビデオの基本形式（ｒｕｄｉｍｅｎｔａｒｙ ｆｏｒｍ）が送信される。ビデオにおける細部（ビット）を向上するために連続送信がなされる。このアプローチにおける大きな欠点は動画補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）である。

それゆえ、ビデオ或いはビデオ系列の多重記述を生成することができる、より多目的で、簡易なそして／或いは効率的なシステムに対する需要がある。

［サマリー］
ここで開示される実施形態は、圧縮されたデータの多重記述を生成するためのシステムを提供することによって上で述べた需要を処理する。ある実施形態において、圧縮されたデータの多重記述を生成するための方法は以下を具備する：入力データから変換係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成すること；変換係数を量子化すること；量子化された変換係数のエネルギー分布を生成すること；エネルギー分布に基づいて変換係数を層（ｌａｙｅｒｓ）へとグループ化すること；そして圧縮されたデータの第１の記述を生成するために第１の数の層をエントロピー（ｅｎｔｒｏｐｙ）符号化すること。

別の実施形態では、圧縮されたデータの多重記述を生成するための装置は以下を具備する：入力データから変換係数を生成するための手段；変換係数を量子化するための手段；量子化された変換係数のエネルギー分布を生成するための手段；エネルギー分布に基づいて変換係数を層へとグループ化するための手段；そして圧縮されたデータの第１の記述を生成するために第１の数の層をエントロピー符号化するための手段。

さらに別の実施形態では、圧縮されたデータの多重記述を生成するための装置は以下を具備する：入力データから変換係数を生成するように構成された変換モジュール；変換モジュールに結合して変換係数を量子化するように構成された量子化モジュール；量子化モジュールに結合した層化（ｌａｙｅｒｉｎｇ）モジュールであって、量子化された変換係数のエネルギー分布を生成するように構成され、エネルギー分布に基づいて変換係数をグループ化するように構成された層化モジュール；そして層化モジュールに結合して圧縮されたデータの記述を生成するために複数の層をエントロピー符号化するように構成されたエントロピー符号器。

上の実施形態では、変換係数は重要度の順にグループ化されてよい。変換係数を複数ビットの単位へと分割することそして複数ビットの単位を層へとグループ化することによって、変換係数はグループ化されてよい。変換係数をニブル（ｎｉｂｂｌｅｓ：１／２バイト）へと分割することそしてニブルを層へとグループ化することによっても、変換係数はグループ化されてよい。ここで、より高い（ｈｉｇｈｅｒ）及びより低い（ｌｏｗｅｒ）ニブルが層へと別々にグループ化されてよい。変換係数を小片（ｃｒｕｍｂｓ）へと分割することそしてニブル及び小片を層へとグループ化することによって、変換係数はさらにグループ化されてよい。そのうえ、実施形態は、圧縮されたデータの第２の記述を生成するために第２の数の層をエントロピー符号化することをさらに具備してよい。実施形態は、圧縮されたデータの主目録（ｍａｓｔｅｒ ｉｎｖｅｎｔｏｒｙ）を生成するために追加の数の層のそれぞれをエントロピー符号化することをさらに具備してよい。実施形態は、エネルギー分布を生成するのに先立って量子化された変換係数を配置すること（ａｒｒａｎｇｉｎｇ）をさらに具備してよい。

さらなる実施形態では、データの量子化された変換係数に基づいて圧縮されたデータを生成するための方法は以下を具備する：量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の層の目録にアクセスすること；そして圧縮されたデータを生成するために目録から選択された数の層を抜き出すこと。

またさらなる実施形態では、データの量子化された変換係数に基づいて圧縮されたデータを生成するための装置は以下を具備する：量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の層の目録にアクセスするための手段；そして圧縮されたデータを生成するために目録から選択された数の層を抜き出すための手段。

さらに別の実施形態では、データの量子化された変換係数に基づいて圧縮されたデータを生成するための装置は以下を具備する：量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の層の目録を保持するように構成された記憶媒体；そして記憶媒体に結合して圧縮されたデータを生成するために目録から選択された数の層を抜き出すように構成された選択モジュール。

［詳細な説明］
一般に、以下に説明される実施形態は、圧縮システムに基づいた変換が入力ビデオデータストリームからの圧縮されたデータの多重記述を生成することを可能にする。以下の説明で、実施形態の全体を通した理解を与える具体的な詳細が示される。しかしながら、これらの具体的な詳細を伴わなくても実施形態は実行されてよいことを当業者の一人なら理解するだろう。例えば、不必要な詳細において実施形態を不明確にしないようにするために、回路はブロック図で示されてよい。他の例では、実施形態を不明確にしないようにするために、良く知られた回路、構造及び技術が詳細に示されてよい。

また、実施形態は、フローチャート、流れ図、構成図、或いはブロック図として描かれる処理として説明されてよいことも特筆される。フローチャートは連続した処理として動作を説明してよいのであるが、多くの動作は並列して或いは同時に実行することができる。さらに、動作の順序は再配置されて（ｒｅ−ａｒｒａｎｇｅｄ）よい。処理はその動作が完了されたときに終了させられる。処理は、方法、関数、手続き、サブルーチン、サブプログラム、他に対応してよい。処理が関数に対応するとき、その終了は呼び出し（ｃａｌｌｉｎｇ）関数或いは主（ｍａｉｎ）関数に対する関数の戻り（ｒｅｔｕｒｎ）に対応する。

さらにその上、ここで開示されるように、用語“ビデオ”はマルチメディアの映像部分を指し、用語“画像”と置き換えて使用できるだろう。記憶媒体はデータを保持するための１つ或いはそれ以上の装置を表してよく、データを保持するための装置は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置及び／又は情報を保持するための他の機械が読み取り可能な媒体を含んでいる。用語“機械が読み取り可能な媒体”は、ポータブルの或いは固定の記憶装置、光記憶装置、無線チャネル、そして（複数の）命令及び／又はデータを保持し、含み、或いは運ぶ能力を有する様々な他の媒体、に制限はされないがこれらを含む。

さらに、入力ビデオ或いは画像データストリームは画像フレームから通常構成される。画像フレームは一般にスライス（ｓｌｉｃｅｓ）へと分割でき、スライスはデータブロックへと分割でき、そしてデータブロックは画像の最小単位であるピクセル（ｐｉｘｅｌｓ）へと分割できる。各画像フレームは整数個のスライスからなり、各画像スライスは１６本の連続した走査線（ｓｃａｎ ｌｉｎｅｓ）のセットに対する画像情報を表す。その場合、各データブロックはフレームの画像にわたる１６×１６のピクセルブロックに対応する。また、フレームは偶数及び奇数のスライスへと分割されてよく、それによって偶数の半フレーム及び奇数の半フレームを形成する。ある実施形態では、半フレームは、復号器によって処理される圧縮されたデータ情報の基本パケットである。さらに、画像ピクセルは赤、緑及び青（ＲＧＢ）の色成分システムの中で通常表現できる。しかしながら、人間の眼は輝度の変化に対してより敏感であるが、色質（ｃｈｒｏｍｉｎａｎｃｅ）の変化に対してより少なく敏感であるので、画像ピクセルを表現するのにＹＣｂＣｒ色空間がビデオ圧縮において通常は用いられる。ＹＣｂＣｒ色空間はＲＧＢ成分の線形変換であり、ここでＹは輝度成分であり、Ｃｂ及びＣｒは色成分である。フレームが偶数／奇数のフレームへと別けられるならば、成分Ｙ、Ｃｂ及びＣｒに対応して３つの偶数の半フレーム及び３つの奇数の半フレームが存在するだろう。

上の説明で、スライスは１６本の連続した走査線以外の連続した走査線のセットを表すこともできる。また、同じ或いは異なった数の色成分を伴う異なった色空間が、本発明に従って画像ピクセルを表現するように使用されてよい。

さらに、圧縮技術は、各データブロックのサイズが固定されている離散コサイン変換（ＤＣＴ）に通常は基づいている。画像信号の品質を保持しながら大きな圧縮を提供できる１つの動的な画像圧縮技術は、符号化されたＤＣＴ係数のデータからなる適応的なサイズにされたブロック及びサブブロックを利用する。この技術はこれ以降、適応的ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）と呼ばれるだろう。適応的ブロックサイズは、画像データのフレーム内の情報のために存在する冗長性を利用するように選択される。その技術は、“適応ブロックサイズ画像圧縮方法及びシステム（Ａｄａｐｔｉｖｅ Ｂｌｏｃｋ Ｓｉｚｅ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ）”と題される米国特許第５，０２１，８９１号で開示される。またＤＣＴ技術は、“適応ブロックサイズ画像圧縮方法及びシステム（Ａｄａｐｔｉｖｅ Ｂｌｏｃｋ Ｓｉｚｅ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ）”と題される米国特許第５，１０７，３４５号で開示され、離散クワッドツリー（Ｑｕａｄｔｒｅｅ）変換技術と組み合わされたＡＢＳＤＣＴ技術の使用は“適応ブロックサイズ画像圧縮方法及びシステム（Ａｄａｐｔｉｖｅ Ｂｌｏｃｋ Ｓｉｚｅ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ）”と題される米国特許第５，４５２，１０４号のなかで検討される。これらの特許で開示されるシステムはフレーム内の符号化を利用する。そこにおいては、画像系列の各フレームは他のいずれのフレームの内容も考慮しないで符号化される。

一般的に、輝度及び色質成分のそれぞれはブロックインタリーバ（ｉｎｔｅｒｌｅａｖｅｒ）（示されず）へと渡される。１６×１６のブロックはブロックインタリーバに示され、ブロックインタリーバは１６×１６のブロックのなかの画像サンプルがＤＣＴ解析のためにデータのブロック及び合成したサブブロックを生成するようにする。図１Ａは例を示しており、そこでは１個の１６×１６のＤＣＴが第１の順序付けに適用され、４個の８×８のＤＣＴが第２の順序付けに適用され、１６個の４×４のＤＣＴが第３の順序付けに適用され、そして６４個の２×２のＤＣＴが第４の順序付けに適用される。ＤＣＴの操作は画像ソース（ｓｏｕｒｃｅ）に内在する空間冗長性を減らす。ＤＣＴが実行された後、画像信号のエネルギーの殆どは僅かな数のＤＣＴ係数に集中する傾向がある。

１６×１６のブロック及び各サブブロックに対して、変換された係数はブロック或いはサブブロックを符号化するために必要とされるビット数を決定するために解析される。そして、符号化するために最小数のビットを必要とするブロック或いはサブブロックの組み合わせが画像部分を表現するために選択される。図１Ｂは例を示しており、そこでは画像部分を表現するために２個の８×８のサブブロック、６個の４×４のサブブロック、８個の２×２のサブブロックが選択される。そして選択されたブロック或いはサブブロックの組み合わせは、適切に順に配置される。そしてＤＣＴ係数の値は、量子化及び可変長符号化に制限されはしないがそれらのようなさらなる処理を受けてよい。

説明の目的のために、圧縮されたデータの多重記述又は層を生成するための変換に基づいた圧縮システムが、ＡＢＳＤＣＴアルゴリズムに関連して論じられるだろう。しかしながら、発明はＡＢＳＤＣＴの使用に制限されないことは当業者には明らかだろう。例えば、ＤＣＴ、アダマール変換及び整数変換のような他の数学的な変換が使用されてもよい。

一般に、ＡＢＳＤＣＴに基づいた圧縮は、１０ビット４：４：４ １９２０×１０８０の画像までの符号化をサポートする。しかしながら、ＡＢＳＤＣＴアルゴリズムは、本来調整可能（ｓｃａｌａｂｌｅ）で、拡張したビット幅を有するより大きなビット深さ（ｂｉｔ−ｄｅｐｔｈｓ）を扱える。それはブロックベースの圧縮であるので、４Ｋ×４Ｋを含んだ任意のサイズの画像を圧縮することもできる。ＡＢＳＤＣＴのこの柔軟さが与えられたならば、視覚的に劣化の無い画像品質に対してシステムは、例えば４Ｋ×２Ｋ、１２ビット、４：４：４の画像を圧縮する。ブロック関連の（ｂｌｏｃｋ−ｗｉｓｅ）ＤＣＴ係数からなる結果的なビットストリームは、もし完全に復号されるならば、ＤＣ再生（ｐｌａｙｂａｃｋ）系列を生ずるだろう。刈り取り（ｃｒｏｐｐｉｎｇ）の単純な操作を用いてより低い解像度の系列を抜き出せるように、このビットストリームはグループ化されて配置される。そのようなシステムは多重記述の圧縮システムとなる。

より具体的には、入力データは、完全なビットストリーム或いは“主目録”を生成するために一度符号化されてよい。主目録の中には複数のレベルの目録が存在する。ここで、高いレベルの目録は１つ或いはそれ以上のより低いレベルの目録を含んでよい。通常、最も高いレベルの目録が主目録となるだろう。また、各目録は、異なったターゲットアプリケーションの要求を満足してよい圧縮されたビットストリームを含む。

図２は、異なる解像度及びビットレートの圧縮されたビットストリームで動作するディジタル映画、高精細テレビ（ＨＤＴＶ）、標準テレビジョン（ＳＤＴＶ）、ディジタル衛星システム（ＤＳＳ）及びサムネイル（ｔｈｕｍｂｎａｉｌｓ）のようないくつかの目標のアプリケーションを示す。他のアプリケーションは、これらに制限はされないが、ディジタル多目的ディスク或いはビデオディスク（ＤＶＤ）、先進テレビジョンシステム委員会（ＡＴＳＣ）、ディジタルビデオ放送（ＤＶＢ）を含む。示されるように、ソースデータは１０ビット、４：４：４そして１９２０×１０８０×２４或いはそれ以上の解像度のフォーマットを有してよい。ディジタル映画は、１９２０×１０８０×２４の解像度、１０ビット４：４：４より大きい或いはそれに等しいフレームレート、３０〜２００Ｍｂｐｓのビットレートを要求する。ＨＤＴＶは、１９２０×１０８０×２４の解像度、８ビット４：２：０のフレームレート、１５〜１９Ｍｂｐｓのビットレートを要求する。ＳＤＴＶは、７２０×４８６×２４の解像度、８ビット４：２：０のフレームレート、１.８〜１５Ｍｂｐｓのビットレートを要求する。ＤＳＳは、３５２×２４０×２４の解像度、８ビット４：２：０のフレームレート、３〜７Ｍｂｐｓのビットレートを要求する。サムネイルは、１１２×６４×２４の解像度、８ビット４：２：０のフレームレート、２００Ｍｂｐｓのビットレートを要求する。

図３は、多重記述の圧縮システムに基づいた画像系列の生成及び再生のための例となるシステム３００を示す。一般にハブ（ｈｕｂ）３１０は、複数の目録を備える主目録或いは主目録の一部を生成する。次にハブ３１０は、分配センター３２０に主目録或いはその一部を出力する。そして分配センター３２０はさまざまな目録を出力してよい。各目録は、再生のための異なる目標のアプリケーション或いはプレゼンテーションシステム３３０の要求を満たす。示されるように、１つ或いはそれ以上のプレゼンテーションシステム３３０があってよく、それらは同じ或いは異なる目標のアプリケーションの要求を満たす。ここで、ハブ３１０及び分配センター３２０は一緒に実現されてもよい。或いは、ハブ３１０及び分配センター３２０は、別の構成として或いは別の場所で実現されてもよい。同様に、分配センター３２０及びプレゼンテーションシステム３３０は一緒に実現されてもよい。また、同様に分配センター３２０及びプレゼンテーションシステム３３０は、別の構成として或いは別の場所で実現されてもよい。もしハブ３１０及び分配センター３２０、或いは分配センター３２０及びプレゼンテーションシステム３３０が別の場所で実現されるならば、データは無線媒体、非無線媒体、ポータブル記憶媒体、或いはこれらの組み合わせを用いて送信されてもよい。

より詳細には、ハブ３１０は図４Ａに示される符号器４００を含んでよい。符号器４００は、動画像系列のような、圧縮されることになっているディジタルビデオ情報を受け取る。符号器４００は、入力データを圧縮されたデータの多重記述へと圧縮することができ、変換モジュール４１０、量子化モジュール４２０、層化モジュール４３０及びエントロピー符号器４４０を含む。ある実施形態では、変換モジュール４１０はＤＣＴに基づいたアルゴリズムを用いるＤＣＴモジュールであってよく、より具体的にはＡＢＳＤＣＴを用いるＤＣＴモジュールであってよい。しかしながら、他の変換に基づいたアルゴリズムも適用し得る。

通常、変換モジュール４１０は、入力データ情報を空間領域から周波数領域へと変換し、変換係数を生成する。量子化モジュール４２０は変換係数を量子化する。層化モジュール４３０は量子化された変換係数のエネルギー分布を生成し、エネルギー分布に基づいて変換係数を層へとグループ化する。エントロピー符号器４４０は、一定レベルの目録を生成するために複数の層をエントロピー符号化する。エントロピー符号器４４０は、異なるレベルの目録を生成するために異なる数の層を符号化してよく、ここで各目録は圧縮されたデータからなる異なった層を含む。エントロピー符号器４４０は、それぞれの可能な目録を生成するために追加的な数の層をさらにエントロピー符号化してよく、それよって主目録を生成する。ここで、例えばゴーローン（Ｇｏｌｏｍｂ）符号器、ライス（Ｒｉｃｅ）符号器、ハフマン（Ｈａｆｆｍａｎ）エンジン或いはそれらの組み合わせのような、様々な可変長符号器がエントロピー符号器として使用されてよい。

分配センター３２０は図４Ｂに示されるサーバー４５０を含んでよく、サーバー４５０はプレゼンテーションシステム３３０に圧縮されたデータを提供する。サーバー４５０は、記憶媒体４６０及び選択モジュール４７０を備えてよい。記憶媒体４６０は、ハブ３１０から受信された圧縮されたデータの目録を保持する。目録は、主目録であってよく、或いはより低いレベルの目録であってよい。そして選択モジュール４７０は、圧縮されたデータの記述を生成するために目録から選択された数の層を抜き出す。例えば、選択は目標のアプリケーションに基づいてよい。そして圧縮されたデータの生成された記述は、プレゼンテーションシステム３３０における再生のために使用されてよい。圧縮されたデータの生成された記述は、プレゼンテーションシステム３３０における再生のためのフォーマットを提供するようにサブサンプルされて（ｓｕｂ−ｓａｍｐｌｅｄ）よいことは注意すべきである。

プレゼンテーションシステム３３０は、符号器４００で使用された圧縮アルゴリズムとは逆の復元（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）アルゴリズムを用いて受信された画像を復元する（ｄｅｃｏｍｐｒｅｓｓｅｓ）復号器を備える。例えば、画像圧縮がＡＢＳＤＣＴに基づいているならば、ディジタル画像の表示を可能にするために、画像は可変長復号され、逆量子化され、そして逆ＤＣＴ処理される。

操作は、図５Ａ及び５Ｂにおいて以下でより詳細に説明される。しかしながらより一般的なハブ３１０は、符号器４００によって生成された１つ或いはそれ以上の目録を保持するための（示されない）記憶媒体のような他の要素を備えてよいことは第一に注意すべきである。ハブ３１０は、分配センター３２０に出力されることになっている選択された数の層を抜き出すための選択モジュールを備えてもよい。その上、（示されない）プロセッサは、符号器４００の１つ或いはそれ以上の要素を制御するように実現されてよい。そのようなプロセッサは符号器４００の一部として実現されてもよいし、或いは符号器４００の外部に実現されてもよい。同様に、（示されない）プロセッサは、分配センター３２０の１つ或いはそれ以上の要素を制御するように実現されてもよい。そのようなプロセッサはサーバー４５０の一部として実現されてもよいし、或いはサーバー４５０の外部に実現されてもよい。それゆえ、より一般的な分配センター３２０は他の要素を同じように備えてよい。

より具体的に図５Ａは、圧縮されたデータの多重記述を生成するための例となる方法５００を示す。方法５００では、入力データから変換係数が生成され（５１０）、量子化される（５２０）。ここで変換係数は、変換モジュール４１０によって例えばＤＣＴ又はＡＢＳＤＣＴアルゴリズムを用いて生成されてよく、ブロックサイズの割り当てに基づいて量子化モジュール４２０によって量子化されてよい。圧縮されたビットストリームからより低い解像度の系列を抜き出すために、変換係数はグループ化されて、重要度の順に配置されてよい。この順序は、目標のアプリケーションの解像度及びビットレートの要求に基づいて決定されてよい。この順序は、伝統的でＡＢＳ特有な、もし適用できるならば、レート歪み技術を用いて、画像品質に対して最適化されてよい。

図５に戻って参照すると、量子化された変換係数のエネルギー分布が生成される（５３０）。図６は、変換係数が例えばＡＢＳＤＣＴに基づいたアルゴリズムを用いて生成されるときに、１６×１６ブロックの中のＡＣ係数の段（ｔｉｅｒｓ）でのエネルギー分布の例を示す。適応的ブロックサイズの割り当てアルゴリズムは、それ自身で、画像のレート歪み特性の指標となる。それゆえ、各段でのＡＣ係数に対して統計が集められてよい（ヒストグラム（ｈｉｓｔｏｇｒａｍ）及びエントロピーが計算される）。図７Ａ−７Ｄは、２×２のサブブロック、４×４のサブブロック、８×８のサブブロック及び１６×１６のブロックに対する統計に基づいて定義される層の例を示す。エネルギー分布に基づいて、変換係数は層へとグループ化される（５４０）。

ある実施形態において、ＡＣ係数は最初にジグザグの順序に配置されてよく、段にまたがるそれらのエネルギー分布はそれらを層へとグループ化するように使用されてよい。係数はさらに複数ビットの単位へと分割されてよく、層へとグループ化されてよい。係数はニブルへと分割されてよく、層へとグループ化されてよい。ここで、より高い或いはより低いニブルが層へと別々にグループ化されてよい。これは、より低い精度のストリームを抜き出すのをより効率的にする。また係数はニブル或いは小片へと分割されてよく、層へとグループ化されてよい。

エネルギー分布は、層化モジュール４３０によって、或いはプロセッサによって生成されてよい。変換係数もまた、層化モジュール４３０によって、或いはプロセッサによってグループ化されてよい。複数の層が、圧縮されたデータの目録を生成するためにエントロピー符号化される（５５０）。ここで、エントロピー符号器４４０は圧縮されたデータの記述を生成してよい。さらに、異なった目録を生成するために異なった数の層がエントロピー符号化されてよい。それぞれの可能な目録が生成されるならば、主目録が生成される。そして詳細な目録はより低い精度のストリームを抜き出すことによって生成されてよい。

例えば図５Ｂは、データの量子化された変換係数に基づいて圧縮されたデータの詳細な目録を生成するための方法５６０を示す。方法５６０で、量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの目録がアクセスされる（５７０）。そして、圧縮されたデータの1つの記述を生成するために、目録から選択された数の層が抜き出される（５８０）。データの異なった記述を生成するために、異なった数の層が抜き出され、それによって圧縮されたデータの多重記述を提供する。ここで、適切な層或いは複数の層は、目標のアプリケーションのビットレートの要求を満足するために選択される。記憶媒体４６０のような記憶媒体は目録を保持してよく、選択モジュール４７０は選択された数の層を抜き出してよい。

図８は、目録として記憶媒体に保持されてよいビットストリームのレイアウトの例を示す。例では、１０ビットの変換係数が、より高いニブル、より低いニブルそして最下位ビット（ＬＳＢ）へと分割される。ＤＳＳは、８ビット ４：２：０ ３５２×２４０×３０の画像を生成するために、層０から２のより高いそしてより低いニブルを要求する。ＳＤＴＶは、８ビット ４：２：０ ７２０×４８６×３０の画像を生成するために、層０から３のより高いそしてより低いニブルを要求する。ＨＤＴＶは、８ビット ４：２：０ １９２０×１０８０×３０の画像を生成するために、層０から６のより高いそしてより低いニブルを要求する。ディジタル映画は、１０ビット ４：４：４ １９２０×１０８０×３０の画像を生成するために、２つのＬＳＢ或いは層０から７と同様に層０から７のより高いそしてより低いニブルを要求する。より低い及び／又はより高い解像度の他のフォーマットが生成されてもよいことは注意すべきである。

例えば、図８は追加的にサムネイルの目録を含む。サムネイルの目録は、（ＢＳＡから得られた）ブロックによって形成された調整された（１／２５６番目の）画像を圧縮することによって生成されてよい。この画像はＡＢＳＤＣＴで圧縮される。この層に対する目標のビットレートは、１１２×６４×２４ｆｐｓ画像系列に対して２００Ｋｂｐｓである。サムネイルの目録は、カプセル化された（Ｅｎｃａｐｓｕｌａｔｅｄ）ポストスクリプトのようないくつかのフォーマットと共に利用可能な予告編（ｐｒｅｖｉｅｗ）オプションに似ている。層、ニブル及びＬＳＢの異なった組み合わせを用いることによって、ＤＳＳ、ＳＤＴＶ、ＨＤＴＶ、ディジタル映画及びサムネイル以外のフォーマットも主目録に追加されてよいことに注意する。

従って、目標のアプリケーションの要求を満たすために、圧縮されたデータの層の複数の目録が生成される。その後、目標のアプリケーションに対して、圧縮されたデータの詳細な記述を提供するために、複数の層から必要な層が抜き出され刈り取られる。代わりの実施形態としては、保存用の（ａｒｃｈｉｖａｌ）圧縮が保存用の目録を生成するために実行されてよい。目標のアプリケーションに対して詳細な目録を生成するために、ビットストリームは保存用の品質再生系列へと復号される。そしてＤＣ再生系列はビットストリームから抜き出されてよい。

より具体的には、保存用の圧縮は、参照（ｒｅｆｅｒｅｎｃｅ）量子化ステップを用いた変換に基づいた圧縮によって生成されてよい。入力画像は、離散コサイン変換されてよく、参照量子化ステップを用いて量子化されてよく、保存用の圧縮されたビットストリームを生成するために可変長符号化されてよい。詳細な目録を抜き出すために、圧縮されたビットストリームは可変長復号されそして再量子化される（ｒｅ−ｑｕａｎｔｉｚｅｄ）。例えば、もし参照量子化ステップが対応する値ａを伴うＡであり、目標のアプリケーションが対応する値ｂを伴うＢの量子化ステップを要求するならば、再量子化のための量子化ステップは参照量子化ステップの要求された調整に基づいて決定されるだろう。ここで、それはｂ／ａとなるだろう。そしてビットストリームは可変長符号化され、再生のためにプレゼンテーションシステムに送られてよい。

符号器４００及び／又はサーバー４５０の要素が操作に影響を与えずに再配置されて（ｒｅａｒｒａｎｇｅｄ）よいことは当業者にとって明らかであろう。また、実施形態はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、或いはそれらの任意の組み合わせによって実現されてよい。ソフトウェア、ファームウェア、ミドルウェア或いはマイクロコードで実現される場合、必要な仕事を実行するプログラムコード或いはコード部分（ｓｅｇｍｅｎｔｓ）は記憶媒体４６０のような機械が読み取り可能な媒体にそれぞれ保持されてよく、或いは示されない別々の（複数の）記憶装置に保持されてよい。コード部分は、手続き、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、或いは命令の任意の組み合わせ、データ構造、或いはプログラムステートメント（ｓｔａｔｅｍｅｎｔｓ）を表してよい。コード部分は、情報、データ、引数（ａｒｇｕｍｅｎｔｓ）、パラメータ、或いはメモリの内容を渡すこと及び／又は受け取ることによって、別のコード部分或いはハードウェア回路に結合させられてよい。情報、引数、パラメータ、データ、等は、メモリ共有、メッセージを渡すこと、トークン（ｔｏｋｅｎ）を渡すこと、ネットワーク送信、等を含んだ任意の適当な手段を介して渡され、転送され、或いは送信されてよい。

それゆえ、上述の実施形態は単なる例であり、発明を制限するものとして構成させられるべきではない。記述は説明となるように意図されていて、特許請求の範囲の範疇を制限することは意図されていない。このように、ここでの教えは他のタイプの装置にただちに適用することができ、多くの代案、修正、及び変形が当業者にとって明らかとなるだろう。

ＡＢＳＤＣＴに対して適応的なサイズにされたブロック及びサブブロックを示す。 ＡＢＳＤＣＴに対して適応的なサイズにされたブロック及びサブブロックを示す。 例となる目標のアプリケーションを示す。 画像の生成及び再生のための多重記述の圧縮システムの例を示す。 多重記述の圧縮システムのための例となる符号器を示す。 多重記述の圧縮システムのための例となるサーバーを示す。 圧縮されたデータの１つ或いはそれ以上の記述を生成するための方法を示す。 圧縮されたデータの１つ或いはそれ以上の記述を生成するための方法を示す。 １６×１６のブロックにおけるＡＣ係数の段での例となるエネルギー分布を示す。 層を生成ためのさまざまなマスクを示す。 層を生成ためのさまざまなマスクを示す。 層を生成ためのさまざまなマスクを示す。 層を生成ためのさまざまなマスクを示す。 変換に基づいた圧縮システムのためのビットストリームの例となるレイアウトを示す。

符号の説明

３００…システム、 ４００…符号器、 ４５０…サーバー、
５００、５６０…方法、

Claims (30)

1. 圧縮されたデータの多重記述を生成するための方法であって、以下のステップを具備する方法：
   入力データから変換係数を生成するステップ；
   変換係数を量子化するステップ；
   量子化された変換係数のエネルギー分布を生成するステップ；
   エネルギー分布に基づいて変換係数を階層へとグループ化するステップ；
   第１の数の階層をエントロピー符号化して圧縮されたデータの目録を生成するステップ、ここで、前記エントロピー符号化するステップにおいて生成された前記目録の各々は圧縮されたデータの複数の異なる階層を含み、各々異なる解像度とビットレートを要求するターゲットアプリケーションの要求を満足する解像度とビットレートを有する圧縮されたビットストリームを含む；および、
   前記目録から選択された数の階層を抜き出して前記圧縮されたデータの記述を生成するステップ、ここで、前記圧縮されたデータの前記記述を前記生成するステップにおいて階層を前記抜き出す際に、異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
2. 前記変換係数をグループ化する前記ステップは、重要度の順に変換係数をグループ化することを具備する請求項１記載の方法。
3. 前記変換係数をグループ化する前記ステップは、
   変換係数を複数ビットの単位へと分割するステップと、
   複数ビットの単位を階層へとグループ化するステップとを具備する請求項１或いは２に記載の方法。
4. 前記変換係数をグループ化する前記ステップは、
   変換係数をニブルへと分割するステップと、
   ニブルを階層へとグループ化するステップとを具備する請求項１乃至３のいずれか１項に記載の方法。
5. 前記ニブルをグループ化する前記ステップは、
   上位及び下位のニブルを別々に階層へとグループ化するステップを具備する請求項４記載の方法。
6. 前記変換係数をグループ化する前記ステップは、
   変換係数を小片へと分割するステップと、
   ニブル及び小片を階層へとグループ化するステップとをさらに具備する請求項４或いは５に記載の方法。
7. 圧縮されたデータの第２の記述を生成するために第２の数の階層をエントロピー符号化するステップをさらに具備する請求項１乃至６のいずれか１項に記載の方法。
8. 圧縮されたデータの主目録を生成するために追加の数の階層のそれぞれをエントロピー符号化するステップをさらに具備する請求項１乃至７のいずれか１項に記載の方法。
9. 主目録から選択された数の階層を抜き出すステップをさらに具備する請求項８記載の方法。
10. 前記変換係数を生成する前記ステップは、ＤＣＴまたはＡＢＳＤＣＴを用いて変換係数を生成するステップを具備する請求項１乃至９のいずれか１項に記載の方法。
11. エネルギー分布を生成するに先立って量子化された変換係数を配置するステップをさらに具備する請求項１乃至１０のいずれか１項に記載の方法。
12. 圧縮されたデータの多重記述を生成するための装置であって、以下を具備する装置：
    入力データから変換係数を生成するための手段；
    変換係数を量子化するための手段；
    量子化された変換係数のエネルギー分布を生成するための手段；
    エネルギー分布に基づいて変換係数を階層へとグループ化するための手段；
    第１の数の階層をエントロピー符号化することにより、圧縮されたデータの各目録を生成するための手段、ここで、前記エントロピー符号化する際に生成された前記目録の各々は圧縮されたデータの複数の異なる階層を含み、各々異なる解像度とビットレートを要求するターゲットアプリケーションの要求を満足する解像度とビットレートを有する圧縮されたビットストリームを含む；および、
    前記目録から選択された数の階層を抜き出して前記圧縮されたデータの記述を生成する手段、ここで、前記圧縮されたデータの前記記述を前記生成する手段が階層を前記抜き出す際に、異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
13. 前記変換係数をグループ化するための前記手段は、
    前記変換係数を複数ビットの単位へと分割するための手段と、
    前記複数ビットの単位を階層へとグループ化するための手段と具備する請求項１２記載の装置。
14. 前記変換係数をグループ化するための前記手段は、
    前記変換係数をニブルへと分割するための手段と、
    前記ニブルを階層へとグループ化するための手段とを具備する請求項１２或いは１３に記載の装置。
15. 前記ニブルをグループ化するための前記手段は、
    上位及び下位のニブルを別々に階層へとグループ化するための手段を具備する請求項１４記載の装置。
16. 前記変換係数をグループ化するための前記手段は、
    前記変換係数を小片へと分割するための手段と、
    前記ニブル及び前記小片を階層へとグループ化するための手段とをさらに具備する請求項１４或いは１５に記載の方法。
17. 圧縮されたデータの第２の記述を生成するために第２の数の階層をエントロピー符号化するための手段をさらに具備する請求項１２乃至１６のいずれか１項に記載の装置。
18. 圧縮されたデータの主目録を生成するために追加の数の階層のそれぞれをエントロピー符号化するための手段をさらに具備する請求項１２乃至１７のいずれか１項に記載の装置。
19. 主目録から選択された数の階層を抜き出すための手段をさらに具備する請求項１８記載の装置。
20. 前記変換係数を前記生成することは、DCTまたはABSDCTを用いて変換係数を生成するための手段を具備する請求項１２乃至１９のいずれか１項に記載の装置。
21. エネルギー分布を生成するに先立って量子化された変換係数を配置するための手段をさらに具備する請求項１２乃至２０のいずれか１項に記載の装置。
22. 圧縮されたデータの多重記述を生成するための装置であって、以下を具備する装置；
    入力データから変換係数を生成するように構成された変換モジュール；
    変換モジュールに結合して変換係数を量子化するように構成された量子化モジュール；
    量子化モジュールに結合した階層化モジュールであって、量子化された変換係数のエネルギー分布を生成するように構成され、エネルギー分布に基づいて変換係数をグループ化するように構成された階層化モジュール；そして
    階層化モジュールに結合され、複数の階層をエントロピー符号化することにより圧縮されたデータの各目録を生成するように構成されたエントロピー符号器、ここで前記エントロピー符号器によって生成された前記目録の各々は圧縮されたデータの複数の異なる階層を含み、各々異なる解像度とビットレートを要求するターゲットアプリケーションの要求を満足する解像度とビットレートを有する圧縮されたビットストリームを含む；および、
    前記目録から選択された数の階層を抜き出して前記圧縮されたデータの記述を生成するモジュール、ここで、前記圧縮されたデータの前記記述を前記生成する前記モジュールが階層を前記抜き出す際に、異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
23. 前記エントロピー符号器は圧縮されたデータの主目録を生成するために追加の数の階層のそれぞれをエントロピー符号化し、そして
    主目録を保持するように構成された記憶媒体をさらに具備する請求項２２記載の装置。
24. 主目録から選択された数の階層を抜き出すように構成された選択モジュールをさらに具備する請求項２３記載の装置。
25. データの量子化された変換係数に基づいて圧縮されたデータを生成するための方法であって、以下を具備する方法：
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層の目録にアクセスするステップ；そして
    各々異なる解像度とビットレートを要求するターゲットアプリケーションに基づいて前記目録から選択された数の階層を抜き出すことにより、圧縮されたデータの記述を生成するステップ、ここで、階層を前記抜き出す前記ステップにおいて異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
26. 前記複数の階層の目録に前記アクセスする前記ステップは、
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層それぞれの主目録にアクセスすることを具備する請求項２５記載の方法。
27. データの量子化された変換係数に基づいて圧縮されたデータを生成するための装置であって、以下を具備する装置：
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層の目録にアクセスするための手段；そして
    各々異なる解像度とビットレートを要求するターゲットアプリケーションに基づいて前記目録から選択された数の階層を抜き出すことにより、圧縮されたデータの記述を生成するための手段、ここで、前記圧縮されたデータの記述を前記生成するための前記手段が階層を前記抜き出す際に、異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
28. 前記複数の階層の目録にアクセスするための前記手段は、
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層それぞれの主目録にアクセスするための手段を具備する請求項２７記載の装置。
29. データの量子化された変換係数に基づいて圧縮されたデータを生成するための装置であって、以下を具備する装置：
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層の目録を保持するように構成された記憶媒体；そして
    記憶媒体に結合され、各々異なる解像度とビットレートを要求するターゲットアプリケーションに基づいて前記目録から選択された数の階層を抜き出すことにより、圧縮されたデータの記述を生成するように構成された選択モジュール、ここで、前記選択モジュールが階層を前記抜き出す際に、異なる数の階層を抜き出すことにより、異なる前記記述が生成され、それによって前記圧縮されたデータの多重記述が生成される。
30. 前記記憶媒体は、
    量子化された変換係数のエネルギー分布に基づいて生成された圧縮されたデータの複数の階層それぞれの主目録を保持するように構成される請求項２９記載の装置。

Images