JP2005519543A - レイヤ映像符合化のための方法及びシステム - Google Patents

Abstract

複数のサブレイヤを有する少なくとも１つのレイヤを有するレイヤ符合化システムにおいて、対応するサブレイヤ内で重要であるとして決定される少なくとも１つの領域を有する複数の画素ブロックを有する映像画像を符合化するための方法である。この方法は、前記少なくとも１つの重要な領域内の既知のサイズの各々のブロックに重要度レベルを関連付ける段階と、続く大きいブロック内に含まれる既知のサイズの少なくとも１つの前記ブロックの前記重要度レベルに依存して、前記続く大きいブロックの少なくとも１つの各々に重要度のレベルを関連付ける段階と、前記関連付けられた重要度レベルの各々をマッピングする段階と、を有する。本発明の他の実施形態においては、重要度マップが伝送され、その重要度マップを用いて、対応する画像レイヤが再構成される。

Description

本発明は映像画像符合化に関し、更に詳細にはレイヤ符号化映像画像のエンハンスメントレイヤを部分的に符合化することに関する。

細粒度スカラ（ＦＧＳ：Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｒ）のようなレイヤ符合化及びウェーブレット符合化は、映像画像符合化技術において周知である。例えば、ＦＧＳ符合化はベースレイヤ及びエンハンスメントレイヤに画像を符合化する。ベースレイヤは、許容され得る品質を有するネットワークにおいて伝送されることが可能である最小画像を表す。エンハンスメントレイヤは、十分な残りの帯域が利用可能であるとき、ネットワークにおいて伝送されることが可能である付加画像ディテールを表す。

エンハンスメントレイヤはビット平面フォーマットにおいて符合化され、各々のエンハンスメントレイヤ値の最上位ビットは第１ビット平面に記憶され、各々のエンハンスメントレイヤ値の各々の続くビットは対応するビット平面において記憶される。エンハンスメントレイヤの伝送の間に、各々のビット平面の値は、利用可能な帯域が占有されるまで、連続して伝送される。

部分ビット平面の概念が、ビット平面内の種々のビットの重要度を区別するため及びビット平面内のビット平面符合化の効率を改善するためにＪＰＥＧ−２０００に導入された。この概念は、ＦＧＳのような他のレイヤ符合化方法には存在しない。それ故、上位であることを決定される映像画像の領域が、エンハンスメントレイヤを符合化することに先立って特定される、符合化方法及び装置に対する要求が存在する。

添付図面は本発明の概念を表すことを単に目的としており、本発明の制限の規定として意図されるものではないことが理解される必要がある。図１乃至４に示し、詳細説明により説明する実施形態は、例示的実施形態として用いられるべきであり、本発明を実施する唯一の方法と認識されるべきではない。又、適切な場合に、参照文字をできるだけ補う参照番号は、類似する要素を特定するために用いている。

複数のサブレイヤを有する少なくとも１つのレイヤを有するレイヤ符合化システムにおいて、対応するサブレイヤ内の上位であるとして決定される少なくとも１つの領域を有する複数の画素ブロックを有する映像画像を符合化するための方法を、ここで開示する。この方法は、重要度のレベルを少なくとも１つの上位領域内の各々の既知のサイズのブロックに関連付ける段階と、重要度のレベルを連続的レイヤブロック内に含まれる既知のサイズのブロックの少なくとも１つの重要度のレベルに依存する各々の連続的レイヤブロックに関連付ける段階と、各々の関連する重要度のレベルをマッピングする段階と、を有する。

本発明の他の実施形態において、重要度マップは伝送され、対応する画像レイヤは、その重要度マップを用いて再構築される。

図１は、本発明の原理に従って、例示としての部分ビット平面符号化器１００のブロック図を示している。この図において、入力信号１１０は、加算器１１５に与えられ、下で更に説明するように、動き補償画像と混合される。結合された信号は、次いで、離散係数変換（ＤＣＴ）に与えられ、画素値を係数に変換する。ＤＣＴ係数は、次いで、量子化のために量子化器１２５に与えられる。量子化されたＤＣＴ係数は、次いで、変数長符号化器１３０及び結合化器１７５に与えられる。

量子化されたＤＣＴ係数は又、逆量子化器１３５に与えられ、ＤＣＴ係数を回復させる。理解される必要があるが、回復されたＤＣＴ係数は、一部の情報が量子化プロセスにおいて失われるとき、オリジナルのＤＣＴ値と正確に同じではない。逆量子化された係数は、次いで、逆ＤＣＴ１４０に加えられ、ＤＣＴ及び量子化プロセスの後、オリジナルの画素要素を回復する。同様に、一部の情報が量子化プロセスにおいて失われるため、オリジナルの画素要素と回復された画素要素との間の既知の差が存在する。回復された画素要素は動き予測器／動き補償器４５に与えられる。動き予測／補償信号は、次いで、加算器１１５に加えられ、オリジナルの画像１１０と結合される。

加算された画像１５０は又、逆ＤＣＴ１４０から出力される回復画素要素と共に加算化器１５５に加えられる。加算化器の出力は、オリジナルの信号１１０と回復されたベースレイヤ画像との間の残りの要素である。残りの画像はエンハンスメントレイヤ符号化器１６０と重要度マップ符号化器１６５に同時に加えられる。重要度マップ符号化器の結果は、下で更に詳しく説明するように、ビット平面にマッピングするために、エンハンスメント符号化器１７０に更に加えられる。

エンハンスメントレイヤ１７０と重要度マップ１６５との出力とは結合器１８０に与えられ、結合された出力は結合器１７５に与えられる。結合器１７５の出力１９０は、次いで、ネットワークにおいて伝送され、又は次の伝送のために記憶される。

図２ａは、境界、色又はテクスチャにおける変化のような重要な情報を有する画像フレームを示している。重要な画像領域２１０、２１５、２２０は、既知の方法を用いて特定される。これに対して、テクスチャにおける変化を全く示さないか又はほとんど示さない領域は非重要として特定されることが可能である。従って、これらの領域に関する情報は全くない又は殆どない。従って、本発明の一実施形態において、重要な領域の決定は、各々の画素素子を調べることによりなされることが可能である。好適な実施形態において、重要な領域の決定は、対応するＤＣＴ係数を調べることによりなされることが可能である。

図２ｂは、本発明の他の実施形態を示し、重要な画像領域、例えば２１０は、マクロブロック及び上位マクロブロックに対応する複数のブロックに関連する。画像の特定のセグメント化が示されているが、下で説明するように、画像は他の基準に従ってセグメント化されることが可能であることが理解されるであろう。この例示としての例において、画像領域２１０は、上位マクロブロック２２２、２２４、２２６、２２８、２３０及び２３２を有する。

各々の上位マクロブロックはマクロブロックに分割されることが可能である。明確化のために、上位マクロブロック２２２は、マクロブロック２４０、２４２、２４４及び２４６に分割されるように、示している。各々のマクロブロック２４０、２４２、２４４及び２４６は、下位マクロブロックに更に分割されることが可能である。各々の下位マクロブロックはブロックに更に分割されることが可能である。明確化を目的として、下位マクロブロックは、ブロック２６０、２６２、２６４及び２６６に分割されるように、示している。理解されるであろうように、各々の上位マクロブロックは、マクロブロック、下位マクロブロック及びブロックに、同様に分割され、特定され、そして関連付けられることが可能である。

好適な実施形態において、ブロック２６０は、画像要素の８ｘ８構成に関連する情報を有している。更に、下位マクロブロック２５０は、画素要素の１６ｘ１６構成に関連付けられ、マクロブロック２４０は画素要素の３２ｘ３２構成に関連付けられ、そして上位マクロブロック２２２は画素要素の６４ｘ６４構成に関連付けられる。この好適な実施形態において、ブロック２６０は、画素要素の対応するブロックのＤＣＴ符合化と類似している。

図２ｃは、本発明の好適な実施形態に従って、ビット平面２７２、２７４及び２７６における特定された重要な領域２１０のビット平面マッピングを示している。この場合、エンハンスメントレイヤは３つのビットのビット平面を用いて符合化される。しかしながら、ビット平面の深さはいずれかの数であることが可能であり、ここで示したビット平面深さにビット平面深さを制限することを意図するものではない。この好適な実施形態においては、ＤＣＴ情報は各々のビット平面に対してマッピングされるため、領域２１０と関連する上位マクロブロック、マクロブロック、下位ブロック及びブロックは容易に特定されることが可能である。

図３ａは、本発明の原理に従った重要度マッピングのための例示としてのプロセス３００のフローチャートを示している。このプロセスにおいては、重要度マッピングは、画像又はピクチャに関連する任意に選択されたビット平面において開始される。示している好適な実施形態において、最上位ビットに関連するビット平面、即ちビット平面０は、ブロック３０５において選択されている。ブロック３１０において、選択されたビット平面に関連する重要度マップが決定される。ブロック３１５において、ビット平面に関連する重要度マップは復号化される。ブロック３２０において、上位であるとして特定されたブロックのテクスチャは復号化され、重要度マップのビット関連の表示が生成される。重要度マップにおけるこのビット関連の表示は、重要度マップを理解するために受信装置にのいて復号化されることができる。ブロック３２５において、画像に関連するビット平面が処理されたかどうかの決定がなされる。その答が否定的である場合、ブロック３３２において次の／続くビット平面が選択され、重要度マッピングプロセスが選択された次の／続くビット平面のために継続する。

しかしながら、その答が肯定的である場合、ブロック３３０において、画像全てが処理されたかどうかの決定がなされる。その答が否定的である場合、次の／続く画像又はピクチャがブロック３３４において選択される。次いで、重要度マッピングプロセスは、選択された次の／続く画像又はピクチャにおいて各々のビット平面のために継続する。

図３ｂは、例示としての重要度マッピングプロセス３１０のフローチャートを示している。この例示としてのプロセスにおいて、最初のブロックサイズ及び関連する最小及び細大ブロックサイズはブロック３４０において決定される。この場合、好適なブロックサイズに関連する最初のブロックサイズを示している。ブロック３４５において、現在のブロックサイズが最小ブロックサイズに等しいかどうかが決定される。その答が肯定的である場合、ブロック３５０において、現在のブロックがいずれの非０係数を有するかどうかの決定がなされる。その答が肯定的である場合、関連するブロックは、ブロック３５５において、重要であるとしてマークを付けられる又は特定される。

しかしながら、その答が否定的である場合、ブロック３７０において、そのブロックは重要であるとしてマークを付けられる又は特定される。

ブロック３５５において、現在のスロックが重要であるとして、又は、ブロック３７０において重要でないとして特定された後、ブロック３６０において、最後のブロックに到達したかどうかの決定がなされる。その答が否定的である場合、ビット平面における次の／続くブロックがブロック３６５において選択される。ブロック３４５における選択された次の／続くブロックにおいて処理は継続される。

しかしながら、ブロック３６０における答が肯定的である場合、即ち現在のサイズにおけるブロック全てが処理された場合、現在のブロックサイズが最大ブロックサイズより大きいかどうかの決定がなされる。その答が否定的である場合、ブロック３８０において、現在のブロックサイズは増加され、好適には２倍にされる。３４５におけるサイズの増加に関連する各々のブロックにおいて処理は継続する。

ブロック３４５における決定に戻って、その答が否定的である場合、ブロック３８５において、より小さいブロック、即ちより大きいブロック内の子供のブロックが重要であるかどうかの決定がなされる。その答が否定的である場合、ブロック３５５において、より大きいブロックが重要であるとしてマークを付けられるが又は特定される。しかしながら、その答が否定的である場合、ブロック３７０において、より大きいブロックが重要であるとしてマークを付けられるが又は特定される。

このとき、処理は、ブロックサイズがブロック３７５における最大ブロックサイズより大きくなるまで、続く大きいブロックの各々において継続される。

図４は、本発明の原理を実施するために用いられることが可能であるシステム４００の例示としての実施形態を示している。システム４００は、テレビ送信又は送信システム、デスクトップ、ラップトップ又はパームトップコンピュータ、携帯デジタル端末装置（ＰＤＡ）、ビデオカセットレコーダのような映像／画像記憶装置（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等、及びそれら及び他の装置の一部又は組み合わせを表すことが可能である。システム４００は、１つ又はそれ以上の入力／出力装置４０２、処理器４０３及びメモリ４０４を含むことが可能であり、映像画像を有する１つ又はそれ以上のソース４０１にアクセスすることが可能である。ソース４０１は、テレビ受信器（ＳＤＴＶ又はＨＤＴＶ）、ＶＣＲ、ＲＡＭ，ＲＯＭ、ハードディスクドライブ、光ディスクドライブ又は他の映像画像記憶装置のような永久媒体又は半永久媒体に記憶されることが可能である。ソース４０１は又、例えば、インターネット、広域ネットワーク、メトロポリタンエリアネットワーク、狭域ネットワーク、地上波放送システム、ケーブルネットワーク、衛星放送ネットワーク、無線ネットワーク、電話ネットワーク及びそれらの及び他のタイプのネットワークの一部又は組み合わせのサービスのようなグローバルコンピュータ通信ネットワークにおいてサーバから映像を受信するために、１つ又はそれ以上のネットワーク接続４１０に亘ってアクセスされることが可能である。

入力／出力装置４０２、処理器４０３及びメモリ４０４は、通信媒体４０６において通信することが可能である。通信媒体４０６は、例えば、バス、通信ネットワーク、１つ又はそれ以上の回路、回路カード又は他の装置の内部接続、及びそれらの又は他の通信媒体の一部又は組み合わせを表すことが可能である。ソース４０１からの入力データは、ネットワーク４２０に部分的に符合化された映像画像を供給するように処理器４０３により実行され且つメモリ４０４に記憶されることが可能である１つ又はそれ以上のソフトウェアプログラムに従って処理される。部分的に符合化された映像画像は記憶装置に送信されることが可能であり、又は符合化された映像画像をリアルタイムに視聴するための表示システムに送信することが可能である。

処理器４０３は、既知の入力に応答して既知の出力を与える、ラップトップコンピュータ、デスクトップコンピュータ、携帯型コンピュータ、専用論理回路、集積回路、プログラマブルアレーロジック（ＰＡＬ）、特定用途向け集積回路（ＡＳＩＣ）等のようなハードウェア構成とすることが可能であり、一般目的の又は特別目的のコンピューティングシステムのような手段とすることが可能である。

好適な実施形態において、本発明の原理を用いる符合化及び復号化は、処理器４０３により実行されるコンピュータ読み出し可能符号により実行されることが可能である。符号は、メモリ４０４により実行されることが可能である、又はＣＤ−ＲＯＭ又はフロッピー（登録商標）ディスク（図示せず）のような記憶媒体から読み出し／ダウンロードされる。他の実施形態においては、ハードウェア回路構成は、本発明を実施するために、ソフトウェア指令と置き換えて又はそれと組み合わせて用いられることが可能である。例えば、ここに示した要素は又、別個のハードウェア要素として実施されることが可能である。

本発明の１つの特徴においては、処理器は、例えば、少なくとも１つの処理ユニットとの通信し且つそれに電気的に接続される周辺装置等の他の装置及び１つ又はそれ以上のメモリとの通信におけるコンピューティングユニット又は１つ又はそれ以上の処理ユニットを表すことが可能である。更に、装置は、例えば、ＩＳＡバス、マイクロチャネルバス、ＰＣＩバス。ＰＣＭＣＩＡバス等の内部バス、１つ又はそれ以上の回路の内部接続、回路カード又は他の装置、並びにそれらの及び他の通信媒体又はインターネット及びイントラネット等の外部ネットワークの一部及び組み合わせにより、１つ又はそれ以上の処理ユニットに電気的に接続されることが可能である。

更に、本発明の新規な特徴について、図を参照し、説明し、好適な実施形態に適用されるように示した。本発明の範囲及び主旨から逸脱することなく、説明した装置、開示された装置のディテール及び構成、並びにそれらの動作において、種々の削除、追加及び変更を当業者によりなされることが可能であることは、理解される必要がある。例えば、本発明はＦＧＳ符合化に関して説明したが、本発明は又、類似して開発されるレイヤ符合化システムに対して適切であることが理解される必要がある。同様に、上位マクロブロックが６４ｘ６４アレイ即ちマトリクスに関して説明されたが、それは、当業者の知識の範囲においてはブロックサイズを変更する必要がある。更に、上位マクロブロックの境界は固定的であるように示したが、上位マクロブロックの境界は、重要なデータの最初の特定に基づいて動的に決定されることが可能であるように考えられる。

同じ結果を得るために実質的に同じ方法で実質的に同じ機能を実行する要素の組み合わせ全ては本発明の範囲内にあることは又、明確に意図されている。説明した実施形態の一から他への要素の置き換えは又、十分に意図され、考慮されている。

本発明の原理に従ったＦＧＳ部分ビット平面符号化器を示す図である。 重要度がマッピングされたエンハンスメントレイヤビット平面を示す図である。 本発明の原理に従って、画像内の重要な画像領域を特定化するための例示としてのブロック図のフローチャートを示している。 本発明の原理に従って、重要度マップを生成するための例示としてのプロセスのフローチャートを示す図である。 本発明の原理に従って、重要度マッピングレイヤビット平面を決定するためのシステムを示す図である。

Claims (13)

1. 複数のサブレイヤを有する少なくとも１つのレイヤを有するレイヤ符合化システムにおいて、対応するサブレイヤ内で重要であるとして決定される少なくとも１つの領域を有する複数の画素ブロックを有する映像画像を符合化するための方法であって：
   ａ．前記少なくとも１つの重要な領域内の既知のサイズの各々のブロックに重要度レベルを関連付ける段階；
   ｂ．続く大きいブロック内に含まれる既知のサイズの前記ブロックの少なくとも１つの
   前記重要度レベルに依存する前記の続く大きいブロックの少なくとも１つの各々に重要度のレベルを関連付ける段階；及び
   ｃ．前記関連付けられた重要度レベルの各々をマッピングする段階；
   を有することを特徴とする方法。
2. 請求項１に記載の方法であって：
   前記サブレイヤの各々に対して段階ａ乃至ｃを繰り返す段階；
   を更に有する、ことを特徴とする方法。
3. 請求項１に記載の方法であって：
   前記サブレイヤに対応してマッピングされる前記重要度レベルを伝送する段階；
   を更に有する、ことを特徴とする方法。
4. 請求項１に記載の方法であって、前記レイヤ符合化システムは細粒度スケーラブル（ＦＧＳ）システムである、ことを特徴とする方法。
5. 請求項４に記載の方法であって、前記サブレイヤはビット平面である、ことを特徴とする方法。
6. 請求項１に記載の方法であって、前記ブロックサイズは所定のサイズの集合から選択される、ことを特徴とする方法。
7. 請求項１に記載の方法であって、前記続く大きいブロックは既知の最大値を有する、ことを特徴とする方法。
8. 少なくとも１つのレイヤに複数の画素ブロックとして構成される映像画像を符合化するためのシステムであって、前記レイヤの一は複数のサブレイヤを有し、前記サブレイヤは少なくとも１つの重要な領域を有する、システムであり：
   前記少なくとも１つの重要な領域内の既知のサイズの各々のブロックに重要度レベルを関連付けるための手段；
   続く大きいブロック内に含まれる既知のサイズの前記ブロックの少なくとも１つの前記重要度レベルに依存する前記の少なくとも１つの続く大きいブロックの各々に重要度のレベルを特定する手段；及び
   前記重要度レベルをマッピングするための段階；
   を有することを特徴とする方法。
9. 請求項８に記載のシステムであって、前記マッピングは前記の既知のサイズのブロックと既知のレベルを有する続くブロックとに関する情報を有する、ことを特徴とする方法。
10. 請求項８に記載のシステムであって、前記既知のレベルは非０の係数を表す、ことを特徴とするシステム。
11. レイヤ符合化信号として伝送される画像を復号化するための復号化システムであって：
    前記レイヤ符合化信号の少なくとも１つのサブレイヤの重要度マップに対応するデータを受信するための手段；
    前記重要度マップを復号化するための手段；及び
    前記重要度マップから前記サブレイヤに対応する一を再構成するために手段；
    を有することを特徴とする復号化システム。
12. 請求項１１に記載の復号化システムであって：
    ネットワークにおいて伝送される前記レイヤ符合化信号を受信するための手段；
    を有する、ことを特徴とする復号化システム。
13. 請求項１１に記載の復号化システムであって、前記重要度マップは重要な情報を有するブロックに関する情報を有する、ことを特徴とする復号化システム。

Images