JP2005507589A - 空間拡張可能圧縮 - Google Patents

Abstract

映像ストリームの適応的コンテンツフィルタリングを用いた空間拡張可能圧縮を提供する方法と装置である。映像ストリームはダウンサンプルされ、映像ストリームの解像度を削減する。ダウンサンプルされた映像ストリームはエンコードされ、基本ストリームを作る。基本ストリームはデコードされてアップコンバートされ、再構成された映像ストリームを作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。結果の残差ストリームが上位エンコーダーでエンコードされ、上位ストリームを出力する。選択されたフレームの残差の信号が、そのフレームに動き情報が保持されているのに、上位エンコーダーでミュート（mute）される。

Description

【技術分野】
【０００１】
本発明は、空間拡張可能圧縮の機構に関するものである。
【背景技術】
【０００２】
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発において有意な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる未処理のデジタル情報量は大量になる。送信しなければならないデータ量を削減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
【０００３】
１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかに拡張性の技術と称される。拡張性を実施し得る３つの軸が存在する。第１のものは時間軸の拡張性であり、しばしば時間拡張性と称される。第２に、品質軸の拡張性が存在し、しばしば信号対雑音拡張性又は細粒拡張性と称される。第３軸は解像度の軸（画像における画素の数）であり、空間拡張性又は階層化コーディングと称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム又はレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、基本レイヤが低品質の映像信号を提供する場合があり、上位レイヤが基本レイヤの画像を拡張し得る追加情報を提供する。
【０００４】
特に、空間拡張性は、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間拡張性で、基本レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが基本レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
【０００５】
大部分の映像圧縮規格は空間拡張性に対応する。図１は、MPEG-2/MPEG-4の空間拡張性に対応するエンコーダー100のブロック図を示したものである。エンコーダー100は基本エンコーダー112と上位エンコーダー114とを有する。基本エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）120と、動き推定装置122と、動き補償装置124と、直行変換（例えば離散コサイン変換（DCT））回路130と、量子化装置132と、可変長コーダー134と、ビットレート制御回路135と、逆量子化装置138と、逆変換回路140と、スイッチ128と144と、補間及びアップサンプル（upsample）回路150で構成される。上位エンコーダー114は、動き推定装置154と、動き補償装置155と、セレクター（selector）156と、直交変換（例えば離散コサイン変換（DCT））回路158と、量子化装置160と、可変長コーダー162と、ビットレート制御回路164と、逆量子化装置166と、逆変換回路168と、スイッチ170と172とを有する。個々の構成要素の動作は技術的に周知であり、詳細に説明されない。
【０００６】
残念なことに、この階層化コーディングの機構のコーディング効率はあまりよくない。実際に、所定の画像品質において、シーケンスの基本レイヤと上位レイヤを合わせたビットレートは、一度にエンコードされた同じシーケンスのビットレートより大きい。
【０００７】
図２は、DemoGrafxによって提案された他の既知のエンコーダー200を示したものである。前記エンコーダーは、エンコーダー100と実質的に同じ構成要素で構成され、それぞれの動作は実質的に同じであるため、個々の構成要素は説明されない。この構成において、入力ブロックとアップサンプラ（upsampler）150からのアップサンプル（upsample）された出力との残差が、動き推定装置154に入力される。上位エンコーダーの動き推定を導く／促進するため、図２の点線で示される通り、基本レイヤからの調整された動きベクトルが動き推定装置154で用いられる。しかし、この構成は図１に示される構成の問題を有意に克服しない。
【０００８】
図１と２に示される通り、空間拡張性は映像圧縮規格で対応されているが、コーディング効率の不足により、空間拡張性はあまり使われない。効率的なコーディングの不足とは、所定の画像品質について、シーケンスの基本レイヤと上位レイヤを合わせたビットレートが、一度にエンコードされた同じシーケンスのビットレートより大きいことを意味する。
【発明の開示】
【課題を解決するための手段】
【０００９】
それぞれの他の画像フレームで画像品質を少し削減することにより、更に効率的な空間拡張可能圧縮の機構を提供することによって、既知の空間拡張性の機構の前述の欠点を克服することが、本発明の目的である。
【００１０】
本発明の１つの実施例によると、映像ストリームの適応的コンテンツフィルタリングを用いた空間拡張可能圧縮を提供する方法と装置が開示される。入力映像ストリームはダウンサンプル（downsample）され、映像ストリームの解像度を削減する。ダウンサンプル（downsample）された映像ストリームはエンコードされ、基本ストリームを作る。基本ストリームはデコードされてアップコンバートされ、再構成された映像ストリームを作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。結果の残差ストリームが上位エンコーダーでエンコードされ、上位レイヤのストリームとして出力される。選択されたフレームの情報は上位エンコーダーでミュート（mute）される。
【００１１】
本発明の他の実施例によると、基本ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法と装置が開示される。基本ストリームはデコードされてアップコンバートされ、デコードされた基本ストリームの解像度を増加させる。エンコードされたフレームが上位ストリームでデコードされ、第１のデコードされた上位ストリームを作る。アップコンバートされたデコードされた基本ストリームは上位ストリームと組み合わされ、映像出力を作る。更に、時間的補間アルゴリズムを用いて、受信上位ストリームで空のフレームについて第２のデコードされた上位ストリームが生成される。第１と第２のデコードされた上位ストリームはインターリーブ（interleave）され、インターリーブ（interleave）された上位ストリームを作る。
【００１２】
本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
【発明を実施するための最良の形態】
【００１３】
本発明の実施例によると、少なくともいくつかのフレーム情報が上位エンコーダーでミュート（mute）される。例えば、動きベクトルがBフレームの代わりにエンコードされる。Bフレームは連続的な予測に用いられないため、前記フレームは容易に除外され得る。しかし、前記フレームを除外する結果は、他のそれぞれのフレームにおける解像度と鮮明度において変化を明らかに見ることができるため、画像品質に受け入れられない損失になる。後述のように上位レイヤの完全なBフレームの代わりに動きベクトルをコード化することによって、前記の問題が克服され得る。空のBフレームを上位エンコーダーに挿入することによって、上位レイヤの大きさの削減が得られ得る。
【００１４】
図３は、本発明の１つの実施例によるエンコーダーのブロック配置図である。これは本発明を実施するために用いられ得るエンコーダーの説明用の例であり、他のエンコーダーもまた本発明を実施するために用いられ得ることがわかる。描かれたエンコードシステム300は、階層化圧縮を達成し、それによって、チャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。
【００１５】
エンコーダー300は、基本エンコーダー312と上位エンコーダー314とを有する。基本エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）320と、動き推定装置322と、動き補償装置324と、直行変換（例えば離散コサイン変換（DCT））回路330と、量子化装置332と、可変長コーダー（VLC）334と、ビットレート制御回路335と、逆量子化装置338と、逆変換回路340と、スイッチ328と344と、補間及びアップサンプル（upsample）回路350で構成される。
【００１６】
入力映像ブロック316は、スプリッタ318で分割され、基本エンコーダー312と上位エンコーダー314の双方に送信される。基本エンコーダー312において、入力ブロックは、低域通過フィルタ及びダウンサンプラ（downsampler）320に入力される。低域通過フィルタは、動き推定装置322に供給される映像ブロックの解像度を削減する。動き推定装置322は、各フレームのピクチャデータをIピクチャ、Pピクチャ又はBピクチャとして処理する。連続して入力されるフレームの各ピクチャは、I,B,P,B,P,…,B,Pの連続のように前もってセットされた方法で、Iピクチャ、Pピクチャ又はBピクチャのうちの１つとして処理される。すなわち、動き推定装置322は、図示されていないフレームメモリに保存された一連のピクチャの前もってセットされた参照フレームを参照し、マクロブロック、すなわち、マクロブロックとマクロブロックの動きベクトルを検出する参照フレームとの間のパターンマッチング（ブロックマッチング）によってエンコードされるフレームの16画素×16ラインの小ブロックの動きベクトルを検出する。
【００１７】
MPEGでは４つの画像予測モード、すなわちイントラ符号化（フレーム内符号化）と、順方向予測符号化と、逆方向予測符号化と、双方向予測符号化とが存在する。Iピクチャはイントラ符号化画像であり、Pピクチャはイントラ符号化画像又は順方向予測符号化画像若しくは逆方向予測符号化画像であり、Bピクチャはイントラ符号化画像、順方向予測符号化画像又は双方向予測符号化画像である。
【００１８】
動き推定装置322はPピクチャで順方向予測を実行し、その動きベクトルを検出する。更に、動き推定装置322はBピクチャで順方向予測と逆方向予測と双方向予測を実行し、それぞれの動きベクトルを検出する。既知の方法で、動き推定装置322は、フレームメモリで現在の入力ブロックの画素と最も似ている画素のブロックを検索する。多様な検索アルゴリズムが技術的に知られている。それらは一般的に、現在の入力ブロックの画素と候補ブロックの画素との間の平均絶対差分（MAD）又は平均二乗誤差（MSE）を評価することに基づく。最小のMAD又はMSEを有する候補ブロックが選択され、動き補償された予測ブロックになる。現在の入力ブロックの位置に関するそのそれぞれの位置が、動きベクトルである。
【００１９】
動き推定装置322から予測モードと動きベクトルを受信することにより、動き補償装置324は、予測モードと動きベクトルに従って、フレームメモリに保存されたエンコードされて既にローカルでデコードされたピクチャデータを読み出し、読み出されたデータを予測画像として計算部325とスイッチ344に供給し得る。計算部325はまた、入力ブロックを受信し、入力ブロックと動き補償装置324からの予測画像との差を計算する。その差分値がDCT回路330に供給される。
【００２０】
予測モードのみが動き推定装置322から受信される場合、すなわち予測モードがイントラ符号化モードである場合、動き補償装置324は予測画像を出力し得ない。そのような状態では、計算部325は前述の処理を実行し得ないが、その代わりにスイッチ338を通じて入力ブロックをDCT回路330に直接出力し得る。そのような状態において、IフレームはDCT回路330に転送される。
【００２１】
DCT回路330は、量子化装置332に供給されるDCT係数を得るために、計算部33からの出力信号でDCT処理を実行する。量子化装置332は、フィードバックとして受信されたバッファ（図示なし）のデータ保存量に応じて、量子化ステップ（量子化の大きさ）を設定し、その量子化ステップを用いてDCT回路330からのDCT係数を量子化する。量子化されたDCT係数は、設定された量子化ステップとともにVLC部334に供給される。
【００２２】
VLC部334は、量子化装置332から供給された量子化ステップに従って、量子化装置332から供給された量子化係数を、ハフマンコードのような可変長コードに変換する。結果の変換された量子化係数は、図示されていないバッファに出力される。量子化係数と量子化ステップはまた、同じものをDCT係数に変換するように、量子化ステップに従って量子化係数を逆量子化する逆量子化装置338に供給される。DCT係数は、DCT係数で逆DCTを実行する逆DCT部340に供給される。得られた逆DCT係数は計算部348に供給される。
【００２３】
計算部348は、スイッチ344の位置に応じて、逆DCT部340からの逆DCT係数と、動き補償装置324からのデータを受信する。計算部348は、動き補償装置324からの予測画像に逆DCT部340からの信号（予測の残差）を合計し、ローカルで元の画像をデコードする。しかし、予測モードがイントラ符号化である場合、逆DCT部340の出力は直接フレームメモリに供給され得る。計算部340によって得られたデコードされた画像は、イントラ符号化画像、順方向予測符号化画像、逆方向予測符号化画像、又は双方向予測符号化画像の参照画像として後で用いるために、フレームメモリに送信され、それに保存される。
【００２４】
上位エンコーダー314は、動き推定装置354と、動き補償装置356と、DCT回路368と、量子化装置370と、VLC部372と、ビットレート・コントローラ374と、逆量子化装置376と、逆DCT回路378と、スイッチ366と384と、減算器358と364と、加算器380と388を有する。更に、上位エンコーダー314はまた、DCオフセット370と384と、加算器362と、減算器386とを含み得る。多数の前記構成要素の動作は、基本エンコーダー312の類似の構成要素の動作と似ているため、詳細に説明されない。
【００２５】
計算部340の出力はまた、一般的にデコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と実質的に同じ解像度を有する映像データストリームを提供するアップサンプラ（upsampler）350に供給される。しかし、圧縮と復元から生じるフィルタリングと損失のため、再構成されたストリームに特定の誤差が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、誤差が減算部358で判断される。
【００２６】
図３に示される本発明の１つの実施例によると、元の変更されていない高解像度のストリームはまた、動き推定装置354に提供される。再構成された高解像度のストリームはまた、（場合によってはスイッチ382の位置に応じて動き補償装置356の出力によって修正された）逆DCT378からの出力を加える加算器388に提供される。加算器388の出力は動き推定装置354に供給される。結果として、元の高解像度のストリームと再構成された高解像度のストリームとの間の残差の代わりに、アップスケールされた基本レイヤに上位レイヤを加えたもので動き推定が実行される。この動き推定は、図１及び２の既知のシステムによって作られるベクトルより優れた、実際の動きを追跡する動きベクトルを作る。このことは、専門的なアプリケーションより低いビットレートを有する、特に消費者用アプリケーションにとって知覚的に良い画像品質をもたらす。
【００２７】
前述の通り、空のBフレーム（ミュートしたフレーム情報）を上位エンコーダーに挿入することによって、画像品質に大きい減少をすることなく、上位レイヤの大きさが削減され得る。このことはスイッチ366を用いることによって達成され得る。空のBフレーム（DCT係数なし）と動きベクトルがDCT回路368に供給されるように、スイッチ366が位置付けられ得る。結果として、動きベクトルが上位エンコーダー314によってコンコードされる。
【００２８】
図４は、図３に示されたエンコーダー300によって作られた階層化ビットストリームをデコードする階層化デコーダー400を示したものである。他の階層化デコーダーもまた用いられ得ることが当業者にわかり、本発明はそれに限定されない。階層化デコーダー400は基本デコーダー402と上位デコーダー404を有する。基本エンコーダーからの基本ストリームはVLD部406に入力される。VLD部406は基本ストリームをデコードし、動きベクトルを動き補償装置408に供給する。デコードされたストリームの残りは、逆DCT部410に供給される。逆DCT部410はDCT係数で逆DCTを実行する。結果の信号は逆量子化装置412に供給される。逆量子化装置412の出力と動き補償装置408の出力が加算部414によって一緒に加算され、SD出力信号416を生成する。SD出力信号416はまた、動き補償装置408にフィードバックされる。
【００２９】
上位デコーダー404はまた、VLD部418と、逆DCT部420と、逆量子化装置422と、動き補償装置424と、加算部426とを有し、それらは基本デコーダー402の同じ要素と同様の方法で動作する。上位デコーダー404はエンコードされた上位ストリームのフレームをデコードし、少なくともいくつかのフレームについて、それらのフレームに動き情報が保持されているのに、残差の信号がミュート（mute）される。HD出力を生成するために、加算部426の出力がデコードされたDC出力信号416に加えられ、それが加算部430のアップコンバート部428によってアップコンバートされる。
【００３０】
本発明の他の実施例によると、いくつかのフレームがエンコードされ、いくつかのフレームが上位レイヤでスキップ（ミュート（mute））され、スキップされたフレームについて上位レイヤを生成するために、動き補償アルゴリズムがデコーダーで用いられ得る。図５は、本発明のこの実施例を実施するために用いられ得る例示的なエンコーダー500の説明図である。他のエンコーダーもまた本発明を実施するために用いられ得ることが、当業者によってわかる。エンコーダー500は、図３を参照する前述のエンコーダー300と類似する。同様の参照数字が同様の要素に用いられており、簡潔さのためこの同様の要素の完全な説明は提供されない。エンコーダー500は、エンコーダー300と異なる２つのスイッチ502と504を有する。スイッチ502は上位エンコーダー314によってエンコードされるIフレーム、Pフレーム又はBフレームを選択するように位置付けられる。第２のスイッチ504は上位エンコーダー314の出力に提供される。スイッチ504は、送信のためのエンコードされたフレーム又は空のフレームを選択するように前後に動かされ得る。例えば、エンコードされた上位ストリームのそれぞれの他のフレームがコード化され、他のフレームがスキップ（ミュート（mute））されるように、各フレームが出力された後にスイッチ504が動かされ得る。エンコードされた上位ストリームでフレームをスキップ（ミュート（mute））することにより、上位ストリームの大きさが大いに削減され得る。
【００３１】
スキップされたフレームが結果の画像の品質に悪影響を与えることから回避するために、時間的（動き補償された、又は動き補償されない）補間部602が図６に示されるデコーダー600に加えられる。デコーダー600はデコーダー400と類似し、同様の参照番号が同様の要素に用いられている。この例において、基本デコーダー402は既知の方法で基本ストリームをデコードする。更に、上位デコーダー404は既知の方法で上位ストリームのエンコードされたフレームをデコードする。時間的補間部602は、上位デコーダー404からのデコードされた上位ストリームを分析することにより、スキップされたフレームについて上位レイヤの出力を生成する。更に、基本レイヤの出力416もまた、時間的補間部602の動き推定を拡張するために用いられ得る。更に、アップコンバート装置428からのアップコンバートされたデコードされた基本ストリームもまた、時間的補間部602に入力され得る。上位デコーダー404の出力は、スイッチ604と606を選択的に前後に動かすことによって、時間的補間部602の出力でインターリーブ（interleave）される。スイッチ604の出力は、例えばストリームIoPoPoP…になる可能性があり、oは元の残差の信号でミュート（mute）されたBフレームを表す。時間的補間部は、スイッチ604の出力でインターリーブ（interleave）されたフレームB’を生成し、インターリーブ（interleave）されたストリームIB’PB’PB’P…を生成する。インターリーブ（interleave）されたストリームとアップコンバートされた基本ストリームは加算部430で組み合わせられ、HD出力ストリームを作る。
【００３２】
本発明の前述の実施例は、上位レイヤでいくつかのフレームをミュート（mute）し、又は部分的にミュート（mute）することで、上位レイヤのビットレートを下げることにより、空間拡張可能圧縮の機構の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
【図面の簡単な説明】
【００３３】
【図１】空間拡張性を備えた既知のエンコーダーのブロック配置図である。
【図２】空間拡張性を備えた既知のエンコーダーのブロック配置図である。
【図３】本発明の１つの実施例による空間拡張性を備えたエンコーダーのブロック配置図である。
【図４】本発明の１つの実施例による図３に示されたエンコーダーからの映像ストリームをデコードする階層化デコーダーのブロック配置図である。
【図５】本発明の他の実施例による空間拡張性を備えたエンコーダーのブロック配置図である。
【図６】本発明の１つの実施例による図５に示されたエンコーダーからの映像ストリームをデコードするデコーダーのブロック配置図である。

Claims (19)

1. エンコードするエンコーダーを有し、取得された映像フレームを圧縮データストリームに出力する、複数のフレームにおいて取得された映像情報の空間拡張可能圧縮を実行する装置であって、
   相対的に低解像度を有するビットストリームをエンコードする基本レイヤのエンコーダーと、
   残差の信号をエンコードする上位レイヤのエンコーダーであって、前記残差の信号が、前記元のフレームと前記基本レイヤからのアップスケールされたフレームとの差である上位レイヤのエンコーダーと、
   前記上位エンコーダーで選択されたフレームの情報をミュート（mute）する手段と
   を有する装置。
2. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   選択されたフレームについて、前記選択されたフレームに動き情報を保持する一方で、前記上位レイヤのエンコーダーの前記残差の信号がミュート（mute）される装置。
3. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   前記エンコードされた残差の信号の選択された全てのフレームがミュート（mute）される装置。
4. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   フレーム情報が定期的な間隔でミュート（mute）される装置。
5. 請求項４に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   前記間隔の長さが２である装置。
6. 映像ストリームをエンコードする階層化エンコーダーであって、
   前記映像ストリームの解像度を削減するダウンサンプリング部と、
   より低い解像度の基本ストリームをエンコードする基本エンコーダーと、
   デコードして前記基本ストリームの前記解像度を増加させ、再構成された映像ストリームを作るアップコンバート部と、
   前記再構成された映像ストリームを前記元の映像ストリームから差し引き、残差の信号を作る減算部と、
   乗算器からの結果の残差の信号をエンコードし、上位ストリームを出力する上位エンコーダーと、
   前記上位エンコーダーで選択されたフレームの情報をミュート（mute）する手段と
   を有する階層化エンコーダー。
7. 請求項６に記載の階層化エンコーダーであって、
   選択されたフレームについて、前記選択されたフレームに動き情報を保持する一方で、前記上位レイヤのエンコーダーの前記残差の信号がミュート（mute）される階層化エンコーダー。
8. 請求項６に記載の階層化エンコーダーであって、
   前記エンコードされた残差の信号の選択された全てのフレームがミュート（mute）される階層化エンコーダー。
9. 請求項６に記載の階層化エンコーダーであって、
   フレーム情報が定期的な間隔でミュート（mute）される階層化エンコーダー。
10. 請求項６に記載の階層化エンコーダーであって、
    前記間隔の長さが２である階層化エンコーダー。
11. 映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記映像ストリームをダウンサンプル（downsample）し、前記映像ストリームの解像度を削減するステップと、
    前記ダウンサンプル（downsample）された映像ストリームをエンコードし、基本ストリームを作るステップと、
    前記基本ストリームをデコードしてアップコンバートし、再構成された映像ストリームを作るステップと、
    前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
    上位エンコーダーで結果の残差ストリームをエンコードし、上位ストリームを出力するステップと、
    前記上位エンコーダーで選択されたフレームの情報をミュート（mute）するステップと
    を有する方法。
12. 圧縮された映像情報をデコードする階層化デコーダーであって、
    受信された基本ストリームをデコードする基本ストリームのデコーダーと、
    前記デコードされた基本ストリームの解像度を増加させるアップコンバート部と、
    受信されたエンコードされた上位ストリームでフレームをデコードし、第１のデコードされた上位ストリームを生成する上位ストリームのデコーダーであって、選択されたフレームのみが動き情報を有する上位ストリームのデコーダーと、
    前記アップコンバートされたデコードされた基本ストリームと前記上位ストリームを組み合わせ、映像出力を作る加算部と
    を有する階層化デコーダー。
13. 請求項１２に記載の階層化デコーダーであって、
    前記受信された上位ストリームにおいて、前記選択されたフレームについて第２のデコードされた上位ストリームを生成する時間的補間部と、
    前記第１と第２のデコードされた上位ストリームをインターリーブ（interleave）された上位ストリームにインターリーブ（interleave）する手段と
    を更に有する階層化デコーダー。
14. 請求項１３に記載の階層化デコーダーであって、
    選択されていないデコードされたフレームが、前記時間的補間部に提供される階層化デコーダー。
15. 請求項１３に記載の階層化デコーダーであって、
    前記デコードされた基本ストリームが、前記時間的補間部に提供される階層化デコーダー。
16. 請求項１３に記載の階層化デコーダーであって、
    前記アップコンバートされたデコードされた基本ストリームが、前記時間的補間部に提供される階層化デコーダー。
17. 基本ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法であって、
    前記基本ストリームをデコードするステップと、
    前記デコードされた基本ストリームをアップコンバートし、前記デコードされた基本ストリームの解像度を増加させるステップと、
    前記エンコードされた上位ストリームのフレームをデコードし、第１のデコードされた上位ストリームを生成するステップであって、選択されたフレームのみが動き情報を有するステップと、
    前記アップコンバートされたデコードされた基本ストリームを前記上位ストリームと組み合わせ、映像出力を作るステップと
    を有する方法。
18. 請求項１７に記載の方法であって、
    時間的補間アルゴリズムを用いて、受信された上位ストリームにおいて、前記選択されたフレームについて第２のデコードされた上位ストリームを生成するステップと、
    前記第１と第２のデコードされた上位ストリームをインターリーブ（interleave）し、インターリーブ（interleave）された上位ストリームを生成する方法。
19. 請求項１８に記載の方法であって、
    時間的補間が自然の動きアルゴリズムによって実行される方法。

Images