JP2015536108A - 映像圧縮方法 - Google Patents

Abstract

映像を符号化するように構成される符号化ユニットと、符号化された映像を再現するように構成される再現ユニットであって、再現ユニットは復号用データのビットストリームを作成する、再現ユニットと、復号用データのビットストリームを受信し、それを用いて映像を復号するように構成される復号ユニットと、を含む映像コーデック。【選択図】図１０

Description

本発明は映像圧縮の分野に関する。

関連出願の相互参照
本特許出願は、２０１２年１０月７日に出願された米国特許仮出願第６１／７１０，７２３号からの優先権を主張し、それに関連する。この米国特許仮出願はその全体が本明細書において参照により援用されている。

生の映像ファイルは大量の空間を消費する。例えば、６０フレーム／秒（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ、ｆｐｓ）、１９２０×１０８０画素のフレーム解像度、色深度３、および８ビット／色を有する高精細（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、ＨＤ）動画は、
１，９２０＊１，０８０＊６０＊３＝３７３，２４８，０００バイト／秒
を消費する。

さらに、２時間のこのような動画は、
３７３，２４８，０００＊７，２００＝２，６８７，３８５，６００，０００バイト≒３テラバイト（Ｔｂｙｔｅ）
を消費するであろう。

この動画を普通のＤＶＤディスク、すなわち４．７ギガバイト（Ｇｂｙｔｅ）ディスク上に記憶するためには、
≒２，６８７／４．７≒６００枚のＤＶＤディスク
が必要である。

さらに、インターネットを通じて、仮に高速の１００Ｍｂｐｓチャネルを通じて、この動画を伝送するためには、
≒２，６８７，３８６＊８／１００≒２，１４９，９０８秒≒６０時間
が必要である。

映像圧縮は、知覚品質に影響を与えることなく映像サイズを縮減する技術である。

映像内容は必ずしも最良の装置と最良の写真撮影者を使って撮影されるわけではない。このような場合には、ビデオエンハンスメント（ｖｉｄｅｏ ｅｎｈａｎｃｅｍｅｎｔ）としても知られるデジタル画像処理が映像の視覚品質を大幅に改善し、映像圧縮プロセスを助けることができる。ビデオエンハンスメントのためのもっとよく知られた方法のいくつかは、以下のような映像前処理ツールを用いる。

「インタレース解除」 インタレースされた動画は、高速移動物体を記録する際に問題となり得る。移動物体は１つの場所では「偶数の」画像内にあり、別の場所では「奇数の」画像内にあることができ、非常に乱れた「はがれた」画像ができてしまう。

「デブロック化」 ブロック様のアーチファクトは現在のＭＰＥＧの低品質の高圧縮映像の副作用である。デブロック化はこのような映像の品質を大きく高める。

「鮮鋭化」は肌理および細部を強調し、ほとんどのデジタル画像を後処理する際に重要である。画像を鮮鋭化するために「アンシャープマスク」が実際に用いられる。

「ノイズ除去」 「信号」を伝送または受信するいかなる電子デバイスにもある程度のノイズは必ず存在する。テレビの場合には、この信号は、ケーブルを通じて伝送されるか、またはアンテナにおいて受信される放送データであり、デジタルカメラの場合には、信号は、カメラセンサに当たる光である。映像ノイズ除去は、映像信号からノイズを取り除くプロセスである。

「安定化」は、カメラの動きに関連付けられるぶれを低減するために用いられる。具体的には、それはカメラまたはその他の撮像デバイスのパンおよびあおりを相殺する。ビデオカメラでは、カメラぶれが、記録された映像内に目に見えるフレーム間ジッタを生じさせる。

「カメラ校正」は、安定した信頼できる画像を得るために重要である。同期せずに動作するか不正確に調整されたカメラは、ぼやけた画像または見分けがつかない画像をもたらし得る。

このようなツールは、映像品質を大きく改善し、圧縮プロセスを助けることができる。ここでは、この課題を無視し、映像は必要に応じてすでに前処理されていると仮定する。さらなる詳細については非特許文献［１］を参照されたい。

デジタル映像は、同じコンテナファイル内に一緒に記憶される、映像、オーディオ、および制御等の複数のストリームから成る。例えば、一般的なコンテナ形式は、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌａｃｅｄ、オーディオ・ビデオ・インタレース）、ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ（登録商標） Ｖｉｄｅｏ、ウィンドウズ・メディア・ビデオ）、ＦＬＶ（Ｆｌａｓｈ（登録商標） Ｖｉｄｅｏ、フラッシュ・ビデオ）、ＭＯＶ（Ａｐｐｌｅ Ｑｕｉｃｋ Ｔｉｍｅ（登録商標） Ｍｏｖｉｅ、アップル・クイックタイム・ムービー）である。映像ストリーム自体は通常、他のストリーム、またはコンテナタイプから独立しており、多くの異なる形式で表現することができる。Ａｐｐｌｅ ｉＴｕｎｅｓ（登録商標）（アップル・アイチューンズ）、およびＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｅｄｉａ（登録商標） Ｐｌａｙｅｒ（マイクロソフト・ウィンドウズ・メディアプレーヤ）等のメディアプレーヤは、対応するコーデック（エンコーダ／デコーダ）ソフトウェアを用いて画面上に映像を表示する。

表示される映像は通常、ｒａｗ ＲＧＢ色空間形式で表現される。なぜなら、人間の視覚系は同様の仕方で機能する、すなわち、人間の目の色覚は赤色、緑色および青色センサに基づくからである。図１に、ヘッダセクション１２０およびそれに続くフレーム１３０を含む、ｒａｗ ＲＧＢファイル１００が概略的に示される。ヘッダ１２０は、ｎ個の行、ｍ個の列、およびＮ個のフレーム等の映像パラメータを包含する。フレーム１３０は、各々、Ｒ、ＧおよびＢのためのトリプレットである、ｎ＊ｍ個の画素値を包含する。

ｒａｗ ＹＵＶ色空間形式は映像表現のためのもう１つの非常に有用な形式である。ここで、Ｙは映像の黒色および白色表現に対応し、ＵおよびＶは追加の色差に対応する。ＲＧＢをＹＵＶに変換するため、およびその逆のための多くの同様の式が存在する。それらのうちの１つ（非特許文献［２］参照）が図２に例示される。同図では、ユニット２１０に、ＲＧＢからＹＵＶへの変換式が与えられ、ユニット２２０に、ＹＵＶからＲＧＢへの変換式が与えられている。図３に、図１のユニット１２０におけるようなヘッダセクション３１０、ならびにそれに続くＹフレーム３２０、Ｕフレーム３３０、およびＶフレーム３４０を含む、ｒａｗ ＹＵＶファイル３００が概略的に示される。Ｙ、ＵおよびＶ成分のための典型的なフレームが示されている。以下において、コンテナファイルの映像ストリーム部分のみを考慮し、一般性を失わず（ｗｉｔｈｏｕｔ ｌｏｓｓ ｏｆ ｇｅｎｅｒａｌｉｔｙ（ｗ．ｌ．ｇ．））、ＹＵＶ色空間表現を仮定する。

カメラは動画の最中に何度もその画角を変化させる場合がある。シーンのこれらの変化は、動画のカットとも呼ばれ、それらの形状および内容によって識別される。非特許文献［３］を参照されたい。圧縮の観点から言うと、これは、カット間には冗長性をほとんど有しないことを意味する。

図４に、ヘッダセクション４１０およびそれに続くカット４２０を含む、カットファイル４００が概略的に示される。ヘッダは以下のとおりである。
ｎは行の数であり、ｍは列の数である。
Ｎはフレームの数であり、Ｍはカットの数である。

ファイルの各カットは、図３のユニット３００において与えられるＹＵＶファイル形式と同じ構造を有する。簡単にするために、今後は各々のこのようなカットの成分を１つだけ考慮して進めることにする。全ての成分への一般化は容易である。

ウェーブレットおよびマルチウェーブレット（非特許文献［４］参照）は、以下の適用において用いる重要な数学的ツールである。図５に、古典的な離散ウェーブレット変換（ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ、ＤＷＴ）フィルタが示され、ユニット５１０に、ローパスおよびハイパス解析フィルタの対が示され、ユニット５２０に、ローパスおよびハイパス合成フィルタの対が示されている。例えば、ユニット５３０には、１次元ハール変換が示される。

一般的に、図６に示されるように、ｍ＞１個のフィルタを有する。ユニット６１０に、解析フィルタが示され、ユニット６２０に、合成フィルタが示されている。例えば、ユニット６３０には、２Ｄハール変換が示されている。より一般的には、フィルタは離散マルチウェーブレット変換（ｄｉｓｃｒｅｔｅ ｍｕｌｔｉｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ、ＤＭＷＴ）に関連してもよい。

整数の格子（ｌａｔｔｉｃｅ ｏｆ ｉｎｔｅｇｅｒｓ）？^ｎは、ユークリッド空間？^ｎにおけるｎ組の整数のセットである。フレームは格子？^２上の長方形グリッドとして、映像は？^３上の立方体グリッドとして表現することができる。格子のサブセットは、それ自身が格子（ｌａｔｔｉｃｅ）であり、副格子（ｓｕｂ−ｌａｔｔｉｃｅ）と呼ばれる。図７に、？^２の副格子の例が与えられる。ユニット７１０には、５点形副格子（Ｑｕｉｎｃｕｎｘ ｓｕｂ− ｌａｔｔｉｃｅｓ）が示される。白い丸い点は偶数副格子（ｅｖｅｎ ｓｕｂ−ｌａｔｔｉｃｅ）に対応し、暗い丸い点は奇数副格子（ｏｄｄ ｓｕｂ−ｌａｔｔｉｃｅ）に対応する。ユニット７２０には、２個対形副格子（Ｄｙａｄｉｃ ｓｕｂ−ｌａｔｔｉｃｅｓ）が同様に示される。５点形副格子はユニット７１５の拡大行列によって決定され、２個対形副格子はユニット７２５の拡大行列（ｄｉｌａｔｉｏｎ ｍａｔｒｉｘ）によって決定される。副格子の数は、対応する拡大行列の行列式によって決定され、５点形の場合には２、２個対形の場合には４になる。ダウンサンプリングとは、所与の格子から副格子を抽出するプロセスを指す。例えば、２個対形のダウンサンプリングを図８に示す。ユニット８１０には、入力信号が与えられ、ユニット８２０には、時間ダウンサンプリングが与えられ、ユニット８３０には、空間ダウンサンプリングが与えられ、ユニット８４０には、空間および時間を組み合わせたダウンサンプリングが与えられる。

本発明の一態様によれば、映像を符号化する方法であって、映像を受信するステップと、前記受信された映像に対して縮小演算を行うステップであって、前記縮小演算は、前記映像から第１のより低い解像度の映像を作成するステップ、および追加のＮ−１個のより低い解像度の映像を順次作成するステップであって、前記追加のより低い解像度の映像の各々は前記前のより低い解像度の映像から作成される、ステップ、を含む、ステップと、最も低い解像度の映像を圧縮するステップと、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うステップであって、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、前記それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算するステップ、計算された前記残差を圧縮するステップ、圧縮された前記残差を復元するステップ、および復元された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、によって、前記前のより低い解像度の再現された映像から作成される、ステップと、前記最も低い解像度の圧縮された映像、圧縮された前記残差、および前記Ｎを含む制御情報を含むビットストリームを提供するステップと、を含む、方法が提供される。

ビットストリームは、ローパス解析フィルタを含んでもよく、より低い解像度の映像を作成するステップは、ローパス解析フィルタを映像に適用するステップを含む。

ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含んでもよく、より低い解像度の映像を作成するステップは、ぼかし演算子を映像に適用するステップ、およびダウンサンプリング演算子をぼかし演算結果に適用するステップを含む。

ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含んでもよく、前記ローパス解析フィルタは、前記ぼかし演算子およびダウンサンプリング演算子から計算される。

ビットストリームは、ローパス合成フィルタを含んでもよく、より高い解像度の映像を作成するステップは、ローパス合成フィルタをより低い解像度の再現された映像に適用するステップを含む。

ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、より高い解像度の映像を作成するステップは、ａ．アップサンプリング演算子、およびそれに続き、補間演算子をより低い解像度の再現された映像に適用するステップ、ｂ．オラクル演算子を補間演算結果に適用するステップ、ならびにｃ．ぼかし除去演算子をオラクル演算結果に適用するステップ、を含む。

ビットストリームはアップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、ローパス合成フィルタは前記アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子から計算されてもよい。

残差を計算するステップは、それぞれのより低い解像度の映像とより高い解像度の映像との差分を算出するステップを含んでもよい。

ビットストリームは、ハイパス解析フィルタを含んでもよく、残差を計算するステップは、ハイパス解析フィルタを算出された差分に適用することをさらに含んでもよい。

ハイパス解析フィルタは、前記算出された差分から計算されてもよい。

より高い解像度の再現された映像を計算するステップは、復元された残差をより高い解像度の映像に加えるステップを含んでもよい。

ビットストリームは、ハイパス合成フィルタを含んでもよく、より高い解像度の再現された映像を作成するステップは、ハイパス合成フィルタをそれぞれの復元された残差に適用するステップ、およびその結果をより高い解像度の映像に加えるステップを含んでもよい。

ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算されてもよい。

本発明の別の態様によれば、上述の方法に従って符号化された映像を復号する方法であって、前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するステップと、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うステップであって、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を復号するステップ、および復号された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせるステップ、によって、前記前のより低い解像度の再現された映像から作成される、ステップと、を含む、方法が提供される。

ビットストリームは、ローパス合成フィルタを含んでもよく、より高い解像度の映像を作成するステップは、ローパス合成フィルタをより低い解像度の再現された映像に適用するステップを含んでもよい。

ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、より高い解像度の映像を作成するステップは、ａ．アップサンプリング演算子、およびそれに続き、補間演算子をより低い解像度の再現された映像に適用するステップ、ｂ．オラクル演算子を補間演算結果に適用するステップ、ならびにｃ．ぼかし除去演算子をオラクル演算結果に適用するステップ、を含んでもよい。

ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、ローパス合成フィルタは、前記アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子から計算されてもよい。

より高い解像度の再現された映像を計算するステップは、復元された残差をより高い解像度の映像に加えるステップを含んでもよい。

ビットストリームは、ハイパス合成フィルタを含んでもよく、より高い解像度の再現された映像を作成するステップは、ハイパス合成フィルタをそれぞれの復元された残差に適用するステップ、およびその結果をより高い解像度の映像に加えるステップを含んでもよい。

ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算されてもよい。

本発明の別の態様によれば、映像を符号化するように構成される符号化ユニットと、前記符号化された映像を再現するように構成される再現ユニットであって、再現ユニットは復号用データのビットストリームを作成する、再現ユニットと、復号用データのビットストリームを受信し、それを用いて映像を復号するように構成される復号ユニットと、を含む映像コーデックが提供される。

符号化ユニットは、映像を受信し、受信された前記映像に対して縮小演算を行うように構成され、前記縮小演算は、前記映像から第１のより低い解像度の映像を作成すること、および追加のＮ−１個のより低い解像度の映像を順次作成し、前記追加のより低い解像度の映像の各々は、前記前のより低い解像度の映像から作成されること、を含み、符号化ユニットは、最も低い解像度の映像を圧縮するように構成されてもよい。

再現ユニットは、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うように構成され、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成すること、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を計算すること、計算された前記残差を圧縮すること、圧縮された前記残差を復元すること、および復元された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせること、によって、前記前のより低い解像度の再現された映像から作成されるように構成されてもよく、前記ビットストリームは、圧縮された前記最も低い解像度の映像、圧縮された前記残差、および前記Ｎを含む制御情報を含む。

復号ユニットは、前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理し、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うように構成され、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成すること、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を復号すること、および復号された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせる、ことによって、前記前のより低い解像度の再現された映像から作成されるように構成されてもよい。

本発明の別の態様によれば、上述の方法に従って符号化された映像を復号する方法であって、前記復号ユニットは、前記再現されたより高い解像度の映像を解析するように構成される、方法が提供される。

復号ユニットは、前記再現された映像の動き場を計算するように構成されてもよい。

復号ユニットは、前記再現された映像の物体認識を行うように構成されてもよい。

本発明のより良い理解のため、および本発明がどのように実施されてよいのかを示すために、次に、添付の図面を純粋に例として参照する。

次に具体的に図面を詳細に参照するが、図示されている細部は例としてのものであり、本発明の好ましい実施形態の例示的説明のみを目的としており、本発明の原理および概念的態様の最も有用で理解しやすい説明であると考えられるものを提供するために提示されることが強調される。この点において、本発明の構造細部を本発明の基本的理解のために必要以上に詳細に示す試みはなされず、説明は、図面と併せて、本発明のいくつかの形態がどのように実際に具体化され得るのかを当業者に明らかにする。

ｒａｗ ＲＧＢファイルを示す図である。 ＲＧＢ形式とＹＵＶ形式との間の変換を示す図である。 ｒａｗ ＹＵＶファイルを示す図である。 カットファイルを示す図である。 ２個の方式の離散ウェーブレット変換フィルタ（２−ｗａｙ Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ Ｆｉｌｔｅｒｓ）を示す図である。 ｍ個の方式の離散ウェーブレット変換フィルタ（ｍ−ｗａｙ Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ Ｆｉｌｔｅｒｓ）を示す図である。 格子および副格子を示す図である。 ２個対形ダウンサンプリングを示す図である。 新しいコーデックのフローチャートである。 エンコーダのフローチャートである。 ビットストリームを示す図である。 デコーダのフローチャートである。 Ｍコーデックを示す図である。 Ｍコーデックを示す図である。 Ｍコーデックを示す図である。 Ｏコーデックパラメータを示す図である。 Ｏコーデックを示す図である。 Ｏコーデックを示す図である。 ＯＭコーデックを示す図である。 ＯＭコーデックを示す図である。

本発明は、Ｈ．２６４等の標準的なＭＰＥＧ方法と異なり、最新のコンピュータビジョンおよび数学的方法を用いて、エンコーダおよびデコーダの両方における映像の解析から恩恵を受ける、映像圧縮のための新しい技術を提供する。例えば、動き場算出および物体認識（非特許文献［１］および［７］参照）がエンコーダおよびデコーダの両方において映像を再現するために用いられてもよい。

図９に、新しい汎用コーデックの概略図が示される。コーデックは２つの主要部分：エンコーダおよびデコーダから成る。エンコーダ１０００は映像Ｙをビットストリーム１１００に圧縮し、デコーダ１２００はビットストリームを再現された映像

に復元する。エンコーダからの出力であり、デコーダへの入力であるビットストリーム１１００は、圧縮された映像を表現する。ビットストリームはディスク上に記憶するか、またはネットワークを通じて伝送することができる。Ｙおよび

はどちらも以下の説明全体を通じて「映像」と呼ばれる。Ｙは、以上に説明したように、カットの成分であることに留意されたい。

以下において、エンコーダ１０００（図１０参照）、ビットストリーム１１００（図１１参照）、およびデコーダ１２００（図１２参照）を説明する。

エンコーダ１０００は以下のとおりの３つの段階を有する。

段階Ｉ（Ｅ）は以下のとおりＮ回の反復から成る。
Ｙ_０？ Ｙと定義する。このとき、映像Ｙ_ｋは反復ｋ＝０，・・・，Ｎ−１への入力であり、映像Ｙ_ｋ＋１は反復ｋ＝０，・・・，Ｎ−１の出力である。ここで、映像Ｙ_ｋ＋１は、映像Ｙ_ｋのより低い解像度のより粗い表現である。より低い解像度とは、空間的により低い解像度、時間的により低い解像度、または空間的にも時間的にもより低い解像度のうちのいずれかを意味する。映像解像度を低下させるこの演算を縮小演算と呼ぶ。このような反復の数、すなわち、Ｎ、はエンコーダによって決定される。

段階ＩＩ（Ｅ）は圧縮演算および復元演算から成る。圧縮演算は、例えば特許文献［１］に説明されているように、映像を圧縮するためのあらゆる方法を指す。復元演算は、圧縮された映像から元の映像を再現する反対の演算を指す。Ｙ_Ｎは、段階Ｉ（Ｅ）の後に結果として生じる映像を表すこととすると、このとき、圧縮された映像をＦ_Ｎによって表し、復元された映像を

によって表す。映像

は、圧縮方法の品質によって損失された映像Ｙ_Ｎの再現であることに留意されたい。無損失圧縮の場合には、再現された映像

はＹ_Ｎと全く同じになるであろう。しかし、実際には、圧縮プロセスは損失を伴い、

はＹ_Ｎと同じにはならない。通常、圧縮が強いほど、映像は一致しなくなり、多くの歪みが存在する。良い圧縮方法は、圧縮された映像のサイズを最小限に抑えつつ、再現された映像の視聴品質を保つ。圧縮された映像Ｆ_Ｎはビットストリーム１１００内に含められることにさらに留意されたい。

段階ＩＩＩ（Ｅ）は、以下のとおりＮ回の逆行反復を含む第１の引き上げ演算（ｆｉｒｓｔ ｒａｉｓｅ ｏｐｅｒａｔｉｏｎ）から成る。
反復ｋ＝Ｎ−１，・・・，０では、前の反復（または、ｋ＝Ｎ−１の場合には、前の段階）からの再現された映像

が入力になり、出力は、映像Ｙ_ｋと同じ解像度（空間的および時間的）である再現された映像

になる。それゆえ、最終的な映像

は最初の映像Ｙ_０（上述の段階Ｉ（Ｅ）参照）の再現になる。

を得るために、以下のステップを行う。

１）まず、映像

を、映像Ｙ_ｋのものと同じ解像度のより高い解像度の映像

にサイズ変更する。映像解像度を上げるこの演算を伸張演算と呼ぶ。
２）次に、映像Ｙ_ｋと伸張された映像

との間の残差Ｒ_ｋを計算する。残差を計算するこの演算を結果演算と呼ぶ。
３）最後に、残差Ｒ_ｋをＥ_ｋに圧縮する。ここでは、先と同様に、圧縮によって、上記の段階ＩＩ（Ｅ）において説明したように、あらゆる妥当な圧縮方法を意味する。残差を圧縮するこの演算を符号化演算と呼ぶ。圧縮された残差Ｅ_ｋはビットストリーム１１００内に含められることにさらに留意されたい。

エンコーダの次のステップは、デコーダにおいて行われる演算をシミュレートする。
４）圧縮された残差Ｅ_ｋを、再現された残差

に復元する。圧縮された残差を復元するこの演算を復号演算と呼ぶ。
５）伸張された映像

を、再現された残差

と結合し、再現された映像

を得る。伸張された映像を、再現された残差と結合するこの演算をアセンブル演算と呼ぶ。アセンブル演算はある意味で結果演算の逆である。

ビットストリーム１１００は以下の成分を包含する。
ｃｔｒｌ：ビットストリームを復元するために必要とされる、エンコーダには既知であるがデコーダにおいては未知の追加情報。例えば、エンコーダによって決定される反復の数Ｎはｃｔｒｌの一部である。ｃｔｒｌは、圧縮された形で伝送されることにさらに留意されたい。

圧縮された映像Ｆ_Ｎ

圧縮された残差：Ｅ_ｋ，ｋ＝Ｎ−１，…，０

デコーダ１２００は以下のとおりの２つの段階を有する。
段階Ｉ（Ｄ）は処理演算および復元演算から成る。処理演算はｃｔｒｌ情報を取得し、復号のために要求される、例えば、反復の数Ｎ等の、必要パラメータを設定する。復元演算は、エンコーダの段階ＩＩ（Ｅ）において行われたように、Ｆ_Ｎを映像

に復元する。

段階ＩＩ（Ｄ）は、以下のとおりのＮ回の逆行反復を含む第２の引き上げ演算（ｓｅｃｏｎｄ ｒａｉｓｅ ｏｐｅｒａｔｉｏｎ）から成る。
反復ｋ＝Ｎ−１，・・・，０では、前の反復（またはｋ＝Ｎ−１の場合には、前の段階）からの再現された映像

が入力になり、出力は、再現された映像

になる。これは以下の仕方で行われる（エンコーダの段階ＩＩＩ（Ｅ）も参照）。
１）復号演算を用いて、圧縮された残差Ｅ_ｋを、再現された残差

に復元する。
２）アセンブル演算を用いて、伸張された映像

を、再現された残差

と結合し、再現された映像

を得る。

本発明をさらに明確にするために、ここで汎用コーデックのいくつかの可能な実装形態を説明する。これらはＭコーデック、Ｏコーデック、およびＯＭコーデックである。ただし、多くの他の実装形態も可能であり、これらの例によって排除されないことに留意されたい。

例Ｉ：マルチウェーブレット（Ｍ）コーデック
Ｍコーデックは、図１３のユニット１３１０に示されるように、ｍ_ｋ個のマルチウェーブレットフィルタ、いわゆるＤＭＷＴフィルタのそれぞれのセットによって支配される。それらの役割を以下に説明する。

エンコーダ１０００において：
段階Ｉ（Ｅ） 反復ｋ＝０，・・・，Ｎ−１において、縮小演算がローパス解析フィルタ

によって決定される。すなわち、フィルタ

をＹ_ｋに適用し、Ｙ_ｋ＋１を得る。図１３のユニット１３２０を参照されたい。

段階ＩＩ（Ｅ）は前述同様に共通している。

段階ＩＩＩ（Ｅ） 反復ｋ＝Ｎ−１，…，０において：
１）伸張演算がローパス合成フィルタ

によって決定される。すなわち、フィルタ

を

に適用し、

を得る。図１３のユニット１３３０を参照されたい。
２）結果演算がｍ_ｋ？１個のハイパス解析フィルタ

によって決定される。

まず、Ｙ_ｋと

との差、すなわちＤ_ｋ、が計算される。図１４のユニット１４１０を参照されたい。

次に、ｊ＝１，・・・，ｍ_ｋ？１について、

をＤ_ｋに適用し、それぞれの残差成分

を得る。ユニット１４２０を参照されたい。

３）ｊ＝１，・・・，ｍ_ｋ？１について、残差

を

に符号化する。ユニット１４３０を参照されたい。

４）ｊ＝１，・・・，ｍ_ｋ？１について、

から、再現された残差

を復号する。図１５のユニット１５１０を参照されたい。

５）アセンブル演算がｍ_ｋ？１個のハイパス合成フィルタ：

によって決定される。
ｊ＝１，・・・，ｍ_ｋ？１について、

を

に適用し、成分

を得る。ユニット１５２０を参照されたい。

次に、

を合計することによって

を再現する。ユニット１５３０を参照されたい。

ビットストリーム１１００内において：
ｃｔｒｌ情報は、Ｎに加えて、ＤＭＷＴフィルタを包含する。

デコーダ１２００において：
段階Ｉ（Ｄ）は前述同様に処理演算および復元演算から成る。

段階ＩＩ（Ｄ） 反復ｋ＝Ｎ−１，…，０において：
１）ｊ＝１，・・・，ｍ_ｋ？１について、

から、再現された残差

を復号する。ユニット１５１０を参照されたい。
２）上述の段階ＩＩＩ（Ｅ）におけるように、アセンブル演算を用いて、映像

を再現する。すなわち、上述のステップ５におけるように、

を

に適用し、

を得て、これらの成分を

と合計し、映像

を得る。ユニット１５２０および１５３０を参照されたい。

例ＩＩ：オラクル（Ｏｒａｃｌｅ、Ｏ）コーデック。

Ｏコーデックは、パラメータのそれぞれのセットによって支配される。図１６を参照されたい。セットは、ぼかし／ぼかし除去逆演算子（ｂｌｕｒｒｉｎｇ／ｄｅｂｌｕｒｒｉｎｇ ｉｎｖｅｒｓｅ ｏｐｅｒａｔｏｒｓ）（ユニット１６１０参照）、ダウンサンプリング／アップサンプリング反対演算子および補間演算子（ｄｏｗｎ ｓａｍｐｌｉｎｇ／ｕｐ ｓａｍｐｌｉｎｇ ｏｐｐｏｓｉｔｅ ｏｐｅｒａｔｏｒｓ ａｎｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｏｐｅｒａｔｏｒｓ）（ユニット１６２０参照）、ならびにオラクル演算子（ｏｒａｃｌｅ ｏｐｅｒａｔｏｒｓ）（ユニット１６３０参照）を含む。それらの役割を以下に説明する。

エンコーダ１０００において：
段階Ｉ（Ｅ） 反復ｋ＝０，…，Ｎ−１において：
縮小演算がそれぞれのぼかし演算子およびダウンサンプリング演算子（ｒｅｓｐｅｃｔｉｖｅ ｂｌｕｒｒｉｎｇ ａｎｄ ｄｏｗｎ ｓａｍｐｌｉｎｇ ｏｐｅｒａｔｏｒｓ）によって決定される。すなわち、ぼかし演算子Ｂ^（ｋ）をＹ_ｋに適用し、Ｚ_ｋを得、次に、ダウンサンプリング演算子？^（ｋ）をＺ_ｋに適用し、Ｙ_ｋ＋１を得る。図１７のユニット１７１０を参照されたい。

段階ＩＩ（Ｅ）は前述同様に共通している。

段階ＩＩＩ（Ｅ） 反復ｋ＝Ｎ−１，…，０において：
１）伸張演算がそれぞれのアップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子によって決定される。すなわち、アップサンプリング演算子？^（ｋ）、およびそれに続き、補間演算子Ｉ^（Ｋ）を

に適用し、映像

を得る。次に、オラクル演算子Ｏ^（ｋ）を

に適用し、

上述の段階Ｉ（Ｅ）の映像Ｚ_ｋの再現版、を得る。オラクル演算は、

に基づき、Ｚ_ｋへの最良近似

を再現するが、超解像（非特許文献［５］参照）および圧縮センシング（非特許文献［６］参照）などの方法を用いてもよい。最後に、ぼかし除去演算子

を

に適用し、

を得る。ユニット１７２０を参照されたい。
２）結果演算は単なる差分演算である。すなわち、残差Ｒ_ｋはＹ_ｋと

との差分である。次に、残差Ｒ_ｋをＥ_ｋに符号化する。図１８のユニット１８１０を参照されたい。
３）次に、Ｅ_ｋから、再現された残差

を復号する。アセンブル演算は単なる合計演算であり、

を

に加え、映像

を得る。ユニット１８２０を参照されたい。

ビットストリーム１１００内において：
ｃｔｒｌ情報は、Ｎに加えて、図１６にあるとおりのパラメータを包含する。

デコーダ１２００において：
段階Ｉ（Ｄ）は前述同様に処理演算および復元演算から成る。

段階ＩＩ（Ｄ） 反復ｋ＝Ｎ−１，…，０において：
１）上述の段階ＩＩＩ（Ｅ）のステップ１におけるように、伸張演算を用いて、映像

から映像

を再現する。ユニット１７２０を参照されたい。
２）復号演算を用いて

を得、次に、上述の段階ＩＩＩ（Ｅ）のステップ３におけるように、アセンブル演算を用いて、

および

から

を再現する。ユニット１８２０を参照されたい。

例ＩＩＩ：オラクル・マルチウェーブレット（Ｏｒａｃｌｅ Ｍｕｌｔｉｗａｖｅｌｅｔ、ＯＭ）コーデック。

以下のようにオラクルコーデックをマルチウェーブレットコーデックと一緒に組み合わせる。
Ｏコーデックパラメータ（図１６参照）に基づき、ｍ_ｋ個のマルチウェーブレットフィルタ（ユニット１３１０参照）を定義する。結果として得られる方法をＯＭコーデックと呼ぶ。

次に、Ｏコーデックパラメータを所与としてＤＭＷＴフィルタを得る方法を説明する。
１）ローパス解析フィルタ

を定義し、それにより、結果として得られる縮小方法が所与のＯコーデック縮小方法を近似するようにする。図１９のユニット１９１０を参照されたい。
２）ローパス合成フィルタ

を定義し、それにより、結果として得られる伸張方法が所与のＯコーデック伸張方法を近似するようにする。ユニット１９２０を参照されたい。
３）ｍ_ｋ？１個のハイパス解析フィルタのセット

を、

を消滅させるマルチウェーブレットフィルタとするべく定義する。ユニット１９３０を参照されたい。
４）

を設定することによって、ＤＭＷＴフィルタのセットを完成させる。これをウェーブレットの数学理論を用いて行う。非特許文献［４］および特許文献［２］を参照されたい。

ｃｔｒｌ情報は、Ｎに加えて、図１６にあるとおりのパラメータ、および図１９にあるとおりの対応するＤＭＷＴフィルタを包含する。

図２０に、ＯＭコーデックのフローチャートが示される。ユニット２０１０にはエンコーダフローチャートが示され、ユニット２０２０にはデコーダが示されている。

本出願においては以下の文献が参照されており、全て本明細書において参照により援用されている。
特許文献（Ｐａｔｅｎｔｓ）
［１］国際公開第２００８／０８１４５９号（イラン・バー・オンおよびオレグ・コステンコ（Ｉｌａｎ Ｂａｒ−Ｏｎ ａｎｄ Ｏｌｅｇ Ｋｏｓｔｅｎｋｏ）、“ウェーブレットに基づく処理のための方法およびシステム（Ａ Ｍｅｔｈｏｄ Ａｎｄ Ａ Ｓｙｓｔｅｍ Ｆｏｒ Ｗａｖｅｌｅｔ Ｂａｓｅｄ Ｐｒｏｃｅｓｓｉｎｇ）”）
［２］米国特許第８，３３１，７０８（Ｂ２）号明細書（イラン・バー・オン（Ｉｌａｎ Ｂａｒ−Ｏｎ）、“多次元離散マルチウェーブレット変換のための方法および装置（Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａ Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｃｒｅｔｅ Ｍｕｌｔｉｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）”、２０１２年１２月１１日）
非特許文献（Ｒｅｆｅｒｅｎｃｅ）
［１］“コンピュータビジョン、最新のアプローチ（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ）”、Ｄ．フォルシス（Ｄ．Ｆｏｒｓｙｔｈ）およびＪ．ポンセ（Ｊ．Ｐｏｎｃｅ）、２０１２年
［２］“ＩＴＵ−Ｒ勧告ＢＴ．７０９”、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｃ．＿７０９［３］“カット・バイ・カット（Ｃｕｔ ｂｙ Ｃｕｔ）”、Ｇ．チャンドラー（Ｇ．Ｃｈａｎｄｌｅｒ）、２０１２年
［４］“ウェーブレットおよびマルチウェーブレット（Ｗａｖｅｌｅｔｓ ａｎｄ Ｍｕｌｔｉｗａｖｅｌｅｔｓ）”、フリッツ・ケイネルト（Ｆｒｉｔｚ Ｋｅｉｎｅｒｔ）、２００４年
［５］“超解像イメージング（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｉｎｇ）”、Ｐ．ミランファー（Ｐ．Ｍｉｌａｎｆａｒ）、２０１０年９月
［６］“圧縮センシング、理論と応用（Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ， Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）”、Ｙ．Ｃ．エルダー（Ｙ．Ｃ．ＥＩｄａｒ）、他、２０１２年６月
［７］“オプティカルフロー（Ｏｐｔｉｃａｌ ｆｌｏｗ）”、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｏｐｔｉｃａｌ＿ｆｌｏｗ

Claims (27)

1. 映像を符号化する方法であって、
   映像を受信するステップと、
   前記受信された映像に対して縮小演算を行うステップであって、前記縮小演算は、
   前記映像から第１のより低い解像度の映像を作成するステップ、および
   追加のＮ−１個のより低い解像度の映像を順次作成するステップであって、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成される、ステップ、
   を含む、ステップと、
   最も低い解像度の映像を圧縮するステップと、
   前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
   前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うステップであって、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
   前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
   それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算するステップ、
   計算された前記残差を圧縮するステップ、
   圧縮された前記残差を復元するステップ、および
   復元された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
   によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
   前記最も低い解像度の圧縮された映像、圧縮された前記残差、およびＮを含む制御情報を含むビットストリームを提供するステップと、
   を含む、方法。
2. 前記ビットストリームは、ローパス解析フィルタを含み、前記より低い解像度の映像を作成するステップは、ローパス解析フィルタを映像に適用するステップを含む、請求項１に記載の方法。
3. 前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記より低い解像度の映像を作成するステップは、ぼかし演算子を映像に適用するステップ、およびダウンサンプリング演算子をぼかし演算結果に適用するステップを含む、請求項１に記載の方法。
4. 前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記ローパス解析フィルタは、前記ぼかし演算子およびダウンサンプリング演算子から計算される、請求項２に記載の方法。
5. 前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１に記載の方法。
6. 前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
   ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
   ｂ．前記オラクル演算子を補間演算結果に適用するステップ、ならびに
   ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
   を含む、請求項１に記載の方法。
7. 前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項５に記載の方法。
8. 前記残差を計算するステップは、前記それぞれのより低い解像度の映像と前記より高い解像度の映像との差分を算出するステップを含む、請求項１に記載の方法。
9. 前記ビットストリームは、ハイパス解析フィルタを含み、前記残差を計算するステップは、前記ハイパス解析フィルタを、算出された前記差分に適用することをさらに含む、請求項８に記載の方法。
10. 前記ハイパス解析フィルタは、算出された前記差分から計算される、請求項９に記載の方法。
11. 前記より高い解像度の再現された映像を計算するステップは、復元された前記残差を前記より高い解像度の映像に加えるステップを含む、請求項１に記載の方法。
12. 前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタを前記それぞれの復元された残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１に記載の方法。
13. 前記ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算される、請求項１２に記載の方法。
14. 請求項１に記載の方法に従って符号化された映像を復号する方法であって、
    前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するステップと、
    前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
    前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うステップであって、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
    前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
    前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との前記残差を復号するステップ、および
    復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
    によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
    を含む、方法。
15. 前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１４に記載の方法。
16. 前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
    ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
    ｂ．前記オラクル演算子を補間演算結果に適用するステップ、および
    ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
    を含む、請求項１４に記載の方法。
17. 前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項１５に記載の方法。
18. 前記より高い解像度の再現された映像を計算するステップは、復元された前記残差を前記より高い解像度の映像に加えるステップを含む、請求項１４に記載の方法。
19. 前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタをそれぞれの復元された前記残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１４に記載の方法。
20. 前記ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算される、請求項１９に記載の方法。
21. 映像を符号化するように構成される符号化ユニットと、
    符号化された前記映像を再現するように構成され、復号用データのビットストリームを作成する再現ユニットと、
    前記復号用データのビットストリームを受信し、それを用いて前記映像を復号するように構成される復号ユニットと、
    を含む映像コーデック。
22. 前記符号化ユニットは、
    映像を受信し、
    受信された前記映像に対して縮小演算を行うように構成され、前記縮小演算は、
    前記映像から第１のより低い解像度の映像を作成すること、および
    追加のＮ−１個のより低い解像度の映像を順次作成し、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成されること、を含み、
    前記符号化ユニットは、
    最も低い解像度の映像を圧縮するするように構成される、請求項２１に記載の映像コーデック。
23. 前記再現ユニットは、
    前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
    前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うように構成され、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
    前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
    それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算すること、
    計算された前記残差を圧縮すること、
    圧縮された前記残差を復元すること、および
    復元された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせること、
    によって、前記前のより低い解像度の再現された映像から作成されるように構成され、
    前記ビットストリームは、圧縮された前記最も低い解像度の映像、圧縮された前記残差、およびＮを含む制御情報を含む、
    請求項２２に記載の映像コーデック。
24. 前記復号ユニットは、
    前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するし、
    前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
    前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うように構成され、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
    前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
    前記それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との前記残差を復号すること、および
    復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせること、
    によって、前記前のより低い解像度の再現された映像から作成されるように構成される、請求項２３に記載の映像コーデック。
25. 請求項１に記載の方法に従って符号化された映像を復号する方法であって、復号ユニットは、前記再現されたより高い解像度の映像を解析するように構成される、方法。
26. 前記復号ユニットは、前記再現された映像のモーションフィールドを計算するように構成される、請求項２５に記載の方法。
27. 前記復号ユニットは、前記再現された映像の物体認識を行うように構成される、請求項２５に記載の方法。

Images