JP5232796B2

JP5232796B2 - 適応エンハンスメントレイヤ予測を使用したビット深度スケーラブルなビデオデータを符号化及び／又は復号化する方法及び装置

Info

Publication number: JP5232796B2
Application number: JP2009540573A
Authority: JP
Inventors: ウー，ユウェン; ガオ，ヨンイン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-12-14
Filing date: 2006-12-14
Publication date: 2013-07-10
Anticipated expiration: 2026-12-14
Also published as: EP2092747B1; KR20090098825A; JP2010512698A; WO2008071036A1; CN101601300A; US8477853B2; US20100111167A1; CN101601300B; KR101345090B1; EP2092747A4; EP2092747A1

Description

本発明は、デジタルビデオ符号化の技術分野に関する。本発明は、ビット深度スケーラビリティという新たなタイプのスケーラビリティについて符号化のソリューションを提供するものである。

ビデオ符号化規格Ｈ．２６４／ＡＶＣは、レート歪み最適化（ＲＤＯ）に従って、様々なビデオ符号化モード及びそれらビデオ符号化モード間の動的な選択を提供する。スケーラブルビデオ符号化（ＳＶＣ）のその拡張は、異なるレイヤを提供し、エンハンスメントレイヤ（ＥＬ）のダイレクトな符号化又はレイヤ間予測のいずれかについて空間スケーラビリティをサポートする。ＥＬのダイレクト符号化では、Ｉ＿Ｎ×Ｎと呼ばれるモードのレイヤ間の冗長度が使用されない。ＥＬは、単にイントラ符号化される。

レイヤ間予測は、ベースレイヤ（ＢＬ）がイントラ符号化される場合のＩ＿ＢＬとＢＬがインター符号化される場合の残差予測といった２つの符号化モードで使用され、ＢＬとＥＬ残差が生成される。残差の予測により、ＥＬの残差は、ＢＬの残差から予測される。

イントラ符号化されたＥＬのマクロブロック（ＭＢ）について、ＳＶＣは、２つのタイプの符号化モードを提供し、すなわちオリジナルのＨ．２６４／ＡＶＣＩ＿Ｎ×Ｎ符号化（空間予測、ｂａｓｅ＿ｍｏｄｅ＿＿ｆｌａｇ＝０）と、Ｉ＿ＢＬ、スケーラビリティについて特別なＳＶＣ符号化モードであり、この場合ＥＬＭＢは、配列された（ｃｏｌｌｏｃａｔｅｄ）ＢＬＭＢから予測される。インター符号化について、第一のステップは、残差と呼ばれるＢＬとＥＬの差の画像を生成することである。残差のレイヤ間予測は、ＢＬの残差とＥＬの残差との間の差を符号化するために行われる。

近年、従来の８ビットカラー深度よりも高いカラー深度は、科学画像形成、デジタルシネマ、高品質ビデオイネーブルコンピュータゲーム、並びに、プロフェッショナルスタジオ及びホームシアターに関連するアプリケーションのような多くの分野で益々望まれている。したがって、最新のビデオ符号化規格であるＨ．２６４／ＡＶＣは、高忠実度化規格（ＦＲＥｘｔ）を含んでおり、この規格は、サンプル当たり１４ビットまで、４：４：４クロマサンプリングまでをサポートする。

２つの異なるデコーダ、又はたとえば同じｒａｗビデオについて８ビット及び１２ビットといったビット深度について異なる要求を持つクライアントによるシナリオについて、既存のＨ．２６４／ＡＶＣソリューションは、１２ビットのｒａｗビデオを符号化して第一のビットストリームを生成し、次いで１２ビットｒａｗビデオを８ビットｒａｗビデオに変換し、これを符号化して第二のビットストリームを生成する。ビデオが異なるビット深度を要求する異なるクライアントに伝達される場合、ビデオは２度伝達される必要があり、たとえば、２つのビットストリームが１つのディスクに一緒に記憶される。これは、圧縮率及び動作の複雑度の両者に関して効率が低い。

欧州特許出願ＥＰ０６２９１０４１は、１２ビットｒａｗビデオ全体を一度に符号化して、Ｈ．２６４／ＡＶＣ規格に互換性のあるＢＬ及びスケーラブルＥＬを含む１つのビットストリームを生成するスケーラブルソリューションを開示する。冗長度の低減のため、上述された第一のビットストリームに関するスケーラブルビットストリーム全体のオーバヘッドは、更なる第二のビットストリームに比較して小さいことである。Ｈ．２６４デコーダが受信エンドで利用可能である場合、ＢＬサブビットストリームのみがデコードされ、デコードされた８ビットビデオは、従来の８ビットディスプレイ装置で視聴することができ、ビット深度スケーラブルデコーダが受信エンドで利用可能である場合、ＢＬ及びＥＬサブビットストリームの両者がデコードされて１２ビットビデオが取得され、８ビットを超えるカラー深度をサポートする高品質表示装置で視聴することができる。

上述された冗長度の低減についての可能性は、特定の符号化モードの効率が画像のコンテンツに依存することを考慮すれば非常にフレキシブルではない。異なる符号化モードは、異なるシーケンスについて最適化される。より多くの冗長度が低減され、結果として得られるビットストリームが小さい場合に、符号化モードの効率は高い。本発明は、ビット深度のスケーラビリティの環境においてこの問題のソリューションを提供する。

請求項１は、改善された冗長度の低減を可能にし、最も効率的な符号化モードの動的であって適応的な選択を可能にするスケーラブルビデオデータを符号化する方法を開示する。請求項５は、対応する復号化方法を開示する。符号化について対応する装置は、請求項８で開示され、復号化について対応する装置は、請求項９で開示される。

ＣＢＤＳについてＥＬの３つの新たなＳＶＣに互換性のある符号化モードが開示され、１つはイントラ符号化向けであり、２つのインター符号化向けである。レイヤ間の残差を直接に符号化することは、ビット深度のスケーラブル符号化にとって更に効果的であることが分かっている。新たなイントラ符号化モードは、アップサンプルされた再構成されたＢＬとオリジナルのＥＬ（ＥＬｏｒｇ−ＢＬｒｅｃ，ｕｐ）の間の差の符号化を使用し、ここでモード選択が使用される。原理的に、レイヤ間の残差は、オリジナルのＮビットＥＬビデオを置き換えるためにＮビットビデオとして扱われる。

２つの可能性のあるモードは、（１）ＢＬから予測される残差が変換、量子化及びエントロピー符号化されるモード、（２）この残差が更にイントラ符号化されるモード（Ｉ＿Ｎ×Ｎ）である。従来、イントラＭＢにとって最良のモードは、ＲＤＯを使用して、オリジナルのＥＬのＮビットビデオのＩ＿ＢＬモードとＩ＿Ｎ×Ｎモードの間で選択される。提供された新たなイントラモードにより、イントラＭＢの最良のモードは、Ｎビットのレイヤ間の残差のＩ＿ＢＬとＩ＿Ｎ×Ｎの間で選択される。

新たなインター符号化モードは、ＢＬの残差の代わりに、（新たなイントラモードのような）アップサンプルされた再構成されたＢＬからＥＬの予測を使用する。２つの可能性のあるインター符号化モード（フラグによりスイッチされる）は、（１）残差（ＥＬｏｒｇ−ＢＬｒｅｃ，ｕｐ）は、この残差に基づく動き予測を使用して符号化される、（２）残差（ＥＬｏｒｇ−ＢＬｒｅｃ，ｕｐ）は、ＢＬからの動き情報を使用して符号化され、これによりＥＬに関する動き予測が省略される。

本発明によれば、再構成されたＢＬ情報ユニットは（オリジナルのＢＬ情報ユニット及びＢＬ残差の代わりに）、ビット深度のアップサンプリングを使用してアップサンプルされ、アップサンプルされた再構成されたＢＬ情報ユニットは、配列されたＥＬ情報ユニットを予測するために使用される。これは、エンコーダにおける予測がデコーダで利用可能な同じデータに基づいているという利点を有する。したがって、エンコーダで生成される差の情報又は残差は、デコーダでのビット深度のアップサンプルされたデコードされたＢＬ画像とオリジナルのＥＬ画像との間の差に良好に整合し、したがって、デコーダでの再構成されたＥＬ画像は、オリジナルのＥＬ画像に近くなる。

情報ユニットは、たとえば単一の画素、画素ブロック、ＭＢ又はそのグループといった任意の粒状度である場合がある。ビット深度のアップサンプリングは、それぞれの画素が有することができる値の数を増加させるプロセスである。この値は、画素の色の強度に通常対応する。したがって、微調整された色再生の可能性が改善され、オリジナルのシーンの段階的な色の差を良好に符号化して、再生されるために復号化することができる。有利なことに、ビデオデータレートは、現在の符号化方法に比較して低減することができる。

エンコーダは、オリジナルのＥＬビデオデータ及びビット深度のアップサンプルされた再構成されたＢＬデータから残差を生成し、残差は、エントロピー符号化され、送信される。再構成されたＢＬの情報はエンコーダサイドでアップサンプリングされ、同様にデコーダサイドでアップサンプリングされ、アップサンプリングは、少なくともビット深度を示す。

さらに、アップサンプリングは、インター符号化画像又はＭＢと同様にイントラ符号化について実行される。しかし、イントラ及びインター符号化された画像について、異なるモードを使用することができる。イントラ符号化画像又はＩフレーム以外に、Ｐ又はＢフレームとも呼ばれるインター符号化画像は、他の画像、すなわち他のＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）をもつ画像の再構成を必要とする。本発明の１態様によれば、エンコーダは、ＥＬについて少なくとも２つの異なるイントラ符号化モード間で選択することができる。第一のイントラ符号化モードは、アップサンプルされた再構成されたＢＬとオリジナルのＥＬとの間の残差を生成し、第二のイントラ符号化モードは、この残差のイントラ符号化を更に含む。

原理的に、レイヤ間の残差は、ＥＬブランチにおいて高いビット深度のビデオとして扱われ、コンベンショナルな高いビット深度のビデオを置き換える。残差又はそのイントラ符号化されたバージョンは、次いで変換、量子化及びエントロピー符号化される。従来、イントラＭＢにとって最良のモードは、ＲＤＯを使用して、オリジナルのＥＬビデオのＩ＿ＢＬモードとＩ＿Ｎ×Ｎモードの間で選択される。開示された新たなイントラモードにより、最良のイントラＭＢのモードは、ＲＤＯを使用して、高いビット深度のレイヤ間の残差のＩ＿ＢＬモードとＩ＿Ｎ×Ｎの間で選択される。

本発明の別の態様によれば、エンコーダは、ビット深度のアップサンプルされた再構成されたＢＬとオリジナルのＥＬとの間の残差を生成することを含むインター符号化モードを利用する。さらに、エンコーダは、ＢＬからアップサンプルされた動きベクトルと、アップサンプルされた再構成されたＢＬとオリジナルＥＬとの間の前記残差に基づいて生成された動きベクトルとの間でＥＬについて選択する。選択は、符号化されたＥＬデータのＲＤＯに基づく場合がある。

本発明の１態様によれば、ＢＬの画素がエンハンスメントレイヤの画素よりも低いビット深度を有するＢＬとＥＬとを有するビデオデータを符号化する方法は、以下のステップを含む。ＢＬデータを変換及び量子化するステップ。変換及び逆量子化されたＢＬデータを逆変換及び逆量子化するステップにより、再構成されたＢＬデータが得られる。再構成されたＢＬデータをアップサンプルするステップ。アップサンプルは、少なくともビット深度を示し、予測されたバージョンのＥＬデータが得られる。オリジナルデータと予測されたバージョンのＥＬデータとの間で残差を生成するステップ。少なくとも２つの異なるインター符号化モード間でインター符号化されたＥＬについて選択するステップ。第一のインター符号化モードは、アップサンプルされたＢＬの動き情報を使用することを含み、第二のインター符号化モードは、前記ＥＬデータから生成された動き情報を使用することを含む。変換及び量子化されたＢＬデータを符号化するステップ。及び選択されたＥＬ符号化モード及び前記モードをデコーダに示す指示を使用して前記ＥＬ残差を符号化するステップ。

本発明の１態様によれば、符号化方法は、少なくとも２つの異なるイントラ符号化モード間でイントラ符号化ＥＬデータのケースについて選択するステップを更に含み、少なくとも１つのモードであって全てではないイントラ符号化モードは、オリジナルＥＬデータと予測されたバージョンのＥＬデータとの間の前記残差の更なるイントラ符号化を含む。

有利なことに、２つの上述されたエンコーダの実施の形態は、符号化されたビデオデータが（たとえば指示に従って）インター符号化されたか又はイントラ符号化されたかを検出する手段を使用して、イントラ符号化ビデオデータ及びインター符号化ビデオデータを適応的に符号化することができる結合されたエンコーダに結合することができる。

本発明の１態様によれば、ＢＬの画素がエンハンスメントレイヤの画素よりも低いビット深度を有するＢＬとＥＬとを有するスケーラブルビデオデータを復号化する方法は、以下のステップを含む。量子化及び変換（たとえばＤＣＴ）されたエンハンスメントレイヤ情報とベースレイヤ情報と復号化モードの指示を受信するステップ。受信されたＥＬ及びＢＬ情報に逆量子化及び逆変換を実行するステップ。逆量子化及び逆変換されたＢＬ情報をアップサンプリングするステップにより、値当たりのビット深度が増加され、予測されたＥＬ情報が得られる。再構成されたＥＬビデオ情報を、予測されたＥＬ情報と逆量子化及び逆変換されたＥＬ情報から再構成するステップ。前記復号化モードの指示に従う復号化モードが選択され、可能性のある復号化モードは、インター符号化されたＥＬ情報の場合に逆量子化及び逆変換されたＥＬ情報がＥＬ情報から抽出された動き情報を使用して復号化される第一のモードと、インター符号化されたＥＬ情報の場合に逆量子化及び逆変換されたＥＬ情報がＢＬ情報から抽出された動き情報を使用して復号化される第二のモードとを含む。

本発明の１態様によれば、復号化方法は、可能性のある復号化モードが、イントラ符号化ＥＬ情報の場合に、逆量子化及び逆変換されたＥＬ情報からＥＬ残差が得られる第三のモードと、イントラ符号化ＥＬ情報の場合に、逆量子化及び逆変換されたＥＬ情報が（Ｉ＿Ｎ×Ｎ復号化を使用して）イントラ復号化され、前記ＥＬ残差が得られる第四のモードとを更に含む点で更に規定される。

有利なことに、２つの言及されたデコーダの実施の形態は、イントラ符号化及びインター符号化されたビデオデータを適応的にデコードすることができる１つの結合されたエンコーダに結合することができる。本発明の別の態様によれば、符号化されたスケーラブルビデオ信号は、符号化されたＢＬデータ、符号化されたＥＬデータ及び予測のタイプの指示を含み、符号化されたＥＬデータは、ビット深度のアップサンプルされたＢＬ画像とＥＬ画像との間の差である残差を含み、残差は、差のビット深度情報を含み、予測タイプの指示は、前記ビット深度のアップサンプルされたＢＬ画像を示す残差を再び取得するためにＥＬデータに空間イントラ復号化をデコーダが実行する必要があるか否かを示す。

本発明の別の態様によれば、ベースレイヤがエンハンスメントレイヤよりも低い色解像度及び低い空間解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置は、以下の構成要素を有する。ベースレイヤデータを変換する手段及び量子化する手段。変換及び量子化されたベースレイヤデータを逆変換する手段及び逆量子化する手段により、再構成されたベースレイヤデータが得られる。再構成されたベースレイヤデータをアップサンプリングする手段。アップサンプリングは、ビット深度を少なくとも示し、予測されたバージョンのエンハンスメントレイヤのデータが得られる。オリジナルのエンハンスメントレイヤのデータと予測されたバージョンのエンハンスメントレイヤのデータとの間の残差を生成する手段。インター符号化されたエンハンスメントレイヤの場合に、少なくとも２つの異なるインター符号化モード間で選択する手段。第一のインター符号化モードは、アップサンプルされたベースレイヤの動き情報を使用することを含み、第二のインター符号化モードは、前記エンハンスメントレイヤのデータから生成された動き情報を使用することを含む。変換及び量子化されたベースレイヤデータを符号化する手段。及び、選択されたエンハンスメントレイヤの符号化モードを使用して前記エンハンスメントレイヤの残差を符号化する手段。

本発明の別の態様によれば、ＢＬがＥＬよりも低い色解像度及び低い空間解像度を有するＢＬとＥＬとを有するビデオデータを復号化する装置は、以下の構成要素を有する。ＢＬデータを変換する手段及び量子化する手段。変換及び量子化されたＢＬデータを逆変換する手段及び逆量子化する手段。再構成されたベースレイヤデータが得られ、再構成されたベースレイヤデータをアップサンプリングする手段。アップサンプリングは、ビット深度を少なくとも示し、予測されたバージョンのＥＬデータが得られる。オリジナルのＥＬデータと予測されたバージョンのＥＬデータとの間の残差を生成する手段。インター符号化されたＥＬの場合に、少なくとも２つの異なるインター符号化モード間で選択する手段。第一のインター符号化モードは、アップサンプルされたＢＬの動き情報を使用することを含み、第二のインター符号化モードは、前記ＥＬのデータから生成された動き情報を使用することを含む。変換及び量子化されたＢＬデータを符号化する手段。及び、選択されたＥＬの符号化モードを使用して前記ＥＬの残差を符号化する手段。

提供される符号化ソリューションの様々な実施の形態は、Ｈ．２６４／ＡＶＣに対して、Ｈ．２６４／ＡＶＣスケーラブル拡張（ＳＶＣ）において現在定義されている全ての種類のスケーラビリティに対して互換性がある。

本発明の有利な実施の形態は、従属の請求項、以下の説明及び添付図面で開示される。本発明の例示的な実施の形態は、添付図面を参照して記載される。

カラービット深度のスケーラブルな符号化の概念を例示する図である。ビット深度のスケーラブルなエンハンスメントレイヤの新たなイントラ符号化モードのエンコーダの概念を例示する図である。ビット深度のスケーラブルなエンハンスメントレイヤの２つの新たなインター符号化モードのエンコーダの概念を例示する図である。ビット深度のスケーラブルなエンハンスメントレイヤの２つの新たなインター符号化モードのエンコーダの概念を例示する図である。ビット深度のスケーラブルなエンハンスメントレイヤの新たなイントラ符号化モードのデコーダの概念を例示する図である。

図１に示されるように、Ｎビットｒａｗビデオ及びＭビットビデオ（Ｍ＜Ｎ、通常Ｍ＝８）といった２つのビデオがビデオエンコーダへの入力として使用される。Ｍビットビデオは、Ｎビットｒａｗビデオから構成されるか、他のやり方により与えられる。スケーラブルなソリューションは、ＢＬのピクチャを使用することで２つのレイヤ間の冗長度を低減することができる。一方が８ビットカラーであり、他方がＮビットカラー（Ｎ＞８）である２つのビデオストリームは、エンコーダに入力され、出力は、スケーラブルなビットストリームである。唯一のＮビットカラーデータストリームが入力されることも可能であり、これよりＭビット（Ｍ＜Ｎ）カラーデータストリームがＢＬについて内部生成される。

Ｍビットビデオは、包含されるＨ．２６４／ＡＶＣエンコーダを使用してＢＬとしてエンコードされる。ＢＬの情報は、ＥＬの符号化効率を改善するために使用することができる。これは、本実施の形態ではレイヤ間予測と呼ばれる。それぞれのピクチャ、ＭＢのグループは、２つのアクセスユニットを有しており、一方はＢＬ向けであり、他方はＥＬ向けである。符号化されたビットストリームは、スケーラブルビットストリームを形成するために多重化される。ＢＬエンコーダは、たとえばＨ．２６４／ＡＶＣエンコーダを有しており、再構成は、ＥＬ符号化のために使用されるＮビットカラービデオを予測するために使用される。

図１に示されるように、スケーラブルビットストリームは、ＢＬデコーダ（コンベンショナルなＡＶＣデコーダ）によりデコードされるＡＶＣに準拠するＢＬビットストリームを例示的に含む。次いで、（それぞれの指示の評価の後に）エンコーダにおけるのと同じ予測がデコーダ側で行われ、予測されたＮビットビデオが取得される。Ｎビットの予測されたビデオにより、ＥＬデコーダは、Ｎビット予測を使用して、高品質表示ＨＱ用の最終的なＮビットビデオを生成する。

以下では、用語「カラービット深度」が使用されるとき、この用語は、ビット深度、すなわち値当たりのビット数を意味する。これは、通常、色の強さに対応する。

１実施の形態では、本発明は、ＳＶＣ空間、時間及び品質スケーラビリティの現在の構造に基づいており、改善されたカラービット深度のためのビット深度のスケーラビリティにより改善される。したがって、本実施の形態は、現在のＳＶＣ規格に対して完全に互換性がある。しかし、これを他の規格に適合することは、当業者にとって容易である。

本発明の１実施の形態では、３つの新たなタイプの符号化モードが使用され、これらは全て、ビット深度スケーラビリティのためにビット深度の予測に基づいている。これら新たな符号化モードは、レイヤ間の残差をどのように更に効率的且つ更にフレキシブルにするかに関する問題を解決するために設計される。現在のＳＶＣ規格は、任意の予測モードの選択なしに、Ｉ＿ＢＬモードでのレイヤ間の残差を符号化することをサポートするのみである。インター符号化について、現在のＳＶＣ規格は、レイヤ間の残差を直接符号化することをサポートせず、代わりに、ＢＬ残差とＥＬ残差との間の差を符号化するために残差のレイヤ間の予測が行われる。言い換えれば、レイヤ間の予測モジュールへの入力は、インター符号化におけるＢＬの残差であるが、ここで使用された再構成されたＢＬではない。開示される３つの新たな符号化モードから、Ｈ．２６４／ＡＶＣに基づいてレイヤ間の残差を符号化するため、１つは、イントラ符号化を示し、他の２つはインター符号化を示す。

［イントラ符号化モード］
現在のＳＶＣ規格は、エンハンスメントレイヤのイントラＭＢについて２つのタイプの符号化モードをサポートし、１つは、オリジナルのＨ．２６４／ＡＶＣＩ＿Ｎ×Ｎ符号化モードであり、他方は、ＳＶＣ空間符号化モードＩ＿ＢＬである。現在のＳＶＣでは、Ｉ＿Ｎ×Ｎモードは、オリジナルのＥＬのＮビットビデオを符号化し、Ｉ＿ＢＬモードは、予測モードの選択なしに、レイヤ間の残差を直接的に符号化する。本発明は、レイヤ間の残差をＮビットのビデオとして扱い、オリジナルのＮビットビデオをレイヤ間の残差で置き換えることで、イントラＭＢを符号化する新たなモードを追加する。提供された新たなイントラモードにより、イントラＭＢの最良のモードは、Ｎビットのレイヤ間の残差のＩ＿ＢＬモードとＩ＿Ｎ×Ｎの間で選択される。

このイントラ符号化モードによるカラービット深度のスケーラブルなコーデックのイントラ符号化の概念は、図２に示される。モード選択スイッチＭＳＳに依存して、ＥＬ残差は、変換Ｔ、量子化Ｑ及びエントロピー符号化ＥＣＥＬされる前にＩ＿Ｎ×Ｎ符号化されるか、Ｉ＿Ｎ×Ｎ符号化されない。エンコーダは、ＲＤＯに基づいて符号化モードを決定する手段を有し、この手段は、制御信号ＥＬ＿ｉｎｔｒａ＿ｆｌａｇを供給し、この制御信号は、デコーダを制御するために出力される。このため、決定する手段は、符号化を実際に実行するか、又はたとえば色又はテクスチャの滑らかさといった定義されたパラメータに従って入力画像データを分析する。

対応するデコーダは、図５に示される。デコーダは、その入力データにおいて、指示ＥＬ＿ｉｎｔｒａ＿ｆｌａｇを検出し、指示に応答して、そのＥＬブランチにおいて対応する復号化モードにＭＣＣを設定する。ある値の指示ＥＬ＿ｉｎｔｒａ＿ｆｌａｇについて、逆量子化及び逆変換されたＥＬ残差ＥＬ’ｒｅｓが復号化用に使用され、別の値の指示ＥＬ＿ｉｎｔｒａ＿ｆｌａｇについて、空間予測Ｉ＿Ｎ×Ｎが前に実行される。この指示は、たとえばスライスヘッダ情報に含まれ、完全なスライスについて有効である。

［インター符号化モード］
インター符号化について、現在のＳＶＣ規格は、再構成されたベースレイヤピクチャを使用したレイヤ間予測をサポートしていないが、ベースレイヤの残差、すなわちオリジナルのＢＬのＭビットビデオとＢＬエンコーダにより生成された再構成されたＭビットの対応との間の差に基づいてレイヤ間の予測をサポートする。ＥＬについて新たなインター符号化モードを利用することで、図３に示されるように、再構成されアップサンプルされたＭビットのＢＬ情報Ｐｒｅ_ｃ｛ＢＬｒｅｃ｝を使用して、レイヤ間の予測が行われる。エンコーダのＥＬブランチでは、少なくとも２つの符号化モードのうちの１つを使用してこのレイヤ間の残差が符号化される。

第一の新たなＥＬのインター符号化モードは、ＥＬデータから、特に現在及び以前のＥＬ残差からの動き予測（ＭＥ）により得られた動きベクトルＭＶ_ELと共に、ＥＬのオリジナルのＮビットのＭＢを符号化する代わりに、レイヤ間の残差ＭＢを符号化することを含む。

第二のＥＬのインター符号化モードでは、ＥＬの動きベクトルは、ＢＬから共有される。ＭＥ及び動き補償（ＭＣ）は、計算上複雑であり、したがってこの符号化方法は、ＥＬエンコーダにおける処理能力を大いに節約する。ＢＬの動きベクトルを共有することで、エンコーダの実行時間及び生成されるビットレートの両者を低減することができる。ＢＬの動きデータは、アップサンプルされＭＶ_ＢＬＵＰ、このモードにおいてＢＬのＭＣＭＣＰｒｅｄについて使用される。

フラグｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、２つの新たなＥＬのインター符号化モード間のスイッチでり、このフラグは、デコーダを対応して制御するために符号化されたＢＬ及びＥＬと共に出力される。

対応するデコーダは、図４に示される。図４の特定の実施の形態では、ＢＬ残差は、ビット深度のアップサンプリングＢＤＵｐの前に、残差のアップサンプリングＲＵｐを使用して、さらに、空間的にアップサンプリングされる。フラグｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、到来するデータストリームで検出され、復号化モードを制御するために使用される。フラグが第一の値を有する場合、到来するＥＬデータストリームＥＬ_ＭＩから抽出された動き情報は、ＥＬブランチについて使用される。フラグが別の第二の値を有する場合、到来するデータＢＬストリームから抽出され、次いでアップサンプリングされた、ＢＬからのアップサンプリングされたＭＵｐ動き情報はＥＬブランチについて使用される。到来するＢＬデータストリームの他の部分（画像データ）は、逆量子化及び逆変換され、結果として得られる残差ＢＬｒｅｓ，ｋは、ＢＬビデオを構築するため（必要に応じて）、アップサンプリングのために（ＥＬビデオが必要とされる場合）使用される。原理的に、ユーザにより定義される要件に依存して、スケーラブルデコーダがＢＬビデオ又はＥＬビデオの何れかを生成する場合に十分である。

カラービット深度のスケーラブルな符号化についてＥＬの提供される新たな符号化モードの２つの主要な利点は、第一に、新たな符号化モードがエンコーダにとってより多くのモード選択を提供することであり、これは、特にＲＤＯにとって有益である。それは、ＲＤＯがより多くの選択を有し、次いで、良好な最適化が可能であるからである。第二の、これらの新たなモードにより、レイヤ間の残差が直接に符号化され、高い符号化効率が達成される。

したがって、本発明は、スケーラブルエンコーダ、スケーラブルデコーダ及びスケーラブルシグナル、特にビデオ信号又は異なる品質レイヤ及び高いレイヤ間の冗長度を有する他のタイプの信号について使用される。

本発明は、例示を通して記載され、本発明の範囲から逸脱することなしに、詳細の変更が行われる。この記載及び（必要に応じて）請求項並びに図面で開示されるそれぞれの特徴は、独立に提供されるか又は任意の適切な組み合わせで提供される場合がある。特徴は、（必要に応じて）ハードウェア、ソフトウェア、又は両者の組み合わせで実現される場合がある。請求項に示される参照符号は、例示を目的とするものであり、請求項の範囲に限定的な影響を有するものではない。

Claims

ベースレイヤがエンハンスメントレイヤよりも低い色解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する方法であって、
当該方法は、
ベースレイヤデータを変換及び量子化するステップと、
変換及び量子化されたベースレイヤデータを逆変換及び逆量子化するステップと、再構成されたベースレイヤデータが得られ、
前記再構成されたベースレイヤデータをアップサンプリングするステップと、前記アップサンプリングは、ビット深度を少なくとも示し、予測されたバージョンのエンハンスメントレイヤのデータが得られ、
オリジナルのエンハンスメントレイヤのデータと前記予測されたバージョンのエンハンスメントレイヤのデータとの間の残差を生成するステップと、
インター符号化されたエンハンスメントレイヤのマクロブロックの場合に、少なくとも２つの異なるインター符号化モードのいずれかを選択し、イントラ符号化されたエンハンスメントレイヤのマクロブロックの場合に、少なくとも２つの異なるイントラ符号化モードのいずれかを選択するステップと、第一のインター符号化モードは、アップサンプリングされたベースレイヤの動き情報を使用することを含み、第二のインター符号化モードは、前記エンハンスメントレイヤの残差から生成された動き情報を使用することを含み、少なくとも１つであって全てではないイントラ符号化モードは、同じ行数及び列数を有するマクロブロックに対する空間イントラ符号化モードを使用した前記残差の更なるイントラ符号化を含み、
前記変換及び量子化されたベースレイヤデータを符号化するステップと、
選択されたエンハンスメントレイヤの符号化モードを使用して前記エンハンスメントレイヤの残差を符号化し、前記符号化モードを示す指示を符号化するステップと、前記符号化は変換及び量子化を含み、
符号化されたエンハンスメントレイヤの残差と符号化された指示にエントロピー符号化を行うステップと、
を含むことを特徴とする方法。
前記異なる符号化モードの何れかを選択するステップは、レート歪み最適化を行うステップを含む、
請求項１記載の方法。
前記アップサンプリングするステップは、空間のアップサンプリングを行うステップを含む、
請求項１又は２記載の方法。
前記第二のインター符号化モードにおいて、前記エンハンスメントレイヤの残差から生成された動き情報は、現在のエンハンスメントレイヤの残差と少なくとも１つの前のエンハンスメントレイヤの残差とから生成される、
請求項１乃至３のいずれか記載の方法。
ベースレイヤがエンハンスメントレイヤよりも低いビット深度を有するベースレイヤとエンハンスメントレイヤとを有するスケーラブルビデオデータを復号化する方法であって、
エントロピー復号化を行い、量子化及び変換されたエンハンスメントレイヤ情報及びベースレイヤ情報並びに復号化モードの指示を取得するステップと、
取得されたエンハンスメントレイヤ及びベースレイヤ情報に逆量子化及び逆変換を行うステップと、
逆量子化及び逆変換されたベースレイヤ情報をアップサンプリングするステップと、ビット深度の値が増加され、予測されたエンハンスメントレイヤ情報が得られ、
再構成されたエンハンスメントレイヤビデオ情報を、前記予測されたエンハンスメントレイヤ情報と逆量子化及び逆変換されたエンハンスメントレイヤ情報とから再構成するステップとを含み、取得された復号化モードの指示に従うマクロブロックレベルに対する復号化モードが選択され、
可能性のある復号化モードは、インター符号化されたエンハンスメントレイヤ情報の場合に、逆量子化及び逆変換されたエンハンスメントレイヤ情報が前記エンハンスメントレイヤ情報から抽出された動き情報を使用して復号化される第一のモードと、インター符号化されたエンハンスメントレイヤ情報の場合に、逆量子化及び逆変換されたエンハンスメントレイヤ情報がベースレイヤ情報から抽出され、次いでアップサンプリングされた動き情報を使用して復号化される第二のモードと、イントラ符号化されたエンハンスメントレイヤの情報の場合に、前記逆量子化及び逆変換されたエンハンスメントレイヤの情報からエンハンスメントレイヤの残差が得られる第三のモードと、イントラ符号化されたエンハンスメントレイヤの情報の場合に、前記エンハンスメントレイヤの残差を得るために前記逆量子化及び逆変換されたエンハンスメントレイヤの情報がイントラ復号化される第四のモードとを含む、
ことを特徴とする方法。
前記再構成されたエンハンスメントレイヤビデオ情報を、前記予測されたエンハンスメントレイヤ情報と逆量子化及び逆変換されたエンハンスメントレイヤ情報とから再構成するステップは、再構成されたエンハンスメントレイヤの残差を取得して、取得された再構成されたエンハンスメントレイヤの残差を、再構成された動き補償されたエンハンスメントレイヤの情報に加えるステップを含む、
請求項５記載の方法。
ベースレイヤがエンハンスメントレイヤよりも低い色解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを符号化する装置であって、
当該装置は、
ベースレイヤデータを変換及び量子化する手段と、
変換及び量子化されたベースレイヤデータを逆変換及び逆量子化する手段と、再構成されたベースレイヤデータが得られ、
再構成されたベースレイヤデータをアップサンプリングする手段と、前記アップサンプリングは、ビット深度を少なくとも示し、予測されたバージョンのエンハンスメントレイヤのデータが得られ、
オリジナルのエンハンスメントレイヤのデータと前記予測されたバージョンのエンハンスメントレイヤのデータとの間の残差を生成する手段と、
インター符号化されたエンハンスメントレイヤのマクロブロックの場合に、少なくとも２つの異なるインター符号化モードのいずれかを選択し、イントラ符号化されたエンハンスメントレイヤのマクロブロックの場合に、少なくとも２つの異なるイントラ符号化モードのいずれかを選択する手段と、第一のインター符号化モードは、アップサンプリングされたベースレイヤの動き情報を使用することを含み、第二のインター符号化モードは、前記エンハンスメントレイヤの残差から生成された動き情報を使用することを含み、少なくとも１つであって全てではないイントラ符号化モードは、同じ行数及び列数を有するマクロブロックに対する空間イントラ符号化モードを使用した前記残差の更なるイントラ符号化を含み、
前記変換及び量子化されたベースレイヤデータを符号化する手段と、
選択されたエンハンスメントレイヤの符号化モードを使用して前記エンハンスメントレイヤの残差を符号化する手段、前記符号化モードを示す指示を符号化する手段と、前記符号化する手段は、変換ユニット及び量子化ユニットを含み、
符号化されたエンハンスメントレイヤの残差と符号化された指示にエントロピー符号化を行う手段と、
を含むことを特徴とする装置。
前記第二のインター符号化モードにおいて、前記エンハンスメントレイヤの残差から生成された動き情報は、現在のエンハンスメントレイヤの残差と少なくとも１つの前のエンハンスメントレイヤの残差とから生成される、
請求項７記載の装置。
ベースレイヤがエンハンスメントレイヤよりも低い色解像度を有するベースレイヤとエンハンスメントレイヤとを有するビデオデータを復号化する装置であって、
エントロピー復号化を行い、量子化及び変換されたエンハンスメントレイヤ情報及びベースレイヤ情報並びに復号化モードの指示を取得する手段と、
取得されたエンハンスメントレイヤ及びベースレイヤ情報に逆量子化及び逆変換を行う手段と、
逆量子化及び逆変換されたベースレイヤ情報をアップサンプリングする手段と、ビット深度の値が増加され、予測されたエンハンスメントレイヤ情報が得られ、
再構成されたエンハンスメントレイヤビデオ情報を、前記予測されたエンハンスメントレイヤ情報と逆量子化及び逆変換されたエンハンスメントレイヤ情報とから再構成する手段と、
復号化モードを選択する手段とを備え、取得された復号化モードの指示に従うマクロブロックレベルに対する復号化モードが選択され、
可能性のある復号化モードは、インター符号化されたエンハンスメントレイヤ情報の場合に、逆量子化及び逆変換されたエンハンスメントレイヤ情報が前記エンハンスメントレイヤ情報から抽出された動き情報を使用して復号化される第一のモードと、インター符号化されたエンハンスメントレイヤ情報の場合に、逆量子化及び逆変換されたエンハンスメントレイヤ情報が前記ベースレイヤ情報から抽出され、次いでアップサンプリングされた動き情報を使用して復号化される第二のモードと、イントラ符号化されたエンハンスメントレイヤの情報の場合に、前記逆量子化及び逆変換されたエンハンスメントレイヤの情報からエンハンスメントレイヤの残差が得られる第三のモードと、イントラ符号化されたエンハンスメントレイヤの情報の場合に、前記エンハンスメントレイヤの残差を得るために前記逆量子化及び逆変換されたエンハンスメントレイヤの情報がイントラ復号化される第四のモードとを含む、
ことを特徴とする装置。
前記アップサンプリングする手段は、画素数を増加する手段と、それぞれの画素が有することができる値の数を増加する手段とを有する、
請求項９記載の装置。