JP2015536119A

JP2015536119A - マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置

Info

Publication number: JP2015536119A
Application number: JP2015536667A
Authority: JP
Inventors: キム、キョン、ヘ; チョ、ヒョン、ホ; ナム、ジョン、ハク; シム、ドン、ギュ
Original assignee: インテレクチュアルディスカバリーカンパニーリミテッド
Priority date: 2012-10-09
Filing date: 2012-12-27
Publication date: 2015-12-17
Also published as: WO2014058110A1; US20150281732A1; KR20140048805A; US9961363B2; US10219001B2; CN108540809A; CN104782129A; US20180213252A1

Abstract

マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測方法に関する技術が開示される。マルチレイヤ動画のレイヤ間予測方法は、基準レイヤの予測符号化によって、基準レイヤ内に復元ピクチャを生成するステップと、拡張レイヤ内の現在のピクチャを符号化または復号化するために、拡張レイヤ内の現在のピクチャに対応する時間に、基準レイヤ内の復元ピクチャが存在するかどうか判定するステップと、拡張レイヤ内のピクチャまたは基準レイヤ内の復元ピクチャに基づいてレイヤ間予測を行うステップと、を備える。これにより、拡張レイヤの符号化または復号化を考えると、基準レイヤ内の同じビューからの復元ピクチャがない場合に、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に用いることにより、有効なレイヤ間予測を行うことができる。

Description

本発明は、概して、動画の符号化／復号化に関し、特に、マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置に関する。

近年、ワイヤレスネットワークおよびインターネットの急速な発達により、様々なマルチメディアサービスが稼動されている。特に、圧縮符号化技術のみが開発されていた過去とは異なり、放送通信コンバージェンスネットワークの登場により、マルチメディアが作成され、送信され、消費される様々な環境下でサービス品質（ＱｏＳ:Quality of Service）を保証するために動画符号化のスケーラビリティを提供するための標準化タスクが行われている。

スケーラブルビデオコード化（ＳＶＣ：Scalable Video Coding）技術は、様々な端末およびネットワーク環境に応じて、１つの圧縮ビットストリームから、異なる解像度（空間的）、品質、およびフレームレート（時間的）を有する画像を、適応的に再構築するように構成される。ＳＶＣは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の高い圧縮率で、様々な種類のマルチメディアデバイスに適応的に対処するために、階層を割り当てられたビデオコーデックであり、ジョイントビデオチーム（ＪＶＴ）が、Ｈ．２６４／ＭＰＥＧ−４ＰＡＲＴ１０の改正として、ＳＶＣの標準化を行った。

また、従来のＨ．２６４／ＡＶＣの圧縮効率の２倍を超える圧縮効率を有するとされる次世代の動画圧縮規格技術として、ＨＥＶＣ（High Efficiency Video Coding）が標準化されている。

ＨＥＶＣは、四分木構造を有するコーディングユニット（ＣＵ）と、予測ユニット（ＰＵ：Prediction Unit）と、変換ユニット（ＴＵ：Transform Unit）とを規定し、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）または非ブロック化フィルタなどの追加のループ内フィルタを使用する。また、既存のイントラ予測およびインター予測が改善され、これにより、圧縮符号化効率が向上している。

一方、最近の標準化ＨＥＶＣの拡張版として、ＳＶＣも標準化されている。

従来のＳＶＣ技術は、レイヤ間予測において、基準レイヤと異なる時間および空間解像度を有する拡張レイヤを符号化する際に、基準レイヤ内のピクチャを参照できない拡張レイヤ内のピクチャが存在する点で問題があり、これは、符号化すべき拡張レイヤ内のピクチャの時間的位置と同じ時間的位置に、基準レイヤ内の再構築ピクチャが存在しないためである。

上述の問題を解決するために本発明の目的は、マルチレイヤ動画を符号化または復号化する際に、基準ピクチャを適応的に判定することにより、レイヤ間予測を行うための方法を提供することである。

上述の問題を解決する本発明の別の目的は、マルチレイヤ動画を符号化または復号化する際に、基準ピクチャを適応的に判定することにより、レイヤ間予測を行うための装置を提供することである。

上記目的を達成するために本発明の一態様によれば、基準レイヤの予測符号化によって基準レイヤ内に再構築ピクチャを生成するステップと、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在するかどうか判定して、拡張レイヤ内の現在のピクチャを符号化または復号化するステップと、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行うステップと、を備えるマルチレイヤ動画のレイヤ間予測方法が提供される。

レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。

レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。

レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行うステップを備えてもよい。

レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在する場合に、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。

上記課題を達成するために本発明の別の一態様によれば、基準レイヤ内の再構築ピクチャであって、基準レイヤの予測符号化によって生成される再構築ピクチャを保存するためのフレームバッファと、拡張レイヤ内の現在のピクチャを符号化または復号化するために、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行う予測ユニットと、を備えるマルチレイヤ動画のレイヤ間予測装置が提供される。

レイヤ間予測装置は、拡張レイヤの解像度に基づいて、基準レイヤ内の再構築ピクチャを補間するための補間ユニットをさらに備えてもよい。

本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置が使用される場合、拡張レイヤの時間的位置と同じ時間的位置に基準レイヤ内の再構築ピクチャが存在しない場合であっても、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に使用し、これにより、効果的なレイヤ間予測を行える。

また、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に使用するレイヤ間予測手段によって、符号化および復号化の効率を高めることが可能である。

図１は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う符号化装置を示すブロック図である。図２は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。図３は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。図４は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。図５は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。図６は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。図７は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。図８は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示すフローチャートである。図９は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測に用いられる構文要素を示す図である。図１０は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う復号化装置を示すブロック図である。

本発明は、様々に変更してもよく、また様々な実施形態を有してもよく、以下、添付の図面を参照して、具体的な実施形態を詳細に説明する。しかし、これらの実施形態は、特定の開示形態に本発明を限定することを意図せず、かつ実施形態は、本発明の趣旨および範囲に含まれる全ての変更、均等物または置換物を含むことを理解すべきである。以下の図面の説明において、同一または類似の要素を示すために、同じ参照符号が用いられる。

”第１”、”第２”、”Ａ”、および”Ｂ”などの用語は、様々な構成要素を述べるために用いてもよいが、これらの構成要素は、これらの用語によって限定されるべきではない。用語は、単に、１つの構成要素を他の構成要素から区別するために用いられる。例えば、本発明の範囲に基づく範囲から逸脱することなしに、第１の構成要素を、第２の構成要素として指定してもよく、同様に、第２の構成要素を、第１の構成要素として指定してもよい。”および／または”という用語は、複数の関連する説明項目の組み合わせ、または複数の関連する説明項目のいずれかを含む。

明細書全体を通して、第１の構成要素が第２の構成要素に”接続”または”結合”されることを示す表現は、他の何らかの構成要素をその間に介在させて、第１の構成要素が第２の構成要素に接続または結合される場合や、第１の構成要素が第２の構成要素に直接接続または結合される場合を含んでもよいことを理解すべきである。反対に、第１の構成要素が第２の構成要素に”直接接続”または”直接結合”されることを示す表現は、第１および第２の構成要素の間に構成要素が介在されないことを意味すると理解すべきである。

本明細書にて用いられる用語は、単に具体的な実施形態を説明するために用いられ、本発明を限定することは意図しない。単数の表現は、文脈内において反対の説明が具体的に指摘されない限り、複数の表現を含む。本明細書においては、”含む”または”有する”などの用語は、その特徴、数、ステップ、動作、構成要素、部品、または組み合わせが存在することを示すことを単に意図しており、その１つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、または組み合わせが存在または追加される可能性を除外することは意図しないと理解すべきである。

異なって定義されない限り、技術的または科学的用語を含む、ここに用いられる全ての用語は、本発明の属する技術分野の当業者によって通常理解される用語と同じ意味を有する。一般的に用いられる辞書に定義される用語と同一の用語は、関連技術の文脈上の意味と同じ意味を有すると解釈されるべきであり、これらが本明細書に明確に定義されない限り、理想的または排他的に形式的な意味としては解釈されない。

以下、後述する動画符号化装置および動画復号化装置は、パーソナルコンピュータ（ＰＣ）、ノートパソコン、携帯情報端末（ＰＤＡ）、ポータブルマルチメディアプレーヤー（ＰＭＰ）、プレイステーションポータブル（ＰＳＰ）、ワイヤレス通信端末、スマートフォンまたは様々な類似の種類の装置などのユーザー端末、ＴＶアプリケーションサーバまたはサービスサーバなどのサーバ端末、あるいは、通信装置、例えば、有線／無線通信ネットワーク上で通信を行うための通信モデム、画像を符号化または復号化するため、あるいは符号化または復号化のための画像間または画像内予測を行うのに必要な様々な種類のプログラムおよびデータを格納するためのメモリ、プログラムを実行し、かつ作業および制御を行うためのマイクロプロセッサ等を含む様々な種類の装置のいずれかであってもよい。

また、動画符号化装置によりビットストリーム内で符号化される画像は、インターネット、短距離無線通信ネットワーク、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、Ｗｉｂｒｏネットワーク、または携帯通信ネットワークなどの有線／無線通信ネットワーク上で、あるいは、ケーブルまたはユニバーサルシリアルバス（ＵＳＢ）などの様々な通信インターフェイスを通して、リアルタイムまたは非リアルタイムで、動画復号化装置に送信され、これにより、符号化された画像は、動画復号化装置によって復号化されてもよく、かつオリジナル画像として再構築され、再生されてもよい。

典型的には、動画は、一連のピクチャで構成されていてもよく、各ピクチャは、フレームまたはブロックなどの所定の領域に分割されていてもよい。ピクチャの領域をブロックに分割する場合、分割されたブロックは、コード化方法に従って、主に、イントラブロックおよびインターブロックに分類してもよい。イントラブロックは、イントラ予測コードを用いて符号化されたブロックを示す。ここで、イントラ予測コードは、現在符号化されている現在のピクチャ内で、すでに符号化および復号化され次いで再構築され、ブロック内の画素が用いられている現在のブロック内で画素を予測することにより、予測ブロックが生成され、予測ブロックの画素値と現在のブロックの画素値との差異が符号化される方式を示すものである。また、インターブロックは、インター予測コードを用いて符号化されたブロックを示す。ここで、インター予測コードは、１つまたは複数の前または後のピクチャに基づいて現在のピクチャ内の現在のブロックを予測することにより、予測ブロックが生成され、予測ブロックの画素値と現在のブロックの画素値と差異が符号化される方式を示すものである。この場合、現在のピクチャを符号化または復号化する際に参照されるフレームは、基準フレームと呼ばれる。また、本実施形態が属する技術分野の当業者は、以下に説明される用語”ピクチャ”を、ピクチャと同じ意味を有する別の用語、画像またはフレームなどと置き換え、かつ共に用いてもよいことを理解するであろう。さらに、本実施形態が属する技術分野の当業者は、本発明で言及されるピクチャは再構築ピクチャを意味することを理解するであろう。

以下、本発明の好適な実施形態を、添付の図面を参照して詳細に説明する。

図１は、本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測を行う符号化装置を示すブロック図である。

図１を参照すると、本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測を行う装置は、基準レイヤ用の符号化装置１００と、拡張レイヤ用の符号化装置２００と、を含んでよい。また、レイヤ間予測装置は、マルチプレキサ３２０と、補間ユニット３１０と、を含んでもよい。

符号化装置１００または２００の各々は、減算ユニット１１０または２１０と、変換ユニット１２０または２２０と、量子化ユニット１３０または２３０と、逆量子化ユニット１３１または２３１と、逆変換ユニット１２１または２２１と、エントロピー符号化ユニット１４０または２４０と、加算ユニット１５０または２５０と、ループ内フィルタユニット１６０または２６０と、フレームメモリ１７０または２７０と、イントラ予測ユニット１８０または２８０と、動き補償ユニット１９０または２９０と、を含む。

減算ユニット１１０または２１０は、イントラ予測またはインター予測によって生成された予測画像を、提供された入力画像である符号化対象画像（現在の画像）から減算し、次いで、現在画像と予測画像との間に残像を生成する。

変換ユニット１２０または２２０は、減算ユニット１１０または２１０により生成された残像を、空間領域から周波数領域に変換するように機能する。ここで、変換ユニット１２０または２２０は、空間軸上の画像信号を、周波数軸に変換するために、アダマール変換、離散コサイン変換、または離散サイン変換などの技術を用いて、残像を周波数領域に変換してよい。

量子化ユニット１３０または２３０は、変換ユニット１２０または２２０により提供される変換データ（周波数係数）に対して量子化を行う。すなわち、量子化ユニット１３０または２３０は、周波数係数を量子化ステップサイズで分けることにより、変換ユニット１２０または２２０によって変換された、いくつかのデータである周波数係数を概算し、これにより、量子化結果値を計算する。

エントロピー符号化ユニット１４０または２４０は、量子化ユニット１３０または２３０により計算された量子化結果値をエントロピー符号化することにより、ビットストリームを生成する。また、エントロピー符号化ユニット１４０または２４０は、コンテキスト適応可変長コード化（ＣＡＶＬＣ：Context-Adaptive Variable Length Coding）またはコンテキスト適応バイナリ算術コード化（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）技術を用いた量子化ユニット１３０または２３０により計算された量子化結果値をエントロピー符号化してもよく、また、量子化結果値に加えて、画像の復号化に必要な情報をエントロピー符号化してもよい。

逆量子化ユニット１３１または２３１は、量子化ユニット１３０または２３０により計算された量子化結果値を逆量子化する。すなわち、逆量子化ユニット１３１または２３１は、量子化結果値から、周波数領域内の値（周波数係数）を再構築する。

逆変換ユニット１２１または２２１は、逆量子化ユニット１３１または２３１により供給された周波数領域値（周波数係数）を、周波数領域から空間領域に変換することにより残像を再構築する。加算ユニット１５０または２５０は、逆変換ユニット１２１または２２１によって再構築された残像を、イントラ予測またはインター予測によって生成された予測画像に加算することにより、入力画像の再構築画像を生成し、次いで、再構築画像をフレームメモリ１７０または２７０に保存する。

フレームメモリ１７０は、基準レイヤの予測コード化によって生成される、基準レイヤ内の再構築ピクチャを保存してもよい。また、フレームメモリ２７０は、拡張レイヤの予測コード化によって生成される、拡張レイヤ内の再構築ピクチャを保存してよく、かつ、基準レイヤ内の再構築ピクチャまたは基準レイヤ内の再構築ピクチャの補間ピクチャを保存してもよい。

予測ユニットは、イントラ予測ユニット１８０または２８０と、動き補償ユニット１９０または２９０とを含んでよく、次いで、イントラ予測およびインター予測を行ってもよい。

イントラ予測ユニット１８０または２８０はイントラ予測を行い、動き補償ユニット１９０または２９０は、インター予測のための動きベクトルを補償してよい。

本発明の実施形態に係る予測ユニットは、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャを参照してレイヤ間予測を行って、拡張レイヤ内の現在のピクチャを符号化してよい。ここで、レイヤ間予測は、拡張レイヤを符号化または復号化する際に、基準レイヤ内の再構築ピクチャに基づいてイントラ予測またはインター予測を行うことを意味してよい。

まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間的位置に存在する場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間（時間的位置）の再構築ピクチャに基づいてレイヤ間予測を行ってよい。

特に、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて、レイヤ間予測を行ってよい。

また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行ってもよい。

さらに、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行ってもよい。

再構築画像にフィルタリングを行うループ内フィルタユニット１６０または２６０は、非ブロック化フィルタ（ＤＦ：Deblocking Filter）と、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）フィルタと、適応ループフィルタ（ＡＬＦ：Adaptive Loop Filter）と、を含んでよい。

補間ユニット３１０は、基準レイヤ内の再構築ピクチャを補間する。すなわち、補間ユニット３１０は、拡張レイヤの空間分解能に従って、基準レイヤ内の再構築ピクチャを補間してもよい。

マルチプレキサ３２０は、基準レイヤおよび拡張レイヤから符号化ビットストリームを受信し、その符号化ビットストリームを出力する。

図２は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。

図２を参照すると、拡張レイヤ内のピクチャは、Ｉ_Ｅ０２０、Ｉ_Ｅ１２１、Ｉ_Ｅ２２２、Ｉ_Ｅ３２３、Ｉ_Ｅ４２４等により表されてよい。また、基準レイヤ内の再構築ピクチャは、Ｉ_Ｂ０２５、Ｉ_Ｂ０２６、Ｉ_Ｂ０２７等により表されてよい。

基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０２５、Ｉ_Ｂ２２６、およびＩ_Ｂ４２７は、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ０２０、Ｉ_Ｅ２２２、およびＩ_Ｅ４２４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ１２１およびＩ_Ｅ３２３に対応する時間には存在しなくてもよい。

すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤの現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の対応する再構築ピクチャに基づいて符号化または復号化されてよい。ここで、現在のピクチャは、符号化または復号化される対象ピクチャを示してもよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ０２０、Ｉ_Ｅ２２２またはＩ_Ｅ４２４である場合には、現在のピクチャＩ_Ｅ０２０、Ｉ_Ｅ２２２またはＩ_Ｅ４２４は、基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０２５、Ｉ_Ｂ２２６、またはＩ_Ｂ４２７をそれぞれ基準にして符号化または復号化されてよい。

しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合には、拡張レイヤ内の現在のピクチャは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて符号化または復号化されてよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ１２１である場合には、現在のピクチャＩ_Ｅ１２１は、Ｉ_Ｅ０２０またはＩ_Ｅ２２２に基づいて符号化または復号化されてよい。

また、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ３２３である場合には、現在のピクチャＩ_Ｅ３２３は、Ｉ_Ｅ２２２またはＩ_Ｅ４２４に基づいて符号化または復号化されてよい。

すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、同じレイヤ（拡張レイヤ）内のピクチャに基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。

図３は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。

図３を参照すると、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、拡張レイヤ内の現在のピクチャ用の基準リストは、拡張レイヤ内における現在のピクチャの前または後のピクチャを含んでよい。

例えば、拡張レイヤ内の現在のピクチャがＩ_Ｅ１２１である場合には、ピクチャＩ_Ｅ０２０またはＩ_Ｅ２２２が基準リストに含まれてよい。

図４は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。

図４を参照すると、拡張レイヤ内のピクチャは、Ｉ_Ｅ０４０、Ｉ_Ｅ１４１、Ｉ_Ｅ２４２、Ｉ_Ｅ３４３、Ｉ_Ｅ４４４等により表されてよい。また、拡張レイヤ内の再構築ピクチャは、Ｉ_Ｂ０４５、Ｉ_Ｂ２４６、Ｉ_Ｂ４４７等により表されてよい。

基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０４５、Ｉ_Ｂ２４６、およびＩ_Ｂ４４７は、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ０４０、Ｉ_Ｅ２４２、およびＩ_Ｅ４４４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ１４１およびＩ_Ｅ３４３に対応する時間に存在しなくてもよい。

すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の対応する再構築ピクチャに基づいて符号化または復号化されてよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ０４０、Ｉ_Ｅ２４２またはＩ_Ｅ４４４である場合には、現在のピクチャＩ_Ｅ０４０、Ｉ_Ｅ２４２またはＩ_Ｅ４４４は、基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０４５、Ｉ_Ｂ２４６またはＩ_Ｂ４４７をそれぞれ基準にして符号化または復号化されてよい。

しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、現在のピクチャは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて符号化または復号化されてよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ１４１である場合には、現在のピクチャＩ_Ｅ１４１は、ピクチャＩ_Ｂ０４５またはＩ_Ｂ２４６に基づいて符号化または復号化されてよい。

また、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ３４３である場合には、現在のピクチャＩ_Ｅ３４３は、ピクチャＩ_Ｂ２４６またはＩ_Ｂ４４７に基づいて符号化または復号化されてよい。

すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。

図５は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。

図５を参照すると、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、拡張レイヤ内の現在のピクチャ用の基準リストは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャを含んでよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ１４１である場合には、ピクチャＩ_Ｂ０４５またはＩ_Ｂ２４６は、基準リストに含まれてよい。

図６は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。

図６を参照すると、拡張レイヤ内のピクチャは、Ｉ_Ｅ０６０、Ｉ_Ｅ１６１、Ｉ_Ｅ２６２、Ｉ_Ｅ３６３、Ｉ_Ｅ４６４等により表されてよい。また、拡張レイヤ内の再構築ピクチャは、Ｉ_Ｂ０６５、Ｉ_Ｂ２６６、Ｉ_Ｂ４６７等により表されてよい。

基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０６５、Ｉ_Ｂ２６６、およびＩ_Ｂ４６７は、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ０６０、Ｉ_Ｅ２６２、およびＩ_Ｅ４６４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩ_Ｅ１６１、およびＩ_Ｅ３６３に対応する時間に存在しなくてもよい。

すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の再構築ピクチャに基づいて符号化または復号化されてよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ０６０、Ｉ_Ｅ２６２またはＩ_Ｅ４６４である場合には、現在のピクチャＩ_Ｅ０６０、Ｉ_Ｅ２６２またはＩ_Ｅ４６４は、基準レイヤ内の再構築ピクチャ、すなわちＩ_Ｂ０６５、Ｉ_Ｂ２６６、またはＩ_Ｂ４６７をそれぞれ基準にして符号化または復号化されてよい。

しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、現在のピクチャは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて符号化または復号化されてよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ１６１である場合には、Ｉ_Ｅ１６１は、ピクチャＩ_Ｅ０６０またはＩ_Ｅ２６２と、Ｉ_Ｂ０６５またはＩ_Ｂ２６６とに基づいて符号化または復号化されてよい。

また、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ３６３である場合には、Ｉ_Ｅ３６３は、ピクチャＩ_Ｅ２６２またはＩ_Ｅ４６４と、Ｉ_Ｂ２６６またはＩ_Ｂ４６７とに基づいて符号化または復号化されてよい。

すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。

図７は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。

図７を参照すると、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャが存在しない場合に、基準リストは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、を含んでよい。

例えば、拡張レイヤ内の現在のピクチャが、Ｉ_Ｅ１４１である場合には、ピクチャＩ_Ｅ０６０またはＩ_Ｅ２６２と、ピクチャＩ_Ｂ０６５またはＩ_Ｂ２６６とは、基準リストに含まれてよい。

図８は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示すフローチャートである。

図８を参照すると、基準レイヤ内の再構築ピクチャは、基準レイヤの予測符号化によって生成され、基準レイヤ内の再構築ピクチャが拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうか判定して、拡張レイヤ内の現在のピクチャを符号化または復号化してよい。

また、レイヤ間予測は、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいて行われてもよい。

まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、レイヤ間予測は、拡張レイヤ内の現在のピクチャに対応する時間に存在する基準レイヤ内の再構築ピクチャを用いて、拡張レイヤ内の現在のピクチャに対して行われてよい。

一方、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合には、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて行われてよい。

また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて行われてよい。

さらに、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて行われてもよい。

例えば、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうかを判定してよい（Ｓ８１０）。すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャの時間的位置と同じ時間的位置に存在するかどうか判定してよい。

基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在すると判定された場合に、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャを用いて行われてよい（Ｓ８２０）。

基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しないと判定された場合には、基準ピクチャとして、拡張レイヤ内における現在のピクチャの時間と異なる時間のピクチャを用いるかどうかを示す構文要素であるｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇが復号化される。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たすかどうか判定してよい（Ｓ８３０）。ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たさない場合、イントラ予測は、拡張レイヤ内の現在のピクチャに対して行われてよい（Ｓ８４０）。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たす場合、構文要素ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅの値に応じて、どのピクチャを用いてレイヤ間予測を行うか判定してよい。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅの値が０か１かを、個別に判定してよい（Ｓ８５０，Ｓ８７０）。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝０を満たす場合、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャを参照して行われてよい（Ｓ８６０）。すなわち、イントラ予測またはインター予測が、同じレイヤの再構築ピクチャを用いて行われてよい。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝１を満たす場合、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて行われてよい（Ｓ８８０）。

ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝１を満たさない場合（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝２の場合）、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて行われてよい（Ｓ８９０）。

図９は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測に用いられる構文要素を示す図である。

図９を参照すると、本発明の実施形態に係る構文要素である、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇを用いることにより、異なる時間のピクチャを基準ピクチャとして使用するかどうかを判定することが可能であり、かつｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅを用いることにより、どのピクチャを基準ピクチャとして使用するかを判定することも可能である。

図１０は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う復号化装置を示すブロック図である。

図１０を参照すると、本発明の実施形態に係る復号化装置は、基準レイヤ用の復号化装置４００と、拡張レイヤ用の復号化装置５００とを含む。さらに、復号化装置は、補間ユニット６１０を含む。

復号化装置４００または５００の各々は、エントロピー復号化ユニット４１０または５１０と、逆量子化ユニット４２０または５２０と、逆変換ユニット４３０または５３０と、加算ユニット４４０または５４０と、ループ内フィルタユニット４５０または５５０と、フレームメモリ４６０または５６０と、イントラ予測ユニット４７０または５７０と、動き補償ユニット４８０または５８０と、を含む。復号化装置４００または５００の構成要素は、図１の復号化装置の構成要素にそれぞれ対応するものと理解してもよく、よって、その詳細な説明は省略する。

予測ユニットは、イントラ予測ユニット４７０または５７０と、動き補償ユニット４８０または５８０と、を含んで、イントラ予測およびインター予測を行ってよい。

本発明の実施形態に係る復号化装置の予測ユニットは、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行って、拡張レイヤ内の現在のピクチャを符号化してよい。

まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、予測ユニットは、拡張レイヤ内の現在のピクチャに対応する時間の、基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行ってよい。

特に、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行ってよい。

また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて、レイヤ間予測を行ってもよい。

本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測方法および装置は、拡張レイヤの符号化または復号化の際に、現在のピクチャと同じ時間的位置に、基準レイヤ内の再構築ピクチャが存在しない場合であっても、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に利用することにより、レイヤ間予測を有効に行うことが可能であり、これにより、有効なレイヤ間予測によって、符号化効率を向上させる。

また、本発明の実施形態に係る上述の符号化装置および復号化装置の個別の構成要素は、説明の便宜のため、それぞれの構成要素として別々に列記され、かつ含まれるものとして説明したが、それぞれの構成要素の少なくとも２つを、１つの構成要素に組み合わせるか、または１つの構成要素を複数の構成要素に分割して、単独または組み合わされたこれらの構成要素により機能が行われる方式を実施してもよい。個別の構成要素が組み合わされまたは分離される、それらの実施形態も、本発明の重要な特徴から逸脱することなく、本発明の範囲に含めてもよい。

また、本発明に係る符号化装置および復号化装置は、コンピュータ読み取り可能な記憶媒体に保存してもよく、かつコンピュータ読み取り可能なプログラムまたはコードとして実施してもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータシステムによって読み取り可能なデータが保存される、すべての種類の記録装置を含む。また、コンピュータ読み取り可能な記憶媒体は、ネットワーク上で接続されたコンピュータシステムにまたがって配布してもよく、コンピュータ読み取り可能なプログラムまたはコードを分布する方法で保存および実行してもよい。

本発明は、本発明の好適な実施形態を参照して説明したが、添付される特許請求の範囲に述べられる本発明の趣旨および範囲から逸脱することなしに、様々な方法で、本発明を変更または修正可能であることを、当業者は理解するであろう。

Claims

マルチレイヤ動画の符号化／復号化における前記マルチレイヤ動画のレイヤ間予測方法であって、
基準レイヤの予測符号化によって前記基準レイヤ内に再構築ピクチャを生成するステップと、
前記基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうか判定して、前記拡張レイヤ内の前記現在のピクチャを符号化または復号化するステップと、
前記拡張レイヤ内のピクチャまたは前記基準レイヤ内の前記再構築ピクチャに基づいてレイヤ間予測を行うステップと、
を備えるレイヤ間予測方法。
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャと、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の再構築ピクチャが存在する場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
マルチレイヤ動画を符号化／復号化する、前記マルチレイヤ動画のレイヤ間予測装置であって、
基準レイヤ内の再構築ピクチャであって、前記基準レイヤの予測符号化によって生成される再構築ピクチャを保存するためのフレームバッファと、
拡張レイヤ内の現在のピクチャを符号化または復号化するために、前記拡張レイヤ内のピクチャまたは前記基準レイヤ内の前記再構築ピクチャに基づいて、レイヤ間予測を行うための予測ユニットと、
を備えるレイヤ間予測装置。
前記拡張レイヤの解像度に基づいて、前記基準レイヤ内の前記再構築ピクチャを補間するための補間ユニットをさらに備える、請求項６に記載のレイヤ間予測装置。
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャと、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在する場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。