JP5055354B2 - ビデオ信号のデコーディング／エンコーディング方法及び装置 - Google Patents

Description

本発明は、ビデオ信号のコーディングに関する技術である。

圧縮エンコーディングとは、デジタル化した情報を通信回線を通じて転送したり、保存媒体に適合した形態で保存する一連の信号処理技術のことを意味する。圧縮エンコーディングの対象には、音声、映像、文字などが存在し、特に映像を対象にして圧縮エンコーディングを行う技術をビデオ映像圧縮と呼ぶ。ビデオ映像の一般的な特徴は、空間的重複性、時間的重複性を有しているという点にある。

本発明は、ビデオ信号のコーディング効率を上げることに関する。

本発明の目的は、ピクチャの視点を識別できる視点情報を定義することによって、ビデオ信号を效率的にコーディングすることにある。

本発明の他の目的は、ブロック間または視点間の相関関係を效果的に用いてビデオ信号のコーディング効率を上げることにある。

本発明のさらに他の目的は、多視点映像において、視点間の輝度差を效率的に補償することにある。

上記目的を達成するために、本発明は、現在ブロックの輝度補償を行うか否かを確認する段階と、現在ブロックに対して輝度補償を行う段階と、該輝度補償を考慮して動き補償を行う段階を有し、輝度補償のための予測値は、現在ブロックの隣接ブロックから獲得することを特徴とするビデオ信号デコーディング方法を提供する。

本発明では、現在ブロックの輝度差分値を隣接ブロックの情報を用いて予測し、その輝度差分レジデュアルのみを転送することによって、輝度補償のために転送しなければならない情報を最小化できる。また、現在ブロックの輝度差分値を予測する時に、現在ブロックと隣接ブロックの参照番号が一致するか否かを確認することによってより正確な予測を行うことができる。なお、現在ブロックの輝度補償を行うか否かを示すフラグ情報も予測し、その差値のみを転送することによって、転送しなければならない情報を最小化でき、同様に、現在ブロックと隣接ブロックの参照番号が一致するか否かも確認することによって、より正確な予測を行うことができる。このような本発明によれば、ブロック間または視点間の相関関係を用いることによって効率的なコーディングが可能になる。

ビデオ信号データを圧縮エンコーディングする技術は、空間的重複性、時間的重複性、スケーラブルな重複性、視点間に存在する重複性を考慮している。また、このような圧縮エンコーディング過程で視点間に存在する相互重複性を考慮して圧縮コーディングをすることができる。視点間重複性を考慮する圧縮コーディングに関する技術は、本発明の実施例に過ぎず、本発明の技術的思想は、時間的重複性、スケーラブルな重複性などにも適用されることができる。

ビデオ信号のビット列構成について説明すると、動画エンコーディング処理それ自体を扱うＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ；ビデオコーディングレイヤ）と、エンコーディングされた情報を転送し保存する下位システムとの間に在るＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ；ネットワーク抽象化レイヤ）との分離したレイヤ構造と定義されている。エンコーディング過程の出力はＶＣＬデータで、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ；動画圧縮の結果データ）を含む。

ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰとの２部分から構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位の種類を示す識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が含まれている。ＲＢＳＰには、圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの末尾にＲＢＳＰ末尾ビット（ＲＢＳＰ ｔｒａｉｌｉｎｇ ｂｉｔ）を添加する。このようなＮＡＬ単位の種類にはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ；瞬間デコーディングリフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；シーケンスパラメータセット）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ピクチャパラメータセット）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ；補充的付加情報）などがある。

また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、デコーダは該当のプロファイルとレベルで定められた制約を満たさなければならない。このようにデコーダがどんな圧縮映像の範囲まで対応できるかに関する機能またはパラメータを示すためにプロファイル及びレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームの基礎を形成しているプロファイルを示すフラグのことを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であればベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。このプロファイル識別子は、シーケンスパラメータセットに含まれることができる。

したがって、多視点（ｍｕｌｔｉ−ｖｉｅｗ）映像を扱うためには、入力されるビットストリームが多視点プロファイルに関するものか否かを識別し、多視点プロファイルと識別されると、多視点に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイルとは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードのことをいう。ＭＶＣは、既存ＡＶＣ技術への追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的になり得る。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時に、多視点映像に関する情報を追加するとエンコーディング効率を上げることができる。

シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体のエンコーディングに亘る情報が含まれているヘッダ情報のことをいう。圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先にデコーダに到着すべきである。結局、シーケンスパラメータセットＲＢＳＰは、動映像圧縮の結果データに対するヘッダ情報の役割を果たす。ビットストリームが入力されると、まずプロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別する。したがって、入力されるビットストリームが多視点プロファイルに関するものか否かを判断する（例えば、「If(profile_idc==MULTI_VIEW_PROFILE)」）部分をシンタックス上に追加することによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合にのみ様々な属性情報を追加できることとなる。例えば、全体視点の個数、視点間ピクチャグループである場合の視点間参照ピクチャの個数（Ｌｉｓｔ０／１）、非視点間ピクチャグループである場合の視点間参照ピクチャの個数（Ｌｉｓｔ０／１）などを追加できる。また、復号ピクチャバッファでは参照ピクチャリストを生成及び管理する目的で視点に関する情報を用いることができる。

図１は、本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。

このデコーディング装置は、大きく、パージング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００などを含む。そして、復号ピクチャバッファ部６００は、大きく、参照ピクチャ保存部６１０、参照ピクチャリスト生成部６２０、参照ピクチャ管理部６５０などを含み、参照ピクチャリスト生成部６２０は、変数誘導部６２５、参照ピクチャリスト初期化部６３０、参照ピクチャリスト再配列部６４０を含む。そして、インター予測部７００は、動き補償部７１０、輝度補償部７２０、輝度差分予測部７３０、視点合成予測部７４０などを含む。

パージング部１００では、受信したビデオ映像を復号すべくＮＡＬ単位にパージングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報が含まれることができる。ＭＶＣは、既存ＡＶＣ技術への追加技術であるから、無条件に追加するよりは、ＭＶＣビットストリームである場合にのみ様々な属性情報を追加することがより効率的になり得る。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域でＭＶＣビットストリームか否かを識別できるフラグ情報を追加することができる。このフラグ情報によって、入力されたビットストリームが多視点映像コーディングされたビットストリームである場合にのみ、多視点映像に関する属性情報を追加することができる。この属性情報は、例えば、時間的レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）情報、視点レベル（ｖｉｅｗ ｌｅｖｅｌ）情報、視点間ピクチャグループ識別情報、視点識別（ｖｉｅｗ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報などを含むことができる。これについて、図２を参照しつつ詳細に説明する。

図２は、本発明が適用される実施例で、多視点映像コーディングされたビットストリームに追加されることができる多視点映像に関する属性情報を示す図である。以下、多視点映像に関する属性情報について具体的に説明する。

まず、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう（ａ）。このような時間的レベル情報を通じて使用者に様々な時間帯の映像を提供可能になる。

視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう（ｂ）。多視点ビデオ映像では、使用者に様々な時間及び視点の映像を提供できるようにするために時間及び視点に対するレベルを定義する必要がある。このようにレベル情報を定義する場合、時間及び視点に対する拡張性（ｓｃａｌａｂｉｌｉｔｙ）を用いることができることとなる。したがって、使用者は所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。このレベル情報は、その基準条件によって様々な方法で異なって設定されることができる。例えば、カメラの位置によって異なって設定されたり、カメラの配列形態によって異なって設定されたりすることができる。また、このレベル情報は、視点間参照情報を考慮して決定されることもできるが、例えば、視点間ピクチャグループがＩピクチャである視点にはレベルを０で割り当て、視点間ピクチャグループがＰピクチャである視点にはレベルを１で割り当て、視点間ピクチャグループがＢピクチャである視点にはレベルを２で割り当てることができる。また、このレベル情報は、特別な基準によらずに任意に設定されても良い。視点レベル情報については図４及び図５で詳細に説明する。

視点間ピクチャグループ識別情報とは、現在ＮＡＬユニットのコーディングされたピクチャが視点間ピクチャグループか否かを識別する情報のことをいう（ｃ）。そして、視点間ピクチャグループとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照するエンコーディングされたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しないエンコーディングされたピクチャのことをいう。多視点映像のデコーディング過程において、視点間のランダムアクセスは可能になり得る。また、視点間予測のためには視点間参照情報が必要となるが、この視点間参照情報を知るために視点間ピクチャグループ識別情報を用いても良い。また、参照ピクチャリストを生成する時に視点間予測のための参照ピクチャを追加するために視点間ピクチャグループ識別情報が用いられても良い。そして、追加された視点間予測のための参照ピクチャを管理するためにも用いられることができる。例えば、参照ピクチャを視点間ピクチャグループと非視点間ピクチャグループとに分け、視点間予測を行う時に用いられない参照ピクチャは使用しないというマーキングをすることができる。また、視点間ピクチャグループ識別情報は仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）でも適用されることができる。この視点間ピクチャグループ識別情報については図６で詳細に説明するものとする。

また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャとを区別するための情報のことをいう（ｄ）。ビデオ映像信号がコーディングされる時に、それぞれのピクチャを識別するためにＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）とｆｒａｍｅ＿ｎｕｍが用いられる。多視点ビデオ映像の場合には視点間予測が行われるから、現在視点に在るピクチャと他の視点に在るピクチャとを区別するための識別情報が必要である。したがって、ピクチャの視点を識別する視点識別情報を定義する必要がある。この視点識別情報はビデオ信号のヘッダ領域から獲得されることができる。例えば、ヘッダ領域は、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域であっても良く、スライスヘッダ領域であっても良い。この視点識別情報を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、他の視点に在るピクチャの情報を用いてビデオ信号をデコーディングすることができる。このような視点識別情報は、ビデオ信号のエンコーディング／デコーディング過程全般に亘って適用されることができる。また、特定の視点識別子ではなく、視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。

パージングされたビットストリームは、エントロピーデコーディング部２００を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化／逆変換部３００では、受信した量子化された値に一定の定数を乗じ、変換された係数値を獲得し、この係数値を逆変換することによって画素値を復元する。この復元された画素値を用いてイントラ予測部４００では、現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。一方、デブロッキングフィルタ部５００は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタはブロックの縁部を穏やかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）と境界周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経たピクチャは出力されたり、参照ピクチャとして用いられるために復号ピクチャバッファ部６００に保存される。

復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）６００では、画面間予測を行うために以前にコーディングされたピクチャを保存したり開放する役割などを担う。この時、復号ピクチャバッファ部６００に保存したり開放するために各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣを用いることとなる。したがって、ＭＶＣにおいて、以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を識別する視点情報も共に用いることができる。この復号ピクチャバッファ部６００は、参照ピクチャ保存部６１０と、参照ピクチャリスト生成部６２０と、参照ピクチャ管理部６５０とを含む。参照ピクチャ保存部６１０は、現在ピクチャのコーディングのために参照となるピクチャを保存する。参照ピクチャリスト生成部６２０は、画面間予測のための参照ピクチャのリストを生成する。多視点ビデオコーディングにおいては視点間予測が行われることができるから、現在ピクチャが他の視点に在るピクチャを参照する場合、視点間予測のための参照ピクチャリストを生成する必要がありうる。この時、参照ピクチャリスト生成部６２０は、視点間予測のための参照ピクチャリストを生成するために視点に関する情報を用いることができる。これについて、図３を参照しつつ詳細に説明する。

図３は、本発明が適用される実施例で、参照ピクチャリスト生成部６２０の内部ブロック図である。参照ピクチャリスト生成部６２０は、変数誘導部６２５、参照ピクチャリスト初期化部６３０及び参照ピクチャリスト再配列部６４０を含む。

変数誘導部６２５は、参照ピクチャリストの初期化に使われる変数を誘導する。例えば、ピクチャの識別番号を示すｆｒａｍｅ＿ｎｕｍを用いて変数を誘導することができる。具体的例として、それぞれの短期参照ピクチャには変数ＦｒａｍｅＮｕｍと変数ＦｒａｍｅＮｕｍＷｒａｐが用いられることができる。まず、変数ＦｒａｍｅＮｕｍは、シンタックス要素であるｆｒａｍｅ＿ｎｕｍ値と同一である。そして、変数ＦｒａｍｅＮｕｍＷｒａｐは、復号ピクチャバッファ部６００で参照ピクチャごとに小さい番号を割り当てるために用いられることができ、変数ＦｒａｍｅＮｕｍから誘導されることができる。このように誘導された変数ＦｒａｍｅＮｕｍＷｒａｐを用いて変数ＰｉｃＮｕｍを誘導できる。ここで、変数ＰｉｃＮｕｍは、復号ピクチャバッファ部６００で用いられるピクチャの識別番号を意味することができる。長期参照ピクチャを示す場合には、変数ＬｏｎｇＴｅｒｍＰｉｃＮｕｍが用いられることができる。

また、視点間予測のための参照ピクチャリストを生成するためには、視点に関する情報を用いて視点間予測のための参照ピクチャリストを生成するための第１変数（例えば、ＶｉｅｗＮｕｍ）を誘導することができる。例えば、ピクチャの視点を識別してやるｖｉｅｗ＿ｉｄを用いて第２変数（例えば、ＶｉｅｗＩｄ）を誘導することができる。まず、第２変数は、シンタックス要素であるｖｉｅｗ＿ｉｄ値と一致することができる。そして、第３変数（例えば、ＶｉｅｗＩｄＷｒａｐ）は、復号ピクチャバッファ部６００で参照ピクチャごとに小さい視点識別番号を割り当てるために用いられることができ、第２変数から誘導されることができる。ここで、第１変数（ＶｉｅｗＮｕｍ）は、復号ピクチャバッファ部６００で使われるピクチャの視点識別番号を意味することができる。ただし、多視点ビデオコーディングでは時間的予測に用いられる参照ピクチャの数に比べて視点間予測に用いられる参照ピクチャの数が相対的に小さい場合があり得るので、長期参照ピクチャの視点識別番号を表示するための別の変数を定義しなくても良い。

参照ピクチャリスト初期化部６３０は、変数を用いて参照ピクチャリストを初期化する。この時、参照ピクチャリストの初期化過程はスライスタイプによってその方式が異なることができる。例えば、Ｐスライスをデコーディングする場合には、デコーディング順序に基づいて参照ピクチャ番号を割り当てることができ、Ｂスライスをデコーディングする場合には、ピクチャ出力順序に基づいて参照ピクチャ番号を割り当てることができる。また、視点間予測のための参照ピクチャリストを初期化する場合には、第１変数、すなわち、視点情報から誘導された変数に基づいて参照ピクチャに番号を割り当てることができる。

参照ピクチャリスト再配列部６４０は、初期化された参照ピクチャリストで頻繁に参照されたピクチャに相対的に小さい番号を割り当てることによって圧縮率を向上させる役割を果たす。参照ピクチャを指定する参照ピクチャ番号はブロック単位にエンコーディングされるが、これは、参照ピクチャ番号のエンコーディングのための参照ピクチャ番号が小さいほど小さいビット数の符号が割り当てられるためである。

また、参照ピクチャリスト再配列部６４０は、スライスタイプ確認部６４２、参照ピクチャリスト０再配列部６４３及び参照ピクチャリスト１再配列部６４５を含む。スライスタイプ確認部６４２は、初期化された参照ピクチャリストが入力される場合、デコーディングしようとするスライスのタイプを確認し、参照ピクチャリスト０を再配列するか、参照ピクチャリスト１を再配列するかを決定することとなる。これにより、参照ピクチャリスト０／１再配列部６４３，６４５では、例えば、スライスタイプがＩスライスでない場合には参照ピクチャリスト０の再配列を行い、スライスタイプがＢスライスである場合には参照ピクチャリスト１の再配列も行う。このようにして再配列過程が終了すると、参照ピクチャリストが生成される。

そして、参照ピクチャリスト０／１再配列部６４３，６４５はそれぞれ、識別情報獲得部６４３Ａ，６４５Ａと参照番号割当変更部６４３Ｂ，６４５Ｂとを含む。識別情報獲得部６４３Ａ，６４５Ａは、参照ピクチャリストの再配列を行うか否かを示すフラグ情報によって参照ピクチャリストの再配列を行うようになる場合、参照番号の割当方法を示す識別情報（ｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ）を受信する。参照番号割当変更部６４３Ｂ，６４５Ｂでは当該識別情報に基づいて参照番号の割当を変更することによって参照ピクチャリストを再配列することとなる。
また、参照ピクチャリスト再配列部６４０は、他の方式によっても動作可能である。例えば、スライスタイプ確認部６４２を経由する前に転送されたＮＡＬのタイプを確認し、ＭＶＣ ＮＡＬの場合とそうでない場合とに分けて再配列しても良い。

参照ピクチャ管理部６５０は、より柔軟に画面間予測を実現すべく参照ピクチャを管理する。例えば、メモリー管理制御動作方法と移動ウィンド方法（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｍｅｔｈｏｄ）が用いられることができる。これは、参照ピクチャと非参照ピクチャのメモリーを１つのメモリーに統一して管理し、少ないメモリーで效率的に管理するためである。多視点ビデオコーディングにおいて、視点方向のピクチャはピクチャオーダカウントが同一なため、それらのマーキングのためには各ピクチャの視点を識別してやる情報が用いられることができる。このような過程を通じて管理される参照ピクチャは、インター予測部７００で用いられることができる。

インター予測部７００では、復号ピクチャバッファ部６００に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分かれることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。インター予測部７００は、動き補償部７１０、輝度補償部７２０、輝度差分予測部７３０、視点合成予測部７４０及び加重値予測部７５０などを含む。

動き補償部７１０では、エントロピーデコーディング部２００から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、現在ブロックの動きベクトル輝度差分を獲得する。獲得された動きベクトル輝度差分とビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。多視点ビデオコーディングにおいて、現在ピクチャが他の視点に在るピクチャを参照するようになる場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて動き補償を行うことができる。また、そのピクチャの視点を識別する視点情報を用いて動き補償を行うことができる。また、直接予測モード（ｄｉｒｅｃｔ ｍｏｄｅ）は、エンコーディングが終わったブロックの動き情報から現在ブロックの動き情報を予測するエンコーディングモードである。このような方法は、動き情報をエンコーディングする時に必要なビット数が節約されるので、圧縮効率が向上する。例えば、時間直接予測モード（ｔｅｍｐｏｒａｌ ｄｉｒｅｃｔ ｍｏｄｅ）は、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測することとなる。この方法と同様に、本発明では視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測することができる。

また、入力されたビットストリームが多視点ビデオに該当する場合、各視点映像（ｖｉｅｗ ｓｅｑｕｅｎｃｅ）は、それぞれ異なるカメラより取得されたため、カメラの内外的要因によって輝度（ｉｌｌｕｍｉｎａｔｉｏｎ）差が発生することになる。これを防止するために輝度補償部７２０では輝度補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。輝度補償を行うときに、ビデオ信号の所定レイヤに対して輝度補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当のスライスまたは該当のマクロブロックの輝度補償を行うか否かを示すフラグ情報を用いて輝度補償を行うことができる。また、該フラグ情報を用いて輝度補償を行う際に、様々なマクロブロックのタイプ（例えば、インター１６×１６モードまたはＢ−ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。

また、輝度補償を行う際に、現在ブロックを復元すべく隣接ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックの輝度差分値を用いても良い。この時、現在ブロックが異なる視点に在るブロックを参照することになる場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて輝度補償を行うことができる。ここで、現在ブロックの輝度差分値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。この輝度差分値を用いる一例として、現在ブロックの隣接ブロックを用いて該現在ブロックの輝度差分予測値を獲得し、この輝度差分値と輝度差分予測値との差値である輝度差分レジデュアルを用いることができる。したがって、デコーディング部では輝度差分レジデュアルと輝度差分予測値を用いて現在ブロックの輝度差分値を復元することができる。また、現在ブロックの輝度差分予測値を獲得する際に、隣接ブロックの情報を用いることができる。例えば、隣接ブロックの輝度差分値を用いて現在ブロックの輝度差分値を予測できるが、これに先立って現在ブロックの参照番号（ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）と隣接ブロックの参照番号とが同じであるか否かを確認し、その確認結果によってどの隣接ブロックを用いるか、またはどの値を用いるかが決定されることができる。

視点合成予測部７４０は、現在ピクチャの視点と隣接する視点に在るピクチャを用いて新しい視点のピクチャを合成し、合成された新しい視点のピクチャを用いて現在ピクチャを予測するために用いられる。デコーディング部では、エンコーディング部から転送された視点間合成予測識別子によって新しい視点のピクチャを合成するか否かを判断できる。例えば、ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｚｅ＿ｐｒｅｄ＿ｆｌａｇ＝１である、または、ｖｉｅｗ＿ｓｙｎ＿ｐｒｅｄ＿ｆｌａｇ＝１の場合、それぞれ新しい視点のスライスまたはマクロブロックを合成する。この時、視点間合成予測識別子が新しい視点を生成することを知らせる時、ピクチャの視点を識別する視点情報を用いて新しい視点のピクチャを生成できる。また、新しい視点のピクチャを合成し、現在ピクチャを予測する時に、新しい視点のピクチャを参照ピクチャとして用いるために視点情報が用いられることができる。

加重値予測部７５０は、明るさが時間的に変化する映像をエンコーディングする時に映像の画質が大きく劣化する現象を補償するために用いられる。ＭＶＣでは、時間的に明るさが変化する映像だけでなく、異なる視点に在る映像との明るさ差を補償するために加重値予測が行われることができる。例えば、加重値予測方法には、明示的（ｅｘｐｌｉｃｉｔ）加重値予測方法と暗示的（ｉｍｐｌｉｃｉｔ）加重値予測方法がある。明示的加重値予測方法には、１枚の参照ピクチャを用いる場合または２枚の参照ピクチャを用いる場合がある。１枚の参照ピクチャを用いる場合には、動き補償に該当する予測信号に加重値係数を乗じて予測信号を生成し、２枚の参照ピクチャを用いる場合には、動き補償に該当する予測信号に加重値係数を乗じた値にオフセット値を加えて予測信号を生成する。暗示的加重値予測方法は、参照ピクチャからの距離を用いて加重値予測を行う。参照ピクチャからの距離を求める方法には、例えば、ピクチャの出力順序を示す値であるＰＯＣを用いる場合があるが、このＰＯＣは、各ピクチャの視点を区分できるように考慮して生成されたＰＯＣである。または、異なる視点に在るピクチャに対して加重値係数を獲得する時に、各ピクチャの視点間の距離を計算するためにピクチャの視点を識別する視点情報が用いられることができる。

また、ビデオ信号コーディングにおいて、特定アプリケーションのためにまたは他の目的のために深さ情報を用いることができる。深さ情報とは、視点間の変異差を示すことのできる情報のことを意味することができる。例えば、視点間の予測を通じて視差ベクトルを獲得できるが、獲得された視差ベクトルは現在ブロックの変異補償のためにデコーディング装置に転送されなければならない。しかし、深さマップを求めてこれをデコーディング装置に転送する場合、視差ベクトルをデコーディング装置に転送せずに、深さマップ（ｄｅｐｔｈ ｍａｐ）（または視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ））から視差ベクトルを類推することができる。このような場合、デコーディング装置に転送されるべき深さ情報のビット数を減少させることができるという長所がある。したがって、深さマップから視差ベクトルを類推することによって新しい視差補償方法が提供されることができる。このように深さマップから視差ベクトルを類推する過程で異なる視点のピクチャを用いる場合、ピクチャの視点を識別できる視点情報が用いられることができる。

上記のような過程を通じてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することとなる。以下では、ビデオ信号の効率的なデコーディング方法を提供するための様々な実施例について説明する。

図４は、本発明が適用された実施例で、ビデオ信号の視点拡張性（ｖｉｅｗ ｓｃａｌａｂｉｌｉｔｙ）を提供するためのレベル情報の階層的構造を示す図である。

各視点のレベル情報は、視点間参照情報を考慮して決定されることができる。例えば、ＩピクチャなしではＰピクチャとＢピクチャのデコーディングが不可能なため、視点間ピクチャグループがＩピクチャである基準視点（Ｂａｓｅ ｖｉｅｗ）にはｌｅｖｅｌ＝０を割り当てることができ、視点間ピクチャグループがＰピクチャである視点にはｌｅｖｅｌ＝１を割り当てることができ、視点間ピクチャグループがＢピクチャである視点にはｌｅｖｅｌ＝２を割り当てることができる。しかし、所定基準によって任意にレベル情報を決定しても良い。

また、レベル情報は所定基準によって任意に決定されても良く、または、基準なしにランダムに決定されても良い。例えば、視点を基準にしてレベル情報を決定する場合、Ｖ０視点を基準視点に設定してｖｉｅｗ ｌｅｖｅｌ ０、１つの視点に在るピクチャを用いて予測されたピクチャの視点をｖｉｅｗ ｌｅｖｅｌ １、そして複数個の視点に在るピクチャを用いて予測されたピクチャの視点をｖｉｅｗ ｌｅｖｅｌ ２に設定できる。この場合、既存のデコーダ（例えば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、ＭＰＥＧ−４等）と互換性を持つための少なくとも１つの視点映像（ｖｉｅｗ ｓｅｑｕｅｎｃｅ）が必要になり得る。このような基準視点は、多視点のうちエンコーディングの基準になり、これは他の視点の予測のための参照視点（ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ）に該当することができる。ＭＶＣ（Ｍｕｌｔｉ ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で基準視点に該当する映像は、従来の一般的な映像エンコーディングスキーム（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等）によりエンコーディングされ、独立したビットストリームとして形成されることができる。基準視点に該当する映像は、Ｈ．２６４／ＡＶＣと互換されても良く、互換されなくても良い。しかし、Ｈ．２６４／ＡＶＣと互換可能な視点の映像は基準視点となる。

図４からわかるように、Ｖ０視点に在るピクチャを用いて予測されたピクチャの視点であるＶ２視点、Ｖ２視点に在るピクチャを用いて予測されたピクチャの視点であるＶ４視点、Ｖ４視点に在るピクチャを用いて予測されたピクチャの視点であるＶ６視点、そしてＶ６視点に在るピクチャを用いて予測されたピクチャの視点であるＶ７視点をｖｉｅｗ ｌｅｖｅｌ １に設定できる。そして、Ｖ０視点とＶ２視点に在るピクチャを用いて予測されたピクチャの視点であるＶ１視点、そして同じ方式で予測されたＶ３視点、Ｖ５視点はｖｉｅｗ ｌｅｖｅｌ ２に設定できる。したがって、使用者のデコーダが多視点ビデオ映像を見ることができない場合には、ｖｉｅｗ ｌｅｖｅｌ ０に該当する視点の映像のみをデコーディングすることとなる。または、使用者のデコーダがプロファイル情報によって制限される場合にも、制限されたｖｉｅｗ ｌｅｖｅｌの情報のみをデコーディング可能になる。ここで、プロファイルとは、ビデオエンコーディング／デコーディング過程でアルゴリズム上含まれる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。

本発明が適用される他の実施例として、レベル情報は、カメラの位置によって変わることができる。例えば、Ｖ０視点とＶ１視点は、正面に位置しているカメラにより獲得された映像で、Ｖ２視点とＶ３視点は、後面に位置しているカメラにより獲得された映像で、Ｖ４視点とＶ５視点は左側に位置しているカメラにより獲得された映像で、Ｖ６視点とＶ７視点は右側に位置しているカメラにより獲得された映像であるとする場合、Ｖ０視点とＶ１視点をｖｉｅｗ ｌｅｖｅｌ ０に、Ｖ２視点とＶ３視点はｖｉｅｗ ｌｅｖｅｌ １に、Ｖ４視点とＶ５視点はｖｉｅｗ ｌｅｖｅｌ ２に、Ｖ６視点とＶ７視点はｖｉｅｗ ｌｅｖｅｌ ３に設定することができる。さらに他の実施例として、レベル情報はカメラの配列形態によって変わることができる。また、レベル情報は特別な基準によらずに任意に決定されても良い。

図５は、本発明が適用される一実施例で、ＮＡＬヘッダの拡張領域内にレベル情報を含むＮＡＬ単位の構成を示す。

ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰの２部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位の種類を示す識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とが含まれている。そして、視点拡張性を提供するための階層的な構造に関する情報を示すレベル情報（ｖｉｅｗ＿ｌｅｖｅｌ）も含むことができる。

ＲＢＳＰには、圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの末尾にＲＢＳＰ末尾ビットを添加する。このようなＮＡＬ単位の種類には、ＩＤＲピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；シーケンスパラメータセット）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ピクチャパラメータセット）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ；補充的付加情報）などがある。

このＮＡＬヘッダには、視点識別子（ｖｉｅｗ ｉｄｅｎｔｉｆｅｒ）に関する情報を含んでおり、視点レベルによってデコーディングを行う過程で視点識別子を参照して該当の視点レベルのビデオ映像をデコーディングする。ＮＡＬ単位は、ＮＡＬヘッダ５１とスライスレイヤ５３とを含み、ＮＡＬヘッダ５１は、ＮＡＬヘッダ拡張領域（ＮＡＬ ｈｅａｄｅｒ ｅｘｔｅｎｔｉｏｎ）５２を含み、スライスレイヤ５３は、スライスヘッダ５４とスライスデータ５５とを含む。ＮＡＬヘッダ５１は、ＮＡＬ単位の種類を示す識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含んでいるが、例えば、ＮＡＬ単位の種類を示す識別子は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と多視点ビデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の両方のための識別子でありうる。この時、ＮＡＬヘッダ拡張領域５２では、現在ＮＡＬがスケーラブルビデオコーディングのためのＮＡＬなのか、多視点ビデオコーディングのためのＮＡＬなのかを区別するフラグ情報を含むことができ、このフラグ情報によって現在ＮＡＬの拡張情報を含むことができる。例えば、フラグ情報によって現在ＮＡＬが多視点ビデオコーディングのためのＮＡＬである場合、ＮＡＬヘッダ拡張領域５２は視点拡張性を提供するための階層的な構造に関する情報を示すレベル情報（ｖｉｅｗ＿ｌｅｖｅｌ）を含むことができる。

図６は、本発明が適用される実施例で、視点間ピクチャグループの概念を説明するための多視点映像信号の全体的な予測構造を示す図である。

図６に示すように、横軸のＴ０〜Ｔ１００はそれぞれ、時間によるフレームを表し、縦軸のＳ０〜Ｓ７はそれぞれ、視点によるフレームを表す。例えば、Ｔ０に在るピクチャは、同じ時間帯（Ｔ０）に相互に異なるカメラで撮った映像を意味し、Ｓ０に在るピクチャは、１台のカメラで撮った異なる時間帯の映像を意味する。また、図面上の矢印は、各ピクチャの予測方向と順序を表し、例えば、Ｔ０時間帯のＳ２視点に在るＰ０ピクチャは、Ｉ０から予測されたピクチャであり、これはＴ０時間帯のＳ４視点に在るＰ０ピクチャの参照ピクチャとなる。また、Ｓ２視点のＴ４，Ｔ２時間帯に在るＢ１，Ｂ２ピクチャの参照ピクチャとなる。

多視点映像のデコーディング過程において、視点間のランダムアクセスは必須である。したがって、デコーディング努力を最小限にしながら任意視点に対するアクセスを可能にすべきである。ここで、効率的なランダムアクセスの実現のために視点間ピクチャグループの概念が必要になり得る。視点間ピクチャグループとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照するエンコーディングされたピクチャを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しないエンコーディングされたピクチャのことをいう。図６で、Ｔ０時間帯のＳ０視点に在るＩ０ピクチャが視点間ピクチャグループであるとすれば、同じ時間帯に在る、すなわちＴ０時間帯の異なる視点に在る全てのピクチャも視点間ピクチャグループになる。他の例として、Ｔ８時間帯のＳ０視点に在るＩ０ピクチャが視点間ピクチャグループであるとすれば、同じ時間帯に在る、すなわちＴ８時間帯の異なる視点に在る全てのピクチャも視点間ピクチャグループになる。同様に、Ｔ１６、…、Ｔ９６、Ｔ１００に在る全てのピクチャが視点間ピクチャグループの例となる。

図７は、本発明が適用される実施例で、新しく定義された視点間ピクチャグループの概念を説明するための予測構造を示す図である。

ＭＶＣの全般的な予測構造において、ＧＯＰはＩピクチャから始まることができ、このＩピクチャは、Ｈ．２６４／ＡＶＣと互換可能である。したがって、Ｈ．２６４／ＡＶＣと互換可能な全ての視点間ピクチャグループは常にＩピクチャになり得る。しかし、このＩピクチャがＰピクチャに取って代わる場合に、より効率的なコーディングが可能になることができる。すなわち、ＧＯＰがＨ．２６４／ＡＶＣと互換可能なＰピクチャから始まるようにする予測構造を用いる場合に、より効率的なコーディングが可能になるわけである。

この時、視点間ピクチャグループを再び定義すると、全てのスライスが同一時間帯のフレームに在るスライスだけでなく、同一視点の異なる時間帯に在るスライスも参照できるエンコーディングされたピクチャとなる。ただし、同一視点の異なる時間帯に在るスライスを参照する場合はＨ．２６４／ＡＶＣと互換可能な視点間ピクチャグループに限ることができる。例えば、図６で、Ｓ０視点のＴ８時間に在るＰピクチャは、新しく定義された視点間ピクチャグループになることができ、同様に、Ｓ０視点のＴ９６時間に在るＰピクチャ、そしてＳ０視点のＴ１００時間に在るＰピクチャが、新しく定義された視点間ピクチャグループになることができる。または、この視点間ピクチャグループは、基準視点である場合に限って定義されても良い。

視点間ピクチャグループがデコーディングされた後、順にコーディングされた全てのピクチャは、出力順序上視点間ピクチャグループに先行してデコーディングされたピクチャからインター予測（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ）なしでデコーディングされる。

したがって、図６及び図７の多視点ビデオ映像の全般的なコーディング構造にしたがう時、視点間ピクチャグループと非視点間ピクチャグループの視点間参照情報が異なるから、視点間ピクチャグループ識別情報によって視点間ピクチャグループと非視点間ピクチャグループを区別する必要がある。

視点間参照情報は、視点間ピクチャがどんな構造で予測されたかがわかる情報のことをいう。これは、ビデオ信号のデータ領域から獲得されることができるが、例えば、シーケンスパラメータセット領域から獲得されることができる。また、視点間参照情報は参照ピクチャの個数と参照ピクチャの視点情報を用いて把握できる。例えば、まず全体視点の個数を獲得し、この全体視点の個数に基づいて各視点を区別する視点情報を把握できる。そして、各視点ごとに参照方向に対する参照ピクチャの個数を獲得できる。この参照ピクチャの個数によって各参照ピクチャの視点情報を獲得できる。このような方式によって視点間参照情報が獲得されることができ、この視点間参照情報は視点間ピクチャグループの場合と非視点間ピクチャグループの場合とに分けて把握されることができる。これは、現在ＮＡＬに在るコーディングされたスライスが視点間ピクチャグループなのか否かを示す視点間ピクチャグループ識別情報からわかる。次に、この視点間ピクチャグループ識別情報について図８を用いて詳細に説明する。

図８は、本発明が適用される実施例で、視点間ピクチャグループ識別情報を用いて多視点映像をデコーディングする装置の概略的なブロック図である。
本実施例のデコーディング装置は、ビットストリーム判断部８１、視点間ピクチャグループ識別情報獲得部８２及び多視点映像デコーディング部８３を含む。ビットストリーム判断部８１では、ビットストリームが入力されると、該ビットストリームがスケーラブルビデオコーディングされたビットストリームなのか、それとも多視点ビデオコーディングされたビットストリームなのかを判断することとなる。これは、ビットストリームに含まれたフラグ情報によって判断されることができる。

視点間ピクチャグループ識別情報獲得部８２では、上記判断結果、多視点ビデオコーディングされたビットストリームである場合、視点間ピクチャグループ識別情報を獲得できる。獲得された視点間ピクチャグループ識別情報が「真」である場合には、現在ＮＡＬに在るコーディングされたスライスが視点間ピクチャグループであることを意味し、「偽」の場合には非視点間ピクチャグループであることを意味できる。このような視点間ピクチャグループ識別情報は、ＮＡＬヘッダの拡張領域から獲得されることができ、またはスライスレイヤ領域から獲得されることができる。

多視点映像デコーディング部８３では、視点間ピクチャグループ識別情報によって多視点映像をデコーディングする。多視点ビデオ映像の全般的なコーディング構造にしたがう時、視点間ピクチャグループと非視点間ピクチャグループの視点間参照情報が異なるので、例えば、参照ピクチャリストを生成する時、視点間予測のための参照ピクチャを追加するのに視点間ピクチャグループ識別情報が用いられることができる。そして、追加された視点間予測のための参照ピクチャを管理するためにも用いられることができる。また、視点間ピクチャグループ識別情報は仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）でも適用されることができる。

この視点間ピクチャグループ識別情報が用いられる他の例として、各デコーディングプロセスで異なる視点に在る情報を用いる場合、シーケンスパラメータセットに含まれた視点間参照情報が用いられることができる。この時、現在ピクチャが視点間ピクチャグループなのか、非視点間ピクチャグループなのかを区分できる情報、すなわち、視点間ピクチャグループ識別情報が必要とされることができ、これによって各デコーディングプロセスごとに異なる視点間参照情報が用いられることができる。

図９は、本発明が適用される実施例で、参照ピクチャリストを生成する流れ図である。

復号ピクチャバッファ部６００では、ピクチャ間予測を行う目的で、以前にコーディングされたピクチャを保存したり開放する役割などを果たす。まず、現在ピクチャ以前にコーディングされたピクチャは、参照ピクチャとして用いるために参照ピクチャ保存部６１０に保存される（Ｓ９１）。多視点ビデオコーディングにおいて、以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして用いるためにはピクチャの視点を識別する視点情報を用いることができる。したがって、デコーダではピクチャの視点を識別する視点情報を獲得しなければならない（Ｓ９２）。例えば、視点情報は、ピクチャの視点を識別するｖｉｅｗ＿ｉｄを含むことができる。復号ピクチャバッファ部６００では、参照ピクチャリストを生成するために復号ピクチャバッファ部６００内で使われる変数を誘導する必要がある。多視点ビデオコーディングにおいては視点間予測がなされることができるので、現在ピクチャが異なる視点に在るピクチャを参照する場合、視点間予測のための参照ピクチャリストを生成する必要がありうる。この時、復号ピクチャバッファ部６００では、獲得された視点情報を用いて、視点間予測のための参照ピクチャリストを生成するために用いられる変数を誘導する必要がある（Ｓ９３）。

時間的予測のための参照ピクチャリストまたは視点間予測のための参照ピクチャリストは、現在スライスのスライスタイプによって異なる方式で生成されることができる（Ｓ９４）。例えば、スライスタイプがＰ／ＳＰスライスである場合には参照ピクチャリスト０を生成し（Ｓ９５）、スライスタイプがＢスライスである場合には参照ピクチャリスト０と参照ピクチャリスト１を生成する（Ｓ９６）。この時、参照ピクチャリスト０または参照ピクチャリスト１は時間的予測のための参照ピクチャリストのみを含むことができ、または、時間的予測のための参照ピクチャリストと視点間予測のための参照ピクチャリストをいずれも含むことができる。これについては図８及び図９で詳細に説明するものとする。

このようにして初期化された参照ピクチャリストは、より圧縮率を向上させるべく、頻繁に参照されたピクチャにより小さい番号を割り当てる過程を行う（Ｓ９７）。これを参照ピクチャリストの再配列過程といい、図１２乃至図１９で詳細に後述する。このように再配列された参照ピクチャリストを用いて現在ピクチャをデコーディングし、復号ピクチャバッファ部６００ではバッファをより效率的に動作させるために、デコーディングされた参照ピクチャを管理する必要がある（Ｓ９８）。このような過程を通じて管理される参照ピクチャは、インター予測部７００に取り込まれてインター予測のために用いられる。多視点ビデオコーディングにおいて、インター予測は視点間予測を含むことができるので、このような場合には視点間予測のための参照ピクチャリストが用いられることができる。

以下、図１０及び図１１では、スライスタイプによって参照ピクチャリストがいかなる方式で生成されるかについて具体的な実施例に挙げて説明する。

図１０は、本発明が適用される一実施例で、現在スライスがＰスライスである時の参照ピクチャリストを初期化する方法を説明するための図である。

Ｔ０、Ｔ１、…、ＴＮは時間を表し、Ｖ０、Ｖ１、…、Ｖ４は視点を表す。例えば、現在ピクチャは、Ｖ４視点のＴ３時間に在るピクチャを表す。また、現在ピクチャのスライスタイプはＰスライスである場合である。ＰＮは、変数ＰｉｃＮｕｍの略字であり、ＬＰＮは変数ＬｏｎｇｔｅｒｍＰｉｃＮｕｍの略字であり、ＶＮは変数ＶｉｅｗＮｕｍの略字である。各変数の後に付く数字は、各ピクチャの時間（ＰＮ、ＬＰＮの場合）または視点（ＶＮの場合）を指すインデックスを意味する。これは図１１でも同一に適用される。

時間的予測のための参照ピクチャリストまたは視点間予測のための参照ピクチャリストは、現在スライスのスライスタイプによって異なる方式で生成されることができる。例えば、図１２では、スライスタイプがＰ／ＳＰスライスである場合であり、この場合には参照ピクチャリスト０を生成することとなる。ここで、参照ピクチャリスト０は、時間的予測のための参照ピクチャリスト及び／または視点間予測のための参照ピクチャリストを含むことができる。本実施例では、参照ピクチャリスト０が時間的予測のための参照ピクチャリストと視点間予測のための参照ピクチャリストをいずれも含む場合について説明する。参照ピクチャを配列する方法には様々なものがあるが、例えば、デコーディング順序によって参照ピクチャを配列したり、または、ピクチャ出力順序によって参照ピクチャを配列したりすることができる。または、視点情報を用いて誘導された変数に基づいて配列されたり、または、視点間の予測構造がわかる視点間参照情報によって参照ピクチャが配列されても良い。

時間的予測のための参照ピクチャリストの場合、短期参照ピクチャと長期参照ピクチャはデコーディング順序に基づいて配列されることができる。例えば、ピクチャの識別番号を表す値（例えば、ｆｒａｍｅ＿ｎｕｍまたはＬｏｎｇｔｅｒｍｆｒａｍｅｉｄｘ）から誘導された変数（ＰｉｃＮｕｍまたはＬｏｎｇｔｅｒｍＰｉｃＮｕｍ）値によって配列されることができる。まず長期参照ピクチャに先行して短期参照ピクチャが初期化されることができる。短期参照ピクチャの配列される順序は、参照ピクチャのうち、最も高い変数（ＰｉｃＮｕｍ）値を持つ参照ピクチャから最も低い変数値を持つ参照ピクチャの順に配列されることができる。例えば、ＰＮ０、ＰＮ１、ＰＮ２のうち、最も高い変数を持つＰＮ１から始め、その次にＰＮ２、その次に最も低い変数を持つＰＮ０の順に配列されることができる。長期参照ピクチャの配列される順序は、参照ピクチャのうち、最も低い変数（ＬｏｎｇｔｅｒｍＰｉｃＮｕｍ）値を持つ参照ピクチャから最も高い変数値を持つ参照ピクチャの順に配列されることができる。例えば、ＬＰＮ０、ＬＰＮ１のうち、最も低い変数を持つＬＰＮ０から始め、その次に最も低い変数を持つＬＰＮ１の順に配列されることができる。

視点間予測のための参照ピクチャリストの場合、視点情報を用いて誘導された第１変数（ＶｉｅｗＮｕｍ）に基づいて配列されることができる。例えば、参照ピクチャのうち、最も高い第１変数（ＶｉｅｗＮｕｍ）値を持つ参照ピクチャから最も低い変数値を持つ参照ピクチャの順に配列されることができる。例えば、ＶＮ０、ＶＮ１、ＶＮ２、ＶＮ３のうち最も高い変数を持つＶＮ３から始め、その次にＶＮ２、ＶＮ１、その次に最も低い変数を持つＶＮ０の順に配列されることができる。

このように、時間的予測のための参照ピクチャリストと視点間予測のための参照ピクチャリストは１つの参照ピクチャリストとして管理されることができ、または、別個の参照ピクチャリストとしてそれぞれ管理されても良い。そして、１つの参照ピクチャリストとして管理する場合には、順序によって初期化されることができ、または、同時に初期化されても良い。順序によって初期化される場合には、例えば、時間的予測のための参照ピクチャリストをまず初期化し、その次に追加的に視点間予測のための参照ピクチャリストを初期化することができる。このような概念は、図１１でも適用されることができる。以下、図１１では、現在ピクチャのスライスタイプがＢスライスである場合について説明する。

図１１は、本発明が適用される一実施例で、現在スライスがＢスライスである時の参照ピクチャリストを初期化する方法を説明するための図である。

スライスタイプがＢスライスである場合には、参照ピクチャリスト０と参照ピクチャリスト１を生成することとなる。この時、参照ピクチャリスト０または参照ピクチャリスト１は時間的予測のための参照ピクチャリストのみを含むことができ、または、時間的予測のための参照ピクチャリストと視点間予測のための参照ピクチャリストを両方とも含んでいても良い。

まず、時間的予測のための参照ピクチャリストの場合、短期参照ピクチャと長期参照ピクチャの配列方法が異なることができる。例えば、短期参照ピクチャの場合はピクチャオーダカウンタ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ；以下、「ＰＯＣ」という。）によって参照ピクチャが配列されることができ、長期参照ピクチャの場合は、変数（ＬｏｎｇｔｅｒｍＰｉｃＮｕｍ）値によって参照ピクチャが配列されることができる。そして、長期参照ピクチャに先立って短期参照ピクチャが初期化されることができる。

参照ピクチャリスト０の短期参照ピクチャの配列される順序は、現在ピクチャよりも低いＰＯＣ値を持つ参照ピクチャのうち、最も高いＰＯＣ値を持つ参照ピクチャから最も低いＰＯＣ値を持つ参照ピクチャの順に配列され、その次に現在ピクチャよりも高いＰＯＣ値を持つ参照ピクチャのうち、最も低いＰＯＣ値を持つ参照ピクチャから最も高いＰＯＣ値を持つ参照ピクチャの順に配列されることができる。例えば、現在ピクチャよりも低いＰＯＣ値を持つ参照ピクチャであるＰＮ０、ＰＮ１のうち、最も高いＰＯＣ値を持つＰＮ１から始め、ＰＮ０の順に配列され、その次に現在ピクチャよりも高いＰＯＣ値を持つ参照ピクチャであるＰＮ３，ＰＮ４のうち、最も低いＰＯＣ値を持つＰＮ３から始め、ＰＮ４の順に配列されることができる。

そして、参照ピクチャリスト０の長期参照ピクチャの配列される順序は、参照ピクチャのうち、最も低い変数（ＬｏｎｇｔｅｒｍＰｉｃＮｕｍ）を持つ参照ピクチャから最も高い変数を持つ参照ピクチャの順に配列されることができる。例えば、ＬＰＮ０，ＬＰＮ１うち、最も低い変数を持つＬＰＮ０から始め、その次に最も低い変数を持つＬＰＮ１の順に配列されることができる。

視点間予測のための参照ピクチャリストの場合、視点情報を用いて誘導された第１変数（ＶｉｅｗＮｕｍ）に基づいて配列されることができる。例えば、視点間予測のための参照ピクチャリスト０の場合、現在ピクチャよりも低い第１変数値を持つ参照ピクチャのうち、最も高い第１変数値を持つ参照ピクチャから最も低い第１変数値を持つ参照ピクチャの順に配列されることができる。そして、現在ピクチャよりも高い第１変数値を持つ参照ピクチャのうち、最も低い第１変数値を持つ参照ピクチャから最も高い第１変数値を持つ参照ピクチャの順に配列されることができる。例えば、現在ピクチャよりも低い第１変数値を持つ参照ピクチャであるＶＮ０、ＶＮ１のうち、最も高い第１変数値を持つＶＮ１から始め、最も低い第１変数値を持つＶＮ０の順に配列されることができる。その次に現在ピクチャよりも高い第１変数値を持つ参照ピクチャであるＶＮ３、ＶＮ４のうち、最も低い第１変数値を持つＶＮ３から始め、最も高い第１変数値を持つＶＮ４の順に配列されることができる。

参照ピクチャリスト１の場合、上述した参照ピクチャリスト０の配列方式と類似に適用されることができる。

まず、時間的予測のための参照ピクチャリストの場合、参照ピクチャリスト１の短期参照ピクチャの配列される順序は、現在ピクチャよりも高いＰＯＣ値を持つ参照ピクチャのうち、最も低いＰＯＣ値を持つ参照ピクチャから最も高いＰＯＣ値を持つ参照ピクチャの順に配列され、その次に現在ピクチャよりも低いＰＯＣ値を持つ参照ピクチャのうち、最も高いＰＯＣ値を持つ参照ピクチャから最も低いＰＯＣ値を持つ参照ピクチャの順に配列されることができる。例えば、現在ピクチャよりも高いＰＯＣ値を持つ参照ピクチャであるＰＮ３、ＰＮ４のうち、最も低いＰＯＣ値を持つＰＮ３から始め、ＰＮ４の順に配列され、その次に現在ピクチャよりも低いＰＯＣ値を持つ参照ピクチャであるＰＮ０、ＰＮ１のうち、最も高いＰＯＣ値を持つＰＮ１から始め、ＰＮ０の順に配列されることができる。

そして、参照ピクチャリスト１の長期参照ピクチャの配列される順序は、参照ピクチャのうち、最も低い変数（ＬｏｎｇｔｅｒｍＰｉｃＮｕｍ）を持つ参照ピクチャから最も高い変数を持つ参照ピクチャの順に配列されることができる。例えば、ＬＰＮ０、ＬＰＮ１のうち、最も低い変数を持つＬＰＮ０から始め、その次に最も低い変数を持つＬＰＮ１の順に配列されることができる。

視点間予測のための参照ピクチャリストの場合、視点情報を用いて誘導された第１変数（ＶｉｅｗＮｕｍ）に基づいて配列されることができる。例えば、視点間予測のための参照ピクチャリスト１の場合、現在ピクチャよりも高い第１変数値を持つ参照ピクチャのうち、最も低い第１変数値を持つ参照ピクチャから最も高い第１変数値を持つ参照ピクチャの順に配列されることができる。そして、現在ピクチャよりも低い第１変数値を持つ参照ピクチャのうち、最も高い第１変数値を持つ参照ピクチャから最も低い第１変数値を持つ参照ピクチャの順に配列されることができる。例えば、現在ピクチャよりも高い第１変数値を持つ参照ピクチャであるＶＮ３、ＶＮ４のうち、最も低い第１変数値を持つＶＮ３から始め、最も高い第１変数値を持つＶＮ４の順に配列されることができる。その次に現在ピクチャよりも低い第１変数値を持つ参照ピクチャであるＶＮ０、ＶＮ１のうち、最も高い第１変数値を持つＶＮ１から始め、最も低い第１変数値を持つＶＮ０の順に配列されることができる。

上記のような過程を通じて初期化された参照ピクチャリストは、参照ピクチャリスト再配列部６４０に転送され、より効率的なコーディングのために再配列される。このような再配列過程は、復号ピクチャバッファを動作させ、参照ピクチャとして選択される確率の最も高い参照ピクチャに低い番号を割り当て、ビット率を減らすためのものである。以下、図１２乃至図１９では、参照ピクチャリストを再配列する方法を様々な実施例に挙げて説明する。

図１２は、本発明が適用される実施例で、参照ピクチャリスト再配列部６４０の内部ブロック図である。

参照ピクチャリスト再配列部６４０は、大きく、スライスタイプ確認部６４２、参照ピクチャリスト０再配列部６４３及び参照ピクチャリスト１再配列部６４５を含む。参照ピクチャリスト０再配列部６４３は、第１識別情報獲得部６４３Ａと第１参照番号割当変更部６４３Ｂとを含み、参照ピクチャリスト１再配列部６４５は、第２識別情報獲得部６４５Ａと第２参照番号割当変更部６４５Ｂとを含む。

スライスタイプ確認部６４２は、現在スライスのスライスタイプを確認し、このスライスタイプによって参照ピクチャリスト０及び／または参照ピクチャリスト１の再配列を行うか否かが決定される。例えば、現在スライスのスライスタイプがＩスライスである場合、参照ピクチャリスト０及び参照ピクチャリスト１を両方とも再配列しない。そして、Ｐスライスである場合には、参照ピクチャリスト０のみに再配列を行い、Ｂスライスである場合には、参照ピクチャリスト０及び参照ピクチャリスト１の両方に再配列を行う。

参照ピクチャリスト０再配列部６４３は、現在スライスのスライスタイプがＩスライスでなく、参照ピクチャリスト０の再配列を行うというフラグ情報が「真」である場合に動作する。第１識別情報獲得部６４３Ａは、参照番号の割当方法を表す識別情報を獲得し、第１参照番号割当変更部６４３Ｂでは、当該識別情報によって参照ピクチャリスト０の各参照ピクチャに割り当てられる参照番号を変更する。

同様に、参照ピクチャリスト１再配列部６４５は、現在スライスのスライスタイプがＢスライスで、参照ピクチャリスト１の再配列を行うというフラグ情報が「真」である場合に動作する。第２識別情報獲得部６４５Ａは、参照番号の割当方法を表す識別情報を獲得し、第２参照番号割当変更部６４５Ｂでは、当該識別情報によって参照ピクチャリスト１の各参照ピクチャに割り当てられる参照番号を変更する。

参照ピクチャリスト０再配列部６４３と参照ピクチャリスト１再配列部６４５を通じて実際のインター予測のために用いられる参照ピクチャリスト情報が生成される。以下、図１３を用いて、第１、２参照番号割当変更部６４３Ｂ、６４５Ｂで各参照ピクチャに割り当てられる参照番号を変更する方法について詳細に説明する。

図１３は、本発明が適用される実施例で、参照番号割当変更部６４３Ｂ、６４５Ｂの内部ブロック図である。

本実施例では、図１２に示す参照ピクチャリスト０再配列部６４３及び参照ピクチャリスト１再配列部６４５と共に説明する。図１３を参照すれば、第１、２参照番号割当変更部６４３Ｂ、６４５Ｂは、時間的予測のための参照番号割当変更部６４４Ａ、長期参照ピクチャのための参照番号割当変更部６４４Ｂ、視点間予測のための参照番号割当変更部６４４Ｃ及び参照番号割当変更終了部６４４Ｄを含む。第１、２識別情報獲得部６４３Ａ、６４５Ａで獲得された識別情報によって第１、２参照番号割当変更部６４３Ｂ、６４５Ｂ内の各部分が動作する。このような再配列過程は、参照番号割当変更を終了することを知らせる識別情報が入力されるまで行われる。

例えば、第１、２識別情報獲得部６４３Ａ、６４５Ａで時間的予測のための参照番号の割当を変更することを知らせる識別情報が転送された場合、時間的予測のための参照番号割当変更部６４４Ａが動作する。時間的予測のための参照番号割当変更部６４４Ａでは、当該識別情報によってピクチャ番号の差値を獲得する。ここで、ピクチャ番号の差値とは、現在ピクチャのピクチャ番号と予測されたピクチャ番号との差を意味し、予測されたピクチャ番号とは、直前に割り当てられた参照ピクチャの番号を意味できる。このようにして獲得されたピクチャ番号の差値を用いて参照番号の割当を変更できる。この時、ピクチャ番号の差値は、当該識別情報によって予測されたピクチャ番号に／から加算／減算されることができる。

他の例として、指定した長期参照ピクチャに参照番号の割当を変更することを知らせる識別情報が転送された場合、長期参照ピクチャのための参照番号割当変更部６４４Ｂが動作する。長期参照ピクチャのための参照番号割当変更部６４４Ｂでは、当該識別情報によって指定されたピクチャの長期参照ピクチャ番号を獲得する。

さらに他の例として、視点間予測のための参照番号の割当を変更しろとの識別情報が転送された場合、視点間予測のための参照番号割当変更部６４４Ｃが動作する。視点間予測のための参照番号割当変更部６４４Ｃでは、当該識別情報によって視点情報の差値を獲得する。ここで、視点情報の差値とは、現在ピクチャの視点番号と予測された視点番号との差を意味し、予測された視点番号とは、直前に割り当てられた参照ピクチャの視点番号を意味できる。このように獲得された視点情報の差値を用いて参照番号の割当を変更できる。この時、視点情報の差値は、当該識別情報によって予測された視点番号に／から加算／減算されることができる。

さらに他の例として、参照番号割当変更を終了することを知らせる識別情報が転送された場合、参照番号割当変更終了部６４４Ｄが動作する。参照番号割当変更終了部６４４Ｄではこの識別情報によって参照番号の割当変更を終了し、これにより、参照ピクチャリスト再配列部６４０では参照ピクチャリスト情報を生成することとなる。

このように、視点間予測に用いられる参照ピクチャは、時間的予測に用いられる参照ピクチャと共に管理されることができる。または、視点間予測に用いられる参照ピクチャを時間的予測に用いられる参照ピクチャとは別に管理しても良い。このような場合には、視点間予測に用いられる参照ピクチャを管理するための新しい情報が必要とされることができる。このような場合については図１５乃至図１９で詳細に説明するものとする。次に、図１４では、視点間予測のための参照番号割当変更部６４４Ｃについて具体的な実施例を通じて説明する。

図１４は、本発明が適用される一実施例で、視点情報を用いて参照ピクチャリストを再配列する過程を説明するための図である。

本実施例では、現在ピクチャの視点番号ＶＮは３、復号ピクチャバッファの大きさＤＰＢｓｉｚｅは４で、現在スライスのスライスタイプがＰスライスである場合、参照ピクチャリスト０の再配列過程について説明する。初期予測された視点番号は、現在ピクチャの視点番号である３であり、視点間予測のための参照ピクチャリスト０の最初配列は４、５、６、２である（ａ）。この時、視点情報の差値を減算し、視点間予測のための参照番号の割当を変更することを知らせる識別情報が転送され、この識別情報によって視点情報差値として１を獲得する。そして、予測された視点番号（＝３）から視点情報差値（＝１）を減算し、新しく予測された視点番号（＝２）が計算される。すなわち、視点番号２を持つ参照ピクチャに、視点間予測のための参照ピクチャリスト０の最初インデックスを割り当てる。そして、以前の最初インデックスに割り当てられていたピクチャは、参照ピクチャリスト０の最も後部分に移されることができる。したがって、再配列された参照ピクチャリスト０は２、５、６、４である（ｂ）。その後、再び視点情報の差値を減算し、視点間予測のための参照番号の割当を変更することを知らせる識別情報が転送され、この識別情報によって視点情報差値として−２を獲得する。そして、予測された視点番号（＝２）から視点情報差値（=−２）を減算し、新しく予測された視点番号（＝４）が計算される。すなわち、視点番号４を持つ参照ピクチャに、視点間予測のための参照ピクチャリスト０の２番目のインデックスを割り当てる。したがって、再配列された参照ピクチャリスト０は２、４、６、５である（ｃ）。その後には、参照番号割当変更を終了することを知らせる識別情報が転送された場合、この識別情報によって、再配列された参照ピクチャリスト０を終わりとし、参照ピクチャリスト０が生成される（ｄ）。結局、最終生成された視点間予測のための参照ピクチャリスト０の配列は２、４、６、５である。

視点間予測のための参照ピクチャリスト０の最初のインデックスを割り当てた後、残りのピクチャを再配列する他の例として、各インデックスに割り当てられていたピクチャが順に真後ろの位置に移されることができる。すなわち、視点番号が４であるピクチャには、２番目のインデックスを割り当て、２番目のインデックスが割り当てられていた視点番号５のピクチャには３番目のインデックスを割り当て、３番目のインデックスが割り当てられていた視点番号６のピクチャには４番目のインデックスを割り当てる。したがって、再配列された参照ピクチャリスト０は、２、４、５、６になる。以降、再配列される過程も同様に適用させることができる。

上記のような過程によって生成された参照ピクチャリストは、インター予測に使われる。視点間予測のための参照ピクチャリストは、時間的予測のための参照ピクチャリストと一緒に１つの参照ピクチャリストとして管理されることができる。また、別個の参照ピクチャリストとして管理されても良いが、これについては、図１５乃至図１９で後述する。

図１５は、本発明が適用される他の実施例で、参照ピクチャリスト再配列部６４０の内部ブロック図である。

視点間予測のための参照ピクチャリストを別個の参照ピクチャリストとして管理するには新しい情報が必要とされることができる。例えば、まず、時間的予測のための参照ピクチャリストを再配列し、場合によって、視点間予測のための参照ピクチャリストを再配列するように構成できる。

本実施例で参照ピクチャリスト再配列部６４０は、大きく、時間的予測のための参照ピクチャリスト再配列部９１０、ＮＡＬタイプ確認部９６０及び視点間予測のための参照ピクチャリスト再配列部９７０を含む。そして、時間的予測のための参照ピクチャリスト再配列部９１０は、スライスタイプ確認部６４２、第３識別情報獲得部９２０、第３参照番号割当変更部９３０、第４識別情報獲得部９４０、第４参照番号割当変更部９５０を含む。第３参照番号割当変更部９３０は、時間的予測のための参照番号割当変更部９３０Ａ、長期参照ピクチャのための参照番号割当変更部９３０Ｂ及び参照番号割当変更終了部９３０Ｃを含む。同様に、第４参照番号割当変更部９５０は、時間的予測のための参照番号割当変更部９５０Ａ、長期参照ピクチャのための参照番号割当変更部９５０Ｂ及び参照番号割当変更終了部９５０Ｃを含む。

時間的予測のための参照ピクチャリスト再配列部９１０は、時間的予測に用いられる参照ピクチャを再配列する。時間的予測のための参照ピクチャリスト再配列部９１０における動作は、図１２で説明した参照ピクチャリスト再配列部６４０において視点間予測のための参照ピクチャに関する情報が異なるだけで、他の動作は略同一であり、したがって、図１２から類推可能なため、その説明は省略する。

ＮＡＬタイプ確認部９６０では、転送されたビットストリームのＮＡＬタイプを確認する。ＮＡＬタイプが多視点映像コーディングのためのＮＡＬインである場合、視点間予測のための参照ピクチャリスト再配列部９７０を通じて視点間予測に用いられる参照ピクチャを再配列することとなる。このように生成された視点間予測のための参照ピクチャリストは、時間的予測のための参照ピクチャリスト再配列部９１０を通じて生成された時間的予測のための参照ピクチャリストと一緒にインター予測のために用いられる。しかし、ＮＡＬタイプが多視点映像コーディングのためのＮＡＬでない場合には、視点間予測のための参照ピクチャリストを再配列しない。この場合には。単に時間的予測のための参照ピクチャリストのみが生成される。そして、視点間予測のための参照ピクチャリスト再配列部９７０は、視点間予測に用いられる参照ピクチャを再配列する。これは図１６を用いて詳細に説明すると、下記の通りである。

図１６は、本発明が適用される実施例で、視点間予測のための参照ピクチャリスト再配列部９７０の内部ブロック図である。

視点間予測のための参照ピクチャリスト再配列部９７０は、スライスタイプ確認部６４２、第５識別情報獲得部９７１、第５参照番号割当変更部９７２、第６識別情報獲得部９７３及び第６参照番号割当変更部９７４を含む。

スライスタイプ確認部６４２は、現在スライスのスライスタイプを確認し、該スライスタイプによって参照ピクチャリスト０及び／または参照ピクチャリスト１の再配列を行うか否かが決定される。スライスタイプ確認部６４２についての詳細な説明は、図１２から類推可能なので省略するものとする。

第５、６識別情報獲得部９７１、９７３は、参照番号の割当方法を示す識別情報を獲得し、第５、６参照番号割当変更部９７２、９７４ではそれぞれ、当該識別情報によって参照ピクチャリスト０、１の各参照ピクチャに割り当てられる参照番号を変更する。ここでの参照番号は、参照ピクチャの視点番号のみを意味できる。また、参照番号の割当方法を示す識別情報は、フラグ情報でありうる。例えば、フラグ情報が「真」である場合には、視点番号の割当を変更し、「偽」の場合には視点番号の再配列過程を終了できる。もし、フラグ情報が「真」であると、第５、６参照番号割当変更部９７２，９７４は、フラグ情報によって視点番号の差値を獲得できる。ここで、視点番号の差値とは、現在ピクチャの視点番号と予測されたピクチャの視点番号間の差のことを意味し、予測されたピクチャの視点番号とは、直前に割り当てられた参照ピクチャの視点番号を意味できる。このようにして獲得された視点番号の差値を用いて視点番号の割当を変更できる。この時、視点番号の差値は、識別情報によって、予測されたピクチャの視点番号に／から加算／減算されることができる。

このように、視点間予測のための参照ピクチャリストを別個の参照ピクチャリストとして管理するためには、そのシンタックス構造も新しく定義する必要がある。したがって、図１５及び図１６で説明した内容に関する一実施例として、図１７、１８及び図１９ではそのシンタックスを説明する。

図１７及び図１８は、本発明が適用される一実施例で、参照ピクチャリスト再配列のためのシンタックスを示す図である。

図１７は、図１５に示す時間的予測のための参照ピクチャリスト再配列部９１０の動作をシンタックスで表したものである。図１５の各ブロックと比較すると、スライスタイプ確認部６４２は（Ｓ１）、（Ｓ６）に該当し、第３識別情報獲得部９２０は（Ｓ２）、第４識別情報獲得部９４０は（Ｓ７）に該当する。そして、第３参照番号割当変更部９３０の内部ブロックはそれぞれ（Ｓ３）、（Ｓ４）、（Ｓ５）に該当し、 第４参照番号割当変更部９５０の内部ブロックはそれぞれ（Ｓ８）、（Ｓ９）、（Ｓ１０）に該当する。

図１８は、図１５及び図１６に示すＮＡＬタイプ確認部９６０と視点間予測のための参照ピクチャリスト再配列部９７０の動作をシンタックスで表したものである。図１５及び図１６の各ブロックと比較すると、ＮＡＬタイプ確認部９６０は（Ｓ１１）に該当し、スライスタイプ確認部６４２は（Ｓ１３）、（Ｓ１６）に該当し、第５識別情報獲得部９７１は（Ｓ１４）、第６識別情報獲得部９７３は（Ｓ１７）に該当する。そして、第５参照番号割当変更部９７２は（Ｓ１５）に該当し、第６参照番号割当変更部９７４は（Ｓ１８）に該当する。

図１９は、本発明が適用される他の実施例で、参照ピクチャリスト再配列のためのシンタックスを示す図である。

図１９は、図１５及び図１６に示すＮＡＬタイプ確認部９６０と視点間予測のための参照ピクチャリスト再配列部９７０の動作を、他のシンタックスの例で表したものである。図１５及び図１６の各ブロックと比較すると、ＮＡＬタイプ確認部９６０は（Ｓ２１）に該当し、スライスタイプ確認部６４２は（Ｓ２２）、（Ｓ２５）に該当し、第５識別情報獲得部９７１は（Ｓ２３）、第６識別情報獲得部９７３は（Ｓ２６）に該当する。そして、第５参照番号割当変更部９７２は（Ｓ２４）に該当し、第６参照番号割当変更部９７４は（Ｓ２７）に該当する。

上述したように、視点間予測のための参照ピクチャリストは、インター予測部７００で用いられることができるが、輝度補償を行うにおいても適用可能である。輝度補償は、動き推定／動き補償を行う過程で適用されることができるが、この時、現在ピクチャが、異なる視点に在る参照ピクチャを用いる場合、視点間予測のための参照ピクチャリストを用いることによってより効率的な輝度補償を行うことができる。次に、本発明を適用した輝度補償の実施例について説明する。

図２０は、本発明が適用される一実施例で、現在ブロックの輝度差分値を獲得する過程を説明するための図である。

輝度補償とは、輝度変異によって適応的に動き補償されたビデオ信号をデコーディングする過程のことを意味し、ビデオ信号の予測構造が視点間予測、視点内予測などに適用されることができる。

輝度補償とは、復号対象となるブロックに対応する輝度差分レジデュアルと、輝度差分予測値を用いてビデオ信号をデコーディングする過程のことを意味する。ここで、輝度差分予測値は、デコーディング対象となるブロックに存在する隣接ブロックから獲得される。また、隣接ブロックから輝度差分予測値を獲得する過程は、隣接ブロックの参照情報を用いて決定するが、このとき、隣接ブロックを探索する過程で順序及び方向が考慮される。最後に、隣接ブロックとは、既にデコーディングされたブロックのことを言うが、視点または時間に対する同一ピクチャ内の重複性を考慮してデコーディングされた映像あるいは相互に異なるピクチャ内の重複性を考慮してデコーディングされた映像を意味する。

現在ブロックと候補参照ブロック（ｃａｎｄｉｄａｔｅ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）の類似性を比較する時、両ブロック間の輝度差を考慮すべきである。この輝度差を補償するために新しい動き推定／動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）が行われる。新しいＳＡＤは、下記の式１で得られることができる。

ここで、Ｍ_curは現在ブロックの平均画素値を表し、Ｍ_refは参照ブロックの平均画素値を表す。ｆ(ｉ，ｊ)は現在ブロックの画素値を表し、ｒ(ｉ＋ｘ，ｊ＋ｙ)は参照ブロックの画素値を表す。上記の式２の新しいＳＡＤに基づいて動き推定を行うことによって、現在ブロックと参照ブロック間の平均画素値差が獲得できる。獲得された平均画素値差を輝度差分値（ＩＣ＿ｏｆｆｓｅｔ）という。

輝度補償が適用された動き推定が行われる場合、輝度差分値と動きベクトルが求められ、この輝度差分値と動きベクトルを用いて輝度補償が式３で行われる。

ここで、ＮｅｗＲ(ｉ、ｊ)は、輝度補償が行われたレジデュアルを表し、（ｘ’，ｙ’）は動きベクトルを表す。

輝度差分値（Ｍ_cur−Ｍ_ref）はデコーディング装置に転送されなければならない。デコーディング装置での輝度補償は、下記のように行われる。

ＮｅｗＲ”(ｉ，ｊ)は、復元された、輝度補償の行われたレジデュアルを表し、ｆ’(ｉ，ｊ)は、復元された現在ブロックの画素値を表す。

現在ブロックを復元するためには、輝度差分値がデコーディング装置に転送されなければならず、輝度差分値は隣接ブロックの情報から予測されることができる。この輝度差分値をコーディングするビット数をより減少させるべく、現在ブロックの輝度差分値（ＩＣ＿ｏｆｆｓｅｔ）と隣接ブロックの輝度差分値（ｐｒｅｄ_{IC_offset}）との差値（Ｒ_{IC_offset}）のみを送ることができる。これは下の式５で示される。

（式５）
Ｒ_{IC_offset}＝ＩＣ＿ｏｆｆｓｅｔ−ｐｒｅｄ_{IC_offset}

図２１は、本発明が適用される実施例で、現在ブロックに対する輝度補償を行う過程を説明するための流れ図である。

まず、ビデオ信号から、現在ブロックの隣接ブロックとこの隣接ブロックが参照するブロックとの平均画素値差を表す隣接ブロックの輝度差分値を抽出する（Ｓ２１１０）。この輝度差分値を用いて現在ブロックの輝度差分予測値を獲得する（Ｓ２１２０）。獲得された輝度差分予測値を用いて現在ブロックの輝度差分値を復元可能になる。

この時、輝度差分予測値を獲得するには様々な方法で接近可能である。例えば、隣接ブロックの輝度差分値から現在ブロックの輝度差分値を予測するに先立ち、現在ブロックの参照番号と隣接ブロックの参照番号とが同一か否かを確認し、その確認結果によって、どの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。また、隣接ブロックの情報を探索する過程で順序または方向が与えられることができ、定められた順序または方向によって輝度補償に必要な輝度差分予測値を獲得することができる。他の例として、輝度差分予測値を獲得する時に、現在ブロックの輝度補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。現在ブロックのフラグ情報もまた、隣接ブロックの情報を用いて予測することができる。さらに他の例として、参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて輝度差分予測値を獲得することができる。これを、図２２乃至図２４を用いて詳細に説明すると、下記の通りである。

図２２は、本発明が適用される一実施例で、隣接ブロックの情報を用いて現在ブロックの輝度差分予測値を獲得する過程を説明するための図である。

現在ブロックの輝度差分予測値を獲得する時に隣接ブロックの情報を用いることができる。本明細書でいうブロックは、マクロブロックまたはサブマクロブロックを両方とも含む。例えば、隣接ブロックの輝度差分値を用いて現在ブロックの輝度差分値を予測できるが、これに先立ち、現在ブロックの参照番号と隣接ブロックの参照番号とが同一であるか否かを確認し、その確認結果によって、どの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。「ｒｅｆＩｄｘＬＸ」は現在ブロックの参照番号を表し、「ｒｅｆＩｄｘＬＸＮ」はＮブロックの参照番号を表し、ここで、Ｎは現在ブロックに隣接するブロックの表示で、Ａ、ＢまたはＣを表す。「Ｐｒｅｄ_{IC_offset}Ｎ」は、隣接するＮブロックの輝度補償のための輝度差分値を表す。ここで、現在ブロックの右側上段に在るブロックであるＣブロックを使用できない場合、Ｃブロックの代わりにＤブロックを使用することができる。すなわち、Ｄブロックに関する情報をＣブロックに関する情報として用いることができる。また、ＢブロックとＣブロックをいずれも使用できない場合、その代わりにＡブロックを使用することができる。すなわち、Ａブロックに関する情報をそれぞれＢブロックに関する情報、Ｃブロックに関する情報として用いることができる。

他の例として、輝度差分予測値を獲得する時に、現在ブロックの輝度補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。または、参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて輝度差分予測値を獲得しても良い。この時、隣接ブロックのフラグ情報が輝度補償を行っていないことを表す場合、すなわちＩＣ_ｆｌａｇ＝０の場合、隣接ブロックの輝度差分値である_{PredIC_offset}Ｎは０にセッティングされる。

図２３は、本発明が適用される一実施例で、隣接ブロックの情報を用いて輝度補償を行う過程を示す流れ図である。
デコーディング装置では、輝度補償を行うためにビデオ信号から参照ブロックの平均画素値、現在ブロックと参照ブロックの参照番号などを抽出し、これらの情報を用いて現在ブロックの輝度差分予測値を獲得できる。そして、現在ブロックの輝度差分値と輝度差分予測値間の差値である輝度差分レジデュアルを獲得し、獲得された輝度差分レジデュアルと輝度差分予測値を用いて現在ブロックの輝度差分値を復元できる。この時、現在ブロックの輝度差分予測値を獲得するにおいて、隣接ブロックの情報を用いることができる。例えば、隣接ブロックの輝度差分値を用いて現在ブロックの輝度差分値を予測できるが、これに先立って現在ブロックの参照番号と隣接ブロックの参照番号とが同一か否かを確認し、その確認結果によって、どの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。

その具体的な実施例として、現在ブロックの隣接ブロックとこの隣接ブロックが参照するブロックとの平均画素値差を表す隣接ブロックの輝度差分値をビデオ信号から抽出する（Ｓ２３１０）。現在ブロックの参照番号と隣接ブロックの参照番号が同一か否かを確認する（Ｓ２３２０）。確認結果、現在ブロックの参照番号と同じ参照番号を持つ隣接ブロックが存在する場合、その隣接ブロックが１個のみ存在するか否かを確認する（Ｓ２３３０）。確認結果、現在ブロックの参照番号と一致する参照番号を持つ隣接ブロックが１個のみ存在する場合、参照番号が一致する隣接ブロックの輝度差分値を現在ブロックの輝度差分予測値に割り当てることとなる（Ｓ２３４０）。すなわち、「Ｐｒｅｄ_{IC_offset}＝Ｐｒｅｄ_{IC_offset}Ｎ」となる。上記Ｓ２３２０段階の確認結果によって、現在ブロックの参照番号と一致する参照番号を持つ隣接ブロックが存在しない場合、または、上記Ｓ２３３０段階の確認結果によって、現在ブロックの参照番号と一致する参照番号を持つ隣接ブロックが２個以上存在する場合には、隣接ブロックの輝度差分値（Ｐｒｅｄ_{IC_offset}Ｎ、Ｎ＝Ａ、ＢｏｒＣ）の中間値（Ｍｅｄｉａｎ）を、現在ブロックの輝度差分予測値に割り当てる（Ｓ２３５０）。すなわち、「Ｐｒｅｄ_{IC_offset}＝Ｍｅｄｉａｎ（Ｐｒｅｄ_{IC_offset}Ａ，Ｐｒｅｄ_{IC_offset}Ｂ，Ｐｒｅｄ_{IC_offset}Ｃ）」となる。

図２４は、本発明が適用される他の実施例で、隣接ブロックの情報を用いて輝度補償を行う過程を示す流れ図である。

デコーディング部では、輝度補償を行うために現在ブロックの輝度差分値を復元しなければならない。この時、現在ブロックの輝度差分予測値を獲得するにおいて、隣接ブロックの情報を用いることができる。例えば、隣接ブロックの輝度差分値を用いて現在ブロックの輝度差分値を予測できるが、これに先立って現在ブロックの参照番号と隣接ブロックの参照番号が同一か否かを確認し、その確認結果によってどの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。

その具体的な実施例として、現在ブロックの隣接ブロックとこの隣接ブロックが参照するブロックとの平均画素値差を表す隣接ブロックの輝度差分値をビデオ信号から抽出する（Ｓ２４１０）。現在ブロックの参照番号と隣接ブロックの参照番号が同一か否かを確認する（Ｓ２４２０）。確認結果、現在ブロックの参照番号と同じ参照番号を持つ隣接ブロックが存在する場合、その隣接ブロックが１個のみ存在するか否かを確認する（Ｓ２４３０）。確認結果、現在ブロックの参照番号と同じ参照番号を持つ隣接ブロックが１個のみ存在する場合、参照番号が一致する隣接ブロックの輝度差分値を現在ブロックの輝度差分予測値に割り当てる（Ｓ２４４０）。すなわち、「Ｐｒｅｄ_{IC_offset}＝Ｐｒｅｄ_{IC_offset}Ｎ」となる。上記Ｓ２４２０段階の確認結果によって、現在ブロックの参照番号と一致する参照番号を持つ隣接ブロックが存在しない場合、現在ブロックの輝度差分予測値は「０」で割り当てられる（Ｓ２４６０）。すなわち、「Ｐｒｅｄ_{IC_offset}＝０」される。また、上記Ｓ２４３０段階の確認結果によって現在ブロックの参照番号と一致する参照番号を持つ隣接ブロックが２以上存在する場合には、現在ブロックの参照番号と異なる参照番号を持つ隣接ブロックは「０」にセッティングし、この「０」にセッティングされた値を含めて隣接ブロックの輝度差分値の中間値（Ｍｅｄｉａｎ）を現在ブロックの輝度差分予測値に割り当てる（Ｓ２４５０）。すなわち、「Ｐｒｅｄ_{IC_offset}＝Ｍｅｄｉａｎ(Ｐｒｅｄ_{IC_offset}Ａ，Ｐｒｅｄ_{IC_offset}Ｂ，Ｐｒｅｄ_{IC_offset}Ｃ)」になる。ただし、現在ブロックの参照番号と異なる参照番号を持っている隣接ブロックが存在する場合では、ここで、Ｐｒｅｄ_{IC_offset}Ａ、Ｐｒｅｄ_{IC_offset}ＢまたはＰｒｅｄ_{IC_offset}Ｃのうちに０値が含まれることができる。

また、輝度補償の他にもピクチャの視点を識別する視点情報及び視点間予測のための参照ピクチャリストは、仮想視点のピクチャを合成するにおいても適用可能である。仮想視点のピクチャを合成する過程で異なる視点に在るピクチャを参照することになるので、視点情報及び視点間予測のための参照ピクチャリストを用いる場合、より効率的に仮想視点のピクチャを合成可能になる。次に、本発明が適用される、仮想視点のピクチャを合成する方法の実施例について説明する。

図２５は、本発明が適用された一実施例で、仮想視点のピクチャを用いて現在ピクチャを予測する過程を説明するための図である。

多視点ビデオコーディングで視点間予測を行うにおいて、現在ピクチャと異なる視点に在るピクチャを参照ピクチャとして現在ピクチャを予測できる。しかし、現在ピクチャの視点に隣接する視点に在るピクチャを用いて新しい視点のピクチャを獲得し、この獲得された新しい視点のピクチャを用いて現在ピクチャを予測する場合、より正確な予測が可能になる。この時、各隣接する視点のピクチャを用いるために、または、所望の特定視点のピクチャを用いるために、ピクチャの視点を表す視点識別子が用いられることができる。このような新しい視点を生成する場合、新しい視点を生成するか否かを知らせる特定シンタックスが存在するはずであり、このシンタックスが新しい視点を生成することを知らせた時、視点識別子を用いて新しい視点を生成できる。視点合成予測部で獲得された新しい視点のピクチャは参照ピクチャとして用いられることができ、この場合、新しい視点のピクチャに視点識別子を割り当てることができる。また、動きベクトルを転送するために動きベクトル予測を行う過程で、現在ブロックの隣接ブロックが、視点合成予測部で獲得されたピクチャを参照することができる。この時、新しい視点のピクチャを参照ピクチャとして用いるためにピクチャの視点を表す視点識別子が用いられることができる。

図２６は、本発明が適用された実施例で、ＭＶＣで視点間予測を行うにおいて新しい視点のピクチャを合成するための過程を示す流れ図である。

現在ピクチャに隣接する視点に在るピクチャを用いて新しい視点のピクチャを合成し、この合成された新しい視点のピクチャを用いて現在ピクチャを予測する場合、より正確な予測が可能になる。この時、新しい視点のピクチャを合成する場合、新しい視点のピクチャを合成し、現在ピクチャの予測を行うか否かを知らせる特定シンタックスが存在し、場合によって現在ピクチャの予測を行うか否かを判断すると、より効率的なコーディングが可能になる。特定シンタックスを視点間合成予測識別子と定義し、これは次の通りである。例えば、スライス階層で新しい視点のピクチャを合成し、現在ピクチャの予測を行うか否かを示すｖｉｅｗ＿ｓｙｎｔｈｅｓｉｚｅ＿ｐｒｅｄ＿ｆｌａｇを定義しても良く、または、マクロブロック階層で新しい視点のピクチャを合成し、現在ピクチャの予測を行うか否かを示すｖｉｅｗ＿ｓｙｎ＿ｐｒｅｄ＿ｆｌａｇを定義しても良い。

ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｚｅ＿ｐｒｅｄ＿ｆｌａｇ＝１の場合、現在スライスは現在スライスに隣接する視点のスライスを用いて新しい視点のスライスを合成し、この合成されたスライスを用いて現在スライスを予測できる。ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｚｅ＿ｐｒｅｄ＿ｆｌａｇ＝０の場合には、新しい視点のスライスを合成しない。同様に、ｖｉｅｗ＿ｓｙｎ＿ｐｒｅｄ＿ｆｌａｇ＝１の場合、現在マクロブロックは、現在マクロブロックに隣接する視点のマクロブロックを用いて新しい視点のマクロブロックを合成し、この合成されたマクロブロックを用いて現在マクロブロックを予測できる。ｖｉｅｗ＿ｓｙｎ＿ｐｒｅｄ＿ｆｌａｇ＝０の場合には、新しい視点のマクロブロックを合成しない。したがって、本発明では、ビデオ信号から仮想視点のピクチャを獲得するか否かを示す視点間合成予測識別子を抽出し、この視点間合成予測識別子を用いて仮想視点のピクチャを獲得できる。

上述の如く、ピクチャの視点を識別する視点情報及び視点間予測のための参照ピクチャリストはインター予測部７００で用いられることができるが、加重値予測を行うにおいても適用が可能である。加重値予測は動き補償を行う過程で適用されることができるが、この時、現在ピクチャが異なる視点に在る参照ピクチャを用いる場合、視点情報及び視点間予測のための参照ピクチャリストを用いることによって、より効率的な加重値予測を行うことができる。本発明を適用した加重値予測方法の実施例を説明すると、下記の通りである。

図２７は、本発明が適用されるビデオ信号コーディングにおいて、スライスタイプによって加重値予測を行う流れ図である。

加重値予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）は、ＰまたはＢスライスマクロブロック内の動き補償された予測データのサンプルをスケーリングする方法である。加重値予測方法は、参照ピクチャに関する情報から獲得された加重値係数情報を用いて現在ピクチャに対する加重値予測を行う明示的なモード、または、現在ピクチャと参照ピクチャ間の距離情報から獲得された加重値係数情報を用いて現在ピクチャに対する加重値予測を行う暗示的なモードを含む。このような加重値予測方法は、適用しようとするマクロブロックのスライスタイプによって異なって適用されることができる。例えば、明示的なモードは、加重値予測が行われる現在マクロブロックがＰスライスのマクロブロックなのかＢスライスのマクロブロックなのかによって加重値係数情報が異なってくることができる。そして、明示的なモードにおける加重値係数はエンコーダによって決定され、スライスヘッダ内に含まれて転送されることができる。一方、暗示的なモードにおける加重値係数は、Ｌｉｓｔ ０とＬｉｓｔ １参照ピクチャの相対的な時間的位置に基づいて獲得されることができる。例えば、参照ピクチャが現在ピクチャに時間的に近いと、大きい加重値係数が適用されることができ、参照ピクチャが現在ピクチャから時間的に遠く離れていると、小さい加重値係数が適用されることができる。したがって、本発明では、まず、ビデオ信号から加重値予測を適用しようとするマクロブロックのスライスタイプを抽出する（Ｓ２７１０）。この抽出されたスライスタイプによって現在マクロブロックに対して加重値予測を行うことができる（Ｓ２７２０）。ここで、スライスタイプは、視点間予測が適用されたマクロブロックを含むことができる。視点間予測とは、現在ピクチャと異なる視点に在るピクチャの情報を用いて現在ピクチャを予測することを指す。例えば、スライスタイプは、現在ピクチャと同じ視点に在るピクチャの情報を用いて予測を行う時間的予測が適用されたマクロブロック、視点間予測が適用されたマクロブロック及び時間的予測と視点間予測が共に適用されたマクロブロックを含むことができる。また、スライスタイプは、時間的予測が適用されたマクロブロックのみを含んでも良く、視点間予測が適用されたマクロブロックのみを含んでも良く、これら両種類の予測が適用されたマクロブロックのみを含んでも良く、これらマクロブロック類型のうち、２類型または３類型をいずれも含んでも良い。これについては図２８で詳細に後述される。このように、ビデオ信号から視点間予測が適用されたマクロブロックを含むスライスタイプが抽出された場合、現在ピクチャと異なる視点に在るピクチャに関する情報を用いて加重値予測を行うこととなる。ここで、他の視点に在るピクチャに関する情報を用いるためにピクチャの視点を区別する視点識別子を用いることができる。

図２８は、本発明が適用されるビデオ信号コーディングにおいて、スライスタイプで許容されるマクロブロック類型の一実施例を示す図である。

図２８に示すように、まず、視点間予測によるＰスライスタイプをＶＰ（Ｖｉｅｗ＿Ｐ）と定義する時、視点間予測によるＰスライスタイプにはイントラマクロブロックＩ、現在視点に在る１つのピクチャから予測されるマクロブロックＰ、または異なる視点に在る１つのピクチャから予測されるマクロブロックＶＰが許容される（２８１０）。そして、視点間予測によるＢスライスタイプをＶＢ（Ｖｉｅｗ_Ｂ）と定義する時、視点間予測によるＢスライスタイプにはイントラマクロブロックＩ、現在視点に在る少なくとも１つ以上のピクチャから予測されるマクロブロックＰまたはＢ、または少なくとも１つ以上の異なる視点に在るピクチャから予測されるマクロブロックＶＰまたはＶＢが許容される（２８２０）。また、時間的予測と視点間予測のそれぞれまたは全てを用いて予測されたスライスタイプを「Ｍｉｘｅｄ」と定義する時、この混合スライスタイプにはイントラマクロブロックＩ、現在視点に在る少なくとも１つ以上のピクチャから予測されるマクロブロックＰまたはＢ、または少なくとも１つ以上の異なる視点に在るピクチャから予測されるマクロブロックＶＰまたはＶＢ、または現在視点に在るピクチャと異なる視点に在るピクチャを両方とも用いて予測されたマクロブロック「Ｍｉｘｅｄ」が許容される（２８３０）。ここで、異なる視点に在るピクチャを用いるためにピクチャの視点を区別する視点識別子を用いることができる。

図２９及び図３０は、本発明が適用される一実施例で、新しく定義されたスライスタイプによって加重値予測を行うシンタックスを示す図である。

図２８で説明した通り、スライスタイプがＶＰ、ＶＢ、混合と定義される場合、既存（例えば、Ｈ．２６４）の加重値予測を行うシンタックスは、図２９及び図３０のように変更されることができる。例えば、スライスタイプが時間的予測によるＰスライスである場合には、「if(slice_type!=VP‖slice_type!=VB)」部分が追加され（２９１０）、スライスタイプが時間的予測によるＢスライスである場合には、if文が「if(slice_type==B‖slice_type==Mixed)」のように変更されることができる（２９２０）。また、ＶＰ及びＶＢスライスタイプが新しく定義されることによって、図２９と類似な形式で新しく追加されることができる（２９３０、２９４０）。この場合、視点に関する情報が追加されるから、シンタックス要素は「視点（ｖｉｅｗ）」部分を含んでいる。その例として、「ｌｕｍａ＿ｌｏｇ２＿ｖｉｅｗ＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ、ｃｈｒｏｍａ＿ｌｏｇ２＿ｖｉｅｗ＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ」などが挙げられる。

図３１は、本発明が適用されるビデオ信号コーディングにおいて、視点間加重値予測を行うか否かを示すフラグ情報を用いて加重値予測を行う流れ図である。

本発明が適用されるビデオ信号コーディングにおいて、加重値予測を行うか否かを示すフラグ情報を用いる場合、より効率的なコーディングが可能になる。このようなフラグ情報は、スライスタイプに基づいて定義することができる。例えば、加重値予測がＰスライスとＳＰスライスに適用されるか否かを示すフラグ情報が存在でき、Ｂスライスに適用されるか否かを示すフラグ情報が存在できる。その具体的な例として、フラグ情報をそれぞれ「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ」、「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ」と定義することができる。ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝０なら加重値予測がＰスライスとＳＰスライスに適用されないことを示し、ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝１なら加重値予測がＰスライスとＳＰスライスに適用されることを示す。そして、ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝０ならデフォルト加重値予測がＢスライスに適用されることを示し、ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝１なら明示的な加重値予測がＢスライスに適用されることを示し、ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝２なら暗示的な加重値予測がＢスライスに適用されることを示す。また、多視点ビデオコーディングにおいては、視点間のピクチャに関する情報を用いて加重値予測を行うか否かを示すフラグ情報をスライスタイプに基づいて定義することができる。

まず、ビデオ信号からスライスタイプ及び視点間加重値予測を行うか否かを示すフラグ情報を抽出する（Ｓ３１１０、Ｓ３１２０）。ここで、スライスタイプは、例えば、現在ピクチャと同一の視点に在るピクチャの情報を用いて予測を行う時間的予測が適用されたマクロブロック及び現在ピクチャと異なる視点に在るピクチャの情報を用いて予測を行う視点間予測が適用されたマクロブロックを含むことができる。上記抽出されたスライスタイプとフラグ情報に基づいて加重値予測モードを決定できる（Ｓ３１３０）。決定された加重値予測モードによって加重値予測を行うことができる（Ｓ３１４０）。ここで、フラグ情報は、上述した「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ」、「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ」の他に、現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行うか否かを示すフラグ情報を含むことができる。これについては、図３２で詳細に後述する。このように、現在マクロブロックのスライスタイプが、視点間予測が適用されたマクロブロックを含むスライスタイプである場合に、異なる視点のピクチャに関する情報を用いて加重値予測を行うか否かを示すフラグ情報を用いると、より効率的なコーディングが可能になる。

図３２は、本発明が適用される一実施例で、現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行うか否かを示すフラグ情報による加重値予測方法を説明するための図である。

例えば、現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行うか否かを示すフラグ情報を「ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ」、「ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ」と定義することができる。ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝０なら、加重値予測がＶＰスライスに適用されないことを示し、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝１なら明示的な加重値予測がＶＰスライスに適用されることを示す。そして、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝０ならデフォルト加重値予測がＶＢスライスに適用されることを示し、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝１なら明示的な加重値予測がＶＢスライスに適用されることを示し、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝２なら暗示的な加重値予測がＶＢスライスに適用されることを示す。暗示的な加重値予測がＶＢスライスに適用される場合、加重値係数は現在視点と他の視点間の相対的な距離によって獲得されることができる。また、暗示的な加重値予測がＶＢスライスに適用される場合、ピクチャの視点を区別する視点識別子を用いて加重値予測を行うことができ、または、各視点を区分できるように考慮して作られたピクチャオーダカウント（ＰＯＣ）を用いて加重値予測を行うことができる。また、これらのフラグ情報はピクチャパラメータセット（ＰＰＳ）に含まれることができる。ここで、ピクチャパラメータセットとは、ピクチャ全体のエンコーディングモード（例えば、エントロピーエンコーディングモード、ピクチャ単位の量子化パラメータ初期値等）を表すヘッダ情報のことをいう。ただし、ピクチャパラメータセットは全てのピクチャに付くわけではなく、ピクチャパラメータセットがない場合には、直前に存在するピクチャパラメータセットをヘッダ情報として用いる。

図３３は、本発明が適用される一実施例で、新しく定義されたフラグ情報によって加重値予測を行うシンタックスを示す図である。

本発明が適用される多視点ビデオコーディングにおいて、視点間予測が適用されたマクロブロックを含むスライスタイプ及び現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行うか否かを示すフラグ情報が定義される場合、どんなスライスタイプによってどんな加重値予測を行うかを判断する必要がある。例えば、図３３に示すように、ビデオ信号から抽出されたスライスタイプがＰスライスまたはＳＰスライスである場合、ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝１の場合に加重値予測を行うことができ、スライスタイプがＢスライスである場合には、ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝１の場合に加重値予測を行うことができる。また、スライスタイプがＶＰスライスである場合、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝１の場合に加重値予測を行うことができ、スライスタイプがＶＢスライスである場合には、ｖｉｅｗ＿ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝１の場合に加重値予測を行うことができる。

図３４は、本発明が適用される実施例で、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットタイプによって加重値予測を行う流れ図である。

まず、ビデオ信号からＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を抽出する（Ｓ３４１０）。ここで、ＮＡＬユニットタイプとは、ＮＡＬ単位の種類を示す識別子のことを指す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝５の場合、ＮＡＬ単位がＩＤＲピクチャのスライスであることを示す。ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャとは、ビデオ映像の先頭ピクチャを指す。そして、抽出されたＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプか否かを確認する（Ｓ３４２０）。ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプである場合、現在ピクチャと異なる視点に在るピクチャに関する情報を用いて加重値予測を行う（Ｓ３４３０）。ＮＡＬユニットタイプはスケーラブルビデオコーディングと多視点ビデオコーディングとも適用可能なＮＡＬユニットタイプであっても良く、多視点ビデオコーディングのみのためのＮＡＬユニットタイプであっても良い。このように、多視点ビデオコーディングのためのＮＡＬユニットタイプの場合、現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行わねばならず、よって、新しくシンタックスが定義される必要がある。これを、図３５及び図３６で詳細に説明すると、下記の通りである。

図３５〜図３６は、本発明が適用される一実施例で、ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプである場合、加重値予測を行うシンタックスを示す図である。
ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプの場合、既存（例えば、Ｈ．２６４）の加重値予測を行うシンタックスは、図３５及び図３６のように変更されることができる。例えば、図３５の３５１０部分は、既存の加重値予測を行うシンタックス部分に該当し、図３５の３５２０部分は、多視点ビデオコーディングで加重値予測を行うシンタックス部分に該当する。したがって、３５２０部分では、ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプの場合に限って加重値予測が行われる。この場合、視点に関する情報が追加されるので、シンタックス要素は「視点（ｖｉｅｗ）」部分を含んでいる。その例として、「ｌｕｍａ＿ｖｉｅｗ＿ｌｏｇ２＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ、ｃｈｒｏｍａ＿ｖｉｅｗ＿ｌｏｇ２＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ」などが挙げられる。また、図３６の３５３０部分は、既存の加重値予測を行うシンタックス部分に該当し、図３６の３５４０部分は、多視点ビデオコーディングで加重値予測を行うシンタックス部分に該当する。したがって、３５４０部分では、ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプの場合に限って加重値予測が行われる。この場合にも同様に、視点に関する情報が追加されるので、シンタックス要素は「視点（ｖｉｅｗ）」部分を含んでいる。その例として、「ｌｕｍａ＿ｖｉｅｗ＿ｗｅｉｇｈｔ＿ｌ1＿ｆｌａｇ、ｃｈｒｏｍａ＿ｖｉｅｗ＿ｗｅｉｇｈｔ＿ｌ1＿ｆｌａｇ」などが挙げられる。このように、多視点ビデオコーディングのためのＮＡＬユニットタイプが定義される場合、現在ピクチャと異なる視点に在るピクチャの情報を用いて加重値予測を行うことによって、より効率的なコーディングが可能になる。

図３７は、本発明によるビデオ信号デコーディング装置の実施例を示すブロック図で、スライスタイプ抽出部３７１０、予測モード抽出部３７２０及びデコーディング部３７３０で構成される。

図３８は、図３７に示す装置で行われる本発明によるビデオ信号デコーディング方法を説明するための流れ図であり、スライスタイプを抽出する段階（Ｓ３８１０）、マクロブロック予測モードによって現在マクロブロックをデコーディングする段階（Ｓ３８２０）とからなる。

まず、本発明の理解を助けるために、本発明で使われる予測方式について説明する。現在マクロブロックが含まれているピクチャと同じ視点に在るピクチャを参照するか、または異なる視点に在るピクチャを参照しているかによって視点内予測（ｉｎｔｒａ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）と視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）とに分けられる。また、視点内予測は、既存の時間的予測（ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）と同一な予測方式といえる。

本発明によれば、まず、スライスタイプ抽出部３７１０は、現在マクロブロックを含むスライスのスライスタイプを抽出する（Ｓ３８１０）。

ここで、スライスタイプは、一実施例として、視点内予測によるスライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）と視点間予測によるスライスタイプ（ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ）の２種類が可能である。このため、本発明では視点間予測によるスライスタイプ（ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ）を定義する。また、視点内予測によるスライスタイプと視点間予測によるスライスタイプはそれぞれ、Ｉスライス（Ｉ＿ＳＬＩＣＥ）タイプまたはＰスライス（Ｐ＿ＳＬＩＣＥ）タイプまたはＢスライスタイプ（Ｂ＿ＳＬＩＣＥ）でありうる。例えば、特定スライスが、「ｓｌｉｃｅ＿ｔｙｐｅ」がＢスライスで、「ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ」がＰスライスである場合には、特定スライスに在るマクロブロックは、視点内方向、すなわち時間方向にＢスライス（Ｂ＿ＳＬＩＣＥ）コーディング方式でデコーディングされたり、視点方向にＰスライス（Ｐ＿ＳＬＩＣＥ）コーディング方式でデコーディングされることができる。

一方、スライスタイプは、他の実施例として、視点間予測によるＰスライスタイプ（ＶＰ）、視点間予測によるＢスライスタイプ（ＶＢ）及びこれら両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）を含むことができる。

ここで、視点間予測によるＰスライスタイプとは、スライスに含まれたそれぞれのマクロブロックまたはマクロブロックパーティションが現在視点に在る１つのピクチャから予測されたり、異なる視点に在る１つのピクチャから予測される場合を指す。また、視点間予測によるＢスライスタイプとは、スライスに含まれたそれぞれのマクロブロックまたはマクロブロックパーティションが、現在視点に在る１つのピクチャまたは２つのピクチャから予測されたり、異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測される場合を指す。最後に、両予測が混合された予測による混合スライスタイプとは、スライスに含まれたそれぞれのマクロブロックまたはマクロブロックパーティションが、現在視点に在る１つのピクチャまたは２つのピクチャから予測されたり、異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測されたり、現在視点に在る１つのピクチャまたは２つのピクチャ及び異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測される場合を指す。言い換えると、それぞれのスライスタイプごとに参照するピクチャ及び許容されるマクロブロックタイプが異なり、これについては、図４３及び図４４で詳細に後述する。

また、上述したスライスタイプの実施例のうち、シンタックスについては図４０、図４１で詳細に後述する。

次に、予測モード抽出部３７２０は、現在マクロブロックが視点内予測によるマクロブロックなのか、または視点間予測によるマクロブロックなのか、または両予測が混合された予測によるマクロブロックなのかを示すマクロブロック予測モードを抽出する（Ｓ３８２０）。このため、本発明では、マクロブロック予測モード（ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ）を定義する。一方、マクロブロック予測モードの一実施例と関連しては、図３９、図４０及び図４１で詳細に後述する。

最後に、デコーディング部３７３０は、現在マクロブロックを復元するためのマクロブロック予測モードによって現在マクロブロックをデコーディングする（Ｓ３８２０）。ここで、本発明によれば、現在マクロブロックは、現在マクロブロックを復元するためのマクロブロックタイプ情報から決定された現在マクロブロックのマクロブロックタイプによってデコーディングされることができる。また、マクロブロック予測モード及びスライスタイプによってマクロブロックタイプが決定されることができる。

ここで、本発明によれば、マクロブロック予測モードが視点内予測に関するモードである場合には、視点内予測によるスライスタイプによってマクロブロックタイプを決定し、決定されたマクロブロックタイプによって視点内予測を用いて現在マクロブロックをデコーディングする。また、マクロブロック予測モードが視点間予測に関するモードである場合には、視点間予測によるスライスタイプによってマクロブロックタイプを決定し、この決定されたマクロブロックタイプによって視点間予測を用いて現在マクロブロックをデコーディングする。また、マクロブロック予測モードが、両予測が混合された予測によるマクロブロックである場合には、視点内予測によるスライスタイプ及び視点間予測によるスライスタイプによってマクロブロックタイプをそれぞれ決定し、決定されたそれぞれのマクロブロックタイプによって両予測が混合された予測を用いて現在マクロブロックをデコーディングする。

ここで、マクロブロックタイプは、マクロブロック予測モードとスライスタイプに従属する。言い換えると、マクロブロック予測モードによりマクロブロックタイプに使われる予測方式がわかり、予測方式に基づくスライスタイプによってマクロブロックタイプ情報からマクロブロックタイプが決定される。例えば、マクロブロック予測モードが視点間予測に関するモードである場合には、視点間予測によるスライスタイプ（ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ）に該当するスライスタイプ（Ｉ、Ｐ、Ｂ）のマクロブロックテーブルからマクロブロックタイプを決定できる。マクロブロック予測モードとマクロブロックタイプの関係については、図３９、図４０及び図４１で詳細に説明する。

図３９は、本発明によるマクロブロック予測モードの一実施例を示す図である。

図３９（ａ）は、本発明によるマクロブロック予測モード（ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ）の一実施例に該当するテーブルであり、マクロブロックのために単に視点内予測、すなわち、時間的予測にのみ使われる場合には「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値は「０」が割り当てられ、マクロブロックのために視点間予測のみが使われる場合には「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値は「１」が割り当てられ、視点内予測と視点間予測が両方とも使われる場合には「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値は「２」が割り当てられる。ここで、「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「１」である場合、すなわち、視点間予測を示す場合には、視点間予測のための参照ピクチャリストとして視点方向Ｌｉｓｔ０（ViewList0）または視点方向Ｌｉｓｔ１（ViewList1）を定義する。

図３９（ｂ）は、本発明によるマクロブロック予測モードとマクロブロックタイプとの関係を示す図で、もし、「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「０」である場合には時間的予測のみが使われ、視点内予測によるスライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）によってマクロブロックタイプが決定される。

「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「１」である場合には視点間予測のみが使われ、視点間予測によるスライスタイプ（ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ）によってマクロブロックタイプが決定される。「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「２」である場合には、時間上及び視点内予測が混合された予測が使われ、視点内予測によるスライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）及び視点間予測によるスライスタイプ（ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ）によって２つのマクロブロックタイプが決定される。言い換えると、マクロブロック予測モードによってマクロブロックに使われる予測方式と参照されるスライスタイプが決定され、スライスタイプによってマクロブロックタイプが決定される。

図４０及び図４１は、本発明によるスライスタイプ及びマクロブロック予測モードが適用されたシンタックスを示す図である。

図４０は、スライスタイプとして「ｓｌｉｃｅ＿ｔｙｐｅ」及び「ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ」が、マクロブロック予測モードとして「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」が適用されたシンタックスである。本発明によれば、「ｓｌｉｃｅ＿ｔｙｐｅ」は、視点内予測によるスライスタイプを意味し、「ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ」は、視点間予測によるスライスタイプを意味する。また、それぞれのスライスタイプはＩスライスタイプまたはＰスライスタイプまたはＢスライスタイプになることができる。「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「０」または「１」である場合には、１つのマクロブロックタイプのみを決定するが、「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「２」の場合には、マクロブロックタイプをもう１つ決定することがわかる。言い換えると、図４０に示すシンタックスは、既存のスライスタイプ（Ｉ、Ｐ、Ｂ）を多視点ビデオコーディングで拡大適用するために「ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ」を追加したものである。

図４１は、スライスタイプとして「ｓｌｉｃｅ＿ｔｙｐｅ」が、マクロブロック予測モードとして「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」が適用されたシンタックスである。本発明によれば、「ｓｌｉｃｅ＿ｔｙｐｅ」は、視点間予測によるスライスタイプ（ＶＰ）、視点間予測によるＢスライスタイプ（ＶＢ）及び両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）を含む。「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「０」または「１」である場合には、１つのマクロブロックタイプのみを決定するが、「ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ」の値が「２」の場合には、マクロブロックタイプをもう１つ決定することがわかる。この場合、スライスタイプはスライスヘッダに存在し、これについては図４２で詳細に後述する。言い換えると、図４１に示すシンタックスは、既存のスライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）にＶＰ、ＶＢ、混合スライスタイプがさらに含まれたものである。

図４２は、図４１におけるスライスタイプが適用された実施例を示す図である。

図４２（ａ）は、視点間予測によるスライスタイプ（ＶＰ）、視点間予測によるＢスライスタイプ（ＶＢ）及び両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）がスライスヘッダに存在することを意味する。言い換えると、既存のスライスヘッダに存在するスライスタイプに、本発明によるスライスタイプ（ＶＰ、ＶＢ、混合）が追加されたものである。

図４２（ｂ）は、視点間予測によるスライスタイプ（ＶＰ）、視点間予測によるＢスライスタイプ（ＶＢ）及び両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）が多視点ビデオコーディング（ＭＶＣ）のためのスライスヘッダに存在することを意味する。言い換えると、本発明によるスライスタイプを多視点ビデオコーディングのためのスライスヘッダで新しく定義したものである。

図４２（ｃ）は、視点間予測によるスライスタイプ（ＶＰ）、視点間予測によるＢスライスタイプ（ＶＢ）及び両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）が、スケーラブルビデオコーディング（ＳＶＣ）のためのスライスヘッダに存在することを意味する。言い換えると、スケーラブルビデオコーディングのためのスライスヘッダに存在するスライスタイプに、本発明によるスライスタイプが追加されたものである。

図４３は、図４１のスライスタイプに含まれるスライスタイプの様々な実施例を示す図である。

図４３（ａ）は、異なる視点に在る１つのピクチャから予測される場合であるから、視点間予測によるスライスタイプ（ＶＰ）になり、図４３（ｂ）は、それぞれ異なる視点に在る２つのピクチャから予測される場合であるから、視点間予測によるＢスライスタイプ（ＶＢ）になる。図４３（ｃ）及び図４３（ｄ）は、現在視点に在る１つのピクチャまたは２つのピクチャ及び異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測される場合であるから、両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）になる。

図４４は、図４１のスライスタイプで許容されるマクロブロックの一実施例を示す図である。図示のように、視点間予測によるＰスライスタイプ（ＶＰ）にはイントラマクロブロック（Ｉ）、または現在視点に在る１つのピクチャから予測されるマクロブロック（Ｐ）、または異なる視点に在る１つのピクチャから予測されるマクロブロック（ＶＰ）が許容される。次に、視点間予測によるＢスライスタイプ（ＶＰ）には、イントラマクロブロック（Ｉ）、または現在視点に在る１つのピクチャまたは２つのピクチャから予測されるマクロブロック（ＰまたはＢ）、または異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測されるマクロブロック（ＶＰまたはＶＢ）が許容される。最後に、両予測が混合された予測による混合スライスタイプ（Ｍｉｘｅｄ）には、イントラマクロブロック（Ｉ）、または現在視点に在る１つのピクチャまたは２つのピクチャから予測されるマクロブロック（ＰまたはＢ）、または異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測されるマクロブロック（ＶＰまたはＶＢ）、または現在視点に在る１つのピクチャまたは２つのピクチャ及び異なる視点に在る１つのピクチャまたはそれぞれ異なる視点に在る２つのピクチャから予測されるマクロブロック（Ｍｉｘｅｄ）が許容される。

図４５乃至図４７は、本発明による両予測が混合された予測による混合スライス（Ｍｉｘｅｄ）に存在するマクロブロックのマクロブロックタイプの一実施例を示す図である。

特に、図４５（ａ）及び図４５（ｂ）は、混合スライスに存在するマクロブロックのマクロブロックタイプ（ｍｂ＿ｔｙｐｅ）及びサブマクロブロックタイプ（ｓｕｂ＿ｍｂ＿ｔｙｐｅ）の構成方式を示す図である。また、図４６及び図４７は、混合スライスに存在するマクロブロックの予測方向の２進数表現及び実際予測方向を示す。

本発明によれば、マクロブロックタイプ（ｍｂ＿ｔｙｐｅ）は、マクロブロックパーティションの大きさ（Ｐａｒｔｉｔｉｏｎ＿ｓｉｚｅ）とマクロブロックパーティションの予測方向（Ｄｉｒｅｃｔｉｏｎ）をいずれも考慮して作られる。サブマクロブロックタイプ（ｓｕｂ＿ｍｂ＿ｔｙｐｅ）は、サブマクロブロックパーティションの大きさ（Ｓｕｂ＿Ｐａｒｔｉｔｉｏｎ＿Ｓｉｚｅ）と各サブマクロブロックパーティションの予測方向（Ｓｕｂ＿Ｄｉｒｅｃｔｉｏｎ）を両方とも考慮して作られる。

図４５（ａ）に示すように、「Ｄｉｒｅｃｔｉｏｎ０」及び「Ｄｉｒｅｃｔｉｏｎ１」はそれぞれ、１番目のマクロブロックパーティションの予測方向と２番目のマクロブロックパーティションの予測方向を意味する。すなわち、８×１６マクロブロックである場合、「Ｄｉｒｅｃｔｉｏｎ０」は左側８×１６マクロブロックパーティションに対する予測方向を意味し、「Ｄｉｒｅｃｔｉｏｎ１」は右側マクロブロックパーティションの予測方向を意味する。

ここで、マクロブロックタイプ（ｍｂ＿ｔｙｐｅ）の構成原理について詳細に説明すると、最初の２ｂｉｔは、該当マクロブロックのパーティション大きさ（Ｐａｔｉｔｉｏｎ＿Ｓｉｚｅ）を意味し、０〜３間の値が可能である。最初の２ｂｉｔに続く４ｂｉｔは、マクロブロックがパーティションに分けられる場合に予測方向（Ｄｉｒｅｃｔｉｏｎ）を意味する。例えば、１６×１６マクロブロックの場合には、最初の２ｂｉｔの後に単にこのマクロブロックの予測方向を表す４ｂｉｔがつくことになる。１６×８マクロブロックの場合には、最初の２ｂｉｔの後につく４ｂｉｔは、１番目のパーティションの予測方向（Ｄｉｒｅｃｔｉｏｎ０）を意味し、この４ｂｉｔに続く他の４ｂｉｔは、２番目のパーティションの予測方向（Ｄｉｒｅｃｔｉｏｎ１）を意味する。８×１６マクロブロックの場合にも同様に、最初の２ｂｉｔの後に８ｂｉｔがつくことになり、最初の２ｂｉｔの後につく４ｂｉｔは１番目のパーティションの予測方向を、最後の４ｂｉｔは２番目のパーティションの予測方向を意味する。

図４５（ｂ）に示すように、サブマクロブロックパーティションの予測方向（Ｓｕｂ＿Ｄｉｒｅｃｔｉｏｎ）は、図４５（ａ）のマクロブロックパーティションの予測方向（Ｄｉｒｅｃｔｉｏｎ）と同一な方式で使われる。

ここで、サブマクロブロックタイプ（ｓｕｂ＿ｍｂ＿ｔｙｐｅ）の構成原理について詳細に説明すると、最初のそれぞれの２ｂｉｔは、該当マクロブロックのパーティション大きさ（Ｐａｒｔｉｔｉｏｎ＿Ｓｉｚｅ）及び該当マクロブロックのサブマクロブロックのパーティション大きさ（Ｓｕｂ＿Ｐａｒｔｉｔｉｏｎ＿Ｓｉｚｅ）を意味し、０〜３間の値が可能である。最初のそれぞれの２ｂｉｔに続く４ｂｉｔは、マクロブロックがサブマクロブロックパーティションに分けられる場合に予測方向（Ｓｕｂ＿Ｄｉｒｅｃｔｉｏｎ）を意味する。例えば、マクロブロックのパーティションの大きさ（Ｐａｒｔｉｔｉｏｎ＿Ｓｉｚｅ）が８×８で、サブマクロブロックのパーティションの大きさ（Ｓｕｂ＿Ｐａｒｔｉｔｉｏｎ＿Ｓｉｚｅ）が４×８の場合には、最初の２ｂｉｔは３、２番目の２ｂｉｔは２の値を有し、次の４ｂｉｔは２つの４×８ブロックのうち、左側４×８ブロックに対する予測方向を、その次の４ｂｉｔは右側４×８ブロックに対する予測方向を示す。

図４６に示すように、マクロブロックの予測方向は４ｂｉｔで構成されており、現在ピクチャの左（Ｌ）、上（Ｔ）、右（Ｒ）、下（Ｂ）位置のピクチャを参照する場合によってそれぞれ２進数表現が「１」となることがわかる。

図４７に示すように、例えば、予測方向が上（Ｔ）の場合には、現在ピクチャの視点方向に上に位置するピクチャを参照し、予測方向が全ての方向（ＬＴＲＢ）の場合には、現在ピクチャの上下左右の全方向ピクチャを参照することがわかる。

図４８は、本発明によるビデオ信号エンコーディング装置の実施例を示すブロック図で、マクロブロックタイプ決定部４８１０、マクロブロック生成部４８２０及びエンコーディング部４８３０で構成される。

図４９は、図４８に示す装置で行われる本発明によるビデオ信号エンコーディング方法を説明するための流れ図で、視点内予測のための第１マクロブロックタイプと視点間予測のための第２マクロブロックタイプを決定する段階（Ｓ４９１０）、第１マクロブロックタイプを持つ第１マクロブロックと第２マクロブロックタイプを持つ第２マクロブロックを生成する段階（Ｓ４９２０）、第１マクロブロックと第２マクロブロックを用いて第３マクロブロックを生成する段階（Ｓ４９３０）、及び現在マクロブロックのマクロブロックタイプとマクロブロック予測モードをエンコーディングする段階（Ｓ４９４０）からなる。

本発明によれば、まず、マクロブロックタイプ決定部４８１０は、視点内予測のための第１マクロブロックタイプと視点間予測のための第２マクロブロックタイプを決定する（Ｓ４９１０）。

次いで、マクロブロック生成部４８２０は、第１マクロブロックタイプを持つ第１マクロブロックと第２マクロブロックを持つ第２マクロブロックを生成し（Ｓ４９２０）、第１マクロブロックと第２マクロブロックを用いて第３マクロブロックを生成する（Ｓ４９３０）。ここで、第３マクロブロックは、第１マクロブロックと第２マクロブロックの平均値によって生成される。

最後に、エンコーディング部４８３０は、第１マクロブロック、第２マクロブロック及び第３マクロブロックのエンコーディング効率を比較し、現在マクロブロックのマクロブロックタイプ（ｍｂ＿ｔｙｐｅ）とマクロブロック予測モード（ｍｂ＿ｐｒｅｄ＿ｍｏｄｅ）をエンコーディングする（Ｓ４９４０）。ここで、エンコーディング効率を測定する方法には様々なものがあるが、とりわけＲＤコスト（レート歪みコスト）を用いる方法がある。ＲＤコストは、該当のブロックをエンコーディングする時に生じるエンコーディングビット数と実際映像との誤差を表す歪曲値の２成分をもってコストを計算する。

本発明によれば、第１マクロブロックタイプと第２マクロブロックタイプを決定する方法は、上述したＲＤコストがそれぞれ最小値を持つマクロブロックタイプを決定できる。例えば、視点内予測によるマクロブロックタイプのうち、ＲＤコストが最小値を持つマクロブロックタイプが第１マクロブロックタイプになり、視点間予測によるマクロブロックタイプのうち、ＲＤコストが最小値を持つマクロブロックタイプが第２マクロブロックタイプになる。

また、マクロブロックタイプとマクロブロック予測モードをエンコーディングする段階は、まず、第１マクロブロックのＲＤコストと第２マクロブロックタイプのＲＤコストを比較し、小さい値を求める。次に、第３マクロブロックのＲＤコストを求める。最後に、求められたＲＤコストと第３マクロブロックのＲＤコストとを比較し、現在マクロブロックのマクロブロックタイプとマクロブロック予測モードをエンコーディングする。

もし、求められたＲＤコストが第３マクロブロックのＲＤコスト以上である場合には、マクロブロックタイプは、求められたＲＤコストに該当するマクロブロックタイプになる。例えば、第１マクロブロックのＲＤコストと第２マクロブロックのＲＤコストのうち、第１マクロブロックのＲＤコストが小さい場合には、第１マクロブロックのマクロブロックタイプである第１マクロブロックタイプが、現在マクロブロックのマクロブロックタイプになる。また、マクロブロック予測モードは、求められたＲＤコストに該当するマクロブロックの予測方式になる。例えば、第１マクロブロックのＲＤコストと第２マクロブロックのＲＤコストのうち、第２マクロブロックのＲＤコストが小さい場合には、第２マクロブロックの予測方式である視点間予測方式が現在マクロブロックのマクロブロック予測モードとなる。

一方、求められたＲＤコストが第３マクロブロックのＲＤコスト未満である場合には、マクロブロックタイプは、第１マクロブロック及び第２マクロブロックに該当するマクロブロックタイプになる。言い換えると、視点内予測によるマクロブロックのマクロブロックタイプ及び視点間予測によるマクロブロックのマクロブロックタイプである２種類マクロブロックタイプが、現在マクロブロックのマクロブロックタイプになる。また、マクロブロック予測モードは、視点内予測と視点間予測が混合された予測方式となる。

以上説明してきた本発明の好適な実施例は、例示の目的で開示されたもので、添付の特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で様々な改良、変更、代替または付加などが可能であるということは、当業者にとっては明らかである。

本発明が適用されるビデオ信号デコーディング装置を示す概略的なブロック図である。 本発明が適用される実施例で、多視点映像コーディングされたビットストリームに追加されることができる多視点映像に関する属性情報を示す図である。 本発明が適用される実施例で、参照ピクチャリスト生成部６２０の内部ブロック図である。 本発明が適用された実施例で、ビデオ信号の視点拡張性を提供するためのレベル情報の階層的構造を示す図である。 本発明が適用される一実施例で、ＮＡＬヘッダの拡張領域内にレベル情報を含むＮＡＬ単位の構成を示す図である。 本発明が適用される実施例で、視点間ピクチャグループの概念を説明するための多視点映像信号の全体的な予測構造を示す図である。 本発明が適用される実施例で、新しく定義された視点間ピクチャグループの概念を説明するための予測構造を示す図である。 本発明が適用される実施例で、視点間ピクチャグループ識別情報を用いて多視点映像をデコーディングする装置を示す概略的なブロック図である。 本発明が適用される実施例で、参照ピクチャリストを生成する流れ図である。 本発明が適用される一実施例で、現在スライスがＰスライスである時の参照ピクチャリストを初期化する方法を説明するための図である。 本発明が適用される一実施例で、現在スライスがＢスライスである時の参照ピクチャリストを初期化する方法を説明するための図である。 本発明が適用される実施例で、参照ピクチャリスト再配列部（６３０）の内部ブロック図である。 本発明が適用される実施例で、参照番号割当変更部（６４３Ｂ、６４５Ｂ）の内部ブロック図である。 本発明が適用される一実施例で、視点情報を用いて参照ピクチャリストを再配列する過程を説明するための図である。 本発明が適用される他の実施例で、参照ピクチャリスト再配列部（６３０）の内部ブロック図である。 本発明が適用される実施例で、視点間予測のための参照ピクチャリスト再配列部（９７０）の内部ブロック図である。 本発明が適用される一実施例で、参照ピクチャリスト再配列のためのシンタックスを示す図である。 本発明が適用される一実施例で、参照ピクチャリスト再配列のためのシンタックスを示す図である。 本発明が適用される他の実施例で、参照ピクチャリスト再配列のためのシンタックスを示す図である。 本発明が適用される一実施例で、現在ブロックの輝度差分値を獲得する過程を説明するための図である。 本発明が適用される実施例で、現在ブロックに対する輝度補償を行う過程を説明するための流れ図である。 本発明が適用される一実施例で、隣接ブロックの情報を用いて現在ブロックの輝度差分予測値を獲得する過程を説明するための図である。 本発明が適用される一実施例で、隣接ブロックの情報を用いて輝度補償を行う過程を示す流れ図である。 本発明が適用される他の実施例で、隣接ブロックの情報を用いて輝度補償を行う過程を示す流れ図である。 本発明が適用された一実施例で、仮想視点のピクチャを用いて現在ピクチャを予測する過程を説明するための図である。 本発明が適用された実施例で、ＭＶＣで視点間予測を行うにおいて新しい視点のピクチャを合成するための過程を示す流れ図である。 本発明が適用されるビデオ信号コーディングにおいて、スライスタイプによって加重値予測を行う流れ図である。 本発明が適用されるビデオ信号コーディングにおいて、スライスタイプで許容されるマクロブロック類型の一実施例を示す図である。 本発明が適用される一実施例で、新しく定義されたスライスタイプによって加重値予測を行うシンタックスを示す図である。 本発明が適用される一実施例で、新しく定義されたスライスタイプによって加重値予測を行うシンタックスを示す図である。 本発明が適用されるビデオ信号コーディングにおいて、視点間加重値予測を行うか否かを示すフラグ情報を用いて加重値予測を行う流れ図である。 本発明が適用される一実施例で、現在ピクチャと他の視点に在るピクチャの情報を用いて加重値予測を行うか否かを示すフラグ情報に基づく加重値予測方法を説明するための図である。 本発明が適用される一実施例で、新しく定義されたフラグ情報によって加重値予測を行うシンタックスを示す図である。 本発明が適用される実施例で、ＮＡＬユニットタイプによって加重値予測を行う流れ図である。 本発明が適用される一実施例で、ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプである場合に加重値予測を行うシンタックスを示す図である。 本発明が適用される一実施例で、ＮＡＬユニットタイプが多視点ビデオコーディングのためのＮＡＬユニットタイプである場合に加重値予測を行うシンタックスを示す図である。 本発明が適用される実施例で、新しく定義されたスライスタイプによるビデオ信号デコーディング装置の部分ブロック図である。 図３７に示す装置で行われる本発明によるビデオ信号デコーディング方法を説明するための流れ図である。 本発明によるマクロブロック予測モードの一実施例を示す図である。 本発明によるスライスタイプ及びマクロブロック予測モードが適用されたシンタックスを示す。 本発明によるスライスタイプ及びマクロブロック予測モードが適用されたシンタックスを示す。 図４１におけるスライスタイプが適用された実施例を示す図である。 図４１のスライスタイプに含まれるスライスタイプの様々な実施例を示す図である。 本発明による両予測が混合された予測による混合スライスタイプで許容されるマクロブロックの一実施例を示す図である。 本発明による両予測が混合された予測による混合スライスに存在するマクロブロックのマクロブロックタイプの一実施例を示す図である。 本発明による両予測が混合された予測による混合スライスに存在するマクロブロックのマクロブロックタイプの一実施例を示す図である。 本発明による両予測が混合された予測による混合スライスに存在するマクロブロックのマクロブロックタイプの一実施例を示す図である。 本発明が適用される実施例で、新しく定義されたスライスタイプによるビデオ信号エンコーディング装置の部分ブロック図である。 図４８に示す装置で行われる本発明によるビデオ信号エンコーディング方法を説明するための流れ図である。

Claims (6)

1. 多視点ビデオストリームにおける多視点ビデオデータをデコーディングする方法であって、
   パージング部が、前記多視点ビデオストリームを受信する段階と、
   前記パージング部が、視点間予測のための参照ピクチャの視点識別情報を取得する段階であって、該視点識別情報は、現在視点にあるピクチャと他の視点にあるピクチャとを区別する情報である段階と、
   復号ピクチャバッファ部が、前記視点識別情報を用いて視点間予測のための参照ピクチャリストを生成する段階と、
   インター予測部が、前記生成された参照ピクチャリストに基づいてマクロブロックの予測値を決定する段階と、
   デコーダが、前記予測値を用いて前記マクロブロックをデコーディングする段階と、を有する、ことを特徴とする方法。
2. 前記多視点ビデオデータは、他の視点から独立した基準視点のビデオデータを含み、該基準視点は、視点間予測を用いないでデコーディングされる視点である、請求項１に記載の方法。
3. 前記視点識別情報は、シーケンスヘッダの拡張領域から取得される、請求項１に記載の方法。
4. 多視点ビデオストリームにおける多視点ビデオデータをデコーディングする装置であって、
   パージング部であって、
   前記多視点ビデオストリームを受信することと、
   視点間予測のための参照ピクチャの視点識別情報を取得することであって、該視点識別情報は、現在視点にあるピクチャと他の視点にあるピクチャとを区別する情報であることと、を行うパージング部と、
   前記視点識別情報を用いて視点間予測のための参照ピクチャリストを生成する復号ピクチャバッファ部と、
   前記生成された参照ピクチャリストに基づいてマクロブロックの予測値を決定するインター予測部と、
   前記予測値を用いて前記マクロブロックをデコーディングするデコーダと、を有する、ことを特徴とする装置。
5. 前記多視点ビデオデータは、他の視点から独立した基準視点のビデオデータを含み、該基準視点は、視点間予測を用いないでデコーディングされる視点である、請求項４に記載の装置。
6. 前記視点識別情報は、シーケンスヘッダの拡張領域から取得される、請求項４に記載の装置。

Images