JP4611386B2

JP4611386B2 - 多視点映像のスケーラブル符号化、復号化方法及び装置

Info

Publication number: JP4611386B2
Application number: JP2007542933A
Authority: JP
Inventors: ガン−フン・パク; ウォン−ジュン・チェ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-04-01
Filing date: 2006-03-31
Publication date: 2011-01-12
Anticipated expiration: 2026-03-31
Also published as: CA2588639C; JP2008521337A; KR20060105449A; EP1864498A4; CA2588639A1; US20060222079A1; AU2006229490A1; KR100732961B1; US8040952B2; CN101069430A; AU2006229490B2; EP1864498B1; CN101069430B; WO2006104326A1; EP1864498A1

Description

本発明は、映像の符号化、復号化方法及び装置に係り、特に複数のカメラから入力される多視点映像を空間軸方向及び時間軸方向に移動補償時間フィルタリング（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ：ＭＣＴＦ）または階層的Ｂピクチャを利用したフィルタリングを通じて再構成した後、スケーラブルビデオコーディング（ＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ：ＳＶＣ）技法を適用する多視点映像のスケーラブル符号化、復号化方法及び装置に関する。

デジタル放送サービスは、現在のＨＤＴＶ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）、衛星／地上波ＤＭＢ（ＤｉｇｉｔａｌＭｕｌｔｉｍｅｄｉａＢｒｏａｄｃａｓｔｉｎｇ）などから、双方向の対話形ＴＶ及び放送、立体ＴＶ及び放送を経て実感放送の形態に発展すると予想される。実感放送は、多様な視点での光景についての映像情報をユーザに提供し、該情報のうち、視聴者が見ようとする光景についての操作を通じてそれぞれの視聴者ごとに放送局から送られる情報を創造的に編集して視聴可能にする放送である。かかる実感放送を具現するためには、パノラマ映像を生成させねばならない。パノラマ映像の生成のために、一般的に複数のカメラを組み合わせて多様な視点での映像を取得した後、各カメラで取得された映像を連結するか、または全方向のカメラシステムを利用する。複数のカメラで獲得された映像情報をユーザに伝達するためには、多量のデータの収集及び伝送が必要とする。多視点映像の情報を収集できる方法として、多視点カメラシステム、ステレオスコーピックカメラシステム、全方向カメラシステムなど多様な方法が研究されている。そのうち、多視点カメラシステムは、Ｍ個のカメラから同時に一つの個体あるいは場面を撮影または伝送してユーザにカメラの位置による色々な場面を提供するか、または三次元場面を提供することである。

多視点映像コーディングは、多視点映像を提供するＭ個のカメラから入力された映像を同時にコーディングして圧縮保存及び伝送することである。多視点映像を圧縮せずに保存及び伝送する場合、データのサイズが非常に大きいため、データをリアルタイムで放送網または有／無線インターネットなどを通じてユーザに伝達するためには、大きいサイズの伝送帯域幅が要求される。例えば、１６個のカメラからそれぞれ１３１０×１０３０解像度を有する２４ビットのカラー映像を３０ｆｒａｍｅ／ｓｅｃの割合で入力される場合、１４．４Ｇｂ／ｓｅｃほどの大きいサイズのデータを処理せねばならない。したがって、現在、ＭＰＥＧでは、３Ｄオーディオ及びビデオサブグループ内で多視点コーディング方法のための下位グループを生成して、多視点ビデオから入力された膨大な量の映像データを、ビデオ圧縮技術を使用してコーディングする方法についての国際標準化を検討及び進行している。

図１Ａないし図１Ｃは、従来技術による多視点カメラの構成例を示す図面であり、図２は、４×４平行構造を有する１６個の多視点カメラで構成されたＦＴＶ（Ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔＴｅｌｅｖｉｓｉｏｎ）システムで同じ時間で各カメラに入力された映像を示す図面である。図１Ａないし図１Ｃは、それぞれ平行構造、収斂構造、発散構造で複数のカメラ１０が配置された場合を示している。カメラ１０の配置及び個数は、多視点映像の提供範囲によって変更可能である。

図２に示すように、多視点映像で各カメラに入力される映像は非常に類似している。すなわち、多視点映像を提供する各カメラの入力映像は、空間軸上の相関関係が非常に高い。したがって、多視点ビデオコーディングで高い圧縮効率を提供するためには、カメラの入力映像間の高い空間的な相関関係情報を活用する必要がある。また、多様な環境及び多様な演算能力を有する端末器上で多様に三次元または選択的な二次元に表すためには、空間的−時間的スケーラブルコーディングが必要である。

本発明の目的は、複数のカメラから所定時間の間に入力される多視点映像を空間的−時間的にフィルタリングすることによって、多様な空間的−時間的スケーラビリティを支援する多視点映像のスケーラブル符号化方法及び装置を提供することである。
本発明の他の目的は、スケーラブル符号化された多視点映像のビットストリームを復号化して、空間的−時間的スケーラビリティを支援する多視点映像の復号化方法及び装置を提供することである。

前記目的を達成するために、本発明による多視点映像のスケーラブル符号化方法は、（ａ）Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、（ｂ）所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、（ｃ）前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、（ｄ）前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的高周波数映像をスケーラブル符号化するステップと、を含むことを特徴とする。

本発明による多視点映像のスケーラブル符号化装置は、Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的映像フィルタリング部と、所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的映像フィルタリング部と、前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化する時間的映像スケーラブル符号化部と、前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的低周波数映像及び高周波数映像をスケーラブル符号化する空間的映像スケーラブル符号化部と、を備えることを特徴とする。

前記他の目的を達成するために、本発明による多視点映像のスケーラブル復号化方法は、（ａ）Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信するステップと、（ｂ）前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化するステップと、（ｃ）前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って、空間的低周波数映像を復元するステップと、（ｄ）前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化するステップと、（ｅ）前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元するステップと、を含むことを特徴とする。

本発明による多視点映像のスケーラブル復号化装置は、Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信し、前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化する時間的映像復号化部と、前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って、空間的低周波数映像を復元する時間的逆フィルタリング部と、前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化する空間的映像復号化部と、前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元する空間的逆フィルタリング部と、を備えることを特徴とする。

本発明によれば、多視点映像群を空間軸方向及び時間軸方向にフィルタリングした後、空間的、時間的に隣接した映像間の相関関係を利用することによって、多視点映像のコーディング効率を向上させる。また、本発明によれば、時間的スケーラビリティ、ビュー（カメラ）空間的スケーラビリティ、映像のサイズによる空間的スケーラビリティ及びＳＮＲスケーラビリティを提供できる。

以下、添付された図面を参照して、本発明の望ましい実施形態について詳細に説明する。まず、本発明の理解を助けるために、本発明に適用されるスケーラブル映像符号化及び階層的Ｂピクチャーについて説明する。
スケーラブル映像符号化は、多様な解像度とフレーム率、画質を有する映像情報を一つのビットストリームに作って多様な環境及び多様な端末器の実行能力に合わせて提供することである。

図３は、スケーラブル映像符号化の概念を説明するための参考図であり、図４は、スケーラブル映像符号化装置の一例を示す参考図である。図３及び図４に示すように、スケーラブル映像符号化は、入力映像３１に対して時間的変換３２を利用して時間的スケーラビリティを具現し、２次元空間的変換３３を利用して空間的スケーラビリティを具現する。また、スケーラブル映像符号化は、テクスチャーコーディング３４を利用して画質スケーラビリティを具現する。移動コーディング３５は、それぞれの空間的スケーラビリティを具現するときの移動情報を拡張的に符号化する。前記のようなコーディングアルゴリズムを通じて、一つのビットストリーム３６を生成する。

スケーラブル映像符号化において、時間的スケーラブルを提供して圧縮効率を向上させるための方法として、ＭＣＴＦ及び階層的Ｂ−ピクチャーがある。まず、ＭＣＴＦについて説明する。

ＭＣＴＦは、映像シーケンス内で時間方向の移動の情報を利用してウェーブレット変換を行うことをいう。ウェーブレット変換は、リフティングスキームを利用して具現される。リフティングスキームは、ウェーブレット変換を効率的に行うためのものであって、演算の速度が速く、量子化を行わなかった場合、完全な再構成映像を保証する特徴がある。リフティングスキームは、多位相分解、予測及びアップデートの三つの演算で構成される。
図５は、ＭＣＴＦで利用されるリフティングスキームで行われる演算過程を説明するための参考図である。図５に示すように、入力信号ｓ［ｋ］を偶数番目の信号ｓ［２ｋ］と奇数番目の信号ｓ［２ｋ＋１］とに分ける。奇数番目の信号ｓ［２ｋ＋１］から偶数番目の信号ｓ［２ｋ］の一次結合でなる予測演算子Ｐ（ｓ［２ｋ＋１］）を減算して、高周波信号ｈ［ｋ］を求める。低周波信号ｌ［ｋ］は、偶数番目の信号ｓ［２ｋ］に高周波信号ｈ［ｋ］の一次結合でなるアップデート演算子Ｕ（ｓ［２ｋ］）を加えることによって求める。この過程は、次の数式１のように表される。

図５において、Ｆ_ｌ，Ｆ_ｈは、それぞれ低周波信号と高周波信号とに該当するスケーリングファクタである。逆リフティングスキームで、逆スケーリング過程を行った信号ｈ［ｋ］，ｌ［ｋ］に対してアップデート演算及び予測演算を行えば、完全な再構成信号が得られる。数式２は、Ｈａａｒウェーブレットを利用したリフティングスキームを表す。

ｈ［ｋ］は、奇数番目の信号ｓ［２ｋ＋１］に予測演算、すなわち偶数番目の信号ｓ［２ｋ］を差し引くことによって求め、ｌ［ｋ］は、偶数番目の信号ｓ［２ｋ］にアップデート演算、すなわち高周波信号ｈ［ｋ］の１／２値を加えることによって求める。次の数式３は、逆リフティングスキームの例を表す。

ｓ［２ｋ］は、低周波信号ｌ［ｋ］にアップデート演算、すなわち高周波信号ｈ［ｋ］の１／２値を差し引くことによって求め、ｓ［２ｋ＋１］は、高周波信号ｈ［ｋ］に予測演算、すなわち再構成された偶数番目の信号ｓ［２ｋ］を加えることによって求める。前記のような過程により、リフティングスキームは、完全な再構成信号が得られるということを確認できる。

リフティングスキームを時間方向に構成するために、空間座標ｘ＝（ｘ，ｙ）^Ｔと時間座標ｋとを有するｓ［ｘ，ｋ］を映像信号とすれば、Ｈａａｒウェーブレットの予測とアップデート演算は、次の数式４のように表される。

図６は、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）のサイズが８である映像シーケンスで、Ｈａａｒウェーブレットを利用した時間的フィルタリングを示す参考図である。図６において、ＬＯは、原映像のシーケンスを表し、Ｈ１は、二番目のＬ０映像から一番目のＬ０映像を差し引いた残り映像を表す（予測過程）。Ｌ１は、一番目のＬ０映像とＨ１に１／２をかけた映像とを合わせた映像を表す（アップデート過程）。かかる過程をＬ１映像に適用してＨ２とＬ２とを生成し、Ｌ２に対して同じ過程を適用してＨ３とＬ３とを生成する。そして、Ｌ３，Ｈ３，Ｈ２，Ｈ２，Ｈ１，Ｈ１，Ｈ１，Ｈ１の順序に配列された映像が符号化されて復号化部に伝達される。

５／３スプラインウェーブレットを利用した予測及びアップデート演算は、次の数式５のように表す。

図７は、ＧＯＰのサイズが８である映像シーケンスで、５／３スプラインウェーブレットを利用した時間的フィルタリング過程を示す参考図である。図７において、ＬＯは、原映像のシーケンスを表し、Ｈ１は、偶数番目のＬ０映像から両側の奇数番目のＬ０映像に１／２をかけた映像を差し引いた残り映像を表す。Ｌ１は、奇数番目のＬ０映像とその両側のＨ１映像に１／４をかけた映像とを合わせた映像を表す。かかる過程を通じて、Ｌ３，Ｈ３，Ｈ２，Ｈ２，Ｈ１，Ｈ１，Ｈ１，Ｈ１の順序に配列された映像は符号化されて復号化部に伝達される。

前記リフティングスキームで予測とアップデート過程とを移動方向に行えば、ＭＣＴＦとなる。そして、ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）の多重参照を可能にする場合、Ｈａａｒフィルタ及び５／３スプラインウェーブレットを利用した予測とアップデート過程とは、次の数式６のように表す。

数式６において、ｍは、移動ベクトルを意味し、ｒ（ｒ≧０）は、参照映像のインデックスを意味する。

図８は、ブロック単位でＭＣＴＦの予測を行う過程の一例を示す参考図である。Ｈ_Ｎ＋１を予測するとき、イントラブロックでコーディングすることがコーディング効率が高い場合には、イントラブロックでコーディングし、両方向で予測することが適した場合は、５／３スプラインウェーブレットのような方法で現在映像から参照映像にそれぞれ１／２をかけた値を差し引く。また、一つの方向で予測することが適した場合は、Ｈａａｒウェーブレットのような方法で現在映像から参照映像を差し引く。現在映像が参照する映像が隣にあるのではなく、時間的に遠く離れている場合は、多重参照を利用する。

図９は、ブロック単位でＭＣＴＦのアップデートを行う過程の一例を示す参考図である。Ｌ_Ｎ＋１をアップデートするとき、前記予測過程のようにイントラブロックでコーディングすることが効率が高い場合には、イントラブロックでコーディングし、両方向で予測することが適した場合は、５／３スプラインウェーブレットのような方法で現在映像と参照映像とにそれぞれ１／４をかけた値を加え、一つの方向で予測することが適した場合は、Ｈａａｒウェーブレットのような方法で現在映像と参照映像とに１／２をかけた値を加える。また、ブロック単位でアップデートするとき、参照映像が隣にあるのではなく、遠く離れた映像である場合は、多重参照を利用する。

スケーラブル映像符号化において、スケーラビリティは、二つの方法を通じて具現されうる。一つは、ビットプレーンを利用する方法であり、他の一つは、従来のスケーラブル標準で使われた階層的な方法を利用するものである。前述した二つの方法をいずれも利用して時空間的、画質スケーラビリティを具現できる。

図１０は、スケーラブル映像符号化で時間的スケーラビリティを具現する過程を説明するための参考図である。スケーラブル映像符号化において、ＧＯＰ単位の原映像シーケンスを、ＭＣＴＦを通じて時間的サブバンド映像に分けた後、各サブバンドを階層に構成して時間的スケーラビリティを具現する。図１０に示すように、三回のＭＣＴＦを行って生成された低周波数映像Ｌ３を基本階層として１／１２フレーム率を支援できる。三回のＭＣＴＦを行って生成された高周波数映像Ｈ３は、基本階層の低周波数映像Ｌ３と共に１／４フレーム率の支援に利用される。同じ方法により、三つの高周波数映像Ｈ２と低周波数映像Ｌ２とは、共に１／２フレーム率の支援に利用される。最後に、６個の高周波数映像Ｈ１は、下位階層の映像と共に全体のフレーム率の支援に利用される。

空間的スケーラビリティは、従来のＭＰＥＧ−２，ＭＰＥＧ−４のように階層的な方法で提供され、基本階層は、ＡＶＣと互換となるように構成される。画質スケーラビリティは、ブロック単位のＦＧＳ（ＦｉｎｅＧｒａｎｕｌａｒＳｃａｌａｂｉｌｉｔｙ）方式を利用したビットプレーンコーディング方法を使用して具現し、基本階層上にＦＧＳ強化ビットストリームを任意の点でカットして付着することによって、向上階層の映像を提供する。画質スケーラビリティは、コンテクスト基板のコーディングを利用して具現されうる。

図１１は、時間的、空間的、画質スケーラビリティをいずれも具現したスケーラブル構造の一例を示す参考図である。図１１に示すように、空間的基本階層は、ＱＣＩＦ１５Ｈｚのフレーム率を有し、階層的なＢピクチャー構造で時間的スケーラビリティを具現して７．５Ｈｚのフレーム率まで提供する。基本的なビット率は、４１Ｋｂｐｓであり、ＡＶＣシンタックスに合わせてコーディングを行う。その上にＦＧＳを利用して画質スケーラビリティを具現して、８０Ｋｂｐｓまでのビット率を提供する。８０ＫｂｐｓのＱＣＩＦ１５Ｈｚ映像をアップサンプリングして、上位空間的スケーラブル階層で参照させる。上位空間的階層では、ＣＩＦ３０Ｈｚのフレーム率を有し、ＭＣＴＦコーディングを通じて時間的スケーラブルを具現して１．８７５Ｈｚまでのフレーム率を提供する。基本的なビット率は、１１５Ｋｂｐｓであり、その上にＦＧＳを利用して画質スケーラビリティを具現して２５６Ｋｂｐｓまでのビット率を提供する。

次いで、前述したＭＣＴＦと共に、本発明で多視点映像のフィルタリングに適用される階層的Ｂピクチャーについて説明する。

階層的Ｂピクチャーは、Ｈ．２６４で使用する１６個のピクチャーを保存できるＤＰＢ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）を管理するＭＭＣＯ（ＭｅｍｏｒｙＭａｎａｇｅｍｎｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎ）とＲＰＬＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＬｉｓｔＲｅｏｒｄｅｒｉｎｇ）とのシンタックスを利用して多様な方法で具現されうる。

図１２は、二分法的な階層構造を有する階層的Ｂピクチャーの一例を示す参考図である。ここで、ＧＯＰのサイズは８である。図１２に示すように、映像シーケンスの最前方に位置する映像は、従来の映像符号化標準案のようにＩＤＲピクチャーと呼ぶイントラピクチャーとして符号化する。ＧＯＰで最後に位置するピクチャーは、キーピクチャーといい、ＩピクチャーやＰピクチャーとしてコーディングされうる。図１２では、キーピクチャーのみを復号化すれば、１／８のフレーム率を支援でき、キーピクチャーとＢ_１ピクチャーとを復号化すれば、１／４のフレーム率を支援でき、Ｂ_２ピクチャーまで復号化すれば、１／２のフレーム率を支援でき、Ｂ_３ピクチャーまで復号化すれば、全体のフレーム率を支援できる。

図１３は、二分法的な階層構造を有さない階層的Ｂピクチャーの一例を示す参考図である。フレーム率は、色々な状況によって変化するので、常に二分法的にＧＯＰが構成されない。したがって、フレーム率が変化するあらゆる状況を支援可能に、階層的Ｂピクチャーは、二分法的でないＧＯＰ構造を支援できねばならない。図１３において、キーピクチャーのみを復号化すれば、１／１２のフレーム率を支援でき、キーピクチャーとＢ_１ピクチャーとを復号化すれば、１／６のフレーム率を支援でき、Ｂ_２ピクチャーまで復号化すれば、１／３のフレーム率を支援でき、Ｂ_３ピクチャーまで復号化すれば、全体のフレーム率を支援できる。

本発明では、前述したＭＣＴＦまたは階層的Ｂピクチャーを利用して映像をフィルタリングする。以下では、説明の便宜のために、ＭＣＴＦを利用する場合を中心に説明する。しかし、当業者ならば、ＭＣＴＦと同様に階層的Ｂピクチャーを利用して多視点映像を空間的−時間的にフィルタリングできるということを容易に理解できるであろう。
以下、本発明の望ましい実施形態による多視点映像のスケーラブル符号化方法及び装置について説明する。

本発明による多視点映像のスケーラブル符号化、復号化方法及び装置は、多様な解像度、フレーム率、画質を提供するために、多視点映像を一つのビットストリームに作って多様な端末器の実行能力に合わせて提供する。

図１４は、本発明による多視点映像のスケーラブル符号化及び復号化装置を備える多視点スケーラブル映像コーデックの全体構成を示す図面である。図１４に示すように、多視点スケーラブル映像コーデックは、多視点映像符号化部１４２０、部分ビットストリーム生成部１４３０及び多視点映像復号化部１４４０を備える。多視点映像符号化部１４２０は、複数のカメラ１４１０から入力される多視点映像をスケーラブル符号化して時間的、空間的、画質スケーラビリティを有するフルビットストリームを生成する。部分ビットストリーム生成部１４３０は、時間的、空間的及び画質解像度によってフルビットストリームに対する部分的な復号化ができるように部分ビットストリームを生成する。このように生成された全体ビットストリームまたは部分ビットストリームは、多視点映像復号化部１４４０で復元されてディスプレイ部１４５０を通じて出力される。

図１５は、本発明による多視点映像のスケーラブル符号化装置の構成を示す図面であり、図１６は、本発明による多視点映像のスケーラブル符号化方法を示すフローチャートである。図１５に示すように、多視点映像スケーラブル符号化装置１５００は、空間的映像フィルタリング部１５１０、時間的映像フィルタリング部１５２０、時間的映像スケーラブル符号化部１５３０、空間的映像スケーラブル符号化部１５４０、ビットレート制御部１５５０及び多重化部１５６０を備える。

空間的映像フィルタリング部１５１０は、空間軸上のＭ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、ＭＣＴＦまたは階層的Ｂ構造を利用した空間的フィルタリングを行う（ステップ１６１０）。空間的フィルタリングは、２次元映像群のうち、同一時間に入力された空間軸上の映像に対して行われる。空間的フィルタリングの結果、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とが生成される。また、空間的フィルタリングは、複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造を有し、所定時間Ｎの間に反復して行われる。

時間的映像フィルタリング部１５２０は、前記空間的フィルタリングの実行結果により生成されたＮ個の空間的低周波数映像に対して、ＭＣＴＦまたは階層的Ｂ構造を利用したフィルタリングを行う（ステップ１６２０）。Ｎ時間単位の間に空間的映像フィルタリング部１５１０により生成されたＮ個の空間的低周波数映像に対する時間的フィルタリングの結果、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とが生成される。時間的映像フィルタリング部１５２０は、以前に処理された２次元映像群に対するＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングにより、以前に生成された時間的低周波数映像を利用するオープンループ構造を有する。

時間的映像スケーラブル符号化部１５３０は、時間的映像フィルタリング部１５２０で生成された時間軸上の時間的低周波、高周波数映像を２次元映像群に割り当てられた伝送ビット率及び要求される時間的解像度に適してビットレート制御部１５５０の制御によってスケーラブル符号化を行う（ステップ１６３０）。スケーラブル符号化過程には、前述したような２次元空間変換、テクスチャコーディング及びモーションコーディングが行われ、これは、周知のスケーラブル符号化方法と同一に行われうる。

空間的映像スケーラブル符号化部１５４０は、空間的映像フィルタリング部１５１０で生成された空間軸上の高周波数映像群に対して、時間軸上の時間的低周波数映像及び高周波数映像の符号化に割り当てられたビットと要求される空間的解像度とを考慮してスケーラブル符号化を行う（ステップ１６４０）。

多重化部１５６０は、時間的映像スケーラブル符号化部１５３０及び空間的映像スケーラブル符号化部１５４０で符号化された空間的−時間的低周波数映像及び高周波数映像を多重化してビットストリームを出力する（ステップ１６５０）。

以下では、多視点映像のスケーラブル符号化方法及び装置について具体的に説明する。

図１７は、本発明による２次元映像群の一例を示す図面である。

複数のカメラから入力される多視点映像をスケーラブル符号化するために、本発明は、従来の一つのカメラから所定時間単位の間に入力されるＧＯＰとは異なる２次元映像群を利用する。２次元映像群は、Ｍ個の多視点カメラから各時間単位に入力される空間軸上のＭ個の映像と、各カメラから所定のＮ時間単位の間に入力される時間軸上のＮ個の映像とを含む。すなわち、空間軸方向にＭ個のカメラから映像が入力され、時間軸方向にＮ個の映像が入力されて、Ｍ×Ｎ個の映像集合である２次元映像群が構成される。ここで、ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングのために、Ｍ＝２^ｍ，Ｎ＝２^ｎ（ｍ，ｎは定数）であることが望ましい。

図１７では、２次元ＧＯＰの一例として、８個のカメラで構成された多視点カメラ１７１０から時間軸方向に８個の映像が入力された場合の映像集合である２次元映像群１７２０を示す。図１７で、各カメラに入力された時間軸方向の映像は、各カメラの下端に時系列で示した。また、Ｆ_ｘｙ映像は、ｘ番目のカメラにｙ番目の時間単位に入力された映像を表す。例えば、Ｆ_００，Ｆ_１０，Ｆ_２０，Ｆ_３０，Ｆ_４０，Ｆ_５０，Ｆ_６０，Ｆ_７０は、多視点カメラ１７１０を構成する各カメラに最初に入力される映像を表す。また、Ｆ_００，Ｆ_０１，Ｆ_０２，Ｆ_０３，Ｆ_０４，Ｆ_０５，Ｆ_０６，Ｆ_０７，Ｆ_０８は、時間軸方向に一番目のカメラに時系列で入力される映像を表す。

本発明は、２次元映像群を空間軸及び時間軸方向にＭＣＴＦを行うことによって、空間軸上の部分映像群の復号化及び時間軸上の部分映像群の復号化を可能にする。従来のように時間軸上にのみＭＣＴＦまたは階層的Ｂピクチャーを利用してフィルタリングを行うことと異なり、本発明は、Ｍ個のカメラから同一時間に入力される多視点映像に対してＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的フィルタリング過程と、空間的フィルタリングを通じて生成されたＭ個の空間的低周波数映像を再び時間軸方向にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的フィルタリング過程とに分けられる。

図１８は、本発明による多視点映像の空間的フィルタリング過程を説明するための図面である。前述したように、空間的映像フィルタリング部１５１０で行われる多視点映像の空間的フィルタリングは、図１７に示した２次元映像群１７２０のうち、同一時間に入力される空間軸上の多視点映像を低周波数映像と高周波数映像とに分解することをいう。空間的フィルタリングには、前述したＭＣＴＦまたは階層的Ｂピクチャー構造が利用されうる。空間的フィルタリングは、複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造である。図１８において、Ｌ０１８１０は、各カメラから同じ時間に入力された原映像を表す。すなわち、Ｌ０は、図１７に示した２次元映像群１７２０のうち同じｉ番目の時間に入力されたＦ_０ｉ，Ｆ_１ｉ，Ｆ_２ｉ，Ｆ_３ｉ，Ｆ_４ｉ，Ｆ_５ｉ，Ｆ_６ｉ，Ｆ_７ｉを表す。例えば、ＬＯは、Ｆ_０１，Ｆ_１１，Ｆ_２１，Ｆ_３１，Ｆ_４１，Ｆ_５１，Ｆ_６１，Ｆ_７１となりうる。前述したＭＣＴＦで説明したように、Ｈ１は、偶数番目のカメラのＬ０映像から両側のカメラのＬ０映像に１／２をかけた映像を差し引くことによって得られる（予測過程）。Ｌ１は、奇数番目のカメラの映像と両側のＨ１映像に１／４をかけた映像とを合わせることによって得られる（アップデート過程）。かかる過程を通じて８個のカメラから同一時間に入力された多視点映像は、一つの低周波数映像Ｌ３と７個の高周波数映像Ｈ１，Ｈ２，Ｈ１，Ｈ３，Ｈ１，Ｈ２，Ｈ１とに分解される。空間的フィルタリングの実行結果により生成された低周波数映像及び高周波数映像は、所定の順序にスケーラブル符号化される。

図１９は、本発明による多視点映像のスケーラブル符号化時に利用される空間的フィルタリングと時間的フィルタリングとの関係を説明するための図面である。前述したように、空間的映像フィルタリング部１５１０は、各カメラから同一時間に入力された空間軸上の映像に対して、空間軸方向にＭＣＴＦまたは階層的Ｂピクチャーを利用した空間的フィルタリングを行って、任意のｉ番目の時間単位に入力された映像を一つの空間的低周波数映像と複数の空間的高周波数映像とに分解する。各カメラから入力される最初の映像１９３０のうち、Ｌ_０映像１９３１は、イントラ符号化され、空間軸上の残り映像Ｈ_０１，Ｈ_０２，Ｈ_０３，Ｈ_０４，Ｈ_０５，Ｈ_０６，Ｈ_０７に対しては空間的フィルタリングが行われる。一番目の映像群以後のｉ番目の時間単位に入力される８個の映像は、空間的フィルタリングされて一つの空間的低周波数映像と７個の空間的高周波数映像とに分解される。前記のような空間的フィルタリング過程は、２次元映像群内の同一時間に入力された映像に対して反復して行われる。その結果、２次元映像群内の映像は、Ｎ（＝８）個の低周波数映像｛Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４，Ｌ_５，Ｌ_６，Ｌ_７，Ｌ_８｝と、（Ｍ−１）×Ｎ個の｛Ｈ_１１，Ｈ_１２，Ｈ_１３，Ｈ_１４，Ｈ_１５，Ｈ_１６，Ｈ_１７｝，｛Ｈ_２１，Ｈ_２２，Ｈ_２３，Ｈ_２４，Ｈ_２５，Ｈ_２６，Ｈ_２７｝，｛Ｈ_３１，Ｈ_３２，Ｈ_３３，Ｈ_３４，Ｈ_３５，Ｈ_３６，Ｈ_３７｝，｛Ｈ_４１，Ｈ_４２，Ｈ_４３，Ｈ_４４，Ｈ_４５，Ｈ_４６，Ｈ_４７｝，｛Ｈ_５１，Ｈ_５２，Ｈ_５３，Ｈ_５４，Ｈ_５５，Ｈ_５６，Ｈ_５７｝，｛Ｈ_６１，Ｈ_６２，Ｈ_６３，Ｈ_６４，Ｈ_６５，Ｈ_６６，Ｈ_６７｝，｛Ｈ_７１，Ｈ_７２，Ｈ_７３，Ｈ_７４，Ｈ_７５，Ｈ_７６，Ｈ_７７｝，｛Ｈ_８１，Ｈ_８２，Ｈ_８３，Ｈ_８４，Ｈ_８５，Ｈ_８６，Ｈ_８７｝高周波数映像とに分解される。すなわち、ｉ（ｉ＝１，２，…，８）番目の各カメラに入力された８個の空間軸方向の映像は、一つの空間的低周波数映像及び７個の高周波数映像に分解されて｛Ｌ_ｉ，Ｈ_ｉ１，Ｈ_ｉ２，Ｈ_ｉ３，Ｈ_ｉ４，Ｈ_ｉ５，Ｈ_ｉ６，Ｈ_ｉ７｝が生成される。

次いで、時間的映像フィルタリング部１５２０は、時間軸上のＮ（＝８）個の空間的低周波数映像１９１１に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した時間的フィルタリングを行って、時間的低周波数映像Ｌ_Ｔと時間的高周波数映像｛Ｈ_Ｔ１，Ｈ_Ｔ２，Ｈ_Ｔ３，Ｈ_Ｔ４，Ｈ_Ｔ５，Ｈ_Ｔ６，Ｈ_Ｔ７｝１９２０とを生成する。また、時間軸で生成された低周波数映像Ｌ_Ｔは、次の２次元映像群の時間的フィルタリングを行うときに予測過程に利用される。

図２０は、本発明による空間的フィルタリング結果により生成された空間的低周波数映像に対して時間的フィルタリングを行う過程を説明するための図面である。図２０では、８個のカメラから所定の８個の時間単位の間に入力された２次元映像群に対して時間的フィルタリングを行う場合を示している。図２０において、一番目のＬ０映像１９１２は、以前の２次元映像群で時間的フィルタリングを行った結果により生成された最後の低周波数映像であって、予測過程で参照される。

多視点映像列の始めで、各カメラの一番目の映像群１９１１は、２次元映像群に含まれず、その次の映像から２次元映像群に含まれる。すなわち、各カメラの一番目の映像のうち、一番目のカメラの映像は、イントラコーディングされ、残りの映像は、空間的フィルタリングを経て符号化される。２次元映像群内で時間的フィルタリングを行う過程は、空間的フィルタリングの実行結果により生成された空間的低周波数映像を利用するという点を除いては、前述したＭＣＴＦ過程と同一である。時間的フィルタリング結果により生成された時間的低周波数映像及び時間的高周波数映像は、所定の順序にスケーラブル符号化される。

図２１は、本発明による多視点映像のスケーラブル符号化過程を説明するための図面である。図２１を参照して、８×８サイズの２次元映像群に対する空間的フィルタリング及び時間的フィルタリングを行った後にフィルタリングされた映像をスケーラブル符号化する過程を説明すれば、次の通りである。

まず、８個のカメラＳ０ないしＳ７から入力された一番目の映像のうち、Ｌ^０Ｉ _０映像は、イントラ符号化され、残りのＭ−１個の空間軸方向の入力映像は、空間軸上でＭＣＴＦまたは階層的Ｂピクチャーを利用して空間的フィルタリングされた後、符号化過程を経てＨ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１，Ｈ^０Ｓ _１２，Ｈ^０Ｓ _１３，Ｈ^０Ｓ _１４の順序にビットストリームが生成される。

Ｍ個のカメラから入力された一番目の映像群に対する符号化が完了した後、次のように２次元映像群単位でＭ×Ｎ個の映像が順次に処理される（本例では、Ｍ＝８，Ｎ＝８である場合を中心に説明する）。

Ｍ個のカメラから入力された映像群が時間軸上にＮ（＝８）個がそれぞれ入力される度に空間軸方向に空間的フィルタリングを行って、各ｉ^ｔｈ時間軸上にＬ^ｉＴ _０，Ｈ^ｉＳ _１１，Ｈ^ｉＳ _２１，Ｈ^ｉＳ _１２，Ｈ^ｉＳ _３，Ｈ^ｉｓ _１３，Ｈ^ｉＳ _２２，Ｈ^ｉＳ _１４で構成された一つの空間的低周波数映像とＭ（＝８）−１個の空間的高周波数映像群とが生成される。

空間的フィルタリング結果により生成されたＮ（＝８）個の空間的低周波数映像｛Ｌ^１Ｔ _０，Ｌ^２Ｔ _０，…，Ｌ^８Ｔ _０｝に対して時間軸方向に時間的フィルタリングを行って、｛Ｈ^１Ｔ _１１，Ｈ^２Ｔ _２１，Ｈ^３Ｔ _１２，Ｈ^４Ｔ _３，Ｈ^５Ｔ _１３，Ｈ^６Ｔ _２２，Ｈ^７Ｔ _１４，Ｌ^８Ｔ _０｝で構成された一つの時間的低周波数映像Ｌ^８Ｔ _０と残りのＮ（＝８）−１個の時間的高周波数映像群とが生成される。

前記のようにＭ×Ｎサイズの２次元映像群に対してＭＣＴＦを利用した空間的フィルタリング及び時間的フィルタリングが行われれば、２次元映像群に含まれたＭ×Ｎ個の映像は、一つの低周波数映像と残りのＭ×Ｎ−１個の高周波数映像とに変換される。次いで、基準となる時間軸の映像を時間的解像度によってスケーラブル符号化し、残りの対応する空間軸の映像を符号化する。すなわち、Ｍ×Ｎサイズの２次元映像群を復号化部へ伝送するために、時間的映像スケーラブル符号化部１５３０は、２次元映像群に割り当てられた伝送ビット率に適してビットレート制御部１５５０の制御によって、前記時間的低周波数映像及び高周波数映像に対して時間的スケーラブル符号化を行う。時間的スケーラブル符号化方法は、従来のＨ．２６４などの符号化方法と同一に行われる。すなわち、空間的−時間的フィルタリング結果により生成された一つの映像は、イントラブロックまたはインターブロックに区分され、イントラブロックは、テクスチャコーディングを利用して符号化され、インターブロックは、モーションベクトル及びレジデュアル信号に対する符号化が行われる。ビットレート制御部１５５０は、複数のカメラの映像を全部符号化したとき、伝送可能なビット率を制御する。例えば、目標のビットレートが５１２ｋｂｐｓであり、８個のカメラ入力映像が総１０００フレームである場合、１０００フレームの全体を符号化した結果、平均の伝送ビット率が５１２ｋｂｐｓとならねばならない。したがって、前記ビットレート制御部１５５０は、２次元映像群または符号化される映像ごとに特定サイズのビットを割り当てることによって、あらゆる映像を符号化したときの平均ビット率を目標ビット率に合わせる。前記ビットレート制御部１５５０は、広く知られたように多様な方法で具現可能である。

次いで、空間的映像スケーラブル符号化部１５４０は、時間的高周波数映像｛Ｈ^１Ｔ _１１，Ｈ^２Ｔ _２１，Ｈ^３Ｔ _１２，Ｈ^４Ｔ _３，Ｈ^５Ｔ _１３，Ｈ^６Ｔ _２２，Ｈ^７Ｔ _１４，Ｌ^８Ｔ _０｝に割り当てられたビットと要求される空間的解像度とを考慮して、各時間軸ｉで導出された空間的高周波数映像群｛Ｈ^ｉＳ _１１，Ｈ^ｉＳ _２１，Ｈ^ｉＳ _１２，Ｈ^ｉＳ _３，Ｈ^ｉｓ _１３，Ｈ^ｉＳ _２２，Ｈ^ｉＳ _１４｝に対して空間的スケーラブル符号化を行う。

時間的スケーラブル符号化結果により生成された時間的低周波数映像及び時間的高周波数映像に対応するビットストリームは、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝順序に生成され、復号化部に前記順序に伝送される。伝送順序は、ＭＣＴＦの実行時に最後に生成される基本階層からその上位の向上階層の順序に対応する。

前記時間的低周波数及び高周波数映像の順序と同一に、空間軸上の映像に対するビットストリームが復号化端へ伝送される。すなわち、時間軸上でＬ^８Ｔ _０のビットストリームが最初に伝送されたので、８番目の空間軸上の映像に対するビットストリームである｛Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４｝が伝送され、次の時間軸上でＨ^４Ｔ _３のビットストリームが伝送されたので、｛Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４｝のビットストリームが伝送される。これは、今後、復号化端で時間軸上の部分復号化と空間軸上の部分復号化とを可能にすることである。すなわち、｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４），（Ｈ^２Ｓ _３，Ｈ^２Ｓ _２１，Ｈ^２Ｓ _２２，Ｈ^２Ｓ _１１，Ｈ^２Ｓ _１２，Ｈ^２Ｓ _１３，Ｈ^２Ｓ _１４），（Ｈ^６Ｓ _３，Ｈ^６Ｓ _２１，Ｈ^６Ｓ _２２，Ｈ^６Ｓ _１１，Ｈ^６Ｓ _１２，Ｈ^６Ｓ _１３，Ｈ^６Ｓ _１４），（Ｈ^１Ｓ _３，Ｈ^１Ｓ _２１，Ｈ^１Ｓ _２２，Ｈ^１Ｓ _１１，Ｈ^１Ｓ _１２，Ｈ^１Ｓ _１３，Ｈ^１Ｓ _１４），（Ｈ^３Ｓ _３，Ｈ^３Ｓ _２１，Ｈ^３Ｓ _２２，Ｈ^３Ｓ _１１，Ｈ^３Ｓ _１２，Ｈ^３Ｓ _１３，Ｈ^３Ｓ _１４），（Ｈ^５Ｓ _３，Ｈ^５Ｓ _２１，Ｈ^５Ｓ _２２，Ｈ^５Ｓ _１１，Ｈ^５Ｓ _１２，Ｈ^５Ｓ _１３，Ｈ^５Ｓ _１４），（Ｈ^７Ｓ _３，Ｈ^７Ｓ _２１，Ｈ^７Ｓ _２２，Ｈ^７Ｓ _１１，Ｈ^７Ｓ _１２，Ｈ^７Ｓ _１３，Ｈ^７Ｓ _１４）｝の順序に空間軸上の残りの空間的高周波数映像群に対するビットストリームが復号化端へ伝送される。前記過程は、２次元映像群単位で映像シーケンスが終わるまで反復する。

前述した本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームは、空間的解像度及び時間的解像度によって次のように構成されうる。まず、時間軸上の時間的解像度によるビットストリーム構成の一例を説明する。

再び図２１に示すように、時間的フル解像度を有するビットストリームは、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４），（Ｈ^２Ｓ _３，Ｈ^２Ｓ _２１，Ｈ^２Ｓ _２２，Ｈ^２Ｓ _１１，Ｈ^２Ｓ _１２，Ｈ^２Ｓ _１３，Ｈ^２Ｓ _１４），（Ｈ^６Ｓ _３，Ｈ^６Ｓ _２１，Ｈ^６Ｓ _２２，Ｈ^６Ｓ _１１，Ｈ^６Ｓ _１２，Ｈ^６Ｓ _１３，Ｈ^６Ｓ _１４），（Ｈ^１Ｓ _３，Ｈ^１Ｓ _２１，Ｈ^１Ｓ _２２，Ｈ^１Ｓ _１１，Ｈ^１Ｓ _１２，Ｈ^１Ｓ _１３，Ｈ^１Ｓ _１４），（Ｈ^３Ｓ _３，Ｈ^３Ｓ _２１，Ｈ^３Ｓ _２２，Ｈ^３Ｓ _１１，Ｈ^３Ｓ _１２，Ｈ^３Ｓ _１３，Ｈ^３Ｓ _１４），（Ｈ^５Ｓ _３，Ｈ^５Ｓ _２１，Ｈ^５Ｓ _２２，Ｈ^５Ｓ _１１，Ｈ^５Ｓ _１２，Ｈ^５Ｓ _１３，Ｈ^５Ｓ _１４），（Ｈ^７Ｓ _３，Ｈ^７Ｓ _２１，Ｈ^７Ｓ _２２，Ｈ^７Ｓ _１１，Ｈ^７Ｓ _１２，Ｈ^７Ｓ _１３，Ｈ^７Ｓ _１４）｝の２次元映像群内の全体の映像情報を含む。

時間的１／２解像度を有するビットストリームは、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４），（Ｈ^２Ｓ _３，Ｈ^２Ｓ _２１，Ｈ^２Ｓ _２２，Ｈ^２Ｓ _１１，Ｈ^２Ｓ _１２，Ｈ^２Ｓ _１３，Ｈ^２Ｓ _１４），（Ｈ^６Ｓ _３，Ｈ^６Ｓ _２１，Ｈ^６Ｓ _２２，Ｈ^６Ｓ _１１，Ｈ^６Ｓ _１２，Ｈ^６Ｓ _１３，Ｈ^６Ｓ _１４）｝の映像情報を含む。すなわち、時間的フィルタリング結果により生成された｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝のうち時間軸方向に４個の映像のみが符号化され、前記時間軸方向に対応する空間的高周波数映像が時間的１／２解像度を有するビットストリームに含まれる。

時間的１／４解像度を有するビットストリームは、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４）｝の映像情報を含む。すなわち、時間的フィルタリング結果により生成された｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝のうち時間軸方向に二つの映像のみが符号化され、前記時間軸方向に対応する空間的高周波数映像が時間的１／４解像度を有するビットストリームに含まれる。

時間的１／８解像度を有するビットストリームは、｛Ｌ^８Ｔ _０｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４）｝の映像情報を含む。

次いで、空間的解像度によるビットストリーム構成の一例を説明する。本発明において、空間的解像度は、複数のカメラのうちユーザに提供する視点解像度を意味する。

図２１に示すように、空間的フル解像度を有するビットストリームは、前述した時間的フル解像度を有するビットストリームと同一に｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２，Ｈ^８Ｓ _１１，Ｈ^８Ｓ _１２，Ｈ^８Ｓ _１３，Ｈ^８Ｓ _１４），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２，Ｈ^４Ｓ _１１，Ｈ^４Ｓ _１２，Ｈ^４Ｓ _１３，Ｈ^４Ｓ _１４），（Ｈ^２Ｓ _３，Ｈ^２Ｓ _２１，Ｈ^２Ｓ _２２，Ｈ^２Ｓ _１１，Ｈ^２Ｓ _１２，Ｈ^２Ｓ _１３，Ｈ^２Ｓ _１４），（Ｈ^６Ｓ _３，Ｈ^６Ｓ _２１，Ｈ^６Ｓ _２２，Ｈ^６Ｓ _１１，Ｈ^６Ｓ _１２，Ｈ^６Ｓ _１３，Ｈ^６Ｓ _１４），（Ｈ^１Ｓ _３，Ｈ^１Ｓ _２１，Ｈ^１Ｓ _２２，Ｈ^１Ｓ _１１，Ｈ^１Ｓ _１２，Ｈ^１Ｓ _１３，Ｈ^１Ｓ _１４），（Ｈ^３Ｓ _３，Ｈ^３Ｓ _２１，Ｈ^３Ｓ _２２，Ｈ^３Ｓ _１１，Ｈ^３Ｓ _１２，Ｈ^３Ｓ _１３，Ｈ^３Ｓ _１４），（Ｈ^５Ｓ _３，Ｈ^５Ｓ _２１，Ｈ^５Ｓ _２２，Ｈ^５Ｓ _１１，Ｈ^５Ｓ _１２，Ｈ^５Ｓ _１３，Ｈ^５Ｓ _１４），（Ｈ^７Ｓ _３，Ｈ^７Ｓ _２１，Ｈ^７Ｓ _２２，Ｈ^７Ｓ _１１，Ｈ^７Ｓ _１２，Ｈ^７Ｓ _１３，Ｈ^７Ｓ _１４）｝の映像情報を含む。

空間的１／２解像度を有するビットストリーム、すなわち８個のカメラのうち選択された４個のカメラの映像情報を含むビットストリームは、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝，｛（Ｈ^８Ｓ _３，Ｈ^８Ｓ _２１，Ｈ^８Ｓ _２２），（Ｈ^４Ｓ _３，Ｈ^４Ｓ _２１，Ｈ^４Ｓ _２２），（Ｈ^２Ｓ _３，Ｈ^２Ｓ _２１，Ｈ^２Ｓ _２２），（Ｈ^６Ｓ _３，Ｈ^６Ｓ _２１，Ｈ^６Ｓ _２２），（Ｈ^１Ｓ _３，Ｈ^１Ｓ _２１，Ｈ^１Ｓ _２２），（Ｈ^３Ｓ _３，Ｈ^３Ｓ _２１，Ｈ^３Ｓ _２２），（Ｈ^５Ｓ _３，Ｈ^５Ｓ _２１，Ｈ^５Ｓ _２２），（Ｈ^７Ｓ _３，Ｈ^７Ｓ _２１，Ｈ^７Ｓ _２２）｝の映像情報を含む。前記例は、図２１に示した８個のカメラＳ０ないしＳ７の入力映像のうち奇数番目のカメラ、すなわちＳ０，Ｓ２，Ｓ４，Ｓ６の四つのカメラから入力された映像情報を含む場合である。

空間的１／４解像度を有するビットストリーム、すなわち８個のカメラのうち選択された二つのカメラの映像情報を含むビットストリームは、一例として｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝，｛（Ｈ^８Ｓ _３），（Ｈ^４Ｓ _３），（Ｈ^２Ｓ _３），（Ｈ^６Ｓ _３），（Ｈ^１Ｓ _３），（Ｈ^３Ｓ _３），（Ｈ^５Ｓ _３），（Ｈ^７Ｓ _３）｝の映像情報を含む。また、空間的１／８解像度を有するビットストリーム、すなわち８個のカメラのうち選択された一つのカメラの映像情報のみを含むビットストリームは、一例としてフィルタリングされた映像のうち｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝の映像情報のみを含む。

図２２ないし図２５は、本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。

図２２は、本発明による多視点映像のスケーラブル符号化過程で、２次元映像群の全体の映像情報を含むフルビットストリームを示す図面である。図２１及び図２２に示すように、｛Ｌ^０Ｉ _０，Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１，Ｈ^０Ｓ _１２，Ｈ^０Ｓ _１３，Ｈ^０Ｓ _１４｝２２００，２２１０に該当するビットストリームは、８個のカメラから入力された一番目の空間軸方向の映像群である。前記一番目の空間軸方向の映像群の次には、時間的フィルタリング結果により生成された時間的低周波数映像及び高周波数映像である｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝に該当するビットストリーム２２１５が挿入される。次いで、前記時間的低周波数映像及び高周波数映像の順序によって対応する空間的高周波数映像のビットストリーム２２２０，２２２５，２２３０，２２３５，２２４０，２２４５，２２５０，２２５５が挿入される。すなわち、時間的低周波数映像Ｌ^４Ｓ _０，Ｌ^２Ｓ _０，Ｌ^６Ｓ _０，Ｌ^１Ｓ _０，Ｌ^３Ｓ _０，Ｌ^５Ｔ _０，Ｌ^７Ｔ _０に対応する符号化された空間的高周波数映像がビットストリームに順次に挿入される。

図２３は、本発明による多視点映像のスケーラブル符号化過程で、空間軸方向に部分符号化されたビットストリームを示す図面である。図２３では、前記図２１のＳ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラから入力される映像のみを処理する場合を示した。図２１及び図２３に示すように、Ｓ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラから入力される映像のみを符号化して空間的１／２解像度を有するビットストリームを構成する場合、時間的低周波数映像及び高周波数映像である｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝に該当するビットストリーム２３１５の全体がそのままビットストリームに挿入されるが、空間的高周波数映像は、いずれもビットストリームに挿入されず、前記Ｓ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラに入力された映像に対応する空間的高周波数映像のビットストリーム２３２０，２３２５，２３３０，２３３５，２３４０，２３４５，２３５０，２３５５のみが挿入される。かかる部分ビットストリームは、前記空間的映像スケーラブル符号化部１５４０で要求される空間的解像度によって生成されることもあり、復号化端でフルビットストリームから抽出して再構成することによって生成されることもある。

図２４は、本発明による多視点映像のスケーラブル符号化過程で、時間軸方向に部分符号化されたビットストリームを示す図面である。図２４では、フル時間的解像度から１／２時間的解像度に縮少して部分符号化されたビットストリームを生成した場合を示した。図２１及び図２４に示すように、時間的フィルタリング結果により生成された時間的低周波数映像及び高周波数映像に該当する｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝のうち、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝２４１５に該当する時間的低周波数映像及び高周波数映像のビットストリームのみが挿入される。また、時間的低周波数映像及び高周波数映像に対応する空間的高周波数映像のビットストリーム２４２０，２４２５，２４３０，２４３５が挿入される。

図２５は、本発明による多視点映像のスケーラブル符号化過程で、時間軸及び空間軸方向に部分符号化されたビットストリームを示す図面である。図２５では、１／２時間的解像度及びＳ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラの入力映像のみを処理する場合の部分符号化されたビットストリームを示した。

このように、本発明による多視点映像のスケーラブル符号化方法では、時間軸及び空間軸に対する空間的−時間的解像度のスケーラビリティが可能である。解像度の範囲は、Ｍ×Ｎ（Ｍ＝２^ｍ，Ｎ＝２^ｎ）で構成される２次元映像群のサイズに反比例する。すなわち、本発明によれば、空間的解像度は１／Ｍ、時間的解像度は１／Ｎまで提供されうる。

以下、本発明による多視点映像のスケーラブル復号化方法及び装置について説明する。

図２６は、本発明による多視点映像のスケーラブル復号化装置の構成を示す図面であり、図２７は、本発明による多視点映像のスケーラブル復号化方法を示すフローチャートである。

図２６に示すように、本発明による多視点映像のスケーラブル復号化装置は、時間的映像復号化部２６１０、時間的逆フィルタリング部２６２０、空間的映像復号化部２６３０及び空間的逆フィルタリング部２６４０を備える。
時間的映像復号化部２６１０は、前述した多視点映像のスケーラブル符号化方法によって符号化されたビットストリームを受信する（ステップ２７１０）。次いで、時間的映像復号化部２６１０は、受信されたビットストリームを復号化して、前記ビットストリームに備えられた時間的低周波数映像及び高周波数映像を生成する（ステップ２７２０）。復号化過程には、一般的な映像復号化と同様にＩＤＣＴ（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、テクスチャ情報及びモーション情報が生成される。

時間的逆フィルタリング部２６２０は、復号化された時間的低周波数映像及び時間的高周波数映像に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリング、すなわち合成過程を行って空間軸上の対応する空間的低周波数映像を復元する（ステップ２７３０）。

空間的映像復号化部２６３０は、要求される時空間的解像度によってビットストリームに備えられた空間的高周波数映像を復号化する（ステップ２７４０）。

空間的逆フィルタリング部２６４０は、前記時間的逆フィルタリング部２６２０で復元された空間的低周波数映像及び空間的映像復号化部２６３０で復号化された空間的高周波数映像に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って空間軸上の映像を復元する（ステップ２７５０）。

図２８は、本発明による多視点映像のスケーラブル復号化過程で逆フィルタリング過程を説明するための図面である。前述したように、前記図２６の時間的逆フィルタリング部２６２０及び空間的逆フィルタリング部２６４０は、それぞれビットストリームに備えられた時間的フィルタリングされた映像及び空間的フィルタリングされた映像を逆フィルタリングする過程を行う。前記逆フィルタリング過程は、基本階層である低周波数映像Ｌ３を生成した後、第１向上階層の高周波数映像Ｈ３と低周波数映像Ｌ３とを利用して次の階層の低周波数映像Ｌ２を生成する。また、第２向上階層の高周波数映像Ｈ２と生成された低周波数映像Ｌ２とを利用して次の階層の低周波数映像Ｌ１を生成し、第３向上階層の高周波数映像Ｈ１と前記生成された低周波数映像Ｌ１とを利用してフィルタリングされる前の原映像Ｌ０を復元する。かかる逆フィルタリング過程を通じて、前記時間的逆フィルタリング部２６２０及び空間的逆フィルタリング部２６４０は、ＭＣＴＦを通じて分解される以前の原映像を復元する。前記逆フィルタリング過程は、一般的な逆ＭＣＴＦ過程と同一であるので、詳細な説明は省略する。

以下、前記図２２ないし図２５に示した本発明による多視点映像のスケーラブル符号化方法により生成されたビットストリームを復号化する過程を説明する。

再び図２１及び図２２に示すように、｛Ｌ^０Ｉ _０，Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１，Ｈ^０Ｓ _１２，Ｈ^０Ｓ _１３，Ｈ^０Ｓ _１４｝２２００，２２１０に該当するビットストリームは、８個のカメラから入力された一番目の空間軸方向の映像群である。空間軸上の復号化を行って、｛Ｌ^０Ｉ _０，Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１，Ｈ^０Ｓ _１２，Ｈ^０Ｓ _１３，Ｈ^０Ｓ _１４｝２２００，２２１０に該当するビットストリームを低周波数映像Ｌ^０Ｉ _０及び高周波数映像Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１，Ｈ^０Ｓ _１２，Ｈ^０Ｓ _１３，Ｈ^０Ｓ _１４に復号した後、ＭＣＴＦ合成過程を通じて空間軸方向の一番目のフレーム映像に該当する８個の映像が復元される。一番目の空間的映像群に該当するビットストリームの復号化が完了した後、２次元映像群単位の映像復号化過程が行われる。まず、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝２２１５に該当するビットストリームに対して時間軸上の復号化を行って、低周波数映像Ｌ^８Ｔ _０及び高周波数映像Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４を生成する。次いで、ＭＣＴＦ合成を行って、８×８２次元映像群の時間軸上に該当する８個の映像である｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝が復元される。復元された高周波数映像Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４は、空間軸上でのｉ番目Ｈ^ｉＴの映像群の低周波数映像に該当する。すなわち、前記高周波数映像Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４は、低周波数映像Ｌ^４Ｓ _０，Ｌ^２Ｓ _０，Ｌ^６Ｓ _０，Ｌ^１Ｓ _０，Ｌ^３Ｓ _０，Ｌ^５Ｔ _０，Ｌ^７Ｔ _０に対応する。また、時間軸上の低周波数映像Ｌ^８Ｔ _０及び前記復元された高周波数映像を利用して、空間的高周波数映像群に対する復号化が行われる。空間軸上のｉ番目の高周波数映像群のビットストリームは、次の過程を反復して復号化される。

Ａｒｒａｙ［８］＝｛８，４，２，６，１，３，５，７｝
Ｆｏｒ（ｉｎｄｅｘ＝０；Ｉ＜８；ｉｎｄｅｘ＋＋）｛
ｉ＝＝Ａｒｒａｙ［ｉｎｄｅｘ］；
｛Ｈ^ｉＳ _３，Ｈ^ｉＳ _２１，Ｈ^ｉＳ _２２，Ｈ^ｉＳ _１１，Ｈ^ｉＳ _１２，Ｈ^ｉＳ _１３，Ｈ^ｉＳ _１４｝に該当するビットストリームを復号化し、該低周波数映像Ｌ^ｉＳ _０とＭＣＴＦ合成を行って空間軸上のｉ番目の映像群を復元｝

前述した過程は、２次元映像群単位で映像シーケンスが終わるまで反復する。

再び図２１及び図２３に示すように、２次元映像群内で空間的部分復号化を使用して空間軸上のＳ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラに入力された映像情報を含むビットストリームを復号化する場合、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラに入力された一番目の空間軸方向の映像群である｛Ｌ^０Ｉ _０，Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１｝２３００，２３１０に該当するビットストリームを低周波数映像Ｌ^０Ｉ _０及び高周波数映像Ｈ^０Ｓ _３，Ｈ^０Ｓ _２１，Ｈ^０Ｓ _２２，Ｈ^０Ｓ _１１に復号した後、ＭＣＴＦ合成過程を通じて空間軸方向の一番目のフレーム映像に該当する５個の映像が復元される。

一番目の空間的映像群に該当するビットストリームの復号化が完了した後、｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝２３１５に該当するビットストリームに対して時間軸上の復号化を行って、時間軸方向の低周波数映像Ｌ^８Ｔ _０及び高周波数映像Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４を生成する。次いで、ＭＣＴＦ合成を行って８×８２次元映像群の時間軸上に該当する８個の映像である｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２，Ｈ^１Ｔ _１１，Ｈ^３Ｔ _１２，Ｈ^５Ｔ _１３，Ｈ^７Ｔ _１４｝が復元される。空間的部分復号化を行うとき、時間軸方向の映像はいずれも復号化される必要があるので、符号化されたビットストリームには、時間軸方向にフィルタリングされた時間的低周波数映像及び高周波数映像がいずれも含まれる。次いで、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像は、空間的高周波数映像２３２０，２３２５，２３３０，２３３５，２３４０，２３４５，２３５０，２３５５を順次に復号化及びＭＣＴＦ合成して復元される。かかる過程を通じて、Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像が復元される。

再び図２１及び図２４に示すように、２次元映像群内で時間軸上の時間領域に分布しているデータを、部分時間的復号化を使用してフル時間的解像度から１／２時間的解像度に縮少したビットストリームを復号化する場合、８×８２次元映像群の時間軸上に該当する８個の映像のうち選択された｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝２４１５に該当するビットストリームが復号化及びＭＣＴＦ逆フィルタリング過程を通じて、時間軸方向の空間的低周波数映像｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝が復元され、復元された空間的低周波数映像に対応する空間的高周波数映像の符号化されたビットストリーム２４２０，２４２５，２４３０，２４３５が順次に復号化及びＭＣＴＦ逆フィルタリング過程を通じて復元される。

再び図２１及び図２５に示すように、２次元映像群内で時間軸上の時間領域に分布しているデータを、部分時間的復号化を使用してフル時間的解像度から１／２時間的解像度に縮少し、空間軸上の空間的部分復号化を使用して空間領域に分布しているＳ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力のみを処理する場合のビットストリームを復号化する場合、８×８２次元映像群の時間軸上に該当する８個の映像のうち選択された｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝２５１５に該当するビットストリームが復号化及びＭＣＴＦ逆フィルタリング過程を通じて、時間軸方向の空間的低周波数映像である｛Ｌ^８Ｔ _０，Ｈ^４Ｔ _３，Ｈ^２Ｔ _２１，Ｈ^６Ｔ _２２｝が復元され、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像を空間的フィルタリングした空間的高周波数映像２５２０，２５２５，２５３０，２５３５が順次に復号化及びＭＣＴＦ合成過程を通じて復元される。

一方、本発明による多視点映像のスケーラブル符号化、復号化方法及び装置は、ＳＶＣコーデック構造のように、２次元映像群構造を基本階層とする階層的構造とＦＧＳ方式とを使用してスケーラブルの具現が可能である。本発明による多視点映像のスケーラブル符号化、復号化方法及び装置によれば、時間的スケーラビリティ、ビュー（カメラ）空間的スケーラビリティ、映像のサイズによる空間的スケーラビリティ及びＳＮＲスケーラビリティを提供できる。

図２９は、本発明による多視点映像のスケーラブル符号化方法を階層的に拡張する場合を説明するための図面である。

前述した時間的スケーラビリティと選択されたカメラの入力映像を選択できる空間的スケーラビリティとは、前述した部分時間的復号化と部分空間的復号化とを利用して具現できる。映像のサイズによる空間的スケーラビリティは、従来のスケーラブルビデオコーディングで適用される階層的な方法をそのまま使用し、２次元デシメーションフィルタ、２次元アップサンプリングフィルタ及び２次元映像群の基本階層の空間的情報を利用して提供できる。このとき、提供可能な映像のサイズによる空間的スケーラビリティは、ＱＣＩＦ，ＣＩＦ，４ＣＩＦに拡張されうる。

ＳＮＲスケーラビリティは、既存のＳＶＣで使用するブロック単位のＦＧＳ方式を利用したビットプレーンコーディング方法を利用して具現され、この場合、基本階層上にＦＧＳ強化ビットストリームを任意の点でカットして付着することによって、向上階層の映像を提供する。

図３０は、本発明によってＱＣＩＦサイズを基盤とする２次元ＱＣＩＦコアからＣＩＦ及び４ＣＩＦまでの階層的な構造を有する全体のビットストリームの構成を示す図面である。本発明で提供される各スケーラビリティは、混合的に提供されうる。図３０に示すように、まず、ＱＣＩＦ基盤の多視点カメラの一番目のフレーム映像に該当するビットストリームが配置された後、２次元映像群のコアビットストリームに該当する時間的映像のビットストリーム及び２次元映像群内の空間的ＱＣＩＦのビットストリームが配置される。次いで、ＣＩＦ基盤の２次元映像群のビットストリーム、４ＣＩＦ基盤の２次元映像群のビットストリームに映像のサイズによるコアに該当するビットストリームが配置される。

本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。

従来技術による多視点カメラを示す図面である。従来技術による多視点カメラを示す図面である。従来技術による多視点カメラを示す図面である。４×４平行構造を有する１６個の多視点カメラで構成されたＦＴＶシステムで同じ時間で各カメラに入力された映像を示す図面である。スケーラブル映像符号化の概念を説明するための参考図である。スケーラブル映像符号化装置の一例を示す参考図である。ＭＣＴＦで利用されるリフティングスキームで行われる演算過程を説明するための参考図である。ＧＯＰのサイズが８である映像シーケンスでＨａａｒウェーブレットを利用した時間的フィルタリングを示す参考図である。ＧＯＰのサイズが８である映像シーケンスで５／３スプラインウェーブレットを利用した時間的フィルタリング過程を示す参考図である。ブロック単位でＭＣＴＦの予測を行う過程の一例を示す参考図である。ブロック単位でＭＣＴＦのアップデートを行う過程の一例を示す参考図である。スケーラブル映像符号化で時間的スケーラビリティを具現する過程を説明するための参考図である。時間的、空間的、画質スケーラビリティをいずれも具現したスケーラブル構造の一例を示す参考図である。二分法的な階層構造を有する階層的Ｂピクチャーの一例を示す参考図である。二分法的な階層構造を有さない階層的Ｂピクチャーの一例を示す参考図である。本発明による多視点映像のスケーラブル符号化及び復号化装置を備える多視点スケーラブル映像コーデックの全体構成を示す図面である。本発明による多視点映像のスケーラブル符号化装置の構成を示す図面である。本発明による多視点映像のスケーラブル符号化方法を示すフローチャートである。本発明による２次元映像群の一例を示す図面である。本発明による多視点映像の空間的フィルタリング過程を説明するための図面である。本発明による多視点映像のスケーラブル符号化時に利用される空間的フィルタリングと時間的フィルタリングとの関係を説明するための図面である。本発明による空間的フィルタリング結果により生成された空間的低周波数映像に対して時間的フィルタリングを行う過程を説明するための図面である。本発明による多視点映像のスケーラブル符号化過程を説明するための図面である。本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。本発明による多視点映像のスケーラブル復号化装置の構成を示す図面である。本発明による多視点映像のスケーラブル復号化方法を示すフローチャートである。本発明による多視点映像のスケーラブル復号化過程で逆フィルタリング過程を説明するための図面である。本発明による多視点映像のスケーラブル符号化方法を階層的に拡張する場合を説明するための図面である。本発明によってＱＣＩＦサイズを基盤とする２次元ＱＣＩＦコアからＣＩＦ及び４ＣＩＦまでの階層的な構造を有する全体のビットストリームの構成を示す図面である。

符号の説明

１６１０多視点入力映像に対して空間的フィルタリングを行う
１６２０空間的低周波数映像に対して時間的フィルタリングを行う
１６３０時間的低周波数映像及び高周波数映像をスケーラブル符号化
１６４０空間的高周波数映像をスケーラブル符号化
１６５０多重化

Claims

多視点映像のスケーラブル符号化方法において、
（ａ）Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
（ｂ）所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
（ｃ）前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
（ｄ）前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビット及び空間的解像度を参照して、前記空間的高周波数映像をスケーラブル符号化するステップと
を含むことを特徴とする多視点映像のスケーラブル符号化方法。
前記空間的移動補償時間フィルタリングは、
前記複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造であることを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
前記時間的移動補償時間フィルタリングは、
以前に処理された前記２次元映像群に対する時間的移動補償時間フィルタリングにより生成された時間的低周波数映像を利用するオープンループ構造であることを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
前記（ｃ）ステップは、
（ｃ−１）前記割り当てられた伝送ビット率及び時間的解像度によって、前記生成された時間的高周波数映像のうち符号化する時間的高周波数映像を決定するステップと、
（ｃ−２）前記生成された時間的低周波数映像と前記決定された符号化する時間的高周波数映像とをスケーラブル符号化するステップと
をさらに含むことを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
前記（ｄ）ステップは、
（ｄ−１）前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビットと空間的解像度とによって、前記Ｍ個のカメラから同一時間に入力されて生成された空間的高周波数映像のうち符号化する空間的高周波数映像を決定するステップと、
（ｄ−２）前記決定された空間的高周波数映像をスケーラブル符号化するステップと
をさらに含むことを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
多視点映像のスケーラブル符号化装置において、
Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的映像フィルタリング部と、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的映像フィルタリング部と、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化する時間的映像スケーラブル符号化部と、
前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビット及び空間的解像度を参照して、前記空間的低周波数映像及び高周波数映像をスケーラブル符号化する空間的映像スケーラブル符号化部と
を備えることを特徴とする多視点映像のスケーラブル符号化装置。
前記空間的映像フィルタリング部は、
前記複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造であることを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
前記時間的映像フィルタリング部は、
以前に処理された前記２次元映像群に対する時間的移動補償時間フィルタリングにより生成された時間的低周波数映像を利用するオープンループ構造であることを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
前記時間的映像スケーラブル符号化部は、
前記割り当てられた伝送ビット率及び時間的解像度によって、前記生成された時間的高周波数映像のうち符号化する時間的高周波数映像を決定し、前記生成された時間的低周波数映像及び前記決定された符号化する時間的高周波数映像をスケーラブル符号化することを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
前記空間的映像スケーラブル符号化部は、
前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビットと空間的解像度とによって、前記Ｍ個のカメラから同一時間に入力されて生成された空間的高周波数映像のうち符号化する空間的高周波数映像を決定し、前記決定された空間的高周波数映像をスケーラブル符号化することを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
多視点映像のスケーラブル復号化方法において、
（ａ）Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的に移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信するステップと、
（ｂ）前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化するステップと、
（ｃ）前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、空間的低周波数映像を復元するステップと、
（ｄ）前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化するステップと、
（ｅ）前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元するステップと
を含むことを特徴とする多視点映像のスケーラブル復号化方法。
前記スケーラブル符号化されたビットストリームは、
前記Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビット及び空間的解像度を参照して、空間的高周波数映像をスケーラブル符号化するステップと
を通じて生成されることを特徴とする請求項１１に記載の多視点映像のスケーラブル復号化方法。
多視点映像のスケーラブル復号化装置において、
Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的に移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信し、前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化する時間的映像復号化部と、
前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、空間的低周波数映像を復元する時間的逆フィルタリング部と、
前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化する空間的映像復号化部と、
前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、映像を復元する空間的逆フィルタリング部と
を備えることを特徴とする多視点映像のスケーラブル復号化装置。
前記スケーラブル符号化されたビットストリームは、
前記Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
前記時間的低周波数映像及び高周波数映像の符号化に割り当てられたビット及び空間的解像度を参照して、空間的高周波数映像をスケーラブル符号化するステップと
を通じて生成されることを特徴とする請求項１３に記載の多視点映像のスケーラブル復号化装置。