JP2010157823A - 画像符号化装置、画像符号化方法およびそのプログラム - Google Patents
画像符号化装置、画像符号化方法およびそのプログラム Download PDFInfo
- Publication number
- JP2010157823A JP2010157823A JP2008333856A JP2008333856A JP2010157823A JP 2010157823 A JP2010157823 A JP 2010157823A JP 2008333856 A JP2008333856 A JP 2008333856A JP 2008333856 A JP2008333856 A JP 2008333856A JP 2010157823 A JP2010157823 A JP 2010157823A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- viewpoint
- encoding
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】多視点画像を効率よく伝送または蓄積したい。
【解決手段】画像信号符号化部107は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する。奥行き情報生成部(例えば、デプス信号生成部111)は、複数の画像から、少なくとも一つの仮想視点からの特定空間の奥行きを示す奥行き情報を生成する。奥行き情報符号化部(例えば、デプス信号符号化部108)は、奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する。ユニット化部109は、画像信号符号化部107および奥行き情報符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成する。
【選択図】図3
【解決手段】画像信号符号化部107は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する。奥行き情報生成部(例えば、デプス信号生成部111)は、複数の画像から、少なくとも一つの仮想視点からの特定空間の奥行きを示す奥行き情報を生成する。奥行き情報符号化部(例えば、デプス信号符号化部108)は、奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する。ユニット化部109は、画像信号符号化部107および奥行き情報符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成する。
【選択図】図3
Description
本発明は、異なる複数の視点から撮影された画像を符号化する画像符号化装置、画像符号化方法およびそのプログラムに関する。
近年、多視点からの画像を使用したアプリケーションが普及してきている。そのアプリケーションの一つに、2眼式立体テレビジョンがある。2眼式立体テレビジョンにおいては、2台のカメラにより異なる2方向から撮影された、左眼用画像および右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像および右眼用画像は、それぞれ独立した画像として別個に伝送、または記録される。この場合、単一の2次元画像の約2倍の情報量が必要となってしまう。
そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像とし、その副画像の情報を一般的な圧縮符号化方法によって情報圧縮し、情報量を抑える手法が提案されている(例えば、特許文献1参照)。この提案されている立体テレビジョン画像伝送方式では、副画像の小領域毎に主画像との相関の高い相対位置を求め、その位置偏移量(以下、視差ベクトルという)と差信号(以下、予測残差信号という)とを伝送または記録するようにしている。主画像と視差ベクトルを用いれば副画像に近い画像が復元できるが、予測残差信号も伝送または記録するのは、物体の影になる部分など主画像がもたない副画像の情報は復元できないためである。
また、1996年に単視点画像の符号化国際標準であるMPEG−2ビデオ(ISO/IEC 13818−2)符号化方式に、マルチビュー・プロファイルと呼ばれるステレオ画像の符号化方式が追加された(ISO/IEC 13818−2/AMD3)。MPEG−2ビデオ・マルチビュー・プロファイルは左眼用画像を基本レイヤーで、右眼用画像を拡張レイヤーで符号化する2レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて圧縮符号化する。
また、3台以上のカメラで撮影された多視点画像に対して、動き補償予測および視差補償予測を用いて情報量を抑える手法が提案されている(例えば、特許文献2参照)。この提案されている画像高能率符号化方式は、複数の視点の参照ピクチャとのパターンマッチングを行い、誤差が最小となる、動き補償予測画像または視差補償予測画像を選択することにより、符号化効率を向上させている。
また、JVT(Joint Video Team)ではAVC/H.264符号化方式(非特許文献1参照)を多視点画像に拡張した多視点画像符号化方式(MVC:Multiview Video Coding(以下、MVC方式と呼ぶ))の標準化作業が進んでいる(非特許文献2参照)。上記のMPEG−2ビデオ・マルチビュー・プロファイルと同様に、このMVC方式でも視点間の予測を取り入れることで、符号化効率を向上させている。
特開昭61-144191号公報
特開平6−98312号公報
ITU-T Recommendation H.264 (11/2007)
Joint Draft 6.0 on Multiview Video Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-Z209, January 2008
上述した様々な方式を用いて、複数の視点からの多視点画像を符号化することができる。しかしながら、これらの方式は必要な視点の画像をすべて符号化することになっており、限られた伝送速度、蓄積容量を考慮すれば、多視点画像を効率よく伝送または蓄積することは難しい面が多い。例えば、必要とされる視点の数が多い場合、それらの視点の画像をすべて伝送または蓄積するとデータ量が非常に大きくなってしまう。すなわち、復号側で非常に大きなデータ量を受信または読み込まなければならなくなってしまう。また、復号側でユーザの指示に応じた自由視点の画像を高精度に生成することは難しい面が多い。
本発明はこうした状況に鑑みなされたものであり、その目的は、多視点画像を効率よく伝送または蓄積することができる画像符号化装置、画像符号化方法およびそのプログラムを提供することにある。
本発明のある態様の画像符号化装置は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第1符号化部と、複数の画像から、少なくとも一つの仮想視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成部と、奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第2符号化部と、第1符号化部および第2符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、多視点画像を効率よく伝送または蓄積することができる。
以下、図面と共に本発明の実施の形態を説明する。以下の実施の形態では、AVC/H.264符号化方式を多視点画像に拡張したMVC方式をさらに拡張した方式で、多視点画像を符号化する例を説明する。
まず、AVC/H.264符号化方式について簡単に説明する。AVC/H.264符号化方式は、従来のMPEG−2ビデオ(ISO/IEC 13818−2)やMPEG−4ビジュアル(ISO/IEC 14496−2)等の符号化方式に比べ、より高い符号化効率を実現している。
MPEG−2ビデオやMPEG−4ビジュアル等の符号化方式におけるPピクチャ(すなわち、順方向予測符号化画像)では、表示順で直前のIピクチャまたはPピクチャのみから動き補償予測を行っていた。これに対して、AVC/H.264符号化方式では、PピクチャおよびBピクチャは複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順で先行するピクチャに加えて、既に符号化済みの表示順で後続のピクチャも参照することができる。
また、MPEG−2ビデオやMPEG−4ビジュアル等の符号化方式におけるBピクチャは、表示順で前方1枚の参照ピクチャ、後方1枚の参照ピクチャ、またはその2枚の参照ピクチャを同時に参照して2つのピクチャの平均値を、予測のための参照ピクチャとし、対象ピクチャと参照ピクチャとの差分データを符号化していた。これに対して、AVC/H.264符号化方式では、Bピクチャは表示順で前方1枚、後方1枚という制約にとらわれず、かつ前方や後方に関係なく任意の参照ピクチャを予測のために参照可能である。さらに、Bピクチャは自己以外のBピクチャを参照ピクチャとして参照することも可能である。
さらに、MPEG−2ビデオではピクチャ、MPEG−4ではビデオ・オブジェクト・プレーン(VOP)を1つの単位として、ピクチャまたはVOP毎の符号化モードが決められていたが、AVC/H.264符号化方式では、スライスを符号化の単位としており、1つのピクチャ内にIスライス、Pスライス、Bスライス等、異なるスライスを混在させることも可能である。
さらに、AVC/H.264符号化方式ではビデオの画素信号(すなわち、符号化モード、動きベクトル、DCT係数等)の符号化処理または復号処理を行うVCL(Video Coding Layer;ビデオ符号化層)と、NAL(Network Abstraction Layer;ネットワーク抽象層)が定義されている。
AVC/H.264符号化方式で符号化された符号化ストリームは、NALの一区切りであるNALユニットを単位として構成される。NALユニットには、VCLで符号化されたデータ(すなわち、符号化モード、動きベクトル、DCT係数等)を含むVCLのNALユニットと、VCLで生成されたデータを含まないnon−VCLのNALユニットがある。non−VCLのNALユニットには、シーケンス全体の符号化に係るパラメータ情報が含まれているSPS(Sequence Parameter Set)、ピクチャの符号化に係るパラメータ情報が含まれているPPS(Picture Parameter Set)、VCLで符号化されたデータの復号に必要ではないSEI(Supplemental Enhancement Information:補足付加情報)等がある。
また、AVC/H.264符号化方式における符号化の基本単位は、ピクチャが分割されたスライスであり、VCLのNALユニットはスライス単位となっている。そこで、いくつかのNALユニットをまとめたアクセス・ユニットと呼ばれる単位が定義されており、1アクセス・ユニットに1つの符号化されたピクチャが含まれる。
次に、MVC方式について簡単に説明する。ここでは、多視点画像の各画像を符号化、および符号化された符号化ストリームを復号する際の視点間の関係、並びにその多視点画像を構成する符号化対象画像間の参照依存関係について、5視点の例を用いて説明する。
図2は、MVC方式で5視点からなる多視点画像を符号化する際の、画像間の参照依存関係の一例を示す図である。縦軸は複数の視点の空間方向(本明細書では複数の視点の空間方向を視点方向とする)を示しており、横軸は撮影または表示順の時間方向を示している。P(v,t)(視点v=0,1,2,・・・;時間t=0,1,2,・・・)は、時間tにおける視点vの画像である。
また、矢印の終点側で指し示される画像は、符号化または復号される対象ピクチャである。矢印の始点側で指し示される画像は、その対象ピクチャが符号化または復号される際に参照される参照ピクチャである。すなわち、時間方向のインター予測(例えば、動き補償予測)や視点間予測(例えば、視差補償予測)で参照される参照ピクチャである。より具体的には、横方向の矢印の始点側で指し示される画像は、対象ピクチャが符号化または復号される際に時間方向のインター予測で参照される参照ピクチャであり、縦方向の矢印の始点側で指し示される画像は、視点間予測で参照される参照ピクチャである。
ここで、時間方向のインター予測は他の時間の画像を参照する予測方法であり、視点間予測は他の視点の画像を参照する予測方法である。また、時間方向のインター予測の参照ピクチャとして用いられる画像は、時間方向の符号化または復号順で先行する画像のみとし、視点間予測の参照ピクチャとして用いられる画像は、視点方向の符号化または復号順で先行する画像のみとする。例えば、図2に示す参照依存関係では、視点方向への視点の符号化または復号順を視点0、視点2、視点1、視点4、視点3とすればよい。また、時間方向への視点の符号化または復号順は、t=0、4、2、1、3、8、6、5、7、…とすればよい。まず、同じ時間である、tが0の各視点の画像を、上記視点方向への視点の符号化または復号順にしたがい、P(0,0),P(2,0),P(1,0),P(4,0),P(3,0)の順で符号化または復号する。その後、tが4の各視点の画像を同じく、上記視点方向への視点の符号化または復号順にしたがい、P(0,4),P(2,4),P(1,4),P(4,4),P(3,4)の順で符号化または復号する。以下、tが2の各視点の画像以降の画像についても同様に処理する。
また、視点0を基底視点とする。MVC符号化方式では、基底視点とは他の視点に依存せずに符号化または復号することができる視点をいう。多視点画像のシーケンス全体で1つの視点だけが基底視点となる。すなわち、基底視点は他の視点の画像を視点間予測の参照画像として用いることなく、単独で符号化または復号することができる。また、非基底視点(すなわち、基底視点以外の視点)は、他の視点の画像を視点間予測の参照画像として用いることができる。
さらに、MVC方式は、符号化される多視点画像の視点数、視点方向への符号化または復号順序、および視点間予測による各視点間の参照依存関係をシーケンス全体として符号化する仕組みを持っている。シーケンス情報のパラメータセットであるSPSを拡張することにより符号化を行う。
符号化側でシーケンス全体として上記パラメータ、すなわち視点数および各視点の視点依存情報を符号化することにより、復号側ではシーケンス全体として、各視点の参照依存関係を判別することができる。各視点の参照依存情報は、視点間予測ピクチャのための参照ピクチャリストの初期化等の復号処理に用いられる。
(実施の形態1)
図1は、実施の形態1に係る画像符号化装置100の構成を示すブロック図である。実施の形態1に係る画像符号化装置100は、符号化管理部101、パラメータ情報符号化部110、画像信号符号化部107および奥行き情報符号化部(より具体的には、デプス信号符号化部108)を備える。パラメータ情報符号化部110は、画像信号用シーケンス情報符号化部102、デプス信号用シーケンス情報符号化部103、画像信号用ピクチャ情報符号化部104、デプス信号用ピクチャ情報符号化部105およびカメラパラメータ情報符号化部106を含む。
図1は、実施の形態1に係る画像符号化装置100の構成を示すブロック図である。実施の形態1に係る画像符号化装置100は、符号化管理部101、パラメータ情報符号化部110、画像信号符号化部107および奥行き情報符号化部(より具体的には、デプス信号符号化部108)を備える。パラメータ情報符号化部110は、画像信号用シーケンス情報符号化部102、デプス信号用シーケンス情報符号化部103、画像信号用ピクチャ情報符号化部104、デプス信号用ピクチャ情報符号化部105およびカメラパラメータ情報符号化部106を含む。
これらの構成は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
画像信号符号化部107は、それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する。当該複数の画像はカメラにより実際に撮像された画像であってもよいし、コンピュータグラフィックにより生成された画像であってもよい。当該複数の視点のうち基準とすべき視点が一つ設定される場合、画像信号符号化部107は、当該複数の画像のうち基準とすべき視点からの画像を符号化して第1画像符号化データを生成し、それ以外の画像を符号化して第2画像符号化データを生成することができる。
その際、画像信号符号化部107は、当該複数の画像のうち基準とすべき視点からの画像をフレーム内予測符号化し、それ以外の画像を複数の画像間でフレーム間予測符号化してもよい。MVC方式では、当該基準とすべき視点は上述した基底視点である。当該フレーム間予測符号化は上述した視点間予測符号化である。
また、当該複数の画像が動画像の場合、画像信号符号化部107は各視点からの動画像を、それぞれ時間方向にフレーム間予測符号化することもできる。もちろん、視点方向へのフレーム間予測符号化と時間方向へのフレーム間予測符号化を併用することもできる。
上記奥行き情報符号化部は、少なくとも一つ以上の視点からの特定空間の奥行きを示す奥行き情報を符号化して、奥行き情報符号化データを生成する。当該奥行き情報はある視点からのモノクローム・フォーマットの画像(以下適宜、モノクローム画像とする)で表されてもよい。この場合、奥行き情報符号化部は、当該モノクローム画像を符号化して、奥行き情報符号化データを生成する。
上記奥行き情報符号化部は、それぞれ異なる複数の視点からの、複数のモノクローム画像のうち、基準とすべき視点からのモノクローム画像をフレーム内予測符号化し、それ以外のモノクローム画像を複数のモノクローム画像間でフレーム間予測符号化してもよい。ここで、モノクローム画像のもとになる基準とすべき視点は、画像信号符号化部107により符号化されるべき画像のもとになる基準とすべき視点と一致していてもよいし、別々であってもよい。
また、当該複数のモノクローム画像が動画像の場合、上記奥行き情報符号化部は各視点からのモノクローム・フォーマットの動画像を、それぞれ時間方向にフレーム間予測符号化することもできる。もちろん、視点方向へのフレーム間予測符号化と時間方向へのフレーム間予測符号化を併用することもできる。
ここで、上記奥行き情報のもとになる視点の数は、第1符号化部により符号化されるべき画像のもとになる視点の数より少なく設定されてもよいし、両者の視点の数が一致するように設定されてもよい。また、上記奥行き情報のもとになる各視点の位置は、画像信号符号化部107により符号化されるべき複数の画像のもとになる複数の視点の位置のいずれかに一致するように設定されてもよいし、いずれにも一致しないように設定されてもよい。
パラメータ情報符号化部110は、上記複数の画像および上記奥行き情報のもとになる、複数の視点を特定するための視点情報を含むパラメータ情報を符号化して、パラメータ情報符号化データを生成する。上述したように基準とすべき視点が一つ設定される場合、パラメータ情報符号化部110は、上記複数の画像のうち、基準とすべき視点からの画像の第1パラメータ情報と、それ以外の画像の第2パラメータ情報と、奥行き情報の第3パラメータ情報をそれぞれ符号化して、第1パラメータ情報符号化データ、第2パラメータ情報符号化データおよび第3パラメータ情報符号化データを生成する。
ここで、第3パラメータ情報は、第2パラメータ情報のシンタックス構造に対応するシンタックス構造で記述される。例えば、第2パラメータ情報および第3パラメータ情報をAVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに準拠して記述することができる。第2パラメータ情報および第3パラメータ情報には、視点の識別情報が記述される。画像信号符号化部107により符号化されるべき画像のもとになる視点の位置と、上記奥行き情報のもとになる視点の位置が一致する場合、それらの視点に共通の識別情報が付与される。すなわち、視点の識別情報は当該画像と当該奥行き情報との間で統一的に管理される。
ユニット化部109は、画像信号符号化部107および上記奥行き情報符号化部によりそれぞれ生成された、上記画像符号化データおよび上記奥行き情報符号化データを含む符号化ストリームを生成する。ユニット化部109は、パラメータ情報符号化部110により生成された上記パラメータ情報符号化データをさらに含む符号化ストリームを生成することもできる。
画像信号符号化部107により符号化されるべき画像のもとになる複数の視点のうち、基準とすべき視点が一つ設定される場合、ユニット化部109は、画像信号符号化部107、上記奥行き情報符号化部およびパラメータ情報符号化部110によりそれぞれ生成された、上記第1画像符号化データ、上記第2画像符号化データ、上記奥行き情報符号化データ、上記第1パラメータ情報符号化データ、上記第2パラメータ情報符号化データおよび上記第3パラメータ情報符号化データを含む符号化ストリームを生成する。
図3は、実施の形態1の変形例に係る画像符号化装置100aの構成を示すブロック図である。実施の形態1の変形例に係る画像符号化装置100aは、図1に示す画像符号化装置100に奥行き情報生成部(より具体的には、デプス信号生成部111)が追加された構成である。
当該変形例において、上記奥行き情報生成部は、画像信号符号化部107により符号化されるべき複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する。上記奥行き情報生成部は、この奥行き情報の生成を既存のアルゴリズムを用いて実現することができる。上記奥行き情報符号化部は、当該奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する。その他の処理は、図1に示した実施の形態1の基本例に係る画像符号化装置100の説明と同様のため、その説明を省略する。
ここで、実施の形態1に係る画像符号化装置100で符号化されるべき画像、および奥行き情報について説明する。当該画像は被写体が各視点に対応する2次元平面にカメラ等の撮像装置により投影されることによってできる絵である。また、画像信号は2次元情報である画像を1次元の信号の流れに変換したものである。なお、デジタルで表現される画像、及び画像信号の最小単位は画素である。当該画像符号化装置100に入力される多視点の画像信号は、設定された2以上の複数の視点でそれぞれ得られる画像信号を含む多視点画像信号である。ある視点の画像信号は、その視点から実際に撮影されて得られた画像信号であってもよいし、その視点から仮想的に撮影されたものとして、コンピュータグラフィックス等により生成された画像信号であってもよい。また、実際の撮影により得られた画像信号に対して、その撮影に用いられる各カメラのばらつきを補正するために、位置補正、輝度・色レベル補正を施す場合もある。
上記デプス信号は、設定された2以上の複数の視点でそれぞれ得られるデプス信号を含む多視点のデプス信号であってもよい。ある視点のデプス信号は、赤外線カメラ等によりその視点から実際に撮影されて得られたデプス信号であってもよいし、その視点から仮想的に撮影されたものとして、上記多視点の画像信号をもとに演算により生成されたデプス信号であってもよい。
当該奥行き情報は特定空間の奥行きを示す情報である。例えば、当該奥行き情報は画像内の被写体(すなわち、オブジェクト)の画像平面に対する、奥行き情報として表される。より具体的には、当該奥行き情報は2次元平面に投影された画像の奥行きを示す情報である。2次元平面に投影された画像の各画素に対応する奥行き情報が画素単位あるいは複数画素単位でマッピングされた画像をデプスマップと呼ぶ。デプス信号は2次元情報であるデプスマップが1次元の信号の流れに変換されたものである。なお、画像や画像信号と同様に、デジタルで表現されるデプスマップ、及びデプス信号の最小単位も画素である。上記デプス信号は、設定された2以上の複数の視点でそれぞれ得られるデプス信号を含む多視点のデプス信号であってもよい。ある視点のデプス信号は、赤外線カメラ等によりその視点から実際に撮影されて得られたデプス信号であってもよいし、その視点から仮想的に撮影されたものとして、上記多視点の画像信号をもとに演算により生成されたデプス信号であってもよい。
デプス信号の画素値も画像信号と同様に8ビットで表現されることが多いが、奥行き方向の再現性を高めるために9〜14ビット程度で表現されてもよい。デプスマップはモノクローム・フォーマットの画像として表される。なお、上記画像の各画素との対応が取れる限りにおいては当該デプスマップの解像度は上記画像の解像度より低く設定されてもよい。
当該デプス信号は、主に、実在する視点の画像信号から、存在しない所望の仮想視点の画像信号を生成するために用いる。ユーザの指示に応じて表示されるべき画像の視点があらかじめ特定できない自由視点画像を復号側で表示する場合や、視点の数が多く、それらの視点のすべての画像をすべて撮影、伝送または蓄積することが困難な場合には仮想視点の画像信号を生成するのが有効である。
既存の視点の画像信号から、存在しない仮想視点の画像を生成するための手法の1つに特開平9−81746号公報に開示されたものがある。この手法では、存在しない仮想視点の画像を生成する際、既存の視点の画像信号から奥行き情報を計算し、その奥行き情報に従って、所望の仮想視点の画像を生成する。
多視点の画像信号が符号化されて得られた符号化ストリームを伝送または蓄積し、その符号化ストリームを復号して得られる画像信号からデプス信号を求めて、所望の仮想視点の画像信号を生成する手法は、復号側でデプス信号を算出する処理の負担が大きい。また一般的に、復号側で生成されるデプス信号の品質は、符号側で生成されるデプス信号の品質より低くなる。一般的な符号化方式では、符号化する際に原画像信号の高周波成分が省略されるためである。
そこで、本実施の形態では符号化側で多視点の画像信号からデプス信号を生成し、複数の視点の画像信号と、複数の視点のデプス信号を符号化の対象とする。復号側は符号化ストリームを復号することにより、画像信号に加えてデプス信号も得ることができる。これにより、復号後にデプス信号を生成する必要がなく、復号側は符号化ストリームを復号して得られる、画像信号とデプス信号から所望の仮想視点の画像信号を生成することができる。
なお、仮想視点の画像信号を生成する場合、1つの視点の、画像信号およびデプス信号から画像を生成するよりも、複数の視点の、画像信号およびデプス信号から画像を生成する方がより良好な仮想視点の画像を得ることができる。以下、この知見について図4、図5を参照しながら、より詳細に説明する。
図4は、第2視点VBおよび第3視点VCから第1対象物OAおよび第2対象物OBが存在するシーンを撮影し、仮想視点である第1視点VA(以下、第1仮想視点VAと表記する)の画像を生成する例を示す図である。
図5は、図4の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図5において、第2画像IBは図4の第2視点VBから撮影された画像を示し、第3画像ICは図4の第3視点VCから撮影された画像を示す。第2デプスマップDBは第2画像IBに対応するデプスマップを示し、第3デプスマップDCは第3画像ICに対応するデプスマップを示す。
図5は、図4の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図5において、第2画像IBは図4の第2視点VBから撮影された画像を示し、第3画像ICは図4の第3視点VCから撮影された画像を示す。第2デプスマップDBは第2画像IBに対応するデプスマップを示し、第3デプスマップDCは第3画像ICに対応するデプスマップを示す。
以下の説明においては、最も後方の対象、すなわちカメラから最も遠い対象に対応するデプス信号の画素値を最小値である0とし、対象が前方にくればくるほど、すなわちカメラに近ければ近いほど、デプス信号の画素値を大きな値とする。また、第1画像IAは第1仮想視点VAから撮影したと仮定した場合に得られる画像(以下、予測画像という)を示し、実際に撮影されるものではなく、生成されるべき画像である。
また、第1−2画像IABは、第2視点VBから撮影された第2画像IBとそれに対応する第2デプスマップDBから生成された第1仮想視点VAの予測画像である。第2視点VBから撮影された第2画像IBとそれに対応する第2デプスマップDBから第1仮想視点VAの予測画像を生成する場合、第2視点VBから撮影した際に前方の第1対象物OAにより隠蔽されていた部分が不明であり、欠落部分が発生する。第1−2画像IABの黒塗りの部分が、当該第1仮想視点VAの予測画像内で発生する第2欠落部分LPBである。
また、第1−3画像IACは、第3視点VCから撮影された第3画像ICとそれに対応する第3デプスマップDCから生成された第1仮想視点VAの予測画像である。第1−3画像IACにも欠落部分が発生する。第1−3画像IACの黒塗りの部分が、当該第1仮想視点VAの予測画像内で発生する第3欠落部分LPCである。第1−3画像IACの第3欠落部分LPCは、第1−2画像IABの第2欠落部分LPBとは異なる位置に発生する。
そこで、第1−2画像IABの第2欠落部分LPBを第1−3画像IACの画像信号から補うことにより、欠落部分の少ない第1仮想視点VAの第1画像IAを生成することができる。なお、実際には対象物に立体感や影があり、撮影する視点の位置および方向と、光源との相対関係により、撮影して得られる画像に明るさや色の差が生じるが、図4、図5においてはその点を考慮せずに描いている。
それらの視点毎に生じる輝度差等を考慮したり、ノイズを低減するために、第1−2画像IABと第1−3画像IACの両方に存在する画素は平均値を用い、片方の画像に欠落部分が生じる画素についてのみもう一方の画像の画素だけを用いる方法もある。このように1つの視点の、画像信号およびデプス信号から生成された仮想視点の画像(図5では、第1−2画像IABまたは第1−3画像IAC)よりも、2つの視点の、画像信号およびデプス信号から生成された画像のほうが、欠落部分の少ない良好な画像を得ることができる。
また、2つの視点の、画像信号とデプス信号から仮想視点の画像信号を生成するよりも、それ以上の視点の、画像信号とデプス信号を用いた方が、より欠落部分の少ない良好な画像を得ることができる。このように、仮想視点の画像を生成する場合、1つの視点の、画像信号およびデプス信号から画像を生成するよりも、複数の視点の、画像信号およびデプス信号から画像を生成する方がより良好な仮想視点の画像を得ることができる。
また、2つの視点の、画像信号およびデプス信号から仮想視点の画像信号を生成する場合、視点間の距離が短い2つの視点の、画像信号およびデプス信号から生成する方が、視点間の距離が長い2つの視点の、画像信号およびデプス信号から生成するより良好な仮想視点の画像信号を得ることができる。以下、この知見について図6、図7を参照しながら、より詳細に説明する。
図6は、第5視点VEおよび第6視点VFから第3対象物OCおよび第4対象物ODが存在するシーンを撮影し、仮想視点である第4視点VD(以下、第4仮想視点VDと表記する)の画像を生成する例を示す図である。
図7は、図6の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図7において、第5画像IEは図6の第5視点VEから撮影された画像を示し、第6画像IFは図6の第6視点VFから撮影された画像を示す。第5デプスマップDEは第5画像IEに対応するデプスマップを示し、第6デプスマップDFは第3画像ICに対応するデプスマップを示す。また、第4画像IDは第4仮想視点VDから撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。
図7は、図6の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図7において、第5画像IEは図6の第5視点VEから撮影された画像を示し、第6画像IFは図6の第6視点VFから撮影された画像を示す。第5デプスマップDEは第5画像IEに対応するデプスマップを示し、第6デプスマップDFは第3画像ICに対応するデプスマップを示す。また、第4画像IDは第4仮想視点VDから撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。
また、第4−5画像IDEは、第5視点VEから撮影された第5画像IEとそれに対応する第5デプスマップDEから生成された第4仮想視点VDの予測画像である。第5視点VEから撮影された第5画像IEとそれに対応する第5デプスマップDEから第4仮想視点VDの予測画像を生成する場合、第5視点VEから撮影した際に前方の第3対象物OCにより隠蔽されていた部分が不明であり、欠落部分が発生する。第4−5画像IDEの黒塗りの部分が、当該第4仮想視点VDの予測画像内で発生する第5欠落部分LPEである。
また、第4−6画像IDFは、第6視点VFから撮影された第6画像IFとそれに対応する第6デプスマップDFから生成された第4仮想視点VDの予測画像である。第4−6画像IDFにも欠落部分が発生する。第4−6画像IDFの黒塗りの部分が、当該第4仮想視点VDの予測画像内で発生する第6欠落部分LPFである。
第5視点VEと第6視点VFとを比較すると、第6視点VFの方が第4仮想視点から離れているため、第6画像IFの方が第4画像IDからのずれ量が大きくなり、第4−6画像IDFの第6欠落部分LPFの面積の方が第4−5画像IDEの第5欠落部分LPEの面積より大きくなる。このように、視点間の距離が小さければ小さいほど、画像に写る被写体の視点間のずれ量、変形、明るさや色の差は小さくなり、良好な画像を得ることができる。したがって、仮想視点の画像信号を生成する場合、視点間の距離が短い複数の視点の、画像信号およびデプス信号から生成する方が、視点間の距離が長い複数の視点の、画像信号およびデプス信号から生成するより良好な仮想視点の画像を得ることができる。
また、コンテンツの奥行きの状態によっても仮想視点の画像信号の生成しやすさは異なる。重なり合う被写体同士の奥行きの差が小さければ小さいほど、より良好な仮想視点の画像信号を得ることができる。以下、この知見について図8、図9を参照しながら、より詳細に説明する。
図8は、第8視点VHから第5対象物OEまたは第6対象物OFのいずれか一方と、第7対象物OGが存在する2つのシーンを撮影し、仮想視点である第7視点VG(以下、第7仮想視点VGと表記する)の画像を生成する例を示す図である。それぞれのシーンの撮影時には第5対象物OEと第6対象物OFは同時に存在しない。ここで、第5対象物OEおよび第7対象物OGが存在するシーンを第1シーンH1、第6対象物OFおよび第7対象物OGが存在するシーンを第2シーンH2とする。
図9は、図8の例において、撮影された画像、それに対応するデプスマップ、および生成される画像を示す図である。図9において、第8−1画像IH1は図8の第8視点VHから撮影された第1シーンH1の画像を示し、第8−2画像IH2は同様に図8の第8視点VHから撮影された第2シーンH2の画像を示す。第8−1デプスマップDH1は第8−1画像IH1に対応するデプスマップを示し、第8−2デプスマップDH2は第8−2画像IH2に対応するデプスマップを示す。
第7−1画像IG1は第7仮想視点VGから第1シーンH1を撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。また、第7−2画像IG2は第7仮想視点VGから第2シーンH2を撮影したと仮定した場合に得られる予測画像を示し、実際に撮影されるものではなく、生成されるべき画像である。
また、第7−8−1画像IGH1は、第8視点VHから撮影された第1シーンH1の第8−1画像IH1とそれに対応する第8−1デプスマップDH1から生成された第7仮想視点VGの第1シーンH1の予測画像である。第8視点VHから撮影された第1シーンH1の第8−1画像IH1とそれに対応する第8−1デプスマップDH1から第7仮想視点VGの第1シーンH1の予測画像を生成する場合、第8視点VHから撮影した際に前方の第5対象物OEにより隠蔽されていた部分が不明であり、欠落部分が発生する。第7−8−1画像IGH1の黒塗りの部分が、当該第7仮想視点VGの第1シーンH1の予測画像内で発生する第8−1欠落部分LPH1である。
また、第7−8−2画像IGH2は、第8視点VHから撮影された第2シーンH2の第8−2画像IH2とそれに対応する第8−2デプスマップDH2から生成された第7仮想視点VGの第2シーンH2の予測画像である。第7−8−2画像IGH2にも欠落部分が発生する。第7−8−2画像IGH2の黒塗りの部分が、当該第7仮想視点VDの第2シーンH2の予測画像内で発生する第8−2欠落部分LPH2である。
第8−1画像IH1と第7−1画像IG1とのずれ量と、第8−2画像IH2と第7−2画像IG2とのずれ量とを比較すると、後者の方が大きくなる。したがって、第7−8−2画像IGH2の第8−2欠落部分LPH2の面積の方が、第7−8−1画像IGH1の第8−1欠落部分LPH1の面積より大きくなる。このように、コンテンツの奥行きの状態によっても仮想視点の画像信号の生成しやすさが異なってくる。すなわち、互いに重なり合う被写体同士の奥行きの差が小さければ小さいほど、重なり合う被写体同士の、画像内における相対的なずれ量が小さくなり、生成される画像の欠落部分は小さくなり、良好な画像を得ることができる。
なお、重なり合う被写体同士の奥行きの差は、デプス信号から算出することができる。デプス信号(図9では、第8−1デプスマップDH1および第8−2デプスマップDH2)のエッジ(すなわち、濃度が急峻に変化する点)を抽出し、エッジ部分の境界を挟んだ画素値の差を算出し、その差が小さければ小さいほど、重なりあう被写体同士の奥行きの差を小さいと判定する。
このように、複数の視点の画像信号を含む多視点画像信号に加えて、複数の視点のデプス信号を含む多視点デプス信号を用いると、復号側で高精度な仮想視点の画像信号を生成することができる。また、視点間の間隔が密な多視点画像信号と、その各視点画像信号のそれぞれに対応した多視点デプス信号を用いると、復号側でさらに高精度な仮想視点の画像信号を生成することができる。
ただし、視点の数を多く設定しすぎると、ビットレートが高くなり、伝送効率または蓄積効率が低下する。従って、対象となるアプリケーションの伝送レートまたは蓄積媒体の容量を考慮して、多視点画像信号および多視点デプス信号のそれぞれにおいて符号化すべき視点を適切に決定する必要がある。
この際、必ずしも符号化される、多視点画像信号とデプス信号のそれぞれの視点が1対1に対応している必要はなく、多視点画像信号と多視点デプス信号とで異なる視点の信号が符号化されてもよい。この場合、より柔軟に符号化することができる。例えば、実際に撮影して得られた画像信号をすべて符号化し、伝送または蓄積する必要がある場合でも、仮想視点の画像信号の生成が容易な場合、符号化するデプス信号の視点を少なく設定してもよい。この場合、より効率的な符号化ストリームを生成することができる。ここで、仮想視点の画像信号の生成が容易な場合とは、符号化される多視点画像信号の視点間の間隔が十分に密である場合や、コンテンツに含まれる被写体同士の奥行きの差があまりない場合等である。
次に、実施の形態1に係る画像符号化装置100で符号化されることにより生成される符号化ストリームについて説明する。
図10は、符号化すべき、5視点(視点0、視点1、視点2、視点3および視点4)からの画像ISを含む多視点画像、および3視点(視点0、視点2および視点4)からのデプスDSを含む多視点デプスマップを示す図である。縦軸は視点方向を示し、横軸は時間方向を示している。また、視点0を上記基底視点とする。MVC符号化方式において、基底視点は他の視点に依存せずに符号化または復号することができる視点である。多視点画像を含む1つのシーケンス全体で1つの視点のみが基底視点に設定される。すなわち、基底視点の画像は、他の視点の画像を視点間予測の参照画像として用いることなく、単独で符号化または復号されることが可能である。また、非基底視点(すなわち、基底視点以外の視点)の画像は、他の視点の画像を視点間予測の参照画像として用いて符号化または復号されることが可能である。以下の説明では、図10に示す多視点画像および多視点デプスマップを符号化する場合について述べる。
図10は、符号化すべき、5視点(視点0、視点1、視点2、視点3および視点4)からの画像ISを含む多視点画像、および3視点(視点0、視点2および視点4)からのデプスDSを含む多視点デプスマップを示す図である。縦軸は視点方向を示し、横軸は時間方向を示している。また、視点0を上記基底視点とする。MVC符号化方式において、基底視点は他の視点に依存せずに符号化または復号することができる視点である。多視点画像を含む1つのシーケンス全体で1つの視点のみが基底視点に設定される。すなわち、基底視点の画像は、他の視点の画像を視点間予測の参照画像として用いることなく、単独で符号化または復号されることが可能である。また、非基底視点(すなわち、基底視点以外の視点)の画像は、他の視点の画像を視点間予測の参照画像として用いて符号化または復号されることが可能である。以下の説明では、図10に示す多視点画像および多視点デプスマップを符号化する場合について述べる。
図11は、実施の形態1に係る画像符号化装置100で生成される符号化ストリームをNALユニット単位で表現した例を示す図である。1つの四角形のブロックが1つのNALユニットに相当する。NALユニットはヘッダ部(すなわち、先頭部)であるNALユニットヘッダと、そのNALユニットヘッダを除いた生のデータであるRBSP(Raw Byte Sequence Payload)を含む。それぞれのNALユニットのヘッダ部には常に“0”の値を持つフラグ(すなわち、"forbidden_zero_bit")と、SPS、PPSまたは参照ピクチャとなるスライスが含まれているかどうかを見分ける識別子(すなわち、"nal_ref_idc")と、NALユニットの種類を見分ける識別子(すなわち、"nal_unit_type")が含まれる。
図12は、AVC/H.264符号化方式で規定されているNALユニットの種類を示す図である。復号側ではNALユニットの種類を、NALユニットのヘッダ部に含まれるNALユニットの種類を見分ける識別子である"nal_unit_type"を参照することにより、識別することができる。
(SPS#A)
図11に示す符号化ストリームでは、まず、SPS#AのNALユニットが生成される。SPS#Aには基底視点の画像信号(図10では、視点0の画像の信号)の、シーケンス全体の符号化に関わる情報が設定される。SPS#AのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、SPSであることを示す“7”が設定される(図12参照)。
図11に示す符号化ストリームでは、まず、SPS#AのNALユニットが生成される。SPS#Aには基底視点の画像信号(図10では、視点0の画像の信号)の、シーケンス全体の符号化に関わる情報が設定される。SPS#AのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、SPSであることを示す“7”が設定される(図12参照)。
図13は、SPSのNALユニットの構成を示す図である。SPSのRBSPである"seq_parameter_set_rbsp"は、シーケンス全体の符号化に関わる情報が含まれる"seq_parameter_set_data"と、RBSPの最後に付加する調整のためのビットである"rbsp_trailing_bits"を含む。"seq_parameter_set_data"にはプロファイルを識別するための"profile_idc"が含まれる。ここでのプロファイルとはAVC/H.264符号化方式のシンタックスのサブセットを示す。
例えば、SPS#Aの"profile_idc"の値を“100”に設定することにより、符号化ストリームがAVC/H.264符号化方式のハイ・プロファイル(High Profile)に準拠していることを示すことができる。その場合、SPS#Aを参照すべき後述のNALユニットは、ハイ・プロファイルに準拠した制限に基づいて生成される。さらに、"seq_parameter_set_data"にはSPSを識別するための、SPSを特定する一意の番号である"seq_parameter_set_id"が含まれており、SPS#Aの"seq_parameter_set_id"には、後述するSPS#BおよびSPS#Cの、"seq_parameter_set_id"と異なる任意の値が設定される。この基底視点の画像信号のSPSには、後述するシーケンス全体の符号化にかかわるMVC拡張の情報が含まれる"seq_parameter_set_mvc_extension"は含まれない。
(SPS#B)
続いて、SPS#BのNALユニットが生成される。SPS#Bには基底視点を除くその他の視点の画像信号(図10では、視点1、視点2、視点3および視点4の画像の信号)の、シーケンス全体の符号化に関わる情報が設定される。SPS#BのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。
続いて、SPS#BのNALユニットが生成される。SPS#Bには基底視点を除くその他の視点の画像信号(図10では、視点1、視点2、視点3および視点4の画像の信号)の、シーケンス全体の符号化に関わる情報が設定される。SPS#BのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。
図14は、サブセットSPSのNALユニットの構成を示す図である。サブセットSPSのRBSPである"subset_seq_parameter_set_rbsp"には、シーケンス全体の符号化に関わる情報が含まれる"seq_parameter_set_data"に加えて、シーケンス全体の符号化に関わるMVC拡張の情報が含まれる"seq_parameter_set_mvc_extension_rbsp"が含まれる。SPS#Bの"profile_idc"の値には、AVC/H.264符号化方式のマルチビュー・ハイ・プロファイル(Multiview High Profile)を示す“118”が設定される。本明細書では、AVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに対応した符号化方式をMVC符号化方式と呼ぶ。
SPS#Bを参照すべき後述のNALユニットは、マルチビュー・ハイ・プロファイルに準拠した制限に基づいて生成される。さらに、SPS#Bの"seq_parameter_set_id"には、上述したSPS#Aおよび後述するSPS#Cの、"seq_parameter_set_id"と異なる任意の値が設定される。"seq_parameter_set_mvc_extension_rbsp"には、符号化される画像信号の視点数、視点方向への符号化または復号順序、および画像信号を符号化または復号する際の視点間予測の際に参照すべき、視点を特定するための視点間の依存関係を示す情報が含まれる。
図14において、"num_views_minus1"は、上記符号化ビット列に上記視点の数を設定するためのパラメータであり、視点数から“1”を引いた値である。図10の例では、視点0、視点1、視点2、視点3および視点4の5視点の画像の信号を含む多視点画像信号が符号化されるため、"num_views_minus1"の値には“4”が設定される。
続いて、"view_id[i]"が各視点ごとに視点方向への符号化または復号順序で、連続して繰り返し設定される構造となっている。"view_id[i]"は視点方向への符号化または復号順序をインデックスiで示したときの視点の識別情報(以下、視点IDという)を示す。すなわち、"view_id[i]"は視点方向への符号化または復号順序で、i番目の視点IDを示す。ここで、本明細書では、配列のインデックス(すなわち、添え字)は0から始まるものとする。例えば、配列"view_id[i]"の先頭はview_id[0]、その次は"view_id[1]"となる。また、順序を表す際にも最初を0番目、その次を1番目とする。つまり、視点方向に最初に符号化または復号される視点を0番目、その次に符号化または復号される視点を1番目とする。例えば、視点0、視点2、視点1、視点4、視点3の順序で符号化される場合、"view_id[0]"には視点0の視点IDを、"view_id[1]"には視点2の視点IDを、"view_id[2]"には視点1の視点IDを、"view_id[3]"には視点4の視点IDを、および"view_id[4]"には視点3の視点IDをそれぞれ設定する。
(SPS#C)
続いて、SPS#CのNALユニットが生成される。SPS#Cには各視点のデプス信号のシーケンス全体の符号化に関わる情報が設定される。SPS#Bと同様に、SPS#CのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。ここで、本実施の形態においては、多視点デプス信号も復号可能なプロファイルであることを示す"profile_idc"の値を“120”と規定する。したがって、SPS#Cの"profile_idc"の値が“120”に設定される。さらに、SPS#Cの"seq_parameter_set_id"には、上述したSPS#AおよびSPS#Bの、"seq_parameter_set_id"と異なる任意の値が設定され。"seq_parameter_set_mvc_extension_rbsp"には、符号化されるデプス信号の視点数、視点方向への符号化または復号順序、およびデプス信号を符号化または復号する際の視点間予測の際に参照すべき視点を特定するための、視点間の依存関係が含まれる。
続いて、SPS#CのNALユニットが生成される。SPS#Cには各視点のデプス信号のシーケンス全体の符号化に関わる情報が設定される。SPS#Bと同様に、SPS#CのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。ここで、本実施の形態においては、多視点デプス信号も復号可能なプロファイルであることを示す"profile_idc"の値を“120”と規定する。したがって、SPS#Cの"profile_idc"の値が“120”に設定される。さらに、SPS#Cの"seq_parameter_set_id"には、上述したSPS#AおよびSPS#Bの、"seq_parameter_set_id"と異なる任意の値が設定され。"seq_parameter_set_mvc_extension_rbsp"には、符号化されるデプス信号の視点数、視点方向への符号化または復号順序、およびデプス信号を符号化または復号する際の視点間予測の際に参照すべき視点を特定するための、視点間の依存関係が含まれる。
"seq_parameter_set_mvc_extension_rbsp"にパラメータが、基底視点を除くその他の視点の画像信号の、シーケンス全体の符号化に関わる情報であるSPS#Bと同様に設定される。上述したように、視点0、視点2および視点4の3視点の画像信号を含む多視点デプス信号を視点0、視点2および視点4の順序で符号化する場合、各パラメータの値は次のように設定される。まず、"num_views_minus1"の値を“2”に設定し、次に、"view_id[0]"に視点0の視点IDを、"view_id[1]"に視点2の視点IDを、および"view_id[2]"に視点4の視点IDをそれぞれ設定する。同じ視点の画像信号およびデプス信号の視点IDを共通とすることで、復号側で画像信号の視点とデプス信号の視点との対応関係を明確に特定することができる。
また、本実施の形態では、デプス信号はモノクローム・フォーマットの画像と同様に符号化されるため、"seq_parameter_set_data"に含まれる、輝度成分と色差成分との比を表すクロマ・フォーマット"chroma_format_idc"にはモノクロームを示す“0”が設定される。ここまで、多視点デプス信号を復号可能なプロファイルであることを示す"profile_idc"の値を“120”と規定する例を説明したが、既存の"profile_idc"の値以外であれば、いずれの値でもよい。
また、サブセットSPSのNALユニットのRBSPに、デプス信号のシーケンス情報か否かを示すフラグを用意し、SPS#Cの"profile_idc"の値をマルチビュー・ハイ・プロファイルを示す“118”とすることもできる。
また、サブセットSPSのNALユニットのRBSPに、デプス信号のシーケンス情報か否かを示すフラグを用意し、SPS#Cの"profile_idc"の値をマルチビュー・ハイ・プロファイルを示す“118”とすることもできる。
(PPS#A)
続いて、PPS#AのNALユニットが生成される。PPS#Aには基底視点の画像信号(図10の例では、視点0の画像の信号)の、ピクチャ全体の符号化に関する情報が設定される。PPS#AのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される(図12参照)。
続いて、PPS#AのNALユニットが生成される。PPS#Aには基底視点の画像信号(図10の例では、視点0の画像の信号)の、ピクチャ全体の符号化に関する情報が設定される。PPS#AのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される(図12参照)。
図15は、PPSのNALユニットの構成を示す図である。PPSのRBSPである"pic_parameter_set_rbsp"には、PPSを識別するための、PPSを特定する一意の番号である"pic_parameter_set_id"が含まれている。PPS#Aの"pic_parameter_set_id"には、後述するPPS#BおよびPPS#Cの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、PPSのRBSPである"pic_parameter_set_rbsp"には、参照すべきSPSを特定する番号である"seq_parameter_set_id"が含まれており、PPS#Aの"seq_parameter_set_id"には、PPS#Aが参照すべきSPS#Aの"seq_parameter_set_id"の値が設定される。
(PPS#B)
続いて、PPS#BのNALユニットが生成される。PPS#Bには基底視点を除くその他の視点の画像信号(ここでは図10における、視点1および視点2の画像の信号)の、ピクチャ全体の符号化に関する情報が設定される。PPS#Aと同様に、PPS#BのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。
続いて、PPS#BのNALユニットが生成される。PPS#Bには基底視点を除くその他の視点の画像信号(ここでは図10における、視点1および視点2の画像の信号)の、ピクチャ全体の符号化に関する情報が設定される。PPS#Aと同様に、PPS#BのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。
PPS#Bの"pic_parameter_set_id"には、上述したPPS#Aおよび後述するPPS#Cの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、PPS#Bの"seq_parameter_set_id"には、PPS#Bが参照すべきSPS#Bの"seq_parameter_set_id"の値が設定される。
(PPS#C)
続いて、PPS#CのNALユニットが生成される。PPS#Cには各視点のデプス信号のピクチャ情報が設定される。PPS#AおよびPPS#Bと同様に、PPS#CのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。PPS#Cの"pic_parameter_set_id"には上述したPPS#AおよびPPS#Bの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、PPS#Cの"seq_parameter_set_id"には、PPS#Cが参照すべきSPS#Cの"seq_parameter_set_id"の値が設定される。
続いて、PPS#CのNALユニットが生成される。PPS#Cには各視点のデプス信号のピクチャ情報が設定される。PPS#AおよびPPS#Bと同様に、PPS#CのNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。PPS#Cの"pic_parameter_set_id"には上述したPPS#AおよびPPS#Bの、"pic_parameter_set_id"と異なる任意の値が設定される。さらに、PPS#Cの"seq_parameter_set_id"には、PPS#Cが参照すべきSPS#Cの"seq_parameter_set_id"の値が設定される。
(カメラパラメータ情報)
続いて、カメラパラメータ情報#0のNALユニットが生成される。このカメラパラメータ情報には内部パラメータ情報と外部パラメータ情報が含まれる。内部パラメータ情報は各視点のカメラ固有の情報であり、各視点からの撮影に用いたカメラの、焦点距離、主点、ラジアルディストーション(すなわち、主点から放射方向のレンズの歪み)といった係数を含む。外部パラメータ情報は各視点のカメラの配置情報を含む。この配置情報は、3次元空間上の位置(x、y、z座標)または3軸(x、y、z軸)上の回転角度(ロール、ピッチ、ヨー)で表されることが可能である。
続いて、カメラパラメータ情報#0のNALユニットが生成される。このカメラパラメータ情報には内部パラメータ情報と外部パラメータ情報が含まれる。内部パラメータ情報は各視点のカメラ固有の情報であり、各視点からの撮影に用いたカメラの、焦点距離、主点、ラジアルディストーション(すなわち、主点から放射方向のレンズの歪み)といった係数を含む。外部パラメータ情報は各視点のカメラの配置情報を含む。この配置情報は、3次元空間上の位置(x、y、z座標)または3軸(x、y、z軸)上の回転角度(ロール、ピッチ、ヨー)で表されることが可能である。
カメラパラメータ情報はそれぞれの時間で符号化される。例えば、カメラパラメータ情報#0は後述のスライス#A00からスライス#B30までの画像の撮影に用いたカメラパラメータ情報である。このカメラパラメータ情報は補足付加情報の一種である"Multiview acqisition information SEI"として符号化される。カメラパラメータ情報#0のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、SEIであることを示す“6”が設定される(図12参照)。カメラパラメータ情報はVCLで符号化されたデータの復号に直接必要なパラメータではないが、復号後の仮想視点の生成や表示の際に用いられる。
(プリフィックスNALユニット#A00)
続いて、プリフィックスNALユニット#A00が生成される。プリフィックスNALユニットは、プリフィックスNALユニットの後に続くスライスNALユニットの視点情報を符号化するためのNALユニットである。プリフィックスNALユニット#A00のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、プリフィックスNALユニットであることを示す“14”が設定される(図12参照)。
続いて、プリフィックスNALユニット#A00が生成される。プリフィックスNALユニットは、プリフィックスNALユニットの後に続くスライスNALユニットの視点情報を符号化するためのNALユニットである。プリフィックスNALユニット#A00のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、プリフィックスNALユニットであることを示す“14”が設定される(図12参照)。
図16は、プリフィックスNALユニットの構成を示す図である。プリフィックスNALユニットのヘッダ部であるNALユニットヘッダには、"forbidden_zero_bit"および"nal_ref_idc、nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"が含まれている。この"nal_unit_header_svc_mvc_extension"にはプリフィックスNALユニットの後に続くスライスNALユニットの視点情報が設定される。図11のプリフィックスNALユニット#A00の"nal_unit_header_svc_mvc_extension"には、後に続くスライスNALユニット#A00の視点情報が設定される。
プリフィックスNALユニットの"nal_unit_header_svc_mvc_extension"には、視点情報の1つとして、後に続くスライスNALユニットの視点を識別するための、視点を特定する一意の番号である"view_id"が含まれる。プリフィックスNALユニット#A00の"view_id"には、視点0を示す値が設定される。ここで、この視点0の"view_id"には、他の視点である、視点1、視点2、視点3および視点4の"view_id"と異なる値を規定する。当該プリフィックスNALユニット#A00の"view_id"は、後に続く視点0のスライスNALユニット#A00の"view_id"として用いられる。なお、MVC方式ではプリフィックスNALユニットのRBSPである"prefix_nal_unit_rbsp"には、いずれのデータも定義されておらず、空である。すなわち、MVC方式ではプリフィックスNALユニットのRBSPにはデータが設定されない。
(スライスNALユニット#A00)
続いて、スライスNALユニット#A00が生成される。スライスNALユニット#A00には基底視点である視点0の画像信号がスライス単位で設定される。ここで、基底視点のスライスは、NALユニットの種類を示す"nal_unit_type"が“1”または“5”(図12参照)の、VCLのNALユニットとして生成される。また、基底視点の画像信号のシーケンスの、先頭のピクチャはIDRピクチャとして符号化され、それに続くピクチャは非IDRピクチャとして符号化される。
続いて、スライスNALユニット#A00が生成される。スライスNALユニット#A00には基底視点である視点0の画像信号がスライス単位で設定される。ここで、基底視点のスライスは、NALユニットの種類を示す"nal_unit_type"が“1”または“5”(図12参照)の、VCLのNALユニットとして生成される。また、基底視点の画像信号のシーケンスの、先頭のピクチャはIDRピクチャとして符号化され、それに続くピクチャは非IDRピクチャとして符号化される。
スライスNALユニット#A00はシーケンスの先頭のスライスであるため、スライスNALユニット#A00のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、IDRピクチャの符号化されたスライスであることを示す“5”が設定される(図12参照)。図11の例では、1つのピクチャを1つのスライスとして符号化しているが、1つのピクチャを複数のスライスに分割して符号化することも可能である。
図17は、"nal_unit_type"の値が“1”または“5”のスライスNALユニットの構成を示す図である。"nal_unit_type"の値が“1”または“5”のスライスNALユニットのNALユニットヘッダには、"nal_unit_header_svc_mvc_extension"が含まれないため、視点情報は設定されない。そこで、前に符号化されたプリフィックスNALユニットの"nal_unit_header_svc_mvc_extension"に設定されている視点情報を用いる。すなわち、プリフィックスNALユニット#A00の"nal_unit_header_svc_mvc_extension"に設定されている視点情報を、スライスNALユニット#A00の視点情報とする。
さらに、"nal_unit_type"の値が“1”または“5”のスライスNALユニットのRBSPである"slice_layer_without_partitioning_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化にかかわる情報を含む。"slice_data"はスライス内の画像信号が符号化されて得られる、符号化モード、動きベクトル、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。
"slice_header"には、参照すべきPPSを特定する番号である"pic_parameter_set_id"が含まれる。スライスNALユニット#A00の"pic_parameter_set_id"には、スライスNALユニット#A00が参照すべきPPS#Aの"pic_parameter_set_id"の値が設定される。また、PPS#Aの"seq_parameter_set_id"には、PPS#Aが参照すべきSPS#Aの"seq_parameter_set_id"の値が設定されているため、スライスNALユニット#A00が参照すべきシーケンス情報がSPS#Aであることを明確に特定することができる。
(スライスNALユニット#B20)
続いて、スライスNALユニット1#B20が生成される。スライスNALユニット#B20は非基底視点である視点2の画像信号がスライス単位で符号化される。また、ここで符号化されるのは先の視点0のスライス#A00と同じ表示時刻の、視点2の画像信号のスライスである。スライスNALユニット#B20のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、基底視点以外の符号化されたスライスを示す“20”が設定される(図12参照)。
続いて、スライスNALユニット1#B20が生成される。スライスNALユニット#B20は非基底視点である視点2の画像信号がスライス単位で符号化される。また、ここで符号化されるのは先の視点0のスライス#A00と同じ表示時刻の、視点2の画像信号のスライスである。スライスNALユニット#B20のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、基底視点以外の符号化されたスライスを示す“20”が設定される(図12参照)。
図18は、"nal_unit_type"の値が“20”のスライスNALユニットの構成を示す図である。"nal_unit_type"の値が“20”のスライスNALユニットのヘッダ部であるNALユニットヘッダには、"forbidden_zero_bit"および"nal_ref_idc、nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"が含まれる。この"nal_unit_header_svc_mvc_extension"に当該スライスNALユニットの視点情報が設定される。"nal_unit_type"の値が“20”のスライスNALユニットの"nal_unit_header_svc_mvc_extension"には、視点情報の1つとしてこのスライスNALユニットの視点を識別するための、視点を特定する一意の番号である"view_id"が含まれる。スライスNALユニット#B20の"view_id"には、視点2を示す値が設定される。ここで、この視点2の"view_id"は、他の視点である視点0、視点1、視点3および視点4の"view_id"と異なる値とする。
さらに、nal_unit_typeの値が“20”のスライスNALユニットのRBSPである"slice_layer_in_scalable_extension_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化に関わる情報を含む。"slice_data"はスライス内の画像信号が符号化されて得られる、符号化モードと、動きベクトルまたは視差ベクトルと、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。"slice_header"には、参照すべきPPSを特定する番号である"pic_parameter_set_id"が含まれる。スライスNALユニット#B20の"pic_parameter_set_id"には、スライスNALユニット#B20が参照すべきPPS#Bの"pic_parameter_set_id"の値が設定される。また、PPS#Bの"seq_parameter_set_id"には、PPS#Bが参照すべきSPS#Bの"seq_parameter_set_id"の値が設定されているため、スライスNALユニット#B20が参照すべきシーケンス情報はSPS#Bであることを容易に判別することができる。
(スライスNALユニット#B10)
続いて、スライスNALユニット#B10、#B40、#B30がスライスNALユニット#B20と同様の方法で順次、生成される。スライスNALユニット#B10には非基底視点である視点1の画像信号がスライス単位で設定され、スライスNALユニット#B40には非基底視点である視点4の画像信号がスライス単位で設定され、およびスライスNALユニット#B30には非基底視点である視点3の画像信号がスライス単位で設定される。
続いて、スライスNALユニット#B10、#B40、#B30がスライスNALユニット#B20と同様の方法で順次、生成される。スライスNALユニット#B10には非基底視点である視点1の画像信号がスライス単位で設定され、スライスNALユニット#B40には非基底視点である視点4の画像信号がスライス単位で設定され、およびスライスNALユニット#B30には非基底視点である視点3の画像信号がスライス単位で設定される。
また、ここで符号化されるのは先の、視点0のスライス#A00および視点2のスライス#B20と同じ表示時刻の、視点1、視点4、視点3のスライス単位の画像信号である。スライスNALユニット#B20と同様に、スライスNALユニット#B10、#40、#30のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、基底視点以外の符号化されたスライスを示す“20”が設定される(図12参照)。スライスNALユニット#B10の"view_id"には、視点1を示す値が、スライスNALユニット#B40の"view_id"には視点4を示す値が、およびスライスNALユニット#B30の"view_id"には視点3を示す値がそれぞれ設定される。ここで、それぞれの視点の"view_id"には、他の視点の"view_id"と異なる値が設定される。
スライスNALユニット#B10、#B40、#B30の"pic_parameter_set_id"には、スライスNALユニット#B10、#B40、#B30が参照すべきPPS#Bの"pic_parameter_set_id"の値がそれぞれ設定される。また、PPS#Bの"seq_parameter_set_id"には、PPS#Bが参照すべきSPS#Bの"seq_parameter_set_id"の値が設定されているため、スライスNALユニット#B10、#B40、#B30が参照すべきシーケンス情報がSPS#Bであることを明確に特定することができる。
(スライスNALユニット#C00)
続いて、スライスNALユニット#C00が生成される。スライスNALユニット#C00には視点0の画像信号のスライスNALユニット#A00に対応するデプス信号がスライス単位で設定される。ここで、本実施の形態においては、デプス信号が設定されたスライスNALユニットであることを示す"nal_unit_type"の値を“21”と規定する。したがって、スライスNALユニット#C00のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には“21”が設定される。
続いて、スライスNALユニット#C00が生成される。スライスNALユニット#C00には視点0の画像信号のスライスNALユニット#A00に対応するデプス信号がスライス単位で設定される。ここで、本実施の形態においては、デプス信号が設定されたスライスNALユニットであることを示す"nal_unit_type"の値を“21”と規定する。したがって、スライスNALユニット#C00のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には“21”が設定される。
デプス信号が設定されたスライスNALユニットの"nal_unit_type"において、既存の"nal_unit_type"の値を用いずに“21”と設定することにより、従来のデプス信号を復号しないMVC方式との互換性を保つことができる。すなわち、上記符号化ビット列を従来の、デプス信号を復号しないMVC方式のデコーダで復号する際に、"nal_unit_type"の値が“21”のNALユニットを無視して復号することにより、画像信号のみを正常に復号することができるためである。なお、ここではデプス信号が符号化されたスライスであることを示す"nal_unit_type"の値を“21”と規定したが、将来の拡張のために予約された、“16”、“17”、“18”、“22”または“23”等の他の値を用いてもよい。
さらに、"nal_unit_type"の値が“21” のスライスNALユニットの構成を図18に示す構成と同様に規定する。すなわち、"nal_unit_type"の値が“21”のスライスNALユニットのヘッダ部であるNALユニットヘッダは、"forbidden_zero_bit"、"nal_ref_idc"および"nal_unit_type"に加えて、"nal_unit_header_svc_mvc_extension"を含むものとする。
スライスNALユニット#C00の"view_id"には、視点0を示す値が設定される。このスライスNALユニット#C00の"view_id"の値は、スライスNALユニット#C00に対応するスライスユニット#A00の視点情報が設定されるプリフィックスNALユニット#A00の"view_id"の値と等しい値である。
さらに、"nal_unit_type"の値が“21”のスライスNALユニットのRBSPである"slice_layer_in_scalable_extension_rbsp"は、"slice_header"、"slice_data"および"rbsp_slice_trailing_bits"を含む。"slice_header"はスライスの符号化にかかわる情報を含む。"slice_data"はスライス内のデプス信号が符号化されて得られる、符号化モードと、動きベクトルまたは視差ベクトルと、符号化残差信号等の符号化データを含む。"rbsp_slice_trailing_bits"は調整用のためのビットである。
"slice_header"には、参照すべきPPSを特定する番号である"pic_parameter_set_id"が含まれる。スライスNALユニット#C00の"pic_parameter_set_id"には、スライスNALユニット#C00が参照すべきPPS#Cの"pic_parameter_set_id"の値が設定される。また、PPS#Cの"seq_parameter_set_id"には、PPS#Cが参照べきSPS#Cの"seq_parameter_set_id"の値が設定されているため、スライスNALユニット#C00が参照すべきシーケンス情報がSPS#Cであることを明確に特定することができる。
(スライスNALユニット#C20)
続いて、スライスNALユニット#C20、#C40がスライスNALユニット#C00と同様の方法で順次、生成される。スライスNALユニット#C20には視点2の画像信号に対応する視点2のデプス信号がスライス単位で設定され、スライスNALユニット#C40には視点4の画像信号に対応する視点4のデプス信号がスライス単位で設定される。スライスNALユニット#C00と同様に、スライスNALユニット#C20、#40のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には“21”が設定される。
続いて、スライスNALユニット#C20、#C40がスライスNALユニット#C00と同様の方法で順次、生成される。スライスNALユニット#C20には視点2の画像信号に対応する視点2のデプス信号がスライス単位で設定され、スライスNALユニット#C40には視点4の画像信号に対応する視点4のデプス信号がスライス単位で設定される。スライスNALユニット#C00と同様に、スライスNALユニット#C20、#40のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には“21”が設定される。
スライスNALユニット#C20のview_idには視点2を示す値を設定し、スライスNALユニット#C40のview_idには視点4を示す値を設定する。このスライスNALユニット#C20のview_idの値は、スライスNALユニット#C20に対応するスライスユニット#B20のview_idの値と等しい値であり、スライスNALユニット#C40のview_idの値は、スライスNALユニット#C40に対応するスライスユニット#B40のview_idの値と等しい値である。
スライスNALユニット#C20、#40の"pic_parameter_set_id"には、スライスNALユニット#C20、#C40が参照すべきPPS#Cの"pic_parameter_set_id"の値が設定される。また、PPS#Cの"seq_parameter_set_id"には、PPS#Cが参照すべきSPS#Cの"seq_parameter_set_id"の値が設定されているため、スライスNALユニット#C20、#40が参照すべきシーケンス情報がSPS#Cであることを明確に特定することができる。
スライスNALユニット#C40に続くカメラパラメータ情報のNALユニット#A1以降のNALユニットも、カメラパラメータ情報#0からスライスNALユニット#C40と同様に生成される。プリフィックスNALユニット#A01には、後に続くスライス#A01の視点情報が、プリフィックスNALユニット#A00と同様の方法で設定される。
スライスNALユニット#A01には、スライスNALユニット#A00に設定された画像信号の符号化または復号順序で次にくる画像信号が、スライスNALユニット#A00と同様の方法でスライス単位で設定される。スライスNALユニット#A01のNALユニットヘッダに含まれるNALユニットの種類を示す"nal_unit_type"の値には、非IDRピクチャの符号化されたスライスであることを示す“1”が設定される(図12参照)。
スライスNALユニット#B21、#B11、#B41、#B31には、スライスNALユニット#B20、#B10、#B40、#B30に設定された画像信号のそれぞれの視点において符号化または復号順序で、次にくる画像信号が、スライスNALユニット#B20や#B10等と同様の方法でスライス単位でそれぞれ符号化される。スライスNALユニット#C01、#C21、#C41には、スライスNALユニット#C00、#C20、#C40に設定されたデプス信号のそれぞれの視点において符号化または復号順序で次にくるデプス信号が、スライスNALユニット#C00、#C20、#C40と同様の方法で、スライス単位でそれぞれ符号化される。
図1、図3に戻り、実施の形態1に係る画像符号化装置100、100aの構成について、より具体的に説明する。符号化管理部101には、外部または図示しない符号化管理情報保持部から符号化管理情報が供給される。符号化管理部101は必要に応じて新たにパラメータを計算する。
符号化管理部101は、
(a)画像信号のシーケンス全体に関連するパラメータ情報(すなわち、画像信号のSPS)、
(b)デプス信号のシーケンス全体に関連するパラメータ情報(すなわち、デプス信号のSPS)、
(c)画像信号のピクチャに関連するパラメータ情報(すなわち、画像信号のPPS)、(d)デプス信号のピクチャに関連するパラメータ情報(すなわち、デプス信号のPPS)、(e)画像信号のピクチャのスライスに関連するヘッダ情報(すなわち、画像信号のスライスヘッダ)、
(f)デプス信号のピクチャのスライスに関連するヘッダ情報(すなわち、デプス信号のスライスヘッダ)
等を含む符号化に関する情報を管理する。
(a)画像信号のシーケンス全体に関連するパラメータ情報(すなわち、画像信号のSPS)、
(b)デプス信号のシーケンス全体に関連するパラメータ情報(すなわち、デプス信号のSPS)、
(c)画像信号のピクチャに関連するパラメータ情報(すなわち、画像信号のPPS)、(d)デプス信号のピクチャに関連するパラメータ情報(すなわち、デプス信号のPPS)、(e)画像信号のピクチャのスライスに関連するヘッダ情報(すなわち、画像信号のスライスヘッダ)、
(f)デプス信号のピクチャのスライスに関連するヘッダ情報(すなわち、デプス信号のスライスヘッダ)
等を含む符号化に関する情報を管理する。
さらに、符号化管理部101は多視点画像信号および多視点デプス信号の視点情報、符号化対象画像の参照依存関係、並びに符号化または復号順序を管理する。符号化管理部101は上記視点情報として、各視点における画像信号およびデプス信号の対応関係を視点IDにより管理する。
符号化管理部101は上記参照依存関係として、視点単位で他の視点の画像信号またはデプス信号を参照するか否かを管理する。また、符号化管理部101は上記参照依存関係として、ピクチャまたはスライス単位で、符号化対象画像信号または符号化対象デプス信号を符号化する際に他の視点の画像信号またはデプス信号を参照画像として用いる視点間予測(例えば、視差補償予測)を行うか否かを管理する。また、符号化管理部101は上記参照依存関係として、符号化対象画像信号または符号化対象デプス信号が符号化された後に、符号化側で復号して得られる復号画像信号または復号デプス信号が、他の視点の符号化対象画像信号または符号化対象デプス信号を符号化する際の参照画像として用いられるか否かを管理する。さらに、符号化管理部101は上記参照依存関係として、複数ある参照画像の候補の中からどの参照画像を参照すべきかについて管理する。
また、符号化管理部101は上記符号化または復号順序として、復号側で、上記参照依存関係にしたがった復号対象画像信号の復号順番が、その画像信号が参照すべき参照画像の復号順番の後になるように管理する。また、符号化管理部101は上記符号化または復号順序として、同一時刻の各視点の画像信号とデプス信号が、復号された後に同時に出力されるのに適した順序で、画像信号およびデプス信号を符号化するように管理する。
画像信号用シーケンス情報符号化部102は、符号化管理部101で管理される基底視点の画像信号の、シーケンス全体に関連するパラメータ情報(すなわち、基底視点の画像信号のSPS)を符号化し、符号化ビット列を生成する。この符号化ビット列は、図11に示した符号化ビット列全体の、SPS#AのRBSP部に相当する。上述したように、基底視点の画像信号のSPSは、図13に示したRBSPである"seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。
さらに、画像信号用シーケンス情報符号化部102は、符号化管理部101で管理される非基底視点の画像信号の、シーケンス全体に関連するパラメータ情報(すなわち、非基底視点の画像信号のSPS)を符号化し、符号化ビット列を生成する。この符号化ビット列は、図11に示した符号化ビット列全体の、SPS#BのRBSP部に相当する。上述したように、非基底視点の画像信号用のSPSは、図14に示したRBSPである"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。ここでは、図14に示すシンタックス構造に従ってSPSのMVC拡張情報も符号化される。
デプス信号用シーケンス情報符号化部103は、符号化管理部101で管理されるデプス信号の、シーケンス全体に関連するパラメータ情報(すなわち、デプス信号のSPS)を符号化し、符号化ビット列を生成する。この符号化ビット列は、図11に示した符号化ビット列全体の、SPS#CのRBSP部に相当する。上述したように、デプス信号のSPSは図14に示したRBSPである"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化される。ここでは、図14に示したシンタックス構造に従ってSPSのMVC拡張情報も符号化される。
画像信号用ピクチャ情報符号化部104は、符号化管理部101で管理される画像信号のピクチャに関連する情報(すなわち、画像信号のPPS)を符号化し、符号化ビット列を生成する。この符号化ビット列は、図11に示した符号化ビット列全体の、PPS#AおよびPPS#Bの、RBSP部に相当する。上述したように、基底視点の画像信号のPPSおよび非基底視点の画像信号のPPSは、図15に示したRBSPである"pic_parameter_set_rbsp"のシンタックス構造に従ってそれぞれ符号化される。
デプス信号用ピクチャ情報符号化部105は、符号化管理部101で管理されるデプス信号のピクチャに関連する情報(すなわち、デプス信号のPPS)を符号化し、符号化ビット列を生成する。この符号化ビット列は、図11に示した符号化ビット列全体の、PPS#CのRBSP部に相当する。上述したように、デプス信号のPPSは、図15に示したRBSPである"pic_parameter_set_rbsp"のシンタックス構造に従って符号化される。
カメラパラメータ情報符号化部106は、各視点の撮影に用いたカメラのパラメータ情報をSEIとして符号化し、符号化ビット列を生成する。ここで、当該カメラパラメータ情報には内部パラメータ情報と外部パラメータ情報が含まれる。内部パラメータ情報は各視点のカメラ固有の情報であり、各視点からの撮影に用いたカメラの、焦点距離、主点、ラジアルディストーション(すなわち、主点から放射方向のレンズの歪み)といった係数を含む。外部パラメータ情報は各視点のカメラの配置情報を含む。この配置情報は、3次元空間上の位置(x、y、z座標)または3軸(x、y、z軸)上の回転角度(ロール、ピッチ、ヨー)で表されることが可能である。
画像信号符号化部107には各視点の画像信号が供給される。図10の例において、画像信号符号化部107に供給される画像信号は、視点0、視点1、視点2、視点3および視点4の画像の信号である。画像信号符号化部107は、符号化管理部101で管理される画像信号のスライスに関連する情報(すなわち、画像信号のスライスヘッダ)、および供給される符号化対象の画像信号をスライス単位で符号化し、符号化ストリームを生成する。
この符号化ストリームは、図11に示した符号化ストリーム全体の、スライス#A00、#B20、#B10、#B40、#B30、#A01、#B21、#B11、#B41、#B31のRBSP部に相当する。上述したように、基底視点の画像信号のスライスヘッダ、および供給される符号化対象の、基底視点のスライス単位の画像信号は、図17に示したRBSPである"slice_layer_without_partitioning_rbsp"のシンタックス構造に従ってそれぞれ符号化される。より具体的には、上記基底視点のスライス単位の画像信号は、イントラ予測符号化、インター予測符号化、直行変換、量子化、エントロピー符号化等の処理を経ることにより、符号化される。
また、非基底視点の画像信号のスライスヘッダ、および供給される符号化対象の、非基底視点のスライス単位の画像信号は、図18に示したRBSPである"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従ってそれぞれ符号化される。画像信号を符号化する際には視点間予測や動き補償予測を用いることがあるが、その際には既に符号化された画像信号のピクチャから局部的に復号された画像信号を参照画像として利用することができる。
デプス信号符号化部108には各視点のデプス信号が供給される。図10の例において、デプス信号符号化部108に供給されるデプス信号は、視点0、視点2および視点4のデプスマップの信号である。デプス信号符号化部108は、符号化管理部101で管理されるデプス信号のスライスに関連する情報(すなわち、デプス信号のスライスヘッダ)、および供給される符号化対象のデプス信号をスライス単位で符号化し、符号化ストリームを生成する。
この符号化ビット列は、図11に示した符号化ビット列全体の、スライス#C00、#C20、#C40、#C01、#C21、#C41のRBSP部に相当する。上述したように、デプス信号のスライスヘッダおよび、供給される符号化対象のスライス単位のデプス信号は、図18に示したRBSPである"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従ってそれぞれ符号化される。デプス信号を符号化する際には視点間予測や動き補償予測を用いることもあるが、その際には既に符号化されたデプス信号のピクチャから局部的に復号されたデプス信号を参照画像として利用することができる。デプス信号の符号化方法はグレースケールの画像信号の場合と同じ方法を利用することができる。
ユニット化部109は、
(a)画像信号用シーケンス情報符号化部102により生成された、基底視点の画像信号の、シーケンス情報の符号化ビット列、
(b)画像信号用シーケンス情報符号化部102により生成された、非基底視点の画像信号の、シーケンス情報の符号化ビット列、
(c)デプス信号用シーケンス情報符号化部103により生成された、デプス信号のシーケンス情報の符号化ビット列、
(d)画像信号用ピクチャ情報符号化部104により生成された、基底視点の画像信号の、ピクチャ情報の符号化ビット列、
(e)画像信号用ピクチャ情報符号化部104により生成された、非基底視点の画像信号の、ピクチャ情報の符号化ビット列、
(f)デプス信号用ピクチャ情報符号化部105により生成された、デプス信号のピクチャ情報の符号化ビット列、
(g)カメラパラメータ情報符号化部106により生成されたカメラパラメータ情報の符号化ビット列、
(h)画像信号符号化部107により生成された、基底視点の画像信号のスライスに関連する情報(すなわち、基底視点の画像信号のスライスヘッダ)および基底視点のスライス単位の画像信号の符号化ビット列、
(i)画像信号符号化部107により生成された、非基底視点の画像信号のスライスに関連する情報(すなわち、非基底視点の画像信号のスライスヘッダ)および非基底視点のスライス単位の画像信号の符号化ビット列、および
(j)デプス信号符号化部108により生成された、デプス信号用のスライスに関連する情報(すなわち、デプス信号のスライスヘッダ)およびスライス単位のデプス信号の符号化ビット列に、
それぞれの符号化ビット列をNALユニット単位で扱うためのヘッダ情報であるNALユニットヘッダをそれぞれ付加することにより、それぞれNALユニット化する。
(a)画像信号用シーケンス情報符号化部102により生成された、基底視点の画像信号の、シーケンス情報の符号化ビット列、
(b)画像信号用シーケンス情報符号化部102により生成された、非基底視点の画像信号の、シーケンス情報の符号化ビット列、
(c)デプス信号用シーケンス情報符号化部103により生成された、デプス信号のシーケンス情報の符号化ビット列、
(d)画像信号用ピクチャ情報符号化部104により生成された、基底視点の画像信号の、ピクチャ情報の符号化ビット列、
(e)画像信号用ピクチャ情報符号化部104により生成された、非基底視点の画像信号の、ピクチャ情報の符号化ビット列、
(f)デプス信号用ピクチャ情報符号化部105により生成された、デプス信号のピクチャ情報の符号化ビット列、
(g)カメラパラメータ情報符号化部106により生成されたカメラパラメータ情報の符号化ビット列、
(h)画像信号符号化部107により生成された、基底視点の画像信号のスライスに関連する情報(すなわち、基底視点の画像信号のスライスヘッダ)および基底視点のスライス単位の画像信号の符号化ビット列、
(i)画像信号符号化部107により生成された、非基底視点の画像信号のスライスに関連する情報(すなわち、非基底視点の画像信号のスライスヘッダ)および非基底視点のスライス単位の画像信号の符号化ビット列、および
(j)デプス信号符号化部108により生成された、デプス信号用のスライスに関連する情報(すなわち、デプス信号のスライスヘッダ)およびスライス単位のデプス信号の符号化ビット列に、
それぞれの符号化ビット列をNALユニット単位で扱うためのヘッダ情報であるNALユニットヘッダをそれぞれ付加することにより、それぞれNALユニット化する。
さらに、ユニット化部109は、必要に応じてNALユニット化した符号化ビット列同士を多重化し、図11に示した多視点画像の符号化ビット列を生成する。さらに、ネットワークを介して当該符号化ビット列が伝送される場合、図示しないパケット化部は、MPEG−2システム方式、MP4ファイルフォーマット、RTP等の規格に基づいてパケット化する。図示しない送信部はそのパケット化された符号化ビット列を送信する。
ここで、画像信号用シーケンス情報符号化部102から供給される、基底視点の画像信号の、シーケンス情報の符号化ビット列には、図13に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、SPSであることを示す“7”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列のSPS#AのNALユニットに相当する。また、非基底視点の画像信号の、シーケンス情報の符号化ビット列には、図14に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、SPS#BのNALユニットに相当する。
デプス信号用シーケンス情報符号化部103から供給される、デプス信号のシーケンス情報の符号化ビット列には、図14に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、MVC拡張のSPSであるサブセットSPSであることを示す“15”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、SPS#CのNALユニットに相当する。
画像信号用ピクチャ情報符号化部104から供給される、基底視点の画像信号の、ピクチャ情報の符号化ビット列には、図15に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、PPS#AのNALユニットに相当する。また、非基底視点の画像信号の、ピクチャ情報の符号化ビット列にも、図15に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、PPS#BのNALユニットに相当する。
デプス信号用ピクチャ情報符号化部105から供給される、デプス信号のピクチャ情報の符号化ビット列にも、図15に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、PPSであることを示す“8”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、PPS#CのNALユニットに相当する。
カメラパラメータ情報符号化部106から供給されるカメラパラメータ情報の符号化ビット列には、SEI用のNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、SEIであることを示す“6”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、カメラパラメータ情報#0、#1のNALユニットに相当する。
画像信号符号化部107から供給される、符号化された基底視点の画像信号のスライスヘッダ情報および符号化された基底視点の画像信号を含む符号化ビット列には、図17に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、基底視点の画像信号のスライスであることを示す“1”または“5”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、スライス#A00、#A01のNALユニットに相当する。
なお、上記基底視点の画像信号の、スライスNALユニットの前には、基底視点の画像信号の視点情報を符号化するためのプリフィックスNALユニットが設定される。プリフィックスNALユニットの構造は図16に示した通りであるが、上述したように、MVC方式ではRBSPが設定されないため、図16に示したNALユニットヘッダのみが設定される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、プリフィックスNALユニットであることを示す“14”が設定される。このNALユニットヘッダのみが符号化された符号化ビット列は、図11に示した符号化ビット列全体の、プリフィックスNALユニット#A00、#A01のNALユニットに相当する。
また、符号化された非基底視点の画像信号のスライスヘッダおよび符号化された非基底視点のスライス単位の画像信号を含む符号化ビット列には、図18に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、非基底視点の画像信号のスライスであることを示す“20”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31のNALユニットに相当する。
デプス信号符号化部108から供給される、符号化されたデプス信号のスライスヘッダおよび符号化されたスライス単位のデプス信号を含む符号化ビット列には、図18に示したNALユニットヘッダが付加される。ここで、NALユニットの種類を示す"nal_unit_type"の値には、デプス信号のスライスであることを示す“21”が設定される。このNALユニットヘッダが付加された符号化ビット列は、図11に示した符号化ビット列全体の、スライス#C00、#C10、#C20、#C01、#C11、#C21のNALユニットに相当する。
次に、図1、3に示した実施の形態1に係る画像符号化装置100、100aによる多視点画像の符号化処理手順について説明する。
図19は、実施の形態1に係る画像符号化装置100、100aによる多視点画像の符号化処理手順を示すフローチャートである。まず、画像信号用シーケンス情報符号化部102は基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を符号化し、基底視点の画像信号のシーケンス情報(すなわち、基底視点の画像信号のSPS)の符号化ビット列を生成する(S101)。
図19は、実施の形態1に係る画像符号化装置100、100aによる多視点画像の符号化処理手順を示すフローチャートである。まず、画像信号用シーケンス情報符号化部102は基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を符号化し、基底視点の画像信号のシーケンス情報(すなわち、基底視点の画像信号のSPS)の符号化ビット列を生成する(S101)。
続いて、ユニット化部109はステップS101の処理により得られた、基底視点の画像信号の、シーケンス情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S102)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、画像信号用シーケンス情報符号化部102は非基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を符号化し、非基底視点の画像信号用の、シーケンス情報(すなわち、非基底視点の画像信号のSPS)の符号化ビット列を生成する(S103)。
続いて、ユニット化部109はステップS104の処理により得られた、非基底視点の画像信号の、シーケンス情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S104)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、デプス信号用シーケンス情報符号化部103は、デプス信号のシーケンス全体の符号化に係るパラメータ情報を符号化し、デプス信号のシーケンス情報(すなわち、デプス信号のSPS)の符号化ビット列を生成する(S105)。
続いて、ユニット化部109はステップS105の処理により得られた、デプス信号のシーケンス情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S106)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、画像信号用ピクチャ情報符号化部104は、基底視点の画像信号の、ピクチャ全体の符号化に係るパラメータ情報を符号化し、基底視点の画像信号の、ピクチャ情報(すなわち、基底視点の画像信号のPPS)の符号化ビット列を生成する(S107)。
続いて、ユニット化部109はステップS107の処理により得られた、基底視点の画像信号の、ピクチャ情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S108)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、画像信号用ピクチャ情報符号化部104は非基底視点の画像信号の、ピクチャ全体の符号化に係るパラメータ情報を符号化し、非基底視点の画像信号の、ピクチャ情報(すなわち、非基底視点の画像信号のPPS)の符号化ビット列を生成する(S109)。
続いて、ユニット化部109はステップS109の処理により得られた、非基底視点の画像信号の、ピクチャ情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S110)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、デプス信号用ピクチャ情報符号化部105はデプス信号のピクチャ全体の符号化に係るパラメータ情報を符号化し、デプス信号のピクチャ情報(すなわち、デプス信号のPPS)の符号化ビット列を生成する(S111)。
続いて、ユニット化部109はステップS111の処理により得られた、デプス信号のピクチャ情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S112)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、カメラパラメータ情報符号化部106は各視点の撮影に用いたカメラのパラメータ情報をSEIとして符号化し、カメラパラメータ情報の符号化ビット列を生成する(S113)。
続いて、ユニット化部109はステップS113の処理により得られたカメラパラメータ情報の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S114)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、ユニット化部109は、後に続くNALユニットの視点情報を含むNALユニット単位で扱うためのヘッダ情報を符号化し、プリフィックスNALユニットとする(S115)。上述したように、MVC方式ではRBSPが符号化されないためである。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。
続いて、画像信号符号化部107は基底視点の画像信号のスライスに関連する情報(すなわち、基底視点の画像信号のスライスヘッダ)および符号化対象の基底視点の、スライス単位の画像信号を符号化し、基底視点のスライス単位の、画像信号の符号化ビット列を生成する(S116)。
続いて、ユニット化部109ステップS116の処理により得られた、基底視点のスライス単位の、画像信号の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S117)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。なお、図19には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップS116からS117の処理を繰り返す。
続いて、画像信号符号化部107は非基底視点の画像信号のスライスに関連する情報(すなわち、非基底視点の画像信号のスライスヘッダ)および符号化対象の基底視点の、スライス単位の画像信号を符号化し、非基底視点のスライス単位の、画像信号の符号化ビット列を生成する(S118)。
続いて、ユニット化部109はステップS117の処理により得られた、非基底視点のスライス単位の、画像信号の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S119)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。なお、図19には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップS118からS119の処理を繰り返す。
続いて、符号化管理部101は表示時刻において、符号化対象のすべての視点の画像信号の符号化処理が完了したか否かを判定する(S120)。当該表示時刻の画像信号の符号化処理が完了した場合(S120のY)、ステップS121の処理に進み、完了していない場合(S120のN)、ステップS118からステップS120の符号化処理を繰り返す。
続いて、デプス信号符号化部108はデプス信号のスライスに関連する情報(すなわち、デプス信号のスライスヘッダ)および符号化対象のスライス単位のデプス信号を符号化し、デプス信号のスライスの符号化ビット列を生成する(S121)。
続いて、ユニット化部109はステップS121の処理により得られた、スライス単位のデプス信号の符号化ビット列に、NALユニット単位で扱うためのヘッダ情報を付加することによりNALユニット化する(S122)。さらに、ユニット化部109は、必要に応じて他のNALユニットと多重化する。なお、図19には図示していないが、ピクチャを複数のスライスに分割して符号化する場合、ステップS121からS122の処理を繰り返す。
続いて、符号化管理部101は当該表示時刻において、符号化対象のすべての視点のデプス信号の符号化処理が完了したか否かを判定する(S123)。当該表示時刻のデプス信号の符号化処理が完了した場合(S123のY)、ステップS121の処理に進み、完了していない場合(S123のN)、ステップS121からステップS123の符号化処理を繰り返す。
続いて、符号化管理部101は、符号化対象のすべての画像信号およびデプス信号の符号化処理が完了したか否かを判定する(S124)。すべての画像信号およびデプス信号の符号化処理が完了した場合(S124のY)、本符号化処理を終了し、完了していない場合(S124のN)、ステップS113からステップS124の符号化処理を繰り返す。
次に、図1、3に示した実施の形態1に係る画像符号化装置100、100aにより生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順について説明する。
図20は、実施の形態1に係る画像符号化装置100、100aにより生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順を示すフローチャートである。図20のフローチャートに示す全体の処理は、図19のフローチャートにおける、ステップS102、S104、S106、S108、S110、S112、S114、S115、S117、S119およびS122のそれぞれ処理の後に、必要に応じて実行される。
図20は、実施の形態1に係る画像符号化装置100、100aにより生成された多視点画像の符号化ビット列をネットワークを介して伝送する場合の送信処理手順を示すフローチャートである。図20のフローチャートに示す全体の処理は、図19のフローチャートにおける、ステップS102、S104、S106、S108、S110、S112、S114、S115、S117、S119およびS122のそれぞれ処理の後に、必要に応じて実行される。
図20のフローチャートにおいて、図示しないパケット化部は、図19のフローチャートにおける、ステップS102、S104、S106、S108、S110、S112、S114、S115、S117、S119およびS122の処理により得られた符号化ビット列を、必要に応じてMPEG−2システム方式、MP4ファイルフォーマット、RTP等の規格に基づいてパケット化する(S201)。
続いて、当該パケット化部は、必要に応じてオーディオ等の符号化ビット列と多重化する(S202)。続いて、図示しない送信部はパケット化された符号化ビット列をネットワーク等を介して随時送信する(S203)。
なお、実施の形態1に係る画像符号化装置100、100aにより符号化された符号化ビット列は、既存の単視点のAVC/H.264符号化方式に対応した復号装置でも復号することができる。その場合、復号側で基底視点の画像信号のみが得られる。例えば、実施の形態1に係る画像符号化装置100、100aにより符号化された、図11に示した符号化ビット列は、AVC/H.264符号化方式のハイ・プロファイルに対応した復号装置で復号することができる。
その際には、AVC/H.264符号化方式のハイ・プロファイルに対応している、
(a)"nal_unit_type"が“7”のNALユニットであるSPSのNALユニット#A、
(b)"nal_unit_type"が“8”のNALユニットであるPPSのNALユニット#A、#B、#C、
(c)"nal_unit_type"が“1”のNALユニットであるスライスNALユニット#A00、および
(d)"nal_unit_type"が“5”のNALユニットであるスライスNALユニット#A01、
を復号する。
(a)"nal_unit_type"が“7”のNALユニットであるSPSのNALユニット#A、
(b)"nal_unit_type"が“8”のNALユニットであるPPSのNALユニット#A、#B、#C、
(c)"nal_unit_type"が“1”のNALユニットであるスライスNALユニット#A00、および
(d)"nal_unit_type"が“5”のNALユニットであるスライスNALユニット#A01、
を復号する。
ただし、PPSのNALユニット#B、#CについてはこれらのPPSを参照するスライスNALユニットは復号しないので、実際には使われない。AVC/H.264符号化方式のハイ・プロファイルに対応していない"nal_unit_type"が“15”のNALユニットであるSPSのNALユニット#B、#Cは復号しない。
同様に、
(a)"nal_unit_type"が“14”のNALユニットであるプリフィックスNALユニット#A00、
(b)"nal_unit_type"が“20”のNALユニットであるスライスNALユニット#B10、#B20、#B11、#B21、および
(c)"nal_unit_type"が“21”のNALユニットであるスライスNALユニット#C00、#C10、#C20、#C01、#C11、#C21、
も復号しない。
(a)"nal_unit_type"が“14”のNALユニットであるプリフィックスNALユニット#A00、
(b)"nal_unit_type"が“20”のNALユニットであるスライスNALユニット#B10、#B20、#B11、#B21、および
(c)"nal_unit_type"が“21”のNALユニットであるスライスNALユニット#C00、#C10、#C20、#C01、#C11、#C21、
も復号しない。
さらに、実施の形態1に係る画像符号化装置100、100aにより符号化された符号化ビット列は、既存のMVC符合化方式に対応した復号装置でも復号することができる。その場合、復号側で多視点の画像信号のみが得られる。例えば、実施の形態1に係る画像符号化装置100、100aにより符号化された、図11に示した符号化ビット列は、AVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに対応した復号装置で復号することができる。
その際には、AVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに対応している、
(a)"nal_unit_type"が“7”のNALユニットであるSPSのNALユニット#A、
(b)"nal_unit_type"が“15”のNALユニットであるSPSのNALユニット#B、#C、
(c)"nal_unit_type"が“8”のNALユニットであるPPSのNALユニット#A、#B、#C、
(d)"nal_unit_type"が“14”のNALユニットであるプリフィックスNALユニット#A00、
(e)"nal_unit_type"が“1”のNALユニットであるスライスNALユニット#A00、
(f)"nal_unit_type"が“5”のNALユニットであるスライスNALユニット#A01、および
(g)"nal_unit_type"が“20”のNALユニットであるスライスNALユニット#B10、#B20、#B11、#B21、
を復号する。
(a)"nal_unit_type"が“7”のNALユニットであるSPSのNALユニット#A、
(b)"nal_unit_type"が“15”のNALユニットであるSPSのNALユニット#B、#C、
(c)"nal_unit_type"が“8”のNALユニットであるPPSのNALユニット#A、#B、#C、
(d)"nal_unit_type"が“14”のNALユニットであるプリフィックスNALユニット#A00、
(e)"nal_unit_type"が“1”のNALユニットであるスライスNALユニット#A00、
(f)"nal_unit_type"が“5”のNALユニットであるスライスNALユニット#A01、および
(g)"nal_unit_type"が“20”のNALユニットであるスライスNALユニット#B10、#B20、#B11、#B21、
を復号する。
ただし、SPSのNALユニット#C、PPS NALユニット#CについてはこれらのSPSやPPSを参照するスライスNALユニットは復号しないので、実際には使われない。AVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに対応していない"nal_unit_type"が“21”のNALユニットであるスライスNALユニット#C00、#C10、#C20、#C01、#C11、#C21は復号しない。
以上説明したように実施の形態1によれば、複数の視点からの画像信号を含む多視点画像信号を符号化して生成された多視点画像符号化ビット列と、補助情報として複数の視点からのデプス信号を含む多視点デプス信号を符号化して生成された多視点デプス信号ビット列を同一の符号化ストリームとしてユニット化することにより、多視点画像を効率よく伝送または蓄積することができる。すなわち、符号化する画像信号の視点を大きく削減することができ、符号化効率や再生品質が向上する。
さらに、上記符号化ビット列のデータ構造を、従来の単視点の画像を復号する復号装置で基底視点の画像信号のみを復号したり、従来の多視点の画像を復号する復号装置で多視点画像信号のみを復号したりすることができる構造としたことにより、スケーラブル機能を実現し、従来の単視点の2次元画像を対象としたAVC/H.264符号化方式や、多視点の画像信号のみを対象としたMVC方式との互換性を保つことができる。
さらに、多視点画像信号と多視点デプス信号とを同数でそれぞれが1対1に対応している符号化ビット列を生成できるのはもちろんのこと、多視点画像信号とデプス信号の視点の数が異なっており、それぞれが1対1に対応していない符号化ビット列も生成することができる。
(実施の形態2)
次に、実施の形態1に係る画像符号化装置100、100aにより符号化された符号化データを復号する画像復号装置300について説明する。
図21は、本発明の実施の形態2に係る画像復号装置300の構成を示すブロック図である。実施の形態2に係る画像復号装置300は、分解部301、復号管理部302、パラメータ情報復号部320、画像信号復号部307、奥行き情報復号部(より具体的には、デプス信号復号部309)および復号画像バッファ310を備える。パラメータ情報復号部320は、基底視点の画像信号用シーケンス情報復号部303、MVC拡張情報を含むシーケンス情報復号部304、ピクチャ情報復号部305および補足付加情報復号部306を含む。
次に、実施の形態1に係る画像符号化装置100、100aにより符号化された符号化データを復号する画像復号装置300について説明する。
図21は、本発明の実施の形態2に係る画像復号装置300の構成を示すブロック図である。実施の形態2に係る画像復号装置300は、分解部301、復号管理部302、パラメータ情報復号部320、画像信号復号部307、奥行き情報復号部(より具体的には、デプス信号復号部309)および復号画像バッファ310を備える。パラメータ情報復号部320は、基底視点の画像信号用シーケンス情報復号部303、MVC拡張情報を含むシーケンス情報復号部304、ピクチャ情報復号部305および補足付加情報復号部306を含む。
分解部301は、それぞれ異なる複数の視点からの複数の画像が符号化された画像符号化データと、少なくとも一つ以上の視点からの特定空間の奥行きを示す奥行き情報が符号化された奥行き情報符号化データと、複数の画像および奥行き情報のもとになる複数の視点を特定するための視点情報を含むパラメータ情報が符号化されたパラメータ情報符号化データとを含む符号化ストリームを分解する。この符号化ストリームには、実施の形態1に係る画像符号化装置100、100aにより生成された符号化ストリームが含まれている。なお、この符号化ストリームに含まれる、奥行き情報符号化データの数は、画像符号化データの数より少なく設定されていてもよい。
画像信号復号部307は、分解部301により分解された画像符号化データを復号して、複数の画像を復元する。上記複数の視点のうち基準とすべき視点が一つ設定される場合、画像信号復号部307は、上記複数の画像のうち、基準とすべき視点からの画像が符号化された第1画像符号化データを復号して当該画像を復元し、当該基準とすべき視点からの画像以外の画像が符号化された第2画像符号化データを復号して当該画像を復元する。
上記奥行き情報復号部は、分解部301により分解された奥行き情報符号化データを復号して、奥行き情報を復元する。ここで、奥行き情報符号化データは、ある視点からのモノクローム画像で表された奥行き情報が符号化されたデータであってもよい。この場合、上記奥行き情報復号部は、奥行き情報符号化データを復号して、当該モノクローム画像を復元する。
パラメータ情報復号部320は、分解部301により分解されたパラメータ情報符号化データを復号して、パラメータ情報を復元する。上記複数の視点のうち基準とすべき視点が一つ設定される場合、パラメータ情報復号部320は、上記複数の画像のうち、基準とすべき視点からの画像の第1パラメータ情報が符号化された第1パラメータ情報符号化データを復号して、当該第1パラメータ情報を復元する。また、パラメータ情報復号部320は、上記複数の画像のうち、当該基準とすべき視点からの画像以外の画像の第2パラメータ情報が符号化された第2パラメータ情報符号化データを復号して、当該第2パラメータ情報を復元する。また、パラメータ情報復号部320は、上記奥行き情報の第3パラメータ情報が符号化された第3パラメータ情報符号化データを復号して、当該第3パラメータ情報を復元する。
なお、第3パラメータ情報は、第2パラメータ情報のシンタックス構造に対応するシンタックス構造で記述されてもよい。例えば、第2パラメータ情報および第3パラメータ情報はAVC/H.264符号化方式のマルチビュー・ハイ・プロファイルに準拠して記述されてもよい。また、第2パラメータ情報および第3パラメータ情報には、視点の識別情報が記述されていてもよく、上記画像符号化データとして符号化されていた画像のもとになる視点の位置と、上記奥行き情報符号化データとして符号化されていた奥行き情報のもとになる視点の位置が一致する場合、それらの視点に共通の識別情報が付与されていてもよい。
図22は、実施の形態2の変形例に係る画像復号装置300aの構成を示すブロック図である。実施の形態2の変形例に係る画像復号装置300aは、図21に示す画像復号装置300に仮想視点画像生成部330が追加された構成である。
当該変形例において、仮想視点画像生成部330は、画像信号復号部307により復号された画像および上記奥行き情報復号部により復号された奥行き情報をもとに、その画像のもとになる視点と異なる、別の視点からの画像を生成する。より具体的には、仮想視点画像生成部330は、画像信号復号部307により復号された画像、上記奥行き情報復号部により復号された奥行き情報、およびパラメータ情報復号部320により復号された、カメラパラメータ等のパラメータ情報をもとに、仮想視点からの画像を生成する。
仮想視点画像生成部330は、この仮想視点からの画像の生成を既存のアルゴリズムを用いて実現することができる。この仮想視点は、アプリケーションからの指示により、またはユーザ操作に起因して仮想視点画像生成部330に指定される。その他の処理は、図21に示した実施の形態2の基本例に係る画像復号装置300の説明と同様のため、その説明を省略する。
以下、実施の形態2に係る画像復号装置300、300aの構成について、より具体的に説明する。分解部301は、実施の形態1に係る画像符号化装置100、100aにより生成され符号化ビット列を取得する。符号化ビット列を取得する形態は、ネットワーク伝送された符号化ビット列を受信する形態でもよし、DVD等の蓄積メディアに記録された符号化ビット列を読み込む形態でもよいし、BS/地上波等の放送で放映された符号化ビット列を受信する形態でもよい。
また、分解部301は、供給される符号化ビット列をNALユニット単位に分離する。この際、図示しないパケット分解部は、必要に応じてMPEG−2システム方式、MP4ファイルフォーマット、RTP等のパケット・ヘッダを除去する。分解部301は、分離したNALユニットのヘッダ部であるNALユニットヘッダを復号し、復号したNALユニットヘッダの情報を復号管理部302に供給する。これらのNALユニットヘッダの情報の管理は復号管理部302で行われる。
分解部301は、NALユニットヘッダに含まれるNALユニットの種類を見分ける識別子である"nal_unit_type"の値が“7”、すなわち当該NALユニットが、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列を基底視点の画像信号用シーケンス情報復号部303に供給する。
分解部301は、"nal_unit_type"の値が“15”、すなわちMVC拡張情報を含むシーケンス全体の符号化に係るパラメータ情報が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列をMVC拡張情報を含むシーケンス情報復号部304に供給する。
分解部301は、"nal_unit_type"の値が“8”、すなわちピクチャの符号化に係るパラメータ情報等が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列をピクチャ情報復号部305に供給する。
分解部301は、"nal_unit_type"の値が“6”、すなわち補足付加情報が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列を補足付加情報復号部306に供給する。
分解部301は、"nal_unit_type"の値が“1”または“5”、すなわち基底視点の画像信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列を画像信号復号部307に供給する。
分解部301は、"nal_unit_type"の値が“20”、すなわち非基底視点の画像信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列を画像信号復号部307に供給する。
分解部301は、"nal_unit_type"の値が“21”、すなわちデプス信号の、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合、当該NALユニットのRBSP部の符号化ビット列をデプス信号復号部309に供給する。
なお、"nal_unit_type"の値が“14”、すなわち後に続くスライスNALユニットの視点情報等が符号化されているプリフィックスNALユニットの場合、当該NALユニットのRBSP部の符号化ビット列は空である。
分解部301は、"nal_unit_type"の値が“14” 、“20” 、“21”の場合、NALユニットヘッダに含まれる視点情報である"nal_unit_header_svc_mvc_extension"も復号し、復号された視点情報を復号管理部302に供給する。ここで復号される視点情報には視点ID等が含まれる。なお、"nal_unit_type"の値が“14”のNALユニットヘッダに含まれる視点情報は、後に続くNALユニットの視点情報となり、"nal_unit_type"の値が “20” または“21” のNALユニットヘッダに含まれる視点情報は、当該NALユニットの視点情報となる。これらの視点情報の管理は復号管理部302で行われる。
基底視点の画像信号用シーケンス情報復号部303は、分解部301から供給される基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のSPS#AのRBSP部に相当する。ここで、供給されるRBSP部の符号化ビット列は、図13に示した"seq_parameter_set_rbsp"である。基底視点の画像信号用シーケンス情報復号部303は、図13に示した"seq_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を得る。基底視点の画像信号用シーケンス情報復号部303は、この復号された基底視点の画像信号の、シーケンス情報を復号管理部302に供給する。この基底視点の画像信号の、シーケンス情報の管理は復号管理部302で行われる。
MVC拡張情報を含むシーケンス情報復号部304は、分解部301から供給されるMVC拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のSPS#B、SPS#CのRBSP部に相当する。ここで、供給されるRBSP部の符号化ビット列は、図14にした"subset_seq_parameter_set_rbsp"である。MVC拡張情報を含むシーケンス情報復号部304は、図14にした"subset_seq_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、非基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報またはデプス信号のシーケンス全体の符号化に係るパラメータ情報を得る。
非基底視点の画像信号のシーケンス情報か、デプス信号のシーケンス情報かは、"profile_idc"の値を参照することにより判別することができる。"profile_idc"の値が、AVC/H.264符号化方式のマルチビュー・ハイ・プロファイルを示す“118”の場合、非基底視点の画像信号のシーケンス情報であり、多視点デプス信号も復号できるプロファイルであることを示す “120”の場合、デプス信号のシーケンス情報である。"subset_seq_parameter_set_rbsp"にはMVC拡張情報が含まれており、MVC拡張情報を含むシーケンス情報復号部304で復号されるシーケンス情報には、MVC拡張情報も含まれる。MVC拡張情報を含むシーケンス情報復号部304は、これらの復号された、非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報を復号管理部302に供給する。これらのシーケンス情報の管理は復号管理部302で行われる。
ピクチャ情報復号部305は、分解部301から供給されるピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のPPS#A、PPS#B、PPS#CのRBSP部に相当する。ここで、供給されるRBSP部の符号化ビット列は、図15に示した"pic_parameter_set_rbsp"である。ピクチャ情報復号部305は、図15に示した"pic_parameter_set_rbsp"のシンタックス構造に従って符号化ビット列を復号し、基底視点の画像信号、非基底視点の画像信号、またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報を得る。ピクチャ情報復号部305は、この復号されたピクチャ情報を復号管理部302に供給する。このピクチャ情報の管理は復号管理部302で行われる。
補足付加情報復号部306は、分解部301から供給される補足付加情報が符号化された符号化ビット列を復号し、補足付加情報を出力する。供給される符号化ビット列にカメラパラメータ情報が含まれている場合、復号後の仮想視点の画像信号の生成や表示の際に、このカメラパラメータ情報を用いることができる。
画像信号復号部307は、分解部301から供給される基底視点の画像信号の、スライスヘッダ、並びにスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のスライス#A00、#A01のRBSP部に相当する。ここで、供給されるRBSP部の符号化ビット列は、図17に示した"slice_layer_without_partitioning_rbsp"である。
画像信号復号部307は、図17に示した"slice_layer_without_partitioning_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、画像信号復号部307は、"slice_layer_without_partitioning_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。画像信号復号部307は、この復号されたスライスに関連する情報を復号管理部302に供給する。
ここで上述した通り、"slice_layer_without_partitioning_rbsp"に含まれる"slice_header"には、参照すべきPPSを特定する番号"pic_parameter_set_id"が含まれており、図11に示したスライス#A00、#A01の"pic_parameter_set_id"には、スライス#A00、#A01が参照すべきPPS#Aの"pic_parameter_set_id"の値が設定されている。また、PPS#Aの"seq_parameter_set_id"には、PPS#Aが参照すべきSPS#Aの"seq_parameter_set_id"の値が設定されているため、スライス#A00、#A01が参照すべきシーケンス情報がSPS#Aであることを明確に特定することができる。これらの管理は復号管理部302で行われる。
画像信号復号部307は、スライス#A00または#A01の"slice_header"から復号されたスライスに関連する情報に加えて、復号管理部302から供給されるスライス#A00、#A01が参照すべき、SPS#Aから復号されたシーケンス情報およびPPS#Aから復号されたピクチャ情報を用いて、"slice_layer_without_partitioning_rbsp"に含まれる"slice_data"を復号し、基底視点の復号画像信号を得る。
この基底視点の復号画像信号は、復号画像バッファ310に格納される。基底視点の画像信号の符号化ビット列を復号する際、動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ310に格納された基底視点の復号画像信号を参照画像として利用する。なお、基底視点のスライスNALユニットのNALユニットヘッダには視点情報が含まれないが、基底視点のスライスNALユニットの前に符号化されるプリフィックスNALユニットのNALユニットヘッダの視点情報を、基底視点のスライスNALユニットの視点情報とする。
さらに、画像信号復号部307は、分解部301から供給される非基底視点の画像信号の、スライスヘッダ、並びにスライスの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のスライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31のRBSP部に相当する。
ここで、供給されるRBSP部の符号化ビット列は、図18に示した"slice_layer_in_scalable_extension_rbsp"である。画像信号復号部307は、図18に示した"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、画像信号復号部307は、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。画像信号復号部307は、この復号されたスライスに関連する情報を復号管理部302に供給する。
ここで上述した通り、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"には、参照すべきPPSを特定する番号"pic_parameter_set_id"が含まれており、図11に示したスライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31の"pic_parameter_set_id"には、スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきPPS#Bの"pic_parameter_set_id"の値が設定されている。
また、PPS#Bの"seq_parameter_set_id"には、PPS#Bが参照すべきSPS#Bの"seq_parameter_set_id"の値が設定されているため、スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきシーケンス情報がSPS#Bであることを明確に特定することができる。これらの管理は復号管理部302で行われる。
画像信号復号部307は、
(a)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31の"slice_header"から復号されたスライスに関連する情報に加えて、
(b)復号管理部302から供給されるスライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31のNALユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
(c)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきSPS#Bから復号されたシーケンス情報、および
(d)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきPPS#Bから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、非基底視点の復号画像信号を得る。
(a)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31の"slice_header"から復号されたスライスに関連する情報に加えて、
(b)復号管理部302から供給されるスライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31のNALユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
(c)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきSPS#Bから復号されたシーケンス情報、および
(d)スライス#B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31が参照すべきPPS#Bから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、非基底視点の復号画像信号を得る。
この非基底視点の復号画像信号は、復号画像バッファ310に格納される。非基底視点の画像信号の符号化ビット列を復号する際、視点間予測や動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ310に格納された基底視点、または非基底視点の画像信号を参照画像として利用する。
デプス信号復号部309は、分解部301から供給されるデプス信号の、スライスヘッ、並びにスライスの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化された符号化ビット列を復号する。この供給される符号化ビット列は、図11に示した符号化ビット列のスライス#C00、#C20、#C40、#C01、#C21、#C41のRBSP部に相当する。
ここで、供給されるRBSP部の符号化ビット列は、図18に示した"slice_layer_in_scalable_extension_rbsp"である。デプス信号復号部309は、図18に示した"slice_layer_in_scalable_extension_rbsp"のシンタックス構造に従って符号化ビット列を復号する。まず、デプス信号復号部309は、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"を復号し、スライスに関連する情報を得る。デプス信号復号部309は、この復号されたスライスに関連する情報を復号管理部302に供給する。
ここで上述した通り、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_header"には、参照すべきPPSを特定する番号"pic_parameter_set_id"が含まれており、図11に示したスライス#C00、#C20、#C40、#C01、#C21、#C41の"pic_parameter_set_id"には、スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきPPS#Cの"pic_parameter_set_id"の値が設定されている。また、PPS#Cの"seq_parameter_set_id"には、PPS#Cが参照すべきSPS#Cの"seq_parameter_set_id"の値が設定されているため、スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきシーケンス情報がSPS#Cであることを明確に特定することができる。これらの管理は復号管理部302で行われる。
デプス信号復号部309は、
(a)スライススライス#C00、#C20、#C40、#C01、#C21、#C41の"slice_header"から復号されたスライスに関連する情報に加えて、
(b)復号管理部302から供給されるスライス#C00、#C20、#C40、#C01、#C21、#C41のNALユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
(c)スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきSPS#Cから復号されたシーケンス情報、および
(d)スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきPPS#Cから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、復号デプス信号を得る。
(a)スライススライス#C00、#C20、#C40、#C01、#C21、#C41の"slice_header"から復号されたスライスに関連する情報に加えて、
(b)復号管理部302から供給されるスライス#C00、#C20、#C40、#C01、#C21、#C41のNALユニットヘッダに含まれていた"nal_unit_header_svc_mvc_extension"から復号された視点情報、
(c)スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきSPS#Cから復号されたシーケンス情報、および
(d)スライス#C00、#C20、#C40、#C01、#C21、#C41が参照すべきPPS#Cから復号されたピクチャ情報、
を用いて、"slice_layer_in_scalable_extension_rbsp"に含まれる"slice_data"を復号し、復号デプス信号を得る。
この復号デプス信号は復号画像バッファ310に格納される。デプス信号の符号化ビット列を復号する際には視点間予測や動き補償予測等のインター予測を用いることもあるが、その際には既に復号され、復号画像バッファ310に格納された復号デプス信号を参照画像として利用する。なお、デプス信号の復号方法はモノクローム・フォーマットの画像信号の場合と同じ方法を利用することができる。
復号管理部302は、復号画像バッファ310に格納された、復号画像信号および復号デプス信号の出力タイミングを管理し、復号画像バッファ310から同一時刻の、各視点の復号画像信号および復号デプス信号を同期して出力する。この際、各視点の復号画像信号および復号デプス信号に、それらの視点を特定する情報である視点IDを関連付けて出力する。
画像復号装置300、300aから出力された各視点の復号画像信号は、表示装置等で表示されてもよい。所望の視点が出力されない場合、画像復号装置300、300aから出力された復号画像信号、復号デプス信号、及びカメラパラメータ等の補足付加情報から、仮想視点の画像信号を生成し、得られた仮想視点の画像信号を表示装置等に表示する。なお、変形例に係る画像復号装置300aでは仮想視点画像生成部330でその仮想視点の画像信号を生成してもよい。
次に、図21、22に示した実施の形態2に係る画像復号装置300、300aによる多視点画像の復号処理手順について説明する。
図23は、実施の形態2に係る画像復号装置300、300aによる多視点画像の復号処理手順を示すフローチャートである。図23のフローチャートにおいて、分解部301は、取得した符号化ビット列をNALユニット単位に分離し、NALユニットヘッダを復号する(S301)。このステップS301において、ネットワークを介して符号化ビット列を受信し、NALユニット単位に分離する処理手順について、より具体的に説明する。
図23は、実施の形態2に係る画像復号装置300、300aによる多視点画像の復号処理手順を示すフローチャートである。図23のフローチャートにおいて、分解部301は、取得した符号化ビット列をNALユニット単位に分離し、NALユニットヘッダを復号する(S301)。このステップS301において、ネットワークを介して符号化ビット列を受信し、NALユニット単位に分離する処理手順について、より具体的に説明する。
図24は、ネットワークを介して符号化ビット列を受信し、NALユニット単位に分離する処理手順について示すフローチャートである。図24のフローチャートにおいて、図示しない受信部は、ネットワークを介して符号化ビット列を受信する(S401)。続いて、図示しないパケット分解部は、その受信された符号化ビット列に用いられたMPEG−2システム方式、MP4ファイルフォーマット、RTP等の規格に基づいて付加されたパケット・ヘッダを除去し、上記符号化ビット列を得る(S402)。続いて、分解部301は、その符号化ビット列をNALユニット単位で分離する(S402)。続いて、分解部301は、NALユニットヘッダを復号する(S403)。
なお、分解部301は、"nal_unit_type"の値が“14” 、“20”または“21”の場合、NALユニットヘッダに含まれる視点情報である"nal_unit_header_svc_mvc_extension"も復号する。ここで復号される視点情報には視点ID等が含まれる。なお、"nal_unit_type"の値が“14”のNALユニットヘッダに含まれる視点情報は、後に続くNALユニットの視点情報となり、"nal_unit_type"の値が “20” または“21” のNALユニットヘッダに含まれる視点情報は、当該NALユニットの視点情報となる。
図23のフローチャートに戻る。分解部301は、ステップS301の処理により分離されたNALユニットのヘッダ部であNALユニットヘッダに含まれる、NALユニットの種類を見分ける識別子である"nal_unit_type"を評価する(S302)。
(a)"nal_unit_type"が“7”、すなわち当該NALユニットが基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合(S302の7)、ステップS303に進む。
(b)"nal_unit_type"が“15”、すなわちMVC拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列の場合(S302の15)、ステップS304に進む。
(c)"nal_unit_type"が“8”、すなわち当該NALユニットが基底視点の画像信号、非基底視点の画像信号、またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合(S302の8)、ステップS305に進む。
(d)"nal_unit_type"が“6”、すなわち当該NALユニットが補足付加情報が符号化された符号化ビット列の場合(S302の6)、ステップS306に進む。
(e)"nal_unit_type"が“14”、すなわち当該NALユニットがプリフィックスNALユニットの場合(S302の14)、ステップS307に進む。
(f)"nal_unit_type"が“1”または“5”、すなわち当該NALユニットが基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合(S302の1または5)、ステップS308に進む。
(g)"nal_unit_type"が“20”、すなわち当該NALユニットが非基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合(S302の20)、ステップS309に進む。
(h)"nal_unit_type"が“21”、すなわち当該NALユニットがスライス単位のデプス信号が符号化された符号化ビット列の場合(S302の21)、ステップS310に進む。
(i)"nal_unit_type"がその他の値をとる場合(S302のその他)もあるが、本明細書では説明を省略する。
(a)"nal_unit_type"が“7”、すなわち当該NALユニットが基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合(S302の7)、ステップS303に進む。
(b)"nal_unit_type"が“15”、すなわちMVC拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列の場合(S302の15)、ステップS304に進む。
(c)"nal_unit_type"が“8”、すなわち当該NALユニットが基底視点の画像信号、非基底視点の画像信号、またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列の場合(S302の8)、ステップS305に進む。
(d)"nal_unit_type"が“6”、すなわち当該NALユニットが補足付加情報が符号化された符号化ビット列の場合(S302の6)、ステップS306に進む。
(e)"nal_unit_type"が“14”、すなわち当該NALユニットがプリフィックスNALユニットの場合(S302の14)、ステップS307に進む。
(f)"nal_unit_type"が“1”または“5”、すなわち当該NALユニットが基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合(S302の1または5)、ステップS308に進む。
(g)"nal_unit_type"が“20”、すなわち当該NALユニットが非基底視点のスライス単位の画像信号が符号化された符号化ビット列の場合(S302の20)、ステップS309に進む。
(h)"nal_unit_type"が“21”、すなわち当該NALユニットがスライス単位のデプス信号が符号化された符号化ビット列の場合(S302の21)、ステップS310に進む。
(i)"nal_unit_type"がその他の値をとる場合(S302のその他)もあるが、本明細書では説明を省略する。
基底視点の画像信号用シーケンス情報復号部303は、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号し、基底視点の画像信号の、シーケンス全体の符号化に係るパラメータ情報を得る(S303)。
MVC拡張情報を含むシーケンス情報復号部304は、MVC拡張情報を含むシーケンス全体の符号化に係るパラメータ情報、すなわち非基底視点の画像信号のシーケンス情報またはデプス信号のシーケンス情報が符号化された符号化ビット列を復号し、非基底視点の画像信号またはデプス信号の、シーケンス全体の符号化に係るパラメータ情報を得る(S304)。
ピクチャ情報復号部305は、ピクチャ全体の符号化に係るパラメータ情報が符号化された符号化ビット列を復号し、基底視点の画像信号、非基底視点の画像信号またはデプス信号の、ピクチャ全体の符号化に係るパラメータ情報を得る(S305)。
補足付加情報復号部306は、補足付加情報が符号化された符号化ビット列を復号し、補足付加情報を得る(S306)。
分解部301は、プリフィックスNALユニットのRBSPを復号する(S307)。ただし、MVC方式ではプリフィックスNALユニットのRBSPは空であるため、事実上復号処理は行われない。
画像信号復号部307は、基底視点の画像信号のスライスヘッダ、並びに基底視点の画像信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、基底視点のスライス単位の画像信号を得る(S308)。
画像信号復号部307は、非基底視点の画像信号のスライスヘッダ、並びに非基底視点の画像信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、非基底視点のスライス単位の画像信号を得る(S309)。
デプス信号復号部309は、デプス信号のスライスヘッダ、並びにデプス信号のスライスの符号化モード、動きベクトル、符号化残差信号等が符号化された符号化ビット列を復号し、スライス単位のデプス信号を得る(S310)。
復号管理部302は、復号された、画像信号およびデプス信号を出力するタイミングか否かを判断する(S311)。出力するタイミングでない場合(S311のN)、ステップS313に進み、出力するタイミングである場合(S311のY)、復号された、画像信号およびデプス信号を出力し(S312)、ステップS313に進む。この際、各視点の復号画像信号および復号デプス信号と、それらの視点を特定する情報である視点IDとを関連付けて出力する。
すべてのNALユニットの復号処理が完了したかどうかを判定する(S313)。すべてのNALユニットの符号化処理が完了した場合(S313のY)、本復号処理を終了し、完了していない場合(S313のN)、ステップS301からステップS313の処理を繰り返す。
なお、実施の形態2に係る画像復号装置300、300aは、単視点の画像信号が既存のAVC/H.264方式で符号化された符号化ビット列を復号し、単視点の画像信号を得ることもできる。さらに、実施の形態2に係る画像復号装置300、300aは、デプス信号を含まない多視点の画像信号が既存のMVC方式で符号化された符号化ビット列を復号し、多視点の画像信号を得ることもできる。
以上の説明においては、図10に示したような多視点画像とデプスマップの視点の数が異なっており、それぞれが1対1に対応していない場合について説明したが、もちろん多視点画像信号と多視点デプス信号が同数で、それぞれが1対1に対応していても符号化または復号することができる。
以上説明したように実施の形態2によれば、多視点画像の復号において、複数の視点からの画像信号を含む多視点画像信号とともに、補助情報として複数の視点からのデプス信号を含む多視点デプス信号が符号化された符号化ビット列を復号して、多視点画像信号と多視点デプス信号を得ることができる。その際、当該符号化ビット列を効率よく受信または読み出すことができる。
また、実施の形態2に係る画像復号装置300、300aは、従来の単視点の画像信号のみが符号化された符号化ビット列を復号し、単視点の画像信号を得ることができる。さらに、実施の形態2に係る画像復号装置300、300aは、補助情報としての多視点デプス信号を含まない、複数の視点の画像信号を含む多視点画像信号のみが符号化された符号化ビット列を復号して多視点画像信号を得ることもでき、上位互換性が保たれる。
さらに、多視点画像信号と多視点デプス信号が同数でそれぞれが1対1に対応した符号化ビット列を復号できるのはもちろんのこと、多視点画像信号とデプス信号の視点の数が異なっており、それぞれが1対1に対応していない符号化ビット列を復号することもできる。
(実施の形態3)
次に、本発明の実施の形態3に係る画像符号化装置について説明する。実施の形態3に係る画像符号化装置は、符号化する必要のある画像信号およびデプス信号の視点をコンテンツやシーンの内容に応じて判定し、その判定に応じて必要な視点の、画像信号およびデプス信号のみを符号化する点が実施の形態1に係る画像符号化装置と異なる。それ以外については、実施の形態1に係る画像符号化装置と同様であるため、その説明を省略する。
次に、本発明の実施の形態3に係る画像符号化装置について説明する。実施の形態3に係る画像符号化装置は、符号化する必要のある画像信号およびデプス信号の視点をコンテンツやシーンの内容に応じて判定し、その判定に応じて必要な視点の、画像信号およびデプス信号のみを符号化する点が実施の形態1に係る画像符号化装置と異なる。それ以外については、実施の形態1に係る画像符号化装置と同様であるため、その説明を省略する。
図25は、実施の形態3に係る画像符号化装置400の構成を示すブロック図である。図25において、図2と同じ構成ブロックには同じ符号を付している。実施の形態3に係る画像符号化装置400は、実施の形態1に係る画像符号化装置100の構成に、判定部120、切替部121、122が追加された構成である。
判定部120は、ある視点からの奥行き情報を符号化対象とするか否かを判定する。この場合、ユニット化部109は、画像信号符号化部107により生成された画像符号化データ、および判定部120により符号化対象とすると判定された奥行き情報をデプス信号符号化部108により符号化した奥行き情報符号化データを含む符号化ストリームを生成する。
また、判定部120は、ある視点からの画像を符号化対象とするか否かを判定する。この場合、ユニット化部109は、判定部120により符号化対象とすると判定された画像を画像信号符号化部107により符号化した画像符号化データ、およびデプス信号符号化部108により生成された奥行き情報符号化データを含む符号化ストリームを生成する。なお、判定部120はその両方の判定を行うこともできる。その場合、ユニット化部109は、判定部120により符号化対象とすると判定された画像を画像信号符号化部107により符号化した画像符号化データ、および判定部120により符号化対象とすると判定された奥行き情報をデプス信号符号化部108により符号化した奥行き情報符号化データを含む符号化ストリームを生成する。
以下、判定部120の処理をより具体的に説明する。判定部120には、符号化管理情報、カメラパラメータ情報、各視点の画像信号、および各視点のデプス信号が供給される。判定部120はこれらをもとに、符号化すべき画像信号の視点およびデプス信号の視点を決定する。判定部120は、符号化しないと判定した、画像信号の視点およびデプス信号の視点に関する情報を省略した、新たな符号化管理情報を作成し、符号化管理部101に供給する。なお、図25の符号化管理部101に供給される符号化管理情報は、図1の符号化管理部101に供給される符号化管理情報と同様の情報である。
以下、判定部120における判定方法の具体例を説明する。
判定例1として、判定部120は、判定対象の奥行き情報のもとになる視点と、既に符号化対象に決定されている別の奥行き情報のもとになる視点との距離が所定の第1基準距離より短いとき、判定対象の奥行き情報を符号化対象としないと判定し、当該第1基準距離より長いとき、判定対象の奥行き情報を符号化対象とすると判定する。当該第1基準距離は、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。
判定例1として、判定部120は、判定対象の奥行き情報のもとになる視点と、既に符号化対象に決定されている別の奥行き情報のもとになる視点との距離が所定の第1基準距離より短いとき、判定対象の奥行き情報を符号化対象としないと判定し、当該第1基準距離より長いとき、判定対象の奥行き情報を符号化対象とすると判定する。当該第1基準距離は、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。
判定部120は、供給されるカメラパラメータ情報に含まれるカメラの外部パラメータ情報から、各画像信号の視点および各デプス信号の視点の位置を特定することができる。当該外部パラメータには各視点のカメラの配置情報が含まれ、この配置情報には3次元空間上の位置(x、y、z座標)または3軸(x、y、z軸)上の回転角度(ロール、ピッチ、ヨー)が含まれている。判定部120は、供給される、同時刻の複数のデプス信号の視点間の間隔が十分に密である場合、いずれかのデプス信号を符号化対象から外す。このように、判定部120は一部の視点からのデプス信号の符号化を省略しても復号側で所望の視点の画像信号の生成が容易にできると判断した場合、所望の視点の画像信号の生成に必要のない視点のデプス信号を省略し、その生成に必要な視点のデプス信号を符号化対象として採用する。この判定例1は、図6、7を参照しながら説明した知見にもとづく。
判定例2として、判定部120は、同一画像内の第1被写体と第2被写体との距離が所定の第2基準距離より短いとき、複数のデプス信号のうち一部のデプス信号を省略する。当該第2基準距離も、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。その際、判定部120は、第1被写体と第2被写体との距離が短いほど、符号化対象と判定すべき奥行き情報の数を減らしてもよい。
判定部120は、供給されるデプス信号から、重なり合う被写体同士の奥行きの差を算出することができる。この被写体同士の奥行きの差として、デプス信号のエッジ(例えば、濃度が急峻に変化する点)を抽出し、エッジ部分の境界を挟んだ画素値の差を用いることができる。判定部120は、重なりあう被写体同士の奥行きの差が十分小さく、一部の視点の符号化を省略しても復号側で所望の視点の画像信号を容易に生成できると判断した場合、所望の視点の画像信号の生成に必要のない視点のデプス信号を省略し、その生成に必要な視点のデプス信号を符号化対象として採用する。この判定例2は、図8、9を参照しながら説明した知見にもとづく。
上記判定例1、2において、復号側で所望の視点の画像信号の生成が前提となるアプリケーションの場合、デプス信号の視点と同様に画像信号の視点も省略することもできる。
判定例3として、判定部120は、判定対象の画像を用いずに別の画像および奥行き情報から判定対象の画像を予測生成した場合にて、その生成された画像の品質が所定の基準値より高い場合、判定対象の画像を符号化対象としないと判定する。当該基準値も、実験やシミュレーションにより得られた知見をもとに、設計者が任意に設定することができる。
判定部120は、供給される画像信号の、一部の視点の画像信号を省略し、残された視点の画像信号とデプス信号から省略した視点の画像信号を予測生成する。判定部120は、省略した視点の原画像信号と、その視点の予測生成した画像信号との間の歪み量を各画素毎に二乗誤差等の指標を用いて評価する。判定部120は、歪み量が所定の基準値より少ない視点の画像信号を、仮想視点の生成への寄与度が小さい信号であると判断し、当該視点の画像信号を省略する。なお、ここでは画像信号を省略するための処理について説明したが、同様の処理によりデプス信号を省略することもできる。
切替部121は、判定部120の判定結果に応じて、符号化対象とする視点の画像信号のみを画像信号符号化部107に供給する。この画像信号符号化部107に供給される画像信号は、図1の画像信号符号化部107に供給される画像信号と同様の信号である。同様に、切替部122は、判定部120の判定結果に応じて、符号化対象とする視点のデプス信号のみをデプス信号符号化部108に供給する。このデプス信号符号化部108に供給される画像信号は、図1のデプス信号符号化部108に供給されるデプス信号と同様の信号である。
次に、実施の形態3に係る画像符号化装置400による多視点画像の符号化処理手順について説明する。
図26は、実施の形態3に係る画像符号化装置400による多視点画像の符号化処理手順を示すフローチャートである。上述したように、実施の形態3に係る画像符号化装置400は、符号化する必要のある、画像信号およびデプス信号の視点を、コンテンツやシーンの内容に応じて判定する。図26に示す実施の形態3に係る画像符号化処理手順は、符号化する必要のある、画像信号およびデプス信号の視点が変化した際、改めてシーケンスを開始する点が、図19に示した実施の形態1に係る画像符号化処理手順と異なる。図26において、図19と同じステップには同じ符号を付し、図19と異なる点のみを説明する。
図26は、実施の形態3に係る画像符号化装置400による多視点画像の符号化処理手順を示すフローチャートである。上述したように、実施の形態3に係る画像符号化装置400は、符号化する必要のある、画像信号およびデプス信号の視点を、コンテンツやシーンの内容に応じて判定する。図26に示す実施の形態3に係る画像符号化処理手順は、符号化する必要のある、画像信号およびデプス信号の視点が変化した際、改めてシーケンスを開始する点が、図19に示した実施の形態1に係る画像符号化処理手順と異なる。図26において、図19と同じステップには同じ符号を付し、図19と異なる点のみを説明する。
図26のフローチャートにおいて、判定部120は、符号化すべき画像信号の視点およびデプス信号の視点を評価して、その視点の信号を採用するか否か判定する(S501)。採用される信号のみがステップS502以降の処理に進む。
続いて、符号化管理部101は、ステップS501の処理により採用された、画像信号およびデプス信号の視点が変化したか否かを判断(S502)する。変化した場合(S502のY)および一番最初の場合、ステップS501に進み、変化していない場合(S502のN)、ステップS113に進む。
ステップS101以降、図19の実施の形態1に係る画像符号化処理手順と同様に、画像信号およびデプス信号が符号化される。ただし、ステップS124の処理において、すべての画像信号およびデプス信号の符号化処理が完了していないと判定された場合(S124のN)、ステップS501からステップS124の符号化処理を繰り返す。
実施の形態1から3に係る画像符号化処理および画像復号処理は、その処理を実行可能なハードウェアを搭載した送信装置、蓄積装置、および受信装置により実現可能なことはもちろんのこと、ROMやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムを、コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線もしくは無線のネットワークを通してサーバから提供することも、地上波もしくは衛星デジタル放送のデータ放送として提供することも可能である。
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 画像符号化装置、 101 符号化管理部、 102 画像信号用シーケンス情報符号化部、 103 デプス信号用シーケンス情報符号化部、 104 画像信号用ピクチャ情報符号化部、 105 デプス信号用ピクチャ情報符号化部、 106 カメラパラメータ情報符号化部、 107 画像信号符号化部、 108 デプス信号符号化部、 109 ユニット化部、 110 パラメータ情報符号化部、 111 デプス信号生成部、 120 判定部、 121,122 切替部、 300,301 分解部、 302 復号管理部、 303 基底視点の画像信号用シーケンス情報復号部、 304 MVC拡張情報を含むシーケンス情報復号部、 305 ピクチャ情報復号部、 306 補足付加情報復号部、 307 画像信号復号部、 309 デプス信号復号部、 310 復号画像バッファ、 320 パラメータ情報復号部、 330 仮想視点画像生成部。
Claims (6)
- それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第1符号化部と、
前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成部と、
前記奥行き情報生成部により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第2符号化部と、
前記第1符号化部および前記第2符号化部によりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成部と、
を備えることを特徴とする画像符号化装置。 - 前記第1符号化部は、それぞれ異なる複数の視点からの複数の画像のうち、基準とすべき視点からの画像をフレーム内予測符号化し、それ以外の画像を前記複数の画像間でフレーム間予測符号化することを特徴とする請求項1に記載の画像符号化装置。
- 前記奥行き情報生成部は、前記奥行き情報を、ある視点からの所定画素単位の奥行き情報として生成し、
前記第2符号化部は、当該所定画素単位の奥行き情報を符号化することを特徴とする請求項1または2に記載の画像符号化装置。 - 前記第2符号化部は、それぞれ異なる複数の視点からの、複数の所定画素単位の奥行き情報のうち、基準とすべき視点からの所定画素単位の奥行き情報をフレーム内予測符号化し、それ以外の所定画素単位の奥行き情報を前記複数の所定画素単位の奥行き情報間でフレーム間予測符号化することを特徴とする請求項3に記載の画像符号化装置。
- それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第1符号化ステップと、
前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成ステップと、
前記奥行き情報生成ステップにより生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第2符号化ステップと、
前記第1符号化ステップおよび前記第2符号化ステップによりそれぞれ生成された、画像符号化データおよび奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成ステップと、
を備えることを特徴とする画像符号化方法。 - それぞれ異なる複数の視点からの複数の画像を符号化して、画像符号化データを生成する第1符号化処理と、
前記複数の画像から、少なくとも一つの視点からの特定空間の奥行きを示す奥行き情報を生成する奥行き情報生成処理と、
前記奥行き情報生成処理により生成された奥行き情報を符号化して、奥行き情報符号化データを生成する第2符号化処理と、
前記第1符号化処理により生成された画像符号化データ、および前記第2符号化処理により生成された奥行き情報符号化データを含む符号化ストリームを生成するストリーム生成処理と、
をコンピュータに実行させることを特徴とする画像符号化プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008333856A JP2010157823A (ja) | 2008-12-26 | 2008-12-26 | 画像符号化装置、画像符号化方法およびそのプログラム |
KR1020117017466A KR101260613B1 (ko) | 2008-12-26 | 2009-12-09 | 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램 |
EP09834328.8A EP2384000B1 (en) | 2008-12-26 | 2009-12-09 | Image encoding device, image encoding method, program thereof, image decoding device, image decoding method, and program thereof |
US13/142,188 US8750632B2 (en) | 2008-12-26 | 2009-12-09 | Apparatus and method for encoding images from multiple viewpoints and associated depth information |
CN2009801528479A CN102265617A (zh) | 2008-12-26 | 2009-12-09 | 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序 |
PCT/JP2009/006715 WO2010073513A1 (ja) | 2008-12-26 | 2009-12-09 | 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008333856A JP2010157823A (ja) | 2008-12-26 | 2008-12-26 | 画像符号化装置、画像符号化方法およびそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010157823A true JP2010157823A (ja) | 2010-07-15 |
Family
ID=42575411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008333856A Pending JP2010157823A (ja) | 2008-12-26 | 2008-12-26 | 画像符号化装置、画像符号化方法およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010157823A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012111755A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012111757A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP7143905B2 (ja) | 2015-11-11 | 2022-09-29 | ソニーグループ株式会社 | 画像処理装置および方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061164A (ja) * | 1999-08-19 | 2001-03-06 | Toshiba Corp | 立体映像信号伝送方法 |
JP2008022549A (ja) * | 2006-07-12 | 2008-01-31 | Mitsubishi Electric Research Laboratories Inc | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム |
JP2008263528A (ja) * | 2007-04-13 | 2008-10-30 | Univ Nagoya | 画像情報処理方法及び画像情報処理システム |
-
2008
- 2008-12-26 JP JP2008333856A patent/JP2010157823A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061164A (ja) * | 1999-08-19 | 2001-03-06 | Toshiba Corp | 立体映像信号伝送方法 |
JP2008022549A (ja) * | 2006-07-12 | 2008-01-31 | Mitsubishi Electric Research Laboratories Inc | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム |
JP2008263528A (ja) * | 2007-04-13 | 2008-10-30 | Univ Nagoya | 画像情報処理方法及び画像情報処理システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012111755A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012111757A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN103354997A (zh) * | 2011-02-18 | 2013-10-16 | 索尼公司 | 图像处理设备和图像处理方法 |
US9661301B2 (en) | 2011-02-18 | 2017-05-23 | Sony Corporation | Image processing device and image processing method |
US10055814B2 (en) | 2011-02-18 | 2018-08-21 | Sony Corporation | Image processing device and image processing method |
US10122986B2 (en) | 2011-02-18 | 2018-11-06 | Sony Corporation | Image processing device and image processing method |
WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US9235749B2 (en) | 2011-02-24 | 2016-01-12 | Sony Corporation | Image processing device and image processing method |
JP7143905B2 (ja) | 2015-11-11 | 2022-09-29 | ソニーグループ株式会社 | 画像処理装置および方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101260613B1 (ko) | 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램 | |
JP4821846B2 (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP7492978B2 (ja) | ビデオエンコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム | |
KR101697598B1 (ko) | 가상 뷰 이미지 합성 방법 및 장치 | |
JP4793366B2 (ja) | 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム | |
JP2010157826A (ja) | 画像復号装置、画像符復号方法およびそのプログラム | |
KR101619450B1 (ko) | 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 | |
TWI437887B (zh) | Mpeg-2系統上多視角視訊編碼 | |
US9019343B2 (en) | Image data transmission device, image data transmission method, and image data reception device | |
WO2013105401A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US20140071232A1 (en) | Image data transmission device, image data transmission method, and image data reception device | |
Daribo et al. | Motion vector sharing and bitrate allocation for 3D video-plus-depth coding | |
JPWO2013161442A1 (ja) | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 | |
JP2010157821A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP2009004940A (ja) | 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム | |
KR101386651B1 (ko) | 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치 | |
WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
JP2010157823A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP2010157822A (ja) | 画像復号装置、画像符復号方法およびそのプログラム | |
JP2011077722A (ja) | 画像復号装置、画像復号方法およびそのプログラム | |
WO2013031573A1 (ja) | 符号化装置および符号化方法、復号装置および復号方法 | |
JP2009004939A (ja) | 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム | |
JP2010157824A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
JP2009004942A (ja) | 多視点画像送信方法、多視点画像送信装置及び多視点画像送信用プログラム | |
JP2012028960A (ja) | 画像復号装置、画像復号方法および画像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110719 |