JP6150277B2 - 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム - Google Patents
立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム Download PDFInfo
- Publication number
- JP6150277B2 JP6150277B2 JP2013000385A JP2013000385A JP6150277B2 JP 6150277 B2 JP6150277 B2 JP 6150277B2 JP 2013000385 A JP2013000385 A JP 2013000385A JP 2013000385 A JP2013000385 A JP 2013000385A JP 6150277 B2 JP6150277 B2 JP 6150277B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- depth map
- encoded
- identification information
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
これによって、立体映像符号化装置は、複数の映像を合成した合成映像と、複数の奥行マップを合成した合成奥行マップと、映像及び奥行マップを合成した合成方式を示す第3識別情報とを、それぞれ別個の単位情報として符号化して伝送する。
これによって、符号化ビット列を受信した立体映像復号化装置側では、第1識別情報を確認して、基準視点映像が含まれるか非基準視点映像が含まれるかを識別することができる。
これによって、符号化ビット列を受信した立体映像復号化装置側では、補助情報中の第5識別情報を確認して、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができる。
これによって、符号化ビット列を受信した立体映像復号化装置側では、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を抽出する。
これによって、符号化ビット列を受信した立体映像復号化装置側では、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を抽出するとともに、第8識別情報を有する単位情報を検出して、当該単位情報から第5識別情報を抽出する。
これによって、立体映像復号化装置は、符号化合成映像及び符号化合成奥行マップとは別個の単位情報を復号化して、映像及び奥行マップの合成方式を示す第3識別情報を抽出することができる。
これによって、符号化合成映像及び符号化合成奥行マップの復号化に先立って、これらの情報が復号化可能かどうかを識別することができる。
これによって、立体映像復号化装置は、映像及び奥行マップの合成方式を示す第3識別情報を、当該第3識別情報が個別に符号化された単位情報から迅速に抽出することができる。
これによって、立体映像復号化装置は、映像及び奥行マップの合成方式を示す第3識別情報を、当該第3識別情報が個別に符号化された単位情報から迅速に抽出することができるとともに、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができる。
これによって、複数の映像を合成した合成映像と、複数の奥行マップを合成した合成奥行マップと、映像及び奥行マップを合成した合成方式を示す第3識別情報とを、それぞれ別個の単位の情報として符号化して伝送する。
これによって、合成映像及び合成奥行マップとは別個に符号化された単位情報を復号化して、合成映像及び合成奥行マップの合成方式を示す第3識別情報を抽出することができる。
請求項2に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第1識別情報を確認して、基準視点映像か非基準視点映像かを識別することができるため、多視点映像をサポートしない旧システムの立体映像復号化装置においては、非基準視点映像についての符号化情報を無視して、基準視点映像のみを利用することができる。
請求項3に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、補助情報中の第5識別情報を確認して、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができるため、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
請求項4に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を迅速に抽出することができる。
請求項5に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を迅速に抽出することができるとともに、第8識別情報を有する単位情報を検出して、当該単位情報から第5識別情報を抽出することで、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別して、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
請求項7に記載の発明によれば、第1識別情報を確認して、基準視点映像か非基準視点映像かを識別することができるため、多視点映像をサポートしない旧システムの立体映像復号化装置においては、非基準視点映像についての符号化情報を無視して、基準視点映像のみを利用することができる。
請求項8に記載の発明によれば、立体映像復号化装置は、補助情報中の第5識別情報を確認して、符号化合成映像及び符号化合成奥行マップを復号化可能かどうかを識別することができるため、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
請求項9に記載の発明によれば、立体映像復号化装置は、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を迅速に抽出することができる。
請求項10に記載の発明によれば、立体映像復号化装置側では、第6識別情報と第7識別情報とを有する単位情報を検出して、当該単位情報から第3識別情報を迅速に抽出することができる。また、立体映像復号化装置側では、第8識別情報を有する単位情報を検出して、当該単位情報から第5識別情報を抽出し、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別して、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
<第1実施形態>
[立体映像伝送システム]
まず、図1を参照して、本発明の第1実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムSについて説明する。
また、本発明において、符号化ビット列は、所定単位毎に当該所定単位の情報種別を識別する識別情報が付加されて多重化され、立体映像符号化装置1から立体映像復号化装置2に一連の符号化ビット列として伝送される。
また、符号化方式は、MPEG−4 MVC+Depth符号化規格や3D−AVC符号化規格に準拠するものであってもよい。
次に、図2を参照(適宜図1参照)して、第1実施形態に係る立体映像符号化装置1の構成について説明する。
図2に示すように、第1実施形態に係る立体映像符号化装置1(以下、適宜に「符号化装置1」という)は、映像合成手段11と、映像符号化手段12と、奥行マップ合成手段13と、奥行マップ符号化手段14と、パラメータ符号化手段15と、多重化手段16と、を備えて構成されている。
ここで、外部とは、例えば、立体映像作成装置3を指すものであり、多視点映像及び奥行マップの合成方式を指定する奥行型Hd、符号化方式を指定する符号化管理情報Hkの一部については、不図示のユーザインターフェース(入力手段)を介して入力するようにしてもよい。
また、符号化装置1は、これらの入力情報を用いて符号化ビット列BSを生成し、立体映像復号化装置2(以下、適宜に「復号化装置2」という)に伝送する。
また、カメラパラメータHcは、入力した各視点の映像を撮影したカメラについてのパラメータであり、被写体の最近距離、被写体の最遠距離、焦点距離、左視点の座標値、基準視点の座標値、右視点の座標値などが含まれる。カメラパラメータHcは、例えば、奥行マップを用いて奥行マップ又は映像を他の視点に射影する際に、奥行マップの画素値として与えられる奥行値を、画素のシフト量に換算するための係数情報として用いられる。
また、奥行型Hdは、符号化装置1が入力した映像C,L,R及び奥行マップCd,Ld,Rdを合成する方式を示すパラメータである。
本実施形態では、多視点映像として、基準視点(中央視点)映像C、左視点映像L及び右視点映像Rからなる3視点映像が、これらに付随する奥行マップCd,Ld,Rdとともに入力されるものとして説明する。
なお、本実施形態における映像符号化手段12は、合成映像Gを符号化する際に、基準視点についての映像情報と、非基準視点についての映像情報とを、それぞれ別個に符号化して、それぞれ異なる単位(NALU)の符号化データとして多重化手段16に出力する。また、基準視点映像Cについては、前方互換性を保つように、そのまま加工せずに符号化するものとする。
映像の符号化データの構造については後記する。
また、非基準視点について残差映像を合成映像Gとして符号化する場合は、基準視点映像と残差映像との間には相関がないため、符号化管理情報Hkにおいて、視点間映像予測を禁止するように設定することが好ましい。これによって、合成映像Gの符号化効率が改善される。なお、残差映像については後記する。
なお、本実施形態では、各視点における奥行マップCd,Ld,Rdは、例えば、立体映像作成装置3(図1参照)によって予め作成され、各視点の映像C,L,Rに付随して入力されるものとしたが、映像C,L,Rを用いて奥行マップCd,Ld,Rdを生成して用いるようにしてもよい。
なお、本実施形態における奥行マップ符号化手段14は、合成奥行マップGdが複数のフレームから構成される場合には、フレーム毎に符号化して、それぞれ異なる単位(NALU)の符号化データとして多重化手段16に出力する。
なお、奥行マップの符号化データの構造については後記する。
符号化方式は、映像符号化手段12と同様の方式を用いることができる。なお、一連の立体映像符号化処理において、映像符号化手段12と奥行マップ符号化手段14とで、同じ符号化方式が選択されるようにしてもよいし、異なる符号化方式が選択されるようにしてもよい。
なお、パラメータ符号化手段15は、符号化するパラメータの種別に応じて、パラメータをそれぞれ別個の単位(NALU)として符号化する。
なお、パラメータの符号化データの構造については後記する。
次に、図3Aから図6を参照(適宜図1及び図2参照)して、奥行マップ合成手段13における奥行マップの合成方式について説明する。
本実施形態においては、図4において、2本の2点鎖線で挟まれた段の内で、最上段に示すように、外部(立体映像作成装置3(図1参照))から原データとして、中央視点、左視点及び右視点の3視点における映像C,L,Rと、これらに付随する奥行マップCd,Ld,Rdとを入力する。ここで、中央視点を基準視点とし、左視点及び右視点を非基準視点とする。
なお、図4に示した映像C,L,Rは、正方形の被写体像Fと、その他の領域である被写体像Bとが撮影され、被写体像Fを前景とし、被写体像Bを背景とするものである。また、奥行マップCd,Ld,Rdは、前景の被写体像Fに対応する奥行fと、背景の被写体像Bに対応する奥行bとから構成されている。図4において、明るく示した領域ほど奥行値が大きく、従って、手前に位置する(視点に近い)ことを示している。
以下、各方式について順次に説明する。
方式Aは、図4の2段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする2視点における奥行マップである基準視点奥行マップCd及び左視点奥行マップLdを、それぞれ所定の共通視点に射影し、当該共通視点に射影された2つの奥行マップを1つに合成する方式である。本実施形態は、中央視点と左視点との丁度中間の視点である左中間視点を前記した共通視点とするものである。また、中央視点と左視点を両端とする範囲内の何処を共通視点としてもよい。
なお、方式Aで合成される奥行マップは、共通視点における映像の全画素に対応する奥行値を有する「全体奥行マップ」である。
ここで、図6を参照して、奥行マップの射影について説明する。
図6に示すように、基準視点から左視点までの距離をb、基準視点から任意の視点である左指定視点までの距離をc、左中間視点から左指定視点までの距離をa、左指定視点から左視点までの距離をdとする。また、基準視点から左中間視点までの距離及び左中間視点から左視点までの距離は、何れもb/2である。
射影手段131bは、外部から入力した左視点における奥行マップである左視点奥行マップLdを、共通視点である左中間視点に射影変換し、左中間視点における奥行マップZLdを生成するものである。なお、射影手段131bは、射影手段131aとシフトする方向が異なるだけで同様の手順で射影変換することができる。また、射影手段131bは、生成した左中間視点奥行マップZLdを合成手段131cに出力する。
なお、奥行マップの縮小処理は、縦横1/2に縮小することに限定されず、1/3、1/4など、他の縮小率であってもよい。また、縦横の縮小率を異なるようにしてもよい。更にまた、縮小処理を行わないようにしてもよい。この場合は、縮小手段131dは省略することができる。
また、後記する他の合成方式においても、奥行マップを縮小することとしたが、縮小しないようにしてもよい。この場合は、各合成方式において縮小手段を省略することができる。
方式Bは、図4の最上段及び3段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする2視点における奥行マップである基準視点奥行マップCd及び左視点奥行マップLdを用い、基準視点における全体奥行マップZdと、左視点における左残差奥行マップXdとを合成するものである。
なお、オクルージョンホールとなる領域の検出方法については後記する。
なお、方式Bにおいて、基準視点における全体奥行マップZdとして、基準視点奥行マップCdをそのまま用いるようにしてもよい。この場合は、射影手段132a及び合成手段132cは省略することができる。
また、縮小手段132fは、残差切出手段132dから左残差奥行マップXdを入力し、前記した方式Aの縮小手段131dと同様にして画素を間引くことで、所定の縮小率で縮小した縮小残差奥行マップX2dを生成し、生成した縮小残差奥行マップX2dを合成奥行マップGdの一部として、奥行マップ符号化手段14(図2参照)に出力する。
すなわち、方式Bにおける合成奥行マップGdは、縮小全体奥行マップZ2dと縮小残差奥行マップX2dとを合わせたものである。
方式Cは、図4の最上段及び4段目に示すように、中央視点を基準視点とし、左視点及び右視点を非基準視点とする3視点における奥行マップである基準視点奥行マップCd、左視点奥行マップLd及び右視点奥行マップRdを、それぞれ所定の共通視点に射影し、当該共通視点に射影された3つの奥行マップを1つに合成するものである。本実施形態では、中央視点を共通視点とするものである。なお、左視点と右視点とを両端とする範囲内であれば、何処を共通視点としてもよい。
また、方式Cで合成される奥行マップは、共通視点における全体奥行マップZdである。
射影手段133bは、外部から入力した左視点奥行マップLdを、共通視点である中央視点、すなわち基準視点に射影し、基準視点奥行マップCLdを生成するものである。射影手段133bは、生成した基準視点奥行マップCLdを合成手段133cに出力する。
また、共通視点を基準視点以外とする場合には、基準視点奥行マップCdを、その共通視点に射影し、左視点奥行マップLd及び右視点奥行マップRdをそれぞれその共通視点に射影した奥行マップと合成するようにして、全体奥行マップZdを生成することができる。
方式Dは、図4の最上段及び5段目に示すように、中央視点を基準視点とし、左視点及び右視点を非基準視点とする3視点における奥行マップである基準視点奥行マップCd、左視点奥行マップLd及び右視点奥行マップRdを用い、中央視点である基準視点における全体奥行マップZdと、左視点における残差奥行マップXdと、右視点における残差奥行マップYdと、を合成するものである。
射影手段134Raは、外部から入力した右視点奥行マップRdを、基準視点に射影し、基準視点における奥行マップCRdを生成するものである。射影手段134Raは、生成した基準視点奥行マップCRdを合成手段134cに出力する。
なお、方式Dにおいて、基準視点における全体奥行マップZdとして、基準視点奥行マップCdをそのまま用いるようにしてもよい。この場合は、合成手段134cは省略することができる。
なお、残差切出手段134Ld、134Rdは、前記した方式Bの残差切出手段132dと同様に、オクルージョンホールとならない領域の画素値として、一定値を設定することが好ましい。
また、縮小手段134fは、残差切出手段134Ldから左残差奥行マップXdを、残差切出手段134Rdから右残差奥行マップYdをそれぞれ入力し、それぞれ、所定の縮小率(例えば、縦横ともに1/2)で縮小するとともに、更に、縦又は横方向に1/2に縮小した左縮小残差奥行マップX2dと右縮小残差奥行マップY2dとを、図5(b)に示すように、1つのフレームに合成した縮小残差奥行マップXY2dを生成する。縮小手段134fは、生成した縮小残差奥行マップXY2dを合成奥行マップGdの一部として、奥行マップ符号化手段14(図2参照)に出力する。
すなわち、方式Dにおける合成奥行マップGdは、縮小全体奥行マップZ2dと縮小残差奥行マップXY2dとを合わせたものである。
方式Eは、図4の最上段及び6段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする2視点における奥行マップである基準視点奥行マップCd及び左視点奥行マップLdを用い、それぞれの奥行マップについて、奥行値が急激に変化する部分(エッジ部分)において、奥行値が小さい背景側の奥行値を滑らかに変化させた奥行マップ(以下、ワープデータという)を生成するものである。
更に、基準視点奥行マップCdに対応する映像である基準視点映像Cから、映像中のテキスチャのエッジを検出し、エッジの検出された部分の奥行値に重み付けして中央ワープデータCwを生成するようにしてもよい。これによって、映像中のエッジと中央ワープデータCwの奥行値との間の位置ずれを軽減することができる。
なお、奥行値を滑らかに変化させる方法は、前記した中央ワープデータCwの場合と同様であるから説明は省略する。
次に、図7から図11を参照(適宜図1、図2及び図4参照)して、映像合成手段11における映像の合成方式について説明する。
本実施形態においては、前記したように、外部から原データ(図4の最上段を参照)として、中央視点、左視点及び右視点の3視点における映像C,L,Rと、これらに付随する奥行マップCd,Ld,Rdとを入力する。また、中央視点を基準視点とし、左視点及び右視点を非基準視点とする。
また、前記した奥行マップの5種類の合成方式である方式A〜方式Eに対応して、図8に示すように、3種類の映像の合成方式の何れかが選択される。
方式A及び方式Bに対応した映像合成では、図8の最上段に示すように、中央視点映像C及び左視点映像Lを用いて、中央視点映像Cをそのまま基準視点映像として用いるとともに、左視点映像Lから残差映像を切り出した左残差映像Xを生成する。すなわち、中央視点における1つの基準視点映像と、左視点における1つの残差映像と、を合成映像Gとして生成するものである。
なお、図10は、図2に示した符号化装置1の映像合成手段11において、残差映像の生成を説明するために必要な構成を抜粋したブロック図である。
また、図10に示す例において、基準視点映像C及び左視点映像Lなどは、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。
これによって、左視点映像Lの全部ではなく、基準視点映像Cから射影可能な画素領域を除いた残差映像のみを符号化するため、符号化効率がよく、伝送するデータ量を低減することができる。
そして、映像合成手段11は、残差切出手段111dによって、穴マスクLhで示されたオクルージョンホールOHとなる領域の画素を左視点映像Lから抽出して、左残差映像Xを生成する。
図11に示すように、左視点奥行マップLCdにおいて、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素(図において×印で示した画素)の右近傍画素(図において●で示した画素)が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素であると判定し、オクルージョンホールとなる画素であることを示す穴マスクLhを生成する。なお、図11に示した穴マスクLhにおいて、オクルージョンホールとなる画素は白で示し、他の画素は黒で示している。
(z−x)≧k×g>(所定値) ・・・式(1)
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。
なお、図4に示した方式B、方式C及び方式Dのように、全体奥行マップが基準視点にある場合は、全体奥行マップを左視点又は右視点に射影したときに、画素が射影されなかった領域をオクルージョンホールとするようにしてもよい。
方式A及び方式Bに対応して映像を合成する映像合成手段11Aは、図7(a)に示すように、サイズ復元手段111aと、射影手段111bと、オクルージョンホール検出手段111cと、残差切出手段111dと、縮小手段111eとを備えて構成されている。
なお、方式Aの場合には、全体奥行マップZ’dは、左中間視点における奥行マップであるから、射影手段111bは、左中間視点から左視点への射影変換を行う。また、方式Bの場合は、全体奥行マップZ’dは、基準視点における奥行マップであるから、射影手段111bは、基準視点から左視点への射影変換を行う。
また、オクルージョンホール検出のために、復号化合成奥行マップG’dに代えて、奥行マップ合成手段13が生成した合成奥行マップGdを、サイズを復元して用いるようにしてもよい。
なお、後記する方式C及び方式Dによる映像合成手段11Bのオクルージョンホール検出についても同様である。
更に、有効な画素値がある部分と、前記した所定の値を設定した領域との境界をローパスフィルタで平滑化することが好ましい。これによって、符号化効率が更に向上する。
また、方式A又は方式Bに対応した映像合成手段11Aは、基準視点映像Cをそのままで、合成映像Gの一部として、映像符号化手段12(図2参照)に出力する。
また、左残差映像Xを縮小し、元のサイズのフレームにはめ込むようにしてもよい。この場合、左縮小残差映像X2がない余白領域については、左残差映像Xの画素抽出領域外に設定された所定の画素値を設定するようにすればよい。
また、左残差映像Xの縮小処理は、縦横1/2に縮小することに限定されず、1/3、1/4など、他の縮小率であってもよい。また、縦横の縮小率を異なるようにしてもよい。更にまた、縮小処理を行わないようにしてもよい。この場合は、縮小手段111eは省略することができる。
方式C及び方式Dに対応した映像合成では、図8の2段目に示すように、中央視点映像C、左視点映像L及び右視点映像Rを用いて、中央視点映像Cをそのまま基準視点映像として用いるとともに、左視点映像Lから残差映像を切り出した左残差映像Xと、右視点映像Rから残差映像を切り出した右残差映像Yと、を生成する。すなわち、中央視点における1つの基準視点映像と、左視点及び右視点における2つの残差映像と、を合成映像Gとして生成するものである。
すなわち、方式C及び方式Dでは、非基準視点映像である左視点映像L及び右視点映像Rの中から、基準視点映像Cと重複しない画素情報のみを抽出し、左残差映像X及び右残差映像Yを生成することでデータ量を削減するものである。
なお、射影手段112Rbは右視点奥行マップR’dをオクルージョンホール検出手段112Rcへ出力し、オクルージョンホール検出手段112Rcは穴マスクRhを残差切出手段112Rdへ出力する。
また、残差切出手段112Ldは、生成した左残差映像Xを縮小手段112eに出力し、残差切出手段112Rdは、生成した右残差映像Yを縮小手段112eに出力する。
方式Eに対応した映像合成では、図8の3段目に示すように、基準視点映像C及び左視点映像Lを、それぞれそのまま用いるものである。すなわち、図7(c)に示すように、方式Eに対応した映像合成手段11Cは、基準視点の映像と、非基準視点である左視点における映像と、を合成映像Gとするものである。従って、2つの映像は加工されることなく、映像符号化手段12(図2参照)に出力される。
以上、奥行マップ及び映像についての5種類の合成方式を説明したが、合成方式はこれらに限定されるものではなく、これらの方式の一部又は全部に代えて、若しくはこれらの方式に加えて、他の方式を選択可能に構成することもできる。
また、5種類すべての合成方式を選択可能に備えることに限定されず、これらの内の1以上を用いることができるように構成してもよい。
ここで、図12を参照(適宜図4及び図8参照)して、方式Aを3視点に拡張した場合について説明する。
すなわち、基準視点映像Cと、2つの視点における残差映像をフレーム化したフレーム化縮小残差映像XY2とからなる合成映像Gを生成することができる。
なお、図12(b)は、背景の奥行値が「0」の場合の残差映像を示す。
次に、図13から図15を参照して、本実施形態において、多重化手段16によって符号化ビット列に多重化されるデータの構造について説明する。
前記したように、本実施形態においては、MPEG−4 AVC符号化規格に準拠した方式で符号化ビット列が伝送される。従って、データの単位は、MPEG−4 AVC符号化規格におけるNALUを単位として各種情報が構成される。
(符号化基準視点映像)
図13(a)に示すように、基準視点又は中央視点についての映像を符号化したデータである符号化基準視点映像のデータ構造D10は、先頭に開始コードD100を有し、次に基準視点についての映像であることを識別する識別情報として、値が「5」又は「1」のNALU型D101を有する。そして、その後に符号化基準視点映像(又は符号化中央視点映像)D102を有する。NALU型D101の値「5」は、基準視点映像の内で、フレーム内符号化された符号化映像に付加され、値「1」は、フレーム間符号化された符号化映像に付加される。
図13(b)に示すように、非基準視点についての映像を符号化したデータである符号化残差映像のデータ構造D11は、先頭に開始コードD100を有し、次に非基準視点についての映像であることを識別する識別情報として、値が「20」のNALU型D111を有する。
なお、SVC拡張フラグは、1ビット長の情報であり、その値が「1」の場合は、映像を基準解像度映像とその残差解像度映像との複数の解像度映像に分解して符号化したことを示すフラグである。複数の視点映像を、基準視点映像とその残差映像として符号化する場合は、SVC拡張フラグの値として「0」を設定することで、多視点映像の残差映像として符号化したことを示すものである。
そして、その後に符号化残差映像(又は符号化非基準視点映像)D114を有する。
奥行マップ符号化手段14に、MPEG−4 MVC+Depth符号化規格や3D−AVC符号化規格に準拠するものを用いる場合は、図13(c)に示すように、全体奥行マップを符号化したデータである符号化全体奥行マップのデータ構造D12は、先頭に開始コードD100を有し、次に全体奥行マップであることを識別する識別情報として、値が「21」のNALU型D121を有する。なお、方式Eにおける中央ワープデータCwも、このNALU型D121として値「21」が設定される。
図13(d)に示すように、残差奥行マップを符号化したデータである符号化残差奥行マップのデータ構造D13は、先頭に開始コードD100を有し、次に残差奥行マップであることを識別する識別情報として、値が「21」のNALU型D131を有する。なお、方式Eにおける左ワープデータLwも、このNALU型D131として値「21」が割当てられる。
また、方式Eにおいて、複数の視点のワープデータがフレーム化されている場合は、ビューIDとして値「0」が設定され、図13(c)に示したデータ構造D12で符号化される。
(基準視点映像についての符号化管理情報)
図14(a)に示すように、基準視点映像(又は中央視点映像)についての符号化管理情報であるSPS(Sequence Parameter Set)を符号化した符号化パラメータhのデータ構造D20は、先頭に開始コードD100を有し、次に基準視点映像についての符号化管理情報(SPS)であることを識別する識別情報として、値が「7」のNALU型D201を有する。次に、基準視点映像を符号化したツールの組を示す1バイトの情報であるプロファイルID(D202)として、例えば、値「100」が設定される。そして、その後に基準視点映像(又は中央視点映像)についての符号化管理情報D203を有する。
図14(b)に示すように、非基準視点映像(左視点映像、右視点映像など)についての符号化管理情報であるS_SPS(Subset_Sequence Parameter Set)を符号化した符号化パラメータhのデータ構造D21は、先頭に開始コードD100を有し、次に非基準視点映像についての管理情報(S_SPS)であることを識別する識別情報として、値が「15」のNALU型D211を有する。次に、非基準視点映像を符号化したツールの組を示す情報であるプロファイルID(D212)として、例えば、値「118」、「128」、「138」、「139」又は「140」が設定される。そして、その後に非基準視点映像についての符号化管理情報D213を有する。
本実施形態では、カメラパラメータは、映像の復号化と表示のための情報であるSEI(Supplemental Enhancement Information:補足強化情報)メッセージとして符号化される。図14(c)に示すように、カメラパラメータを符号化した符号化パラメータhのデータ構造D22は、先頭に開始コードD100を有し、次にSEIメッセージであることを識別する識別情報として、値が「6」のNALU型D221を有する。次に、SEIメッセージとしてカメラパラメータを有することを識別する1バイトの情報として、値が「50」のペイロード型D222を有する。そして、その後にカメラパラメータD223を有する。
なお、SEIメッセージは、映像の復号化と表示のための種々の情報を伝送するために用いられるが、1つのNALUには、1種類の情報についての、予め種類毎に定められた関連データのみが含まれる。
本実施形態では、奥行マップ及び映像を合成する方式を示す奥行型は、前記したSEIメッセージとして符号化される。図14(d)に示すように、奥行型を符号化した符号化パラメータhのデータ構造D23は、先頭に開始コードD100を有し、次にSEIメッセージであることを識別する識別情報として、値が「6」のNALU型D231を有する。次に、SEIメッセージとして奥行型を有することを識別する情報として、例えば、値が「53」のペイロード型D232を有する。そして、その後に奥行型値D233を有する。
なお、図14(e)に示す奥行型のデータ構造については、第2実施形態において説明する。
図15に示すように、本実施形態では、値「0」〜「4」が、それぞれ方式A〜方式Eを示す。また、値「5」及び「6」は未定義であり、値「7」は奥行型を追加するための拡張コードとして割当てられている。
次に、図16を参照(適宜図1参照)して、第1実施形態に係る立体映像復号化装置2の構成について説明する。立体映像復号化装置2は、図2に示した立体映像符号化装置1から伝送路を介して伝送される符号化ビット列BSを復号化して、多視点映像を生成するものである。従って、符号化ビット列BSには、符号化合成映像g、符号化合成奥行マップgd、及び、多視点映像を復号、合成又は表示するために必要な符号化パラメータhが多重化されている。
なお、図17に示した例は、図16に示した復号化装置2の多視点映像合成手段25において、方式Aによる多視点映像の生成を説明するために必要な構成を抜粋したブロック図である。
また、図17に示す例において、基準視点映像C’及び左残差映像X’などは、図10に示した例と同様に、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。また、基準視点と左視点との間に指定された左指定視点における映像である左指定視点映像Pを、復号化した基準視点映像C’及び復号化した左残差映像X’と、復号化された左中間視点における全体奥行マップ(不図示)を、当該左指定視点に射影した左指定視点奥行マップPdと、を用いて合成する様子を示したものである。
そして、多視点映像合成手段25は、合成手段251fによって、左指定視点に射影した残差映像から、穴マスクLhで示されたオクルージョンホールOHとなっている位置に対応する画素を抽出し、左指定視点映像PCに補完する。これによって、オクルージョンホールOHのない左指定視点映像Pが合成される。
なお、本例では、奥行マップとして、左中間視点における全体奥行マップを用いて多視点映像を合成するようにしたが、他の視点における奥行マップを用いることもできる。
以下、図18Aから図18Cを参照(適宜図4、図5、図8、図9及び図16参照)して、各合成方式に対応した多視点映像合成手段25の構成について順次に説明する。
方式Aでは、図4の2段目及び図8の1段目に示したように、合成奥行マップGdとして、左中間視点における全体奥行マップZdが符号化され、合成映像Gとして、基準視点映像Cと左残差映像Xとが符号化されている。
なお、入力した復号化合成奥行マップG’dが縮小されていない場合は、サイズ復元手段251aは省略することができる。サイズ復元手段の省略については、後記する映像のサイズ復元手段251bについても同様である。更に、後記する他の方式における各サイズ復元手段についても同様である。
射影手段251dは、生成した左指定視点映像PC及び穴マスクLhを合成手段251fに出力する。
なお、多視点映像として基準視点映像C’に代えて、又はこれに加えて、他の視点における映像を合成して出力するようにしてもよい。また、合成する映像の視点位置及び視点数については、後記する他の方式においても同様である。
方式Bでは、図4の3段目及び図8の1段目に示したように、合成奥行マップGdとして、基準視点における全体奥行マップZdと、左残差奥行マップXdとが符号化され、合成映像Gとして、基準視点映像Cと左残差映像Xとが符号化されている。
合成手段252hは、生成した左指定視点映像Pを、多視点映像の一部として、例えば、立体映像表示装置4(図1参照)に出力する。
すなわち、方式Bによる多視点映像合成手段25Bは、左指定視点映像Pと基準視点映像C’とからなる多視点映像を出力する。
方式Cでは、図4の4段目及び図8の2段目に示したように、合成奥行マップGdとして、基準視点における全体奥行マップZdが符号化され、合成映像Gとして、基準視点映像Cと左残差映像Xと右残差映像Yとが符号化されている。
射影手段253Lcは、サイズ復元手段253aから基準視点における全体奥行マップZ’dを入力し、全体奥行マップZ’dを左指定視点に射影した左指定視点奥行マップPdを生成する。射影手段253Lcは、生成した左指定視点奥行マップPdを射影手段253Ld及び射影手段253Leに出力する。
合成手段253Lfは、生成した左指定視点映像Pを、基準視点映像C’及び後記する右指定視点映像Qとともに、多視点映像として、例えば、立体映像表示装置4(図1参照)に出力する。
方式Dでは、図4の5段目及び図8の2段目に示したように、合成奥行マップGdとして、基準視点における全体奥行マップZdと左残差奥行マップXdと右残差奥行マップYdとが符号化され、合成映像Gとして、基準視点映像Cと左残差映像Xと右残差映像Yとが符号化されている。
なお、これらの右指定視点映像Qを生成するための手段は、前記した左指定視点映像Pを生成する手段における左指定視点奥行マップPdに代えて右指定視点奥行マップQdを生成し、左残差奥行マップX’dに代えて右残差奥行マップY’dを用い、左残差映像X’に代えて右残差映像Y’を用いるものである。同様に、左指定視点映像PC、穴マスクLh及び左指定視点残差映像PXに代えて、それぞれ右指定視点映像QC、穴マスクRh及び右指定視点残差映像QYを用いる。
方式Eでは、図4の6段目及び図8の3段目に示したように、合成奥行マップGdとして、基準視点(中央視点)におけるワープ化された奥行マップである中央ワープデータCwと、左視点におけるワープ化された奥行マップである左ワープデータLwとが符号化され、合成映像Gとして、2つの視点映像である基準視点映像Cと左視点映像Lとが符号化されている。
複数の視点における奥行マップ及び映像が加工されることなく符号化されている場合は、多視点映像合成手段25は、例えば、図18C(b)に示した方式Eよる多視点映像合成手段25Eにおいて、中央ワープデータC’wに代えて、全体奥行マップである基準視点奥行マップを用いて基準視点映像C’を左指定視点に射影した左指定視点映像PCを生成するとともに、左ワープデータL’wに代えて、全体奥行マップである左視点奥行マップを用いて左視点映像L’を左指定視点に射影した左指定視点映像PLを生成する。そして、左指定視点映像PC及び左指定視点映像PLについて画素毎に平均することで合成し、左指定視点映像Pを生成することができる。
なお、左指定視点映像PC及び左指定視点映像PLにおいて、オクルージョンホールが生じている場合には、互いに補完するようにすればよい。
なお、変形例や後記する他の実施形態についても同様である。
次に、図19を参照(適宜図1及び図2参照)して、第1実施形態に係る立体映像符号化装置1の動作について説明する。
符号化装置1は、まず、奥行マップ合成手段13によって、外部から入力した奥行型Hdで指示された合成方式(方式A〜方式Eの何れか)を選択して、外部から入力した基準視点奥行マップCd、左視点奥行マップLd、右視点奥行マップRd及びカメラパラメータHcを用いて、合成奥行マップGdを生成する(ステップS11)。
このとき、奥行マップ合成手段13は、合成方式に対応した奥行マップ合成手段13A〜13E(図3A及び図3B参照)によって、合成奥行マップGdを生成する。
なお、奥行型Hdが入力されない場合は、符号化装置1は、奥行マップ合成手段13によって、奥行マップの加工は行わずに、入力した複数の全体奥行マップを、そのままで合成奥行マップGdとする。
次に、符号化装置1は、奥行マップ符号化手段14によって、ステップS11で生成した合成奥行マップGdを、例えばプロファイルID=140として予め定められた符号化のツールの組を用いて符号化して、符号化合成奥行マップgdを生成する(ステップS12)。
このとき、選択された合成方式に応じて、符号化合成奥行マップgdとして、図13に示した符号化全体奥行マップのデータ構造D12又は/及び符号化残差奥行マップのデータ構造D13の、1又は2以上のNALUが生成される。
次に、符号化装置1は、奥行マップ符号化手段14によって、ステップS12で生成した符号化合成奥行マップgdを復号化して、復号化合成奥行マップG’dを生成する。また、符号化装置1は、映像合成手段11によって、前記した奥行型Hdで指定された合成方式(方式A〜方式Eの何れか)を選択し、復号化合成奥行マップG’d及び外部から入力したカメラパラメータHcを用いて、基準視点映像Cと左視点映像Lと、又は基準視点映像Cと左視点映像Lと右視点映像Rと、を合成して、合成映像Gを生成する(ステップS13)。
このとき、映像合成手段11は、合成方式に対応した映像合成手段11A〜11C(図7参照)によって、合成映像Gを生成する。
次に、符号化装置1は、映像符号化手段12によって、ステップS13で生成した合成映像Gを、例えば、基準視点映像Cについては、例えばプロファイルID=100として予め定められた符号化ツールの組を用いて符号化するとともに、残差映像又は左視点映像(非基準視点映像)については、例えばプロファイルID=140として予め定められた符号化ツールの組を用いて符号化することで、符号化合成映像gを生成する(ステップS14)。
このとき、選択された合成方式に応じて、符号化合成映像gとして、図13に示した符号化基準視点映像のデータ構造D10及び符号化残差映像のデータ構造D11の、2以上のNALUが生成される。
次に、符号化装置1は、パラメータ符号化手段15によって、各種の符号化管理情報Hk、カメラパラメータHc及び奥行型Hdを含むパラメータを、所定の方式で符号化して、符号化パラメータhを生成する(ステップS15)。
このとき、各パラメータは情報種別に応じて、図14に示したデータ構造のNALUが生成される。
図20に示すように、パラメータ符号化手段15は、基準視点映像についての符号化管理情報Hkの符号化パラメータhとして、図14(a)に示したデータ構造D20のNALUを生成する(ステップS101)。
次に、パラメータ符号化手段15は、残差映像や左視点映像などの非基準視点映像についての符号化管理情報Hkの符号化パラメータhとして、図14(b)に示したデータ構造D21のNALUを生成する(ステップS102)。
次に、パラメータ符号化手段15は、カメラパラメータHcの符号化パラメータhとして、図14(c)に示したデータ構造D22のNALUを生成する(ステップS103)。
次に、パラメータ符号化手段15は、奥行型Hdの符号化パラメータhとして、図14(d)に示したデータ構造D23のNALUを生成する(ステップS104)。
更に他のパラメータがある場合は、所定の方式に従って、パラメータを符号化する。
また、奥行型Hdは、一連のシーケンスにおいて、最初に1回だけ伝送すればよいが、動画映像をランダムアクセス可能にするために、映像及び奥行マップの伝送中に挿入して、例えば24フレーム毎のように定期的に伝送してもよい。また、フレーム毎に変わる可能性のあるカメラパラメータHcは、フレーム毎に符号化ビット列BSに挿入して伝送するようにしてもよい。
(多重化処理)
次に、符号化装置1は、多重化手段16によって、ステップS12で生成した符号化合成奥行マップgdと、ステップS14で生成した符号化合成映像gと、ステップS15で生成した符号化パラメータhとを、符号化ビット列BSに多重化して、復号化装置2に伝送する(ステップS16)。
以上のようにして、符号化装置1から復号化装置2に符号化ビット列BSが伝送される。
次に、図21を参照(適宜図1及び図16参照)して、第1実施形態に係る立体映像復号化装置2の動作について説明する。
図21に示すように、まず、復号化装置2は、分離手段21によって、符号化装置1から符号化ビット列BSを入力し、入力した符号化ビット列BSを情報の単位であるNALU毎に分離して、各NALUに含まれる情報種別に応じて各構成手段に出力する(ステップS21)。
具体的には、NALU型の値が「5」又は「1」である符号化基準視点映像についてのNALU及びNALU型の値が「20」である符号化残差映像についてのNALUは、符号化合成映像gとして、映像復号化手段23に出力される。
また、NALU型の値が「21」である符号化全体奥行マップ又は符号化残差奥行マップについてのNALUは、符号化合成奥行マップgdとして、奥行マップ復号化手段24に出力される。
また、NALU型の値が「6」、「7」又は「15」であるNALUは、符号化パラメータhとして、パラメータ復号化手段22に出力される。
次に、復号化装置2は、パラメータ復号化手段22によって、ステップS21で分離された符号化パラメータhを復号化し、復号化したパラメータを情報種別に応じて各構成手段に出力する(ステップS22)。
なお、図22に示した例では、説明を簡略化するために、本発明において直接に必要となるパラメータのみを抽出するように説明するが、所定の規格に準拠し、他のパラメータについてもNALU型やペイロード型などに基づいて適切に抽出するものとする。
一方、プロファイルIDの値が「100」でなかった場合は(ステップS202でNo)、復号化装置2は、符号化基準視点映像を復号化できないため、復号化処理を中止する。これによって、復号化装置2の誤動作を防止することができる。
また、プロファイルIDの値が「140」の場合は、前記した合成方式(方式A〜方式Eの何れか)によって奥行マップ及び映像が符号化されていることを示すものである。なお、プロファイルIDの値が「140」の場合は、合成方式を示す奥行型Hdが、更に別のNALUとして伝送される。
一方、ペイロード型の値が「50」でなかった場合は(ステップS208でNo)、パラメータ復号化手段22は、ペイロード型の値が「53」かどうかを確認する(ステップS210)。
一方、ペイロード型の値が「53」でなかった場合は(ステップS210でNo)、復号化装置2は、自己にとって未知のペイロード型であるかどうかを確認し、未知の場合は、このNALUを無視する。
(映像復号化処理)
次に、復号化装置2は、映像復号化手段23によって、ステップS22で検出したプロファイルIDの値で示された符号化ツールの組(符号化方式)により、ステップS21で分離された符号化合成映像gを復号化することで、復号化合成映像G’を生成する(ステップS23)。
次に、復号化装置2は、奥行マップ復号化手段24によって、ステップS22で検出したプロファイルIDの値で示された符号化ツールの組(符号化方式)により、ステップS21で分離された符号化合成奥行マップgdを復号化することで、復号化合成奥行マップG’dを生成する(ステップS24)。
また、奥行マップ復号化手段24は、NALU型の値が「5」、「1」又は「20」のNALUについては、ステップS206(図22参照)で抽出されたプロファイルID(値が「118」又は「128」)を含む符号化管理情報Hkで示される符号化方式により、符号化合成奥行マップgdを復号化することで、復号化合成奥行マップG’dを生成する。
次に、復号化装置2は、多視点映像合成手段25によって、ステップS211で抽出した奥行型Hdで示される合成方式に従って、ステップS209(図22参照)で抽出したカメラパラメータHcと、ステップS23で復号化した合成映像G’と、ステップS24で復号化した合成奥行マップG’dと、を用いて、多視点映像を合成する(ステップS25)。
このとき、多視点映像合成手段25は、奥行型Hdで指示された合成方式(方式A〜方式E)に対応した多視点映像合成手段25A〜25E(図18A〜図18C参照)によって、多視点映像P,Qなどを合成する。
また、基準視点映像、又は基準視点映像及び他の視点の映像など、準拠する旧規格に応じて、その復号化装置が対応可能な範囲で適切に復号化することができ、2次元映像、又は自由視点への射影を伴わない多視点映像として利用することができる。すなわち、前方互換性を保つことができる。
次に、本発明の第2実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
第2実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、合成方式を示す奥行型を、復号化された映像の表示のための補助情報のパラメータとして符号化するものである。
図14(e)に示すように、この符号化パラメータのデータ構造D24は、先頭に開始コードD100を有し、S_SPSであることを識別する識別情報として、値が「15」のNALU型D241を有する。その次に、非基準視点映像についての符号化に使用した符号化ツールの組を示すプロファイルID(D242)として、値「118」、「128」、「138」、「139」又は「140」が設定される。そして、その次にMVC_VUIについてのパラメータを有するかどうかを示す識別情報として、MVC_VUIフラグD243を有する。このMVC_VUIフラグD243は「0」又は「1」の値をとり、「0」の場合は、MVC_VUIについてのパラメータを有さない。すなわち、MVC_VUIフラグD243の次には、次のパラメータ群について、その有無を示す同様のフラグが配列される。
次に、図2、図19及び図20を参照して、第2実施形態に係る符号化装置1の動作について説明する。
第2実施形態に係る符号化装置1は、図19に示したように、第1実施形態に係る符号化装置1と同様にして、ステップS11からステップS14までの処理を行う。
次に、符号化装置1は、パラメータ符号化手段15によって、各種の符号化管理情報Hk、カメラパラメータHc及び奥行型Hdを含むパラメータを、所定の方式で符号化して、符号化パラメータhを生成する(ステップS15)。
このとき、符号化装置1は、図20に示したステップS104において、パラメータ符号化手段15によって、奥行型Hdを含むパラメータを符号化し、図14(e)に示したデータ構造D24のNALUを生成する。また、このNALUにおいて、奥行型Hdは、他のパラメータ群とともに、予め定められた順序で配列される。
他のパラメータについては、第1実施形態と同様であるから説明は省略する。
次に、符号化装置1は、多重化手段16によって、第1実施形態と同様にして、ステップS12で生成した符号化合成奥行マップgdと、ステップS14で生成した符号化合成映像gと、ステップS15で生成した符号化パラメータhとを、符号化ビット列BSに多重化して、復号化装置2に伝送する(ステップS16)。
次に、図21及び図23を参照(適宜図1及び図16参照)して、第2実施形態に係る立体映像復号化装置2の動作について説明する。なお、第1実施形態と同様の動作をする処理については、説明を適宜に省略する。
図21に示したように、まず、復号化装置2は、分離手段21によって、第1実施形態と同様にして、符号化装置1から符号化ビット列BSを入力し、入力した符号化ビット列BSを情報の単位であるNALU毎に分離して、各NALUに含まれる情報種別に応じて各構成手段に出力する(ステップS21)。
次に、復号化装置2は、パラメータ復号化手段22によって、ステップ21で分離された符号化パラメータhを復号化し、復号化したパラメータを情報種別に応じて各構成手段に出力する(ステップS22)。
なお、ステップS23からステップS25は、第1実施形態と同様であるから、説明を省略する。
図23に示すように、パラメータ復号化手段22は、符号化パラメータhとして入力されたNALUが有するNALU型を検出し、NALU型の値が「7」かどうかを確認する(ステップS301)。ここで、NALU型の値が「7」の場合は(ステップS301でYes)、パラメータ復号化手段22は、NALU型の後に有するプロファイルIDを検出し、プロファイルIDの値が「100」かどうかを確認する(ステップS302)。
一方、プロファイルIDの値が「100」でなく、自己が復号化できない方式を示す値であった場合は(ステップS302でNo)、復号化装置2は、符号化基準視点映像を復号化できないため、復号化処理を中止する。これによって、復号化装置2の誤動作を防止することができる。
なお、図14(e)に示したデータ構造D24のように、MVC_VUIの後に、非基準視点映像についてのその他の符号化管理情報が配列される場合には、奥行型Hdを含めたMVC_VUIのパラメータ群を抽出した後に、その他の符号化管理情報を抽出するようにすればよい。
なお、多視点映像合成手段25は、パラメータ復号化手段22から奥行型Hdが入力されなかった場合は、奥行マップ及び映像の合成方式として、「加工なし」が選択されているものとして合成奥行マップ及び合成映像を取り扱うものとする。
また、奥行型フラグの値が「0」の場合に、パラメータ復号化手段22は、奥行型フラグの値が「0」であること示す情報を多視点映像合成手段25に出力し、奥行マップ及び映像の合成方式として、「加工なし」が選択されていることを明示的に示すようにしてもよい。
一方、ペイロード型の値が「50」でなく、未知の値であった場合は(ステップS311でNo)、復号化装置2は、自己にとって未知のペイロード型であるため、これを無視する。
また、NALU型の値が「6」でない場合(ステップS310でNo)、復号化装置2は、自己にとって未知のNALU型でない限り、復号化を継続する。
11 映像合成手段
11A 映像合成手段
11B 映像合成手段
11C 映像合成手段
12 映像符号化手段
13 奥行マップ合成手段
13A 奥行マップ合成手段
13B 奥行マップ合成手段
13C 奥行マップ合成手段
13D 奥行マップ合成手段
13E 奥行マップ合成手段
14 奥行マップ符号化手段
15 パラメータ符号化手段
16 多重化手段
2 立体映像復号化装置
21 分離手段
22 パラメータ復号化手段
23 映像復号化手段
24 奥行マップ復号化手段
25 多視点映像合成手段
25A 多視点映像合成手段
25B 多視点映像合成手段
25C 多視点映像合成手段
25D 多視点映像合成手段
25E 多視点映像合成手段
D100 開始コード
D101 NALU型(第1識別情報)
D111 NALU型(第1識別情報)
D121 NALU型(第2識別情報)
D131 NALU型(第2識別情報)
D211 NALU型(第8識別情報)
D212 プロファイルID(第5識別情報)
D231 NALU型(第4識別情報、第6識別情報)
D232 ペイロード型(第4識別情報、第7識別情報)
D233 奥行型(第3識別情報)
D241 NALU型(第4識別情報、第8識別情報)
D242 プロファイルID(第5識別情報)
D243 MVC_VUIフラグ(第4識別情報)
D244 奥行型フラグ(第4識別情報)
D245 奥行型(第3識別情報)
Claims (14)
- 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化装置であって、
前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成手段と、
前記合成映像を符号化し、符号化された合成映像であることを識別する第1識別情報を付加した符号化合成映像を生成する映像符号化手段と、
前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成手段と、
前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第2識別情報を付加して符号化合成奥行マップを生成する奥行マップ符号化手段と、
前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第3識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第4識別情報を付加して符号化パラメータを生成するパラメータ符号化手段と、
前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化手段と、
を備えることを特徴とする立体映像符号化装置。 - 前記映像符号化手段は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化し、前記第1識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値を付加することを特徴とする請求項1に記載の立体映像符号化装置。
- 前記パラメータ符号化手段は、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第5識別情報を、前記補助情報の更なるパラメータとして符号化することを特徴とする請求項1又は請求項2に記載の立体映像符号化装置。
- 前記第3識別情報は、
前記所定単位に1種類の情報及びこの情報に付随する情報のみが含まれる第1型の補助情報として符号化され、
前記第4識別情報として、
前記第1型の補助情報であることを識別する第6識別情報と、
前記第3識別情報が含まれることを識別する第7識別情報と、を付加して符号化されることを特徴とする請求項1又は請求項2に記載の立体映像符号化装置。 - 前記第3識別情報は、
前記所定単位に1種類の情報及びこの情報に付随する情報のみが含まれる第1型の補助情報として符号化され、
前記第4識別情報として、
前記第1型の補助情報であることを識別する第6識別情報と、
前記第3識別情報が含まれることを識別する第7識別情報と、を付加して符号化され、
前記第5識別情報は、前記所定単位に所定の複数種類の情報が含まれる第2型の補助情報として符号化され、
前記第2型の補助情報であることを識別する第8識別情報を付加して符号化されることを特徴とする請求項3に記載の立体映像符号化装置。 - 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化装置であって、
前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第1識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第2識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第3識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第4識別情報が付加された符号化パラメータと、が多重化されており、
前記所定単位毎に、前記第1識別情報を有する単位を前記符号化合成映像として、前記第2識別情報を有する単位を前記符号化合成奥行マップとして、前記第4識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離手段と、
前記符号化パラメータから、前記第3識別情報を復号化するパラメータ復号化手段と、
前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化手段と、
前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化手段と、
前記パラメータ復号化手段が生成した前記第3識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成手段と、
を備えることを特徴とする立体映像復号化装置。 - 前記符号化合成映像は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化され、前記第1識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値が付加されていることを特徴とする請求項6に記載の立体映像復号化装置。
- 前記符号化パラメータは、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第5識別情報が、前記補助情報の更なるパラメータとして符号化されており、
前記パラメータ復号化手段は、前記符号化パラメータから、更に前記第5識別情報を復号化し、
前記映像復号化手段は、前記パラメータ復号化手段が復号化した前記第5識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示す場合は、前記符号化合成映像を復号化し、前記第5識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示さない場合は、前記符号化合成映像を復号化しないことを特徴とする請求項6又は請求項7に記載の立体映像復号化装置。 - 前記第3識別情報は、前記所定単位に1種類の情報及びこの情報に付随する情報のみが含まれる第1型の補助情報として符号化され、
前記第4識別情報として、前記第1型の補助情報であることを識別する第6識別情報と、前記第3識別情報が含まれることを識別する第7識別情報と、が付加されて符号化されており、
前記分離手段は、前記所定単位が前記第6識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、
前記パラメータ復号化手段は、前記第6識別情報を有する符号化パラメータが、前記第7識別情報を有する場合に、当該符号化パラメータから前記第3識別情報を復号化することを特徴とする請求項6又は請求項7に記載の立体映像復号化装置。 - 前記第3識別情報は、前記所定単位に1種類の情報及びこの情報に付随する情報のみが含まれる第1型の補助情報として符号化され、
前記第4識別情報として、前記第1型の補助情報であることを識別する第6識別情報と、前記第3識別情報が含まれることを識別する第7識別情報と、が付加されて符号化され、
前記第5識別情報は、前記所定単位に所定の複数種類の情報が含まれる第2型の補助情報として符号化され、かつ、前記第2型の補助情報であることを識別する第8識別情報が付加されて符号化されており、
前記分離手段は、前記所定単位が前記第6識別情報又は前記第8識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、
前記パラメータ復号化手段は、前記第6識別情報を有する符号化パラメータが、前記第7識別情報を有する場合に、当該符号化パラメータから前記第3識別情報を復号化するとともに、前記第8識別情報を有する符号化パラメータから前記第5識別情報を復号化することを特徴とする請求項8に記載の立体映像復号化装置。 - 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化方法であって、
前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成処理ステップと、
前記合成映像を符号化し、符号化された合成映像であることを識別する第1識別情報を付加した符号化合成映像を生成する映像符号化処理ステップと、
前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成処理ステップと、
前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第2識別情報を付加して符号化合成奥行マップを生成する奥行マップ符号化処理ステップと、
前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第3識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第4識別情報を付加して符号化パラメータを生成するパラメータ符号化処理ステップと、
前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化処理ステップと、
を含むことを特徴とする立体映像符号化方法。 - 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化方法であって、
前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第1識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第2識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた合成方式及び前記合成奥行マップの合成に用いた合成方式を識別する第3識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第4識別情報が付加された符号化パラメータと、が多重化されており、
前記所定単位毎に、前記第1識別情報を有する単位を前記符号化合成映像として、前記第2識別情報を有する単位を前記符号化合成奥行マップとして、前記第4識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離処理ステップと、
前記符号化パラメータから、前記第3識別情報を復号化するパラメータ復号化処理ステップと、
前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化処理ステップと、
前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
前記パラメータ復号化処理ステップにおいて生成した前記第3識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成処理ステップと、
を含むことを特徴とする立体映像復号化方法。 - 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成するために、コンピュータを、
前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成手段、
前記合成映像を符号化し、符号化された合成映像であることを識別する第1識別情報を付加した符号化合成映像を生成する映像符号化手段、
前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成手段、
前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第2識別情報を付加して符号化合成奥行マップを生成する奥行マップ符号化手段、
前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第3識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第4識別情報を付加して符号化パラメータを生成するパラメータ符号化手段、
前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化手段、
として機能させるための立体映像符号化プログラム。 - 複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか1つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか1つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列であって、
前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第1識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第2識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第3識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第4識別情報が付加された符号化パラメータと、が多重化されており、
前記符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成するために、コンピュータを、
前記所定単位毎に、前記第1識別情報を有する単位を前記符号化合成映像として、前記第2識別情報を有する単位を前記符号化合成奥行マップとして、前記第4識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離手段、
前記符号化パラメータから、前記第3識別情報を復号化するパラメータ復号化手段、
前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化手段、
前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化手段、
前記パラメータ復号化手段が生成した前記第3識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成手段、
として機能させるための立体映像復号化プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013000385A JP6150277B2 (ja) | 2013-01-07 | 2013-01-07 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
EP13869976.4A EP2942953A4 (en) | 2013-01-07 | 2013-10-16 | STEREOSCOPIC VIDEO ENCODING DEVICE, STEREOSCOPIC VIDEO DECODING DEVICE, STEREOSCOPIC VIDEO ENCODING METHOD, STEREOSCOPIC VIDEO DECODING METHOD, STEREOSCOPIC VIDEO ENCODING PROGRAM, AND STEREOSCOPIC VIDEO DECODING PROGRAM |
CN201380069587.5A CN104904205B (zh) | 2013-01-07 | 2013-10-16 | 立体影像编解码装置、立体影像编解码方法、记录有立体影像编解码程序的记录介质 |
KR1020157017906A KR20150105321A (ko) | 2013-01-07 | 2013-10-16 | 입체 영상 부호화 장치, 입체 영상 복호화 장치, 입체 영상 부호화 방법, 입체 영상 복호화 방법, 입체 영상 부호화 프로그램 및 입체 영상 복호화 프로그램 |
PCT/JP2013/078095 WO2014106915A1 (ja) | 2013-01-07 | 2013-10-16 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
US14/759,630 US20150341614A1 (en) | 2013-01-07 | 2013-10-16 | Stereoscopic video encoding device, stereoscopic video decoding device, stereoscopic video encoding method, stereoscopic video decoding method, stereoscopic video encoding program, and stereoscopic video decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013000385A JP6150277B2 (ja) | 2013-01-07 | 2013-01-07 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014132721A JP2014132721A (ja) | 2014-07-17 |
JP6150277B2 true JP6150277B2 (ja) | 2017-06-21 |
Family
ID=51062237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013000385A Active JP6150277B2 (ja) | 2013-01-07 | 2013-01-07 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150341614A1 (ja) |
EP (1) | EP2942953A4 (ja) |
JP (1) | JP6150277B2 (ja) |
KR (1) | KR20150105321A (ja) |
CN (1) | CN104904205B (ja) |
WO (1) | WO2014106915A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860975A1 (en) * | 2013-10-09 | 2015-04-15 | Thomson Licensing | Method for processing at least one disparity map, corresponding electronic device and computer program product |
TW201528775A (zh) * | 2014-01-02 | 2015-07-16 | Ind Tech Res Inst | 景深圖校正方法及系統 |
JP6365153B2 (ja) * | 2014-09-10 | 2018-08-01 | 株式会社ソシオネクスト | 画像符号化方法および画像符号化装置 |
US10630992B2 (en) | 2016-01-08 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method, application processor, and mobile terminal for processing reference image |
JP6687039B2 (ja) * | 2016-02-05 | 2020-04-22 | 株式会社リコー | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム |
EP3273686A1 (en) * | 2016-07-21 | 2018-01-24 | Thomson Licensing | A method for generating layered depth data of a scene |
WO2018116253A1 (en) * | 2016-12-21 | 2018-06-28 | Interaptix Inc. | Telepresence system and method |
WO2019001710A1 (en) * | 2017-06-29 | 2019-01-03 | Huawei Technologies Co., Ltd. | APPARATUSES AND METHODS FOR ENCODING AND DECODING A VIDEO CODING BLOCK OF A MULTIVATE VIDEO SIGNAL |
EP3432581A1 (en) * | 2017-07-21 | 2019-01-23 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
US20200228777A1 (en) * | 2017-09-15 | 2020-07-16 | InterDigita! VC Holdings, Inc. | Methods, devices and stream for encoding and decoding three degrees of freedom and volumetric compatible video stream |
FR3080968A1 (fr) * | 2018-05-03 | 2019-11-08 | Orange | Procede et dispositif de decodage d'une video multi-vue, et procede et dispositif de traitement d'images. |
WO2020013977A1 (en) * | 2018-07-13 | 2020-01-16 | Interdigital Vc Holdings, Inc. | Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream |
FR3086831A1 (fr) * | 2018-10-01 | 2020-04-03 | Orange | Codage et decodage d'une video omnidirectionnelle |
KR20200095408A (ko) * | 2019-01-31 | 2020-08-10 | 한국전자통신연구원 | 이머시브 비디오 포맷팅 방법 및 장치 |
WO2020240827A1 (ja) * | 2019-05-31 | 2020-12-03 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、プログラム |
US11503266B2 (en) * | 2020-03-06 | 2022-11-15 | Samsung Electronics Co., Ltd. | Super-resolution depth map generation for multi-camera or other environments |
CN112532988B (zh) * | 2020-06-02 | 2022-05-06 | 腾讯科技(深圳)有限公司 | 视频编码方法、视频解码方法及相关设备 |
CN114071116A (zh) * | 2020-07-31 | 2022-02-18 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112243096B (zh) * | 2020-09-30 | 2024-01-02 | 格科微电子(上海)有限公司 | 像素合成模式下的像素读取方法及装置、存储介质、图像采集设备 |
WO2023201504A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 编解码方法、装置、设备及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007077942A1 (ja) * | 2006-01-05 | 2007-07-12 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
WO2009131287A1 (en) * | 2008-04-23 | 2009-10-29 | Lg Electronics Inc. | Method for encoding and decoding image of ftv |
JP2010157821A (ja) | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
EP2491723A4 (en) * | 2009-10-20 | 2014-08-06 | Ericsson Telefon Ab L M | METHOD AND ARRANGEMENT FOR MULTILOOK VIDEO COMPRESSION |
US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
CN105939469A (zh) * | 2010-09-03 | 2016-09-14 | 索尼公司 | 编码装置和编码方法以及解码装置和解码方法 |
JP2012182731A (ja) * | 2011-03-02 | 2012-09-20 | Nikon Corp | 撮像装置 |
EP2752011B1 (en) * | 2011-08-31 | 2020-05-20 | Nokia Technologies Oy | Multiview video coding and decoding |
WO2013073316A1 (ja) * | 2011-11-14 | 2013-05-23 | 独立行政法人情報通信研究機構 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
US9288506B2 (en) * | 2012-01-05 | 2016-03-15 | Qualcomm Incorporated | Signaling view synthesis prediction support in 3D video coding |
CN102572482A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于fpga的立体视频到多视点视频的3d重构方法 |
WO2014044908A1 (en) * | 2012-09-21 | 2014-03-27 | Nokia Corporation | Method and apparatus for video coding |
-
2013
- 2013-01-07 JP JP2013000385A patent/JP6150277B2/ja active Active
- 2013-10-16 EP EP13869976.4A patent/EP2942953A4/en not_active Ceased
- 2013-10-16 US US14/759,630 patent/US20150341614A1/en not_active Abandoned
- 2013-10-16 WO PCT/JP2013/078095 patent/WO2014106915A1/ja active Application Filing
- 2013-10-16 CN CN201380069587.5A patent/CN104904205B/zh not_active Expired - Fee Related
- 2013-10-16 KR KR1020157017906A patent/KR20150105321A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
CN104904205B (zh) | 2018-06-05 |
CN104904205A (zh) | 2015-09-09 |
EP2942953A4 (en) | 2016-07-27 |
JP2014132721A (ja) | 2014-07-17 |
WO2014106915A1 (ja) | 2014-07-10 |
KR20150105321A (ko) | 2015-09-16 |
US20150341614A1 (en) | 2015-11-26 |
EP2942953A1 (en) | 2015-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6150277B2 (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
JP6095067B2 (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
US8422801B2 (en) | Image encoding method for stereoscopic rendering | |
EP2327059B1 (en) | Intermediate view synthesis and multi-view data signal extraction | |
US8488869B2 (en) | Image processing method and apparatus | |
US9661320B2 (en) | Encoding device, decoding device, playback device, encoding method, and decoding method | |
JP6231125B2 (ja) | マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法 | |
JP2010049607A (ja) | コンテンツ再生装置および方法 | |
JP2012186781A (ja) | 画像処理装置および画像処理方法 | |
US8941718B2 (en) | 3D video processing apparatus and 3D video processing method | |
JP2015534745A (ja) | 立体画像の生成、送信、及び受信方法、及び関連する装置 | |
JP2007312407A (ja) | 立体画像表示装置およびその方法 | |
JP2014132722A (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
US20120050465A1 (en) | Image processing apparatus and method using 3D image format |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151210 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6150277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |