JP2012227929A - 3次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 - Google Patents
3次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 Download PDFInfo
- Publication number
- JP2012227929A JP2012227929A JP2012093548A JP2012093548A JP2012227929A JP 2012227929 A JP2012227929 A JP 2012227929A JP 2012093548 A JP2012093548 A JP 2012093548A JP 2012093548 A JP2012093548 A JP 2012093548A JP 2012227929 A JP2012227929 A JP 2012227929A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- current
- encoded
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を符号化する符号化方法等に関する。
【解決手段】符号化方法は、現在の画像、深度画像及び現在のオクルージョン画像を符号化するステップ(40,42,44)を有する。本発明に従って、現在のオクルージョン画像は、現在のオクルージョン画像の夫々のブロックについて、そのブロックが符号化されるかどうかを示すバイナリ識別子を符号化するステップ(440,446)と、ブロックが符号化されることをバイナリ識別子が示す夫々のブロックについてオクルージョンデータを符号化するステップ(44)とに従って、符号化される(44)。
【選択図】図5
【解決手段】符号化方法は、現在の画像、深度画像及び現在のオクルージョン画像を符号化するステップ(40,42,44)を有する。本発明に従って、現在のオクルージョン画像は、現在のオクルージョン画像の夫々のブロックについて、そのブロックが符号化されるかどうかを示すバイナリ識別子を符号化するステップ(440,446)と、ブロックが符号化されることをバイナリ識別子が示す夫々のブロックについてオクルージョンデータを符号化するステップ(44)とに従って、符号化される(44)。
【選択図】図5
Description
本発明は、3次元ビデオ信号の符号化の分野全般に関する。より具体的には、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を符号化する符号化方法、及び対応する復号化方法に関する。
一般的に、3次元ビデオ信号は、夫々が深度画像(depth image)及びオクルージョン画像(occlusion image)を関連付けられる複数の画像から成る2次元ビデオを有する。深度画像又は深度マップは、ビデオ信号の3次元に関する情報を与える。オクルージョン画像又はオクルージョンマップは、場面の前景に位置するオブジェクトによって隠されている空間に関する情報を与える。また、深度画像としてそのようなオクルージョン画像を送信することも知られている。
オクルージョン画像は、図1及び図2において示されるように関連する画像と非常に似た内容を有する。図1は、上がビデオの現在の画像を示し、下が関連するオクルージョン画像を示す。図2は、上が深度画像を示し、下がこの深度画像に関連するオクルージョン画像を示す。より有効にオクルージョン画像を符号化するために、それらの上に、全てのピクセルが図3に示されるようにそれらが関連付けられる画像のピクセルと同一である区間(又はブロック)をマスクすることが知られている。図3は、図1及び図2において示される画像の詳細を示す。黒色の区間は、ピクセルが現在の画像の対応するピクセルと同一であるオクルージョン画像の区間である。留意すべきは、同タイプのマスク画像は深度画像及び関連するオクルージョン画像を用いて得られる点である。図3において、マスキングは、16×16ブロックのグリッド上に整列される。実際に、既存の符号化方法の大部分は、画像データ(すなわち、輝度及びクロミナンス)を符号化するために、そのような16×16ブロックを用いる。
3次元ビデオ信号を符号化するよう、2次元の現在の画像、並びにそれらの夫々について、関連する深度画像、現在の画像に関連するマスクされたオクルージョン画像、及び場合により、深度画像に関連するマスクされたオクルージョン画像を符号化することが知られている。現在、マスクされたオクルージョン画像は、文書ISO/IEC14496−10において定義される標準規格H.264/MPEG4−AVCに従って符号化される。それは、関連情報の1項目を含む減少したブロックしか有さないが、そのようなマスクされたオクルージョン画像は、対応するマスクされていないオクルージョン画像を符号化するのとほぼ同じコストがかかる、すなわち、同じ数のビットにより符号化される。実際に、ビットレートが有意に低減されることを可能にするスキップモードは、そのようなマスクされたオクルージョン画像に対してはめったに使用されない。スキップモードが符号化のために維持されるために、ある条件が確認されなければならない。特に、隣接ブロックは、INTRAにおいて符号化されてはならず、因果関係を示す隣接ブロックのメディアンベクトルは、現在のブロックの運動ベクトルに等しくなければならず、残余コストは零でなければならない。従って、マスクされていないブロックがINTRAモードにおいて符号化されると直ぐに、INTRAモードは、スキップモードを損ねて、マスクされたものさえ次のブロックへ伝播させる。
本発明の目的は、先行技術の欠点のうち少なくとも1つを解消することである。
この目的のために、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を符号化する符号化方法に関する。それらの画像はブロックに分けられている。符号化方法は、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化するステップを有する。有利に、前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を符号化するステップと、
前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化するステップと
に従って符号化される。
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を符号化するステップと、
前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化するステップと
に従って符号化される。
本発明の特定の特徴に従って、前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を符号化するステップは、バイナリ画像を失わずに符号化することを含む。
本発明の他の態様に従って、符号化方法は、前記バイナリ識別子によって符号されないと示される前記現在のオクルージョン画像のブロックを充填する画像データの第1項目を符号化するステップをさらに有する。
他の実施形態に従って、前記3次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、符号化方法は、前記バイナリ識別子がブロックが符号化されることを示す前記深度オクルージョン画像の夫々のブロックについて、深度オクルージョンデータを符号化するステップを有する。
本発明の他の態様に従って、符号化方法は、前記バイナリ識別子によって符号化されないと示される前記深度オクルージョン画像のブロックを満たす画像データの第2項目を符号化するステップをさらに有する。
本発明の特定の特徴に従って、前記バイナリ識別子は、前記現在のオクルージョン画像のブロックの全ピクセルが前記現在の画像における対応するブロックのピクセルと同一であるときに、当該ブロックが符号化されないことを示す。
また、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を復号化する復号化方法に関する。復号化方法は、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化するステップを有する。有利に、前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示すバイナリ識別子を復号化するステップと、
前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第1項目により満たすステップと
に従って復号化される。
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示すバイナリ識別子を復号化するステップと、
前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第1項目により満たすステップと
に従って復号化される。
本発明の特定の特徴に従って、前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を復号化するステップは、バイナリ画像を失わずに復号化することを含む。
有利に、復号化方法は、前記所定の充填データの第1項目を復号化するステップをさらに有する。
他の実施形態に従って、前記3次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、復号化方法は、
前記バイナリ識別子がブロックが符号化されていることを示す前記深度オクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第2項目により満たすステップと
を有する。
前記バイナリ識別子がブロックが符号化されていることを示す前記深度オクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第2項目により満たすステップと
を有する。
本発明の特定の特徴に従って、復号化方法は、前記所定の充填データの第2項目を復号化するステップをさらに有する。
本発明は、決して限定ではなく、図面を参照して、実施形態及び有利な実施によりよりより理解され説明される。
本原理は、ハードウェア、ソフトウェア、ファームウェア、特殊用途のプロセッサ、又はそれらの組み合わせといった種々の形において実施されてよい。望ましくは、本原理は、ハードウェアとソフトウェアとの組み合わせとして実施されてよい。さらに、ソフトウェアは、望ましくは、プログラム記憶装置において有形に具現されたアプリケーションプログラムとして実施される。アプリケーションプログラムは、何らかの適切なアーキテクチャを有するマシンにアップロードされても、あるいは該マシンによって実行されてもよい。望ましくは、マシンは、1又はそれ以上の中央演算処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び入力/出力(I/O)インターフェース等のハードウェアを有するコンピュータプラットフォームにおいて実施される。コンピュータプラットフォームは、オペレーティングシステム及びミクロ命令コードをさらに含む。ここで記載される様々な処理及び機能は、オペレーティングシステムを介して実行されるアプリケーションプログラムの一部又はミクロ命令コードの一部(あるいは、それらの組み合わせ)のいずれか1つであってよい。加えて、更なるデータ記憶装置及び印刷装置等の様々な他の周辺装置が、コンピュータプラットフォームへ接続されてよい。
本発明は、然るべく適応された符号化又は復号化手段を有する何らかの電子装置において実現されてよい。例えば、本発明は、テレビ受像機、携帯型ビデオ電話、パーソナルコンピュータ、デジタルビデオカメラ、ナビゲーションシステム又は車載用ビデオシステムにおいて実現されてよい。
3次元ビデオ信号は、少なくとも1つの現在の画像Ic、深度画像Ip及び現在のオクルージョン画像Ioccを含む。それらの画像はブロックに分けられている。現在の画像について記載される本発明は、夫々が深度画像及びオクルージョン画像と関連付けられる複数の画像から成るビデオを有する3次元ビデオ信号に直接的に適用する。
図4は、本発明に従う3次元ビデオ信号の符号化方法を示す。方法は、現在の画像Icを符号データのストリームFcへと符号化するステップ40を有する。簡単な例として、画像Icは、標準規格H.264に従って符号化される。例えば、符号化方法は、次のステップの幾つかを有する:残余を生成するよう符号化されるデータの予測、係数への残余の変換、係数の量子化、及び量子化された係数のエントロピー符号化。なお、予測ステップ及び変換ステップ等の幾つかのステップは省略され得る。変形例に従って、画像Icは、文書ISO/IEC13818−2において記載されるMPEG−2標準規格に従って符号化される。当業者は、現在の画像Icを符号化するよう如何なる画像符号化方法も適用することができ、本発明は、現在の画像Icを符号化するためにステップ40において使用される方法によって少しも制限されない。
ステップ42の間、深度画像Ipは、符号データのストリームFpへと符号化される。簡単な例として、深度画像Ipは、標準規格H.264に従って符号化される。変形例に従って、深度画像Ipは、MPEG−2標準規格に従って符号化される。当業者は、深度画像Ipを符号化するよう如何なる符号化方法も適用することができ、本発明は、深度画像Ipを符号化するためにステップ42において使用される方法によって少しも制限されない。
ステップ44の間、現在のオクルージョン画像Ioccは、符号データのストリームFoccへと符号化される。ステップ44は、図5を参照して記載される。インデックスiは、符号化される現在のオクルージョン画像のブロックのインデックスに相当する。
ステップ440の間、オクルージョン情報の項目が現在のブロックBiについて符号化されるべきかどうかが決定される。図3において、符号化されないブロックは、マスクされたオクルージョン画像において黒色で示されたもの、すなわち、有用なオクルージョン情報が存在しないものである。黒ブロックは、現在のオクルージョン画像Ioccのピクセルが現在の画像Icの対応するピクセルと同一であるブロックである。ブロックBiがオクルージョン情報の有用な項目を含む場合は、方法はステップ442へ続き、一方、ブロックBiがオクルージョン情報の有用な項目を含まない場合は、方法はステップ446へ続く。
ステップ442の間、バイナリ識別子Idiは、現在のブロックが符号化されることを示す現在のブロックBiについて符号化される。一例として、値1は、ブロックBiが符号化されることを示すよう符号化される。
ステップ444の間、ブロックBiのオクルージョンデータは、次いで、例えば、H.264標準規格の符号化原理を用いて、ストリームFoccにおいて明示的に符号化される。
ステップ446の間、バイナリ識別子Idiは、現在のブロックが符号化されないと示す現在のブロックBiについて符号化される。一例として、値0は、ブロックBiが符号化されないと示すよう符号化される。
ステップ448の間、現在のオクルージョン画像IoccのN個のブロックの組(Nは自然数である。)が処理されたかどうかが確認される。その場合は、方法は現在のオクルージョン画像Ioccについて終了し、そうでない場合は、方法は次のBiブロックを処理する。このために、インデックスiは、ステップ450において、1を増分される。
本発明の特定の特徴に従って、現在のオクルージョン画像についてのバイナリ識別子Idiは、マスクとも呼ばれるバイナリ画像の形で符号化される。符号化は、損失なしで行われなければならない。そのような画像は、例えば、ストリームFmにおいてハフマン符号化により符号化される。変形例に従って、夫々のバイナリ識別子は、ブロックヘッダにおいて(例えば、ストリームFoccのブロックヘッダにおいて)符号化される。実際に、画像を符号化するために、画像ヘッダ、次いで夫々の画像ブロックについて、ブロックヘッダ及び有用なデータ(例えば、量子化されたDCT係数)を符号化することが知られている。ブロックヘッダにおいて、ブロックに関する一般的な情報(例えば、その符号化モード)を符号化することが知られている。
変形例に従って、値0は、ブロックBiが符号化されることを示すよう符号化され、値1は、ブロックBiが符号化されないことを示すよう符号化される。
図6は、他の実施形態を示す。図4の第1実施形態と同じステップは、図6において同じ参照符号により特定されている。この実施形態に従って、符号化方法はステップ40、42及び44を有する。符号化方法は、符号化されない現在のオクルージョン画像IoccのブロックBiのMVF充填データの第1項目を符号化するステップ46をさらに有する。かかる値は、現在のオクルージョン画像を再構成するために復号化装置によって使用される。実際に、符号化されないBiブロックは、デコーダ側で値によって満たされなければならない。そのようなMVF充填値は、2次元画像に関連する全ての符号化されるオクルージョン画像について同じである。従って、3次元ビデオ信号全体について1度値を符号化することが望ましい。例えば、そのような値は、ストリームFc、Fp及びFoccにより多重化されるユーザデータ又はプライベートデータにおいて符号化され得る。MPEG−2トランスポートストリームレベルでそのようなデータの項目を符号化することが可能である。変形例に従って、そのようなMVFデータ項目は、SEI(Supplemental Enhancement Information)タイプのメッセージにおいて符号化され得る。
3つのストリームFc、Fp及びFocc並びに場合によりプライベートデータ(例えば、第1のMVF充填データ項目)は、任意のステップ50の間に、ネットワーク上の伝送ためにトランスポートストリームへと多重化される。変形例に従って、3つのストリーム及び場合によりプライベートデータは、DVD又はハードディスク等の支持体に記憶される。
バイナリ識別子がストリームFmにおいてバイナリマスクの形で符号化される場合において、このストリームFmも、ステップ50の間にトランスポートストリームにおいて多重化され、又は支持体に記憶される。
変形例に従って、3次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像Ipoccをさらに含む。その場合に、符号化方法は、バイナリ識別子ブロックが符号化されることを示す夫々のブロックについて深度オクルージョンデータを符号化する更なるステップを有する。このステップは、ステップ444と同じであるが、深度オクルージョン画像ブロックにおいて適用される。留意すべきは、単一のバイナリ識別子はブロックごとに符号化され、あるいは、現在のオクルージョン画像及び深度オクルージョン画像の両方に働く単一のバイナリ画像が符号化される点である。実際に、同じブロックは、現在のオクルージョン画像及び深度オクルージョン画像において符号化され、オクルージョンデータのみが相違する。
変形例に従って、充填データの第2項目がストリームにおいて符号化される。このデータ項目は、深度オクルージョン画像において符号化されないブロックを満たすよう復号化方法によって使用される。例えば、かかる値は、ストリームFc、Fp及びFoccにより多重化されるユーザデータ又はプライベートデータにおいて符号化され得る。MPEG−2トランスポートストリームレベルでそのようなデータの項目を符号化することが可能である。変形例に従って、そのようなMVFデータ項目は、SEIタイプのメッセージにおいて符号化され得る。この第2のデータ項目は、充填データの第1項目とは異なってよい。
図7は、本発明に従う3次元ビデオ信号の復号化方法を示す。
3つのストリームFc、Fp及びFocc並びに場合によりプライベートデータ(すなわち、MVF充填データの第1項目)は、任意のステップ70の間に逆多重化される。変形例に従って、3つのストリーム及び場合によりプライベートデータは、DVD又はハードディスク等の支持体において読み出される。
ステップ72の間、現在の画像Icが復号化される。簡単な例として、画像Icは、標準規格H.264に従って復号化される。ステップ72は、ステップ40の逆である。
ステップ74の間、深度画像Ipが復号化される。簡単な例として、画像Ipは、標準規格H.264に従って復号化される。ステップ74は、ステップ42の逆である。
ステップ76の間、オクルージョン画像Ioccが復号化される。ステップ76は、ステップ44の逆である。ステップ76については、図8を参照して記載する。インデックスiは、現在のオクルージョン画像Ioccのブロックのインデックスに相当する。
ステップ760の間、バイナリ識別子Idiは、現在のブロックBiについて復号化されて、現在のブロックが符号化されているかどうかを示す。例えば、値1は、ブロックBiが符号化されていることを示すよう復号化され、値0は、ブロックBiが符号化されていないことを示す。変形例に従って、値0は、ブロックBiが符号化されていることを示すよう復号化され、値1は、ブロックBiが符号化されていないことを示すよう復号化される。
ステップ762の間、オクルージョン情報の項目が現在のブロックBiについて復号化されるべきかどうかが決定される。識別子Idiが1に等しい、すなわち、ブロックBiが符号化されていることを示す場合は、方法はステップ764に続き、それ以外の場合は、方法はステップ766に続く。
ステップ764の間、ブロックBiは復号化される。より具体的には、ブロックBiのオクルージョンデータは、例えば、H.264標準規格の符号化原理を用いて復号化され、ブロックBiは、それらのデータ項目により満たされる。このステップは、ステップ444の逆である。
ステップ766の間、符号化されていないと特定されたブロックBiは、第1のMVF所定充填データ項目によって満たされる。ブロックBiの夫々の符号化されていないピクセルは、同じMVF値を割り当てられる。ブロックBiはこのようにして一様である。そのような所定の充填データは、復号化方法から知られる。それは、例えば、本発明に従う復号化方法を実施する復号化装置のメモリに記憶されている。それは、コンストラクタデータであってよい。変形例に従って、それはデフォルトで定義され、黒色の符号化されていないブロックBiに対応する値0をとる。
ステップ768の間、現在のオクルージョン画像のN個のブロックの組(Nは自然数)が処理されたかどうかが確認される。その場合は、方法は現在のオクルージョン画像Ioccについて終了し、そうでない場合は、方法は次のBiブロックを処理する。このために、インデックスiは、ステップ770において、1を増分される。
本発明の特定の特徴に従って、現在のオクルージョン画像についてのバイナリ識別子Idiは、バイナリ識別子がストリームFmにおいてバイナリ画像の形で符号化された場合に、マスクとも呼ばれるバイナリ画像の形で復号化される。この画像は、例えば、ハフマン復号化により損失なしで復号化される。変形例に従って、夫々のバイナリ識別子は、ブロックヘッダにおいて復号化される。この場合に、ストリームFmは、場合により、ステップ70において逆多重化される。
図9は、他の実施形態を示す。図7の第1の実施形態と同じステップは、図9において同じ参照符号により特定されている。この実施形態に従って、復号化方法は、ステップ72、74及び76を有する。復号化方法は、符号化されていない現在のオクルージョン画像のブロックBiのMVF充填データの第1項目を復号化するステップ78をさらに有する。かかる値は、オクルージョン画像を再構成するために復号化方法によって使用される。実際に、符号化されていないBiブロックは、デコーダ側で値を充填されなければならない。そのような充填データの項目は、全ての復号化されるオクルージョン画像について同じである。例えば、かかる値は、ステップ70において逆多重化されるプライベートデータ又はユーザデータにおいて復号化される。MPEG−2トランスポートストリームのレベルでそのようなデータの項目を復号化することが可能である。変形例に従って、そのようなMVFデータの項目は、SEIタイプのメッセージを用いて復号化され得る。
変形例に従って、3次元ビデオ信号は、ブロックに分けられている深度オクルージョン画像Ipoccをさらに含む。その場合に、復号化方法は、ブロックが符号化されていることをバイナリ識別子が示す夫々のブロックについて深度オクルージョンデータを復号化する更なるステップを有する。このステップは、ステップ764と同じであるが、深度オクルージョン画像ブロックにおいて適用される。留意すべきは、ブロックごとの単一のバイナリ識別子が復号化され、あるいは、現在のオクルージョン画像及び深度オクルージョン画像の両方に働く単一のバイナリ画像が復号化される点である。実際に、同じブロックは、現在のオクルージョン画像及び深度オクルージョン画像において復号化され、オクルージョンデータのみが相違する。符号化されていないと特定されるブロックBiは、所定の充填データの第2項目によって満たされる。ブロックBiの夫々の符号化されていないピクセルは、同じ値を割り当てられる。ブロックBiはこのようにして一様である。充填データの第2の所定の項目は、復号化方法から知られる。それは、例えば、本発明に従う復号化方法を実施する復号化装置のメモリに記憶されている。それは、コンストラクタデータであってよい。変形例に従って、それはデフォルトで定義され、白色の符号化されていないBiに対応する値255をとる。他の変形例に従って、充填データの第2項目は復号化され、このデータ項目は、深度オクルージョン画像における符号化されていないブロックを充填するために復号化方法によって使用される。例えば、かかる値は、ステップ70の間に逆多重化されるプライベートデータ又はユーザデータにおいて復号化される。この第2のデータ項目は、充填データの第1項目とは異なってよい。それは、充填データの第1項目と同じように復号化される。
本発明により解放されるバンド幅は、より正確な、従って改善された品質を有して他のデータ項目を符号化するために使用され得る。得られるビットレートにおけるゲインは、内容の複雑さ(隠される又は隠されない区間の数)に応じて多かれ少なかれ有意であるが、識別子の符号化に起因するコストは低い。
符号化方法の(時間の観点からの)性能は改善される。実際に、スキップモードとは違って、符号化方法は最適なモードを探す必要がない。符号化されるブロック又は符号化されないブロックの選択は、情報の無関係の項目(exterior item)によって与えられる。この情報は、現在の画像Icと現在のオクルージョン画像Ioccとの比較によって得られる。この情報は、コーダ及びデコーダに役立つ。この利点は、同時に4つのストリーム(現在の画像、深度画像、現在のオクルージョン画像及び場合により深度オクルージョン画像)を符号化/復号化することを伴う場合に、非常に有意でありうる。
本発明に従う符号化方法は、容易にアプリケーションに適応され得る。実際に、ユーザは、アプリケーションに関して自身に適した充填データを送信することができる。
図7及び図9を参照して、画像Ic、Ip、Iocc及び場合によりIpoccは、その場合に、他の画像又はビューを生成するために使用される(ステップR)。このようにして生成されたビューは、次いで、ビューの組(マルチビュー自動立体視システム)の形で3次元ビデオ信号を表示することができる適応スクリーンにおいて表示される(ステップD)。そのようなスクリーンは、3次元効果を見るための特別な眼鏡の着用を必要としない。留意すべきは、ステップR及びDは本発明に従う復号化方法の一部でない点である。
図10を参照して、本発明は、また、本発明に従う符号化方法を実施することができる符号化装置ENCに関する。任意のモジュールは、図10において破線で示されている。
符号化装置は、画像シーケンスIc、Ip及びIoccを受け取ることができる少なくとも3つの入力部IN1、IN2及びIN3を有する。符号化装置は、画像Ic、Ip及びIoccを符号化することができる符号化モジュールENC1、ENC2及びENC3をさらに有する。ENC1は符号化方法のステップ40を実施し、ENC2は符号化方法のステップ42を実施し、ENC3は符号化方法のステップ44を実施する。変形例に従って、符号化装置ENCは、画像シーケンスIpoccを受け取ることができる第4の入力部IN4を有する。入力部IN4は、深度オクルージョン画像の符号化を実施することができる符号化モジュールENC4へ接続されている。符号化装置は、符号化モジュールからのストリームをトランスポートストリームへと多重化することができる多重化モジュールMUXを有する。多重化モジュールの出力は、符号化装置ENCの出力部OUTへ接続されている。変形例に従って、多重化モジュールは符号化装置の外部にあり、その場合に、夫々の符号化モジュールは符号化装置の特定の出力部へ接続される。他の実施形態に従って、符号化装置は、充填データ又は充填データの1つの項目を符号化するENCMVFモジュールを有する。かかる充填データは、例えば、インターフェースIFを介してユーザによって特定される。
図11を参照して、本発明は、また、本発明に従う復号化装置を実施することができる復号化装置DECに関する。任意のモジュールは、図11において破線で示されている。
復号化装置DECは、例えば符号化装置ENCから入来する3次元ビデオ信号を表すストリームを受け取ることができる入力部INを有する。この入力部は、入力部INで受け取られたストリームを少なくとも3つのストリームに逆多重化することができる逆多重化モジュールDEMUXへ接続されている。変形例に従って、逆多重化モジュールは復号化装置の外にあり、その場合に、復号化装置DECは少なくとも3つの入力部を有し、各入力部はストリームFc、Fp及びFoccを受け取るよう構成される。復号化装置は、深度オクルージョン画像に相当するストリームを受け取る他の入力部を有してよい。
復号化装置DECは、逆多重化モジュールDEMUXの出力部で接続され、画像Ic、Ip及びIoccを復号化することができる復号化モジュールDEC1、DEC2及びDEC3をさらに有する。DEC1は復号化方法のステップ72を実施し、DEC2は復号化方法のステップ74を実施し、DEC3は復号化方法のステップ76を実施する。変形例に従って、復号化装置DECは、深度オクルージョン画像の復号化を実施することができる第4の復号化モジュールDEC4を有する。復号化モジュールの夫々の出力部は、復号化装置DECの特定の出力部(OUT1、OUT2、OUT3及びOUT4)へ接続されている。
他の実施形態に従って、復号化装置は、充填データ又は充填データの1つの項目を復号化するDECMVFモジュールを有する。かかる充填データは、符号化されていないブロックを充填するために、オクルージョン画像復号化モジュールDEC3場合によりDEC4へ供給される。変形例に従って、充填データは復号化装置のメモリに記憶され、その場合に、復号化装置は復号化モジュールDECMVFを有さない。
当然、本発明は、上記の実施形態の例に限られない。特に、当業者は、如何なる変形も上記の実施形態に適用し、それらをそれらの様々な利点から利益を得るよう組み合わせてよい。深度画像、現在のオクルージョン画像及び場合により深度オクルージョン画像を関連付けられる現在の画像について記載された本発明は、そのような画像のシーケンスに適用することができる。
Bi ブロック
DEC 復号化装置
DEC1,DEC2,DEC3,DEC4 復号化モジュール
DEMUX 逆多重化モジュール
ENC 符号化装置
ENC1,ENC2,ENC3,ENC4 符号化モジュール
Fc,Fp,Focc 符号データのストリーム
IF インターフェース
IN,IN1,IN2,IN3,IN4 入力部
Ic 現在の画像
Iocc 現在のオクルージョン画像
Ipocc 深度オクルージョン画像
Ip 深度画像
Idi バイナリ識別子
MUX 多重化モジュール
OUT,OUT1,OUT2,OUT3,OUT4 出力部
DEC 復号化装置
DEC1,DEC2,DEC3,DEC4 復号化モジュール
DEMUX 逆多重化モジュール
ENC 符号化装置
ENC1,ENC2,ENC3,ENC4 符号化モジュール
Fc,Fp,Focc 符号データのストリーム
IF インターフェース
IN,IN1,IN2,IN3,IN4 入力部
Ic 現在の画像
Iocc 現在のオクルージョン画像
Ipocc 深度オクルージョン画像
Ip 深度画像
Idi バイナリ識別子
MUX 多重化モジュール
OUT,OUT1,OUT2,OUT3,OUT4 出力部
Claims (15)
- ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含むビデオエンコーダにおける3次元ビデオ信号をビデオコーダにおいて符号化する符号化方法であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化するステップを有する符号化方法において、
前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を符号化するステップと、
前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化するステップと
に従って符号化される、
ことを特徴とする符号化方法。 - 前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を符号化するステップは、バイナリ画像を失わずに符号化することを含む、
請求項1に記載の符号化方法。 - 前記充填データの第1項目を符号化するステップをさらに有する、
請求項2に記載の符号化方法。 - 前記3次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、
当該符号化方法は、前記バイナリ識別子がブロックが符号化されることを示す前記深度オクルージョン画像の夫々のブロックについて、深度オクルージョンデータを符号化するステップを有する、
請求項1乃至3のうちいずれか一項に記載の符号化方法。 - 前記バイナリ識別子によって符号化されないと示される前記深度オクルージョン画像のブロックを満たす画像データの第2項目を符号化するステップをさらに有する、
請求項4に記載の符号化方法。 - 前記バイナリ識別子は、前記現在のオクルージョン画像のブロックの全ピクセルが前記現在の画像における対応するブロックのピクセルと同一であるときに、当該ブロックが符号化されないことを示す、
請求項1乃至5のうちいずれか一項に記載の符号化方法。 - ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含むビデオデコーダにおける3次元ビデオ信号をビデオデコーダにおいて復号化する復号化方法であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化するステップを有する復号化方法において、
前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示し、当該ブロックが符号化されていない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を復号化するステップと、
前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを前記充填データの第1項目により満たすステップと
に従って復号化される、
ことを特徴とする復号化方法。 - 前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を復号化するステップは、バイナリ画像を失わずに復号化することを含む、
請求項7に記載の復号化方法。 - 前記充填データの第1項目を復号化するステップをさらに有する、
請求項7又は8に記載の復号化方法。 - 前記3次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、
当該復号化方法は、
前記バイナリ識別子がブロックが符号化されていることを示す前記深度オクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを充填データの第2項目により満たすステップと
を有する、
請求項7乃至9のうちいずれか一項に記載の復号化方法。 - 前記充填データの第2項目を復号化するステップをさらに有する、
請求項10に記載の復号化方法。 - ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を符号化する符号化装置であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化する手段を有する符号化装置において、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を符号化する手段と、
前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化する手段と
を有する、ことを特徴とする符号化装置。 - 請求項1乃至6のうちいずれか一項に記載の符号化方法のステップを実行するよう構成される、
請求項12に記載の符号化装置。 - ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含む3次元ビデオ信号を復号化する復号化装置であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化する手段を有する復号化装置において、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示し、当該ブロックが符号化されていない場合は、当該ブロックが復号化されるときに充填データの第1項目により満たされることを示すバイナリ識別子を復号化する手段と、
前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化する手段と、
前記バイナリ識別子によって符号化されていないと示されるブロックを前記充填データの第1項目により満たす手段と
を有する、ことを特徴とする復号化装置。 - 請求項7乃至11のうちいずれか一項に記載の復号化方法のステップを実行するよう構成される、
請求項14に記載の復号化装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1153330 | 2011-04-18 | ||
FR1153330 | 2011-04-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012227929A true JP2012227929A (ja) | 2012-11-15 |
Family
ID=45929448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012093548A Withdrawn JP2012227929A (ja) | 2011-04-18 | 2012-04-17 | 3次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120262545A1 (ja) |
EP (1) | EP2515539A1 (ja) |
JP (1) | JP2012227929A (ja) |
KR (1) | KR20120118432A (ja) |
CN (1) | CN102752615A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8717355B2 (en) * | 2007-12-26 | 2014-05-06 | Koninklijke Philips N.V. | Image processor for overlaying a graphics object |
KR20150116840A (ko) * | 2013-01-02 | 2015-10-16 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
EP2951999A4 (en) * | 2013-01-30 | 2016-07-20 | Intel Corp | CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION |
EP3468182A1 (en) * | 2017-10-06 | 2019-04-10 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding a point cloud representing three-dimensional objects |
FR3093884A1 (fr) | 2019-03-15 | 2020-09-18 | Orange | Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues |
CN113111200B (zh) * | 2021-04-09 | 2024-05-24 | 百度在线网络技术(北京)有限公司 | 审核图片文件的方法、装置、电子设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828848A (en) * | 1996-10-31 | 1998-10-27 | Sensormatic Electronics Corporation | Method and apparatus for compression and decompression of video data streams |
RU2487488C2 (ru) * | 2007-06-26 | 2013-07-10 | Конинклейке Филипс Электроникс Н.В. | Способ и система для кодирования сигнала трехмерного видео, инкапсулированный сигнал трехмерного видео, способ и система для декодера сигнала трехмерного видео |
CA2730383A1 (en) * | 2008-07-10 | 2010-01-14 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method |
US20110149037A1 (en) * | 2008-08-26 | 2011-06-23 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal. |
AU2011302448A1 (en) * | 2010-09-14 | 2013-03-21 | Thomson Licensing | Compression methods and apparatus for occlusion data |
CN102006480B (zh) * | 2010-11-29 | 2013-01-30 | 清华大学 | 基于视间预测的双目立体视频的编码及解码方法 |
-
2012
- 2012-04-09 US US13/442,177 patent/US20120262545A1/en not_active Abandoned
- 2012-04-11 EP EP12163796A patent/EP2515539A1/en not_active Withdrawn
- 2012-04-17 JP JP2012093548A patent/JP2012227929A/ja not_active Withdrawn
- 2012-04-17 KR KR1020120039867A patent/KR20120118432A/ko not_active Application Discontinuation
- 2012-04-18 CN CN2012101141900A patent/CN102752615A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN102752615A (zh) | 2012-10-24 |
KR20120118432A (ko) | 2012-10-26 |
US20120262545A1 (en) | 2012-10-18 |
EP2515539A1 (en) | 2012-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7106744B2 (ja) | ルーマおよびクロマ成分についてibc専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法 | |
CN108419076B (zh) | 视频编码及解码方法、装置及*** | |
CN116684587A (zh) | 图像解码、编码方法及针对图像的数据的发送方法 | |
TW201639365A (zh) | 用於線性模型預測模式之降低取樣處理 | |
JP2016197869A (ja) | マルチビュービデオコード化(mvc)適合3次元ビデオコード化(3dvc)のためのパラメータセットのアクティブ化 | |
CN109068143B (zh) | 视频数据解码方法和视频数据解码设备 | |
JP2014515201A (ja) | フル解像度フレーム互換ステレオスコピックビデオコーディングにおけるポストフィルタリング | |
EP3062518A1 (en) | Video encoding/decoding method and apparatus | |
RU2661331C2 (ru) | Способ и устройство кодирования изображений с эффектом глубины при кодировании видео | |
JP2012227929A (ja) | 3次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 | |
JP7436646B2 (ja) | ピクチャヘッダのシグナリングを簡略化するためのエンコーダ、デコーダ及び対応する方法 | |
JP7450747B2 (ja) | 混成nalユニットタイプに基づく画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法 | |
EP1527613B1 (en) | Method and apparatus for encoding a digital video signal | |
CN116723334A (zh) | 图像解码设备、图像编码设备和比特流发送设备 | |
JP2022526304A (ja) | イントラ予測のための方法および装置 | |
TW201340723A (zh) | 用於三維視訊寫碼之網路抽象層單元標頭設計 | |
JP6571646B2 (ja) | マルチビュービデオのデコード方法及び装置 | |
KR20210094056A (ko) | 다중 가설 예측이 있는 블록에 대한 가장 가능성 있는 모드 목록 구성의 인코더, 디코더 및 대응 방법 | |
JP2023515175A (ja) | シグナリングスライスヘッダシンタックス要素を簡略化するためのエンコーダ、デコーダおよび対応する方法 | |
WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
JP2024038212A (ja) | 混成nalユニットタイプに基づく画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法 | |
CN114762339A (zh) | 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码 | |
WO2015141977A1 (ko) | 3d 비디오 부호화/복호화 방법 및 장치 | |
US10595044B2 (en) | Derivation of disparity motion vector, 3D video coding and decoding using such derivation | |
JP2006525722A (ja) | ビデオ符号化及び復号化方法、並びに対応する符号化及び復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150413 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20150723 |