JP2012016045A - マルチビュービデオをデコードする方法 - Google Patents
マルチビュービデオをデコードする方法 Download PDFInfo
- Publication number
- JP2012016045A JP2012016045A JP2011184337A JP2011184337A JP2012016045A JP 2012016045 A JP2012016045 A JP 2012016045A JP 2011184337 A JP2011184337 A JP 2011184337A JP 2011184337 A JP2011184337 A JP 2011184337A JP 2012016045 A JP2012016045 A JP 2012016045A
- Authority
- JP
- Japan
- Prior art keywords
- view
- reference picture
- frame
- prediction
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000002123 temporal effect Effects 0.000 claims description 87
- 230000000717 retained effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 33
- 230000015572 biosynthetic process Effects 0.000 description 31
- 238000003786 synthesis reaction Methods 0.000 description 31
- 239000002131 composite material Substances 0.000 description 23
- 238000000354 decomposition reaction Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 15
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 12
- 239000000872 buffer Substances 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000036962 time dependent Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
【解決手段】現在のフレームに関連する、特定のビューについて参照として用いられるビューの数とどのビューが前記特定のビューについて参照として用いられるかを示すビューインデックスの集合を示す、予測依存性メッセージを受け取るステップと、特定の時間とは異なる時間に参照される時間参照ピクチャと同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けする参照ピクチャリストを保持するステップと、参照ピクチャリストと予測依存性メッセージとに基づいてマルチビュービデオの特定のビューにおける現在の画像を予測するステップを含み、予測するステップは、空間参照ピクチャのみを用いる空間予測を用いるもので、当該空間予測を用いて現在の画像を生成する場合、参照ピクチャリストから時間参照ピクチャを削除するステップを含む。
【選択図】図9
Description
図4は、本発明の一実施形態によるMCTF/DCVF分解400を示す。入力ビデオ401〜404のフレームが、異なる姿勢を有するカメラ1〜4によってシーン5について取得される。なお、図8に示すように、カメラのうちのいくつか1a及び1bは、同一位置にあり、ただし異なる向きであってもよい。どの対のカメラ間にも或る量のビューの重なりがあると仮定される。カメラの姿勢は、マルチビュービデオの取得中に変化し得る。通常、カメラは互いに同期される。各入力ビデオは、シーンの異なる「ビュー」を提供する。入力フレーム401〜404はMCTF/DCVF分解400に送られる。この分解は、符号化された低域フレーム411、符号化された高域フレーム412、及び関連するサイド情報413を生成する。高域フレームは、低域フレームを参照ピクチャとして用いて予測誤差を符号化する。分解は、選択された予測モード410に従って行われる。予測モードは、空間予測モード、時間予測モード、ビュー合成予測モード、及びイントラ予測モードを含む。予測モードは、各現フレームについてマクロブロック毎に適応的に選択することができる。イントラ予測を用いる場合、現マクロブロックは、同一フレーム内の他のマクロブロックから予測される。
図7に示すように、分解400の出力411及び412は信号エンコーダ710に供給され、出力413はサイド情報エンコーダ720に供給される。信号エンコーダ710は、変換、量子化及びエントロピー符号化を行って、分解された低域フレーム411及び高域フレーム412に残存する相関を除去する。このような操作は当該技術分野において既知である(Netravali及びHaskell著「デジタルピクチャ:表現、圧縮及び規格(Digital Pictures: Representation, Compression and Standards)」(Second Edition, Plenum Press, 1995))。
ビットストリーム731を復号化して(740)、入力マルチビュービットストリーム401〜404に対応する出力マルチビュービットストリーム741を生成することができる。任意で、合成ビデオも生成することができる。概して、デコーダは、エンコーダの逆の操作を行ってマルチビュービデオを再構成する。全ての低域フレーム及び高域フレームが復号化されれば、空間(ビュー)次元及び時間次元の両方において符号化品質の完全なフレーム集合が再構成され利用可能になる。
図8に示すように、ビュー合成は、1つ又は複数の実際のマルチビュービデオのフレーム803から合成ビデオのフレーム801を生成するプロセスである。言い換えれば、ビュー合成は、シーン5の選択された新たなビュー802に対応するフレーム801を合成する手段を提供する。この新たなビュー802は、入力マルチビュービデオ401〜404が取得された時点では存在しない「仮想」カメラ800に対応してもよく、又は、取得されるカメラビューに対応することができ、よって、合成ビューは、後述のようにその予測及び符号化/復号化に用いられる。
マクロブロック適応的MCTF/DCVF分解において、各マクロブロックの予測モードmは、コスト関数をマクロブロック毎に適応的に最小化することによって選択することができる。
図9は、従来技術のシングルビューの符号化及び復号化システムのための参照ピクチャ管理を示す。時間参照ピクチャ901は、復号ピクチャバッファ(DPB)940への時間参照ピクチャ901の挿入(920)及び削除(930)を決めるシングルビュー参照ピクチャリスト(RPL)マネージャ910によって管理される。参照ピクチャリスト950もまた保持されて、DPB940に格納されているフレームを示す。RPLは、挿入(920)及び削除(930)といった参照ピクチャ管理操作、並びにエンコーダ及びデコーダの両方における時間予測960のために用いられる。
エンコーダにおいて現フレームを符号化する前、又はデコーダにおいて現フレームを復号化する前に、マルチビューRPL1050においてマルチビュー参照ピクチャ1005の集合を指示することができる。従来及び本明細書中で定義されるように、集合は要素を全く有しなくても(空集合)、1つ又は複数の要素を有してもよい。RPLの同一コピーが、各現フレームについてエンコーダ及びデコーダの両方によって保持される。
RPLを保持するプロセスは、エンコーダ700とデコーダ740との間で調整される。特に、エンコーダ及びデコーダは、特定の現フレームを予測する際にマルチビュー参照ピクチャリストの同一コピーを保持する。
マルチビューRPLマネージャ1010は、マルチビュー参照ピクチャがDPBに格納される順序が、符号化及び復号化の効率を高める上でのピクチャの「有用性」に対応するようにRPLを保持する。具体的には、RPLの初めのほうの参照ピクチャは、RPLの終わりのほうの参照ピクチャよりも少ないビットで断定的に符号化することができる。
本発明の実施形態によるマルチビューピクチャ管理の1つの重要な利点は、既存のシングルビューのビデオ符号化システム及び設計と互換性があることである。このマルチビューピクチャ管理は、既存のシングルビュービデオ符号化規格に加える変更が最小であるだけでなく、既存のシングルビュービデオ符号化システムからのソフトウェア及びハードウェアを、本明細書に記載するマルチビュービデオ符号化に使用することも可能にする。
図8について上述したように、ビュー合成は、仮想カメラ800の合成ビュー802に対応するフレーム801を、既存のビデオから取得されるフレーム803から生成するプロセスである。言い換えれば、ビュー合成は、入力ビデオが取得された時点では存在しない仮想カメラによるシーンの選択された新たなビューに対応するフレームを合成する手段を提供する。1つ又は複数の実際のビデオのフレームの画素値及びシーン中の点の奥行き値が与えられると、合成ビデオビューのフレーム内の画素を外挿及び/又は内挿により生成することができる。
図16は、奥行き情報1901が符号化マルチビュービットストリーム731に含まれているときに、ビュー合成モードを用いて再構成マクロブロックを生成するプロセスを示す。所与のマクロブロックの奥行きは、サイド情報デコーダ1910によって復号化される。奥行き及び空間参照ピクチャ1902を用いてビュー合成1920を行い、合成マクロブロック1904を生成する。次に、合成マクロブロック1904と復号化された残差マクロブロック1905とを加算する(1930)ことによって再構成マクロブロック1903が形成される。
図17は、現フレームの符号化又は復号化中に予測モードを選択するプロセスを示す。時間参照ピクチャ2020を用いて現マクロブロック2011について動き推定2010を行う。結果として得られる動きベクトル2021を用いて、時間予測を用いて第1の符号化コストcost12031を求める(2030)。このプロセスに関連する予測モードはm1である。
ビュー合成モード2091を用いて、合成ビューの奥行き情報及び変位ベクトルを、1つ又は複数のマルチビュービデオの復号化フレームから推定することができる。奥行き情報は、適用されるプロセスに応じて、立体カメラから推定される画素毎の奥行きであってもよく、又は、マクロブロックマッチングから推定されるマクロブロック毎の奥行きであってもよい。
従来のビデオ中のフレームに対しランダムアクセスを提供するために、Iフレームとしても知られるイントラフレームが通常、ビデオ全体に間隔を置いて配置される。これにより、デコーダは、復号化シーケンス中の任意のフレームにアクセスすることが可能になるが、圧縮効率は低下する。
上述のVフレーム方法は、所与のビューの時間参照ピクチャに対する予測依存性を制限することによって空間ランダムアクセスを提供する。以下では、ビューを、1つ又は複数のカメラによって或るシーンについて取得された1つ又は複数のフレームとして定義する。異なるビューのフレームが異なるカメラにより取得される。これらのビューのフレームを、1つ又は複数のビットストリーム中に符号化することができる。好ましい実施形態では、これらのビューは、単一のマルチビュービットストリームに多重化される。
「全てのスライスが同一の時間インデックスを有するスライスのみ、すなわち、他のビューのスライスのみを参照し、現在のビューのスライスは参照しない符号化フレーム。Vフレームを復号化又は表示する際、Vフレームはまた復号化プロセスに、IDRフレームでもVフレームでもなく、出力順においてVフレームに先行する同一ビューからの全てのフレームを、参照に使用されないものとしてマーキングさせる。各Vフレームは、同一NAL内で生じるビュー依存性SEIメッセージに関連付けられるべきである。」
以下では、上述の構文及び方法を用いてランダムアクセスを効率的に行うことができるデコーダを説明する。提案する構文を用いずにビューVの時刻Tにおけるフレームにアクセスするには、デコーダが、所望のフレームの前の最初の適切な回復フレームを位置決めして、その点から順方向へ復号化する必要がある。
=======================================
MarkFrames(V,T)
=======================================
1.時刻T及びビューVにおけるフレームが必要なものとしてマーキングされた場合、それ以上は何も行わずに、このMarkFramesの呼び出しを終了し、そうでない場合、以下のステップを行う。
2.時刻T及びビューVにおける参照ピクチャを必要なものとしてマーキングする。
3.T’をビューVにおける時刻T以前の最初のIDRフレーム又はVフレームの時間インデックスに設定する。
4.T’’をビューVにおける時刻T以後の最初のIDRフレーム又はVフレームの時間インデックスに設定する。
5.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのpic_reference_view_iフィールドに列挙されている各ビューvについて、MarkFrames(v,T’)を反復的に実行する。
6.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのpic_reference_view_iフィールドに列挙されている各ビューvについて、MarkFrames(v,T’’)を反復的に実行する。
7.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのseq_reference_view_iフィールドに列挙されている各ビューvについて、またT’+1〜T’’−1の間のtの各値(T’+1及びT’’−1を含む)について、MarkFrames(v,t)を反復的に実行する。
8.T’〜T’’の間のtの各値(T’及びT’’を含む)について、MarkFrames(V,t)を反復的に実行する。
=======================================
Claims (2)
- マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、
前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、
前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが前記特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、
参照ピクチャリストを保持するステップと、
前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、
前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップと
を含み、
前記予測するステップは、前記空間参照ピクチャのみを用いる空間予測を用いるものであり、
前記空間参照ピクチャのみを用いる空間予測を用いて前記現在の画像を生成する場合、前記参照ピクチャリストから前記時間参照ピクチャを削除するステップと、
を含むマルチビュービデオをデコードする方法。 - マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、
前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、
前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが前記特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、
参照ピクチャリストを保持するステップと、
前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、
前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップと
を含み、
前記予測するステップは、前記時間参照ピクチャを用いる時間予測と前記空間参照ピクチャを用いる空間予測と、前記空間参照ピクチャのみを用いる空間予測から選択されるものであり、
前記空間参照ピクチャのみを用いる空間予測が選択されて前記現在の画像を生成する場合、前記参照ピクチャリストから前記時間参照ピクチャを削除するステップと、
を含むマルチビュービデオをデコードする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/385,620 | 2006-03-21 | ||
US11/385,620 US7903737B2 (en) | 2005-11-30 | 2006-03-21 | Method and system for randomly accessing multiview videos with known prediction dependency |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011078114A Division JP4995330B2 (ja) | 2006-03-21 | 2011-03-31 | マルチビュービデオをデコードする方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012016045A true JP2012016045A (ja) | 2012-01-19 |
JP5154680B2 JP5154680B2 (ja) | 2013-02-27 |
Family
ID=38633130
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007052934A Active JP4762936B2 (ja) | 2006-03-21 | 2007-03-02 | マルチビュービデオをデコードする方法 |
JP2011078114A Active JP4995330B2 (ja) | 2006-03-21 | 2011-03-31 | マルチビュービデオをデコードする方法 |
JP2011184338A Active JP5154681B2 (ja) | 2006-03-21 | 2011-08-26 | マルチビュービデオをエンコードする方法 |
JP2011184337A Active JP5154680B2 (ja) | 2006-03-21 | 2011-08-26 | マルチビュービデオをデコードする方法 |
JP2011184336A Active JP5154679B2 (ja) | 2006-03-21 | 2011-08-26 | マルチビュービデオをデコードする方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007052934A Active JP4762936B2 (ja) | 2006-03-21 | 2007-03-02 | マルチビュービデオをデコードする方法 |
JP2011078114A Active JP4995330B2 (ja) | 2006-03-21 | 2011-03-31 | マルチビュービデオをデコードする方法 |
JP2011184338A Active JP5154681B2 (ja) | 2006-03-21 | 2011-08-26 | マルチビュービデオをエンコードする方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011184336A Active JP5154679B2 (ja) | 2006-03-21 | 2011-08-26 | マルチビュービデオをデコードする方法 |
Country Status (2)
Country | Link |
---|---|
US (3) | US7903737B2 (ja) |
JP (5) | JP4762936B2 (ja) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
US8155185B2 (en) * | 2005-12-05 | 2012-04-10 | Canon Kabushiki Kaisha | Image coding apparatus and method |
ZA200805337B (en) * | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
US8824548B2 (en) * | 2006-03-21 | 2014-09-02 | Mitsubishi Electric Research Laboratories, Inc. | Object detecting with 1D range sensors |
EP1999967A2 (en) * | 2006-03-29 | 2008-12-10 | Thomson Licensing | Multi-view video coding method and device |
US20100091845A1 (en) * | 2006-03-30 | 2010-04-15 | Byeong Moon Jeon | Method and apparatus for decoding/encoding a video signal |
AU2007232607B2 (en) * | 2006-03-30 | 2010-09-16 | Lg Electronics Inc. | A method and apparatus for decoding/encoding a video signal |
EP2030450B1 (en) * | 2006-06-19 | 2015-01-07 | LG Electronics Inc. | Method and apparatus for processing a video signal |
WO2008005124A2 (en) * | 2006-07-05 | 2008-01-10 | Thomson Licensing | Methods and apparatus for multi-view video encoding and decoding |
AU2007269575B2 (en) * | 2006-07-06 | 2012-08-16 | Interdigital Vc Holdings, Inc. | Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding |
ZA200900857B (en) | 2006-07-06 | 2010-05-26 | Thomson Licensing | Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding |
KR100815486B1 (ko) * | 2006-08-18 | 2008-03-20 | 광주과학기술원 | 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체 |
US8532178B2 (en) * | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
CA2663672C (en) * | 2006-09-20 | 2014-08-12 | Nippon Telegraph And Telephone Corporation | Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
WO2008048499A2 (en) * | 2006-10-13 | 2008-04-24 | Thomson Licensing | Reference picture list management syntax for multiple view video coding |
KR101366092B1 (ko) | 2006-10-13 | 2014-02-21 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
CN101523920B (zh) * | 2006-10-16 | 2013-12-04 | 汤姆森许可贸易公司 | 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法 |
JP2010507975A (ja) * | 2006-10-24 | 2010-03-11 | トムソン ライセンシング | 多視点映像符号化のための画像の管理 |
BRPI0806829A2 (pt) * | 2007-01-04 | 2014-06-03 | Thomson Licensing | Método e aparelho para ocultamento de erros na transmissão de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe |
KR100846802B1 (ko) * | 2007-02-14 | 2008-07-16 | 삼성전자주식회사 | 동영상 프레임의 디코딩 방법 및 인코딩 방법 |
RU2510908C2 (ru) * | 2007-02-23 | 2014-04-10 | Нокиа Корпорейшн | Описание характеристик агрегированных блоков медиаданных с обратной совместимостью |
KR101301181B1 (ko) * | 2007-04-11 | 2013-08-29 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
US8548261B2 (en) * | 2007-04-11 | 2013-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding multi-view image |
SI3920538T1 (sl) | 2007-04-12 | 2023-08-31 | Dolby International Ab | Razpostavljanje pri kodiranju in dekodiranju videa |
JP4720785B2 (ja) * | 2007-05-21 | 2011-07-13 | 富士フイルム株式会社 | 撮像装置、画像再生装置、撮像方法及びプログラム |
TW200910975A (en) * | 2007-06-25 | 2009-03-01 | Nippon Telegraph & Telephone | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
US20100135894A1 (en) * | 2007-06-26 | 2010-06-03 | Taiko Pharmaceutical Co., Ltd. | Method of producing chlorine dioxide, and alkaline composition for chlorine dioxide production to be used in the method |
KR101395659B1 (ko) * | 2007-06-28 | 2014-05-19 | 톰슨 라이센싱 | 다시점 코딩된 영상의 단일 루프 디코딩 |
MY162861A (en) | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
CN101415114B (zh) * | 2007-10-17 | 2010-08-25 | 华为终端有限公司 | 视频编解码方法和装置以及视频编解码器 |
US8126279B2 (en) * | 2007-11-19 | 2012-02-28 | The University Of Arizona | Lifting-based view compensated compression and remote visualization of volume rendered images |
US20090219985A1 (en) * | 2008-02-28 | 2009-09-03 | Vasanth Swaminathan | Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File |
EP2348732A4 (en) | 2008-11-10 | 2012-05-09 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION |
KR101479011B1 (ko) * | 2008-12-17 | 2015-01-13 | 삼성전자주식회사 | 다중 대역 스케쥴링 방법 및 이를 이용한 방송 서비스 시스템 |
US8750632B2 (en) | 2008-12-26 | 2014-06-10 | JVC Kenwood Corporation | Apparatus and method for encoding images from multiple viewpoints and associated depth information |
US20100175312A1 (en) * | 2009-01-13 | 2010-07-15 | Allan Donald Roden | Method for producing biodiesel material |
RU2543954C2 (ru) * | 2009-01-26 | 2015-03-10 | Томсон Лайсенсинг | Упаковка кадров для кодирования видео |
WO2010093350A1 (en) | 2009-02-13 | 2010-08-19 | Thomson Licensing | Depth map coding using video information |
WO2010108024A1 (en) * | 2009-03-20 | 2010-09-23 | Digimarc Coporation | Improvements to 3d data representation, conveyance, and use |
US8693539B2 (en) * | 2009-03-26 | 2014-04-08 | Panasonic Corporation | Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus |
RU2534936C2 (ru) | 2009-04-09 | 2014-12-10 | Телефонактиеболагет Лм Эрикссон (Пабл) | Управление мультимедийными контейнерными файлами |
US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
KR101632076B1 (ko) * | 2009-04-13 | 2016-06-21 | 삼성전자주식회사 | 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법 |
KR20120013966A (ko) * | 2009-05-01 | 2012-02-15 | 톰슨 라이센싱 | 3dv를 위한 기준 화상 리스트 |
CN102422642B (zh) * | 2009-05-11 | 2015-03-25 | 株式会社Ntt都科摩 | 动态图像编码装置、方法和程序以及动态图像解码装置、方法和程序 |
US8780999B2 (en) * | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
WO2010151279A1 (en) | 2009-06-25 | 2010-12-29 | Thomson Licensing | Depth map coding |
US20110045408A1 (en) * | 2009-08-20 | 2011-02-24 | Shota Suzuki | Color-forming photosensitive composition, lithographic printing plate precursor and novel cyanine dye |
JP2011082683A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
WO2011049519A1 (en) * | 2009-10-20 | 2011-04-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for multi-view video compression |
US9215445B2 (en) | 2010-01-29 | 2015-12-15 | Thomson Licensing | Block-based interleaving |
KR101289269B1 (ko) * | 2010-03-23 | 2013-07-24 | 한국전자통신연구원 | 영상 시스템에서 영상 디스플레이 장치 및 방법 |
US8463059B2 (en) * | 2010-04-23 | 2013-06-11 | Futurewei Technologies, Inc. | Two-layer prediction method for multiple predictor-set intra coding |
US9621930B2 (en) * | 2010-05-07 | 2017-04-11 | Deutsche Telekom Ag | Distributed transcoding of video frames for transmission in a communication network |
JP5392199B2 (ja) * | 2010-07-09 | 2014-01-22 | ソニー株式会社 | 画像処理装置および方法 |
EP2617194A1 (en) | 2010-09-14 | 2013-07-24 | Thomson Licensing | Compression methods and apparatus for occlusion data |
JP5837606B2 (ja) * | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
CN102480789B (zh) * | 2010-11-25 | 2014-05-14 | 普天信息技术研究院有限公司 | 一种多队列码分方式下码道分配的方法 |
US20120189060A1 (en) * | 2011-01-20 | 2012-07-26 | Industry-Academic Cooperation Foundation, Yonsei University | Apparatus and method for encoding and decoding motion information and disparity information |
RU2480941C2 (ru) * | 2011-01-20 | 2013-04-27 | Корпорация "Самсунг Электроникс Ко., Лтд" | Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности |
US9565449B2 (en) * | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
US8787454B1 (en) | 2011-07-13 | 2014-07-22 | Google Inc. | Method and apparatus for data compression using content-based features |
US8693793B2 (en) * | 2012-01-19 | 2014-04-08 | Sharp Laboratories Of America, Inc. | Reducing reference picture set signal overhead on an electronic device |
US8867852B2 (en) | 2012-01-19 | 2014-10-21 | Sharp Kabushiki Kaisha | Decoding a picture based on a reference picture set on an electronic device |
US9560353B2 (en) * | 2012-01-27 | 2017-01-31 | Sun Patent Trust | Video encoding method, video encoding device, video decoding method and video decoding device |
WO2013115562A1 (ko) * | 2012-01-30 | 2013-08-08 | 삼성전자 주식회사 | 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치 |
KR102047492B1 (ko) * | 2012-03-12 | 2019-11-22 | 삼성전자주식회사 | 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 |
CN104365102B (zh) * | 2012-05-10 | 2018-01-02 | Lg 电子株式会社 | 处理视频信号的方法和装置 |
US9860555B2 (en) * | 2012-05-22 | 2018-01-02 | Lg Electronics Inc. | Method and apparatus for processing video signal |
RU2506712C1 (ru) * | 2012-06-07 | 2014-02-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ межкадрового прогнозирования для кодирования многоракурсной видеопоследовательности |
JP2013258577A (ja) * | 2012-06-13 | 2013-12-26 | Canon Inc | 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム |
JP5743968B2 (ja) * | 2012-07-02 | 2015-07-01 | 株式会社東芝 | 動画像復号方法及び動画像符号化方法 |
KR102377634B1 (ko) * | 2012-09-10 | 2022-03-22 | 에이매스, 아이엔씨. | 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 |
KR101944911B1 (ko) | 2012-10-31 | 2019-02-07 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
US9774927B2 (en) * | 2012-12-21 | 2017-09-26 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-layer video stream decoding |
FR3011429A1 (fr) * | 2013-09-27 | 2015-04-03 | Orange | Codage et decodage video par heritage d'un champ de vecteurs de mouvement |
CN103743352B (zh) * | 2013-12-18 | 2016-10-19 | 西安交通大学 | 一种基于多相机匹配的三维变形测量方法 |
US9807398B2 (en) * | 2014-09-30 | 2017-10-31 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Mode complexity based coding strategy selection |
GB2531271A (en) | 2014-10-14 | 2016-04-20 | Nokia Technologies Oy | An apparatus, a method and a computer program for image sequence coding and decoding |
CN104837051B (zh) * | 2015-05-26 | 2019-02-22 | 腾讯科技(北京)有限公司 | 视频播放方法及客户端 |
FR3042368A1 (fr) * | 2015-10-08 | 2017-04-14 | Orange | Procede de codage et de decodage multi-vues, dispositif de codage et de decodage multi-vues et programmes d'ordinateur correspondants |
US10560903B2 (en) | 2015-11-06 | 2020-02-11 | Sony Corporation | Communications device, infrastructure equipment, communications system and methods |
CN105430406B (zh) * | 2015-12-04 | 2018-06-12 | 中国矿业大学 | 一种分布式视频编码框架 |
US10057910B2 (en) * | 2016-02-11 | 2018-08-21 | Microsoft Technology Licensing, Llc | Multiplexed unequal error protection for wireless networks |
EP3407637A1 (en) * | 2017-05-26 | 2018-11-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Reduction of interference between neighbor transmissions |
CN109672886B (zh) * | 2019-01-11 | 2023-07-04 | 京东方科技集团股份有限公司 | 一种图像帧预测方法、装置及头显设备 |
WO2021061493A1 (en) * | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Temporal identifier constraints for sei messages |
CN111009005A (zh) * | 2019-11-27 | 2020-04-14 | 天津大学 | 几何信息与光度信息相结合的场景分类点云粗配准方法 |
CN113033219A (zh) * | 2021-03-25 | 2021-06-25 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0759115A (ja) * | 1993-07-09 | 1995-03-03 | Rca Thomson Licensing Corp | ステレオビデオ信号処理方法および装置 |
WO2007081926A2 (en) * | 2006-01-09 | 2007-07-19 | Thomson Licensing | Methods and apparatuses for multi-view video coding |
JP2009523356A (ja) * | 2006-01-12 | 2009-06-18 | エルジー エレクトロニクス インコーポレイティド | 多視点ビデオの処理 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3443867B2 (ja) * | 1992-06-26 | 2003-09-08 | ソニー株式会社 | 画像信号符号化、復号化方法及び画像信号記録媒体 |
JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
JP3776595B2 (ja) * | 1998-07-03 | 2006-05-17 | 日本放送協会 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
KR100397511B1 (ko) * | 2001-11-21 | 2003-09-13 | 한국전자통신연구원 | 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법 |
KR100523052B1 (ko) * | 2002-08-30 | 2005-10-24 | 한국전자통신연구원 | 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법 |
US7489342B2 (en) * | 2004-12-17 | 2009-02-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for managing reference pictures in multiview videos |
EP1743338B1 (en) * | 2004-04-28 | 2009-09-16 | Panasonic Corporation | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
KR100587698B1 (ko) * | 2004-10-22 | 2006-06-08 | 주식회사 휴맥스 | 선택적 예측 부호화/복호화 방법 및 장치 |
CN100373953C (zh) * | 2004-12-29 | 2008-03-05 | 华为技术有限公司 | 一种转换设备中视频图像编码的转换方法 |
EP1758312A1 (en) * | 2005-08-26 | 2007-02-28 | Matsushita Electric Industrial Co., Ltd. | Scheduling depending on quality of service and channel properties |
US8559515B2 (en) * | 2005-09-21 | 2013-10-15 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-view video |
US8644386B2 (en) * | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
KR101276720B1 (ko) * | 2005-09-29 | 2013-06-19 | 삼성전자주식회사 | 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
KR101244911B1 (ko) * | 2005-10-11 | 2013-03-18 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체 |
WO2007042914A1 (en) * | 2005-10-11 | 2007-04-19 | Nokia Corporation | Efficient decoded picture buffer management for scalable video coding |
US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
KR101245251B1 (ko) * | 2006-03-09 | 2013-03-19 | 삼성전자주식회사 | 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치 |
US20080089411A1 (en) * | 2006-10-16 | 2008-04-17 | Nokia Corporation | Multiple-hypothesis cross-layer prediction |
-
2006
- 2006-03-21 US US11/385,620 patent/US7903737B2/en active Active
-
2007
- 2007-03-02 JP JP2007052934A patent/JP4762936B2/ja active Active
-
2010
- 2010-08-30 US US12/871,249 patent/US8451895B2/en active Active
-
2011
- 2011-03-31 JP JP2011078114A patent/JP4995330B2/ja active Active
- 2011-04-22 US US13/092,562 patent/US20110194452A1/en not_active Abandoned
- 2011-08-26 JP JP2011184338A patent/JP5154681B2/ja active Active
- 2011-08-26 JP JP2011184337A patent/JP5154680B2/ja active Active
- 2011-08-26 JP JP2011184336A patent/JP5154679B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0759115A (ja) * | 1993-07-09 | 1995-03-03 | Rca Thomson Licensing Corp | ステレオビデオ信号処理方法および装置 |
WO2007081926A2 (en) * | 2006-01-09 | 2007-07-19 | Thomson Licensing | Methods and apparatuses for multi-view video coding |
JP2009522986A (ja) * | 2006-01-09 | 2009-06-11 | トムソン ライセンシング | マルチビュービデオ符号化の方法および装置 |
JP2009523356A (ja) * | 2006-01-12 | 2009-06-18 | エルジー エレクトロニクス インコーポレイティド | 多視点ビデオの処理 |
Also Published As
Publication number | Publication date |
---|---|
JP2012016044A (ja) | 2012-01-19 |
US8451895B2 (en) | 2013-05-28 |
US20070121722A1 (en) | 2007-05-31 |
JP2011155683A (ja) | 2011-08-11 |
JP5154679B2 (ja) | 2013-02-27 |
JP4995330B2 (ja) | 2012-08-08 |
JP4762936B2 (ja) | 2011-08-31 |
JP2007259433A (ja) | 2007-10-04 |
JP5154680B2 (ja) | 2013-02-27 |
US20100322311A1 (en) | 2010-12-23 |
JP5154681B2 (ja) | 2013-02-27 |
US7903737B2 (en) | 2011-03-08 |
US20110194452A1 (en) | 2011-08-11 |
JP2012016046A (ja) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5154680B2 (ja) | マルチビュービデオをデコードする方法 | |
JP5274766B2 (ja) | マルチビュービデオを予測する方法及びシステム | |
JP4890201B2 (ja) | マルチビュービデオを管理する方法及びシステム | |
JP5106830B2 (ja) | マルチビュービデオにランダムにアクセスする方法及びシステム | |
JP5116394B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
JP5744333B2 (ja) | シーンのマルチビュービデオを処理する方法及びシステム | |
JP5013993B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
TWI566589B (zh) | 三維視訊之視圖合成 | |
EP2870766B1 (en) | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5154680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |