JPWO2011013257A1 - マルチビュービデオ復号装置およびその方法 - Google Patents
マルチビュービデオ復号装置およびその方法 Download PDFInfo
- Publication number
- JPWO2011013257A1 JPWO2011013257A1 JP2011524613A JP2011524613A JPWO2011013257A1 JP WO2011013257 A1 JPWO2011013257 A1 JP WO2011013257A1 JP 2011524613 A JP2011524613 A JP 2011524613A JP 2011524613 A JP2011524613 A JP 2011524613A JP WO2011013257 A1 JPWO2011013257 A1 JP WO2011013257A1
- Authority
- JP
- Japan
- Prior art keywords
- view
- index
- reference picture
- inter
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 192
- 230000008569 process Effects 0.000 claims abstract description 111
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 abstract description 15
- 239000000284 extract Substances 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 48
- 238000009795 derivation Methods 0.000 description 10
- 238000007493 shaping process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
H.264/AVCに準拠したマルチビュービデオ復号装置にて、参照ピクチャリストのリオーダリング処理における演算処理量を削減する。そのため、ビューインデックス選択部(40)は、ビューインデックスとビューIDとの対応付けを規定したビューIDリストから各エントリのビューIDに対応するビュー間参照フラグが1となるエントリのみを抽出し、抽出したエントリのビューインデックスを探索対象としてビューインデックス記憶部(42)に記憶しておき、与えられた変数picViewIdxLX(Xは0または1)と一致するビューインデックスを探索して選択する。ビューID選択部(50)は、前記抽出したエントリのビューIDを参照ピクチャリストとして記憶しており、ビューインデックス記憶部(42)にてヒットしたエントリのアドレスをもとにビューIDを選択し、これを参照ピクチャリストの先頭へ移動させる。
Description
本発明は、マルチビュービデオ復号装置およびその方法に関するものである。
マルチビュービデオ符号化(Multiview Video Coding:MVC)の技術は、時間冗長度に加えてビュー間冗長度を利用することにより、マルチビュー動画像の高い情報圧縮を実現する技術であって、時間予測とビュー間予測との両技術を含む(特許文献1参照)。
図1は、従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。図中の矢印はピクチャのデコード順を示す。同じビューに属するピクチャはピクチャ番号(picNum)でそれぞれ識別され、各ビューはビューID(view_id)でそれぞれ識別される。他のビューを参照しないベースビューを除くビューの各ピクチャは、同じビュー内のピクチャに加え、異なるビューの同じ時間のピクチャを参照することができる。
さて、H.264/AVCに準拠した復号装置では、参照ピクチャを統一的に管理するために復号ピクチャバッファ(Decoded Picture Buffer:DPB)が使われる。そして、DPBに入っている参照ピクチャと、当該参照ピクチャのエントリを特定する参照インデックス(refIdx)とを対応付けた参照ピクチャリスト(Reference Picture List:RPL)が用いられる。頻繁に参照されるピクチャに参照インデックス(refIdx)の小さい値を割り当てることで、圧縮率を向上させることができる。そこで、符号化装置は参照ピクチャリストを作り変えることができるようになっている。
図2は、MVCにおける参照ピクチャリストの従来のリオーダリング手順を示す概念図である。図2において、100は初期状態の参照ピクチャリストを、100aは更新後の参照ピクチャリストを、110は4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定したビューIDリストをそれぞれ示す。なお、規格上はビュー間参照インデックス(inter-view reference index)と呼ばれている変数(j)を、本願明細書では便宜上ビューインデックス(view_index)と縮めて呼ぶことにする。
参照ピクチャリストの初期状態は規格で規定されており、そのまま作り変えずに使ってもよい。参照ピクチャリストを作り変えたければ、参照インデックス(refIdx)の若い順に対応付けたいピクチャを指定する。その際、同じビューのピクチャについては、ピクチャ番号(picNum)を指定する。また、異なるビューのピクチャについては、直接ビューID(view_id)を指定することはできず、ビューインデックス(view_index)を介してビューID(view_id)を指定する。
図3は参照ピクチャリストの従来の取扱い手順を示すフローチャート図であり、図4は図3中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である(非特許文献1参照)。
図3において、ステップS1は初期状態の参照ピクチャリストInitial RefPicListX(Xは0または1)の生成処理、ステップS2は変数modification_of_pic_nums_idcの復号処理、ステップS3は変数modification_of_pic_nums_idcが3の場合に終了するための判別処理、ステップS4は変数modification_of_pic_nums_idcが0または1または2の場合にMVC以前のリオーダリング処理のステップS5へ移行するための判別処理である。変数modification_of_pic_nums_idcが4または5の場合には、ステップS4からステップS6へ進む。ステップS6は変数abs_diff_view_idx_minus1の復号処理、ステップS7は変数picViewIdxLX(Xは0または1)の導出処理、ステップS8はtargetViewIDの導出処理、ステップS9はMVCのリオーダリング処理である。
図4において、C1はリオーダリング処理における探索手順の詳細を、C2はリオーダリング処理におけるマージ手順の詳細をそれぞれ示しており、いずれもC言語で記述がなされている。
図5は、従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図5において、11はゴロム復号部、12はpicViewIdxLX導出部、20はターゲットビューID導出部、21はビューインデックス付与部、22は(non_)anchor_ref_lX記憶部、23は(non_)anchor_ref_lX参照部、30はビューID選択部、31は参照インデックス付与部、32はInitial RefPicListX記憶部、33はビューID比較部、34はInitial RefPicListX探索部である。
ゴロム復号部11は、入力ストリームから変数modification_of_pic_nums_idc及び変数abs_diff_view_idx_minus1を復号する。picViewIdxLX導出部12は、4ビット変数picViewIdxLX(Xは0または1)の導出処理を実行する。
ターゲットビューID導出部20において、(non_)anchor_ref_lX記憶部22は、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、図2にて説明した4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定したビューIDリスト110を記憶している。ビューインデックス付与部21は、(non_)anchor_ref_lX参照部23による制御のもと、与えられた変数picViewIdxLX(Xは0または1)に応じた4ビット長のビューインデックス(view_index)を(non_)anchor_ref_lX記憶部22へ付与する。(non_)anchor_ref_lX記憶部22から読み出された10ビット長のビューID(view_id)は、targetViewIDとしてビューID比較部33へ供給される。
ビューID選択部30において、Initial RefPicListX記憶部32は、図2にて説明した初期状態の参照ピクチャリスト100を記憶している(Xは0または1)。参照インデックス付与部31は、Initial RefPicListX探索部34による制御のもと、Initial RefPicListX記憶部32に参照インデックス(refIdx)を順次更新して付与する。Initial RefPicListX記憶部32から読み出された10ビット長のビューID(view_id)は、ビューID比較部33へ供給される。ビューID比較部33は、ターゲットビューID導出部20から供給されたtargetViewIDと、Initial RefPicListX記憶部32から読み出されたビューID(view_id)との10ビットの比較演算を実行する。そして、targetViewIDと一致するビューID(view_id)のエントリの位置が参照ピクチャリスト内で繰り上げられる。
Gary J. Sullivan et al.,"Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)", Feb. 2009, internet <URL: http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip>
上記のとおり、従来は、MVCにおける参照ピクチャリストのリオーダリング処理において、ビューID比較部33で10ビットの比較演算を行っていたので、演算処理量が多いという課題があった。
本発明の目的は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することにある。
上記の目的を達成するため、本発明に係るマルチビュービデオ復号装置は、リオーダリング処理における探索手順及びマージ手順のうちの少なくとも一方にて、長いビット長を持つビューIDの比較演算を排することとしたものである。
本発明によれば、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
図6は、本発明の第1の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図6において、11はゴロム復号部、12はpicViewIdxLX導出部、40はビューインデックス選択部、41は参照インデックス付与部、42はview_index記憶部、43はビューインデックス比較部、44はview_index探索部、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部である。
図6のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、各エントリのビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックス(j)と共に記憶しておき、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)と一致する前記ビューインデックス(j)を探索することにより実行することを特徴とするものである。
図7は、図6の構成の動作を説明するための概念図である。図7によれば、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューID(view_id)のみが選択されて第1のリスト111が作られる。また、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューインデックス(view_index)が第2のリスト112として新たに記憶される。
ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。また、第2のリスト112は、参照インデックス(refIdx)とビューインデックス(view_index)との対応付けを表す。
図6中のview_index記憶部42は第2のリスト112を、Initial RefPicListX記憶部52は第1のリスト111をそれぞれ記憶する。したがって、従来の10ビット比較演算が、ビューインデックス比較部43における4ビット比較演算に置き換えられる結果、演算処理量が低減する。
図8は、本発明の第2の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図8において、11はゴロム復号部、12はpicViewIdxLX導出部、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部、60はビュー間参照フラグ選択部、61は参照インデックス付与部、62はinter_view_flag記憶部、63はinter_view_flag参照部、70はinter_view_flag判定部である。
図8のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)をインデックスとして、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、参照先のビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となる場合のみ有効とすることにより実行することを特徴とするものである。
図9は、図8の構成の動作を説明するための概念図である。図9によれば、ビュー間参照フラグ(inter_view_flag)に関わらずanchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のビューID(view_id)がそのまま第1のリスト111として選択されるとともに、各ビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が第2のリスト120として新たに記憶される。
ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。また、第2のリスト120は、参照インデックス(refIdx)とビュー間参照フラグ(inter_view_flag)との対応付けを表す。
図8中のInitial RefPicListX記憶部52は第1のリスト111を、inter_view_flag記憶部62は第2のリスト120をそれぞれ記憶する。したがって、一切の比較演算処理が削減される結果、第1の実施形態の場合よりも演算処理量が低減する。
図10は、本発明の第3の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図10において、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部である。前述のpicViewIdxLX導出部12は、配設が省略される。
図10のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)は導出せず、固定値(例えば0)をインデックスとして、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、参照先のビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となる場合のみ有効とすることにより実行することを特徴とするものである。
例えば3次元画像を復号する場合には、ビューの数が2であって、一方のビューは他のビューを参照しないベースビューである。したがって、ビュー間予測参照ピクチャを決定する際のrefIdxは固定値でよいこととなる。第3の実施形態によれば、適用範囲が3次元画像に限られるものの、第2の実施形態の場合よりも演算処理量が低減する効果がある。
図11は、本発明の第4の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1及びマージ手順C2を説明するための概念図である。ここでは、第1の実施形態に係る図6の構成を以て探索手順C1が実行されることを前提として、マージ手順C2の改善について説明する。
第4の実施形態に係るマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、各エントリのビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となるエントリのみを抽出し、同一のビューID(view_id)を保持するエントリに対応する複数のビューインデックス(j)をいずれか1つのビューインデックス(j)に変換し、抽出したエントリを探索対象として変換後のビューインデックス(j)と共に記憶しておき、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、変数picViewIdxLX(Xは0または1)を前記ビューインデックス(j)と同様に変換し、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の変数picViewIdxLX(Xは0または1)と一致する前記変換後のビューインデックス(j)を探索することにより実行し、RefPicListX[refIdxLX](Xは0または1)以降に配置するビュー間予測参照ピクチャの決定処理を、RefPicListX[refIdxLX](Xは0または1)以降のエントリから、前記変換後の変数picViewIdxLX(Xは0または1)と一致しない前記変換後のビューインデックス(j)を探索することにより実行することを特徴とするものである。
図11によれば、同一のビューID(view_id)を保持するエントリについては代表としていずれかのビューインデックス(view_index)を新たなビューインデックス(view_index2)として記憶させ、これを用いて第1の実施形態と同様の処理を実行する。
より具体的に説明すると、図11によれば、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューID(view_id)のみが選択されて第1のリスト111が作られる。ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。
一方、予め作られた第2のリスト130は、ビューインデックス(view_index)と新たなビューインデックス(view_index2)との対応付けを表す。ここで、ビューIDリスト110にてビューインデックス(view_index)が1のエントリと、ビューインデックス(view_index)が2のエントリとは、ビューID(view_id)として同じ値15を持つ。したがって、これらのエントリについては、第2のリスト130にて新たなビューインデックス(view_index2)として代表ビューインデックス(view_index)である1を記憶する。そして、第2のリスト130のうち、ビュー間参照フラグ(inter_view_flag)が1となる新たなビューインデックス(view_index2)のみが選択されて第3のリスト131が作られる。このようにして作られた第3のリスト131は、参照インデックス(refIdx)と重複が許されたビューインデックス(view_index)との対応付けを表す。これにより、ビューIDリスト110に同一のビューID(view_id)を保持するエントリがある場合でも、マージ手順が正しく行える。
本実施形態は、図4における上記マージ手順C2中の「viewID(RefPicListX[cIdx])!=targetViewID」を第3のリスト131におけるビューインデックス(view_index)の比較に置き換えるものであるので、10ビット比較演算が4ビット比較演算に置き換えられる結果、演算処理量が低減する。
さて、以上の説明では、図4の探索手順C1に関して初期状態の参照ピクチャリスト(Initial RPL)が処理対象であるとしたが、厳密に言うと、これは規格と若干異なる。また、図7、図9及び図11ではビュー間予測用エントリのみを示したが、本発明はMVC処理/非MVC処理が混在する場合にも適用できる。
図12は、本発明のマルチビュービデオ復号装置における探索手順C1の処理対象である整形前のInitial RPLを示す概念図である。規格によれば、Initial RPLを生成するに際し、まずビュー内予測用エントリが生成され、これにビュー間予測用エントリが追加された後、エントリ数がL(=num_ref_idx_lX_active_minus1+1)個に整形され、残りのエントリは切り捨てられる。ただし、探索手順C1の処理対象は、ビュー間予測用エントリが追加された時点のリスト200、すなわち整形前のInitial RPLの全エントリであると決められている。
図13は、図12のInitial RPLを整形した後に実行が開始されるリオーダリング処理を示している。図13によれば、図12のリスト200とは別に、整形後のInitial RPLのリスト201が作成される。探索対象はあくまでも図12のリスト200であって、整形後のInitial RPLのリスト201中に存在しないエントリであっても、図12のリスト200中に存在するエントリであれば、参照インデックスの若い順に対応付けたいピクチャとして選択することができる。図13中の202及び203は、マージ手順を含むリオーダリング処理により更新されたリストである。ただし、ビュー内予測用エントリの領域とビュー間予測用エントリの領域とがきれいに分かれている図12のリスト200は更新されないため、変数modification_of_pic_nums_idcが0または1または2の場合に要求されるMVC処理と、変数modification_of_pic_nums_idcが4または5の場合に要求される非MVC処理とでそれぞれ探索範囲が限定される利点がある。また、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、マージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
図14は、図12のリスト200を含むように広げられたInitial RPLから実行が開始されるリオーダリング処理を示している。図14によれば、整形後のInitial RPLのリスト211が、図12のリスト200を含んでいる。図14の場合は、図13の場合と比べて、探索対象のリスト200をInitial RPLとは別に記憶しておく必要がないという利点がある。図14中の212及び213は、マージ手順を含むリオーダリング処理により更新されたリストである。図14によれば、リオーダリング処理が進むにつれてビュー内予測用エントリの領域とビュー間予測用エントリの領域との切れ目が消失するので、変数modification_of_pic_nums_idcの値に関わらず、常に全エントリを探索する必要がある。ただし、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、探索手順およびマージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
以上説明してきたとおり、本発明に係るマルチビュービデオ復号装置は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる効果を有し、H.264/AVCに準拠したビデオ復号装置等として有用である。
11 ゴロム復号部
12 picViewIdxLX導出部
20 ターゲットビューID導出部
21 ビューインデックス付与部
22 (non_)anchor_ref_lX記憶部
23 (non_)anchor_ref_lX参照部
30 ビューID選択部
31 参照インデックス付与部
32 Initial RefPicListX記憶部
33 ビューID比較部
34 Initial RefPicListX探索部
40 ビューインデックス選択部
41 参照インデックス付与部
42 view_index記憶部
43 ビューインデックス比較部
44 view_index探索部
50 ビューID選択部
51 参照インデックス付与部
52 Initial RefPicListX記憶部
53 Initial RefPicListX参照部
60 ビュー間参照フラグ選択部
61 参照インデックス付与部
62 inter_view_flag記憶部
63 inter_view_flag参照部
70 inter_view_flag判定部
12 picViewIdxLX導出部
20 ターゲットビューID導出部
21 ビューインデックス付与部
22 (non_)anchor_ref_lX記憶部
23 (non_)anchor_ref_lX参照部
30 ビューID選択部
31 参照インデックス付与部
32 Initial RefPicListX記憶部
33 ビューID比較部
34 Initial RefPicListX探索部
40 ビューインデックス選択部
41 参照インデックス付与部
42 view_index記憶部
43 ビューインデックス比較部
44 view_index探索部
50 ビューID選択部
51 参照インデックス付与部
52 Initial RefPicListX記憶部
53 Initial RefPicListX参照部
60 ビュー間参照フラグ選択部
61 参照インデックス付与部
62 inter_view_flag記憶部
63 inter_view_flag参照部
70 inter_view_flag判定部
本発明は、マルチビュービデオ復号装置およびその方法に関するものである。
マルチビュービデオ符号化(Multiview Video Coding:MVC)の技術は、時間冗長度に加えてビュー間冗長度を利用することにより、マルチビュー動画像の高い情報圧縮を実現する技術であって、時間予測とビュー間予測との両技術を含む(特許文献1参照)。
図1は、従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。図中の矢印はピクチャのデコード順を示す。同じビューに属するピクチャはピクチャ番号(picNum)でそれぞれ識別され、各ビューはビューID(view_id)でそれぞれ識別される。他のビューを参照しないベースビューを除くビューの各ピクチャは、同じビュー内のピクチャに加え、異なるビューの同じ時間のピクチャを参照することができる。
さて、H.264/AVCに準拠した復号装置では、参照ピクチャを統一的に管理するために復号ピクチャバッファ(Decoded Picture Buffer:DPB)が使われる。そして、DPBに入っている参照ピクチャと、当該参照ピクチャのエントリを特定する参照インデックス(refIdx)とを対応付けた参照ピクチャリスト(Reference Picture List:RPL)が用いられる。頻繁に参照されるピクチャに参照インデックス(refIdx)の小さい値を割り当てることで、圧縮率を向上させることができる。そこで、符号化装置は参照ピクチャリストを作り変えることができるようになっている。
図2は、MVCにおける参照ピクチャリストの従来のリオーダリング手順を示す概念図である。図2において、100は初期状態の参照ピクチャリストを、100aは更新後の参照ピクチャリストを、110は4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定したビューIDリストをそれぞれ示す。なお、規格上はビュー間参照インデックス(inter-view reference index)と呼ばれている変数(j)を、本願明細書では便宜上ビューインデックス(view_index)と縮めて呼ぶことにする。
参照ピクチャリストの初期状態は規格で規定されており、そのまま作り変えずに使ってもよい。参照ピクチャリストを作り変えたければ、参照インデックス(refIdx)の若い順に対応付けたいピクチャを指定する。その際、同じビューのピクチャについては、ピクチャ番号(picNum)を指定する。また、異なるビューのピクチャについては、直接ビューID(view_id)を指定することはできず、ビューインデックス(view_index)を介してビューID(view_id)を指定する。
図3は参照ピクチャリストの従来の取扱い手順を示すフローチャート図であり、図4は図3中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である(非特許文献1参照)。
図3において、ステップS1は初期状態の参照ピクチャリストInitial RefPicListX(Xは0または1)の生成処理、ステップS2は変数modification_of_pic_nums_idcの復号処理、ステップS3は変数modification_of_pic_nums_idcが3の場合に終了するための判別処理、ステップS4は変数modification_of_pic_nums_idcが0または1または2の場合にMVC以前のリオーダリング処理のステップS5へ移行するための判別処理である。変数modification_of_pic_nums_idcが4または5の場合には、ステップS4からステップS6へ進む。ステップS6は変数abs_diff_view_idx_minus1の復号処理、ステップS7は変数picViewIdxLX(Xは0または1)の導出処理、ステップS8はtargetViewIDの導出処理、ステップS9はMVCのリオーダリング処理である。
図4において、C1はリオーダリング処理における探索手順の詳細を、C2はリオーダリング処理におけるマージ手順の詳細をそれぞれ示しており、いずれもC言語で記述がなされている。
図5は、従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図5において、11はゴロム復号部、12はpicViewIdxLX導出部、20はターゲットビューID導出部、21はビューインデックス付与部、22は(non_)anchor_ref_lX記憶部、23は(non_)anchor_ref_lX参照部、30はビューID選択部、31は参照インデックス付与部、32はInitial RefPicListX記憶部、33はビューID比較部、34はInitial RefPicListX探索部である。
ゴロム復号部11は、入力ストリームから変数modification_of_pic_nums_idc及び変数abs_diff_view_idx_minus1を復号する。picViewIdxLX導出部12は、4ビット変数picViewIdxLX(Xは0または1)の導出処理を実行する。
ターゲットビューID導出部20において、(non_)anchor_ref_lX記憶部22は、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、図2にて説明した4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定したビューIDリスト110を記憶している。ビューインデックス付与部21は、(non_)anchor_ref_lX参照部23による制御のもと、与えられた変数picViewIdxLX(Xは0または1)に応じた4ビット長のビューインデックス(view_index)を(non_)anchor_ref_lX記憶部22へ付与する。(non_)anchor_ref_lX記憶部22から読み出された10ビット長のビューID(view_id)は、targetViewIDとしてビューID比較部33へ供給される。
ビューID選択部30において、Initial RefPicListX記憶部32は、図2にて説明した初期状態の参照ピクチャリスト100を記憶している(Xは0または1)。参照インデックス付与部31は、Initial RefPicListX探索部34による制御のもと、Initial RefPicListX記憶部32に参照インデックス(refIdx)を順次更新して付与する。Initial RefPicListX記憶部32から読み出された10ビット長のビューID(view_id)は、ビューID比較部33へ供給される。ビューID比較部33は、ターゲットビューID導出部20から供給されたtargetViewIDと、Initial RefPicListX記憶部32から読み出されたビューID(view_id)との10ビットの比較演算を実行する。そして、targetViewIDと一致するビューID(view_id)のエントリの位置が参照ピクチャリスト内で繰り上げられる。
Gary J. Sullivan et al.,"Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)", Feb. 2009, internet <URL: http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip>
上記のとおり、従来は、MVCにおける参照ピクチャリストのリオーダリング処理において、ビューID比較部33で10ビットの比較演算を行っていたので、演算処理量が多いという課題があった。
本発明の目的は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することにある。
上記の目的を達成するため、本発明に係るマルチビュービデオ復号装置は、リオーダリング処理における探索手順及びマージ手順のうちの少なくとも一方にて、長いビット長を持つビューIDの比較演算を排することとしたものである。
本発明によれば、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
図6は、本発明の第1の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図6において、11はゴロム復号部、12はpicViewIdxLX導出部、40はビューインデックス選択部、41は参照インデックス付与部、42はview_index記憶部、43はビューインデックス比較部、44はview_index探索部、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部である。
図6のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、各エントリのビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックス(j)と共に記憶しておき、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)と一致する前記ビューインデックス(j)を探索することにより実行することを特徴とするものである。
図7は、図6の構成の動作を説明するための概念図である。図7によれば、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューID(view_id)のみが選択されて第1のリスト111が作られる。また、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューインデックス(view_index)が第2のリスト112として新たに記憶される。
ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。また、第2のリスト112は、参照インデックス(refIdx)とビューインデックス(view_index)との対応付けを表す。
図6中のview_index記憶部42は第2のリスト112を、Initial RefPicListX記憶部52は第1のリスト111をそれぞれ記憶する。したがって、従来の10ビット比較演算が、ビューインデックス比較部43における4ビット比較演算に置き換えられる結果、演算処理量が低減する。
図8は、本発明の第2の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図8において、11はゴロム復号部、12はpicViewIdxLX導出部、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部、60はビュー間参照フラグ選択部、61は参照インデックス付与部、62はinter_view_flag記憶部、63はinter_view_flag参照部、70はinter_view_flag判定部である。
図8のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)をインデックスとして、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、参照先のビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となる場合のみ有効とすることにより実行することを特徴とするものである。
図9は、図8の構成の動作を説明するための概念図である。図9によれば、ビュー間参照フラグ(inter_view_flag)に関わらずanchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のビューID(view_id)がそのまま第1のリスト111として選択されるとともに、各ビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が第2のリスト120として新たに記憶される。
ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。また、第2のリスト120は、参照インデックス(refIdx)とビュー間参照フラグ(inter_view_flag)との対応付けを表す。
図8中のInitial RefPicListX記憶部52は第1のリスト111を、inter_view_flag記憶部62は第2のリスト120をそれぞれ記憶する。したがって、一切の比較演算処理が削減される結果、第1の実施形態の場合よりも演算処理量が低減する。
図10は、本発明の第3の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1を実現する構成を示すブロック図である。図10において、50はビューID選択部、51は参照インデックス付与部、52はInitial RefPicListX記憶部、53はInitial RefPicListX参照部である。前述のpicViewIdxLX導出部12は、配設が省略される。
図10のマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、変数picViewIdxLX(Xは0または1)は導出せず、固定値(例えば0)をインデックスとして、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、参照先のビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となる場合のみ有効とすることにより実行することを特徴とするものである。
例えば3次元画像を復号する場合には、ビューの数が2であって、一方のビューは他のビューを参照しないベースビューである。したがって、ビュー間予測参照ピクチャを決定する際のrefIdxは固定値でよいこととなる。第3の実施形態によれば、適用範囲が3次元画像に限られるものの、第2の実施形態の場合よりも演算処理量が低減する効果がある。
図11は、本発明の第4の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順C1及びマージ手順C2を説明するための概念図である。ここでは、第1の実施形態に係る図6の構成を以て探索手順C1が実行されることを前提として、マージ手順C2の改善について説明する。
第4の実施形態に係るマルチビュービデオ復号装置は、H.264/AVCに準拠したマルチビュービデオ復号装置であって、配列anchor_ref_lX[i][j]または配列non_anchor_ref_lX[i][j](Xは0または1)を参照し、各エントリのビューID(view_id)に対応するビュー間参照フラグ(inter_view_flag)が1となるエントリのみを抽出し、同一のビューID(view_id)を保持するエントリに対応する複数のビューインデックス(j)をいずれか1つのビューインデックス(j)に変換し、抽出したエントリを探索対象として変換後のビューインデックス(j)と共に記憶しておき、参照ピクチャリストRefPicListXのリオーダリング処理において、変数modification_of_pic_nums_idcが4または5の場合に、変数picViewIdxLX(Xは0または1)を前記ビューインデックス(j)と同様に変換し、RefPicListX[refIdxLX](Xは0または1)に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の変数picViewIdxLX(Xは0または1)と一致する前記変換後のビューインデックス(j)を探索することにより実行し、RefPicListX[refIdxLX](Xは0または1)以降に配置するビュー間予測参照ピクチャの決定処理を、RefPicListX[refIdxLX](Xは0または1)以降のエントリから、前記変換後の変数picViewIdxLX(Xは0または1)と一致しない前記変換後のビューインデックス(j)を探索することにより実行することを特徴とするものである。
図11によれば、同一のビューID(view_id)を保持するエントリについては代表としていずれかのビューインデックス(view_index)を新たなビューインデックス(view_index2)として記憶させ、これを用いて第1の実施形態と同様の処理を実行する。
より具体的に説明すると、図11によれば、anchor_ref_lXまたはnon_anchor_ref_lXからなるビューIDリスト110のうち、ビュー間参照フラグ(inter_view_flag)が1となるビューID(view_id)のみが選択されて第1のリスト111が作られる。ビューIDリスト110は、図2でも説明したとおり、4ビット長のビューインデックス(view_index)と10ビット長のビューID(view_id)との対応付けを規定した配列である。第1のリスト111は、参照インデックス(refIdx)とビューID(view_id)との対応付けを表す。
一方、予め作られた第2のリスト130は、ビューインデックス(view_index)と新たなビューインデックス(view_index2)との対応付けを表す。ここで、ビューIDリスト110にてビューインデックス(view_index)が1のエントリと、ビューインデックス(view_index)が2のエントリとは、ビューID(view_id)として同じ値15を持つ。したがって、これらのエントリについては、第2のリスト130にて新たなビューインデックス(view_index2)として代表ビューインデックス(view_index)である1を記憶する。そして、第2のリスト130のうち、ビュー間参照フラグ(inter_view_flag)が1となる新たなビューインデックス(view_index2)のみが選択されて第3のリスト131が作られる。このようにして作られた第3のリスト131は、参照インデックス(refIdx)と重複が許されたビューインデックス(view_index)との対応付けを表す。これにより、ビューIDリスト110に同一のビューID(view_id)を保持するエントリがある場合でも、マージ手順が正しく行える。
本実施形態は、図4における上記マージ手順C2中の「viewID(RefPicListX[cIdx])!=targetViewID」を第3のリスト131におけるビューインデックス(view_index)の比較に置き換えるものであるので、10ビット比較演算が4ビット比較演算に置き換えられる結果、演算処理量が低減する。
さて、以上の説明では、図4の探索手順C1に関して初期状態の参照ピクチャリスト(Initial RPL)が処理対象であるとしたが、厳密に言うと、これは規格と若干異なる。また、図7、図9及び図11ではビュー間予測用エントリのみを示したが、本発明はMVC処理/非MVC処理が混在する場合にも適用できる。
図12は、本発明のマルチビュービデオ復号装置における探索手順C1の処理対象である整形前のInitial RPLを示す概念図である。規格によれば、Initial RPLを生成するに際し、まずビュー内予測用エントリが生成され、これにビュー間予測用エントリが追加された後、エントリ数がL(=num_ref_idx_lX_active_minus1+1)個に整形され、残りのエントリは切り捨てられる。ただし、探索手順C1の処理対象は、ビュー間予測用エントリが追加された時点のリスト200、すなわち整形前のInitial RPLの全エントリであると決められている。
図13は、図12のInitial RPLを整形した後に実行が開始されるリオーダリング処理を示している。図13によれば、図12のリスト200とは別に、整形後のInitial RPLのリスト201が作成される。探索対象はあくまでも図12のリスト200であって、整形後のInitial RPLのリスト201中に存在しないエントリであっても、図12のリスト200中に存在するエントリであれば、参照インデックスの若い順に対応付けたいピクチャとして選択することができる。図13中の202及び203は、マージ手順を含むリオーダリング処理により更新されたリストである。ただし、ビュー内予測用エントリの領域とビュー間予測用エントリの領域とがきれいに分かれている図12のリスト200は更新されないため、変数modification_of_pic_nums_idcが0または1または2の場合に要求されるMVC処理と、変数modification_of_pic_nums_idcが4または5の場合に要求される非MVC処理とでそれぞれ探索範囲が限定される利点がある。また、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、マージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
図14は、図12のリスト200を含むように広げられたInitial RPLから実行が開始されるリオーダリング処理を示している。図14によれば、整形後のInitial RPLのリスト211が、図12のリスト200を含んでいる。図14の場合は、図13の場合と比べて、探索対象のリスト200をInitial RPLとは別に記憶しておく必要がないという利点がある。図14中の212及び213は、マージ手順を含むリオーダリング処理により更新されたリストである。図14によれば、リオーダリング処理が進むにつれてビュー内予測用エントリの領域とビュー間予測用エントリの領域との切れ目が消失するので、変数modification_of_pic_nums_idcの値に関わらず、常に全エントリを探索する必要がある。ただし、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、探索手順およびマージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
以上説明してきたとおり、本発明に係るマルチビュービデオ復号装置は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる効果を有し、H.264/AVCに準拠したビデオ復号装置等として有用である。
11 ゴロム復号部
12 picViewIdxLX導出部
20 ターゲットビューID導出部
21 ビューインデックス付与部
22 (non_)anchor_ref_lX記憶部
23 (non_)anchor_ref_lX参照部
30 ビューID選択部
31 参照インデックス付与部
32 Initial RefPicListX記憶部
33 ビューID比較部
34 Initial RefPicListX探索部
40 ビューインデックス選択部
41 参照インデックス付与部
42 view_index記憶部
43 ビューインデックス比較部
44 view_index探索部
50 ビューID選択部
51 参照インデックス付与部
52 Initial RefPicListX記憶部
53 Initial RefPicListX参照部
60 ビュー間参照フラグ選択部
61 参照インデックス付与部
62 inter_view_flag記憶部
63 inter_view_flag参照部
70 inter_view_flag判定部
12 picViewIdxLX導出部
20 ターゲットビューID導出部
21 ビューインデックス付与部
22 (non_)anchor_ref_lX記憶部
23 (non_)anchor_ref_lX参照部
30 ビューID選択部
31 参照インデックス付与部
32 Initial RefPicListX記憶部
33 ビューID比較部
34 Initial RefPicListX探索部
40 ビューインデックス選択部
41 参照インデックス付与部
42 view_index記憶部
43 ビューインデックス比較部
44 view_index探索部
50 ビューID選択部
51 参照インデックス付与部
52 Initial RefPicListX記憶部
53 Initial RefPicListX参照部
60 ビュー間参照フラグ選択部
61 参照インデックス付与部
62 inter_view_flag記憶部
63 inter_view_flag参照部
70 inter_view_flag判定部
Claims (12)
- ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、前記ビューIDリストの各エントリのビューIDに対応するビュー間参照フラグが1となるエントリのみを抽出し、抽出したエントリのビューインデックスを探索対象としてビューインデックス記憶部に記憶しておき、与えられた変数と一致するビューインデックスを探索して選択するビューインデックス選択部と、
前記抽出したエントリのビューIDを記憶しておき、前記ビューインデックス記憶部にてヒットしたエントリのアドレスをもとにビューIDを選択するビューID選択部とを備え、
参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記ビューインデックス選択部と前記ビューID選択部とにより実行することを特徴とするマルチビュービデオ復号装置。 - 与えられた変数をインデックスとして、ビューインデックスとビューIDとの対応付けを規定したビューIDリストからビューIDを参照して選択するビューID選択部と、
前記選択したビューIDを前記参照先のビューIDに対応するビュー間参照フラグが1となる場合のみ有効とするビュー間参照フラグ判定部とを備え、
参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記ビューID選択部と前記ビュー間参照フラグ判定部とにより実行することを特徴とするマルチビュービデオ復号装置。 - 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、固定値をインデックスとして、ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、参照先のビューIDに対応するビュー間参照フラグが1となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号装置。
- ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、前記ビューIDリストの各エントリのビューIDに対応するビュー間参照フラグが1となるエントリのみを抽出し、前記ビューIDリストに同一のビューIDを保持するエントリがある場合には当該同一のビューIDを保持するエントリに対応する複数のビューインデックスをいずれか1つのビューインデックスに変換し、かつ抽出したエントリを探索対象として変換後のビューインデックスと共に記憶しておく手段と、
参照ピクチャリストのリオーダリング処理において、与えられた変数を前記ビューインデックスと同様に変換し、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の与えられた変数と一致する前記変換後のビューインデックスを探索することにより実行したうえ、前記参照ピクチャリスト内の特定の場所より後に配置するビュー間予測参照ピクチャの決定処理を、前記参照ピクチャリスト内の特定の場所より後に対応するエントリから、前記変換後の与えられた変数と一致しない前記変換後のビューインデックスを探索することにより実行する手段とを備えたことを特徴とするマルチビュービデオ復号装置。 - ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、前記ビューIDリストの各エントリのビューIDに対応するビュー間参照フラグが1となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックスと共に記憶しておき、
参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、与えられた変数と一致する前記ビューインデックスを探索することにより実行することを特徴とするマルチビュービデオ復号方法。 - 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、与えられた変数をインデックスとして、ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、参照先のビューIDに対応するビュー間参照フラグが1となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号方法。
- 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、固定値をインデックスとして、ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、参照先のビューIDに対応するビュー間参照フラグが1となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号方法。
- ビューインデックスとビューIDとの対応付けを規定したビューIDリストを参照し、前記ビューIDリストの各エントリのビューIDに対応するビュー間参照フラグが1となるエントリのみを抽出し、前記ビューIDリストに同一のビューIDを保持するエントリがある場合には当該同一のビューIDを保持するエントリに対応する複数のビューインデックスをいずれか1つのビューインデックスに変換し、かつ抽出したエントリを探索対象として変換後のビューインデックスと共に記憶しておき、
参照ピクチャリストのリオーダリング処理において、与えられた変数を前記ビューインデックスと同様に変換し、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の与えられた変数と一致する前記変換後のビューインデックスを探索することにより実行したうえ、前記参照ピクチャリスト内の特定の場所より後に配置するビュー間予測参照ピクチャの決定処理を、前記参照ピクチャリスト内の特定の場所より後に対応するエントリから、前記変換後の与えられた変数と一致しない前記変換後のビューインデックスを探索することにより実行することを特徴とするマルチビュービデオ復号方法。 - 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを前記参照ピクチャリストの領域により区別することを特徴とするマルチビュービデオ復号装置。
- 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを各エントリに追加したフラグにより区別することを特徴とするマルチビュービデオ復号装置。
- 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを前記参照ピクチャリストの領域により区別することを特徴とするマルチビュービデオ復号方法。
- 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを各エントリに追加したフラグにより区別することを特徴とするマルチビュービデオ復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009176192 | 2009-07-29 | ||
JP2009176192 | 2009-07-29 | ||
PCT/JP2010/000205 WO2011013257A1 (ja) | 2009-07-29 | 2010-01-15 | マルチビュービデオ復号装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2011013257A1 true JPWO2011013257A1 (ja) | 2013-01-07 |
Family
ID=43528932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011524613A Withdrawn JPWO2011013257A1 (ja) | 2009-07-29 | 2010-01-15 | マルチビュービデオ復号装置およびその方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110268195A1 (ja) |
JP (1) | JPWO2011013257A1 (ja) |
CN (1) | CN102342109A (ja) |
WO (1) | WO2011013257A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674525B2 (en) * | 2011-07-28 | 2017-06-06 | Qualcomm Incorporated | Multiview video coding |
US9635355B2 (en) | 2011-07-28 | 2017-04-25 | Qualcomm Incorporated | Multiview video coding |
US9258559B2 (en) | 2011-12-20 | 2016-02-09 | Qualcomm Incorporated | Reference picture list construction for multi-view and three-dimensional video coding |
US9609341B1 (en) * | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
CN108540813B (zh) * | 2012-09-28 | 2021-03-16 | 杜比国际公司 | 图像解码装置 |
US11330300B2 (en) | 2012-12-11 | 2022-05-10 | Sony Corporation | Encoding device and encoding method, and decoding device and decoding method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100949982B1 (ko) * | 2006-03-30 | 2010-03-29 | 엘지전자 주식회사 | 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치 |
EP2039168A2 (en) * | 2006-07-05 | 2009-03-25 | Thomson Licensing | Methods and apparatus for multi-view video encoding and decoding |
JP5184539B2 (ja) * | 2006-10-13 | 2013-04-17 | トムソン ライセンシング | 多視点ビデオ符号化のための参照ピクチャ・リスト管理方法 |
ES2492923T3 (es) * | 2006-10-16 | 2014-09-10 | Nokia Corporation | Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples |
BRPI0809210A2 (pt) * | 2007-04-04 | 2014-09-02 | Thomson Licensing | Gerenciamento de lista de imagens de referência |
JP2009159466A (ja) * | 2007-12-27 | 2009-07-16 | Victor Co Of Japan Ltd | 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム |
-
2010
- 2010-01-15 JP JP2011524613A patent/JPWO2011013257A1/ja not_active Withdrawn
- 2010-01-15 CN CN201080010785.0A patent/CN102342109A/zh active Pending
- 2010-01-15 WO PCT/JP2010/000205 patent/WO2011013257A1/ja active Application Filing
-
2011
- 2011-07-12 US US13/181,130 patent/US20110268195A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2011013257A1 (ja) | 2011-02-03 |
CN102342109A (zh) | 2012-02-01 |
US20110268195A1 (en) | 2011-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6151442B2 (ja) | 3dビデオコーディング用の結合双予測マージング候補 | |
JP5247677B2 (ja) | ビデオ信号のデコーディング/エンコーディング方法及び装置 | |
KR102187723B1 (ko) | 3 차원(3d)비디오 코딩을 위한 진보된 병합 모드 | |
EP2842328B1 (en) | View dependency in multi-view coding and 3d coding | |
JP5902300B2 (ja) | マルチビュービデオコード化 | |
JP5908586B2 (ja) | マルチビュービデオコード化 | |
WO2011013257A1 (ja) | マルチビュービデオ復号装置およびその方法 | |
TWI566589B (zh) | 三維視訊之視圖合成 | |
WO2012128242A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
WO2015192286A1 (en) | Simplified shifting merge candidate and merge list derivation in 3d-hevc | |
US20160191933A1 (en) | Image decoding device and image coding device | |
JP2010520697A (ja) | ビデオ信号のデコーディング/エンコーディング方法及び装置 | |
TW201440505A (zh) | 視訊寫碼中之運動向量預測 | |
KR20210022760A (ko) | 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치 | |
KR20070098429A (ko) | 비디오 신호의 디코딩 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130402 |