JPWO2011013257A1 - マルチビュービデオ復号装置およびその方法 - Google Patents

マルチビュービデオ復号装置およびその方法 Download PDF

Info

Publication number
JPWO2011013257A1
JPWO2011013257A1 JP2011524613A JP2011524613A JPWO2011013257A1 JP WO2011013257 A1 JPWO2011013257 A1 JP WO2011013257A1 JP 2011524613 A JP2011524613 A JP 2011524613A JP 2011524613 A JP2011524613 A JP 2011524613A JP WO2011013257 A1 JPWO2011013257 A1 JP WO2011013257A1
Authority
JP
Japan
Prior art keywords
view
index
reference picture
inter
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011524613A
Other languages
English (en)
Inventor
優也 重信
優也 重信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2011013257A1 publication Critical patent/JPWO2011013257A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置にて、参照ピクチャリストのリオーダリング処理における演算処理量を削減する。そのため、ビューインデックス選択部（４０）は、ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストから各エントリのビューＩＤに対応するビュー間参照フラグが１となるエントリのみを抽出し、抽出したエントリのビューインデックスを探索対象としてビューインデックス記憶部（４２）に記憶しておき、与えられた変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致するビューインデックスを探索して選択する。ビューＩＤ選択部（５０）は、前記抽出したエントリのビューＩＤを参照ピクチャリストとして記憶しており、ビューインデックス記憶部（４２）にてヒットしたエントリのアドレスをもとにビューＩＤを選択し、これを参照ピクチャリストの先頭へ移動させる。

Description

本発明は、マルチビュービデオ復号装置およびその方法に関するものである。
マルチビュービデオ符号化（Multiview Video Coding：ＭＶＣ）の技術は、時間冗長度に加えてビュー間冗長度を利用することにより、マルチビュー動画像の高い情報圧縮を実現する技術であって、時間予測とビュー間予測との両技術を含む（特許文献１参照）。
図１は、従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。図中の矢印はピクチャのデコード順を示す。同じビューに属するピクチャはピクチャ番号（ｐｉｃＮｕｍ）でそれぞれ識別され、各ビューはビューＩＤ（ｖｉｅｗ＿ｉｄ）でそれぞれ識別される。他のビューを参照しないベースビューを除くビューの各ピクチャは、同じビュー内のピクチャに加え、異なるビューの同じ時間のピクチャを参照することができる。
さて、Ｈ．２６４／ＡＶＣに準拠した復号装置では、参照ピクチャを統一的に管理するために復号ピクチャバッファ（Decoded Picture Buffer：ＤＰＢ）が使われる。そして、ＤＰＢに入っている参照ピクチャと、当該参照ピクチャのエントリを特定する参照インデックス（ｒｅｆＩｄｘ）とを対応付けた参照ピクチャリスト（Reference Picture List：ＲＰＬ）が用いられる。頻繁に参照されるピクチャに参照インデックス（ｒｅｆＩｄｘ）の小さい値を割り当てることで、圧縮率を向上させることができる。そこで、符号化装置は参照ピクチャリストを作り変えることができるようになっている。
図２は、ＭＶＣにおける参照ピクチャリストの従来のリオーダリング手順を示す概念図である。図２において、１００は初期状態の参照ピクチャリストを、１００ａは更新後の参照ピクチャリストを、１１０は４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定したビューＩＤリストをそれぞれ示す。なお、規格上はビュー間参照インデックス（inter-view reference index）と呼ばれている変数（ｊ）を、本願明細書では便宜上ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と縮めて呼ぶことにする。
参照ピクチャリストの初期状態は規格で規定されており、そのまま作り変えずに使ってもよい。参照ピクチャリストを作り変えたければ、参照インデックス（ｒｅｆＩｄｘ）の若い順に対応付けたいピクチャを指定する。その際、同じビューのピクチャについては、ピクチャ番号（ｐｉｃＮｕｍ）を指定する。また、異なるビューのピクチャについては、直接ビューＩＤ（ｖｉｅｗ＿ｉｄ）を指定することはできず、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を介してビューＩＤ（ｖｉｅｗ＿ｉｄ）を指定する。
図３は参照ピクチャリストの従来の取扱い手順を示すフローチャート図であり、図４は図３中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である（非特許文献１参照）。
図３において、ステップＳ１は初期状態の参照ピクチャリストＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１）の生成処理、ステップＳ２は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃの復号処理、ステップＳ３は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが３の場合に終了するための判別処理、ステップＳ４は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０または１または２の場合にＭＶＣ以前のリオーダリング処理のステップＳ５へ移行するための判別処理である。変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合には、ステップＳ４からステップＳ６へ進む。ステップＳ６は変数ａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１の復号処理、ステップＳ７は変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）の導出処理、ステップＳ８はｔａｒｇｅｔＶｉｅｗＩＤの導出処理、ステップＳ９はＭＶＣのリオーダリング処理である。
図４において、Ｃ１はリオーダリング処理における探索手順の詳細を、Ｃ２はリオーダリング処理におけるマージ手順の詳細をそれぞれ示しており、いずれもＣ言語で記述がなされている。
図５は、従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図５において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、２０はターゲットビューＩＤ導出部、２１はビューインデックス付与部、２２は（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部、２３は（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部、３０はビューＩＤ選択部、３１は参照インデックス付与部、３２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、３３はビューＩＤ比較部、３４はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部である。
ゴロム復号部１１は、入力ストリームから変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ及び変数ａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１を復号する。ｐｉｃＶｉｅｗＩｄｘＬＸ導出部１２は、４ビット変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）の導出処理を実行する。
ターゲットビューＩＤ導出部２０において、（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２は、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、図２にて説明した４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定したビューＩＤリスト１１０を記憶している。ビューインデックス付与部２１は、（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部２３による制御のもと、与えられた変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）に応じた４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２へ付与する。（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２から読み出された１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）は、ｔａｒｇｅｔＶｉｅｗＩＤとしてビューＩＤ比較部３３へ供給される。
ビューＩＤ選択部３０において、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２は、図２にて説明した初期状態の参照ピクチャリスト１００を記憶している（Ｘは０または１）。参照インデックス付与部３１は、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部３４による制御のもと、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２に参照インデックス（ｒｅｆＩｄｘ）を順次更新して付与する。Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２から読み出された１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）は、ビューＩＤ比較部３３へ供給される。ビューＩＤ比較部３３は、ターゲットビューＩＤ導出部２０から供給されたｔａｒｇｅｔＶｉｅｗＩＤと、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２から読み出されたビューＩＤ（ｖｉｅｗ＿ｉｄ）との１０ビットの比較演算を実行する。そして、ｔａｒｇｅｔＶｉｅｗＩＤと一致するビューＩＤ（ｖｉｅｗ＿ｉｄ）のエントリの位置が参照ピクチャリスト内で繰り上げられる。
国際公開ＷＯ２００７／０８１９２６号
Gary J. Sullivan et al.,"Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)", Feb. 2009, internet <URL: http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip>
上記のとおり、従来は、ＭＶＣにおける参照ピクチャリストのリオーダリング処理において、ビューＩＤ比較部３３で１０ビットの比較演算を行っていたので、演算処理量が多いという課題があった。
本発明の目的は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することにある。
上記の目的を達成するため、本発明に係るマルチビュービデオ復号装置は、リオーダリング処理における探索手順及びマージ手順のうちの少なくとも一方にて、長いビット長を持つビューＩＤの比較演算を排することとしたものである。
本発明によれば、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる。
従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。 参照ピクチャリストの従来のリオーダリング手順を示す概念図である。 参照ピクチャリストの従来の取扱い手順を示すフローチャート図である。 図３中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である。 従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 本発明の第１の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 図６の構成の動作を説明するための概念図である。 本発明の第２の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 図８の構成の動作を説明するための概念図である。 本発明の第３の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 本発明の第４の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順及びマージ手順を説明するための概念図である。 本発明のマルチビュービデオ復号装置における探索手順の処理対象である整形前の参照ピクチャリストの初期状態を示す概念図である。 図１２の参照ピクチャリストを整形した後に実行が開始されるリオーダリング処理を説明するための概念図である。 図１２中の全エントリを含むように広げられた参照ピクチャリストの初期状態から実行が開始されるリオーダリング処理を説明するための概念図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
図６は、本発明の第１の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図６において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、４０はビューインデックス選択部、４１は参照インデックス付与部、４２はｖｉｅｗ＿ｉｎｄｅｘ記憶部、４３はビューインデックス比較部、４４はｖｉｅｗ＿ｉｎｄｅｘ探索部、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部である。
図６のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、各エントリのビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックス（ｊ）と共に記憶しておき、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致する前記ビューインデックス（ｊ）を探索することにより実行することを特徴とするものである。
図７は、図６の構成の動作を説明するための概念図である。図７によれば、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューＩＤ（ｖｉｅｗ＿ｉｄ）のみが選択されて第１のリスト１１１が作られる。また、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が第２のリスト１１２として新たに記憶される。
ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。また、第２のリスト１１２は、参照インデックス（ｒｅｆＩｄｘ）とビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）との対応付けを表す。
図６中のｖｉｅｗ＿ｉｎｄｅｘ記憶部４２は第２のリスト１１２を、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部５２は第１のリスト１１１をそれぞれ記憶する。したがって、従来の１０ビット比較演算が、ビューインデックス比較部４３における４ビット比較演算に置き換えられる結果、演算処理量が低減する。
図８は、本発明の第２の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図８において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部、６０はビュー間参照フラグ選択部、６１は参照インデックス付与部、６２はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部、６３はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ参照部、７０はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ判定部である。
図８のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）をインデックスとして、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、参照先のビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる場合のみ有効とすることにより実行することを特徴とするものである。
図９は、図８の構成の動作を説明するための概念図である。図９によれば、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に関わらずａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のビューＩＤ（ｖｉｅｗ＿ｉｄ）がそのまま第１のリスト１１１として選択されるとともに、各ビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が第２のリスト１２０として新たに記憶される。
ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。また、第２のリスト１２０は、参照インデックス（ｒｅｆＩｄｘ）とビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）との対応付けを表す。
図８中のＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部５２は第１のリスト１１１を、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部６２は第２のリスト１２０をそれぞれ記憶する。したがって、一切の比較演算処理が削減される結果、第１の実施形態の場合よりも演算処理量が低減する。
図１０は、本発明の第３の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図１０において、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部である。前述のｐｉｃＶｉｅｗＩｄｘＬＸ導出部１２は、配設が省略される。
図１０のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）は導出せず、固定値（例えば０）をインデックスとして、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、参照先のビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる場合のみ有効とすることにより実行することを特徴とするものである。
例えば３次元画像を復号する場合には、ビューの数が２であって、一方のビューは他のビューを参照しないベースビューである。したがって、ビュー間予測参照ピクチャを決定する際のｒｅｆＩｄｘは固定値でよいこととなる。第３の実施形態によれば、適用範囲が３次元画像に限られるものの、第２の実施形態の場合よりも演算処理量が低減する効果がある。
図１１は、本発明の第４の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１及びマージ手順Ｃ２を説明するための概念図である。ここでは、第１の実施形態に係る図６の構成を以て探索手順Ｃ１が実行されることを前提として、マージ手順Ｃ２の改善について説明する。
第４の実施形態に係るマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、各エントリのビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるエントリのみを抽出し、同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリに対応する複数のビューインデックス（ｊ）をいずれか１つのビューインデックス（ｊ）に変換し、抽出したエントリを探索対象として変換後のビューインデックス（ｊ）と共に記憶しておき、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）を前記ビューインデックス（ｊ）と同様に変換し、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致する前記変換後のビューインデックス（ｊ）を探索することにより実行し、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）以降に配置するビュー間予測参照ピクチャの決定処理を、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）以降のエントリから、前記変換後の変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致しない前記変換後のビューインデックス（ｊ）を探索することにより実行することを特徴とするものである。
図１１によれば、同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリについては代表としていずれかのビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）として記憶させ、これを用いて第１の実施形態と同様の処理を実行する。
より具体的に説明すると、図１１によれば、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューＩＤ（ｖｉｅｗ＿ｉｄ）のみが選択されて第１のリスト１１１が作られる。ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。
一方、予め作られた第２のリスト１３０は、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）との対応付けを表す。ここで、ビューＩＤリスト１１０にてビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が１のエントリと、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が２のエントリとは、ビューＩＤ（ｖｉｅｗ＿ｉｄ）として同じ値１５を持つ。したがって、これらのエントリについては、第２のリスト１３０にて新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）として代表ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）である１を記憶する。そして、第２のリスト１３０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）のみが選択されて第３のリスト１３１が作られる。このようにして作られた第３のリスト１３１は、参照インデックス（ｒｅｆＩｄｘ）と重複が許されたビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）との対応付けを表す。これにより、ビューＩＤリスト１１０に同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリがある場合でも、マージ手順が正しく行える。
本実施形態は、図４における上記マージ手順Ｃ２中の「ｖｉｅｗＩＤ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）！＝ｔａｒｇｅｔＶｉｅｗＩＤ」を第３のリスト１３１におけるビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）の比較に置き換えるものであるので、１０ビット比較演算が４ビット比較演算に置き換えられる結果、演算処理量が低減する。
さて、以上の説明では、図４の探索手順Ｃ１に関して初期状態の参照ピクチャリスト（Ｉｎｉｔｉａｌ ＲＰＬ）が処理対象であるとしたが、厳密に言うと、これは規格と若干異なる。また、図７、図９及び図１１ではビュー間予測用エントリのみを示したが、本発明はＭＶＣ処理／非ＭＶＣ処理が混在する場合にも適用できる。
図１２は、本発明のマルチビュービデオ復号装置における探索手順Ｃ１の処理対象である整形前のＩｎｉｔｉａｌ ＲＰＬを示す概念図である。規格によれば、Ｉｎｉｔｉａｌ ＲＰＬを生成するに際し、まずビュー内予測用エントリが生成され、これにビュー間予測用エントリが追加された後、エントリ数がＬ（＝ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）個に整形され、残りのエントリは切り捨てられる。ただし、探索手順Ｃ１の処理対象は、ビュー間予測用エントリが追加された時点のリスト２００、すなわち整形前のＩｎｉｔｉａｌ ＲＰＬの全エントリであると決められている。
図１３は、図１２のＩｎｉｔｉａｌ ＲＰＬを整形した後に実行が開始されるリオーダリング処理を示している。図１３によれば、図１２のリスト２００とは別に、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２０１が作成される。探索対象はあくまでも図１２のリスト２００であって、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２０１中に存在しないエントリであっても、図１２のリスト２００中に存在するエントリであれば、参照インデックスの若い順に対応付けたいピクチャとして選択することができる。図１３中の２０２及び２０３は、マージ手順を含むリオーダリング処理により更新されたリストである。ただし、ビュー内予測用エントリの領域とビュー間予測用エントリの領域とがきれいに分かれている図１２のリスト２００は更新されないため、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０または１または２の場合に要求されるＭＶＣ処理と、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に要求される非ＭＶＣ処理とでそれぞれ探索範囲が限定される利点がある。また、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、マージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
図１４は、図１２のリスト２００を含むように広げられたＩｎｉｔｉａｌ ＲＰＬから実行が開始されるリオーダリング処理を示している。図１４によれば、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２１１が、図１２のリスト２００を含んでいる。図１４の場合は、図１３の場合と比べて、探索対象のリスト２００をＩｎｉｔｉａｌ ＲＰＬとは別に記憶しておく必要がないという利点がある。図１４中の２１２及び２１３は、マージ手順を含むリオーダリング処理により更新されたリストである。図１４によれば、リオーダリング処理が進むにつれてビュー内予測用エントリの領域とビュー間予測用エントリの領域との切れ目が消失するので、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃの値に関わらず、常に全エントリを探索する必要がある。ただし、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、探索手順およびマージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
以上説明してきたとおり、本発明に係るマルチビュービデオ復号装置は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる効果を有し、Ｈ．２６４／ＡＶＣに準拠したビデオ復号装置等として有用である。
１１ ゴロム復号部
１２ ｐｉｃＶｉｅｗＩｄｘＬＸ導出部
２０ ターゲットビューＩＤ導出部
２１ ビューインデックス付与部
２２ （ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部
２３ （ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部
３０ ビューＩＤ選択部
３１ 参照インデックス付与部
３２ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部
３３ ビューＩＤ比較部
３４ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部
４０ ビューインデックス選択部
４１ 参照インデックス付与部
４２ ｖｉｅｗ＿ｉｎｄｅｘ記憶部
４３ ビューインデックス比較部
４４ ｖｉｅｗ＿ｉｎｄｅｘ探索部
５０ ビューＩＤ選択部
５１ 参照インデックス付与部
５２ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部
５３ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部
６０ ビュー間参照フラグ選択部
６１ 参照インデックス付与部
６２ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部
６３ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ参照部
７０ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ判定部
本発明は、マルチビュービデオ復号装置およびその方法に関するものである。
マルチビュービデオ符号化（Multiview Video Coding：ＭＶＣ）の技術は、時間冗長度に加えてビュー間冗長度を利用することにより、マルチビュー動画像の高い情報圧縮を実現する技術であって、時間予測とビュー間予測との両技術を含む（特許文献１参照）。
図１は、従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。図中の矢印はピクチャのデコード順を示す。同じビューに属するピクチャはピクチャ番号（ｐｉｃＮｕｍ）でそれぞれ識別され、各ビューはビューＩＤ（ｖｉｅｗ＿ｉｄ）でそれぞれ識別される。他のビューを参照しないベースビューを除くビューの各ピクチャは、同じビュー内のピクチャに加え、異なるビューの同じ時間のピクチャを参照することができる。
さて、Ｈ．２６４／ＡＶＣに準拠した復号装置では、参照ピクチャを統一的に管理するために復号ピクチャバッファ（Decoded Picture Buffer：ＤＰＢ）が使われる。そして、ＤＰＢに入っている参照ピクチャと、当該参照ピクチャのエントリを特定する参照インデックス（ｒｅｆＩｄｘ）とを対応付けた参照ピクチャリスト（Reference Picture List：ＲＰＬ）が用いられる。頻繁に参照されるピクチャに参照インデックス（ｒｅｆＩｄｘ）の小さい値を割り当てることで、圧縮率を向上させることができる。そこで、符号化装置は参照ピクチャリストを作り変えることができるようになっている。
図２は、ＭＶＣにおける参照ピクチャリストの従来のリオーダリング手順を示す概念図である。図２において、１００は初期状態の参照ピクチャリストを、１００ａは更新後の参照ピクチャリストを、１１０は４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定したビューＩＤリストをそれぞれ示す。なお、規格上はビュー間参照インデックス（inter-view reference index）と呼ばれている変数（ｊ）を、本願明細書では便宜上ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と縮めて呼ぶことにする。
参照ピクチャリストの初期状態は規格で規定されており、そのまま作り変えずに使ってもよい。参照ピクチャリストを作り変えたければ、参照インデックス（ｒｅｆＩｄｘ）の若い順に対応付けたいピクチャを指定する。その際、同じビューのピクチャについては、ピクチャ番号（ｐｉｃＮｕｍ）を指定する。また、異なるビューのピクチャについては、直接ビューＩＤ（ｖｉｅｗ＿ｉｄ）を指定することはできず、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を介してビューＩＤ（ｖｉｅｗ＿ｉｄ）を指定する。
図３は参照ピクチャリストの従来の取扱い手順を示すフローチャート図であり、図４は図３中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である（非特許文献１参照）。
図３において、ステップＳ１は初期状態の参照ピクチャリストＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１）の生成処理、ステップＳ２は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃの復号処理、ステップＳ３は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが３の場合に終了するための判別処理、ステップＳ４は変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０または１または２の場合にＭＶＣ以前のリオーダリング処理のステップＳ５へ移行するための判別処理である。変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合には、ステップＳ４からステップＳ６へ進む。ステップＳ６は変数ａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１の復号処理、ステップＳ７は変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）の導出処理、ステップＳ８はｔａｒｇｅｔＶｉｅｗＩＤの導出処理、ステップＳ９はＭＶＣのリオーダリング処理である。
図４において、Ｃ１はリオーダリング処理における探索手順の詳細を、Ｃ２はリオーダリング処理におけるマージ手順の詳細をそれぞれ示しており、いずれもＣ言語で記述がなされている。
図５は、従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図５において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、２０はターゲットビューＩＤ導出部、２１はビューインデックス付与部、２２は（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部、２３は（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部、３０はビューＩＤ選択部、３１は参照インデックス付与部、３２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、３３はビューＩＤ比較部、３４はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部である。
ゴロム復号部１１は、入力ストリームから変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ及び変数ａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１を復号する。ｐｉｃＶｉｅｗＩｄｘＬＸ導出部１２は、４ビット変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）の導出処理を実行する。
ターゲットビューＩＤ導出部２０において、（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２は、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、図２にて説明した４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定したビューＩＤリスト１１０を記憶している。ビューインデックス付与部２１は、（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部２３による制御のもと、与えられた変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）に応じた４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２へ付与する。（ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部２２から読み出された１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）は、ｔａｒｇｅｔＶｉｅｗＩＤとしてビューＩＤ比較部３３へ供給される。
ビューＩＤ選択部３０において、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２は、図２にて説明した初期状態の参照ピクチャリスト１００を記憶している（Ｘは０または１）。参照インデックス付与部３１は、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部３４による制御のもと、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２に参照インデックス（ｒｅｆＩｄｘ）を順次更新して付与する。Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２から読み出された１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）は、ビューＩＤ比較部３３へ供給される。ビューＩＤ比較部３３は、ターゲットビューＩＤ導出部２０から供給されたｔａｒｇｅｔＶｉｅｗＩＤと、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部３２から読み出されたビューＩＤ（ｖｉｅｗ＿ｉｄ）との１０ビットの比較演算を実行する。そして、ｔａｒｇｅｔＶｉｅｗＩＤと一致するビューＩＤ（ｖｉｅｗ＿ｉｄ）のエントリの位置が参照ピクチャリスト内で繰り上げられる。
国際公開ＷＯ２００７／０８１９２６号
Gary J. Sullivan et al.,"Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)", Feb. 2009, internet <URL: http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip>
上記のとおり、従来は、ＭＶＣにおける参照ピクチャリストのリオーダリング処理において、ビューＩＤ比較部３３で１０ビットの比較演算を行っていたので、演算処理量が多いという課題があった。
本発明の目的は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することにある。
上記の目的を達成するため、本発明に係るマルチビュービデオ復号装置は、リオーダリング処理における探索手順及びマージ手順のうちの少なくとも一方にて、長いビット長を持つビューＩＤの比較演算を排することとしたものである。
本発明によれば、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる。
従来のマルチビュービデオ復号装置におけるピクチャ参照を説明するためのタイミング図である。 参照ピクチャリストの従来のリオーダリング手順を示す概念図である。 参照ピクチャリストの従来の取扱い手順を示すフローチャート図である。 図３中のリオーダリング処理における探索手順及びマージ手順の詳細を説明するための図である。 従来のマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 本発明の第１の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 図６の構成の動作を説明するための概念図である。 本発明の第２の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 図８の構成の動作を説明するための概念図である。 本発明の第３の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順を実現する構成を示すブロック図である。 本発明の第４の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順及びマージ手順を説明するための概念図である。 本発明のマルチビュービデオ復号装置における探索手順の処理対象である整形前の参照ピクチャリストの初期状態を示す概念図である。 図１２の参照ピクチャリストを整形した後に実行が開始されるリオーダリング処理を説明するための概念図である。 図１２中の全エントリを含むように広げられた参照ピクチャリストの初期状態から実行が開始されるリオーダリング処理を説明するための概念図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
図６は、本発明の第１の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図６において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、４０はビューインデックス選択部、４１は参照インデックス付与部、４２はｖｉｅｗ＿ｉｎｄｅｘ記憶部、４３はビューインデックス比較部、４４はｖｉｅｗ＿ｉｎｄｅｘ探索部、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部である。
図６のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、各エントリのビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックス（ｊ）と共に記憶しておき、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致する前記ビューインデックス（ｊ）を探索することにより実行することを特徴とするものである。
図７は、図６の構成の動作を説明するための概念図である。図７によれば、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューＩＤ（ｖｉｅｗ＿ｉｄ）のみが選択されて第１のリスト１１１が作られる。また、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が第２のリスト１１２として新たに記憶される。
ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。また、第２のリスト１１２は、参照インデックス（ｒｅｆＩｄｘ）とビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）との対応付けを表す。
図６中のｖｉｅｗ＿ｉｎｄｅｘ記憶部４２は第２のリスト１１２を、Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部５２は第１のリスト１１１をそれぞれ記憶する。したがって、従来の１０ビット比較演算が、ビューインデックス比較部４３における４ビット比較演算に置き換えられる結果、演算処理量が低減する。
図８は、本発明の第２の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図８において、１１はゴロム復号部、１２はｐｉｃＶｉｅｗＩｄｘＬＸ導出部、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部、６０はビュー間参照フラグ選択部、６１は参照インデックス付与部、６２はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部、６３はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ参照部、７０はｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ判定部である。
図８のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）をインデックスとして、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、参照先のビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる場合のみ有効とすることにより実行することを特徴とするものである。
図９は、図８の構成の動作を説明するための概念図である。図９によれば、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に関わらずａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のビューＩＤ（ｖｉｅｗ＿ｉｄ）がそのまま第１のリスト１１１として選択されるとともに、各ビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が第２のリスト１２０として新たに記憶される。
ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。また、第２のリスト１２０は、参照インデックス（ｒｅｆＩｄｘ）とビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）との対応付けを表す。
図８中のＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部５２は第１のリスト１１１を、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部６２は第２のリスト１２０をそれぞれ記憶する。したがって、一切の比較演算処理が削減される結果、第１の実施形態の場合よりも演算処理量が低減する。
図１０は、本発明の第３の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１を実現する構成を示すブロック図である。図１０において、５０はビューＩＤ選択部、５１は参照インデックス付与部、５２はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部、５３はＩｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部である。前述のｐｉｃＶｉｅｗＩｄｘＬＸ導出部１２は、配設が省略される。
図１０のマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）は導出せず、固定値（例えば０）をインデックスとして、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、参照先のビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる場合のみ有効とすることにより実行することを特徴とするものである。
例えば３次元画像を復号する場合には、ビューの数が２であって、一方のビューは他のビューを参照しないベースビューである。したがって、ビュー間予測参照ピクチャを決定する際のｒｅｆＩｄｘは固定値でよいこととなる。第３の実施形態によれば、適用範囲が３次元画像に限られるものの、第２の実施形態の場合よりも演算処理量が低減する効果がある。
図１１は、本発明の第４の実施形態に係るマルチビュービデオ復号装置における参照ピクチャリストのリオーダリング処理中の探索手順Ｃ１及びマージ手順Ｃ２を説明するための概念図である。ここでは、第１の実施形態に係る図６の構成を以て探索手順Ｃ１が実行されることを前提として、マージ手順Ｃ２の改善について説明する。
第４の実施形態に係るマルチビュービデオ復号装置は、Ｈ．２６４／ＡＶＣに準拠したマルチビュービデオ復号装置であって、配列ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］または配列ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ［ｉ］［ｊ］（Ｘは０または１）を参照し、各エントリのビューＩＤ（ｖｉｅｗ＿ｉｄ）に対応するビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるエントリのみを抽出し、同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリに対応する複数のビューインデックス（ｊ）をいずれか１つのビューインデックス（ｊ）に変換し、抽出したエントリを探索対象として変換後のビューインデックス（ｊ）と共に記憶しておき、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸのリオーダリング処理において、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に、変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）を前記ビューインデックス（ｊ）と同様に変換し、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致する前記変換後のビューインデックス（ｊ）を探索することにより実行し、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）以降に配置するビュー間予測参照ピクチャの決定処理を、ＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］（Ｘは０または１）以降のエントリから、前記変換後の変数ｐｉｃＶｉｅｗＩｄｘＬＸ（Ｘは０または１）と一致しない前記変換後のビューインデックス（ｊ）を探索することにより実行することを特徴とするものである。
図１１によれば、同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリについては代表としていずれかのビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）を新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）として記憶させ、これを用いて第１の実施形態と同様の処理を実行する。
より具体的に説明すると、図１１によれば、ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸまたはｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸからなるビューＩＤリスト１１０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となるビューＩＤ（ｖｉｅｗ＿ｉｄ）のみが選択されて第１のリスト１１１が作られる。ビューＩＤリスト１１０は、図２でも説明したとおり、４ビット長のビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と１０ビット長のビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを規定した配列である。第１のリスト１１１は、参照インデックス（ｒｅｆＩｄｘ）とビューＩＤ（ｖｉｅｗ＿ｉｄ）との対応付けを表す。
一方、予め作られた第２のリスト１３０は、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）と新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）との対応付けを表す。ここで、ビューＩＤリスト１１０にてビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が１のエントリと、ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）が２のエントリとは、ビューＩＤ（ｖｉｅｗ＿ｉｄ）として同じ値１５を持つ。したがって、これらのエントリについては、第２のリスト１３０にて新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）として代表ビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）である１を記憶する。そして、第２のリスト１３０のうち、ビュー間参照フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）が１となる新たなビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ２）のみが選択されて第３のリスト１３１が作られる。このようにして作られた第３のリスト１３１は、参照インデックス（ｒｅｆＩｄｘ）と重複が許されたビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）との対応付けを表す。これにより、ビューＩＤリスト１１０に同一のビューＩＤ（ｖｉｅｗ＿ｉｄ）を保持するエントリがある場合でも、マージ手順が正しく行える。
本実施形態は、図４における上記マージ手順Ｃ２中の「ｖｉｅｗＩＤ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）！＝ｔａｒｇｅｔＶｉｅｗＩＤ」を第３のリスト１３１におけるビューインデックス（ｖｉｅｗ＿ｉｎｄｅｘ）の比較に置き換えるものであるので、１０ビット比較演算が４ビット比較演算に置き換えられる結果、演算処理量が低減する。
さて、以上の説明では、図４の探索手順Ｃ１に関して初期状態の参照ピクチャリスト（Ｉｎｉｔｉａｌ ＲＰＬ）が処理対象であるとしたが、厳密に言うと、これは規格と若干異なる。また、図７、図９及び図１１ではビュー間予測用エントリのみを示したが、本発明はＭＶＣ処理／非ＭＶＣ処理が混在する場合にも適用できる。
図１２は、本発明のマルチビュービデオ復号装置における探索手順Ｃ１の処理対象である整形前のＩｎｉｔｉａｌ ＲＰＬを示す概念図である。規格によれば、Ｉｎｉｔｉａｌ ＲＰＬを生成するに際し、まずビュー内予測用エントリが生成され、これにビュー間予測用エントリが追加された後、エントリ数がＬ（＝ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）個に整形され、残りのエントリは切り捨てられる。ただし、探索手順Ｃ１の処理対象は、ビュー間予測用エントリが追加された時点のリスト２００、すなわち整形前のＩｎｉｔｉａｌ ＲＰＬの全エントリであると決められている。
図１３は、図１２のＩｎｉｔｉａｌ ＲＰＬを整形した後に実行が開始されるリオーダリング処理を示している。図１３によれば、図１２のリスト２００とは別に、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２０１が作成される。探索対象はあくまでも図１２のリスト２００であって、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２０１中に存在しないエントリであっても、図１２のリスト２００中に存在するエントリであれば、参照インデックスの若い順に対応付けたいピクチャとして選択することができる。図１３中の２０２及び２０３は、マージ手順を含むリオーダリング処理により更新されたリストである。ただし、ビュー内予測用エントリの領域とビュー間予測用エントリの領域とがきれいに分かれている図１２のリスト２００は更新されないため、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０または１または２の場合に要求されるＭＶＣ処理と、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４または５の場合に要求される非ＭＶＣ処理とでそれぞれ探索範囲が限定される利点がある。また、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、マージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
図１４は、図１２のリスト２００を含むように広げられたＩｎｉｔｉａｌ ＲＰＬから実行が開始されるリオーダリング処理を示している。図１４によれば、整形後のＩｎｉｔｉａｌ ＲＰＬのリスト２１１が、図１２のリスト２００を含んでいる。図１４の場合は、図１３の場合と比べて、探索対象のリスト２００をＩｎｉｔｉａｌ ＲＰＬとは別に記憶しておく必要がないという利点がある。図１４中の２１２及び２１３は、マージ手順を含むリオーダリング処理により更新されたリストである。図１４によれば、リオーダリング処理が進むにつれてビュー内予測用エントリの領域とビュー間予測用エントリの領域との切れ目が消失するので、変数ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃの値に関わらず、常に全エントリを探索する必要がある。ただし、ビュー内予測用エントリとビュー間予測用エントリとを区別するフラグを準備しておき、このフラグを各エントリに追加しておく等の工夫により、探索手順およびマージ手順におけるビュー内予測用エントリとビュー間予測用エントリとの区別をこのフラグの参照に置き換えることができる。
以上説明してきたとおり、本発明に係るマルチビュービデオ復号装置は、参照ピクチャリストのリオーダリング処理における演算処理量を削減することができる効果を有し、Ｈ．２６４／ＡＶＣに準拠したビデオ復号装置等として有用である。
１１ ゴロム復号部
１２ ｐｉｃＶｉｅｗＩｄｘＬＸ導出部
２０ ターゲットビューＩＤ導出部
２１ ビューインデックス付与部
２２ （ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ記憶部
２３ （ｎｏｎ＿）ａｎｃｈｏｒ＿ｒｅｆ＿ｌＸ参照部
３０ ビューＩＤ選択部
３１ 参照インデックス付与部
３２ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部
３３ ビューＩＤ比較部
３４ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ探索部
４０ ビューインデックス選択部
４１ 参照インデックス付与部
４２ ｖｉｅｗ＿ｉｎｄｅｘ記憶部
４３ ビューインデックス比較部
４４ ｖｉｅｗ＿ｉｎｄｅｘ探索部
５０ ビューＩＤ選択部
５１ 参照インデックス付与部
５２ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ記憶部
５３ Ｉｎｉｔｉａｌ ＲｅｆＰｉｃＬｉｓｔＸ参照部
６０ ビュー間参照フラグ選択部
６１ 参照インデックス付与部
６２ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ記憶部
６３ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ参照部
７０ ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ判定部

Claims (12)

  1. ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、前記ビューＩＤリストの各エントリのビューＩＤに対応するビュー間参照フラグが１となるエントリのみを抽出し、抽出したエントリのビューインデックスを探索対象としてビューインデックス記憶部に記憶しておき、与えられた変数と一致するビューインデックスを探索して選択するビューインデックス選択部と、
    前記抽出したエントリのビューＩＤを記憶しておき、前記ビューインデックス記憶部にてヒットしたエントリのアドレスをもとにビューＩＤを選択するビューＩＤ選択部とを備え、
    参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記ビューインデックス選択部と前記ビューＩＤ選択部とにより実行することを特徴とするマルチビュービデオ復号装置。
  2. 与えられた変数をインデックスとして、ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストからビューＩＤを参照して選択するビューＩＤ選択部と、
    前記選択したビューＩＤを前記参照先のビューＩＤに対応するビュー間参照フラグが１となる場合のみ有効とするビュー間参照フラグ判定部とを備え、
    参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記ビューＩＤ選択部と前記ビュー間参照フラグ判定部とにより実行することを特徴とするマルチビュービデオ復号装置。
  3. 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、固定値をインデックスとして、ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、参照先のビューＩＤに対応するビュー間参照フラグが１となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号装置。
  4. ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、前記ビューＩＤリストの各エントリのビューＩＤに対応するビュー間参照フラグが１となるエントリのみを抽出し、前記ビューＩＤリストに同一のビューＩＤを保持するエントリがある場合には当該同一のビューＩＤを保持するエントリに対応する複数のビューインデックスをいずれか１つのビューインデックスに変換し、かつ抽出したエントリを探索対象として変換後のビューインデックスと共に記憶しておく手段と、
    参照ピクチャリストのリオーダリング処理において、与えられた変数を前記ビューインデックスと同様に変換し、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の与えられた変数と一致する前記変換後のビューインデックスを探索することにより実行したうえ、前記参照ピクチャリスト内の特定の場所より後に配置するビュー間予測参照ピクチャの決定処理を、前記参照ピクチャリスト内の特定の場所より後に対応するエントリから、前記変換後の与えられた変数と一致しない前記変換後のビューインデックスを探索することにより実行する手段とを備えたことを特徴とするマルチビュービデオ復号装置。
  5. ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、前記ビューＩＤリストの各エントリのビューＩＤに対応するビュー間参照フラグが１となるエントリのみを抽出し、抽出したエントリを探索対象としてビューインデックスと共に記憶しておき、
    参照ピクチャリストのリオーダリング処理において、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、与えられた変数と一致する前記ビューインデックスを探索することにより実行することを特徴とするマルチビュービデオ復号方法。
  6. 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、与えられた変数をインデックスとして、ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、参照先のビューＩＤに対応するビュー間参照フラグが１となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号方法。
  7. 参照ピクチャリストのリオーダリング処理において、参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、固定値をインデックスとして、ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、参照先のビューＩＤに対応するビュー間参照フラグが１となる場合のみ有効とすることにより実行することを特徴とするマルチビュービデオ復号方法。
  8. ビューインデックスとビューＩＤとの対応付けを規定したビューＩＤリストを参照し、前記ビューＩＤリストの各エントリのビューＩＤに対応するビュー間参照フラグが１となるエントリのみを抽出し、前記ビューＩＤリストに同一のビューＩＤを保持するエントリがある場合には当該同一のビューＩＤを保持するエントリに対応する複数のビューインデックスをいずれか１つのビューインデックスに変換し、かつ抽出したエントリを探索対象として変換後のビューインデックスと共に記憶しておき、
    参照ピクチャリストのリオーダリング処理において、与えられた変数を前記ビューインデックスと同様に変換し、前記参照ピクチャリスト内の特定の場所に配置するビュー間予測参照ピクチャの決定処理を、前記変換後の与えられた変数と一致する前記変換後のビューインデックスを探索することにより実行したうえ、前記参照ピクチャリスト内の特定の場所より後に配置するビュー間予測参照ピクチャの決定処理を、前記参照ピクチャリスト内の特定の場所より後に対応するエントリから、前記変換後の与えられた変数と一致しない前記変換後のビューインデックスを探索することにより実行することを特徴とするマルチビュービデオ復号方法。
  9. 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを前記参照ピクチャリストの領域により区別することを特徴とするマルチビュービデオ復号装置。
  10. 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを各エントリに追加したフラグにより区別することを特徴とするマルチビュービデオ復号装置。
  11. 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを前記参照ピクチャリストの領域により区別することを特徴とするマルチビュービデオ復号方法。
  12. 参照ピクチャリストのリオーダリング処理において、ビュー内予測用エントリとビュー間予測用エントリとを各エントリに追加したフラグにより区別することを特徴とするマルチビュービデオ復号方法。
JP2011524613A 2009-07-29 2010-01-15 マルチビュービデオ復号装置およびその方法 Withdrawn JPWO2011013257A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009176192 2009-07-29
JP2009176192 2009-07-29
PCT/JP2010/000205 WO2011013257A1 (ja) 2009-07-29 2010-01-15 マルチビュービデオ復号装置およびその方法

Publications (1)

Publication Number Publication Date
JPWO2011013257A1 true JPWO2011013257A1 (ja) 2013-01-07

Family

ID=43528932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011524613A Withdrawn JPWO2011013257A1 (ja) 2009-07-29 2010-01-15 マルチビュービデオ復号装置およびその方法

Country Status (4)

Country Link
US (1) US20110268195A1 (ja)
JP (1) JPWO2011013257A1 (ja)
CN (1) CN102342109A (ja)
WO (1) WO2011013257A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
CN108540813B (zh) * 2012-09-28 2021-03-16 杜比国际公司 图像解码装置
US11330300B2 (en) 2012-12-11 2022-05-10 Sony Corporation Encoding device and encoding method, and decoding device and decoding method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949982B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
JP5184539B2 (ja) * 2006-10-13 2013-04-17 トムソン ライセンシング 多視点ビデオ符号化のための参照ピクチャ・リスト管理方法
ES2492923T3 (es) * 2006-10-16 2014-09-10 Nokia Corporation Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
BRPI0809210A2 (pt) * 2007-04-04 2014-09-02 Thomson Licensing Gerenciamento de lista de imagens de referência
JP2009159466A (ja) * 2007-12-27 2009-07-16 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム

Also Published As

Publication number Publication date
WO2011013257A1 (ja) 2011-02-03
CN102342109A (zh) 2012-02-01
US20110268195A1 (en) 2011-11-03

Similar Documents

Publication Publication Date Title
JP6151442B2 (ja) ３ｄビデオコーディング用の結合双予測マージング候補
JP5247677B2 (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
KR102187723B1 (ko) 3 차원（3ｄ）비디오 코딩을 위한 진보된 병합 모드
EP2842328B1 (en) View dependency in multi-view coding and 3d coding
JP5902300B2 (ja) マルチビュービデオコード化
JP5908586B2 (ja) マルチビュービデオコード化
WO2011013257A1 (ja) マルチビュービデオ復号装置およびその方法
TWI566589B (zh) 三維視訊之視圖合成
WO2012128242A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2015192286A1 (en) Simplified shifting merge candidate and merge list derivation in 3d-hevc
US20160191933A1 (en) Image decoding device and image coding device
JP2010520697A (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
TW201440505A (zh) 視訊寫碼中之運動向量預測
KR20210022760A (ko) 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
KR20070098429A (ko) 비디오 신호의 디코딩 방법

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130402