JP4999853B2 - 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents
画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Download PDFInfo
- Publication number
- JP4999853B2 JP4999853B2 JP2008535345A JP2008535345A JP4999853B2 JP 4999853 B2 JP4999853 B2 JP 4999853B2 JP 2008535345 A JP2008535345 A JP 2008535345A JP 2008535345 A JP2008535345 A JP 2008535345A JP 4999853 B2 JP4999853 B2 JP 4999853B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- information
- encoding
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
H.264の動き補償では、符号化対象フレームを様々なサイズのブロックに分割し、ブロックごとに、参照フレームと呼ばれる既に符号化済みのフレームを選び、動きベクトルと呼ばれる対応点を示すベクトル情報を用いて、映像を予測する。このときに許されるブロック分割は16×16(ピクセル)、16×8、8×16、8×8、8×4、4×8、4×4の7種類であり、被写体の動きの向きや大きさの違いに細かい単位で対応して映像を予測できるようになっている。これによって、予測画像と原画像の差分で表される符号化対象の残差が小さくなるため、高い符号化効率を達成している。
この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。
視差補償はこの対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。
エピポーラ幾何拘束によれば、2台のカメラ(カメラAとカメラB)において、片方の画像上の点に対応するもう片方の画像上の点は、エピポーラ線という直線上に拘束される。非特許文献3の手法では、エピポーラ線上での位置を示すために、参照フレームを撮影しているカメラから被写体までの距離という1つのパラメータで全符号化対象フレームに対する視差を表現している。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 10-13, and 62-68, September 2002. Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map ", In Proceedings of Picture Coding Symposium 2006, SS3-6, April , 2006.
そのため、1つの符号化対象フレームを選んだときの視差補償の予測精度は他のカメラに関する誤差の影響を受けて、その符号化対象フレームと参照フレームの組に対して求めた視差情報を用いる場合よりも低下してしまう。
また、グローバル視差情報が全体で共通するようなおおまかな視差情報を表すので、ベース視差情報の補正量は少なくて済み、補正視差情報の符号量は少ない。
つまり、符号化対象の画像ごとに視差情報を求めて符号化する場合と比べて、共通部分にかかる符号量を節約できるので、全体として符号量を削減することができる。
また、グローバル視差情報が全体で共通するようなおおまかな視差情報を表すので、ベース視差情報によって与えられる対応関係の補正量は少なく済み、補正視差ベクトルの符号量は少ない。
つまり、符号化対象の画像ごとに視差情報を求めて符号化する場合と比べて、共通部分にかかる符号量を節約できるので、全体として符号量を削減することができる。
従来の2次元のベクトルだけで補正を行う方式と異なり、幾何拘束による誤差が補正視差情報で取り除かれているため、補正に必要なベクトルは非常に小さくなり、より少ない符号量で精度の高い予測を実現することができる。
その場合、領域分割の違いのみを符号化することで、符号量を削減することが可能である。
また、本発明におけるグローバル視差情報やベース視差情報は、参照対象によらない情報であるため、どの参照対象を用いても補正視差情報や補正ベクトルの符号量は少なく抑えることができる。
そのため、後続の処理で補正すべき視差情報を極力少なくするようなグローバル視差情報を求めることができる。つまり、無駄な情報を符号化することがなくなり、効率的な符号化を実現できる。
また連続性を隣接関係だけでなく、三次元的な情報を示すことになる視差情報も用いてより正確に判断することができるため、誤ったベース視差情報やグローバル視差情報候補を生成して、逆に補正すべき情報を増加させることを防ぐことができる。
そのため、これによれば、各種の視差情報や視差情報を補正する情報や領域分割情報の冗長性を取り除いて符号化することができるため、その符号量を少なくし、高い符号化効率を達成することができる。
そのため、カメラ毎に符号化する補正視差情報や補正ベクトルで重複して修正しなければならない誤差情報を減らし、全体としての符号化効率を向上させることが可能となる。また、縮小画像を用いることにより、視差情報を求める際に演算対象となる画素が減るため、演算量を削減することも可能となる。
さらに、多視点動画像では本発明の方法で画像全体を符号化するのではなく、時間方向の相関を利用した動き補償など他の手法などを符号化処理対象ごとに選択して符号化することで、符号化効率を高めることもできる。
101、201 画像入力部
102、202 画像メモリ
103、203 基準視点画像入力部
104、204 基準視点画像メモリ
105、206 グローバル視差補償情報設定部
106、207 ベース視差情報設定部
107、208 視差補償情報設定部
108、209 画像符号化部
109、210 復号画像メモリ
205 ローカル視差補償情報設定部
1051 基準視点画像ブロック分割設定部
1052 ブロック分割情報符号化部
1053 グローバル視差情報推定部
1054 グローバル視差情報符号化部
1071、2081 符号化対象画像ブロック分割設定部
1072、2082 ブロック分割情報符号化部
1073、2085 参照視点インデックス設定部
1074、2086 視点インデックス符号化部
1075、2083 補正視差情報設定部
1076、2084 補正視差情報符号化部
1077、2087 補正ベクトル設定部
1078、2088 補正ベクトル符号化部
1079、2089 視差補償効率評価部
2051 ローカル視差情報ブロック分割設定部
2052 参照視点インデックス設定部
2053 ローカル視差情報設定部
2054 視差補償効率評価部
2061 基準視点画像ブロック分割設定部
2062 ブロック分割情報符号化部
2063 グローバル視差情報推定部
2064 グローバル視差情報符号化部
300 映像復号装置
301 符号化データ入力部
302 基準視点画像入力部
303 画像メモリ
304 グローバル視差補償情報復号部
305 ベース視差情報設定部
306 視差補償情報復号部
307 視差補償画像生成部
308 画像復号部
このエピポーラ幾何拘束に従った視差情報は、その画像の視点から被写体までの距離や、エピポーラ直線上の基準点からの距離や、それらの距離に対応付けられたインデックス値で表すことができる。
なお、以下で、視差情報と述べた場合、これらのエピポーラ幾何拘束に基づいた視差情報を指すこととする。本発明で用いるグローバル視差情報とベース視差情報の概念について説明する。
グローバル視差情報は、基準視点の画像に対して与えられる視差情報のことである。以下では、領域毎に視差情報が与えられるとして説明する。
また、誤差の影響を減少させるために、実空間における物体の連続性を仮定して視差情報dに対して補正項を追加して評価値を算出する場合もある。
ベース視差情報が指すものは、グローバル視差情報と同じものである。ただ、その基準となる視点が、グローバル視差情報の場合は基準視点であり、べース視差情報が基準視点以外の視点であるという点だけが異なる。
本発明の画像符号化方法では、符号化対象の多視点画像の中から、1つの基準視点を選んで符号化する。そして、基準視点以外の視点の画像を符号化する際に、既に符号化済みの他の視点の画像から映像予測をして符号化を行う。
この映像予測をするために用いる符号化済みの他の視点の画像を、参照視点画像と呼ぶ。この参照視点画像は、基準視点の画像と同じであっても、異なっていてもよい。図1では、一般的な場合を示すために、異なる視点の画像であるように示している。
そこで、ローカル視差情報によって与えられた対応点から真の対応点までのベクトルを補正ベクトルと呼ぷ。
ここで、以下に説明する実施の形態の例では、3つのカメラで撮影された多視点動画像を符号化する場合を想定し、カメラAを基準視点としてカメラBとカメラCの画像を符号化する方法について説明を行う。
図2に、本実施の形態の例で使用するカメラ構成の概念図を示す。なお、図中の四角型の図形は各カメラのフレームを表し、カメラBとカメラCの画像が図中の番号の順に入力されるものとして説明を行う。
図3に示すように、実施例1の映像符号化装置100は、符号化対象となるカメラBとカメラCの原画像を入力する画像入力部101と、入力された画像を格納する画像メモリ102と、基準視点であるカメラAの復号画像を入力する基準視点画像入力部103と、入力された基準視点の復号画像を格納する基準視点画像メモリ104と、基準視点に対するエピポーラ幾何拘束に基づく視差情報であるグローバル視差情報を設定するグローバル視差補償情報設定部105と、グローバル視差情報から符号化対象画像の視点に対するエピポーラ幾何拘束に基づく視差情報であるベース視差情報を設定するベース視差情報設定部106と、符号化対象画像を視差補償するための情報を設定する視差補償情報設定部107と、入力画像を実際に予測符号化する画像符号化部108と、符号化した入力画像を復号した画像を格納する復号画像メモリ109とを備える。
この図に示すように、グローバル視差補償情報設定部105は、基準視点の画像に対するブロック分割を設定する基準視点画像ブロック分割設定部1051と、決定したブロック分割情報を符号化するブロック分割情報符号化部1052と、入力された画像群から、ブロック毎にグローバル視差情報を推定するグローバル視差情報推定部1053と、求められたグローバル視差情報を符号化するグローバル視差情報符号化部1054とを備える。
また、ブロック分割情報符号化部1052と、グローバル視差情報符号化部1054とが出力する符号化データは、本映像符号化装置100の出力の一部を構成する。
この図に示すように、視差補償情報設定部107は、符号化対象画像に対するブロック分割を設定する符号化対象画像ブロック分割設定部1071と、決定したブロック分割情報を符号化するブロック分割情報符号化部1072と、視差補償を行う際に参照画像として用いる画像の視点を示す視点インデックスを設定する参照視点インデックス設定部1073と、決定した視点インデックスを符号化する視点インデックス符号化部1074と、ベース視差情報をエピポーラ幾何拘束に基づいて補正するための情報である補正視差情報を設定する補正視差情報設定部1075と、決定した補正視差情報を符号化する補正視差情報符号化部1076と、ベース視差情報と補正視差情報によって与えられる対応関係をエピポーラ幾何拘束とは関係なく補正するための補正ベクトルを設定する補正ベクトル設定部1077と、決定した補正ベクトルを符号化する補正ベクトル符号化部1078と、各部によって設定される視差補償のための情報で視差補償を行ったときの予測効率を評価する視差補償効率評価部1079とを備える。
また、ブロック分割情報符号化部1072と、視点インデックス符号化部1074と、補正視差情報符号化部1076と、補正ベクトル符号化部1078とが出力する符号化データは、本映像符号化装置100の出力の一部を構成する。
つまり、画像メモリ102からカメラBの画像を取り出して符号化対象画像に設定し[ステップS3]、ステップS2の処理で求めたグローバル視差情報を、ベース視差情報設定部106で符号化対象画像に対するエピポーラ幾何拘束に従ったベース視差情報に変換し[ステップS4]、そのベース視差情報をもとに符号化効率を鑑みて、その他の視差補償情報であるところの参照視点インデックス、補正視差情報、補正ベクトル等を求めて符号化し[ステップS5]、それらの求められた視差補償情報を用いながら、符号化対象画像を画像符号化部108で符号化する[ステップS6]。
符号化した画像は復号され、復号画像メモリ109に格納される[ステップS7]。そして、符号化した画像がカメラBの画像なら[ステップS8]、次に、カメラCの画像を画像メモリ102から取り出して、同様の手順[ステップS4〜S7]で符号化を行い、全ての処理を終了する。ステップS4、ステップS5で行う処理は、後で詳細に説明する。
したがって、ここでの処理は、マクロブロックのインデックスMBBlkを0に初期化した後[ステップS101]、MBBlkに1を加算しながら[ステップS116]、MBBlkがmaxMBBlkになるまで[ステップS117]、以下の処理[ステップS102〜S115]を繰り返す。
その後、求まったブロック分割情報BLKModeとグローバル視差情報GDispInfoを、それぞれブロック分割情報符号化部1052と、グローバル視差情報符号化部1054で符号化する[ステップS118]。
つまり、ブロック分割blkModeを0に、そのマクロブロックでの評価値の最良値bValueを絶対に取り得ない最悪の評価値wValueに初期化した後[ステップS102]、blkModeに1を加算しながら[ステップS114]、blkModeがmaxBlkModeになるまで[ステップS115]、ブロック分割blkModeに対する評価値valueを求め[ステップS103〜S111]、valueとbValueとを比較することで最良の評価値を与えるブロック分割を求め[ステップS112]、そのマクロブロックの分割をBLKMode[MBBlk]に、グローバル視差情報をGDispInfo[MBBlk]に格納する[ステップS113]という処理を繰り返す。
すなわち、分割されたブロックのインデックスをblkで表すとすると、blkを0に初期化し、valueを、ブロック分割がblkModeであることによる評価値InitValue[blkMode]に初期化した後[ステップS103]、blkに1を加え、valueにブロック毎の最良レート歪みコストbestBlkCostを加え、各ブロックの最良レート歪みコストを与えるグローバル視差情報をtempGDispInfo[blk]に格納しながら[ステップS110]、blkがmaxBlk[blkMode]になるまで[ステップS111]、各ブロックで最良レート歪みコストを与えるグローバル視差情報を求める処理[ステップS104〜S109]を繰り返す。
なお、InitValue[blkMode]は、ブロック分割がblkModeであることを示すための情報を符号化するために必要な符号量に依存した値が予め定められているものとする。
量またはその予測値を返す関数を表す。
dbase()は引数として与えられるグローバル視差情報インデックスの示す基準視点から被写体までの距離を返す関数を表す。
Value()は第一引数として与えられる視点における画像上の、第二引数として与えられる画素位置の画素値を返す関数を表し、Trans(src、dst、pix、d)は、視点srcにおける画像上の、位置pixの画素の視点から被写体までの距離がdの場合に、画素pixの視点dstにおける画像上における対応画素pを返す関数を表している。このpは、以下の式で求められる。
上記の「〜」が付加されたpは、pの斉次座標を示している。また、「^」が付加されたpixは、pixの斉次座標のうち、特に第3成分が1であるものを表している。
斉次座標は、同次座標とも呼ばれる。2次元座標に対する斉次座標は3個の成分を持つ。この斉次座標の第3成分の値で、第1成分および第2成分の値をそれぞれ除算した値を、第1成分および第2成分として持つ座標が、斉次座標に対する普通の座標となる。なお、カメラパラメータの表し方は様々であり、本実施例では、上記式によってカメラ間の対応点が計算できるようなカメラパラメータであるとする。
つまり、画素インデックスbpを0に初期化した後[ステップS201]、bpに1を加算しながら[ステップS213]、bpが画像内画素数numPixになるまで[ステップS214]、以下の処理[ステップS202〜S212]を繰り返す。
また、ベース視差情報全体をBDispInfoと表し、[]を用いて指定された位置のベース視差情報を表すものとする。このベース視差情報はフローの最初で絶対に取り得ない大きな値で初期化される[ステップS201]。
なお、処理を行う画素の順番はどのような順番でも問題ないが、本実施例1では、ラスタースキャン順に処理を行うものとする。
次に、画素bpが符号化対象画像で対応する画素tpと、そこでのベース視差情報候補bDispInfoを、グローバル視差情報GDispInfo[MBBlk][blk]から、次の数式を用いて求める[ステップS203]。
即ち、(i)画素bp(の位置)、(ii)画素bpにおけるグローバル視差情報が示す基準視点から被写体までの距離、(iii)基準視点のカメラパラメータ、および、(iv)符号化対象画像の視点のカメラパラメータから、画素tp(の位置)および画素tpにおけるベース視差情報候補を求める。
ただし、直接得られるのは画素tp(の位置)と画素tpにおける符号化対象画像の視点から被写体までの距離であり、後者が、関数dtar の逆関数を用いて、上記の、画素tpにおけるベース視差情報候補(bDispInfo)に変換される。
次に、実空間上での物体の連続性を用いて、BDispInfoの更新を行う。つまり、bpの左もしくは上で隣接する画素の集合NEIGHBORを生成し[ステップS206]、NEIGHBORが空集合になるまで[ステップS207]、処理の完了した画素をNEIGHBORから取り除きながら[ステップS212]、次の処理[ステップS208〜S211]を繰り返す。
次に、nGDispInfoとGDispInfo[MBBlk][blk]との差分絶対値と予め与えられる閾値THとを比較する[ステップS209]。
閾値以上の場合には、実空間上で物体は連続でないということなので、その要素に対する処理は終了する。
閾値より小さい場合には、上記ステップS203の処理における式を用いて、画素nbpが符号化対象画像で対応する画素ntpと、そこでのベース視差情報nbDispInfoを求める[ステップS210]。
そして、tpとntpとの間に存在する画素のベース視差情報をbDsipInfoとnbDispInfoを用いて補完する[ステップS211]。
両端の情報から間の値を補完する方法であれば、どのような方法を用いることもできるが、最も単純な方法として、両端のベース視差情報から間を線形補完する方法がある。なお、計算される補完値に対して、それよりも小さなベース視差情報が既にある場合には、オクルージョンが発生しているということで、更新を行わない。
したがって、マクロブロックインデックスMBBlkを0で初期化した後[ステップS301]、MBBlkに1を加算しながら[ステップS316]、MBBlkがmaxMBBlkになるまで[ステップS317]、視差補償情報を加味しながらブロック分割を決定する処理[ステップS302〜S315]を繰り返し、求められた視差補償情報を、ブロック分割情報符号化部1072、視点インデックス符号化部1074、補正視差情報符号化部1076、補正ベクトル符号化部1078で符号化する[ステップS318]。
なおbestMBCostは最初に絶対に取り得ない最大値wMBCostで初期化される[ステップS302]。
なお、マクロブロックに対するレート歪みコストMBCostは、最初に0で初期化された後[ステップS303]、ブロック毎の処理が終了した際に、ブロックに対する最小レート歪みコストbestBlkECostを加算していくことで計算される[ステップS310]。
また、ここで決定した視差補償情報はtempEDispInfo[blk]に格納され[ステップS310]、最終的なマクロブロックのレート歪みコストを鑑みて、最良のものであればEDispInfo[MBBlk]に格納する[ステップS313]。
なお、bestBlkECostは、最初に絶対に取り得ない最大値wBlkECostで初期化される[ステップS304]。
この図に示すように、ローカル視差補償情報設定部205は、ローカル視差情報を求める上での符号化対象画像のブロック分割を設定するローカル視差情報ブロック分割設定部2051と、視差補償を行う際に参照画像として用いる画像の視点を示す視点インデックスを設定する参照視点インデックス設定部2052と、エピポーラ幾何拘束に基づいた視差情報を設定するローカル視差情報設定部2053と、設定されたブロック分割と、参照視点インデックスと、視差情報とで視差補償を行う場合の効率を評価し、各設定部にフィードバックをかける視差補償効率評価部2054とを備える。
この図に示すように、グローバル視差補償情報設定部206は、基準視点の画像に対するブロック分割を設定する基準視点画像ブロック分割設定部2061と、決定したブロック分割情報を符号化するブロック分割情報符号化部2062と、ローカル視差補償情報設定部205内のローカル視差情報設定部2053から通知されるローカル視差情報を用いて、ブロック毎にグローバル視差情報を推定するグローバル視差情報推定部2063と、求められたグローバル視差情報を符号化するグローバル視差情報符号化部2064とを備える。
また、ブロック分割情報符号化部2062と、グローバル視差情報符号化部2064とが出力する符号化データは、本映像符号化装置200の出力の1つとなる。
この図に示すように、視差補償情報設定部208は、ベース視差情報設定部207から通知されるベース視差情報と、ローカル視差補償情報設定部205内のローカル視差情報設定部2053から通知されるローカル視差情報との差分を用いて、符号化対象画像に対するブロック分割を設定する符号化対象画像ブロック分割設定部2081と、決定したブロック分割情報を符号化するブロック分割情報符号化部2082と、決定されたブロック分割情報と上記差分からベース視差情報をエピポーラ幾何拘束に基づいて補正するための情報である補正視差情報を設定する補正視差情報設定部2083と、決定した補正視差情報を符号化する補正視差情報符号化部2084と、ローカル視差補償情報設定部205内の参照視点インデックス設定部2052から通知される一次視点インデックスとブロック分割情報とを用いて、ブロック毎に参照視点インデックスを設定する参照視点インデックス設定部2085と、決定した視点インデックスを符号化する視点インデックス符号化部2086と、エピポーラ幾何拘束に基づいた情報によって与えられる対応関係をエピポーラ幾何拘束とは関係なく補正するための補正ベクトルを設定する補正ベクトル設定部2087と、決定した補正ベクトルを符号化する補正ベクトル符号化部2088と、各部によって設定された情報で視差補償を行ったときの予測効率を評価し補正ベクトル設定部2087にフィードバックをかける視差補償効率評価部2089とを備える。
また、ブロック分割情報符号化部2082と、補正視差情報符号化部2084と、視点インデックス符号化部2086と、補正ベクトル符号化部2088とが出力する符号化データは、本映像符号化装置200の出力の1つとなる。
つまり、画像メモリ202よりカメラBの画像を取り出して符号化対象画像に設定し[ステップS404]、ステップS403の処理で求めたグローバル視差情報を、ベース視差情報設定部207で符号化対象画像に対するエピポーラ幾何拘束に従ったベース視差情報に変換し[ステップS405]、ローカル視差補償情報とベース視差情報とから、符号化効率を鑑みて、視差補償情報であるところの参照視点インデックス、補正視差情報、補正ベクトル等を視差補償情報設定部208で求めて符号化し[ステップS406]、それらの求められた視差補償情報を用いながら、符号化対象画像を画像符号化部209で符号化する[ステップS407]。符号化した画像は復号され、復号画像メモリ210に格納される[ステップS408]。
そして、符号化した画像がカメラBの画像なら[ステップS409]、カメラCの画像を画像メモリ202から取り出して[ステップS410]、同様の手順[ステップS405〜S408]で符号化を行い、全ての処理を終了する。
ここで、ステップS405で行われる処理は、既に説明したステップS4で行われる処理(図6)と同様の処理であるため説明を省略する。
なお、ステップS406で行われる処理の詳細は、後で図18を用いて説明する。
実施例1のときと同様に、ブロック分割の種類に関するインデックスをblkMode、ブロック分割blkModeにおけるブロック数をmaxBlk[blkMode]、ブロック分割の種類の数はmaxBlkModeで表す。
つまり、ブロック分割blkModeを0に、そのマクロブロックでの評価値の最良bestMBLCostを絶対に取り得ない最大の評価値wMBLCostに初期化した後[ステップS502]、blkModeに1を加算しながら[ステップS514]、blkModeがmaxBlkModeになるまで[ステップS515]、ブロック分割blkModeに対する評価値MBLCostを求め[ステップS503〜S511]、MBLCostがbestMBLCostよりも小さくなるようなら[ステップS512]、MBLCostをbestMBLCostに、そのときのブロック分割blkModeをlBLKMode[MBBlk]に、そのときのブロック毎のローカル視差補償情報tempLDispInfoをLDispInfo[cam]に格納する[ステップS513]、という処理を繰り返す。
ここでcamは画像メモリ202上の画像に対するインデックスを表している。
つまり、ブロックインデックスblkを0に、ブロック分割に対する評価値MBLCostを0に初期化した後[ステップS503]、blkに1を加算しながら[ステップS510]、blkがmaxBlk[blkMode]になるまで[ステップS511]、ブロックblkに対する最良のローカル視差補償情報bestLDispInfoと評価値bestBlkLCostとを求め[ステップS504〜S509]、MBLCostにbestBlkLCostを加算し、tempLDispInfo[blk]にbestLDispInfoを格納する[ステップS510]、という処理を繰り返す。
したがって、レート歪みコストが各ローカル視差補償情報に対する評価値となり、あるブロックに対する最良のローカル視差補償情報と評価値を求める処理は、レート歪みコストを最小化する参照視点インデックスとローカル視差情報との組を求める処理となる。
この処理は、ローカル視差情報をグローバル視差情報、ローカル視差情報が与えられた視点を基準視点、基準視点を符号化対象視点と見立てて、ベース視差情報を求める際の処理(図9)を適用することで行われる。このように見立てて処理が行われた際に、ベース視差情報に該当するものがグローバル視差情報候補となる。なお、この処理は、画像メモリ202上の画像ごとに行い、それぞれの画像に対するグローバル視差情報候補は、画像インデックスcamを用いてtGDispInfo[cam]と表す。
そのために、マクロブロックのインデックスMBBlkを0に初期化した後[ステップS602]、MBBlkに1を加算しながら[ステップS613]、MBBlkがマクロブロック数maxMBBlkになるまで[ステップS614]、全てのブロック分割の中で最良のブロック分割とグローバル視差情報を求める処理[ステップS603〜S612]を行う。
その後、求められたブロック分割情報BLKModeとグローバル視差情報GDispInfoを、それぞれ、ブロック分割情報符号化部2062と、グローバル視差情報符号化部2064で符号化する[ステップS615]。
つまり、ブロック分割blkModeを0に初期化し、マクロブロックに対する最良の評価値bestValueを絶対に取り得ない最悪の評価値wValueに初期化した後[ステップS603]、blkModeに1を加算しながら[ステップS611]、blkModeがmaxBlkModeになるまで[ステップS612]、ブロック分割blkModeに対する評価値valueを求め[ステップS604〜S608]、valueがbestValueより小さいならば[ステップS609]、valueをbestValueに、blkModeをBLKMode[MBBlk]に格納し、そのときに求められたグローバル視差情報tmpGDispInfoをGDispInfo[MBBlk]に格納する[ステップS610]、という処理を繰り返す。
すなわち、ブロックインデックスblkを0に、valueをブロック分割がblkModeであることによる評価値InitValue[blkMode]に初期化した後[ステップS604]、blkに1を、valueにブロックblkに対するレート歪みコストblkCostを加え、そのときのグローバル視差情報gDispInfoをtmpGDispInfo[blk]に格納しながら[ステップS607]、blkがmaxBlk[blkMode]になるまで[ステップS608]、ブロックblkに対するtGDispInfoからgDispInfoを求め[ステップS605]、そのときのblkCostを求める[ステップS606]、という処理を繰り返す。
なお、InitValue[blkMode]は、ブロック分割がblkModeであることを示すための情報を符号化するために必要な符号量に依存した、予め定められた値である。
また、両者でレート歪みコストを算出し良い方を選ぶという方法や、それぞれの周辺の値全てに対してレート歪みコストを計算し最良のものを選ぶという方法も考えられるが、これらのケースについては本実施例の変更例として容易に適用可能であるので説明を省略する。
実施例1と異なる点は、ローカル視差補償情報設定部205内のローカル視差情報設定部2053から通知されるローカル視差情報を用いて、ブロック分割、参照視点インデックス、補正視差情報を決定した後に、補正ベクトルを求める点である。
そして、マクロブロックインデックスMBBlkを0に初期化した後[ステップS702] 、MBBlkに1を加算しながら[ステップS710] 、MBBlkが画像に含まれるマクロブロック数maxMBBlkになるまで[ステップS711] 、ブロック分割eBLKMode[MBBlk] を決定し[ステップS703] 、視差補償情報EDispInfoを求める処理[ステップS704〜S709] を繰り返す。
その後、ブロック分割情報eBLKModeと、視差補償情報EDispInfoとを符号化する[ステップS712] 。
上記の条件を満たすブロック分割が複数存在するときは、それぞれの最大ブロックサイズが大きいものに決定する。それでも決まらない場合には、条件を満たす任意のブロック分割に決定する。
なお、最初の条件を満たすブロック分割が存在しない場合には、ブロック数が最も多く、最小ブロックサイズが最も小さいものに決定する。
つまり、ブロックインデックスblkを0に初期化した後[ステップS704]、blkに1を加算しながら[ステップS708]、blkがブロック数maxBlk[eBLKMode[MBBlk]]になるまで[ステップS709]、tEDispInfoから補正視差情報mdを、ローカル視差補償情報設定部205内の参照視点インデックス設定部2052から通知される一次視点インデックスから参照視点インデックスrefを求め[ステップS705]、それらを用いてブロックblkのレート歪みコストを最小化する補正ベクトルcmvを求めた後[ステップS706]、{md、ref、cmv}の組に対応する視差補償情報を求め、EDispInfo[MBBlk][blk]に格納する[ステップS707]、という処理を繰り返す。
なお、ステップS706の処理で用いられるブロックに対するレート歪みコストは、実施例1のステップS306(図10)の処理でコストを求める際に用いる式と同様の式を用いて計算することができる。
また、実施例1とも異なり、ブロック分割、補正視差情報、参照視点インデックスの一部だけをレート歪みコストを考慮して決定する方法も考えられるが、このケースについては実施例1と実施例2とを部分的に融合させた変更例として容易に適用可能であるので説明を省略する。
しかし、基準視点画像ブロック分割設定部1051または2061で設定するブロック分割を、基準視点画像をブロック符号化した際のブロック分割と一致させることで、ブロック分割情報を符号化しないことにしてもよい。
その場合、ブロック分割情報を示すための符号量の分だけ符号量を削減することが可能となる。
、適用外のブロックに対する視差補償情報は符号量が最も小さくなるように設定可能であるが、本実施例の変更例として容易に適用可能であるので説明を省略する。
この映像復号装置300は、符号化データを入力する符号化データ入力部301と、基準視点であるカメラAの復号画像を入力する基準視点画像入力部302と、基準視点の画像を含む全ての視差補償の参照対象になりうる画像を格納する画像メモリ303と、入力された符号化データから基準視点に対するブロック分割情報とエピポーラ幾何拘束に基づくグローバル視差情報とを復号するグローバル視差補償情報復号部304と、グローバル視差情報から復号対象の画像の視点に対するエピポーラ幾何拘束に基づくベース視差情報を設定するベース視差情報設定部305と、入力された符号化データから、復号対象の画像に対するブロック分割情報と、視差補償を行う際の参照画像を示す参照視点インデックスと、エピポーラ幾何拘束に従い視差情報を補正する補正視差情報と、視差補償をする際の対応点を補正する補正ベクトルとを復号する視差補償情報復号部306と、復号したデータに基づき復号対象の画像の視点に対する視差補償画像を生成する視差補償画像生成部307と、入力された符号化データと生成した視差補償画像とから復号対象の画像を復号する画像復号部308とを備える。
なお、復号するフレームと同時刻のカメラAのフレームが先立って復号されており、各カメラのカメラパラメータも得られているものとする。
この処理は、上記で説明を行った図9の処理フローに従って実現される。ただし、図9におけるBDispInfoはdecBDispInfo、GDispInfoはdecGDispInfo、符号化対象画像は復号対象画像となる。
RP=Trans(camB,decRef[PIX],PIX,
dcamB(decBDispInfo[PIX]+decMd[PIX]))
+decCmv[PIX]
ここで、camBはカメラBの視点を表し、PIXは復号対象画像の画素位置を示す。
この視差補償画像を用いて、画像復号部308で、入力された符号化データからカメラBの画像が復号される[ステップS806]。なお、復号された画像は画像メモリ303に格納される。
その後、ステップS803〜S806と同様の処理をカメラCに対して施すことで、カメラCの画像が復号されることになる[ステップS807〜S810]。
本発明によれば、視差補償を行うための情報の大幅な増加を防ぎながら、カメラパラメータの推定誤差の影響を考慮した予測精度の高い視差補償を実現することで、多視点画像全体や多視点動画像全体としての高効率な符号化を実現することができる。
Claims (31)
- 多視点画像を符号化するにあたり、一つの基準視点を定め、既に符号化済みの前記基準視点の画像を用いて、前記基準視点以外の視点の画像を符号化する画像符号化方法であって、
前記基準視点の符号化済み画像であるところの参照基準視点画像に対し、エピポーラ幾何拘束に基づいて該基準視点以外の全ての視点の画像との視差を与えるグローバル視差情報を推定し設定するグローバル視差情報設定ステップと、
前記設定したグローバル視差情報を符号化するグローバル視差情報符号化ステップと、
前記設定したグローバル視差情報を、前記基準視点以外の視点の画像であるところの各符号化対象視点画像における、前記エピポーラ幾何拘束に基づいて他の全ての視点との視差を与えるベース視差情報へと変換するベース視差情報設定ステップと、
前記符号化対象視点画像を符号化する際に行う視差補償に用いる既に符号化済みの参照視点画像と該符号化対象視点画像との視差を与える視差情報の、前記ベース視差情報に対する差分で定められる補正視差情報を設定する補正視差情報設定ステップと、
前記補正視差情報を符号化する補正視差情報符号化ステップと、
前記ベース視差情報と前記補正視差情報とによって与えられる対応点情報を用いて、前記参照視点画像から視差補償を行いながら、前記符号化対象視点画像を符号化する視点画像符号化ステップとを有する
ことを特徴とする画像符号化方法。 - 多視点画像を符号化するにあたり、一つの基準視点を定め、既に符号化済みの前記基準視点の画像を用いて、前記基準視点以外の視点の画像を符号化する画像符号化方法であって、
前記基準視点の符号化済み画像であるところの参照基準視点画像に対し、エピポーラ幾何拘束に基づいて該基準視点以外の全ての視点の画像との視差を与えるグローバル視差情報を推定し設定するグローバル視差情報設定ステップと、
前記設定したグローバル視差情報を符号化するグローバル視差情報符号化ステップと、
前記設定したグローバル視差情報を、前記基準視点以外の視点の画像であるところの各符号化対象視点画像における、前記エピポーラ幾何拘束に基づいて他の全ての視点との視差を与えるベース視差情報へと変換するベース視差情報設定ステップと、
前記符号化対象視点画像を符号化する際に行う視差補償に用いる既に符号化済みの参照視点画像と該符号化対象視点画像との対応点を与える視差ベクトルの、前記ベース視差情報によって与えられる視差ベクトルに対する差分で定められる補正視差ベクトルを設定する補正視差ベクトル設定ステップと、
前記補正視差ベクトルを符号化する補正視差ベクトル符号化ステップと、
前記ベース視差情報と前記補正視差ベクトルとを用いて、前記参照視点画像から視差補償を行いながら、前記符号化対象視点画像を符号化する視点画像符号化ステップとを有する
ことを特徴とする画像符号化方法。 - 請求項1に記載の画像符号化方法において、
前記ベース視差情報設定ステップで設定されたベース視差情報と、前記補正視差情報設定ステップで設定された補正視差情報とを用いて表される視差情報によって示される、前記符号化対象視点画像と前記参照視点画像との間の対応点ベクトルに対し、前記視差補償に用いる視差補償ベクトルからの変位である補正ベクトルを設定する補正ベクトル設定ステップと、
前記補正ベクトルを符号化するステップとを有し、
前記視点画像符号化ステップでは、前記補正ベクトルにより補正された前記視差補償ベクトルを用いて視差補償を行う
ことを特徴とする画像符号化方法。 - 請求項1および請求項2のいづれかに記載の画像符号化方法において、
前記参照基準視点画像における領域分割を設定する基準視点領域分割設定ステップを有し、
前記グローバル視差情報設定ステップでは、前記基準視点領域分割設定ステップで設定された領域ごとに、前記グローバル視差情報を推定し設定する
ことを特徴とする画像符号化方法。 - 請求項4に記載の画像符号化方法において、
前記参照基準視点画像が、画像全体を領域分割されて各領域ごとに符号化処理されている場合に、
前記基準視点領域分割設定ステップでは、前記参照基準視点画像の符号化データに含まれる領域分割情報に従って、同様の領域分割を設定する
ことを特徴とする画像符号化方法。 - 請求項4に記載の画像符号化方法において、
前記基準視点領域分割設定ステップで設定された領域分割を示す領域分割情報を符号化する基準視点領域分割符号化ステップを更に有する
ことを特徴とする画像符号化方法。 - 請求項6に記載の画像符号化方法において,
前記参照基準視点画像が,画像全体を領域分割されて各領域ごとに符号化処理されている場合に,
前記基準視点領域分割符号化ステップでは,前記参照基準視点画像の符号化データに含まれる領域分割情報との違いを示す情報のみを符号化する
ことを特徴とする画像符号化方法。 - 請求項1および請求項2のいづれかに記載の画像符号化方法において、
前記符号化対象視点画像における領域分割を設定する符号化対象視点領域分割設定ステップを有し、
前記視点画像符号化ステップでは、前記符号化対象視点領域分割設定ステップで設定された領域ごとに、視差補償の参照先を変更しながら符号化対象視点画像を符号化する
ことを特徴とする画像符号化方法。 - 請求項8に記載の画像符号化方法において、
前記視点画像符号化ステップにおいて、前記符号化対象視点画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化される場合に、
前記視点画像符号化ステップでは、前記符号化対象視点領域分割設定ステップで設定された領域分割を用いて符号化を行う、
ことを特徴とする画像符号化方法。 - 請求項8に記載の画像符号化方法において、
前記符号化対象視点領域分割設定ステップで設定された領域分割を示す領域分割情報を符号化する符号化対象視点領域分割符号化ステップを更に有する
ことを特徴とする画像符号化方法。 - 請求項10に記載の画像符号化方法において、
前記視点画像符号化ステップにおいて、前記符号化対象視点画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
前記符号化対象視点領域分割符号化ステップでは、前記視点画像符号化ステップで用いた領域分割との違いを示す情報のみを符号化する
ことを特徴とする画像符号化方法。 - 請求項1および請求項2のいづれかに記載の画像符号化方法において、
前記参照視点画像の視点となる参照視点を設定する参照視点設定ステップと、
前記参照視点を示す視点インデックスを符号化するステップとを有し、
前記視点画像符号化ステップでは、前記設定された参照視点の符号化済み画像を前記参照視点画像として用いる
ことを特徴とする画像符号化方法。 - 請求項8に記載の画像符号化方法において、
前記符号化対象視点領域分割設定ステップで設定された領域ごとに、前記参照視点画像の視点となる参照視点を設定する参照視点設定ステップと、
前記参照視点を示す視点インデックスを符号化するステップとを有し、
前記視点画像符号化ステップでは、前記符号化対象視点領域分割設定ステップで設定された領域ごとに、前記設定された参照視点の符号化済み画像を前記参照視点画像として用いる
ことを特徴とする画像符号化方法。 - 請求項1および請求項2のいづれかに記載の画像符号化方法において、
前記符号化対象視点画像における領域分割を設定する領域分割設定ステップと、
前記領域分割設定ステップにおいて設定された領域ごとに、前記エピポーラ幾何拘束に基づいて、前記符号化対象視点画像を視差補償するための対応点を与えるローカル視差情報を求めるステップと、
前記ローカル視差情報を、前記グローバル視差情報へと変換するグローバル視差情報候補を設定するグローバル視差情報候補設定ステップとを有し、
前記グローバル視差情報設定ステップでは、各領域内の前記グローバル視差情報候補の平均値または各領域内のグローバル視差情報候補のうち最も多く現れる値を前記グローバル視差情報として設定する
ことを特徴とする画像符号化方法。 - 多視点画像の符号化データを復号するにあたり、一つの基準視点が存在し、既に復号済みの前記基準視点の画像であるところの参照基準視点画像を用いて、前記基準視点以外の視点の画像を復号する画像復号方法であって、
符号化データから、前記参照基準視点画像における前記基準視点以外の全ての視点の画像との視差をエピポーラ幾何拘束に基づいて与えるグローバル視差情報を復号するグローバル視差情報復号ステップと、
前記復号したグローバル視差情報を、前記基準視点以外の視点の画像であるところの各復号対象視点画像における、前記エピポーラ幾何拘束に基づいて他の全ての視点との視差を与えるベース視差情報へと変換するベース視差情報設定ステップと、
前記符号化データから、前記復号対象視点画像を復号する際に行う視差補償に用いる既に復号済みの参照視点画像と該復号対象視点画像との視差を与える視差情報の、前記ベース視差情報に対する差分で定められた補正視差情報を復号する補正視差情報復号ステップと、
前記ベース視差情報と前記補正視差情報とによって与えられる対応点情報を用いて、前記参照視点画像から視差補償を行いながら、前記符号化データから、前記復号対象視点画像を復号する視点画像復号ステップとを有する
ことを特徴とする画像復号方法。 - 多視点画像の符号化データを復号するにあたり、一つの基準視点が存在し、既に復号済みの前記基準視点の画像であるところの参照基準視点画像を用いて、前記基準視点以外の視点の画像を復号する画像復号方法であって、
符号化データから、前記参照基準視点画像における前記基準視点以外の全ての視点の画像との視差をエピポーラ幾何拘束に基づいて与えるグローバル視差情報を復号するグローバル視差情報復号ステップと、
前記復号したグローバル視差情報を、前記基準視点以外の視点の画像であるところの各復号対象視点画像における、前記エピポーラ幾何拘束に基づいて他の全ての視点との視差を与えるベース視差情報へと変換するベース視差情報設定ステップと、
前記符号化データから、前記復号対象視点画像を復号する際に行う視差補償に用いる既に復号済みの参照視点画像と該復号対象視点画像との対応点を与える視差ベクトルの、前記ベース視差情報によって与えられる視差ベクトルに対する差分で定められた補正視差ベクトルを復号する補正視差ベクトル復号ステップと、
前記ベース視差情報と前記補正視差ベクトルとによって与えられる対応点情報を用いて、前記参照視点画像から視差補償を行いながら、前記符号化データから、前記復号対象視点画像を復号する視点画像復号ステップとを有する
ことを特徴とする画像復号方法。 - 請求項15に記載の画像復号方法において、
前記符号化データから、前記視差補償に用いる視差補償ベクトルに対する、前記ベース視差情報設定ステップで設定されたベース視差情報と、前記補正視差情報復号ステップで復号された補正視差情報とを用いて表される、前記復号対象視点画像と前記参照視点画像との間の対応点ベクトルからの差分で定められた補正ベクトルを復号する補正ベクトル復号ステップを有し、
前記視点画像復号ステップでは、前記補正ベクトルにより補正された前記視差補償ベクトルを用いて視差補償を行う
ことを特徴とする画像復号方法。 - 請求項15および請求項16のいづれかに記載の画像復号方法において、
前記符号化データから、前記参照基準視点画像における領域分割を示す情報を復号する基準視点領域分割復号ステップを有し、
前記グローバル視差情報復号ステップでは、前記基準視点領域分割復号ステップで得られた領域分割の領域ごとに、前記グローバル視差情報を復号する
ことを特徴とする画像復号方法。 - 請求項18に記載の画像復号方法において、
前記参照基準視点画像が、画像全体を領域分割されて各領域ごとに符号化処理されている場合に、
前記基準視点領域分割復号ステップでは、前記参照基準視点画像の符号化データに含まれる領域分割を示す情報から領域分割を設定する
ことを特徴とする画像復号方法。 - 請求項18に記載の画像復号方法において,
参照基準視点画像が,画像全体を領域分割されて各領域ごとに符号化処理されている場合に,
前記基準視点領域分割復号ステップでは,前記参照基準視点画像の符号化データに含まれる領域分割を示す情報との違いを示す情報を復号し、該領域分割を示す情報と該違いを示す情報とを用いることで、前記グローバル視差情報復号時の領域分割を設定する
ことを特徴とする画像復号方法。 - 請求項15および請求項16のいづれかに記載の画像復号方法において、
前記符号化データから、前記復号対象視点画像における領域分割を示す情報を復号する復号対象視点領域分割復号ステップを有し、
前記視点画像復号ステップでは、前記符号化対象視点領域分割復号ステップで復号された情報によって示される領域分割の領域ごとに、前記視差補償に用いる視差補償ベクトルを変更しながら復号対象視点画像を復号する
ことを特徴とする画像復号方法。 - 請求項21に記載の画像復号方法において、
前記復号対象視点画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
前記復号対象視点領域分割復号ステップでは、前記復号対象視点画像の符号化データに含まれる領域分割を示す情報から、領域分割を設定する
ことを特徴とする画像復号方法。 - 請求項21に記載の画像復号方法において、
前記復号対象視点画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
前記復号対象視点領域分割復号ステップでは、前記符号化データから、領域分割に関する前記領域分割情報との違いを示す情報を復号し、該領域分割情報と該違いを示す情報とを用いることで、前記視差補償ベクトル変更用の領域分割を設定する
ことを特徴とする画像復号方法。 - 請求項15および請求項16のいづれかに記載の画像復号方法において、
前記符号化データから、前記参照視点画像の視点を示す視点インデックスを復号する視点インデックス復号ステップと、
前記視点インデックスによって示される視点を参照視点として設定するステップとを有し、
前記視点画像復号ステップでは、前記参照視点の復号済み画像を前記参照視点画像として用いる
ことを特徴とする画像復号方法。 - 請求項21に記載の画像復号方法において、
前記復号対象視点領域分割復号ステップで設定された領域ごとに、符号化データから、前記参照視点画像の視点を示す視点インデックスを復号する視点インデックス復号ステップと、
前記復号対象視点領域分割復号ステップで設定された領域ごとに、前記視点インデックスによって示される視点を参照視点として設定するステップとを有し、
前記視点画像復号ステップでは、前記復号対象視点領域分割復号ステップで設定された領域ごとに、前記設定された参照視点の復号済み画像を前記参照視点画像として用いる
ことを特徴とする画像復号方法。 - 請求項1および請求項2のいづれかに記載の画像符号化方法における各ステップを実行するための手段を備える
ことを特徴とする画像符号化装置。 - 請求項1および請求項2のいづれかに記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラム。
- 請求項1および請求項2のいづれかに記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項15および請求項16のいづれかに記載の画像復号方法における各ステップを実行するための手段を備える
ことを特徴とする画像復号装置。 - 請求項15および請求項16のいづれかに記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラム。
- 請求項15および請求項16のいづれかに記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008535345A JP4999853B2 (ja) | 2006-09-20 | 2007-09-18 | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006254023 | 2006-09-20 | ||
JP2006254023 | 2006-09-20 | ||
PCT/JP2007/068041 WO2008035654A1 (fr) | 2006-09-20 | 2007-09-18 | Procédés et dispositifs de codage et de décodage d'image, dispositif et programmes de décodage d'image, et support de stockage desdits programmes |
JP2008535345A JP4999853B2 (ja) | 2006-09-20 | 2007-09-18 | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008035654A1 JPWO2008035654A1 (ja) | 2010-01-28 |
JP4999853B2 true JP4999853B2 (ja) | 2012-08-15 |
Family
ID=39200480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008535345A Active JP4999853B2 (ja) | 2006-09-20 | 2007-09-18 | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8385628B2 (ja) |
EP (1) | EP2066132A4 (ja) |
JP (1) | JP4999853B2 (ja) |
KR (1) | KR101031624B1 (ja) |
CN (1) | CN101536529B (ja) |
BR (1) | BRPI0716814A2 (ja) |
CA (1) | CA2663084C (ja) |
RU (1) | RU2406257C2 (ja) |
TW (1) | TWI348320B (ja) |
WO (1) | WO2008035654A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050827A1 (ja) * | 2012-09-25 | 2014-04-03 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
JP5219199B2 (ja) * | 2008-07-11 | 2013-06-26 | 日本電信電話株式会社 | 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
US20110135005A1 (en) | 2008-07-20 | 2011-06-09 | Dolby Laboratories Licensing Corporation | Encoder Optimization of Stereoscopic Video Delivery Systems |
WO2010108024A1 (en) * | 2009-03-20 | 2010-09-23 | Digimarc Coporation | Improvements to 3d data representation, conveyance, and use |
JP2011060216A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 画像処理装置および画像処理方法 |
US20120320986A1 (en) * | 2010-02-23 | 2012-12-20 | Nippon Telegraph And Telephone Corporation | Motion vector estimation method, multiview video encoding method, multiview video decoding method, motion vector estimation apparatus, multiview video encoding apparatus, multiview video decoding apparatus, motion vector estimation program, multiview video encoding program, and multiview video decoding program |
KR101628383B1 (ko) | 2010-02-26 | 2016-06-21 | 연세대학교 산학협력단 | 영상 처리 장치 및 방법 |
RU2480941C2 (ru) | 2011-01-20 | 2013-04-27 | Корпорация "Самсунг Электроникс Ко., Лтд" | Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности |
US9247249B2 (en) | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
KR101954007B1 (ko) * | 2011-06-30 | 2019-03-04 | 소니 주식회사 | 화상 처리 장치 및 방법 |
JP5367034B2 (ja) * | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
MX358407B (es) * | 2011-08-31 | 2018-08-20 | Sony Corp | Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion y metodo de descodificacion. |
KR101383486B1 (ko) | 2011-12-07 | 2014-04-09 | 경희대학교 산학협력단 | 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법 |
TWI618403B (zh) * | 2012-04-16 | 2018-03-11 | Jvc Kenwood Corp | Dynamic image decoding device, dynamic image decoding method, and recording medium storing dynamic image decoding program |
JP5531282B2 (ja) * | 2012-06-18 | 2014-06-25 | 日本電信電話株式会社 | 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
WO2014005280A1 (en) * | 2012-07-03 | 2014-01-09 | Mediatek Singapore Pte. Ltd. | Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction |
WO2014010584A1 (ja) * | 2012-07-09 | 2014-01-16 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
US9350970B2 (en) | 2012-12-14 | 2016-05-24 | Qualcomm Incorporated | Disparity vector derivation |
CN107318027B (zh) * | 2012-12-27 | 2020-08-28 | 日本电信电话株式会社 | 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序 |
JP2014176034A (ja) * | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | 映像伝送装置 |
JP2015050661A (ja) * | 2013-09-02 | 2015-03-16 | キヤノン株式会社 | 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム |
EP3142366A1 (en) | 2015-09-14 | 2017-03-15 | Thomson Licensing | Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product |
JP2017211694A (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10638130B1 (en) * | 2019-04-09 | 2020-04-28 | Google Llc | Entropy-inspired directional filtering for image coding |
CN111372081B (zh) * | 2020-03-17 | 2022-06-17 | 四川大学 | 基于丢失块修复的分布式多视点视频解码的方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
JPH09275578A (ja) * | 1996-04-04 | 1997-10-21 | Sharp Corp | 多視点画像符号化装置および復号装置 |
JPH10271511A (ja) * | 1997-01-22 | 1998-10-09 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
WO2005018217A2 (en) * | 2003-08-07 | 2005-02-24 | Sony Electronics, Inc. | Semantics-based motion estimation for multi-view video coding |
WO2006073116A1 (ja) * | 2005-01-07 | 2006-07-13 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 |
WO2007077942A1 (ja) * | 2006-01-05 | 2007-07-12 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
WO2007077989A1 (ja) * | 2006-01-05 | 2007-07-12 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5790086A (en) | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
FR2756399B1 (fr) | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
JP3519594B2 (ja) | 1998-03-03 | 2004-04-19 | Kddi株式会社 | ステレオ動画像用符号化装置 |
JP4608136B2 (ja) | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | 動きベクトル及び視差ベクトル検出装置 |
CN100342733C (zh) * | 2002-06-28 | 2007-10-10 | 夏普株式会社 | 图像数据分发***及其图像数据发送装置及图像数据接收装置 |
JP2006054504A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
JP4562774B2 (ja) | 2004-10-12 | 2010-10-13 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置 |
JP2006254023A (ja) | 2005-03-10 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 字幕用表示言語選択装置およびその方法 |
EP1929783B1 (en) | 2005-09-29 | 2017-06-21 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding a multi-view picture using disparity vectors, and computer readable recording medium storing a program for executing the method |
KR101276720B1 (ko) * | 2005-09-29 | 2013-06-19 | 삼성전자주식회사 | 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
-
2007
- 2007-09-18 CA CA 2663084 patent/CA2663084C/en active Active
- 2007-09-18 US US12/441,234 patent/US8385628B2/en active Active
- 2007-09-18 KR KR20097005344A patent/KR101031624B1/ko active IP Right Grant
- 2007-09-18 EP EP07807442A patent/EP2066132A4/en not_active Withdrawn
- 2007-09-18 WO PCT/JP2007/068041 patent/WO2008035654A1/ja active Application Filing
- 2007-09-18 CN CN2007800412118A patent/CN101536529B/zh active Active
- 2007-09-18 JP JP2008535345A patent/JP4999853B2/ja active Active
- 2007-09-18 BR BRPI0716814-4A2A patent/BRPI0716814A2/pt not_active IP Right Cessation
- 2007-09-18 RU RU2009107689A patent/RU2406257C2/ru active
- 2007-09-19 TW TW096134796A patent/TWI348320B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
JPH09275578A (ja) * | 1996-04-04 | 1997-10-21 | Sharp Corp | 多視点画像符号化装置および復号装置 |
JPH10271511A (ja) * | 1997-01-22 | 1998-10-09 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
WO2005018217A2 (en) * | 2003-08-07 | 2005-02-24 | Sony Electronics, Inc. | Semantics-based motion estimation for multi-view video coding |
WO2006073116A1 (ja) * | 2005-01-07 | 2006-07-13 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 |
WO2007077942A1 (ja) * | 2006-01-05 | 2007-07-12 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
WO2007077989A1 (ja) * | 2006-01-05 | 2007-07-12 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050827A1 (ja) * | 2012-09-25 | 2014-04-03 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
JP5883153B2 (ja) * | 2012-09-25 | 2016-03-09 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR101031624B1 (ko) | 2011-04-27 |
JPWO2008035654A1 (ja) | 2010-01-28 |
TW200822761A (en) | 2008-05-16 |
US8385628B2 (en) | 2013-02-26 |
CA2663084C (en) | 2014-08-12 |
EP2066132A1 (en) | 2009-06-03 |
RU2406257C2 (ru) | 2010-12-10 |
WO2008035654A1 (fr) | 2008-03-27 |
TWI348320B (en) | 2011-09-01 |
BRPI0716814A2 (pt) | 2013-11-05 |
US20100086222A1 (en) | 2010-04-08 |
EP2066132A4 (en) | 2012-11-07 |
CN101536529A (zh) | 2009-09-16 |
KR20090053821A (ko) | 2009-05-27 |
RU2009107689A (ru) | 2010-09-10 |
CA2663084A1 (en) | 2008-03-27 |
CN101536529B (zh) | 2011-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999853B2 (ja) | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
KR101023262B1 (ko) | 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체 | |
TWI502969B (zh) | 活動影像編碼方法及解碼方法、其電腦程式以及記錄有該電腦程式之記憶媒體 | |
JP5833757B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
JPWO2007077989A1 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
JP6307152B2 (ja) | 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム | |
TWI499277B (zh) | 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式 | |
KR20150122726A (ko) | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 | |
JP6232075B2 (ja) | 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム | |
JP5926451B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム | |
KR101750421B1 (ko) | 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램 | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP5759357B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
KR20160140622A (ko) | 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100421 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100526 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4999853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |