JP4937741B2 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 - Google Patents

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4937741B2
JP4937741B2 JP2006519047A JP2006519047A JP4937741B2 JP 4937741 B2 JP4937741 B2 JP 4937741B2 JP 2006519047 A JP2006519047 A JP 2006519047A JP 2006519047 A JP2006519047 A JP 2006519047A JP 4937741 B2 JP4937741 B2 JP 4937741B2
Authority
JP
Japan
Prior art keywords
image
setting
encoding
target information
code table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006519047A
Other languages
English (en)
Other versions
JPWO2006073116A1 (ja
Inventor
正樹 北原
一人 上倉
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006519047A priority Critical patent/JP4937741B2/ja
Publication of JPWO2006073116A1 publication Critical patent/JPWO2006073116A1/ja
Application granted granted Critical
Publication of JP4937741B2 publication Critical patent/JP4937741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、多視点動画像の符号化に用いられる映像符号化方法及びその装置と、その映像符号化方法の実現に用いられる映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像符号化技術により生成された符号化データを復号する映像復号方法及びその装置と、その映像復号方法の実現に用いられる映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００５年１月７日に出願された特願２００５−００２４２３号に基づき優先権を主張し、その内容をここに援用する。
多視点動画像は、様々な位置にある複数のカメラで同じ被写体と背景を撮影した複数の動画像である。以下では、一つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像の集合を“多視点動画像”と呼ぶ。
多視点動画像に含まれる各カメラの２次元動画像は、時間方向に強い相関がある。一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。
まず、２次元動画像の符号化方式に関する従来技術を述べる。
国際符号化標準であるＨ.264、ＭＰＥＧ−４、ＭＰＥＧ−２をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。
例えば、Ｈ.264では、Ｉフレームにおいてはフレーム内相関を利用して符号化が可能で、Ｐフレームでは過去の複数枚のフレームにおけるフレーム間相関を利用して符号化が可能で、Ｂフレームでは過去あるいは未来の複数枚毎のフレームにおけるフレーム間相関を利用して符号化が可能である。
Ｉフレームではフレームをブロック分割し（このブロックをマクロブロックといい、ブロックサイズは１６×１６である）、各マクロブロックにおいてイントラ予測を行う。イントラ予測の際には、各マクロブロックをさらに小さなブロックに分割し（以後、サブブロックと呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。
一方、Ｐフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行うことができる。Ｐフレームにおけるイントラ予測はＩフレームの場合と同様である。一方、インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをより小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つことができる。
また、Ｂフレームにおいても、イントラ予測とインター予測が行えるが、Ｂフレームでのインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画像にできる。例えば、Ｉフレーム→Ｂフレーム→Ｂフレーム→Ｐフレームというフレーム構成で符号化する場合、Ｉ→Ｐ→Ｂ→Ｂの順番で符号化することとなる。そして、Ｂフレームでは、Ｉフレーム及びＰフレームを参照して動き補償ができる。また、Ｐフレームの場合と同様に、マクロブロックを分割したサブブロックごとに異なる動きベクトルを持つことができる。
イントラもしくはインター予測を行うと予測残差が得られるが、各マクロブロックで予測残差ブロックにＤＣＴ（離散コサイン変換）を行って量子化が行われる。具体的には、ブロックサイズ１６×１６のマクロブロックは４×４のサブブロックに分割され、４×４のＤＣＴが行われる。そして、ＤＣＴ係数の量子化値列は次のような情報で表現される。
・Coded block pattern：マクロブロック内に定義できる４つの８×８ブロックのうち、どのブロック内で非ゼロであるＤＣＴ係数（以後、非ゼロ係数）が存 在するか示す情報
・Coded block flag：非ゼロ係数が存在する８×８ブロック内における４つの４×４ブロックのうち、どの４×４ブロックに非ゼロ係数が存在するか示す情報
・Significanceマップ：Coded block flagで示される４×４ブロックに存在するＤＣＴ係数のうち、どの係数が非ゼロであるか示す情報
・レベル情報：Significanceマップが示す非ゼロ係数の値
上記のＤＣＴ係数に関連する情報に加え、各マクロブロックのサブブロックへの分割方法や動きベクトルなどに対して、エントロピー符号化と呼ばれる可逆符号化が施されて符号化が完了する。
ここで、画素領域の量子化値、あるいは画像ブロックに対して直交変換した変換係数の量子化値（ＤＣＴ係数の場合、上記のレベル情報に対応する）以外のエントロピー符号化の対象となる情報を“補助情報”と呼ぶこととする。Ｈ.264の場合、上記ＤＣＴ係数関連の補助情報以外の補助情報として、例えば以下のようなものがある。これらの補助情報はマクロブロック単位で与えられる。
・マクロブロックタイプ及びサブマクロブロックタイプ： マクロブロックタイプは、マクロブロックでイントラ予測を行うか、インター予測を行うかの指定、予測方法、ブロックの分割形式などの組み合わせをインデックスで表現したものである。一方、サブマクロブロックタイプは、サブブロックでの予測方法、ブロックの分割形式などの組み合わせをインデックスで表現したものである。
・参照画像インデックス： 各サブブロックでの動き補償に利用される参照画像のインデックス値である。
・動きベクトル： 各サブブロックにおける動きベクトルである。Ｈ.264では、周辺の動きベクトルで予測した残差として表現している。
次に、エントロピー符号化に関する概要を説明する。
エントロピー符号化は可逆符号化である。ここで、一般的に可逆符号化とは、符号化対象のシンボル（整数の集合から取り出した一つの値と解釈すれば良い）を１と０によるビット列に変換する処理である。例えば、符号化対象のシンボルが｛０，１，２，３｝という整数の集合における一つの値であるとき、そのシンボルが０の時は００、１のときは０１、２のときは１０、３のときは１１、に符号化すれば可逆符号化になる。この符号化方法は固定長符号化と呼ばれている。ここで、シンボルを符号化するための符号の集合（この例では、｛００，０１，１０，１１｝）を“符号テーブル”と呼ぶ。
固定長符号化は可逆符号化だが、符号化効率の意味では効率が悪い。情報理論では、シンボルの発生確率（整数の集合に関する確率分布）を利用することによって、高効率な可逆符号化を実現できることが知られている。おおまかには、発生確率の高いシンボルには短い符号長を割り振り、発生確率の低いシンボルには長い符号長を割り振ることで平均的には固定長符号化より効率的な符号化が可能になる。このように、確率分布を利用した可逆符号化をエントロピー符号化という。
しかし、前述のような高効率なエントロピー符号化が行えるのは、符号化対象のシンボルの確率分布が既知であることが前提である。従って、従来は経験的に確率分布を決めたり、符号化しながらシンボルの確率分布を学習するという方法が取られていた。なお、シンボルの確率分布から最適な符号テーブルを求める方法は従来からある（ハフマン符号や算術符号）。従って、以下では確率分布と符号テーブルを同義として扱う。
エントロピー符号化を動画像符号化の補助情報、画素値、変換係数値の符号化に利用する場合、これらの符号化対象の情報は画像内で確率が変わる。従って、高効率な符号化を実現するには、画像内の位置によって符号化に利用する符号テーブルを適切なものに切り替える必要がある。すなわち、確率分布を適切なものに切り替える必要がある。
Ｈ.264では、Context-Adaptive Binary Arithmetic Coding(ＣＡＢＡＣ) という方法でこれを実現している（参考文献１：下記の非特許文献１）。以下で、マクロブロックタイプを符号化する場合を例として、Ｈ.264におけるＣＡＢＡＣの概要を示す。
ＣＡＢＡＣでは、あるマクロブロックのマクロブロックタイプを符号化する場合、そのマクロブロックの上及び左のマクロブロックの符号化済みのマクロブロックタイプを参照して符号テーブルを切り替える。
図１７に、この参照関係の概念図を示す。図中のＡ、Ｂと記述されたマクロブロックのマクロブロックタイプは符号化対象のマクロブロックタイプと強い相関がある。
ＣＡＢＡＣでは、この相関を利用して最適な符号テーブルを予測する。具体的には、マクロブロックＡ、Ｂについて、あり得るすべてのマクロブロックタイプの値の組み合わせについてそれぞれ符号テーブルを保持し、実際のＡ、Ｂのマクロブロックタイプの値に対応した符号テーブル（確率分布）を利用して符号化対象のマクロブロックタイプをエントロピー符号化する。その他の符号化対象の情報も同じ考え方に基づいてエントロピー符号化される。
次に、従来の多視点動画像の符号化方法について説明する。
従来の多視点動画像の符号化では、上記の時間方向及び視差方向（カメラ間）の相関を利用して符号化効率を高めるために、時間方向の予測及びカメラ間での補償を行った符号化を採用している。その一例としては、参考文献２（下記の非特許文献２）に示される手法がある。
この手法では、“ＧＯＰ”と呼ばれるフレームの集まりを、Ｂase ＧＯＰとＩnterＧＯＰという２種類のＧＯＰに分類し、符号化する。Ｂase ＧＯＰと呼ばれるＧＯＰでは、同一カメラのＧＯＰの画像に含まれる全てのフレームがイントラあるいはインター予測によって符号化されるが、Ｉnter ＧＯＰと呼ばれるＧＯＰに含まれるフレームでは、このようなイントラ、インター予測に加え、別のカメラのＧＯＰの画像を利用した視差方向予測も利用して良い。ここで、視差方向予測というのは、あるカメラの画像のマクロブロックを符号化するにあたり、別のカメラの画像を参照画像として動き補償と同じ処理を行うことである。
図１８に、この方法におけるＧＯＰ構造の一例を示す。図の例においては、各ＧＯＰは２つの画像を有し、各矢印は画像間の参照関係を表している。この方法では、時間方向及び視差方向の相関が符号化に利用されるため、時間方向のみの相関を利用した方法より符号化効率を向上させることが可能である。
Detlev Marpe, et.al., "Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13. No. 7, pp. 620-636, July, 2003. Hideaki Kimataand Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)," document M10976 MPEG Redmond Meeting, July, 2004.
しかしながら、参考文献２の手法では、符号化対象の多視点動画像を符号化するときに、先ず最初に、符号化効率に基づいて、時間方向の予測を使って符号化を行うのか、視差方向の予測を使って符号化を行うのかを決めるようにして、それに従って、時間方向の予測を使って符号化を行うことを決定すると、その後は、視差方向の相関を一切考慮することなく符号化を行うようにしている。
この場合、符号化対象の多視点動画像において、被写体と背景の時間的な変化が緩やかで、時間方向の相関がカメラ間の相関に勝る場合、参考文献２の方法に従っていると、時間方向の相関しか利用しない方法と比較して符号化効率を向上させることができないという問題がある。
これは、参考文献２の方法を前述のような多視点動画像に適用すると、常に時間方向の予測が利用され、時間方向の相関しか利用しない方法とほぼ同じ符号化を行うことになるからである。
しかし、時間方向の予測しか行われない場合も、予測残差やその直交変換係数、動きベクトルやマクロブロックタイプのような補助情報は、カメラ間で相関がある。従って、これらの情報の符号化においてカメラ間の相関を利用することが考えられる。
一方、動き補償の予測誤差を画素領域で量子化し、その量子化値をエントロピー符号化するような符号化方法を前提とした場合、一つの２次元動画像を符号化する方法である参考文献３（塩寺太一郎，松田一朗，伊東晋,"動き補償と３次元予測に基づいた動画像の可逆符号化〜コンテクストモデリングに関する検討〜",情報科学技術フォーラム(FIT 2003)講演論文集, No. J-053, pp. 303-304, Sep. 2003）の手法を応用することが考えられる。
この参考文献３の手法では、予測残差の量子化値のエントロピー符号化の際に、各ブロックで求められた動きベクトルを利用して、前フレームのすでに符号化が終了している量子化値を参照することで符号テーブルを切り替えるようにしている。
具体的には、現在符号化対象となっている画素の位置を（ｘ，ｙ）、その画素が含まれるブロックの動きベクトルを（ｍx ，ｍy ) としたとき、前フレームで（ｘ＋ｍx ，ｙ＋ｍy ）の位置の周辺の画素に対応した量子化値の和を参照して符号テーブルを切り替える。（ｘ＋ｍx ，ｙ＋ｍy ）の位置の周辺の画素に対応した量子化値は、符号化対象の画素の量子化値と相関があるため、この手法を用いることで符号化効率を向上させることが可能となる。
この手法を多視点動画像の符号化において、（画素領域における）予測残差の量子化値のエントロピー符号化に応用する場合には、各ブロックで隣接するカメラの同一フレームに対して視差ベクトルを求め、参考文献３の手法で時間方向に行っていた処理を視差方向に行えばよい。
しかしながら、このような容易に類推可能な方法では、予測残差の量子化値自体の符号化効率を向上させることができるものの、各ブロックに対する視差ベクトルを符号化する必要があるため、全体としての符号化効率を向上させることが困難である。
また、このような容易に類推可能な方法では、画素領域の予測残差以外の符号化対象情報（例えば、直交変換係数、動きベクトルやマクロブロックタイプなどの補助情報）を効率的に符号化することはできない。これは、画素領域の予測残差とその他の符号化対象情報との間に相関がないからである。
本発明はかかる事情に鑑みてなされたものであって、多視点動画像を符号化するときに、エントロピー符号化において視差方向の相関を利用して符号化を行うことができるようにすることで、従来視差方向予測によって符号化効率を向上させることができないでいた多視点動画像を含めたあらゆる多視点動画像に対して、その符号化効率を向上させることができるようにする新たな符号化技術の提供を目的とする。
上記事情を鑑みて、本発明は、複数の画像を一つの映像として符号化する映像符号化方法であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化方法を提供する。
このように構成される本発明によれば、参照される視差情報（視差ベクトルなどのような視差の大きさを示す情報）を符号化しないか、もしくは符号化してもデータ量を小さく抑えることができ、なおかつ、視差方向の相関を利用して符号化対象となっている符号化対象情報を符号化できることにより、複数の映像（例えば多視点動画像）を効率的に符号化できるようになる。
この実現にあたって、ブロックごとに視差情報を求めて符号化するのでなく、異なるカメラ間の視点ずれを示す視差情報を推定するか，もしくは一つの画像に対して１つの平均的な視差情報（グローバル視差情報）を求めて符号化する。
各カメラのカメラパラメータが既知であり、２つ以上のカメラの復号画像が参照可能である場合には、符号化対象画像（第１の画像）を利用せずに、符号化対象画像の各画素に関する視差情報(視差ベクトル)を推定することができる。
また、カメラが一列に並んでいて視軸が平行であるような場合、各カメラの同一時刻の画像列は被写体が平行移動した動画像を撮影していることと等価なので、参照視差情報のみでローカルな視差情報を近似できる。
そして、上記のような視差情報を利用して、別の画像の符号化対象情報を参照して、符号化対象画像のエントロピー符号化用の符号テーブルを切り替える。
好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定する。これによれば、ロバストな符号テーブルの切り替えが可能となる。
これにより、参照視差情報の精度などの影響がある場合でも、上記第２の画像内の対応位置を設定するにあたり、上記第１の画像内の上記所定位置の統計的なばらつきにも対応できるという効果がある。
即ち、周辺の複数の対応位置を参照して符号テーブルを設定することにより、参照視差情報の精度などの影響を吸収することが可能となる。
典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する。
この場合、符号テーブル設定手段は、その対応位置のブロックの符号化対象情報を参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロックベースの符号化において、各ブロックに対して求められる符号化対象情報（直交変換係数、マクロブロックタイプなど）の効率的な符号化が行えるようになる。
別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する。
このときには、符号テーブル設定手段は、その複数のブロックの符号化対象情報を参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロックベースの符号化において、前述した理由と同じ理由により、ロバストな符号テーブルの切り替えが可能となる。
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定するようにしても良い。
この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、マクロブロックタイプや予測モードのような、数値として表現されているがあくまでもインデックスとしての数値である、大小関係が定義できない符号化対象情報を効率的に符号化することができるようになる。
すなわち、参照する対応位置の数がＮであった場合、Ｎ個のシンボルの全組み合わせについて符号テーブルを用意すると、参照する対応位置の数が１の場合の符号テーブル数ｃに対してｃN-1 個の符号テーブルを持つ必要がある。つまり、符号テーブルの数は指数的に増加する。これに対して、この構成を採ると、複数の対応位置に関する符号化対象情報の最頻値を参照して符号テーブルを切り替えるので、符号テーブルの数はｃで済む。
また、前記符号テーブル設定ステップにおいて、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定するようにしても良い。
この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、直交変換係数の量子化値や非ゼロ係数の数などのような大小関係が定義できる符号化対象情報を効率的に符号化することができるようになる。
上述のように、参照する対応位置の数がＮであった場合、Ｎ個のシンボルの全組み合わせについて符号テーブルを用意すると、参照する対応位置の数が１の場合の符号テーブル数ｃに対してｃN-1 個の符号テーブルを持つ必要がある。これに対して、この構成を採ると、複数の対応位置に関する符号化対象情報の平均値を参照して符号テーブルを切り替えるので、符号テーブルの数はｃで済む。
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号方法を提供する。
好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定する。
典型例として、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する。
別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する。
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定しても良く、また、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定しても良い。
本発明はまた、複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化装置を提供する。
本発明はまた、複数の画像を一つの映像として符号化する映像符号化装置であって、
第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化装置。
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号装置を提供する。
本発明はまた、複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
を有し、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号装置。
本発明の各方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することができる。
以上に説明したように、本発明によれば、視差方向予測によって符号化効率を向上させることができないでいた多視点動画像に対して、エントロピー符号化において視差方向の相関を利用することが可能となることから、あらゆる多視点動画像に対して、符号化効率を向上させることができるようになる。
符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 本発明の一実施形態において、カメラの構成を示す概念図である。 同実施形態における映像符号化装置の構成を示す図である。 同実施形態における符号化対象情報参照符号化部の構成を示す図である。 同実施形態において、映像符号化装置の実行する動作フローを示す図である。 同実施形態において、カメラＣ２の画像中の符号化対象情報の符号化処理の動作フローを示す図である。 符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 同実施形態における映像復号装置の構成を示す図である。 同実施形態における符号化対象情報参照復号部の構成を示す図である。 同実施形態において、映像復号装置の実行する動作フローを示す図である。 同実施形態において、カメラＣ２の画像中の符号化対象情報の復号処理の動作フローを示す図である。 同実施形態において、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 同様に、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す図である。 符号化対象画像を利用せずに、該画像の各画素に関する視差情報(視差ベクトル)を推定する原理を示す図である。 視差情報を推定する場合の、カメラＣ２の画像中の符号化対象情報の符号化処理の動作フローを示す図である。 視差情報を推定する場合の、カメラＣ２の画像中の符号化対象情報の復号処理の動作フローを示す図である。 Ｈ.264における符号テーブルを切り替えるためのマクロブロックの参照関係を示す図である。 従来技術のＧＯＰ構造の一例を示す図である。
符号の説明
１ 映像符号化装置
２ 映像復号装置
１０ 画像情報入力部
１１ 画像メモリ
１２ 参照視差情報設定部
１３ 符号化対象情報非参照符号化部
１４ 符号化対象情報メモリ
１５ 符号化対象情報参照符号化部
１６ グローバル視差符号化部
２０ 符号化対象情報非参照復号部
２１ 符号化対象情報メモリ
２２ 符号化対象情報参照復号部
２３ グローバル視差復号部
２４ 画像情報復元部
２５ 画像情報出力部
以下、実施の形態に従って本発明を詳細に説明する。
まず、図１Ａ、１Ｂ及び図２Ａ，２Ｂに、符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す。ここで、これらの図では、説明の便宜上、参照視差情報としてグローバル視差ベクトル（グローバル視差情報）を用いることを想定している。
これらの図では、２つのカメラ（カメラＣ１、カメラＣ２）で撮影された映像を符号化することを想定しており、カメラＣ１に関する符号化対象情報（符号化対象情報とはエントロピー符号化の対象となる情報の総称で、予測残差、直交変換係数、マクロブロックタイプなどの情報である）については、カメラＣ２の符号化対象情報を参照せずに符号化し、一方、カメラＣ２の符号化対象情報のエントロピー符号化については、カメラＣ１の符号化済みの符号化対象情報を参照してエントロピー符号化することを想定している。
図１Ａ、１Ｂの例では、カメラＣ２において現時点で符号化対象となっている符号化対象情報が属するブロック５０２（この例ではＭＰＥＧ−２のようなブロックベースの符号化を仮定している）の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置に対応する１つのブロック（図中でＣと記述されたブロック）の符号化対象情報に従って符号テーブルを切り替えて、その符号テーブルを使って符号化対象情報を符号化する。
なお、上記の例で、ブロック５０２の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置に対応する１つのブロックを特定する場合に、好適例としては、ブロック５０１との重複面積が最大となるブロック（例えばＣ）の位置を対応位置として設定するようにする。
また、図２Ａ，２Ｂの例では、カメラＣ２において現時点で符号化対象となっている符号化対象情報が属するブロック５０２（この例ではＭＰＥＧ−２のようなブロックベースの符号化を仮定している）の位置に対応するカメラＣ１の画像中の位置５０１を、カメラＣ１の画像中においてグローバル視差ベクトル分ずらすことで特定される位置周辺に対応する複数のブロック（図中でＣ，Ｄ，Ｅ，Ｆと記述されたブロック）の符号化対象情報に従って符号テーブルを切り替えて、その符号テーブルを使って符号化対象情報を符号化する。
以下の実施形態例では、２つのカメラで撮影された多視点動画像を符号化する場合の具体例を、詳細に説明する。
図３に、本実施形態例で利用するカメラ構成の概念図を示す。ここで、図中に示す四角型の図形は各カメラのフレーム（画像）を表すものとする。
この図に示すように、本実施形態例では、カメラＣ１，Ｃ２を利用することを想定するとともに、カメラＣ１のフレームの全符号化対象情報を同一時刻のカメラＣ２のフレームより前に符号化し、カメラＣ２のフレームの符号化対象情報のエントロピー符号化においてカメラＣ１の（符号化済みの）符号化対象情報を参照することを想定する。
以下では、説明を簡単にするため、図３の中でフレームの図に記述されている順番で符号化していくとする。また、符号化対象情報を符号化する際のブロックのスキャン方法については、各行を左からスキャンし、上の行から処理していくこととする。
また、本発明では、符号化対象情報ごとに最適な符号テーブルに切り替えるという構成を採るのであるが、本実施形態例では、マクロブロックタイプという符号化対象情報を符号化する場合を想定して、その符号テーブルの切り替えについて具体的に説明する。マクロブロックタイプは、各ブロックでの動き補償の方法やイントラ予測の方法を示す情報であり、整数インデックスであるＭＢtypeとして表現される。本実施形態例では、ＭＢtypeは１２通りあるとする（つまり、ＭＢtype＝0,1,....,11)。
また、符号化対象情報のエントロピー符号化の際には、符号化対象情報に対応するブロック周辺の符号化済み符号化対象情報を利用したコンテクスト依存型エントロピー符号化を行うか、あるいは、それらの符号化済み符号化対象情報及び別カメラのフレームの符号化済み符号化対象情報を利用したコンテクスト依存型エントロピー符号化を行うこととする。なお、その際の各符号テーブルは予め適切なものが用意されているとする。
図４に、本実施形態例において利用する映像符号化装置１の構成を示す。
この図に示す映像符号化装置１は、カメラＣ１，Ｃ２のフレームを図３に示す順番で入力する画像情報入力部１０と、カメラＣ１のフレームを蓄積する画像メモリ１１と、カメラＣ１とカメラＣ２のフレームの間で参照視差情報（本実施形態では、グローバル視差ベクトル）を求める参照視差情報設定部１２と、カメラＣ１の符号化対象情報を符号化する符号化対象情報非参照符号化部１３と、カメラＣ１のブロック情報（符号化対象情報）を蓄積する符号化対象情報メモリ１４と、カメラＣ２の符号化対象情報を符号化する符号化対象情報参照符号化部１５と、グローバル視差ベクトルを符号化するグローバル視差符号化部１６とを備える。
図５に、映像符号化装置１における符号化対象情報参照符号化部１５の詳細な構成を示す。
この図に示すように、符号化対象情報参照符号化部１５は、グローバル視差ベクトルから対応位置を求める対応位置設定部１５０と、カメラＣ１とカメラＣ２の符号化対象情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照パラメータ設定部１５１と、参照パラメータを基に符号テーブルを設定する符号テーブル設定部１５２と、カメラＣ２の画像から符号化対象情報を設定する符号化対象情報設定部１５３と、カメラＣ２の符号化対象情報を符号化する符号化対象情報符号化部１５４とを備える。
図６に、このように構成される映像符号化装置１の実行する動作フローを示す。
この動作フローに示すように、まず、カメラＣ１とカメラＣ２のフレームが、図３に示されている順番で、交互に画像情報入力部１０に入力される（Ｓ１０）。
入力されたフレームがカメラＣ１のフレームであれば、符号化対象情報非参照符号化部１３にて、各ブロックの符号化対象情報が符号化される（Ｓ１１／Ｓ１２）。また、画像メモリ１１には１フレーム分のメモリがあり、常にカメラＣ１の最新の入力済みフレームが蓄積される。
一方、入力されたフレームがカメラＣ２のフレームであれば、符号化対象情報参照符号化部１５にて、各ブロックの符号化対象情報が符号化される（Ｓ１１／Ｓ１３）。なお、カメラＣ２のフレームの符号化対象情報の符号化では、事前に参照視差情報設定部１２で求められたグローバル視差ベクトルが利用される。
そして、最後に、このようにして生成した符号化対象情報の符号化データを出力する（Ｓ１４）。
図７に、カメラＣ２の符号化対象情報の符号化処理の詳細な動作フローを示す。
参照視差情報設定部１２には、画像メモリ１１からカメラＣ１の画像が入力され、画像情報入力部１０からカメラＣ２の画像が入力される。そして、参照視差情報設定部１２でグローバル視差ベクトルが求められる（Ｓ１３０）。
グローバル視差ベクトルの計算方法は様々な方法が考えられるが、ここでは、各ブロック（例えばマクロブロック）ごとの視差ベクトルの平均ベクトルとして求めることとする。
すなわち、カメラＣ２のｂ（ｂ＝0, 1, ...., B-1）番目のブロックの画素値を、
Ｉb ( ｉ，ｊ） ｉ＝0, 1, ...., I-1, ｊ＝0, 1, ...., J-1

と表し、カメラＣ１の画像中で左上の画素の位置が（ｉ’，ｊ’）である、大きさがＩ×Ｊであるブロックの画素値を、

Ｉi',j' ( ｉ，ｊ） ｉ＝0, 1, ...., I-1, ｊ＝0, 1, ...., J-1

と表すならば、参照視差情報設定部１２では、カメラＣ２の各ブロックについて、以下の評価関数に基づいてブロックマッチングを行う。
Ｅ（ｂ，ｉ',ｊ')＝Σi Σj （Ｉb ( ｉ，ｊ）−Ｉi',j' ( ｉ，ｊ））2

ただし、Σi はｉ＝０〜Ｉ−１についての総和、Σj はｊ＝０〜Ｊ−１についての総和。
ここで、各ブロックにおいてＥ（ｂ，ｉ',ｊ')を最小化することで求まった視差ベクトルを＜ｄb ＞としたとき、グローバル視差ベクトル＜ｄ＞を例えば以下のような式で求める。
＜ｄ＞＝Σ＜ｄb ＞／Ｂ
ただし、Σはｂ＝０〜Ｂ−１についての総和。
このようにして求められたグローバル視差ベクトルはグローバル視差符号化部１６に入力され、グローバル視差符号化部１６にて符号化される（Ｓ１３１）。
グローバル視差ベクトルの符号化は、本実施形態例では非可逆符号化されることとする。ここでは、量子化ステップサイズが１で量子化されて（最も近い整数にマッピングされることと等価である）、エントロピー符号化されることとする。
次に、各ブロックについて、符号化対象情報をエントロピー符号化するために、符号化対象情報設定部１５３にて符号化対象情報を求める（Ｓ１３３）。具体的には、動き補償による動きベクトル、ＭＢtypeなどの情報や直交変換係数などの符号化対象情報が求められる。
次に、各ブロックについて、符号化対象情報符号化部１５４にて符号化対象情報を符号化する。その際、対応位置設定部１５０は、符号化されて復号されたグローバル視差ベクトルを用いて、対応位置がカメラＣ１のフレーム内に存在するか、判定を行う（Ｓ１３４）。
本実施形態例では、図８Ａ，８Ｂに示すように、対応位置は、カメラＣ２の画像中のブロックｂに対応するカメラＣ１の画像中の位置５０１をグローバル視差ベクトル分シフトさせた位置に最も近い４つのブロックの位置とする。具体的には、現ブロックｂの左上の角の位置をＩb としたとき、カメラＣ１の画像においてブロックの左上の角の位置がＩb ＋＜ｄ＞に最も近い４つのブロックの位置を対応位置とする。ただし、Ｉb ＋＜ｄ＞とブロック左上の角の位置との距離が、予め設定された閾値maxDist より大きい場合には対応位置とはしないものとする。
対応位置設定部１５０により対応位置が存在しないと判定された場合、エントロピー符号化の際の符号テーブルの切り替えは、同じ画像内の符号化済みのブロックのみの参照で行う。
すなわち、対応位置が存在しない場合は、参照パラメータ設定部１５１は、図８Ｂ中のＡ、Ｂと記述されたブロックのＭＢtypeの組を求める。例えば、（０，５）というようなＭＢtypeの組を求めるのである。
これを受けて、符号テーブル設定部１５２は、この（０，５）というＭＢtypeの組に対応した符号テーブルをエントロピー符号化用に設定する（Ｓ１３７）。なお、ここで利用される符号テーブルはカメラＣ１で利用されたものと同じとする。また、符号テーブル設定部１５２は、あり得るすべてのＭＢtypeの値の組み合わせについてそれぞれ符号テーブルを保持している。
そして、この符号テーブルの設定を受けて、符号化対象情報符号化部１５４は、この符号テーブル内で現ブロックのＭＢtypeに対応した符号を出力する（Ｓ１３８）。即ち、現ブロックの符号化対象情報が符号化される。
一方、対応位置設定部１５０により対応位置が存在すると判定された場合（図８ＡでＣ、Ｄ、Ｅ、Ｆと記述されたブロックである）は、参照パラメータ設定部１５１は、４つの対応位置に関するＭＢtypeの最頻値を求めて、そのＭＢtypeと、図８Ｂ中のＡ、Ｂと記述されたブロックのＭＢtypeの組とに基づいて、最終的なＭＢtypeの組を求める。即ち、符号化対象画像中の、現在符号化しようとしているブロックｂの周辺の符号化済み符号化対象情報と、符号化済み参照画像中の対応位置の符号化対象情報とが参照される。
例えば、４つの対応位置のＭＢtypeが（０，５，５，４）であったとすると、最頻値は５である。また、図８中のＡ、Ｂと記述されたブロックのＭＢtypeの組が（０，５）だったとすると、参照パラメータ設定部１５１は、これらのＭＢtypeに基づいて、最終的に（０，５，５）というＭＢtypeの組を求めるのである。
これを受けて、符号テーブル設定部１５２は、この（０，５，５）というＭＢtypeの組に対応した符号テーブルをエントロピー符号化用に設定する（Ｓ１３５）。
そして、この符号テーブルの設定を受けて、符号化対象情報符号化部１５４は、この符号テーブル内で現ブロックのＭＢtypeに対応した符号を出力する（Ｓ１３６）。
これらの処理については、画像内の全ブロックの符号化対象情報が符号化されるまで行われる（Ｓ１３２／Ｓ１３９／Ｓ１４０）。
このようにして、本発明の映像符号化装置１は、視差方向の相関を利用して、エントロピー符号化の対象となる符号化対象情報を符号化するように処理するのである。
次に、本発明の映像復号装置について説明する。
図９に、本実施形態例において利用する映像復号装置２の構成を示す。
この図に示す映像復号装置２は、カメラＣ１に関する符号化対象情報を復号する符号化対象情報非参照復号部２０と、カメラＣ１について復号された符号化対象情報を蓄積する符号化対象情報メモリ２１と、カメラＣ２に関する符号化対象情報を復号する符号化対象情報参照復号部２２と、グローバル視差ベクトルを復号するグローバル視差復号部２３と、符号化対象情報に基づいて画像を復元する画像情報復元部２４と、復元された画像を出力する画像情報出力部２５とを備える。
図１０に、映像復号装置２における符号化対象情報参照復号部２２の詳細な構成を示す。
この図に示すように、符号化対象情報参照復号部２２は、カメラＣ２の符号化対象情報を復号する符号化対象情報復号部２２０と、復号されたグローバル視差ベクトルから対応位置を求める対応位置設定部２２１と、カメラＣ１とカメラＣ２の復号済み符号化対象情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照パラメータ設定部２２２と、参照パラメータを基に符号テーブルを設定する符号テーブル設定部２２３とを備える。
図１１に、このように構成される映像復号装置２の実行する動作フローを示す。
まず、映像復号装置２では、カメラＣ１とカメラＣ２の符号化データが、図３に示されている順番で入力される（Ｓ２０）。
このとき、カメラＣ１の符号化データについては符号化対象情報非参照復号部２０に入力され、カメラＣ２の符号化データについては符号化対象情報参照復号部２２に入力される。ここで、カメラＣ２の符号化データが入力される際には、グローバル視差ベクトルの符号化データもグローバル視差復号部２３に入力される。
入力された符号化データがカメラＣ１の符号化データであれば、符号化対象情報非参照復号部２０にて、各ブロックの符号化対象情報が復号される（Ｓ２１／Ｓ２２）。
一方、入力された符号化データがカメラＣ２の符号化データであれば、符号化対象情報参照復号部２２にて、各ブロックの符号化対象情報が復号される（Ｓ２１／Ｓ２３）。
そして、最後に、このようにして復号した符号化対象情報に基づいて画像を復元して出力する（Ｓ２４）。
図１２に、カメラＣ２の符号化対象情報の復号処理の詳細な動作フローを示す。
カメラＣ２の符号化対象情報の復号処理では、まずグローバル視差ベクトルの符号化データがグローバル視差復号部２３に入力され、グローバル視差復号部２３でグローバル視差ベクトルが復号される（Ｓ２３０）。
そして、対応位置設定部２２１にて、復号されたグローバル視差ベクトルを用いて、カメラＣ１のフレーム内に、カメラＣ２のフレーム内の現ブロックｂに対応する対応位置が存在するか、判定される（Ｓ２３２）。対応位置の決定方法については、符号化時と同様である。
対応位置設定部２２１により対応位置が存在しないと判定された場合、カメラＣ２の復号済み符号化対象情報のみを参照することで符号テーブルの切り替えが行われ、現ブロックの符号化対象情報が復号される（Ｓ２３５／Ｓ２３６）。参照関係については、符号化時と同様である。
このとき、参照パラメータ設定部２２２と符号テーブル設定部２２３については、映像符号化装置１において、対応位置が存在しない場合に行われる参照パラメータ設定部１５１と符号テーブル設定部１５２と同様の動作をして、現ブロックのＭＢtypeを復号する。
一方、対応位置設定部２２１により対応位置が存在すると判定された場合（符号化の場合と同じく図８ＡでＣ、Ｄ、Ｅ、Ｆと記述されたブロックである）、カメラＣ２の復号済み符号化対象情報及びカメラＣ１の対応位置の復号済み符号化対象情報を参照することで符号テーブルの切り替えが行われ、現ブロックの符号化対象情報が復号される（Ｓ２３３／Ｓ２３４）。
このとき、参照パラメータ設定部２２２と符号テーブル設定部２２３については、映像符号化装置１において、対応位置が存在する場合に行われる参照パラメータ設定部１５１と符号テーブル設定部１５２と同様の動作をして、現ブロックのＭＢtypeを復号する。
現ブロックの全ての符号化対象情報が復号されると、画像情報復元部２４で、これらの情報をもとに当該ブロックの画像情報が復元され、画像情報出力部２５から出力される（Ｓ２３７）。
これらの処理については、画像内の全ブロックが復号されるまで行われる（Ｓ２３１／Ｓ２３８／Ｓ２３９）。
このようにして、本発明の映像復号装置２は、視差方向の相関を利用して、本発明の映像符号化装置１により生成された符号化データを復号するように処理するのである。
前述した実施形態例での符号化処理はマクロブロックタイプという情報のエントロピー符号化に関するものであるが、本発明は、その他のエントロピー符号化の対象となる情報のエントロピー符号化に対しても、そのまま応用可能である。以下にいくつかの例を示す。
具体的には、Ｈ.264でエントロピー符号化の対象となり、ＤＣＴ係数に関連する情報である、Coded block pattern 、Coded block flag、Significanceマップ、レベル情報に対しての本発明の応用を示す。
前述の通り、Ｈ.264では、エントロピー符号化の対象となる情報は全てビット列で表現されており、１ビットずつコンテクスト依存型の算術符号化でエントロピー符号化される。すなわち、本発明を応用する場合は、各ビットをエントロピー符号化するときの符号テーブル（算術符号化なので、具体的には確率テーブルである）の切り替えに利用可能である。
前述のように、Coded block pattern という情報は、マクロブロック内の４つの８×８ブロックにおいて、どのブロックに非ゼロ係数があるか示す情報である。具体的には、８×８ブロックにおいて非ゼロ係数の存在の有無を１ビットで表すような、合計４ビットの情報として表現される。
ある８×８ブロックのCoded block pattern のビットを符号化する際には、例えば図１３Ａ，１３Ｂに示すような形の参照を、８×８ブロックを単位として行えば良い。図１３Ａ，１３Ｂは、それぞれ図８Ａ，８Ｂに対応した、ブロックの位置関係を示す図である。つまり、８×８ブロックＡ、Ｂ、Ｃのビットの全組み合わせに対応した符号テーブルをそれぞれ用意しておき、そのうちの、符号化対象の８×８ブロックｂに対して最も相応しいＡ、Ｂ、Ｃのビットの組み合わせに対応した符号テーブルでエントロピー符号化すれば良い。
また、Coded block flagという情報は、上述のように、非ゼロ係数が存在する８×８ブロック内の４つの４×４ブロックにおいて、どのブロックに非ゼロ係数があるか示す情報である。従い、Coded block flag はCoded block pattern と同じ形式の情報であり、本発明の応用も同じ形で行える。
次に、Significanceマップのエントロピー符号化における本発明の応用方法の例を示す。Significanceマップという情報は、上述のように、Coded block flagで示される４×４ブロック内で、どのＤＣＴ係数が非ゼロであるか示した情報である。具体的には、あるＤＣＴ係数が非ゼロであるか否かを１ビットで表し、ある順番に従って当該４×４ブロック中の１６個のＤＣＴ係数をスキャンし、ＤＣＴ係数が非ゼロであった場合は１として、そうでない場合は０とする。これらのビットをSignificanceビットと呼ぶ。
なお、ＤＣＴ係数が非ゼロであって１とされたときは、そのＤＣＴ係数がスキャンの中で最後の非ゼロ係数であったか否かを１ビットで表して（非ゼロ係数であった場合は値１、そうでない場合は値０）Significanceマップに含める。これらのビットをLastビットと呼ぶ。
スキャン中にLastビットの値が１であるような状況が発生した場合（即ち、その位置のＤＣＴ係数が最後の非ゼロ係数であった場合）、以後のＤＣＴ係数に関するSignificanceビットは必要ない。また、スキャンの中で最後のＤＣＴ係数が非ゼロであるか否かについては、それまでのSignificanceビットとLastビットから明らかなので、このＤＣＴ係数については情報は特に必要ない。
Ｈ.264では、SignificanceビットとLastビットを独立に符号化するが、符号テーブルはスキャンの中での位置に応じて切り替える（上述のように、最後のＤＣＴ係数については情報が不要なので、１５個の符号テーブルが要求される）。本発明を応用する場合は、例えば図１３Ａ、１３Ｂに示されるように、別カメラの４×４ブロックＣにおける非ゼロ係数の数を参照して符号テーブルを切り替えることが考えられる。これは、多視点動画像の性質上、ブロックＣにおいて非ゼロであるＤＣＴ係数の数が大きいほど、符号化対象の４×４ブロックｂの１６個のSignificanceビットが１である（即ち、ＤＣＴ係数が非ゼロである）確率が高く、Lastビットが０である確率が高いからである。
最後に、レベル情報のエントロピー符号化における本発明の応用方法の例を示す。Ｈ.264では、整数値であるＤＣＴ係数の量子化値を２進のビット列に変換し、Significanceマップの場合と同様にスキャンしながら、各ビットをエントロピー符号化していく。
このときに利用する符号テーブルは、ブロック内のこれまでのスキャン中で発生した、絶対値が１より大きい量子化値の数によって切り替える。スキャン中のある時点で、絶対値が１より大きい量子化値が多く発生している場合、その時点で符号化対象となっている量子化値は大きな値を持つ確率が大きいため、この性質を反映した符号テーブルを用意しておく。
多視点動画像を符号化する場合、図１３Ａ，１３Ｂに示されるような別カメラ（Ｃ１）のブロックＣにおけるＤＣＴ係数の量子化値が大きければ、現在符号化対象となっているブロック（ｂ）の量子化値も大きい値が多いという性質がある。従って、本発明を応用する場合は、例えば、ブロックＣにおける量子化値の平均値に応じた符号テーブルを用意しておき、符号化対象のブロックｂに関する別カメラのブロックＣの量子化値の平均値に対応した符号テーブルによってエントロピー符号化すれば良い。
以上、実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例ではカメラＣ１，Ｃ２という２台のカメラにより撮像された映像を処理対象として本発明を説明したが、本発明は３台以上のカメラにより撮像された映像に対してもそのまま適用できるものである。
また、上述の実施形態例では、参照視差情報を映像符号化装置において求めた場合を記載した。一方で、本発明は、種々の視差推定手法を用いて予め外部において求められた視差情報を入力して、当該視差情報を参照視差として用いて符号化処理することによっても実現できる。
また、実施形態例では視差情報として視差ベクトルを用いることを想定したが、本発明は視差ベクトル以外のものを視差情報として用いることでもよい。
具体的には、例えば、参考文献４（Aljoscha Smolic, Thomas Sikora and Jens-Rainer Ohm, "Long-Term Global Motion Estimation and its Application for Sprite Coding, Content Description, and Segmentation", IEEE Transactions on Circuits and Systems for Video Technology, Vol.9, No.8, pp.1227-1242, December, 1999）で説明されているようなグローバル動きモデルを視差方向に適用したグローバル視差モデルを利用してもよい。
この場合、映像符号化装置においてグローバル視差モデルのパラメータを求めて、これらのパラメータを符号化する。また、対応位置を求める際には、これらのパラメータをグローバル視差モデルに適用してグローバル視差ベクトルを求めて、対応位置を決定する。一方、映像復号装置では、復号されたグローバル視差モデルのパラメータをグローバル視差モデルに適用して対応位置を決定する。
また、上記の実施形態例では、カメラが２台あり、片方のカメラの復号画像を参照する場合を記載したが、各カメラのカメラパラメータ（カメラの位置や姿勢、レンズの画角等）が既知で、異なる２台以上のカメラの復号画像を参照できる場合は、符号化対象画像を利用せずに，図１４に示したような方法で符号化対象の画像の各画素に関する視差情報(視差ベクトル)を推定することができる。
図１４において、被写体６００に対し、符号化対照画像を撮像するカメラＣ２の視点位置を６２０、同被写体６００を撮像する（即ち、参照画像を出力する）別の２つのカメラＣ１，Ｃ３の視点位置をそれぞれ６１０、６３０とする。また、符号化対照画像において視差を求めたい画素位置を６４０とする。この図に示されているように、被写体６００に対する真の視差においては各参照画像において画素位置６４０に対応する対応点の画素値がほぼ同じ値になるはずである。従って、多くの視差推定法では、様々な奥行きに関して各参照画像の対応点の画素値を比較して、画素値が最も近くなる奥行き（図１４では符号６５０で示す）と、既知のカメラパラメータに基づいて、カメラＣ１もしくはＣ３からの視差を推定できる。この処理は符号化対象画像の画素単位で行うことが可能である。
上記の実施形態例の構成においてこの方法を実施する場合は、映像符号化装置１のグローバル視差符号化部１６、映像復号装置２のグローバル視差復号部２３は不要である。そして、例えば符号化対象ブロックの各画素に関して推定された視差ベクトルの平均を用いて、上記実施例と同様の処理により符号化を実施すればよい。
具体的には、符号化対象情報の符号化処理において、図１５に示すような処理を行う。ここでは、図７のステップＳ１３０，Ｓ１３１の処理に代えて、ステップＳ１３００が設けられ、同ステップにおいて、カメラＣ２により撮像された符号化対象画像と同時刻に撮像されたカメラＣ１，Ｃ３の画像の復号画像を用いて、上述の方法によりカメラＣ１もしくはＣ３からの視差を推定する。
また、復号処理においては、図１６に示すような処理を行う。ここでは、図１２のステップＳ２３０の処理に代えてステップＳ２３００が設けられ、同ステップにおいて、カメラＣ２により撮像された符号化対象画像と同時刻に撮像されたカメラＣ１，Ｃ３の画像の復号画像を用いて、同様の方法によりカメラＣ１もしくはＣ３からの視差を推定する。

Claims (20)

  1. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化方法。
  2. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化方法。
  3. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像符号化方法。
  4. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像符号化方法。
  5. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する符号化済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像符号化方法。
  6. 複数の画像を一つの映像として符号化する映像符号化方法であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像符号化方法。
  7. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号方法。
  8. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定ステップでは、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号方法。
  9. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像復号方法。
  10. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の最頻値に対応する符号テーブルを設定する映像復号方法。
  11. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の符号化対象情報と、前記第１の画像内の前記所定位置の周辺の位置に対する復号済みの符号化対象情報とに対応した符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像復号方法。
  12. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号ステップと
    を有し、
    前記符号テーブル設定ステップでは、前記第２の画像内の前記対応位置の周辺の位置に対応する符号化対象情報も参照して前記符号テーブルを設定し、前記符号テーブルの設定に用いる符号化対象情報の平均値に対応する符号テーブルを設定する映像復号方法。
  13. 複数の画像を一つの映像として符号化する映像符号化装置であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像符号化装置。
  14. 複数の画像を一つの映像として符号化する映像符号化装置であって、
    第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化部と
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像符号化装置。
  15. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらしたときに該ブロックとの重複面積が最大となるブロックの位置を対応位置として設定する映像復号装置。
  16. 複数の画像を一つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
    第１の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定部と、
    前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定部と、
    前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定部と、
    前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を復号する符号化対象情報復号部と
    を有し、
    前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、
    前記対応位置設定部は、前記第２の画像において前記所定位置に対応するブロックの位置を、前記参照視差情報に基づいてずらした位置の周辺の複数のブロックの位置を対応位置として設定する映像復号装置。
  17. 請求項１から請求項６のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
  18. 請求項７から請求項１２のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
  19. 請求項１から請求項６のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  20. 請求項７から請求項１２のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006519047A 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Active JP4937741B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006519047A JP4937741B2 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005002423 2005-01-07
JP2005002423 2005-01-07
JP2006519047A JP4937741B2 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
PCT/JP2005/024093 WO2006073116A1 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPWO2006073116A1 JPWO2006073116A1 (ja) 2008-06-12
JP4937741B2 true JP4937741B2 (ja) 2012-05-23

Family

ID=36647597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519047A Active JP4937741B2 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US9088802B2 (ja)
EP (1) EP1835747B1 (ja)
JP (1) JP4937741B2 (ja)
KR (1) KR100946790B1 (ja)
CN (1) CN100584013C (ja)
TW (1) TWI308028B (ja)
WO (1) WO2006073116A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US20090067503A1 (en) * 2006-01-07 2009-03-12 Electronics And Telecommunications Research Institute Method and apparatus for video data encoding and decoding
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101023262B1 (ko) 2006-09-20 2011-03-21 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8594203B2 (en) 2006-10-16 2013-11-26 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
CA2665781C (en) * 2006-10-30 2014-02-18 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
JP4999864B2 (ja) 2006-12-28 2012-08-15 日本電信電話株式会社 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP2008227689A (ja) * 2007-03-09 2008-09-25 Seiko Epson Corp 符号化装置及び画像記録装置
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
TW200910975A (en) 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
KR101511082B1 (ko) * 2008-05-09 2015-04-13 삼성전자주식회사 최하위 비트를 이용한 엔트로피 부호화 방법과 그 장치 및엔트로피 복호화 방법과 그 장치
GB0818463D0 (en) * 2008-10-08 2008-11-12 Mitsubishi Elec R&D Ct Europe Encoding and decoding method and apparatus for multimedia signatures
KR101287458B1 (ko) * 2009-02-12 2013-07-19 니폰덴신뎅와 가부시키가이샤 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
WO2011080807A1 (ja) 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
JP5533885B2 (ja) 2010-01-08 2014-06-25 富士通株式会社 動画像符号化装置および動画像復号装置
ES2652337T3 (es) 2010-02-09 2018-02-01 Nippon Telegraph And Telephone Corporation Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
BR112012019680A2 (pt) 2010-02-09 2016-05-03 Nippon Telegraph & Telephone método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes.
EP2536147A4 (en) * 2010-02-09 2017-03-15 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
EP2624562A4 (en) * 2010-09-30 2014-11-19 Mitsubishi Electric Corp DYNAMIC IMAGE ENCODING DEVICE, DYNAMIC IMAGE DECODING DEVICE, DYNAMIC IMAGE ENCODING METHOD, AND IMAGE DYNAMIC DECODING METHOD
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9338424B2 (en) * 2011-02-23 2016-05-10 Koninklijlke Philips N.V. Processing depth data of a three-dimensional scene
TW201245768A (en) 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
MY191028A (en) 2011-06-30 2022-05-29 Sony Corp Image processing device and image processing method
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
WO2013099288A1 (ja) * 2011-12-28 2013-07-04 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US20150036753A1 (en) * 2012-03-30 2015-02-05 Sony Corporation Image processing device and method, and recording medium
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
US10904570B2 (en) * 2016-09-08 2021-01-26 Kaonmedia Co., Ltd. Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470763B2 (ja) * 1993-01-21 2003-11-25 沖電気工業株式会社 画像符号化及び復号化装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
TW498682B (en) 2000-03-01 2002-08-11 Soft4D Co Ltd Method and apparatus for generating sterescopic image using MPEG data
US6690307B2 (en) 2002-01-22 2004-02-10 Nokia Corporation Adaptive variable length coding of digital video
KR100953677B1 (ko) 2002-01-22 2010-04-20 노키아 코포레이션 이미지/비디오 부호기들 및/또는 복호기들에서 변환계수들의 부호화
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP3746506B2 (ja) 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置

Also Published As

Publication number Publication date
KR100946790B1 (ko) 2010-03-11
CN1910931A (zh) 2007-02-07
TWI308028B (en) 2009-03-21
EP1835747A1 (en) 2007-09-19
TW200629914A (en) 2006-08-16
CN100584013C (zh) 2010-01-20
EP1835747A4 (en) 2011-02-02
US9088802B2 (en) 2015-07-21
KR20070052692A (ko) 2007-05-22
WO2006073116A1 (ja) 2006-07-13
EP1835747B1 (en) 2019-05-08
JPWO2006073116A1 (ja) 2008-06-12
US20070189396A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
JP4937741B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
KR101106086B1 (ko) 부호화 장치 및 부호화 방법
EP3560199A1 (en) Low-complexity sign prediction for video coding
JP5717465B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5400798B2 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
KR101712097B1 (ko) 유연한 직교 변환에 기초한 영상 부호화, 복호화 방법 및 장치
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
JPWO2007077989A1 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR20200128577A (ko) 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP6528635B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP5800077B2 (ja) 動画像復号方法
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP2013121044A (ja) 画像符号化装置及び画像符号化方法
JP4926912B2 (ja) 映像符号化装置及び方法
JP2008017209A (ja) 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体
JP2007243859A (ja) 画像符号化装置及び画像符号化プログラム
JP2008104124A (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010068219A (ja) 動画像符号化装置
JP2014003693A (ja) 動画像符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4937741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350