JP4999854B2 - 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents

画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Download PDF

Info

Publication number
JP4999854B2
JP4999854B2 JP2008535351A JP2008535351A JP4999854B2 JP 4999854 B2 JP4999854 B2 JP 4999854B2 JP 2008535351 A JP2008535351 A JP 2008535351A JP 2008535351 A JP2008535351 A JP 2008535351A JP 4999854 B2 JP4999854 B2 JP 4999854B2
Authority
JP
Japan
Prior art keywords
image
encoding
vector
distance
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008535351A
Other languages
English (en)
Other versions
JPWO2008035665A1 (ja
Inventor
信哉 志水
正樹 北原
一人 上倉
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008535351A priority Critical patent/JP4999854B2/ja
Publication of JPWO2008035665A1 publication Critical patent/JPWO2008035665A1/ja
Application granted granted Critical
Publication of JP4999854B2 publication Critical patent/JP4999854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、多視点画像の符号化および復号技術に関するものである。
本願は、２００６年９月２０日に出願された特願２００６−２５３８４５号に基づき優先権を主張し、その内容をここに援用する。
多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。以下では、１つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像群を“多視点動画像”と呼ぶ。
２次元動画像は、時間方向に関して強い相関があり、符号化の際には、その相関を利用することによって符号化効率を高めている。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、同じ時間に対応した各カメラの映像は、まったく同じ状態の被写体と背景とを別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって、符号化効率を高めることができる。
まず、２次元動画像の符号化技術に関する従来技術を述べる。
国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
Ｈ．２６４で使われている動き補償技術の詳細については、例えば、非特許文献１に記載されている。その概要を説明する。
Ｈ．２６４の動き補償は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照画像とを持つことを可能にしている。さらに、参照画像に対してフィルタ処理を行うことで、１／２画素位置や１／４画素位置の映像を生成し、より細かい１／４画素精度の動き補償を可能にすることで、従来の国際符号化標準方式より高効率な符号化を達成している。
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。
多視点画像の符号化方法と多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法は、どちらの場合にも同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償を同じ時刻の異なるカメラの画像に適用した“視差補償”によって、高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。
図８は、カメラ間で生じる視差の概念図である。
図８に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。
視差補償は、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測し、その予測残差と、対応関係を示す視差情報とを符号化する。
この対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、一方のカメラを基準として、そのカメラから被写体までの距離という１次元量で表すことができる。
図９は、エピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素におけるカメラから被写体までの距離が得られた場合、対応点はエピポーラ線上に一意に定まる。
例えば、図９に示すように、カメラＡの画像でｍの位置に投影された被写体の点は、カメラＢの画像において、実空間における被写体の対応する点の位置がＭ' の場合にはエピポーラ線上の位置ｍ' に、実空間における被写体の対応する点の位置がＭ''の場合にはエピポーラ線上の位置ｍ''に、実空間における被写体の対応する点の位置がＭ''' の場合にはエピポーラ線上の位置ｍ''' に、投影される。
図１０は、１つのカメラに対して被写体までの距離が与えられたときに複数のカメラ間で対応点が得られることを示す図である。
一般的に視差は符号化対象フレームによって変化するため、視差情報は、符号化対象フレームごとに符号化することが必要である。しかし、カメラから被写体までの距離は、被写体の物理的な状態によって決定されるため、カメラから被写体までの距離という１つの情報で複数のカメラの画像上の対応点を表すことができる。
例えば、図１０に示すように、カメラＡの視点位置から被写体の点Ｍまでの距離の情報１つで、カメラＡの画像の点ｍa に対応するカメラＢの画像の対応点ｍb 、カメラＣの画像の対応点ｍc の双方を表すことができる。
この性質によると、視差情報を参照画像におけるカメラから被写体までの距離で表すことで、その参照画像から（カメラ間の位置関係が得られている）他のカメラで同時刻に撮られたすべてのフレームに対する視差補償を実現することができる。非特許文献２では、この性質を利用して符号化しなければならない視差情報の数を減らし、高効率な多視点動画像符号化を達成している。
なお、非特許文献３は、後述の本発明の実施の形態の説明で参照する技術が記載された先行技術文献であり、これには、複数のカメラの位置関係を表すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 10-13, and 62-68, September 2002. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map ", In Proceedings of Picture Coding Symposium 2006, SS3-6, April , 2006. Oliver Faugeras, Three-Dimension Computer Vision-MIT Press; BCTC/UFF-006.37 F259 1993-ISBN:0-262-06158-9, pp. 33-68.
確かに、非特許文献２の方法によれば、符号化対象画像ごとに視差情報を符号化するよりも、少ない符号量で視差情報を符号化することができる。
多視点画像符号化では、符号化対象画像の各画素の値を符号化することが目的であるため、視差補償では符号化対象画像の各画素の値を予測することが必要である。しかしながら、参照画像の各画素に対してカメラから被写体までの距離を与える方法では、参照画像側の対応点が固定されているため、符号化対象画像における対応点は、必ずしも画素と一致しない。この場合、符号化対象画像の全画素における値を予測する方法として、次の３つが、容易に類推できる方法として考えられる。
１つ目は、符号化対象画像における対応点が必ず画素位置になるように距離を定める方法である。
しかし、複数の符号化対象画像に対して必ず画素位置に対応するような距離は限られてしまうため、この方法では、予測誤差の小さくなるような視差補償ができず、最終的に全体の符号化効率が悪くなってしまう。
２つ目は、符号化対象画像において得られた対応点を最も近い画素に丸める方法である。
この方法では、おおよそ正しい視差補償を達成できると考えられるが、丸めたことによってその予測精度は少なからず低下する。また、符号化した視差情報から得られる情報を後から丸めるため、丸めた情報を符号化する場合に比べて、無駄な情報を符号化していることになってしまう。
３つ目は、参照画像の全画素に対する符号化対象画像における対応点を求めた後で、符号化対象画像の画素ごとに、周辺に得られた対応点の画素値から補完を行って求める方法である。
３つ目の方法では、符号化した視差情報を完全に利用することができる。しかしながら、この方法では、離散的に与えられた画素値から符号化対象画像全体の画素値を補完する必要があるため、精度の高い補完を行うための計算コストが非常に高い。また、全画素の対応点を求めた後でしか視差補償による予測誤差が分からないため、予測誤差を最小化するような符号化のための距離を求めようとする場合、全画素に対する視差情報を仮定し、仮定した視差情報を用いて参照画像の全画素に対する符号化対象画像における対応点を求め、画素値が離散的に与えられた画像に対して補完を行うことで符号化対象画像に対する予測画像を生成して予測誤差を求めるという処理を、すべての視差情報の組み合わせに対して繰り返すことになり、非常に多くの演算量がかかり、最適な視差情報の集合を得ることが非常に困難である。
また、非特許文献２の方法のような、参照画像の各画素に対してカメラから被写体までの距離を与える方法では、参照画像側の対応点が整数画素単位に固定されているため、Ｈ．２６４の動き予測のように参照画像の小数画素位置（１／２画素位置や１／４画素位置など）における画素値を用いた細かい動きに対応した高精度な補償を行うこともできない。
単純に参照画像の小数画素（１／２画素や１／４画素など）においても、カメラから被写体までの距離を与えることで、精度の高い視差補償を可能にすることができるが、符号化しなければならない視差情報の数が増加してしまい、符号化効率が低下するという問題点がある。
たとえ整数画素に対して与えられた距離から小数画素の距離を推定して用いるとしても、対応点を求めるための演算回数が数倍にも増加するという問題がある。
本発明は、かかる事情に鑑みてなされたものであって、参照画像におけるカメラから被写体までの距離に基づいて表される視差情報を用いて、符号化対象画像に対して視差補償を行うという構成をとる場合に、符号化の必要な視差情報の数を増やすことなく、その符号化に用いた視差情報に含まれる情報を最大限に利用し、小数画素単位の視差補償を行うことで、高い符号化効率を達成できるようにする画像符号化技術および復号技術を提供することを目的とする。
本発明は、上記の課題を解決するために、複数のカメラで撮影された多視点画像を符号化するにあたり、既に符号化済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラから被写体までの距離とを用いて、カメラ間で画像を予測しながら符号化を行う画像符号化方法であって、
前記参照画像の各画素に対して与えられる前記距離と、前記参照画像を撮影したカメラと符号化対象画像を撮影した各カメラとの位置関係とに基づいて、前記参照画像の各画素に対応する各符号化対象画像上での対応点を求め、前記参照画像の画素位置から前記符号化対象画像上での対応点へと向かう画素空間上の視差ベクトルを算出する視差ベクトル設定ステップと、
前記視差ベクトルと同じ始点を持ち、前記視差ベクトルの各成分の小数部分の切り捨てまたは各成分の値に最も近い整数値の選択により、前記視差ベクトルの各成分を整数値に丸めた値を、ベクトルの各成分として持つ予測対象ベクトルを算出する予測対象ベクトル設定ステップと、
前記視差ベクルと同じ始点を持ち、前記予測対象ベクトルと前記視差ベクトルとの差分ベクトルと同じ大きさと向きとを持つ参照対象ベクトルを算出する参照対象ベクトル設定ステップと、
前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される符号化対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有することを特徴とする画像符号化方法を提供する。
これにより、参照画像の整数画素位置ごとに与えられる符号化対象画像上の整数画素位置とは限らない対応点の情報を用いて、符号化対象画像の整数画素位置に対して、参照画像の小数画素位置の画素値を用いた視差補償による画像予測が可能となり、高い符号化効率の達成が可能となる。
典型例として、前記参照画像の各画素に対して、エピポーラ幾何拘束に基づいて、前記参照画像から、符号化対象の画像を予測する際の対応点を示す疑似距離を設定する疑似距離設定ステップと、
前記疑似距離設定ステップで設定された疑似距離を符号化する疑似距離符号化ステップとを有し、
前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いるようにしても良い。
ここで述べる疑似距離とは、参照画像のある画素に対する符号化対象画像上のエピポーラ直線を考えた場合に、その直線上の１点を特定するような値である。具体的には、カメラから、参照画素中の対象画素に写っているものまでの推定距離を示すものになる。疑似距離は、距離そのものであっても、ステレオマッチング等で得られる推定距離であっても、それらに対応付けられたインデックス値でもかまわない。
この方法によると、カメラから被写体までの距離が明らかに得られないような場合においても、符号化側で視差補償に用いたパラメータを復号側に通知することによって、距離パラメータを用いた視差補償を実行することができるようになる。
上記典型例における好適例として、前記疑似距離設定ステップは、
取り得る値を推定して定めた推定疑似距離とカメラの位置関係とに基づいて求められる符号化対象画像上での対応点を終点とし、その推定疑似距離が与えられる参照画像中の画素を始点とする、画素空間上の推定視差ベクトルを設定する過程と、
前記推定視差ベクトルの終点を整数画素に丸めた推定予測対象ベクトルを設定する過程と、
前記推定視差ベクトルと同じ始点を持ち、前記推定予測対象ベクトルと前記推定視差ベクトルとの差分ベクトルと同じ大きさと向きを持つ推定参照対象ベクトルを設定する過程と、
前記推定予測対象ベクトルと前記推定参照対象ベクトルとを用いてカメラ間の画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する過程とを有する。
すなわち、前記疑似距離設定ステップでは、前記視差ベクトル設定ステップと同様の処理を施して推定視差ベクトルを求め、推定視差ベクトルに対して予測対象ベクトル設定ステップと同様の処理を施して推定予測対象ベクトルを求め、推定視差ベクトルと推定予測対象ベクトルとに対して前記参照対象ベクトル設定ステップと同様の処理を施して推定参照対象ベクトルを求め、推定予測対象ベクトルと推定参照対象ベクトルとを用いて画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する。
なお、推定予測対象ベクトルを求める際の整数画素への丸め方は、小数部分を切り捨てる方法でも、最も近い整数画素へと丸める方法でも用いることができるが、視差補償時に行う対応する処理と一致させるものとする。
ある画素に対するカメラから被写体までの距離が与えられたときに、その画素からほんの少しずれた位置に対するカメラから被写体までの距離が、その画素に対して与えられた距離とほとんど変わらないと仮定することができるが、常に完全に一致しているとは言えない。そのため、適当な疑似距離を用いた場合はもちろんであるが、たとえ実際の距離に極めて近い疑似距離を用いた場合でも、状況によっては予測誤差が大きいような対応点を用いて視差補償を行ってしまう可能性がある。
一方、この発明によると、視差補償の予測誤差が他の距離よりも小さい疑似的な距離を求めてその疑似距離を用いるため、視差補償の予測誤差が大きい対応点を視差補償に使うことを回避することが可能となり、高い符号化効率を達成することができる。
また、予測誤差に対して、その疑似距離を符号化する際の符号量の予測値に対してある一定の重みを乗じた値を加えたレート歪みコストを最小化するような疑似距離を求めることで、予測誤差は増加したとしても、符号化効率という観点でより最適な疑似距離を求めるようにしてもよい。
なお、疑似距離の符号化において歪が存在する場合、符号化した疑似距離を復号した復号疑似距離を距離として視差ベクトル設定ステップで用いることで、符号化側と復号側で用いるパラメータを一致させ、符号化歪みの一種であるドリフトを防ぐことができる。
上記典型例における別の好適例として、参照画像における領域分割を設定する領域分割設定ステップを有し、
前記疑似距離設定ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を設定し、
前記疑似距離符号化ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を符号化する。
カメラから被写体までの距離は画像上でそれほど頻繁に変化せず、ある程度まとまった領域では同じ距離を持つ場合が多い。そのため、適切に領域分割を設定し、領域ごとに１つの疑似距離を設定して符号化することで、符号化する疑似距離の個数を少なくすることができ、符号量を削減することができる。
この場合、領域分割の情報も符号化して復号側に渡す必要があるが、参照画像の画像全体を領域分割し、領域ごとに処理を加え、その領域分割情報と共に符号化されている場合には、その参照画像の符号化データに含まれる領域分割情報による領域分割と、各疑似距離を設定する領域分割とを一致させることで、領域分割情報を符号化しないで済ませることができる。
画像符号化時の領域分割は、各被写体の形状を表す形に区切られる場合が多い。また、カメラから被写体までの距離も、被写体ごとに同じような値を持つと考えられるため、上記のように領域分割を一致させることにより、効率的に領域分割情報の符号量を削減することが可能である。
しかし、画像符号化時の領域分割は、テクスチャ（見た目）の違いによっても設定される場合がある。そのため、画像符号化時の領域分割と、疑似距離が同じとなるような領域分割とに差が生じる場合もある。この場合、その違いを表す情報のみを符号化することで、画像全体の領域分割を符号化して大量の符号量が発生してしまうのを防ぐとともに、領域分割誤りによる視差補償の予測効率低下を防ぐことができる。
また、実空間における被写体の空間的な特性上、カメラから被写体までの距離が隣り合う画素や領域間で大きく変化しないことを利用して、疑似距離を符号化する際に、既に符号化済みの疑似距離を選び、その符号化済みの疑似距離を示す情報と、符号化対象の疑似距離と前記選んだ疑似距離との差分とを符号化することで、疑似距離の符号量を削減することもできる。
また、１つの参照画像に対して与えられる疑似距離群は、与えられる領域の位置と大きさを考慮すると、画像とみなすことができる。したがって、その画像をＪＰＥＧやＪＰＥＧ２０００などの画像符号化方法を用いて符号化することで、疑似距離を効率的に符号化することができる。
また、カメラから被写体までの距離は時間的にも大きく変化しないため、本発明の方法を、各時刻の画像群に適用することで多視点動画像を符号化する場合、各時刻の疑似距離群を画像とみなし、その集合を映像とみなし、疑似距離全体をＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの映像符号化方法を用いて符号化することで、疑似距離を効率的に符号化することもできる。
また、前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとするようにしても良い。
多視点動画像全体として高効率な符号化を達成するためには、疑似距離の符号量を抑えつつ、高効率な視差補償残差の符号化を行う必要がある。つまり、符号化処理ブロックごとに疑似距離を推定する際に、その疑似距離の符号化に必要な符号量のほかに、その疑似距離によって視差補償されたブロックの残差の符号量を考慮にいれる必要がある。しかしながら、参照画像のある符号化対象ブロックに対して与えられる疑似距離によって視差補償されるブロックは、符号化対象画像において複数の符号化処理ブロックを跨いでしまっている可能性がある。この場合、このブロックにおける視差補償残差の符号量を見積もることが非常に困難であるため、高効率な符号化を達成するための最適化を精度よく行うことができない。
一方、上述のように、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとするようにすれば、符号化対象画像上の視差補償されるブロックが必ず符号化処理ブロックと一致することが保証されるため、そのブロックの視差補償残差を符号化するのに必要な符号量を、視差補償残差の符号化方式を考慮した上で算出することが可能となる。その結果、全体として高効率な多視点画像符号化が可能となる。
なお、多視点動画像を符号化（復号）する場合、各時刻の対応するフレームの集合を多視点画像とみなして、本発明の画像符号化方法（画像復号方法）を適用することができる。
さらに、多視点動画像では本発明の画像符号化方法のみで画像全体を符号化するのではなく、時間方向の相関を利用した動き補償などの他の手法を符号化処理対象ごとに適宜選択して符号化することで、符号化効率を高めることもできる。
本発明によれば、参照画像の整数画素を基準として与えられる符号化対象画像の対応点情報から、符号化対象画像の整数画素の位置に対応する参照画像の小数画素単位の位置を、精度よく低演算コストで求めることができ、より細かい視差に対応した視差補償を実現し、多視点画像全体としての高効率な画像符号化を実現することができる。
本発明における各ベクトルの関係を示す図である。 本発明の実施の形態による画像符号化装置の構成例を示す図である。 画像符号化装置による画像符号化処理フローチャートである。 距離画像生成部による距離画像生成処理フローチャートである。 視差補償画像生成部による視差補償画像生成処理フローチャートである。 本発明の実施の形態による画像復号装置の構成例を示す図である。 画像復号装置による画像復号処理フローチャートである。 カメラ間で生じる視差の概念図である。 エピポーラ幾何拘束の概念図である。 １つのカメラに対して被写体までの距離が与えられたときに複数のカメラ間で対応点が得られることを示す図である。
符号の説明
１００ 画像符号化装置
１０１ 画像入力部
１０２ 参照画像入力部
１０３ 参照画像メモリ
１０４ 距離画像生成部
１０５ 距離画像符号化部
１０６ 距離画像復号部
１０７ 視差補償画像生成部
１０８ 符号化対象画像符号化部
２００ 画像復号装置
２０１ 距離画像復号部
２０２ 参照画像メモリ
２０３ 視差補償画像生成部
２０４ 符号化対象画像復号部
以下、実施の形態に従って、本発明を詳細に説明する。
まず、図１を参照し、本発明の原理を説明する。
最初に、参照画像の各画素に対して与えられるカメラから被写体までの距離と、カメラ間の位置関係とを用いて、参照画像の各画素の符号化対象画像上での対応点を求める。
このとき、画素空間上で参照画像の画素を始点とし、その画素の符号化対象画像上の対応点を終点とするベクトルを視差ベクトルと呼ぶ。このような求め方をするため、視差ベクトルの始点は必ず整数画素位置であり、終点は必ずしも整数画素位置とは限らない。
次に、各視差ベクトルに対して、始点が同じで、ベクトルの水平成分と垂直成分の小数部分を切り捨てたベクトルを求め、このベクトルを予測対象ベクトルと呼ぶ。この予測対象ベクトルは、視差ベクトルの始点と終点によって張られる長方形（座標平面上で、始点座標と終点座標により定義される、視差ベクトルを対角線とする長方形）の内部で、視差ベクトルの終点に最も近い整数画素位置を終点に持つベクトルである。
そして、視差ベクトルごとに、その視差ベクトルと同じ始点を持ち、前のステップで求めた予測対象ベクトルからその視差ベクトルを減算してできるベクトルと同じ大きさと向きを持つベクトルを求め、このベクトルを参照対象ベクトルと呼ぶ。この参照対象ベクトルの終点は、必ずしも整数画素位置になるとは限らない。
本発明では、このようにして得られた予測対象ベクトルと参照対象ベクトルの組ごとに、参照対象ベクトルによって示される参照画像上の位置の値を、予測対象ベクトルによって示される符号化対象画像上の画素位置の予測値として用いることで、カメラ間の画像予測を実現する。
本発明では、ある画素からほんの少しずれた位置のカメラから被写体までの距離は、その画素におけるカメラから被写体までの距離とほぼ同じであるという仮定に基づいて、対応点を求める。つまり、カメラから被写体までの距離の構造が単純なほうが画像予測の精度が高い。
一方、前述の容易に類推できる手法の２つ目の手法と３つ目の手法では、被写体のテクスチャ（見た目）が隣接部分でほぼ同じという仮定を用いている。つまり、テクスチャの構造が単純なほうが画像予測の精度が高い。
自然画像において、距離の構造とテクスチャの構造とを比較すると、現実空間における連続性の制約があるため、テクスチャよりも距離のほうが単純な構造をしている傾向がある。したがって、本発明の手法は前述の容易に類推できる手法よりも高精度な画像予測を実現し、符号化効率を高めることができる。
なお、上記のように予測対象ベクトルを求める際に、小数部分を切り捨てて整数部分に丸める処理を行うこともできるが、最も近い整数に丸める方法を取ることもできる。
最も近い整数に丸める処理を行ったほうが、参照画像の画素により近い点が同じ距離を持っていると仮定していることになるため、予測誤差の小さくなるような視差補償を達成することができる。ただし、この場合には、小数部分を切り捨てる場合よりも演算コストが増加する可能性がある。
以下に説明する実施の形態の例では、カメラＡ、カメラＢの２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化する方法について説明を行う。
なお、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータは、別途与えられているものとする。
これらのパラメータに関する詳しい説明は、非特許文献３に記載されているが、カメラを設置したときに求めることも、あるいは、撮影した画像対から推定することも可能である。
図２は、本発明の実施の形態による画像符号化装置の構成例を示す図である。
画像符号化装置１００は、符号化対象画像であるカメラＢの原画像を入力する画像入力部１０１と、参照画像であるカメラＡの復号画像を入力する参照画像入力部１０２と、参照画像を格納する参照画像メモリ１０３と、距離画像を生成する距離画像生成部１０４と、距離画像の符号化を行う距離画像符号化部１０５と、符号化された距離画像を復号する距離画像復号部１０６と、参照画像と復号された距離画像とから視差補償画像を生成する視差補償画像生成部１０７と、視差補償画像を利用して符号化対象画像を符号化する符号化対象画像符号化部１０８とを備える。
ここで、画像符号化装置１００と後述の画像復号装置２００（図６参照）のどちらにおいても、実際のカメラから被写体までの距離を表した距離画像でも、視差補償のために使われる疑似的な距離を表した疑似距離画像でも、装置や処理は区別をして処理を行うわけではない。したがって、以下では、両者を区別せず単に距離画像と記し、それによって示される距離もしくは疑似的な距離も区別せず単に距離と記す。
以下、図２に示すように構成された画像符号化装置１００が実行する画像符号化処理について、図３〜図５のフローチャートを用いて詳細に説明する。
図３は、画像符号化装置による画像符号化処理フローチャートである。図３に示すフローチャートは、画像符号化装置１００による画像符号化処理全体の概要を示す。
画像符号化装置１００では、画像入力部１０１により、カメラＢの画像が入力される（ステップＳ１０）。なお、参照画像入力部１０２によって、カメラＡの復号画像が参照画像メモリ１０３に入力されている。
以下では、入力されたカメラＢの画像を符号化対象画像と記し、参照画像メモリ１０３上の画像を参照画像と記す。
次に、符号化対象画像と参照画像を用いて、距離画像生成部１０４で参照画像に対する距離画像を生成する（ステップＳ１１）。
そして、画像符号化装置１００側と画像復号装置２００側でまったく同じ情報を用いた視差補償画像生成を実現するために、生成された距離画像を距離画像符号化部１０５で符号化し（ステップＳ１２）、その符号化データを距離画像復号部１０６で復号する（ステップＳ１３）。
次に、復号して得られた距離画像と参照画像とから、視差補償画像生成部１０７で視差補償画像を生成する（ステップＳ１４）。最後に、生成された視差補償画像を用いて、符号化対象画像を符号化対象画像符号化部１０８で符号化する（ステップＳ１５）。
図３に示す画像符号化処理は、カメラＢの一つの画像を符号化する際に行う処理を示しており、各時刻の画像についてこの処理を繰り返すことにより、多視点動画像の符号化を行うことができる。
なお、距離画像符号化部１０５では、既存の任意の符号化手法を用いて構わない。静止画像としてＪＰＥＧ２０００のような画像符号化方式を適用してもよいし、他の時刻の参照画像に対して生成された距離画像と共に、Ｈ．２６４などの動画像符号化方式を適用してもよいし、画素値を単純に可変長符号化してもよい。
ただし、距離画像復号部１０６は、距離画像符号化部１０５で用いた方式で生成される符号化データを復号できるものでなければならない。
また、本発明を多視点動画像符号化に用いる場合、符号化対象画像符号化部１０８では、視差補償画像を利用して符号化を行う符号化方式であれば、任意のものを用いることができる。
例えば、視差補償画像と符号化対象画像の差分画像を生成して符号化する方式や、差分画像をそのまま符号化するのではなく、異なる時刻の差分画像とＨ．２６４で用いられる動き補償を行って符号化する方式や、視差補償画像を用いて行う映像予測と、動き補償によって行う映像予測とを比べて予測効率のよい予測法を使って符号化する方式などがある。
本実施の形態では、画像符号化装置１００の内部で距離画像を生成する方式を取っているが、センサ等を用いて外部で生成した距離画像をそのまま用いても構わない。その場合には、距離画像生成部１０４が不要となり、図３のフローチャートにおけるステップＳ１１の処理を省略することができる。
さらに、距離画像符号化部１０５において可逆符号化方式を用いる場合には、距離画像復号部１０６が不要となり、図３のフローチャートにおけるステップＳ１３の処理を省略することができる。ただし、その場合には、距離画像がそのまま視差補償画像生成部１０７に入力されることになる。
図４は、距離画像生成部１０４による距離画像生成処理フローチャートである。
ここでは、図３のステップＳ１１における符号化対象画像と参照画像とから距離画像を生成する距離画像生成処理について、より詳細に説明する。
図４のフローチャートでは、参照画像を複数のブロックに分割して、ブロックごとに距離を求める処理を行っている。ここで、ブロックのサイズをすべて１×１（画素）とすると、画素ごとに距離を求めることに相当する。
この距離を設定する単位となるブロックを、参照画像を領域分割して符号化処理するときの符号化処理ブロックに合わせるような実施も好適である。なお、各ブロックを示すインデックスをｂｌｋと表し、一つの画像に対するブロック数をｍａｘＢｌｋと表す。
ｂｌｋを０に初期化した後（ステップＳ２０）、ｂｌｋを１ずつ加算しながら（ステップＳ３５）、ｂｌｋがｍａｘＢｌｋになるまで（ステップＳ３６）、ブロックごとに、ステップＳ２１〜ステップＳ３６の処理を繰り返して実行する。
ブロックごとに行われる処理では、まず、インデックスｂｌｋのブロックの参照画像の画素空間上の位置求め、ｂｌｋ＿ｐｏｓとする（ステップＳ２１）。
ここで、距離候補を示すインデックスをｄｅｐｔｈと表し、その最小値をｍｉｎＤｅｐｔｈと表し、最大値をｍａｘＤｅｐｔｈと表す。ｍｉｎＤｅｐｔｈとｍａｘＤｅｐｔｈは、撮影する風景を考慮して任意に与えられる符号化時のパラメータである。
また、以下の処理で各距離候補に対して評価を行っていくのであるが、その評価値として絶対に取りえない最大値をｍａｘＣｏｓｔと表す。さらに、繰り返し評価を行うために、最も良かった評価値をｍｉｎＣｏｓｔと表し、そのときの距離候補インデックスをｂｅｓｔＤｅｐｔｈと表すこととする。
ｄｅｐｔｈをｍｉｎＤｅｐｔｈに初期化し、ｍｉｎＣｏｓｔをｍａｘＣｏｓｔに初期化した後（ステップＳ２２）、ｄｅｐｔｈを１ずつ加算しながら（ステップＳ３２）、ｄｅｐｔｈがｍａｘＤｅｐｔｈになるまで（ステップＳ３３）、距離候補ごとに、ステップＳ２３〜ステップＳ３３の処理を繰り返して実行する。
そして、ｄｅｐｔｈがｍａｘＤｅｐｔｈになったときに、ｂｅｓｔＤｅｐｔｈに格納されているものを、ブロックインデックスｂｌｋに対する距離の値と決定する（ステップＳ３４）。
以下、距離候補ごとに行われる処理（ステップＳ２３〜ステップＳ３３）について説明する。
まず、距離画像符号化部１０５で用いられる符号化方式を考慮して、距離画像のｂｌｋ＿ｐｏｓの位置の距離がｄｅｐｔｈとなった場合、そのｄｅｐｔｈを符号化するのに必要な符号量を求めｒａｔｅとする（ステップＳ２３）。これは実際の符号量であっても、符号量の予測値であっても構わない。
次に、ｄｅｐｔｈを符号化して復号したときに得られる値を求めｄｅｃ＿ｄｅｐｔｈとする（ステップＳ２４）。そして、ｂｌｋ＿ｐｏｓの位置におけるカメラから被写体までの距離が、ｄｅｃ＿ｄｅｐｔｈで与えられる距離である場合の視差ベクトルを求め、ＤＩＳＰ＿Ｖとする（ステップＳ２５）。この視差ベクトルは、次の数式（１）によって求めることができる。
数式（１）において、太字になっている変数はベクトルを表し、大文字の変数は行列を表す。
行列Ａはカメラの内部パラメータ行列を表し、行列Ｒはカメラの回転行列を表し、ベクトルｔはカメラの並進ベクトルを表す。なお、添え字ｔは符号化対象画像を撮影したカメラのパラメータであることを示し、添え字ｒは参照画像を撮影したカメラのパラメータであることを示す。
ｄは、距離インデックスｄｅｃ＿ｄｅｐｔｈで表されるカメラから被写体までの距離を表す。「〜ｘ」（〜はｘの上部に付される）は、ベクトルｘの斉次ベクトル（同次ベクトル）を示す。また、「＾ｘ」（＾はｘの上部に付される）は、ベクトルｘの斉次ベクトルのうち、最終成分が１である斉次ベクトルを示す。なお、Ｎ次元ベクトルに対する斉次ベクトルは、Ｎ＋１個の要素を持つ。この斉次ベクトルのＮ＋１番目の成分で、１〜Ｎ番目の成分を除算した値を１〜Ｎ次元目の成分として持つベクトルが、斉次ベクトルに対する通常のベクトル（上記の例ではベクトルｘ）となる。つまり、Ｎ次元ベクトルに関しては、次の関係が成り立つ。
ＤＩＳＰ＿Ｖが求められたら、その各成分を整数化した予測対象ベクトルＴＡＲ＿Ｖを求める（ステップＳ２６）。整数化する方法は、
１）小数部分を切り捨てる方法、
２）四捨五入をする方法、
のどちらを用いてもよい。そして、参照対象ベクトルＲＥＦ＿Ｖを、次の数式（２）によって求める（ステップＳ２７）。
ＲＥＦ＿Ｖ＝ＴＡＲ＿Ｖ−ＤＩＳＰ＿Ｖ （２）

このとき、ｂｌｋ＿ｐｏｓに含まれるすべての画素ｐに対して、符号化対象画像上の位置ｐ＋ＴＡＲ＿Ｖと参照画像上の位置ｐ＋ＲＥＦ＿Ｖが対応点となる。
この対応点の確からしさの評価値、すなわち符号化対象画像の位置ｂｌｋ＿ｐｏｓ＋ＴＡＲ＿Ｖのブロックを参照画像の位置ｂｌｋ＿ｐｏｓ＋ＤＩＳＰ＿Ｖのブロックで予測するとしたときの予測誤差を求め、ｄｉｆｆとする（ステップＳ２８）。
確からしさの評価には、差分絶対値和や、二乗誤差和や、差分値の分散や、相関係数などの任意の尺度を用いることができる。一例として、差分絶対値和による評価式は、以下の数式（３）によって示される。
数式（３）において、Ｉは、引数で与えられる位置の画像の画素値を返す関数を表す。ｐ＋ＴＡＲ＿Ｖは必ず整数画素位置を示すが、ｐ＋ＲＥＦ＿Ｖは必ずしも整数画素位置を示しているとは限らない。
整数画素位置以外の位置の値は、周辺の画素の値からフィルタ処理等によって生成することができる。また、与えられる位置に対して厳密にその位置に対応する値を求める必要はなく、ある程度の小数画素位置までの値しか求めず、最も近い点のものを用いてもよい。
このようにして求められたｒａｔｅとｄｉｆｆに対して、距離候補を多視点動画像の符号化効率という面から評価するために、次の数式（４）で示されるレート歪コストｃｏｓｔを計算する（ステップＳ２９）。
ｃｏｓｔ＝ｄｉｆｆ＋λ×ｒａｔｅ （４）

数式（４）において、λはラグランジュの未定乗数であり、あらかじめ設定された値が利用される。符号化効率ではなく、単純な予測誤差だけで距離候補を評価する場合は、λ＝０に相当する。ここで求められるｃｏｓｔは、小さいほど良い。
距離候補ｄｅｐｔｈの評価値ｃｏｓｔをこれまでの距離候補における最良の評価値ｍｉｎＣｏｓｔと比べ（ステップＳ３０）、評価が良いようであれば、距離候補ｄｅｐｔｈを最良候補ｂｅｓｔＤｅｐｔｈとして保存し、最良評価値ｍｉｎＣｏｓｔをｃｏｓｔで書き換える（ステップＳ３１）。
そして、距離候補インデックスｄｅｐｔｈを１だけ増して（ステップＳ３２）、まだ別の距離候補があるならば、その距離候補に対して同様の処理を繰り返す（ステップＳ３３）。
図５は、視差補償画像生成部１０７による視差補償画像生成処理フローチャートである。ここでは、図３のステップＳ１４における、距離画像と参照画像とから視差補償画像を生成する視差補償画像生成処理について、より詳細に説明する。
図５のフローチャートでは、距離が与えられる参照画像のブロックごとに、視差補償画像を生成する処理を行っている。なお、各ブロックを示すインデックスをｂｌｋと表し、一つの画像に対するブロック数をｍａｘＢｌｋと表す。
ｂｌｋを０に初期化した後（ステップＳ４０）、ｂｌｋを１ずつ加算しながら（ステップＳ４７）、ｂｌｋがｍａｘＢｌｋになるまで（ステップＳ４８）、ブロックごとに、ステップＳ４１〜ステップＳ４８の処理を繰り返して実行する。
ブロックごとに行われる処理では、まず、インデックスｂｌｋのブロックの参照画像の画素空間上の位置求め、ｂｌｋ＿ｐｏｓとし（ステップＳ４１）、距離画像からブロックｂｌｋの距離ｄを得る（ステップＳ４２）。
そして、ｂｌｋ＿ｐｏｓの位置におけるカメラから被写体までの距離が、ｄで与えられる距離である場合の視差ベクトルＤＩＳＰ＿Ｖを求める（ステップＳ４３）。ＤＩＳＰ＿Ｖは、次の数式（５）によって求めることがで
きる。
数式（１）と同様に、数式（５）において、太字になっている変数はベクトルを表し、大文字の変数は行列を表す。行列Ａはカメラの内部パラメータ行列を表し、行列Ｒはカメラの回転行列を表し、ベクトルｔはカメラの並進ベクトルを表す。なお、添え字ｔは符号化対象画像を撮影したカメラのパラメータであることを示し、添え字ｒは参照画像を撮影したカメラのパラメータであることを示す。「〜ｘ」（〜はｘの上部に付される）は、ベクトルｘの斉次ベクトル（同次ベクトル）を示す。また、「＾ｘ」（＾はｘの上部に付される）は、ベクトルｘの斉次ベクトルのうち、最終成分が１である斉次ベクトルを示す。
ＤＩＳＰ＿Ｖが求められたら、その各成分を整数化した予測対象ベクトルＴＡＲ＿Ｖを求める（ステップＳ４４）。整数化する方法は、
１）小数部分を切り捨てる方法、
２）四捨五入をする方法、
のどちらを用いてもよいが、距離画像生成を行った場合には、距離画像生成部１０４での図４に示すステップＳ２６の処理で用いられた方法と同様の方法を用いる。
次に、参照対象ベクトルＲＥＦ＿Ｖを次の数式（６）によって求める（ステップＳ４５）。
ＲＥＦ＿Ｖ＝ＴＡＲ＿Ｖ−ＤＩＳＰ＿Ｖ （６）

そして、ｂｌｋ＿ｐｏｓに含まれるすべての画素ｐに対して、視差補償画像の位置ｐ＋ＴＡＲ＿Ｖの画素値を、参照画像上の位置ｐ＋ＲＥＦ＿Ｖの値で補償する（ステップＳ４６）。
ここで、ｐ＋ＲＥＦ＿Ｖは、整数画素位置を示しているとは限らない。整数画素位置以外の位置の値は、周辺の画素の値からフィルタ処理等によって生成することができる。また、与えられる位置に対して厳密にその位置に対応する値を求める必要はなく、ある程度の小数画素位置までの値しか求めず、最も近い点のものを用いてもよい。しかし、距離画像が距離画像生成部１０４で生成されたものである場合には、図４に示すステップＳ２８の処理で用いられた方法と同様の方法を用いる。
以上の実施例において、ブロックサイズをすべて１×１とすると、画素ごとに距離を求めることになるが、参照画像をｎ×ｍ画素（ｎ、ｍは可変）のブロックで分割し、参照画像を領域分割したブロックごとに距離（疑似距離）を設定し、その領域分割を示す情報と領域ごとの距離（疑似距離）とを符号化するようにしてもよい。
このように参照画像を領域分割したブロックごとに距離（疑似距離）を設定する場合に、参照画像が、画像全体を領域分割されて各領域ごとに符号化処理され、その領域分割情報と共に符号化されているときには、参照画像の符号化データに含まれる領域分割情報に従って、同様の領域分割を設定し、領域分割を示す情報の符号化を省略することもできる。
また、参照画像の符号化処理ブロックに関する領域分割と、上記の距離を設定する領域分割とが異なる場合に、距離を設定するブロックを定める領域分割を示す情報の符号化では、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報だけを符号化することにより、符号量の増加を抑えるようにしてもよい。
また、上記距離（疑似距離）の符号化では、既に符号化済みの距離の中から１つの参照距離を選択し、その参照距離を示す情報と、符号化対象の距離とその参照距離との差異とを符号化することにより、符号量の増加を抑えることもできる。
また、上記距離（疑似距離）の符号化では、１つの参照画像に対して与えられる疑似距離群を画像とみなし、それらの疑似距離の集合をＪＰＥＧ等の所定の画像符号化方法を用いて符号化するようにしてもよい。
次に、このように生成された符号化データを復号する本発明の画像復号装置２００について説明する。
図６は、本発明の実施の形態による画像復号装置の構成例を示す図である。
画像復号装置２００は、距離画像を復号する距離画像復号部２０１と、参照画像であるカメラＡの復号画像を格納する参照画像メモリ２０２と、復号された距離画像と参照画像とから視差補償画像を生成する視差補償画像生成部２０３と、生成された視差補償画像を参照しながら符号化対象画像の符号化データを復号する符号化対象画像復号部２０４とを備える。
図７は、画像復号装置による画像復号処理フローチャートである。図７では、カメラＢの画像を１フレーム復号する上でのフローチャートを示している。以下、図７に示すフローチャートを詳細に説明する。
なお、復号されるフレームと同時刻のカメラＡの画像のフレームは先立って復号されているものとし、その復号画像が参照画像として参照画像メモリ２０２に格納されているものとする。
まず、距離画像復号部２０１で、距離画像の符号化データを復号する（ステップＳ５０）。次に、復号した距離画像と参照画像メモリ２０２に格納されている参照画像とを用いて、視差補償画像生成部２０３で視差補償画像を生成する（ステップＳ５１）。最後に、生成された視差補償画像を参照しながら、符号化対象画像の符号化データを符号化対象画像復号部２０４で復号する（ステップＳ５２）。
ここで、符号化対象画像復号部２０４で行われる処理は、画像符号化装置１００の内部の符号化対象画像符号化部１０８で用いられた符号化方式に準じたものを用いる。つまり、符号化対象画像符号化部１０８で視差補償画像と符号化対象画像の差分を符号化する方式を用いている場合には、符号化対象画像復号部２０４は、与えられた符号化データを復号し、生成した視差補償画像と足し合わせることで、符号化対象画像の復号画像を得る。
なお、画像復号装置２００内の距離画像復号部２０１は、画像符号化装置１００内の距離画像復号部１０６と同じ処理を行うものである。
画像復号装置２００内の視差補償画像生成部２０３は、画像符号化装置１００内の視差補償画像生成部１０７と同じ、図５に示す処理を行うものである。
本実施の形態では、距離画像の符号化データが与えられる形式を取っているが、別の方法で距離画像が与えられる場合には、距離画像復号部２０１は不要であり、図７のフローチャートにおけるステップＳ５０の処理を省略することができる。その場合には、与えられた距離画像がそのまま視差補償画像生成部２０３で用いられる。
図４のフローチャートのステップＳ２６の処理と、図５のフローチャートのステップＳ４４の処理におけるＴＡＲ＿Ｖを生成する部分で、各成分を整数にするだけでなく、各成分を、視差ベクトルの対応する各成分に最も近い符号化処理ブロックサイズの整数倍にしてもよい。
このとき、図４のフローチャートのステップＳ２８の処理において、ｂｌｋ＿ｐｏｓ＋ＴＡＲ＿Ｖは必ず１つの符号化処理ブロックを示すため、符号化対象画像のｂｌｋ＿ｐｏｓ＋ＴＡＲ＿Ｖで表されるブロックを符号化するのに必要な符号量ｃｏｄｅを求め、その符号化を行った際の原画像と復号画像の二乗誤差和ＳＳＤを求め、ｄｉｆｆを次の数式（７）で求めることで、実際の符号量と映像品質との間の関係を鑑みて距離画像を生成できるため、より高効率な符号化を達成できる。
ｄｉｆｆ＝ＳＳＤ＋λ’×ｃｏｄｅ （７）

数式（７）において、λ’はラグランジュの未定乗数であり、あらかじめ設定された値が利用される。
なお、本実施の形態では、符号化対象画像を撮影しているカメラが１台の場合を取り扱った。カメラが２台以上の場合でも、次に説明する処理を除き、同じ処理で画像符号化および復号が行える。
カメラが２台以上の場合には、図４に表される距離画像を生成する処理のフローチャートにおけるステップＳ２５〜ステップＳ２８の処理を符号化対象画像ごとに行い、それぞれで求められたｄｉｆｆの合計値をｄｉｆｆとして距離候補の評価を行って距離画像を生成する。
以上の画像符号化の処理は、ハードウェアやファームウェアに限らず、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
以上、図面を参照して本発明の実施の形態を説明したが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神および範囲を逸脱しない範囲で、上記実施の形態に対し構成要素の追加、省略、置換、その他の変更を行ってもよい。
本発明によれば、参照画像の整数画素を基準として与えられる符号化対象画像の対応点情報から、符号化対象画像の整数画素の位置に対応する参照画像の小数画素単位の位置を、精度よく低演算コストで求めることができ、より細かい視差に対応した視差補償を実現し、多視点画像全体としての高効率な画像符号化を実現することができる。

Claims (28)

  1. 複数のカメラで撮影された多視点画像を符号化するにあたり、既に符号化済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラから被写体までの距離とを用いて、カメラ間で画像を予測しながら符号化を行う画像符号化方法であって、
    前記参照画像の各画素に対して与えられる前記距離と、前記参照画像を撮影したカメラと符号化対象画像を撮影した各カメラとの位置関係とに基づいて、前記参照画像の各画素に対応する各符号化対象画像上での対応点を求め、前記参照画像の画素位置から前記符号化対象画像上での対応点へと向かう画素空間上の視差ベクトルを算出する視差ベクトル設定ステップと、
    前記視差ベクトルと同じ始点を持ち、前記視差ベクトルの各成分の小数部分の切り捨てまたは各成分の値に最も近い整数値の選択により、前記視差ベクトルの各成分を整数値に丸めた値を、ベクトルの各成分として持つ予測対象ベクトルを算出する予測対象ベクトル設定ステップと、
    前記視差ベクルと同じ始点を持ち、前記予測対象ベクトルと前記視差ベクトルとの差分ベクトルと同じ大きさと向きとを持つ参照対象ベクトルを算出する参照対象ベクトル設定ステップと、
    前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される符号化対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有する
    ことを特徴とする画像符号化方法。
  2. 請求項１に記載の画像符号化方法において、
    前記参照画像の各画素に対して、エピポーラ幾何拘束に基づいて、前記参照画像から、符号化対象の画像を予測する際の対応点を示す疑似距離を設定する疑似距離設定ステップと、
    前記疑似距離設定ステップで設定された疑似距離を符号化する疑似距離符号化ステップとを有し、
    前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いる
    ことを特徴とする画像符号化方法。
  3. 請求項２に記載の画像符号化方法において、
    前記疑似距離設定ステップは、
    取り得る値を推定して定めた推定疑似距離とカメラの位置関係とに基づいて求められる符号化対象画像上での対応点を終点とし、その推定疑似距離が与えられる参照画像中の画素を始点とする、画素空間上の推定視差ベクトルを設定する過程と、
    前記推定視差ベクトルの終点を整数画素に丸めた推定予測対象ベクトルを設定する過程と、
    前記推定視差ベクトルと同じ始点を持ち、前記推定予測対象ベクトルと前記推定視差ベクトルとの差分ベクトルと同じ大きさと向きを持つ推定参照対象ベクトルを設定する過程と、
    前記推定予測対象ベクトルと前記推定参照対象ベクトルとを用いてカメラ間の画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する過程と
    を有することを特徴とする画像符号化方法。
  4. 請求項３に記載の画像符号化方法において、
    前記疑似距離設定ステップでは、前記予測誤差の合計値と、前記推定疑似距離を符号化するのに必要な符号量に重みを付けた値との和で表されるレート歪コストが最小になるように前記疑似距離を設定する
    ことを特徴とする画像符号化方法。
  5. 請求項２に記載の画像符号化方法において、
    前記疑似距離符号化ステップで符号化された疑似距離の符号化データを復号する符号化済み疑似距離復号ステップを有し、
    前記視差ベクトル設定ステップでは、前記符号化済み疑似距離復号ステップで復号して得られた復号疑似距離を前記参照画像の各画素に対して与えられる距離として用いる
    ことを特徴とする画像符号化方法。
  6. 請求項２に記載の画像符号化方法において、
    参照画像における領域分割を設定する領域分割設定ステップを有し、
    前記疑似距離設定ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を設定し、
    前記疑似距離符号化ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を符号化する
    ことを特徴とする画像符号化方法。
  7. 請求項６に記載の画像符号化方法において、
    前記領域分割設定ステップで設定された領域分割を示す情報を符号化する領域分割符号化ステップを更に有する
    ことを特徴とする画像符号化方法。
  8. 請求項６に記載の画像符号化方法において、
    前記参照画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
    前記領域分割設定ステップでは、参照画像の符号化データに含まれる領域分割情報に従って、同様の領域分割を設定する
    ことを特徴とする画像符号化方法。
  9. 請求項７に記載の画像符号化方法において、
    前記参照画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
    前記領域分割符号化ステップでは、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報のみを符号化する
    ことを特徴とする画像符号化方法。
  10. 請求項２に記載の画像符号化方法において、
    前記疑似距離符号化ステップでは、既に符号化済みの疑似距離の中から１つの参照疑似距離を選択し、その参照疑似距離を示す情報と、前記疑似距離設定ステップで設定された疑似距離とその参照疑似距離との差異とを符号化する
    ことを特徴とする画像符号化方法。
  11. 請求項２に記載の画像符号化方法において、
    前記疑似距離符号化ステップでは、１つの参照画像に対して設定される疑似距離群を画像とみなし、それらの疑似距離の集合を所定の画像符号化方法を用いて符号化する
    ことを特徴とする画像符号化方法。
  12. 請求項１に記載の画像符号化方法において、
    前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとする
    ことを特徴とする画像符号化方法。
  13. 複数のカメラで撮影された多視点画像の符号化データを復号するにあたり、既に復号済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラから被写体までの距離とを用いて、カメラ間で画像を予測しながら画像を復号する画像復号方法であって、
    前記参照画像の各画素に対して与えられる前記距離と、前記参照画像を撮影したカメラと復号対象画像を撮影した各カメラとの位置関係とに基づいて、各復号対象画像上での対応点を求め、前記参照画像の画素位置から前記復号対象画像上での対応点へと向かう画素空間上の視差ベクトルを算出する視差ベクトル設定ステップと、
    前記視差ベクトルと同じ始点を持ち、前記視差ベクトルの各成分の小数部分の切り捨てまたは各成分の値に最も近い整数値の選択により、前記視差ベクトルの各成分を整数値に丸めた値を、ベクトルの各成分として持つ予測対象ベクトルを算出する予測対象ベクトル設定ステップと、
    前記視差ベクルと同じ始点を持ち、前記予測対象ベクトルと前記視差ベクトルとの差分ベクトルと同じ大きさと向きとを持つ参照対象ベクトルを算出する参照対象ベクトル設定ステップと、
    前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される復号対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有する
    ことを特徴とする画像復号方法。
  14. 請求項１３に記載の画像復号方法において、
    符号化データから、前記参照画像から復号対象画像を予測する際の対応点をエピポーラ幾何拘束に基づいて示す疑似距離を復号する疑似距離復号ステップを有し、
    前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いる
    ことを特徴とする画像復号方法。
  15. 請求項１３に記載の画像復号方法において、
    符号化データから、参照画像における領域分割を示す情報を復号する領域分割復号ステップを有し、
    前記疑似距離復号ステップでは、前記領域分割復号ステップで復号された情報の示す領域ごとに与えられた疑似距離を復号する
    ことを特徴とする画像復号方法。
  16. 請求項１５に記載の画像復号方法において、
    前記参照画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
    前記領域分割復号ステップでは、参照画像の符号化データに含まれる領域分割情報を復号する
    ことを特徴とする画像復号方法。
  17. 請求項１５に記載の画像復号方法において、
    前記参照画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されている場合に、
    前記領域分割復号ステップでは、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報を復号し、参照画像の符号化データに含まれる領域分割情報と、前記違いを表す情報とを用いて領域分割を設定する
    ことを特徴とする画像復号方法。
  18. 請求項１４に記載の画像復号方法において、
    前記疑似距離復号ステップでは、符号化データから、既に符号化済みの複数の疑似距離の中の１つの参照疑似距離を示す情報と、復号対象の疑似距離と前記参照疑似距離との差異を示す情報とを復号して、前記疑似距離を復号する
    ことを特徴とする画像復号方法。
  19. 請求項１４に記載の画像復号方法において、
    前記疑似距離復号ステップでは、１つの参照画像に対して与えられる疑似距離群を画像とみなし、符号化データから、前記疑似距離群を、所定の画像復号方法を用いて復号する
    ことを特徴とする画像復号方法。
  20. 請求項１３に記載の画像復号方法において、
    前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い復号処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとする
    ことを特徴とする画像復号方法。
  21. 請求項１に記載の画像符号化方法における各ステップを実行するための手段を備える
    ことを特徴とする画像符号化装置。
  22. 請求項２に記載の画像符号化方法における各ステップを実行するための手段を備える
    ことを特徴とする画像符号化装置。
  23. 請求項１に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラム。
  24. 請求項２に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラム。
  25. 請求項１に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  26. 請求項１３に記載の画像復号方法における各ステップを実行するための手段を備える
    ことを特徴とする画像復号装置。
  27. 請求項１３に記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラム。
  28. 請求項１３に記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008535351A 2006-09-20 2007-09-18 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Active JP4999854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008535351A JP4999854B2 (ja) 2006-09-20 2007-09-18 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006253845 2006-09-20
JP2006253845 2006-09-20
JP2008535351A JP4999854B2 (ja) 2006-09-20 2007-09-18 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
PCT/JP2007/068065 WO2008035665A1 (fr) 2006-09-20 2007-09-18 procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme

Publications (2)

Publication Number Publication Date
JPWO2008035665A1 JPWO2008035665A1 (ja) 2010-01-28
JP4999854B2 true JP4999854B2 (ja) 2012-08-15

Family

ID=39200491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008535351A Active JP4999854B2 (ja) 2006-09-20 2007-09-18 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Country Status (10)

Country Link
US (2) US8290289B2 (ja)
EP (1) EP2066133A4 (ja)
JP (1) JP4999854B2 (ja)
KR (1) KR101023262B1 (ja)
CN (1) CN101518090B (ja)
BR (1) BRPI0716810A2 (ja)
CA (1) CA2663672C (ja)
RU (1) RU2407220C2 (ja)
TW (1) TWI346509B (ja)
WO (1) WO2008035665A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024962B2 (ja) * 2008-07-11 2012-09-12 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5219199B2 (ja) * 2008-07-11 2013-06-26 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
WO2010021666A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
US8913105B2 (en) 2009-01-07 2014-12-16 Thomson Licensing Joint depth estimation
WO2011021240A1 (ja) * 2009-08-20 2011-02-24 トムソン ライセンシング ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102576154A (zh) 2009-10-30 2012-07-11 惠普发展公司，有限责任合伙企业 立体显示***
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
EP2540088A1 (en) * 2010-02-25 2013-01-02 Thomson Licensing Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP5281623B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5248583B2 (ja) 2010-12-13 2013-07-31 株式会社東芝 動画像復号装置及び動画像復号方法
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
MX2013010423A (es) * 2011-03-18 2013-10-03 Sony Corp Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
BR112013033333B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
JP2013110643A (ja) * 2011-11-22 2013-06-06 Sharp Corp 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラム
BR112014013969B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de decodificação de vídeo, método de decodificação de vídeo, programa de decodificação de vídeo
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP5531282B2 (ja) * 2012-06-18 2014-06-25 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
US9544566B2 (en) 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US20150350678A1 (en) * 2012-12-27 2015-12-03 Nippon Telegraph And Telephone Corporation Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program, and recording media
CN104885450B (zh) 2012-12-27 2017-09-08 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
CN103118256B (zh) * 2013-01-29 2017-02-15 北京大学深圳研究生院 基于方向和距离判别的运动矢量预测方法
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
EP3142366A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
US9716875B2 (en) 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3383035A1 (en) * 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH10271511A (ja) * 1997-01-22 1998-10-09 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
WO2005018217A2 (en) * 2003-08-07 2005-02-24 Sony Electronics, Inc. Semantics-based motion estimation for multi-view video coding
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
WO2007077942A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
WO2007077989A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP3519594B2 (ja) 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP4374625B2 (ja) * 1998-05-08 2009-12-02 ソニー株式会社 画像生成装置及び方法
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码***
JP2006253845A (ja) 2005-03-08 2006-09-21 Ricoh Co Ltd 画像処理システム、画像処理装置、設定変更方法、設定変更プログラム、および該プログラムを記録した記録媒体
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH10271511A (ja) * 1997-01-22 1998-10-09 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
WO2005018217A2 (en) * 2003-08-07 2005-02-24 Sony Electronics, Inc. Semantics-based motion estimation for multi-view video coding
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
WO2007077942A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
WO2007077989A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Also Published As

Publication number Publication date
US20100021072A1 (en) 2010-01-28
CN101518090A (zh) 2009-08-26
CN101518090B (zh) 2011-11-16
KR101023262B1 (ko) 2011-03-21
WO2008035665A1 (fr) 2008-03-27
US20130058584A1 (en) 2013-03-07
BRPI0716810A2 (pt) 2013-11-05
CA2663672A1 (en) 2008-03-27
RU2407220C2 (ru) 2010-12-20
CA2663672C (en) 2014-08-12
EP2066133A4 (en) 2015-11-18
JPWO2008035665A1 (ja) 2010-01-28
TW200822762A (en) 2008-05-16
EP2066133A1 (en) 2009-06-03
US8290289B2 (en) 2012-10-16
RU2009109204A (ru) 2010-09-20
TWI346509B (en) 2011-08-01
KR20090053820A (ko) 2009-05-27

Similar Documents

Publication Publication Date Title
JP4999854B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US10200715B2 (en) Methods and devices for encoding and decoding video pictures
JP4999853B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR20090084829A (ko) 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2015083742A1 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
JP2013126006A (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120515

R151 Written notification of patent or utility model registration

Ref document number: 4999854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350