JPWO2015141549A1 - 動画像符号化装置及び方法、及び、動画像復号装置及び方法 - Google Patents

動画像符号化装置及び方法、及び、動画像復号装置及び方法 Download PDF

Info

Publication number
JPWO2015141549A1
JPWO2015141549A1 JP2016508681A JP2016508681A JPWO2015141549A1 JP WO2015141549 A1 JPWO2015141549 A1 JP WO2015141549A1 JP 2016508681 A JP2016508681 A JP 2016508681A JP 2016508681 A JP2016508681 A JP 2016508681A JP WO2015141549 A1 JPWO2015141549 A1 JP WO2015141549A1
Authority
JP
Japan
Prior art keywords
information
motion information
image
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016508681A
Other languages
English (en)
Inventor
信哉 志水
信哉 志水
志織 杉本
志織 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2015141549A1 publication Critical patent/JPWO2015141549A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

多視点動画像の１フレームを符号化する際に、符号化対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報を用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した符号化対象領域毎に符号化を行う。前記符号化対象領域に対して前記参照視点画像上の対応領域を示す情報と前記参照視点画像の動き情報とから、当該対応領域の仮動き情報を設定する。前記仮動き情報によって示される参照視点上の領域における、前記符号化対象画像の視点に対する視差情報と、前記対応領域を示す情報とを用いて前記仮動き情報を変換することにより、前記符号化対象領域に対する動き情報を生成する。

Description

本発明は、多視点動画像を符号化及び復号する動画像符号化装置、動画像復号装置、動画像符号化方法、及び、動画像復号方法に関する。
本願は、２０１４年３月２０日に出願された特願２０１４−０５８９０３号に基づき優先権を主張し、その内容をここに援用する。
従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。
以下の説明では、１つのカメラで撮影された画像（動画像）を”２次元画像（２次元動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を”多視点画像（多視点動画像）”と称する。
２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームと符号化対象フレームとの時間相関を利用した符号化が可能である。
Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。
Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体毎に異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。
多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した”視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。
図８は、カメラ（第１のカメラと第２のカメラ）間で生じる視差を示す概念図である。図８に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。
視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置毎に変化するため、視差補償予測を行う領域毎に視差情報を符号化することが必要である。
実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロック毎に視差情報を表すベクトルを符号化している。
なお、視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すこともある。
被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として表現する場合もある。
どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。
多視点映像では、画像信号の他に動き情報についてもカメラ間で相関がある。非特許文献２では、そのような相関を利用するために、視差によって得られる対応関係に基づいて、符号化対象フレームの動き情報を参照フレームから推定する“視点間動きベクトル予測”によって、動き情報の符号化にかかる符号量を削減し、効率的な多視点動画像の符号化を実現している。
ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. J. Konieczny and M. Domanski, "Depth-based interview prediction of motion vectors for improved multiview video coding," in Proc. 3DTV-CON2010, June 2010.
しかしながら、非特許文献２に記載の方法では、視差によって得られる対応関係に基づいて、参照フレームにおける動き情報を符号化対象フレームの動き情報とするため、参照フレームにおける動き情報と符号化対象フレームにおける実際の動き情報が一致していない場合、誤った動き情報を用いた画像信号の予測が行われ、画像信号の予測残差の符号化にかかる符号量が増加してしまうという問題がある。
この問題に対して、参照フレームの動き情報を複写するのではなく、参照フレームの動き情報を予測動き情報として用い、符号化対象フレームに対する動き情報を予測符号化することで、画像信号の予測残差の符号化にかかる符号量の増加を防ぎつつ、カメラ間の動き情報についての相関を利用した符号化を可能にする方法が考えられる。
一般に、被写体の運動は３次元空間で行われる自由な運動である。そのため、特定のカメラで観測される運動はそのような３次元運動を、カメラの投影面である２次元平面へ写像した結果になる。
２つの異なるカメラの投影面へ３次元運動を投影した際に、その動き情報が一致するためには、２つのカメラが平行に配置されており、３次元運動がカメラの光軸に対して垂直な平面で行われたときだけである。つまり、そのような特定の条件を満たさない場合、視点の異なるフレームに対する動き情報のカメラ間相関は低い。そのため、非特許文献２に記載の方法で生成された動き情報を予測に用いたとしても、精度の高い動き情報の予測が行えず、動き情報の符号化にかかる符号量を削減することができないという問題がある。
本発明は、このような事情に鑑みてなされたもので、視点の異なるフレームに対する動き情報におけるカメラ間相関が低い場合でも、動き情報に対して精度の高い予測を実現し、高効率な符号化を実現することができる動画像符号化装置、動画像復号装置、動画像符号化方法、及び、動画像復号方法を提供することを目的とする。
本発明は、複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う動画像符号化装置であって、
前記符号化対象領域に対して、前記参照視点画像上の対応領域を示す符号化対象領域視差情報を設定する符号化対象領域視差情報設定手段と、
前記参照視点動き情報から、前記符号化対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定手段と、
前記仮動き情報によって示される参照視点上の領域における、前記符号化対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定手段と、
前記符号化対象領域視差情報と前記過去視差情報とを用いて前記仮動き情報を変換することにより、前記符号化対象領域に対する動き情報を生成する動き情報生成手段と
を有することを特徴とする動画像符号化装置を提供する。
典型例として、前記動き情報生成手段は、前記符号化対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報から被写体の三次元空間における動き情報を復元し、当該復元された動き情報を前記符号化対象画像へ投影することで、前記符号化対象領域に対する動き情報を生成する。
別の典型例として、上記動画像符号化装置は、前記参照画像上の対応領域を小領域へと分割する参照対象領域分割手段をさらに有し、
前記仮動き情報設定手段は、前記小領域毎に前記仮動き情報を設定し、
前記動き情報生成手段は、前記小領域毎に前記動き情報を生成する。
この場合、前記過去視差情報設定手段は、前記小領域毎に前記過去視差情報を設定するようにしても良い。
好適例として、前記符号化対象領域視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記符号化対象領域視差情報を設定する。
別の好適例として、前記過去視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記過去視差情報を設定する。
別の好適例として、前記参照画像上の対応領域における前記符号化対象画像の視点に対する視差情報である現在視差情報を設定する現在視差情報設定手段をさらに有し、
前記動き情報生成手段は、前記現在視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換する。
前記現在視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記現在視差情報を設定するようにしても良い。
更に、前記動き情報生成手段は、前記符号化対象視差情報と前記過去視差情報と前記仮動き情報との和によって、前記符号化対象領域に対する動き情報を生成するようにしても良い。
本発明は、複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、復号対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う動画像復号装置であって、
前記復号対象領域に対して、前記参照視点画像上の対応領域を示す復号対象領域視差情報を設定する復号対象領域視差情報設定手段と、
前記参照視点動き情報から、前記復号対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定手段と、
前記仮動き情報によって示される参照視点上の領域における、前記復号対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定手段と、
前記復号対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することにより、前記復号対象領域に対する動き情報を生成する動き情報生成手段と
を有することを特徴とする動画像復号装置も提供する。
典型例として、前記動き情報生成手段は、前記復号対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報から被写体の三次元空間における動き情報を復元し、当該復元された動き情報を前記復号対象画像へ投影することで、前記復号対象領域に対する動き情報を生成する。
別の典型例として、前記参照画像上の対応領域を小領域へと分割する参照対象領域分割手段をさらに有し、
前記仮動き情報設定手段は、前記小領域毎に前記仮動き情報を設定し、
前記動き情報生成手段は、前記小領域毎に前記動き情報を生成する。
この場合、前記過去視差情報設定手段は、前記小領域毎に前記過去視差情報を設定するようにしても良い。
好適例として、前記復号対象領域視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記復号対象領域視差情報を設定する。
別の好適例として、前記過去視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記過去視差情報を設定する。
別の好適例として、前記参照画像上の対応領域における前記復号対象画像の視点に対する視差情報である現在視差情報を設定する現在視差情報設定手段をさらに有し、
前記動き情報生成手段は、前記現在視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換する。
前記現在視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記現在視差情報を設定するようにしても良い。
更に、前記動き情報生成手段は、前記復号対象視差情報と前記過去視差情報と前記仮動き情報との和によって、前記復号対象領域に対する動き情報を生成するようにしても良い。
本発明は、複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う動画像符号化方法であって、
前記符号化対象領域に対して、前記参照視点画像上の対応領域を示す符号化対象領域視差情報を設定する符号化対象領域視差情報設定ステップと、
前記参照視点動き情報から、前記符号化対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定ステップと、
前記仮動き情報によって示される参照視点上の領域における、前記符号化対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定ステップと、
前記符号化対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することで、前記符号化対象領域に対する動き情報を生成する動き情報生成ステップと
を備えることを特徴とする動画像符号化方法も提供する。
本発明はまた、複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、復号対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う動画像復号方法であって、
前記復号対象領域に対して、前記参照視点画像上の対応領域を示す復号対象領域視差情報を設定する復号対象領域視差情報設定ステップと、
前記参照視点動き情報から、前記復号対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定ステップと、
前記仮動き情報によって示される参照視点上の領域における、前記復号対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定ステップと、
前記復号対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することにより、前記復号対象領域に対する動き情報を生成する動き情報生成ステップと
を備えることを特徴とする動画像復号方法も提供する。
本発明によれば、動き情報の視点間相関が低い場合においても、物体の三次元的な運動に基づいた変換によって、動き情報について精度の高い予測を実現することが可能となり、少ない符号量で多視点動画像を符号化することができるという効果が得られる。
本発明の実施形態における動画像符号化装置の構成を示すブロック図である。 図１に示す動画像符号化装置１００の動作を示すフローチャートである。 図１に示す動き情報生成部１０６における動き情報を生成する動作（ステップＳ１０３）の詳細処理動作を示すフローチャートである。 本発明の実施形態における動画像復号装置の構成を示すブロック図である。 図４に示す動画像復号装置２００の動作を示すフローチャートである。 図１に示す動画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 図４に示す動画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 カメラ間で生じる視差を示す概念図である。
以下、図面を参照して、本発明の実施形態による動画像符号化装置及び動画像復号装置を説明する。
以下の説明においては、第１の視点（視点Ａという）、第２の視点（視点Ｂという）の２つの視点で撮影された多視点動画像を符号化する場合を想定し、視点Ａを参照視点として視点Ｂの動画像の１フレームを符号化または復号するものとして説明する。
なお、デプス情報から視差を得るために必要となる情報は、必要に応じて別途与えられているものとする。具体的には、視点Ａと視点Ｂの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。
これらのカメラパラメータに関する詳しい説明は、例えば、参考文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この参考文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
図１は本実施形態における動画像符号化装置の構成を示すブロック図である。
動画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照視点動き情報入力部１０３、参照視点動き情報メモリ１０４、視差情報生成部１０５、動き情報生成部１０６、画像符号化部１０７、画像復号部１０８、及び、参照画像メモリ１０９を備えている。
符号化対象画像入力部１０１は、符号化対象となる画像を動画像符号化装置１００に入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここでは視点Ｂに対する動画像を、別途定められた符号化順に従って１フレームずつ入力するものとする。また、符号化対象画像を撮影した視点（ここでは視点Ｂ）を符号化対象視点と称する。
符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。
参照視点動き情報入力部１０３は、参照視点（ここでは視点Ａ）の動画像に対する動き情報（動きベクトルなど）を動画像符号化装置１００に入力する。以下では、ここで入力された動き情報を参照視点動き情報と称し、参照視点動き情報が与えられる、符号化対象画像と同時刻のフレームを、参照視点画像と称する。
参照視点動き情報メモリ１０４は、入力した参照視点動き情報を記憶する。
なお、符号化対象画像や参照視点動き情報が動画像符号化装置１００の外部に記憶されており、適切なタイミングで、符号化対象画像入力部１０１や参照視点動き情報入力部１０３が、必要な符号対象画像や参照視点動き情報を動画像符号化装置１００に入力するのであれば、符号化対象画像メモリ１０２や参照視点動き情報メモリ１０４は、備えなくても構わない。
視差情報生成部１０５は、符号対象画像と参照視点画像との視差情報（視差ベクトル）を生成する。
動き情報生成部１０６は、参照視点動き情報と視差情報とを用いて、符号化対象画像の動き情報を生成する。
画像符号化部１０７は、生成された動き情報を用いて、符号化対象画像を予測符号化する。
画像復号部１０８は、符号化対象画像のビットストリームを復号する。
参照画像メモリ１０９は、符号化対象画像のビットストリームを復号した際に得られる復号画像を記憶する。
次に、図２を参照して、図１に示す動画像符号化装置１００の動作を説明する。図２は、図１に示す動画像符号化装置１００の動作を示すフローチャートである。
まず、符号化対象画像入力部１０１は、符号化対象画像を動画像符号化装置１００に入力し、符号化対象画像メモリ１０２に記憶する。参照視点動き情報入力部１０３は参照視点動き情報を動画像符号化装置１００に入力し、参照視点動き情報メモリ１０４に記憶する（ステップＳ１０１）。
なお、ステップＳ１０１で入力される参照視点動き情報は、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。
参照視点動き情報は、参照視点画像を符号化する際に使用された動き情報を用いてもよいし、参照視点に対して別途符号化されたものでもよい。また、参照視点に対する動画像を復号し、そこから推定して得られた動き情報を用いることも可能である。
符号化対象画像および参照視点動き情報の入力が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域毎に、符号化対象画像の画像信号を符号化する（ステップＳ１０２〜Ｓ１０７）。
すなわち、符号化対象領域インデックスをｂｌｋ、１フレーム中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１０６）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１０７）、以下の処理（ステップＳ１０３〜Ｓ１０５）を繰り返す。
一般的な符号化では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。また、場所毎に異なる大きさのブロックに分割しても構わない。
符号化対象領域毎に繰り返される処理では、まず、動き情報生成部１０６は、符号化対象領域ｂｌｋにおける動き情報ｍｖを生成する（ステップＳ１０３）。ここでの処理は後で詳しく説明する。
符号化対象領域ｂｌｋに対する動き情報が得られたら、画像符号化部１０７は、動き情報ｍｖを用いて、参照画像メモリ１０９に記憶された画像を参照しながら、符号化対象領域ｂｌｋに対する画像信号（画素値）を予測符号化する（ステップＳ１０４）。符号化の結果得られるビットストリームが動画像符号化装置１００の出力となる。
なお、符号化する方法には、どのような方法を用いてもよい。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの画像信号と予測画像との差分信号に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
また、生成された動き情報ｍｖをどのように用いて符号化を行っても構わない。例えば、動き情報ｍｖによる動き補償予測画像を予測画像として、符号化対象領域ｂｌｋの画像信号を符号化しても構わない。
別の方法としては、ｍｖに対する補正ベクトルｃｍｖを設定・符号化し、ｍｖをｃｍｖで補正した動き情報に従って生成した動き補償予測画像を予測画像として、符号化対象領域ｂｌｋの画像信号を符号化しても構わない。この場合、ｃｍｖに対するビットストリームも一緒に出力されることになる。
次に、画像復号部１０８は、ビットストリーム、動き情報ｍｖ及び参照画像メモリ１０９に記憶された画像を用いて、ブロックｂｌｋに対する画像信号を復号し、復号結果である復号画像を参照画像メモリ１０９に記憶する（ステップＳ１０５）。
ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、ビットストリームに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで当該画像信号を復号する。
なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行ってもよい。すなわち、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで当該画像信号を復号してもよい。
次に、図３を参照して、図１に示す動き情報生成部１０６が、符号化対象領域ｂｌｋにおける動き情報を生成する処理（図２に示すステップＳ１０３）の詳細を説明する。図３は、当該生成処理の詳細を示すフローチャートである。
動き情報を生成する処理では、まず、視差情報生成部１０５は、符号化対象領域ｂｌｋにおける参照視点画像との視差ベクトルｄｖｂｌｋ（本発明の符号化対象領域視差情報に対応）を設定する（ステップＳ１４０１）。
ここでの処理には、復号側で同じ処理が実現できるのであれば、どのような方法を用いても構わない。
例えば、符号化対象領域ｂｌｋの周辺領域を符号化する際に使用された視差ベクトルや、符号化対象画像全体や符号化対象領域を含む部分画像に対して設定されたグローバル視差ベクトル、符号化対象領域に対して別途設定し符号化される視差ベクトルなどを用いることが可能である。また、異なる領域や過去に符号化された画像で使用した視差ベクトルを記憶しておいて用いるようにしてもよい。
なお、複数の視差ベクトル候補を設定し、それらの平均ベクトルを用いても構わないし、それらの中から何らかの基準（最頻、中央、最大ノルム、最小ノルムなど）によって１つの視差ベクトルを選択することで決定しても構わない。
もし、記憶されていた視差ベクトルの対象が参照視点とは異なる視点だった場合は、参照視点との位置関係に従ってスケーリングすることで変換を加えても構わない。
別の方法としては、符号化対象画像に対するデプスマップを別途動画像符号化装置に入力するものとし、符号化対象領域ｂｌｋと同じ位置のデプスマップに基づいて、参照視点画像に対する視差情報を設定しても構わない。
さらに別の方法としては、符号化対象視点とは異なる視点の１つをデプス視点とするとき、デプス視点に対するデプスマップを別途入力し、そのデプスマップを用いて求めても構わない。
具体的には、符号化対象領域ｂｌｋにおける符号化対象視点とデプス視点の視差ＤＶを推定し、ｂｌｋ＋ＤＶによって得られる位置のデプスマップに基づいて、参照視点画像に対する視差情報を設定しても構わない。
次に、視差情報ｄｖｂｌｋによって対応づけられる参照視点上の対応領域ｃｂｌｋを求める（ステップＳ１４０２）。具体的には、ｂｌｋに対して、上記生成された視差情報を加えることｄｖｂｌｋで求める。なお、対応領域ｃｂｌｋは、視差情報ｄｖｂｌｋで示される参照視点画像上の領域となる。
対応領域ｃｂｌｋが得られたら、視差情報生成部１０５は、対応領域ｃｂｌｋにおける符号化対象画像との視差ベクトルｄｖ＿ｓｒｃｂｌｋ（本発明の現在視差情報に対応）を設定する（ステップＳ１４０３）。
ここでの処理は、対象とする領域や始点と終点に対応する視点が異なるだけでステップＳ１４０１と同様であり、どのような方法を用いても構わない。なお、ステップＳ１４０１と同じ方法を用いなくても構わない。
また、処理を簡略化するために、ｄｖ＿ｓｒｃｂｌｋ＝−ｄｖｂｌｋとしても構わない。
さらに、簡略化する方法と通常の方法を適応的に選択しても構わない。例えば、ｄｖｂｌｋの精度（信頼度）を推定して、それに基づいて簡略化するか否かを決定しても構わない。
次に、動き情報生成部１０６は、対応領域ｃｂｌｋに対して記憶されている参照視点動き情報から、仮動き情報ｔｍｖを設定する（ステップＳ１４０４）。
なお、対応領域内に複数の動き情報が存在する場合は、その中から１つの動き情報を選択する。どのような基準で選択しても構わないが、例えば、対応領域の中心に対して記憶されている動き情報を選択しても構わないし、対応領域の中で最も広い領域に対して設定されている動き情報を選択しても構わない。
また、Ｈ．２６４等のように参照フレームリスト毎に異なる動きを設定した動き情報を用いる場合、参照フレームリスト毎に動きを選択して得られる動き情報を設定しても構わない。
仮動き情報ｔｍｖが得られたら、動き情報生成部１０６は、当該仮動き情報によって対応づけられる参照視点上の参照領域ｒｂｌｋを求める（ステップＳ１４０５）。具体的には、対応領域ｃｂｌｋに対して、仮動き情報ｔｍｖを加えることで求める。なお、参照領域ｒｂｌｋは、仮動き情報によって示される、時間的に異なるフレーム上の領域となる。
参照領域ｒｂｌｋが得られたら、視差情報生成部１０５は、参照領域ｒｂｌｋにおける符号化対象画像との視差ベクトルｄｖ＿ｄｓｔｂｌｋ（本発明の過去視差情報に対応）を設定する（ステップＳ１４０６）。
ここでの処理は、対象とする領域や視点と終点に対応する視点が異なるだけでステップＳ１４０１やＳ１４０３と同様であり、どのような方法を用いても構わない。なお、ステップＳ１４０１やＳ１４０３と同じ方法を用いなくても構わない。
最後に、動き情報生成部１０６は、ｄｖ＿ｓｒｃｂｌｋ、ｄｖ＿ｄｓｔｂｌｋ、ｔｍｖを用いて、符号化対象領域ｂｌｋに対する動き情報ｍｖを、次の（１）式に従って求める（ステップＳ１４０７）。
ｍｖ＝ｔｍｖ＋ｄｖ＿ｄｓｔｂｌｋ−ｄｖ＿ｓｒｃｂｌｋ ・・・（１）
なお、前述の説明では、動き情報ｍｖをそのまま符号化対象領域ｂｌｋの動き情報として設定したが、時間間隔を予め設定し、その予め定められた時間間隔と動き情報ｍｖが生成される時間間隔に従って、動き情報ｍｖをスケーリングし、元の時間間隔をその予め定められた時間間隔に置き換えて得られる動き情報を設定してもよい。
このようにすることで、異なる領域に対して生成される動き情報が全て同じ時間間隔を持つことになり、動き補償予測時に参照する画像を統一し、アクセスするメモリ空間を限定することが可能となる。
なお、アクセスするメモリ空間が限定されることによって、キャッシュヒット（目当てのデータがキャッシュ領域に存在して、読みだせること）をさせて、処理速度を向上することが可能となる。
また、前述の説明では、全ての対応領域ｃｂｌｋに対して、参照視点動き情報が存在しているとしているが、対応領域ｃｂｌｋにおいてイントラ予測が行われている場合など、参照視点動き情報が存在しない可能性もある。そのような場合は、動き情報が得られないとして、処理を終了しても構わないし、予め定められた方法で動き情報を設定しても構わない。
対応領域ｃｂｌｋにおいて参照視点動き情報が存在しない場合に、仮動き情報を設定する方法としては、例えば、予め定められた時間間隔とゼロベクトルからなる仮動き情報を設定しても構わないし、直前に処理した符号化対象領域に対して生成した仮動き情報を記憶しておき、記憶されている仮動き情報を設定しても構わない。
なお、記憶する仮動き情報は一定のタイミングでゼロベクトルへとリセットするようにしても構わない。
また、対応領域ｃｂｌｋに対して参照視点動き情報が存在しなかった場合、仮動き情報を設定せずに、予め定められた方法で符号化対象領域ｂｌｋに対する動き情報ｍｖを直接生成しても構わない。例えば、予め定められた時間間隔とゼロベクトルからなる動き情報を設定しても構わない。
更に、前述の説明では、符号化対象領域ｂｌｋ全体に対して、１つの動き情報を生成しているが（参照フレームや予測方向毎に、複数の動きベクトルと参照フレームを含んでも構わない）、符号化対象領域を小領域に分割し、その小領域毎に動き情報を生成しても構わない。
その場合、図３に示した処理を小領域毎に繰り返しても構わないし、図３の一部の処理（例えばＳ１４０２〜１４０７）のみを小領域毎に繰り返すものとしても構わない。
次に、本実施形態における動画像復号装置について説明する。図４は本実施形態における動画像復号装置の構成を示すブロック図である。
動画像復号装置２００は、図４に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照視点動き情報入力部２０３、参照視点動き情報メモリ２０４、視差情報生成部２０５、動き情報生成部２０６、画像復号部２０７、及び、参照画像メモリ２０８を備えている。
ビットストリーム入力部２０１は、復号対象となる動画像のビットストリームを動画像復号装置２００に入力する。以下では、この復号対象となる動画像の１フレームを復号対象画像と呼ぶ。ここでは視点Ｂの動画像の１フレームを指す。また、以下では、復号対象画像を撮影した視点（ここでは視点Ｂ）を復号対象視点と呼ぶ。
ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。
参照視点動き情報入力部２０３は、参照視点（ここでは視点Ａ）の動画像に対する動き情報（動きベクトルなど）を動画像復号装置２００に入力する。以下では、ここで入力された動き情報を参照視点動き情報、参照視点動き情報が与えられる、復号対象画像と同時刻のフレームを、参照視点画像と称する。
参照視点動き情報メモリ２０４は、入力した参照視点動き情報を記憶する。
なお、ビットストリームや参照視点動き情報が動画像復号装置２００の外部に記憶されており、適切なタイミングで、ビットストリーム入力部２０１や参照視点動き情報入力部２０３が、必要なビットストリームや参照視点動き情報を動画像復号装置２００に入力するのであれば、ビットストリームメモリ２０２や参照視点動き情報メモリ２０４は備えなくても構わない。
視差情報生成部２０５は、復号対象画像と参照視点画像との視差情報（視差ベクトル）を生成する。
動き情報生成部２０６は、参照視点動き情報と視差情報とを用いて、復号対象画像の動き情報を生成する。
画像復号部２０７は、生成された動き情報を用いて、ビットストリームから復号対象画像を復号して出力する。
参照画像メモリ２０８は、得られた復号対象画像を、以降の復号のために記憶する。
次に、図５を参照して、図４に示す動画像復号装置２００の動作を説明する。図５は、図４に示す動画像復号装置２００の動作を示すフローチャートである。
まず、ビットストリーム入力部２０１は、復号対象画像を符号化した結果のビットストリームを動画像復号装置２００に入力し、ビットストリームメモリ２０２に記憶する。参照視点動き情報入力部２０３は参照視点動き情報を動画像復号装置２００に入力し、参照視点動き情報メモリ２０４に記憶する（ステップＳ２０１）。
なお、ステップＳ２０１で入力される参照視点動き情報は、符号化側で使用されたものと同じものとする。これは動画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。
参照視点動き情報は、参照視点画像を復号する際に使用された動き情報を用いてもよいし、参照視点に対して別途符号化されたものでもよい。また、参照視点に対する動画像を復号し、そこから推定して得られた動き情報を用いることも可能である。
ビットストリームおよび参照視点動き情報の入力が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域毎に、復号対象画像の映像信号をビットストリームから復号する（ステップＳ２０２〜Ｓ２０６）。
すなわち、復号対象領域インデックスをｂｌｋ、１フレーム中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０２）、その後、ｂｌｋに１を加算しながら（ステップＳ２０５）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０３、Ｓ２０４）を繰り返す。
一般的な復号では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。また、場所毎に異なる大きさのブロックに分割しても構わない。
復号対象領域毎に繰り返される処理において、まず、動き情報生成部２０６は、復号対象領域ｂｌｋにおける動き情報ｍｖを生成する（ステップＳ２０３）。ここでの処理は、“符号化”と“復号”が異なるだけで、前述したステップＳ１０３と同様である。
復号対象領域ｂｌｋに対する動き情報ｍｖが得られたら、画像復号部２０７は、その動き情報ｍｖを用いて、参照画像メモリ２０８に記憶された画像を参照しながら、ビットストリームから、復号対象領域ｂｌｋに対する復号対象画像の画像信号（画素値）を復号する（ステップＳ２０４）。得られた復号対象画像は参照画像メモリ２０８に記憶されると共に、動画像復号装置２００の出力となる。
復号対象画像の復号には、符号化時に用いられた方法に対応する方法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで当該画像信号を復号する。
なお、生成された動き情報ｍｖをどのように用いて復号を行っても構わない。例えば、動き情報ｍｖによる動き補償予測画像を予測画像として、復号対象領域ｂｌｋの映像信号を復号しても構わない。
別の方法としては、ｍｖに対する補正ベクトルｃｍｖをビットストリームから復号し、ｍｖをｃｍｖで補正した動き情報に従って生成した動き補償予測画像を予測画像として、復号対象領域ｂｌｋの画像信号を復号しても構わない。この場合、ｃｍｖに対するビットストリームが、当該動画像復号装置に入力されたビットストリーム内に含まれているか、別途与えられる必要がある。
なお、前述した説明では、１フレームを符号化及び復号する処理を説明したが、複数フレーム繰り返すことで動画像を符号化することができる。なお、動画像の全てのフレームに適用しなくても構わない。
また、前述した説明においては、画像全体を符号化/復号する処理として説明したが、画像の一部分のみに適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化または復号してもよいし、なんらか別の手段でそれを指定してもよい。例えば、領域毎の予測画像を生成する手法を示すモードの１つとして表現するようにしてもよい。
更に、前述した説明では、動画像符号化装置及び動画像復号装置の構成及び処理動作を説明したが、これら動画像符号化装置及び動画像復号装置の各部の動作に対応した処理動作によって、本発明の動画像符号化方法及び動画像復号方法を実現することができる。
このように、処理対象の視点における動き情報を生成する際に、既存の動き情報を直接再利用するのではなく、符号化または復号の処理対象の視点とは異なる視点に対する動き情報を用いて、既存の動き情報に対応する三次元空間での動き情報を考慮し、処理対象の視点とは異なる視点に対する動き情報に変換を加えて利用する。これにより、視点の異なるフレーム上の動き情報におけるカメラ間相関が低い場合でも、動き情報について精度の高い予測を実現することが可能となり、少ない符号量で多視点動画像を符号化することができる。
図６は、前述した動画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図６に示すシステムは：

・プログラムを実行するＣＰＵ５０
・ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１
・カメラ等からの符号化対象の映像信号を動画像符号化装置内に入力する符号化対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）
・メモリ等から参照視点の動き情報を動画像符号化装置内に入力する参照視点動き情報入力部５３（ディスク装置等による動き情報を記憶する記憶部でもよい）
・動画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである動画像符号化プログラム５４１が格納されたプログラム記憶装置５４
・ＣＰＵ５０がメモリ５１にロードされた動画像符号化プログラム５４１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５５（ディスク装置等によるビットストリームを記憶する記憶部でもよい）
とが、バスで接続された構成になっている。
図７は、前述した動画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図７に示すシステムは：

・プログラムを実行するＣＰＵ６０
・ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１
・動画像符号化装置が本手法により符号化したビットストリームを動画像復号装置内に入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）
・メモリ等からの参照視点の動き情報を動画像復号装置内に入力する参照視点動き情報入力部６３（ディスク装置等による動き情報を記憶する記憶部でもよい）
・動画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである動画像復号プログラム６４１が格納されたプログラム記憶装置６４
・ＣＰＵ６０がメモリ６１にロードされた動画像復号プログラム６４１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６５（ディスク装置等による画像信号を記憶する記憶部でもよい）
とが、バスで接続された構成になっている。
前述した実施形態における動画像符号化装置１００及び動画像復号装置２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
符号化（復号）対象画像を撮影した視点とは異なる視点から撮影された画像に対する動き情報を用いて、符号化（復号）対象画像の動き情報の推定または予測を行いながら符号化（復号）を行う際に、視点の異なる画像上の動き情報におけるカメラ間相関が低い場合でも、高い符号化効率を達成することが不可欠な用途に適用できる。
１００・・・動画像符号化装置
１０１・・・符号化対象画像入力部
１０２・・・符号化対象画像メモリ
１０３・・・参照視点動き情報入力部
１０４・・・参照視点動き情報メモリ
１０５・・・視差情報生成部
１０６・・・動き情報生成部
１０７・・・画像符号化部
１０８・・・画像復号部
１０９・・・参照画像メモリ
２００・・・動画像復号装置
２０１・・・ビットストリーム入力部
２０２・・・ビットストリームメモリ
２０３・・・参照視点動き情報入力部
２０４・・・参照視点動き情報メモリ
２０５・・・視差情報生成部
２０６・・・動き情報生成部
２０７・・・画像復号部
２０８・・・参照画像メモリ

Claims (20)

  1. 複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う動画像符号化装置であって、
    前記符号化対象領域に対して、前記参照視点画像上の対応領域を示す符号化対象領域視差情報を設定する符号化対象領域視差情報設定手段と、
    前記参照視点動き情報から、前記符号化対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定手段と、
    前記仮動き情報によって示される参照視点上の領域における、前記符号化対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定手段と、
    前記符号化対象領域視差情報と前記過去視差情報とを用いて前記仮動き情報を変換することにより、前記符号化対象領域に対する動き情報を生成する動き情報生成手段と
    を有することを特徴とする動画像符号化装置。
  2. 前記動き情報生成手段は、前記符号化対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報から被写体の三次元空間における動き情報を復元し、当該復元された動き情報を前記符号化対象画像へ投影することで、前記符号化対象領域に対する動き情報を生成することを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記参照画像上の対応領域を小領域へと分割する参照対象領域分割手段をさらに有し、
    前記仮動き情報設定手段は、前記小領域毎に前記仮動き情報を設定し、
    前記動き情報生成手段は、前記小領域毎に前記動き情報を生成することを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記過去視差情報設定手段は、前記小領域毎に前記過去視差情報を設定することを特徴とする請求項３に記載の動画像符号化装置。
  5. 前記符号化対象領域視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記符号化対象領域視差情報を設定することを特徴とする請求項１に記載の動画像符号化装置。
  6. 前記過去視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記過去視差情報を設定することを特徴とする請求項１に記載の動画像符号化装置。
  7. 前記参照画像上の対応領域における前記符号化対象画像の視点に対する視差情報である現在視差情報を設定する現在視差情報設定手段をさらに有し、
    前記動き情報生成手段は、前記現在視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することを特徴とする請求項１に記載の動画像符号化装置。
  8. 前記現在視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記現在視差情報を設定することを特徴とする請求項７に記載の動画像符号化装置。
  9. 前記動き情報生成手段は、前記符号化対象視差情報と前記過去視差情報と前記仮動き情報との和によって、前記符号化対象領域に対する動き情報を生成することを特徴とする請求項１に記載の動画像符号化装置。
  10. 複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、復号対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う動画像復号装置であって、
    前記復号対象領域に対して、前記参照視点画像上の対応領域を示す復号対象領域視差情報を設定する復号対象領域視差情報設定手段と、
    前記参照視点動き情報から、前記復号対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定手段と、
    前記仮動き情報によって示される参照視点上の領域における、前記復号対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定手段と、
    前記復号対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することにより、前記復号対象領域に対する動き情報を生成する動き情報生成手段と
    を有することを特徴とする動画像復号装置。
  11. 前記動き情報生成手段は、前記復号対象領域視差情報と前記過去視差情報とを用いて、前記仮動き情報から被写体の三次元空間における動き情報を復元し、当該復元された動き情報を前記復号対象画像へ投影することで、前記復号対象領域に対する動き情報を生成することを特徴とする請求項１０に記載の動画像復号装置。
  12. 前記参照画像上の対応領域を小領域へと分割する参照対象領域分割手段をさらに有し、
    前記仮動き情報設定手段は、前記小領域毎に前記仮動き情報を設定し、
    前記動き情報生成手段は、前記小領域毎に前記動き情報を生成することを特徴とする請求項１０に記載の動画像復号装置。
  13. 前記過去視差情報設定手段は、前記小領域毎に前記過去視差情報を設定することを特徴とする請求項１２に記載の動画像復号装置。
  14. 前記復号対象領域視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記復号対象領域視差情報を設定することを特徴とする請求項１０に記載の動画像復号装置。
  15. 前記過去視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記過去視差情報を設定することを特徴とする請求項１０に記載の動画像復号装置。
  16. 前記参照画像上の対応領域における前記復号対象画像の視点に対する視差情報である現在視差情報を設定する現在視差情報設定手段をさらに有し、
    前記動き情報生成手段は、前記現在視差情報と前記過去視差情報とを用いて、前記仮動き情報を変換することを特徴とする請求項１０に記載の動画像復号装置。
  17. 前記現在視差情報設定手段は、前記多視点動画像中の被写体に対するデプスマップから、前記現在視差情報を設定することを特徴とする請求項１６に記載の動画像復号装置。
  18. 前記動き情報生成手段は、前記復号対象視差情報と前記過去視差情報と前記仮動き情報との和によって、前記復号対象領域に対する動き情報を生成することを特徴とする請求項１０に記載の動画像復号装置。
  19. 複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う動画像符号化方法であって、
    前記符号化対象領域に対して、前記参照視点画像上の対応領域を示す符号化対象領域視差情報を設定する符号化対象領域視差情報設定ステップと、
    前記参照視点動き情報から、前記符号化対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定ステップと、
    前記仮動き情報によって示される参照視点上の領域における、前記符号化対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定ステップと、
    前記符号化対象領域視差情報と前記過去視差情報とを用いて前記仮動き情報を変換することにより、前記符号化対象領域に対する動き情報を生成する動き情報生成ステップと
    を備えることを特徴とする動画像符号化方法。
  20. 複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、復号対象画像の視点とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報を用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う動画像復号方法であって、
    前記復号対象領域に対して、前記参照視点画像上の対応領域を示す復号対象領域視差情報を設定する復号対象領域視差情報設定ステップと、
    前記参照視点動き情報から、前記復号対象領域視差情報によって示される前記参照視点画像上の対応領域の仮動き情報を設定する仮動き情報設定ステップと、
    前記仮動き情報によって示される参照視点上の領域における、前記復号対象画像の視点に対する視差情報である過去視差情報を設定する過去視差情報設定ステップと、
    前記復号対象領域視差情報と前記過去視差情報とを用いて前記仮動き情報を変換することにより、前記復号対象領域に対する動き情報を生成する動き情報生成ステップと
    を備えることを特徴とする動画像復号方法。
JP2016508681A 2014-03-20 2015-03-12 動画像符号化装置及び方法、及び、動画像復号装置及び方法 Pending JPWO2015141549A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058903 2014-03-20
JP2014058903 2014-03-20
PCT/JP2015/057254 WO2015141549A1 (ja) 2014-03-20 2015-03-12 動画像符号化装置及び方法、及び、動画像復号装置及び方法

Publications (1)

Publication Number Publication Date
JPWO2015141549A1 true JPWO2015141549A1 (ja) 2017-04-06

Family

ID=54144519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508681A Pending JPWO2015141549A1 (ja) 2014-03-20 2015-03-12 動画像符号化装置及び方法、及び、動画像復号装置及び方法

Country Status (5)

Country Link
US (1) US20170019683A1 (ja)
JP (1) JPWO2015141549A1 (ja)
KR (1) KR20160140622A (ja)
CN (1) CN106464899A (ja)
WO (1) WO2015141549A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6981247B2 (ja) 2017-12-27 2021-12-15 富士通株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013068547A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
EP2083571A4 (en) * 2006-10-30 2010-11-10 Nippon Telegraph & Telephone DYNAMIC PICTURE CODING METHOD, DECODING METHOD, DEVICE THEREFOR, PROGRAM THEREFOR AND THE PROGRAM CONTAINING STORAGE MEDIUM
CN107257484B (zh) * 2010-08-11 2020-05-12 Ge视频压缩有限责任公司 解码器、编码器、用于解码的方法和用于编码的方法
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013159326A1 (en) * 2012-04-27 2013-10-31 Mediatek Singapore Pte. Ltd. Inter-view motion prediction in 3d video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013068547A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update

Also Published As

Publication number Publication date
CN106464899A (zh) 2017-02-22
KR20160140622A (ko) 2016-12-07
US20170019683A1 (en) 2017-01-19
WO2015141549A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2014050830A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JPWO2014103967A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP2009164865A (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
WO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
JP2016127372A (ja) 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6310340B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171010