JP5947977B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム - Google Patents

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム Download PDF

Info

Publication number
JP5947977B2
JP5947977B2 JP2015511239A JP2015511239A JP5947977B2 JP 5947977 B2 JP5947977 B2 JP 5947977B2 JP 2015511239 A JP2015511239 A JP 2015511239A JP 2015511239 A JP2015511239 A JP 2015511239A JP 5947977 B2 JP5947977 B2 JP 5947977B2
Authority
JP
Japan
Prior art keywords
image
encoding
decoding
viewpoint
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015511239A
Other languages
English (en)
Other versions
JPWO2014168082A1 (ja
Inventor
信哉 志水
信哉 志水
志織 杉本
志織 杉本
木全　英明
英明 木全
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Application granted granted Critical
Publication of JP5947977B2 publication Critical patent/JP5947977B2/ja
Publication of JPWO2014168082A1 publication Critical patent/JPWO2014168082A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。
本願は、２０１３年４月１１日に日本へ出願された特願２０１３−０８２９５７号に基づき優先権を主張し、その内容をここに援用する。
従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。
２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、符号化対象フレームと過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図２７は、カメラ間で生じる視差を示す概念図である。図２７に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。
視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。
視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として３次元位置を表現する場合もある。どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。
図２８はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図２８に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に投影される。
この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する合成画像を生成し、それを予測画像として用いることで、精度の高い予測を実現し、効率的な多視点動画像の符号化を実現することができる。なお、このデプスに基づいて生成される合成画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。
しかしながら、参照フレームと符号化対象フレームとは異なる位置に置かれたカメラで撮影された画像であるため、フレーミングやオクルージョンの影響で、符号化対象フレームには存在するが、参照フレームには存在しない被写体や背景が写った領域が存在する。そのため、そのような領域では、視点合成画像は適切な予測画像を提供することができない。以下では、そのような視点合成画像では適切な予測画像を提供できない領域をオクルージョン領域と呼ぶ。
非特許文献２では、符号化対象画像と視点合成画像の差分画像に対して、更なる予測を行うことで、オクルージョン領域においても、空間的または時間的相関を利用して効率的な符号化を実現している。また、非特許文献３では、生成した視点合成画像を領域ごとの予測画像の候補とすることで、オクルージョン領域においては、別の方法で予測した予測画像を用い、効率的な符号化を実現することを可能にしている。
ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA, and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006. S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", Image Processing (ICIP), 2009 16th IEEE International Conference on Image Processing, pp. 2949-2952, 7-10 Nov. 2009.
非特許文献２や非特許文献３に記載の方法によれば、デプスマップから得られる被写体の三次元情報を用いて高精度な視差補償を行った視点合成画像によるカメラ間の予測と、オクルージョン領域での空間的または時間的な予測とを組み合わせて、全体として高効率な予測を実現することが可能である。
しかしながら、非特許文献２に記載の方法では、視点合成画像が高精度な予測を提供している領域に対しても、符号化対象画像と視点合成画像との差分画像に対する予測を行うための方法を示す情報を符号化しなくてはならないため、無駄な符号量が生じてしまうという問題ある。
一方、非特許文献３に記載の方法では、視点合成画像が高精度な予測を提供可能な領域に対しては、視点合成画像を用いた予測を行うことを示すだけでよいため、無駄な情報を符号化する必要はない。しかしながら、高精度な予測を提供するか否かに関わらず、視点合成画像は予測画像の候補に含まれるため、予測画像の候補数が大きくなるという問題がある。つまり、予測画像の生成法を選択するのに必要な演算量が増えるだけでなく、予測画像の生成方法を示すためには多くの符号量が必要となるという問題がある。
本発明は、このような事情に鑑みてなされたもので、視点合成画像を予測画像の１つとして用いながら多視点動画像を符号化または復号する際に、オクルージョン領域における符号化効率の低下を防ぎながら、全体として少ない符号量での符号化を実現することができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部とを備える。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、前記符号化対象領域に対する前記符号化対象画像と前記視点合成画像の差分を符号化し、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部とを備える。
好ましくは、前記画像符号化部は、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する。
好ましくは、前記画像符号化部は、前記符号化情報として予測ブロックサイズを決定する。
好ましくは、前記画像符号化部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する。
好ましくは、前記利用可否判定部は、前記符号化対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する。
好ましくは、前記画像符号化装置は、前記参照デプスマップを用いて、前記符号化対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、前記利用可否判定部は、前記オクルージョンマップを用いて、前記符号化対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部とを備える。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、前記符号データから前記復号対象画像と前記視点合成画像の差分を復号しながら前記復号対象画像を生成し、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部とを備える。
好ましくは、前記画像復号部は、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する。
好ましくは、前記画像復号部は、前記符号化情報として予測ブロックサイズを決定する。
好ましくは、前記画像復号部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する。
好ましくは、前記利用可否判定部は、前記復号対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する。
好ましくは、前記画像復号装置は、前記参照デプスマップを用いて、前記復号対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、前記利用可否判定部は、前記オクルージョンマップを用いて、前記復号対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、前記符号化対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化ステップとを有する。
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、前記復号対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号ステップとを有する。
本発明の一態様は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
本発明の一態様は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
本発明によれば、視点合成画像を予測画像の１つとして用いる際に、オクルージョンの領域の有無に代表される視点合成画像の品質に基づき、視点合成画像のみを予測画像とする符号化と、視点合成画像以外を予測画像とする符号化とを、領域ごとに適応的に切り替えることで、オクルージョン領域における符号化効率の低下を防ぎながら、全体として少ない符号量で多視点画像及び多視点動画像を符号化することができるという効果が得られる。
本発明の一実施形態における画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置１００ａの動作を示すフローチャートである。 オクルージョンマップを生成及び利用する場合の画像符号化装置の構成例を示すブロック図である。 画像符号化装置が復号画像を生成する場合の処理動作を示すフローチャートである。 視点合成画像が利用可能な領域に対して、符号化対象画像と視点合成画像との差分信号の符号化を行う場合の処理動作を示すフローチャートである。 図５に示す処理動作の変形例を示すフローチャートである。 視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを符号化する際に符号化情報を参照できるようにする場合の画像符号化装置の構成を示すブロック図である。 図７に示す画像符号化装置１００ｃの処理動作を示すフローチャートである。 図８に示す処理動作の変形例を示すフローチャートである。 視点合成可能領域数を求めて符号化する場合の画像符号化装置の構成を示すブロック図である。 図１０に示す画像符号化装置１００ｄが、視点合成可能領域数を符号化する場合の処理動作を示すフローチャートである。 図１１に示す処理動作の変形例を示すフローチャートである。 本発明の一実施形態における画像復号装置の構成を示すブロック図である。 図１３に示す画像復号装置２００ａの動作を示すフローチャートである。 視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いる場合の画像復号装置の構成を示すブロック図である。 図１５に示す画像復号装置２００ｂが、領域ごとに視点合成画像を生成する場合の処理動作を示すフローチャートである。 視点合成画像が利用可能な領域に対して、ビットストリームから復号対象画像と視点合成画像との差分信号の復号を行う場合の処理動作を示すフローチャートである。 視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを復号する際に符号化情報を参照できるようにする場合の画像復号装置の構成を示すブロック図である。 図１８に示す画像復号装置２００ｃの処理動作を示すフローチャートである。 復号対象画像と視点合成画像との差分信号をビットストリームから復号して、復号対象画像の生成を行う場合の処理動作を示すフローチャートである。 視点合成可能領域数をビットストリームから復号する場合の画像復号装置の構成を示すブロック図である。 視点合成可能領域数を復号する場合の処理動作を示すフローチャートである。 視点合成画像が利用不可能として復号した領域の数をカウントしながら復号する場合の処理動作を示すフローチャートである。 視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を示すフローチャートである。 画像符号化装置１００ａ〜１００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 画像復号装置２００ａ〜２００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 カメラ間で生じる視差を示す概念図である。 エピポーラ幾何拘束の概念図である。
以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。
以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。
なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。
図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００ａは、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照デプスマップ入力部１０４、視点合成画像生成部１０５、視点合成画像メモリ１０６、視点合成可否判定部１０７及び画像符号化部１０８を備えている。
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像を入力するものとする。
参照デプスマップ入力部１０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
視点合成画像生成部１０５は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像を生成する。視点合成画像メモリ１０６は生成された符号化対象画像に対する視点合成画像を記憶する。視点合成可否判定部１０７は、符号化対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。画像符号化部１０８は、視点合成可否判定部１０７の判定に基づき、符号化対象画像を分割した領域ごとに、符号化対象画像を予測符号化する。
次に、図２を参照して、図１に示す画像符号化装置１００ａの動作を説明する。図２は、図１に示す画像符号化装置１００ａの動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、入力された符号化対象画像Ｏｒｇを符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照画像入力部１０３は参照画像を入力し、入力された参照画像を視点合成画像生成部１０５へ出力し、参照デプスマップ入力部１０４は参照デプスマップを入力し、入力された参照デプスマップを視点合成画像生成部１０５へ出力する（ステップＳ１０２）。
なお、ステップＳ１０２で入力される参照画像、参照デプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは画像復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。
次に、視点合成画像生成部１０５は、符号化対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、生成された視点合成画像Ｓｙｎｔｈを視点合成画像メモリ１０６に記憶する（ステップＳ１０３）。ここでの処理は、参照画像と参照デプスマップとを用いて、符号化対象カメラにおける画像を合成する方法であれば、どのような方法を用いても構わない。例えば、非特許文献２や文献「Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.」に記載されている方法を用いても構わない。
次に、視点合成画像が得られたら、符号化対象画像を分割した領域ごとに、視点合成画像の利用可否を判定しながら、符号化対象画像を予測符号化する。すなわち、符号化対象画像を分割した符号化処理を行う単位の領域のインデックスを示す変数ｂｌｋをゼロで初期化した後（ステップ１０４）、ｂｌｋに１ずつ加算しながら（ステップＳ１０７）、ｂｌｋが符号化対象画像内の領域数ｎｕｍＢｌｋｓになるまで（ステップＳ１０８）、以下の処理（ステップＳ１０５およびステップＳ１０６）を繰り返す。
符号化対象画像を分割した領域ごとに行われる処理では、まず、視点合成可否判定部１０７が、領域ｂｌｋに対して視点合成画像が利用可能か否かを判定して（ステップＳ１０５）、判定結果に応じて、ブロックｂｌｋに対する符号化対象画像を予測符号化する（ステップＳ１０６）。ステップＳ１０５において行われる視点合成画像が利用可能か否かを判定する処理については、後で説明する。
視点合成画像が利用可能と判断された場合は、領域ｂｌｋの符号化処理を終了する。一方、視点合成画像が利用不可能と判断された場合、画像符号化部１０８は、領域ｂｌｋの符号化対象画像を予測符号化し、ビットストリームを生成する（ステップＳ１０６）。復号側で正しく復号可能であるならば、予測符号化にはどのような方法を用いてもよい。なお、生成されたビットストリームが画像符号化装置１００ａの出力の一部となる。
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、領域ごとに、複数の予測モードの中から１つのモードを選択して予測画像を生成し、符号化対象画像と予測画像との差分信号に対してＤＣＴ（離散コサイン変換）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。なお、符号化において、視点合成画像を予測画像の候補の１つとして用いても構わないが、予測画像の候補から視点合成画像を除外することでモード情報にかかる符号量を削減することが可能である。視点合成画像を予測画像の候補から除外する方法には、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、視点合成画像に対するエントリの存在しないテーブルを用いるという方法を使用しても構わない。
ここでは、画像符号化装置１００ａは画像信号に対するビットストリームを出力している。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像符号化装置１００ａの出力したビットストリームに対して、別途追加されるものとする。
ステップＳ１０５において行われる視点合成画像が利用可能か否かを判定する処理は、復号側で同じ判定方法が利用可能であるならば、どのような方法を用いても構わない。例えば、領域ｂｌｋに対する視点合成画像の品質に従って利用可否を判断、つまり、視点合成画像の品質が別途定められた閾値以上であれば利用可と判断し、視点合成画像の品質が閾値未満の場合には利用不可と判断しても構わない。ただし、復号側では領域ｂｌｋに対する符号化対象画像は利用することができないため、視点合成画像や、隣接領域における符号化対象画像を符号化して復号した結果を用いて品質を評価する必要がある。視点合成画像のみを用いて品質を評価する方法としては、ＮＲ画質評価尺度（No-reference image quality metric）を用いることができる。また、隣接領域において、符号化対象画像を符号化して復号した結果と視点合成画像との誤差量を評価値としても構わない。
別の方法として、領域ｂｌｋにおけるオクルージョン領域の有無に従って判定する方法がある。つまり、領域ｂｌｋ中のオクルージョン領域の画素数が、別途定められた閾値以上であれば利用不可と判断し、領域ｂｌｋ中のオクルージョン領域の画素数が閾値未満の場合には利用可能と判断しても構わない。特に、閾値を１として、１画素でもオクルージョン領域に含まれる場合は、利用不可と判断しても構わない。
なお、オクルージョン領域を正しく得るためには、視点合成画像を生成する場合に、被写体の前後関係を適切に判定しながら視点合成を行う必要がある。つまり、符号化対象画像の画素のうち、参照画像上では他の被写体によって遮蔽されてしまう画素については、合成画像を生成しないようにする必要がある。合成画像を生成しないようにする場合、視点合成画像を生成する前に、視点合成画像の各画素の画素値を、取りえない値で初期化しておくことで、視点合成画像を用いて、オクルージョン領域の有無を判定することができる。また、視点合成画像を生成する際に、オクルージョン領域を示すオクルージョンマップを同時に生成し、それを用いて判定を行っても構わない。
次に、図３を参照して、図１に示す画像符号化装置の変形例を説明する。図３は、オクルージョンマップを生成及び利用する場合の画像符号化装置の構成例を示すブロック図である。図３に示す画像符号化装置１００ｂが図１に示す画像符号化装置１００ａと異なる点は、視点合成画像生成部１０５に代えて視点合成部１１０とオクルージョンマップメモリ１１１とを備える点である。なお、図１に示す画像符号化装置１００ａと同じ構成には同じ符号を付してその説明を省略する。
視点合成部１１０は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像とオクルージョンマップを生成する。ここで、オクルージョンマップは符号化対象画像の各画素に対して、参照画像上でその画素に写っている被写体の対応が取れるか否かを表したものである。オクルージョンマップメモリ１１１は生成されたオクルージョンマップを記憶する。
オクルージョンマップの生成には、復号側で同じ処理を行うことができるのであれば、どのような方法を用いても構わない。例えば、前述のように各画素の画素値を取りえない値で初期化して生成した視点合成画像を解析することでオクルージョンマップを求めても構わないし、全ての画素においてオクルージョンであるとしてオクルージョンマップを初期化しておき、画素に対して視点合成画像が生成される度に、当該画素に対する値をオクルージョン領域でないことを示す値で上書きすることでオクルージョンマップを生成しても構わない。また、参照デプスマップの解析によりオクルージョン領域を推定することでオクルージョンマップを生成する方法もある。例えば、参照デプスマップにおけるエッジを抽出し、その強度と向きからオクルージョン範囲を推定する方法がある。
視点合成画像の生成方法のなかには、オクルージョン領域に対して、時空間予測をすることで、何らかの画素値を生成する手法が存在する。この処理はインペイントと呼ばれる。この場合、インペイントによって画素値が生成された画素は、オクルージョン領域としても構わないし、オクルージョン領域ではないとしても構わない。なお、インペイントによって画素値が生成された画素をオクルージョン領域として扱う場合は、視点合成画像をオクルージョン判定に使用することはできないため、オクルージョンマップを生成する必要がある。
更に別の方法として、視点合成画像の品質による判定と、オクルージョン領域の有無による判定とを組み合わせても構わない。例えば、両方の判定を組み合わせて、両方の判定で基準を満たさない場合には、利用不可と判断する方法がある。また、オクルージョン領域に含まれる画素数に従って、視点合成画像の品質の閾値を変化させる方法もある。更に、オクルージョン領域の有無の判定で基準を満たさない場合にのみ、品質による判定を行うようにする方法もある。
前述までの説明では、符号化対象画像の復号画像を生成していないが、符号化対象画像の復号画像が別の領域や別のフレームの符号化に使用される場合には、復号画像を生成する。図４は、画像符号化装置が復号画像を生成する場合の処理動作を示すフローチャートである。図４において、図２に示す処理動作と同じ処理動作には、同じ符号を付してその説明を省略する。図４に示す処理動作は、図２に示す処理動作と異なり、視点合成画像が利用可能か否かを判定し（ステップＳ１０５）、利用可能と判定された場合に、視点合成画像を復号画像とする処理（ステップＳ１０９）と、利用不可能と判定された場合に、復号画像を生成する処理（ステップＳ１１０）とが追加されている。
なお、ステップＳ１１０において行われる復号画像の生成処理は、復号側と同じ復号画像が得られるのであればどのような方法で行っても構わない。例えば、ステップＳ１０６で生成されたビットストリームを復号することで行っても構わないし、２値化およびエントロピー符号化でロスレス符号化された値を、逆量子化及び逆変換して、その結果得られた値を予測画像に加えることで簡易的に行っても構わない。
また、前述までの説明では、視点合成画像が利用可能な領域に対しては、ビットストリームが生成されないが、符号化対象画像と視点合成画像との差分信号を符号化するようにしても構わない。なお、ここで差分信号は、視点合成画像の符号化対象画像に対する誤差を補正することができるのであれば、単純な差分として表現しても構わないし、符号化対象画像の剰余として表現しても構わない。ただし、復号側において、どのような方法で差分信号が表現されているかが判定できる必要がある。例えば、常にある表現を用いるものとしても構わないし、フレームごとに表現方法を伝える情報を符号化して通知しても構わない。視点合成画像や参照デプスマップ、オクルージョンマップなど復号側でも得られる情報を用いて表現方法を決定することで、画素やフレームごとに異なる表現方法を用いても構わない。
図５は、視点合成画像が利用可能な領域に対して、符号化対象画像と視点合成画像との差分信号の符号化を行う場合の処理動作を示すフローチャートである。図５に示す処理動作が図２に示す処理動作と異なる点は、ステップＳ１１１が追加されている点であり、その他は同じである。同じ処理を行うステップに対しては同じ符号を付して、その説明を省略する。
図５に示す処理動作では、領域ｂｌｋにおいて、視点合成画像が利用可能と判定された場合、符号化対象画像と視点合成画像との差分信号を符号化し、ビットストリームを生成する（ステップＳ１１１）。復号側で正しく復号可能であるならば、差分信号の符号化にはどのような方法を用いてもよい。生成されたビットストリームは画像符号化装置１００ａの出力の一部となる。
なお、復号画像を生成・記憶する場合は、図６に示す通り、符号化された差分信号を視点合成画像に加えることで復号画像を生成・記憶する（ステップＳ１１２）。図６は、図５に示す処理動作の変形例を示すフローチャートである。ここで符号化された差分信号とは、ビットストリームで表現された差分信号であり、復号側で得られる差分信号と同じものである。
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化における差分信号の符号化では、領域ごとに、ＤＣＴなどの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。この場合、ステップＳ１０６における予測符号化処理と異なり、予測ブロックサイズや予測モード、動き／視差ベクトルなどの予測画像の生成に必要な情報の符号化を省略し、それらに対するビットストリームは生成されない。そのため、全ての領域に対して予測モード等を符号化する場合と比べて、符号量を削減し、効率的な符号化を実現することができる。
前述までの説明では、視点合成画像が利用可能な領域に対しては、符号化情報（予測情報）が生成されない。しかしながら、ビットストリームには含まれない領域ごとの符号化情報を生成して、別のフレームを符号化する際に符号化情報を参照できるようにしても構わない。ここで、符号化情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
次に、図７を参照して、図１に示す画像符号化装置の変形例を説明する。図７は、視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを符号化する際に符号化情報を参照できるようにする場合の画像符号化装置の構成を示すブロック図である。図７に示す画像符号化装置１００ｃが、図１に示す画像符号化装置１００ａと異なる点は、符号化情報生成部１１２を更に備える点である。なお、図７において、図１に示す同じ構成には同じ符号を付して、その説明を省略する。
符号化情報生成部１１２は、視点合成画像が利用可能と判定された領域に対して符号化情報を生成し、別の領域や別のフレームを符号化する画像符号化装置へ出力する。本実施形態では、別の領域や別のフレームの符号化も画像符号化装置１００ｃで行われることとし、生成された情報は画像符号化部１０８へ渡される。
次に、図８を参照して、図７に示す画像符号化装置１００ｃの処理動作を説明する。図８は、図７に示す画像符号化装置１００ｃの処理動作を示すフローチャートである。図８に示す処理動作が図２に示す処理動作と異なる点は、視点合成画像の利用可否判定（ステップＳ１０５）で利用可と判定された後に、領域ｂｌｋに対する符号化情報を生成する処理（ステップＳ１１３）が追加されている点である。なお、符号化情報の生成は、復号側が同じ情報を生成可能であれば、どのような情報を生成しても構わない。
例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することで領域ごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
予測モードや動き/視差ベクトルとしては、全ての領域に対して、領域ごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き/視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、その領域に対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
別の方法としては、視点合成画像を符号化対象画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
このようにビットストリームからは得られない情報を生成し、別のフレームを符号化する際に、生成された情報を参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
ここでは、視点合成画像が利用可能な領域では、ビットストリームを生成しない場合の説明を行ったが、図９に示す通り、前述した符号化対象画像と視点合成画像との差分信号の符号化を行っても構わない。図９は、図８に示す処理動作の変形例を示すフローチャートである。なお、符号化対象画像の復号画像が別の領域や別のフレームの符号化に使用される場合は、領域ｂｌｋに対する処理が終了したら、前述した説明の通り、対応する方法を用いて復号画像を生成・記憶する。
前述した画像符号化装置では、視点合成画像が利用可能として符号化された領域の数についての情報は出力されるビットストリームに含まれない。しかしながら、ブロックごとの処理を行う前に、視点合成画像が利用可能な領域の数を求め、その数を示す情報をビットストリームに埋め込むようにしてもよい。以下では、視点合成画像が利用可能な領域の数を視点合成可能領域数と称する。なお、視点合成画像が利用不可能な領域の数を用いても構わないことは明らかであるため、視点合成画像が利用可能な領域の数を用いる場合を説明する。
次に、図１０を参照して、図１に示す画像符号化装置の変形例を説明する。図１０は視点合成可能領域数を求めて符号化する場合の画像符号化装置の構成を示すブロック図である。図１０に示す画像符号化装置１００ｄが、図１に示す画像符号化装置１００ａと異なる点は、視点合成可否判定部１０７に代えて、視点合成可能領域決定部１１３と視点合成可能領域数符号化部１１４とを備える点である。なお、図１０において、図１に示す画像符号化装置１００ａと同じ構成には同じ符号を付してその説明を省略する。
視点合成可能領域決定部１１３は、符号化対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。視点合成可能領域数符号化部１１４は、視点合成可能領域決定部１１３で、視点合成画像が利用可能と決定された領域の数を符号化する。
次に、図１１を参照して、図１０に示す画像符号化装置１００ｄの処理動作を説明する。図１１は、図１０に示す画像符号化装置１００ｄが、視点合成可能領域数を符号化する場合の処理動作を示すフローチャートである。図１１に示す処理動作は、図２に示す処理動作と異なり、視点合成画像を生成した後に、視点合成画像を利用可能とする領域を決定し（ステップＳ１１４）、その領域数である視点合成可能領域数を符号化する（ステップＳ１１５）。符号化結果のビットストリームは、画像符号化装置１００ｄの出力の一部となる。また、領域ごとに行われる視点合成画像が利用可能か否かの判断（ステップＳ１１６）は、前述のステップＳ１１４での決定と同じ方法で行われる。なお、ステップＳ１１４において、各領域において視点合成画像が利用可能か否かを示すマップを生成し、ステップＳ１１６では、そのマップを参照することで視点合成画像の利用可否を判定するようにしても構わない。
なお、視点合成画像が利用可能な領域の決定には、どのような方法を用いても構わない。ただし、復号側で同様の基準を用いて領域を特定できる必要がある。例えば、オクルージョン領域に含まれる画素数や視点合成画像の品質などに対して、予め定められた閾値を基準にして、視点合成画像が利用可能か否かを決定しても構わない。その際に、ターゲットビットレートや品質に応じて閾値を決定し、視点合成画像を利用可能とする領域を制御しても構わない。なお、使用された閾値を符号化する必要はないが、閾値を符号化して、符号化された閾値を伝送しても構わない。
ここでは、画像符号化装置は２種類のビットストリームを出力するものとしたが、画像符号化部１０８の出力と視点合成可能領域数符号化部１１４の出力とを多重化し、その結果得られたビットストリームを画像符号化装置の出力としても構わない。また、図１１に示す処理動作では、各領域の符号化を行う前に視点合成可能領域数を符号化したが、図１２に示すように、図２に示す処理動作に従って符号化した後に、結果として視点合成画像が利用可能と判断された領域数を符号化する（ステップＳ１１７）ようにしても構わない。図１２は、図１１に示す処理動作の変形例を示すフローチャートである。
更に、ここでは視点合成画像が利用可能と判断された領域では、符号化処理を省略する場合で説明を行ったが、図３〜図９を参照して説明した方法において、視点合成可能領域数を符号化する方法を組み合わせても構わないことは明らかである。
このように視点合成可能領域数をビットストリームに含めることで、何らかのエラーにより符号化側と復号側とで異なる参照画像や参照デプスマップが得られた場合においても、そのエラーによるビットストリームの読み取りエラーの発生を防ぐことが可能となる。なお、符号化時に想定した領域数よりも多くの領域で視点合成画像が利用可能と判断されると、当該フレームにおいて本来読み込むべきはずのビットを読み込まず、次のフレーム等の復号において、誤ったビットが先頭ビットだと判断され、正常なビット読み込みができなくなる。一方、符号化時に想定した領域数よりも少ない領域で視点合成画像が利用可能と判断されると、次のフレーム等に対するビットを用いて復号処理を行おうとしてしまい、当該フレームから正常なビット読み込みが不可能になる。
次に、本実施形態における画像復号装置について説明する。図１３は本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００ａは、図１３に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照画像入力部２０３、参照デプスマップ入力部２０４、視点合成画像生成部２０５、視点合成画像メモリ２０６、視点合成可否判定部２０７及び画像復号部２０８を備えている。
ビットストリーム入力部２０１は、復号対象となる画像のビットストリームを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは、復号対象画像はカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。参照画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像が入力されるものとする。
参照デプスマップ入力部２０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
視点合成画像生成部２０５は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像を生成する。視点合成画像メモリ２０６は生成された復号対象画像に対する視点合成画像を記憶する。視点合成可否判定部２０７は、復号対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。画像復号部２０８は、復号対象画像を分割した領域ごとに、視点合成可否判定部２０７の判定に基づいて、復号対象画像をビットストリームから復号、または、視点合成画像から生成して出力する。
次に、図１４を参照して、図１３に示す画像復号装置２００ａの動作を説明する。図１４は、図１３に示す画像復号装置２００ａの動作を示すフローチャートである。まず、ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを入力し、入力されたビットストリームをビットストリームメモリ２０２に記憶する（ステップＳ２０１）。次に、参照画像入力部２０３は参照画像を入力し、入力された参照画像を視点合成画像生成部２０５へ出力し、参照デプスマップ入力部２０４は参照デプスマップを入力し、入力された参照デプスマップを視点合成画像生成部２０５へ出力する（ステップＳ２０２）。
なお、ステップＳ２０２で入力される参照画像、参照デプスマップは、符号化側で使用されたものと同じものとする。これは画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。
次に、視点合成画像生成部２０５は、復号対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、生成された視点合成画像Ｓｙｎｔｈを視点合成画像メモリ２０６に記憶する（ステップＳ２０３）。ここでの処理は前述したステップＳ１０３と同じである。なお、ドリフト等の符号化ノイズの発生を抑えるためには、符号化時に使用された方法と同じ方法を用いる必要があるが、そのような符号化ノイズの発生を許容する場合には、符号化時に使用された方法と異なる方法を使用しても構わない。
次に、視点合成画像が得られたら、復号対象画像を分割した領域ごとに、視点合成画像の利用可否を判定しながら、復号対象画像を復号または生成する。すなわち、復号対象画像を分割した復号処理を行う単位の領域のインデックスを示す変数ｂｌｋをゼロで初期化した後（ステップ２０４）、ｂｌｋに１ずつ加算しながら（ステップＳ２０８）、ｂｌｋが復号対象画像内の領域数ｎｕｍＢｌｋｓになるまで（ステップＳ２０９）、以下の処理（ステップＳ２０５〜ステップＳ２０７）を繰り返す。
復号対象画像を分割した領域ごとに行われる処理では、まず、視点合成可否判定部２０７が、領域ｂｌｋに対して視点合成画像が利用可能か否かを判定する（ステップＳ２０５）。ここでの処理は前述したステップＳ１０５と同じである。
視点合成画像が利用可能と判断された場合は、領域ｂｌｋの視点合成画像を復号対象画像とする（ステップＳ２０６）。一方、視点合成画像が利用不可能と判断された場合、画像復号部２０８は、指定された方法で予測画像を生成しながらビットストリームから復号対象画像を復号する（ステップＳ２０７）。なお、得られた復号対象画像は画像復号装置２００ａの出力となる。本発明を動画像復号や多視点画像復号などに使う場合など、復号対象画像が他のフレームを復号する際に使われる場合は、復号対象画像は別途定められた復号画像メモリに記憶される。
ビットストリームから復号対象画像を復号する場合は、符号化時に用いた方式に対応する方法を用いる。例えば、非特許文献１に記載のＨ．２６４／ＡＶＣに準ずる方式を用いて符号化されている場合は、ビットストリームから予測方法を示す情報や予測残差を復号し、復号した予測方法に従って生成した予測画像に予測残差を加えることで復号対象画像を復号する。なお、符号化時に、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、視点合成画像に対するエントリの存在しないテーブルを用いることで、視点合成画像が予測画像の候補から除外されている場合には、同様の処理によって、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、元々視点合成画像に対するエントリの存在しないテーブルに従って復号処理を行う必要がある。
ここでは、画像復号装置２００ａには画像信号に対するビットストリームが入力される。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像復号装置２００ａの外側で解釈され、復号に必要な情報は画像復号装置２００ａへ通知されるものとする。
ステップＳ２０５において、視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いても構わない。その場合の画像復号装置の構成例を図１５に示す。図１５は、視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いる場合の画像復号装置の構成を示すブロック図である。図１５に示す画像復号装置２００ｂが、図１３に示す画像復号装置２００ａと異なる点は、視点合成画像生成部２０５に代えて視点合成部２０９とオクルージョンマップメモリ２１０とを備える点である。なお、図１５において、図１３に示す画像復号装置２００ａと同じ構成には同じ符号を付してその説明を省略する。
視点合成部２０９は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像とオクルージョンマップを生成する。ここで、オクルージョンマップは復号対象画像の各画素に対して、参照画像上でその画素に写っている被写体の対応が取れるか否かを表したものである。なお、オクルージョンマップの生成には、符号化側と同じ処理であれば、どのような方法を用いても構わない。オクルージョンマップメモリ２１０は生成されたオクルージョンマップを記憶する。
また、視点合成画像の生成方法のなかには、オクルージョン領域に対して、時空間予測をすることで、何らかの画素値を生成する手法が存在する。この処理はインペイントと呼ばれる。この場合、インペイントによって画素値が生成された画素は、オクルージョン領域としても構わないし、オクルージョン領域ではないとしても構わない。なお、インペイントによって画素値が生成された画素をオクルージョン領域として扱う場合は、視点合成画像をオクルージョン判定に使用することはできないため、オクルージョンマップを生成する必要がある。
オクルージョンマップを用いて、視点合成画像が利用可能か否かを判定する場合、復号対象画像全体に対しては視点合成画像を生成せず、領域ごとに視点合成画像を生成するようにしても構わない。このようにすることで、視点合成画像を記憶するためのメモリ量や演算量を削減することが可能である。ただし、そのような効果を得るためには、視点合成画像を領域ごとに作成することができる必要がある。
次に、図１６を参照して、図１５に示す画像復号装置の処理動作を説明する。図１６は、図１５に示す画像復号装置２００ｂが、領域ごとに視点合成画像を生成する場合の処理動作を示すフローチャートである。図１６に示す通り、フレーム単位でオクルージョンマップを生成し（ステップＳ２１３）、オクルージョンマップを用いて視点合成画像が利用可能か否かを判定する（ステップＳ２０５’）。その後、視点合成画像が利用可能と判断された領域に対して、視点合成画像を生成し復号対象画像とする（ステップＳ２１４）。
視点合成画像を領域ごとに作成可能な状況としては、復号対象画像に対するデプスマップが得られている状況がある。例えば、参照デプスマップとして復号対象画像に対するデプスマップが与えられても構わないし、参照デプスマップから復号対象画像に対するデプスマップを生成し、視点合成画像の生成に使用するとしても構わない。なお、参照デプスマップから視点合成画像に対するデプスマップを生成する際に、取りえないデプス値で合成デプスマップを初期化した後に、画素ごとの投影処理によって合成デプスマップを生成することで、合成デプスマップをオクルージョンマップとしても利用しても構わない。
前述までの説明では、視点合成画像が利用可能な領域に対しては、視点合成画像をそのまま復号対象画像としているが、ビットストリームに復号対象画像と視点合成画像との差分信号が符号化されている場合は、それを用いながら復号対象画像を復号するようにしても構わない。なお、ここで差分信号とは視点合成画像の復号対象画像に対する誤差を補正する情報であり、単純な差分として表現されていても構わないし、復号対象画像の剰余として表現されていても構わない。ただし、符号化時に用いた表現方法を知らなくてはならない。例えば、常に特定の表現が使用されているものとしても構わないし、フレームごとに表現方法を伝える情報が符号化されているとしても構わない。後者の場合、適切なタイミングでビットストリームから表現形式を示す情報を復号する必要がある。また、視点合成画像や参照デプスマップ、オクルージョンマップなど符号化側と同じ情報を用いて表現方法を決定することで、画素やフレームごとに異なる表現方法が用いられたとしても構わない。
図１７は、視点合成画像が利用可能な領域に対して、ビットストリームから復号対象画像と視点合成画像との差分信号の復号を行う場合の処理動作を示すフローチャートである。図１７に示す処理動作が、図１４に示す処理動作と異なる点はステップＳ２０６の代わりに、ステップＳ２１０とステップＳ２１１が行われる点であり、その他は同じである。図１７において、図１４に示す処理と同じ処理を行うステップに対しては同じ符号を付して、その説明を省略する。
図１７に示すフローでは、領域ｂｌｋにおいて、視点合成画像が利用可能と判断された場合、まず、ビットストリームから復号対象画像と視点合成画像との差分信号を復号する（ステップＳ２１０）。ここでの処理は符号化側で用いられた処理に対応する方法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化における差分信号の符号化と同じ方式を用いて符号化されている場合は、ビットストリームをエントロピー復号して得られた値に対して、逆２値化、逆量子化、ＩＤＣＴ（逆離散コサイン変換）などの周波数逆変換を施すことで差分信号を復号する。
次に、視点合成画像と復号した差分信号とを用いて復号対象画像を生成する（ステップＳ２１１）。ここでの処理は差分信号の表現方法に合わせて行う。例えば、差分信号が単純な差分で表現されている場合は、視点合成画像に差分信号を加え、画素値の値域に従ったクリッピング処理を行うことで復号対象画像を生成する。差分信号が復号対象画像の剰余を示している場合は、視点合成画像の画素値に最も近く、差分信号の剰余と同じ画素値を求めることで復号対象画像を生成する。また、差分信号が誤り訂正符号になっている場合は、視点合成画像の誤りを差分信号を用いて訂正することで復号対象画像を生成する。
なお、ステップＳ２０７における復号処理と異なり、予測ブロックサイズや予測モード、動き／視差ベクトルなどの予測画像の生成に必要な情報をビットストリームから復号する処理が行われない。そのため、全ての領域に対して予測モード等が符号化されている場合と比べて、符号量を削減し、効率的な符号化を実現することができる。
前述までの説明では、視点合成画像が利用可能な領域に対しては、符号化情報が生成されない。しかしながら、ビットストリームには含まれない領域ごとの符号化情報を生成して、別のフレームを復号する際に符号化情報を参照できるようにしても構わない。ここで、符号化情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
次に、図１８を参照して、図１３に示す画像復号装置の変形例を説明する。図１８は、視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを復号する際に符号化情報を参照できるようにする場合の画像復号装置の構成を示すブロック図である。図１８に示す画像復号装置２００ｃが、図１３に示す画像復号装置２００ａと異なる点は、符号化情報生成部２１１を更に備える点である。なお、図１８において、図１３に示す構成と同じ構成には同じ符号を付して、その説明を省略する。
符号化情報生成部２１１は、視点合成画像が利用可能と判定された領域に対して符号化情報を生成し、別の領域や別のフレームを復号する画像復号装置へ出力する。ここでは、別の領域や別のフレームの復号も画像復号装置２００ｃで行われる場合を表しており、生成された情報は画像復号部２０８へ渡される。
次に、図１９を参照して、図１８に示す画像復号装置２００ｃの処理動作を説明する。図１９は、図１８に示す画像復号装置２００ｃの処理動作を示すフローチャートである。図１９に示す処理動作が、図１４に示す処理動作と異なる点は、視点合成画像の利用可否判定（ステップＳ２０５）で利用可と判定され、復号対象画像を生成した後に、領域ｂｌｋに対する符号化情報を生成する処理（ステップＳ２１２）が追加されている点である。なお、符号化情報の生成処理では、符号化側で生成した情報と同じ情報を生成するのであれば、どのような情報を生成しても構わない。
例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することで領域ごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
予測モードや動き/視差ベクトルとしては、全ての領域に対して、領域ごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き/視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、その領域に対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
別の方法としては、視点合成画像を復号対象画像の符号化する前の画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
このようにビットストリームからは得られない情報を生成し、別のフレームを復号する際に、生成された情報を参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
ここでは、視点合成画像が利用可能な領域では、視点合成画像を復号対象画像とする場合の説明を行ったが、図２０に示す通り、復号対象画像と視点合成画像との差分信号をビットストリームから復号して（ステップＳ２１０）、復号対象画像の生成（ステップＳ２１１）を行っても構わない。図２０は、復号対象画像と視点合成画像との差分信号をビットストリームから復号して、復号対象画像の生成を行う場合の処理動作を示すフローチャートである。また、前述したフレーム単位ではオクルージョンマップを生成し、視点合成画像は領域ごとに生成を行う方法と、符号化情報を生成する方法とを組み合わせて用いても構わない。
前述した画像復号装置では、視点合成画像が利用可能として符号化されている領域の数についての情報は入力されるビットストリームに含まれていない。しかしながら、ビットストリームから、視点合成画像が利用可能な領域の数（または、利用不可能な領域の数）を復号し、その数に従って復号処理を制御するようにしても構わない。以下では、復号した視点合成画像が利用可能な領域の数を視点合成可能領域数と称する。
図２１は視点合成可能領域数をビットストリームから復号する場合の画像復号装置の構成を示すブロック図である。図２１に示す画像復号装置２００ｄが、図１３に示す画像復号装置２００ａと異なる点は、視点合成可否判定部２０７に代えて、視点合成可能領域数復号部２１２と視点合成可能領域決定部２１３とを備える点である。なお、図２１において、図１３に示す画像復号装置２００ａと同じ構成には同じ符号を付してその説明を省略する。
視点合成可能領域数復号部２１２は、ビットストリームから、復号対象画像を分割した領域のうち、視点合成画像が利用可能と判断する領域の数を復号する。視点合成可能領域決定部２１３は、復号した視点合成可能領域数に基づいて、復号対象画像を分割した領域ごとに、視点合成画像が利用可能か否かを決定する。
次に、図２２を参照して、図２１に示す画像復号装置２００ｄの処理動作を説明する。図２２は、視点合成可能領域数を復号する場合の処理動作を示すフローチャートである。図２２に示す処理動作は、図１４に示す処理動作と異なり、視点合成画像を生成した後に、ビットストリームから視点合成可能領域数を復号し（ステップＳ２１３）、復号した視点合成可能領域数を用いて、復号対象画像を分割した領域ごとに、視点合成画像を利用可能とするか否かを決定する（ステップＳ２１４）。また、領域ごとに行われる視点合成画像が利用可能か否かの判断（ステップＳ２１５）は、ステップＳ２１４での決定と同じ方法で行われる。
視点合成画像が利用可能とする領域の決定には、どのような方法を用いても構わない。ただし、符号化側と同じ基準を用いて領域を決定する必要がある。例えば、視点合成画像の品質やオクルージョン領域に含まれる画素数を基準にして、各領域を順位付けし、視点合成可能領域数に従って、視点合成画像を利用可能とする領域を決定するようにしても構わない。これによって、ターゲットビットレートや品質に応じて、視点合成画像を利用可能とする領域の数をコントロール可能になり、高品質な復号対象画像の伝送を可能にする符号化から、低ビットレートによる画像伝送を可能にする符号化まで、柔軟な符号化を実現することが可能となる。
なお、ステップＳ２１４において、各領域において視点合成画像が利用可能か否かを示すマップを生成し、ステップＳ２１５では、そのマップを参照することで視点合成画像の利用可否を判定するようにしても構わない。また、視点合成画像の利用可否を表すマップを生成しない場合に、ステップＳ２１４では、設定された基準を用いる際に、復号した視点合成可能領域数を満たす閾値を決定し、ステップＳ２１５における判定では、決定した閾値を満たすか否かで判定を行うようにしても構わない。このようにすることで領域ごとに行う視点合成画像の利用可否にかかる演算量を削減することが可能である。
ここでは、画像復号装置には１種類のビットストリームが入力され、入力されたビットストリームが適切な情報を含んだ部分ビットストリームへと分離され、適切なビットストリームが画像復号部２０８と視点合成可能領域数復号部２１２とに入力されるものとした。しかし、ビットストリームの分離を画像復号装置の外部で行い、別々のビットストリームを画像復号部２０８と視点合成可能領域数復号部２１２とに入力するようにしても構わない。
また、前述した処理動作では、各領域の復号を行う前に、画像全体を鑑みて、視点合成画像を利用可能な領域の決定を行ったが、それまでに処理した領域の判定結果を考慮しながら、領域ごとに視点合成画像が利用可能か否かを判定するようにしても構わない。
例えば、図２３は視点合成画像が利用不可能として復号した領域の数をカウントしながら復号する場合の処理動作を示すフローチャートである。この処理動作では、領域ごとの処理を行う前に、視点合成可能領域数ｎｕｍＳｙｎｔｈＢｌｋｓを復号し（ステップＳ２１３）、残りのビットストリーム内の視点合成可能領域数以外の領域数を表すｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓを求める（ステップＳ２１６）。
領域ごとの処理では、最初に、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きいか否かをチェックする（ステップＳ２１７）。ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きい場合は、これまでの説明と同様に、当該領域において視点合成画像が利用可能か否かを判定する（ステップＳ２０５）。一方、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０以下（正確には０）の場合は、当該領域に対する視点合成画像の利用可否の判定をスキップして、当該領域では視点合成画像が利用可能である場合の処理を行う。また、視点合成画像が利用不可能として処理をする度に、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓを１ずつ減ずる（ステップＳ２１８）。
全ての領域について復号処理が完了した後、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きいか否かをチェックする（ステップＳ２１９）。ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きい場合は、ビットストリームからｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓと同じ領域数に相当するビットを読み込む（ステップＳ２２１）。読み込んだビットは、そのまま破棄しても構わないし、エラー箇所を同定するのに利用しても構わない。
このようにすることで、何らかのエラーにより符号化側と復号側とで異なる参照画像や参照デプスマップが得られた場合においても、そのエラーによるビットストリームの読み取りエラーの発生を防ぐことが可能となる。具体的には、符号化時に想定した領域数よりも多くの領域で視点合成画像が利用可能と判断し、当該フレームにおいて本来読み込むべきはずのビットを読み込まず、次のフレーム等の復号において、誤ったビットが先頭ビットだと判断され、正常なビット読み込みができなくなることを防ぐことができる。また、符号化時に想定した領域数よりも少ない領域で視点合成画像が利用可能と判断し、次のフレーム等に対するビットを用いて復号処理を行おうとしてしまい、当該フレームから正常なビット読み込みが不可能になることも防ぐことができる。
また、視点合成画像が利用不可能として復号した領域の数だけでなく、視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を図２４に示す。図２４は、視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を示すフローチャートである。図２４に示す処理動作は、図２３に示す処理動作と基本的な処理動作は同じである。
図２４に示す処理動作と図２３に示す処理動作の違いを説明する。まず、領域ごとの処理を行う際に、ｎｕｍＳｙｎｔｈＢｌｋｓが０より大きいか否かを最初に判定する（ステップＳ２１９）。ｎｕｍＳｙｎｔｈＢｌｋｓが０より大きい場合は、特に何も行わない。一方、ｎｕｍＳｙｎｔｈＢｌｋｓが０以下（正確には０）の場合は、強制的に、当該領域では視点合成画像が利用不可能であるとして処理を行う。次に、視点合成画像が利用可能として処理する度に、ｎｕｍＳｙｎｔｈＢｌｋｓを１ずつ減ずる（ステップＳ２２０）。最後に、全ての領域について復号処理が完了したら直ちに復号処理が終了する。
ここでは視点合成画像が利用可能と判断された領域では、復号処理を省略する場合で説明を行ったが、図１５〜図２０を参照して説明した方法と、視点合成可能領域数を復号する方法を組み合わせても構わないことは明らかである。
前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレームについて処理を繰り返すことで動画像符号化にも本手法を適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本手法を適用することもできる。さらに、前述した説明では画像符号化装置及び画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置及び画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法及び画像復号方法を実現することができる。
また、前述した説明においては、参照デプスマップが符号化対象カメラまたは復号対象カメラとは異なるカメラで撮影された画像に対するデプスマップであるとして説明を行ったが、符号化対象カメラまたは復号対象カメラによって撮影された画像に対するデプスマップを、参照デプスマップとして用いても構わない。
図２５は、前述した画像符号化装置１００ａ〜１００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図２５に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照デプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５６（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
図２６は、前述した画像復号装置２００ａ〜２００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図２６に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照デプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
前述した実施形態における画像符号化装置１００ａ〜１００ｄ及び画像復号装置２００ａ〜２００ｄをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
本発明は、符号化（復号）対象画像を撮影したカメラとは異なる位置から撮影された画像に対するデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成する用途に適用できる。
１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照画像入力部、１０４・・・参照デプスマップ入力部、１０５・・・視点合成画像生成部、１０６・・・視点合成画像メモリ、１０７・・・視点合成可否判定部、１０８・・・画像符号化部、１１０・・・視点合成部、１１１・・・オクル-ジョンマップメモリ、１１２・・・符号化情報生成部、１１３・・・視点合成可能領域決定部、１１４・・・視点合成可能領域数符号化部、２０１・・・ビットストリーム入力部、２０２・・・ビットストリームメモリ、２０３・・・参照画像入力部、２０４・・・参照デプスマップ入力部、２０５・・・視点合成性画像生成部、２０６・・・視点合成画像メモリ、２０７・・・視点合成可否判定部、２０８・・・画像復号部、２０９・・・視点合成部、２１０・・・オクル-ジョンマップメモリ、２１１・・・符号化情報生成部、２１２・・・視点合成可能領域数復号部、２１３・・・視点合成可能領域決定部

Claims (16)

  1. 複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、
    前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、
    前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部と
    を備える画像符号化装置。
  2. 前記画像符号化部は、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する請求項１に記載の画像符号化装置。
  3. 前記画像符号化部は、前記符号化情報として予測ブロックサイズを決定する請求項２に記載の画像符号化装置。
  4. 前記画像符号化部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する請求項２に記載の画像符号化装置。
  5. 前記利用可否判定部は、前記符号化対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する請求項１から請求項４のいずれか１項に記載の画像符号化装置。
  6. 前記画像符号化装置は、前記参照デプスマップを用いて、前記符号化対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、
    前記利用可否判定部は、前記オクルージョンマップを用いて、前記符号化対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する請求項１から請求項４のいずれか１項に記載の画像符号化装置。
  7. 複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、
    前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、
    前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、
    前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部と
    を備える画像復号装置。
  8. 前記画像復号部は、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する請求項７に記載の画像復号装置。
  9. 前記画像復号部は、前記符号化情報として予測ブロックサイズを決定する請求項８に記載の画像復号装置。
  10. 前記画像復号部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する請求項８に記載の画像復号装置。
  11. 前記利用可否判定部は、前記復号対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する請求項７から請求項１０のいずれか１項に記載の画像復号装置。
  12. 前記画像復号装置は、前記参照デプスマップを用いて、前記復号対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、
    前記利用可否判定部は、前記オクルージョンマップを用いて、前記復号対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する請求項７から請求項１０のいずれか１項に記載の画像復号装置。
  13. 複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、
    前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、
    前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、
    前記符号化対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化ステップと
    を有する画像符号化方法。
  14. 複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、
    前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、
    前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、
    前記復号対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号ステップと
    を有する画像復号方法。
  15. コンピュータに、請求項１３に記載の画像符号化方法を実行させるための画像符号化プログラム。
  16. コンピュータに、請求項１４に記載の画像復号方法を実行させるための画像復号プログラム。
JP2015511239A 2013-04-11 2014-04-04 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム Active JP5947977B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013082957 2013-04-11
JP2013082957 2013-04-11
PCT/JP2014/059963 WO2014168082A1 (ja) 2013-04-11 2014-04-04 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP5947977B2 true JP5947977B2 (ja) 2016-07-06
JPWO2014168082A1 JPWO2014168082A1 (ja) 2017-02-16

Family

ID=51689491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015511239A Active JP5947977B2 (ja) 2013-04-11 2014-04-04 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Country Status (5)

Country Link
US (1) US20160065990A1 (ja)
JP (1) JP5947977B2 (ja)
KR (1) KR20150122726A (ja)
CN (1) CN105075268A (ja)
WO (1) WO2014168082A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6648701B2 (ja) * 2015-02-06 2020-02-14 ソニー株式会社 画像符号化装置および方法
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
PL412844A1 (pl) * 2015-06-25 2017-01-02 Politechnika Poznańska System oraz sposób kodowania obszaru odsłoniętego w strumieniu danych sekwencji wielowidokowych
WO2017215764A1 (en) * 2016-06-17 2017-12-21 Huawei Technologies Co., Ltd. Devices and methods for 3d video coding
EP3525459B1 (en) * 2016-11-10 2023-05-24 Nippon Telegraph And Telephone Corporation Image evaluation device, image evaluation method and image evaluation program
US11398056B2 (en) * 2016-12-13 2022-07-26 Nippon Telegraph And Telephone Corporation Image difference deterination device and method that determines whether or not there is a temporary difference between images and non-transitory computer-readable medium
EP3635957B1 (en) * 2017-06-29 2024-05-22 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video coding block of a multiview video signal
CN110766646A (zh) * 2018-07-26 2020-02-07 北京京东尚科信息技术有限公司 展示架遮挡检测方法、装置以及存储介质
EP3671645A1 (de) * 2018-12-20 2020-06-24 Carl Zeiss Vision International GmbH Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts
EP3703378A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. Apparatus and method of generating an image signal
US11526970B2 (en) * 2019-09-04 2022-12-13 Samsung Electronics Co., Ltd System and method for video processing with enhanced temporal consistency

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP2010531604A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
JP2012124564A (ja) * 2010-12-06 2012-06-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
JP2015507417A (ja) * 2012-01-05 2015-03-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR101599042B1 (ko) * 2010-06-24 2016-03-03 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
JP2010531604A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP2012124564A (ja) * 2010-12-06 2012-06-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JP2015507417A (ja) * 2012-01-05 2015-03-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
JP2015516763A (ja) * 2012-04-13 2015-06-11 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３次元ビデオコーディングのためのビュー合成モード

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016019363; 志水信哉（外３名）: '「多視点デプスマップの情報を用いた高効率多視点映像符号化」' 映像情報メディア学会誌 Ｖｏｌ．６３，　Ｎｏ．４, 20090401, 第５２４〜５３２頁, （社）映像情報メディア学会 *
JPN6016019364; 石川彰夫: '「講座：基礎からの画像符号化［第８回］視点間予測・視点補間」' 映像情報メディア学会誌 Ｖｏｌ．６７，　Ｎｏ．４, 20130401, 第３０８〜３１１頁, 一般社団法人映像情報メディア学会 *

Also Published As

Publication number Publication date
WO2014168082A1 (ja) 2014-10-16
KR20150122726A (ko) 2015-11-02
CN105075268A (zh) 2015-11-18
US20160065990A1 (en) 2016-03-03
JPWO2014168082A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101648094B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160603

R150 Certificate of patent or registration of utility model

Ref document number: 5947977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150