JP6232117B2 - 画像符号化方法、画像復号方法、及び記録媒体 - Google Patents

Description

本発明は、複数の視点から撮影された画像を符号化する画像符号化方法、その符号化されたデータを復号する画像復号方法、及び記録媒体に関する。

従来の動画像符号化方式としてＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４方式などがある。これらの動画像符号化方式では、動き補償フレーム間予測符号化という動画像の時間方向の相関性を利用し符号量の削減を図る符号化方式を採用している。動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロック毎に動きベクトルを求めて、さらに動きベクトルにより示される参照画像のブロックの画素値を予測に用いることで、効率的な符号化を実現している。

さらに、非特許文献１にあるように、ＭＰＥＧ−４やＨ．２６４／ＡＶＣ規格では、この動きベクトルの圧縮率を向上させるために、予測ベクトルを生成し、符号化対象ブロックの動きベクトルと予測ベクトルの差分を符号化している。仮に、予測ベクトルの予測精度が高ければ、動きベクトルを直接符号化するよりも、この差分値を符号化した方が、符号化効率が高くなる。具体的には、図１６に示すように符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとしている。

また、近年、Ｈ．２６４規格にて、複数のカメラで同一の被写体や背景を撮影した複数の動画像である多視点動画像を符号化するための拡張規格であるＭＶＣ（Multiview Video Coding）が策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。また、視差補償予測の結果として検出される視差ベクトルに対しても、上記動きベクトルにおける予測ベクトル生成方式と同様な方法で生成した予測ベクトルを利用することにより、符号量の削減が可能である。

但し、動き補償フレーム間予測符号化と視差補償予測符号化では、それぞれ時間方向の相関性とカメラ間の相関性を利用して符号化するため、検出される動きベクトルと視差ベクトル間に相関性は無い。そのため、隣接ブロックが符号化対象ブロックと異なる符号化方式で符号化された場合、その隣接ブロックの動きベクトル若しくは視差ベクトルを予測ベクトルの生成に活用できないという問題点がある。具体的な一例として、図１７（Ａ）に示すように、符号化対象ブロックに隣接する周辺ブロックにおいて、動き補償フレーム間予測方式と視差補償予測方式が混在する場合である。図１７（Ａ）の状態で、動き補償フレーム間予測を行おうとすると、図１７（Ｂ）に示すように隣接ブロックＢについて予測に利用できる動きベクトルが存在しない。或いは、視差補償予測を行おうとすると図１７（Ｃ）に示すように、隣接ブロックＡ及び隣接ブロックＣについて予測に利用できる視差ベクトルが存在しない。そして、従来の方式では、利用するベクトルが存在しない隣接ブロックはゼロベクトルで置き換えられるため、予測ベクトルの精度が低下する問題があった。上記例の他にも、隣接ブロックの符号化方式が符号化対象ブロックの予測方式と全て異なる場合にも同じ問題が発生する。

この問題に対し、特許文献１では隣接ブロックの符号化方式が符号化対象ブロックと異なる場合に、符号化対象ブロックの符号化方式が動き補償フレーム間予測符号化の時には、隣接ブロックの視差ベクトルが参照する領域に最も多く含まれるブロックの動きベクトルを予測ベクトル生成時に使用し、符号化対象ブロックの符号化方式が視差補償予測符号化の時には、隣接ブロックの動きベクトルが参照する領域に最も多く含まれるブロックの視差ベクトルを予測ベクトル生成時に使用することにより、予測ベクトルの生成精度を向上させている。

また、現在、ＭＰＥＧのアドホックグループであるＭＰＥＧ−３ＤＶにおいてカメラで撮影した映像と合わせて奥行き画像も伝送する新しい規格が策定されている。

奥行き画像とはカメラから被写体までの距離を表した情報であり、生成方法としては例えば、カメラの近傍に設置された距離を測定する装置から取得する方法がある。また、複数視点のカメラから撮影された画像を解析することによって奥行き画像を生成することもできる。

ＭＰＥＧ−３ＤＶの新しい規格におけるシステムの全体図を図１８に示す。この新しい規格は、２視点以上の複数視点に対応しているが、図１８では２視点の場合で説明する。このシステムでは、被写体９０１をカメラ９０２、９０４で撮影し画像を出力するとともに、それぞれのカメラの近傍に設置されている被写体までの距離を測定するセンサ９０３、９０５を用いて奥行き画像（デプスマップ）を生成し出力する。符号化器９０６は、入力として画像と奥行き画像を受け取り、動き補償フレーム間予測符号化や視差補償予測を用いて、画像及び奥行き画像を符号化し出力する。復号器９０７はローカルな伝送ラインやネットワークＮを介して伝送されてくる符号化器９０６の出力結果を入力として受け取り、復号し、復号画像及び復号した奥行き画像を出力する。表示部９０８は入力として復号画像と復号した奥行き画像を受け取り、復号画像を表示する、或いは、奥行き画像を用いた処理を復号画像に施してから表示する。

国際公開第２００８／０５３７４６号パンフレット

大久保榮 監修、角野眞也、菊池義浩、鈴木輝彦 共編、「Ｈ．２６４／ＡＶＣ教科書」、改訂三版、インプレスＲ＆Ｄ、２００９年１月１日、ＰＰ１２３−１２５（動きベクトルの予測）

しかしながら、特許文献１に記載の視差補償予測において、視差ベクトルの存在しない隣接ブロックに対して、動きベクトルが参照する領域の視差ベクトルで補正する方法には、以下の問題がある。第１に、動きベクトルが参照する領域が必ずしも視差補償予測方式にならない場合があり、置き換えるための視差ベクトルが得られないといった問題である。第２に、動きベクトルが参照する領域が、仮に視差補償予測方式で符号化されていたとしても、動きベクトルが参照するフレームは符号化対象フレームと時間的に異なるため、例えば被写体がカメラに向かって近づいたり、遠ざかる場合に、同一被写体であっても視差ベクトルが異なることである。第１、第２の場合とも、誤った視差ベクトルが予測に用いられるため、予測ベクトルの精度が下がる問題がある。また、ＭＰＥＧ−３ＤＶにおいても、このような問題を解決する必要がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、視差補償予測において、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能な画像符号化方法、画像復号方法、及び記録媒体を提供することにある。

上記課題を解決するために、本発明の第１の技術手段は、異なる視点から撮影した複数の視点画像を符号化する画像符号化装置であって、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化する撮影条件情報符号化部と、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行う画像符号化部とを備えることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴としたものである。

第３の技術手段は、第１又は第２の技術手段において、前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴としたものである。

第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像符号化部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴としたものである。

第５の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像符号化部おける予測ベクトルの生成方法は、符号化対象ブロックにおける前記視差情報に基づく情報を用いることを特徴としたものである。

第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記奥行き画像を符号化する奥行き画像符号化部を更に備えることを特徴としたものである。

第７の技術手段は、異なる視点から撮影した複数の視点画像を復号する画像復号装置であって、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号する撮影条件情報復号部と、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行う画像復号部とを備えることを特徴としたものである。

第８の技術手段は、第７の技術手段において、前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴としたものである。

第９の技術手段は、第７又は第８の技術手段において、前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴としたものである。

第１０の技術手段は、第７〜第９のいずれか１の技術手段において、前記画像復号部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴としたものである。

第１１の技術手段は、第７〜第９のいずれか１の技術手段において、前記画像復号部おける予測ベクトルの生成方法は、復号対象ブロックにおける前記視差情報に基づく情報を用いることを特徴としたものである。

第１２の技術手段は、第７〜第１１のいずれか１の技術手段において、前記奥行き画像は符号化されており、前記画像復号装置は、前記奥行き画像を復号する奥行き画像復号部を更に備えることを特徴としたものである。

第１３の技術手段は、異なる視点から撮影した複数の視点画像を符号化する画像符号化方法であって、撮影条件情報符号化部が、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有することを特徴としたものである。

第１４の技術手段は、異なる視点から撮影した複数の視点画像を復号する画像復号方法であって、撮影条件情報復号部が、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有することを特徴としたものである。

第１５の技術手段は、コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラムであることを特徴としたものである。

第１６の技術手段は、コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラムであることを特徴としたものである。

以上のように、本発明によれば、視差補償予測において、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいて予測ベクトルを生成することで、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、符号化効率を高めることができる。

本発明の画像符号化装置の構成例を示すブロック図である。 視差情報生成部の構成を示すブロック図である。 画像符号化部の構成を示すブロック図である。 代表奥行き値の決定処理の概念図である。 奥行き値と視差値との関係を示す概念図である。 平行法撮影法と交差法撮影法における、カメラの撮影距離と焦点距離の関係を示す図である。 画像符号化装置が実行する画像符号化処理を示すフローチャートである。 視差情報生成部が実行する視差情報生成処理を示すフローチャートである。 画像符号化部が実行する画像符号化処理を示すフローチャートである。 画面間予測部が実行する画面間予測処理を示すフローチャートである。 本発明の画像復号装置の構成例を示すブロック図である。 画像復号部の構成を示すブロック図である。 画像復号装置が実行する画像復号処理を示すフローチャートである。 画像復号部が実行する画像復号処理を示すフローチャートである。 画面間予測部が実行する画面間予測処理を示すフローチャートである。 予測ベクトルの生成方法の一例を説明するための図である。 従来の予測ベクトル生成方法の問題を説明するための図である。 ＭＰＥＧ−３ＤＶの新しい規格におけるシステムの全体図である。 予測ベクトルの生成方法の他の例を説明するための図である。

異なる視点の画像の冗長性を考慮した画面間予測によって情報量を削減する動画像符号化方式（代表的な符号化例としてＨ．２６４／ＡＶＣの拡張であるＭＶＣがある）では、隣接するブロックが符号化対象ブロックと同じ視差補償予測である場合に、その周辺ブロックの視差ベクトルを用いて予測ベクトルを生成している。本発明では、次世代の映像符号化方式であるＭＰＥＧ−３ＤＶを想定し、その入力情報として与えられる奥行き画像情報を用いて、隣接するブロックが視差補償予測とは異なる予測方式が採用された場合であっても、その奥行き画像情報より算出した視差情報、すなわち視差ベクトルを用いることによって予測ベクトルの予測精度を向上させ、従来の技術における問題を改善した優れた符号化効率が得られる。

以下、図面を参照しながら本発明の詳細について説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
（実施形態１）＜符号化装置＞
図１は、本発明の一実施形態である画像符号化装置の構成例を示す機能ブロック図である。

画像符号化装置１００は、撮影条件情報符号化部１０１、奥行き画像符号化部１０３、視差情報生成部１０４、及び画像符号化部１０６を含んで構成される。なお、画像符号化部１０６の内部に記載したブロックは、画像符号化部１０６の動作を概念的に説明するために利用する。

以下、画像符号化装置１００の機能及び動作について説明する。

画像符号化装置１００の入力データは、基準視点の視点画像、非基準視点の視点画像、奥行き画像、及び撮影条件情報である。基準視点の視点画像は単一の視点による画像に限定されるが、非基準視点の視点画像は複数の視点による画像が複数入力されてもよい。また、奥行き画像は、視点画像の対応する１つの奥行き画像でもよいし、全ての視点画像に対応する複数の奥行き画像が入力されてもよい。１つの視点画像に対応する１つの奥行き画像を入力する場合、その１つの視点画像は基準視点の画像であっても非基準視点の画像であってもよい。なお、各視点画像、奥行き画像は、静止画像でも動画像でもよい。撮影条件情報は、奥行き画像に対応するものである。

基準視点符号化処理部１０２では、基準視点の視点画像を視点内予測符号化方式により圧縮符号化する。視点内予測符号化では、画面内予測や同一視点内で動き補償を行って、視点内の画像データのみに基づいて画像データを圧縮符号化する。同時に、後述する非基準視点の視点画像を符号化する際の参照用に、逆処理すなわち復号を行い、画像信号に復元しておく。

奥行き画像符号化部１０３は、奥行き画像を、例えば従来方式であるＨ．２６４方式で圧縮する。視点画像と合わせた複数視点の奥行き画像が、奥行き画像符号化部１０３に入力される場合には、前述のＭＶＣを用いて圧縮符号化することも可能である。同時に、後述する視差情報の生成用に、逆処理すなわち復号を行い、奥行き画像信号に復元しておく。つまり、本実施形態における画像符号化装置１００では、奥行き画像符号化部１０３で符号化された奥行き画像を復号する奥行き画像復号部を備える。但し、この奥行き画像復号部は奥行き画像符号化部１０３の内部に設けることが多いため、内部に設けた場合を例に挙げ、図示していない。実際、奥行き画像を符号化（ロッシーな符号化）して伝送する構成では、符号化を行う際に復号時に得られるデータを再現する必要があるため、奥行き画像符号化部１０３の内部に奥行き画像復号部が必要となる。

以下の説明では、奥行き画像復号部を画像符号化装置１００に具備した例を挙げているが、奥行き画像は、通常の画像データに比べてデータ量が小さいため、生データを送ったりロスレスで符号化することも想定でき、そのような構成の場合、オリジナルデータを画像復号装置側が取得できることになり、符号化時に内部デコードする必要がなくなる。よって、画像符号化装置１００に奥行き画像復号部を設けない構成を採用することもできる。さらに、画像符号化装置１００から生データを画像復号装置に送る場合には、奥行き画像符号化部１０３を設けなくても、単に奥行き画像が取得可能な状態になっていれば画像復号装置に送信できる。このように、画像符号化装置１００に、奥行き画像符号化部１０３及び奥行き画像復号部を設けない構成を採用することもできる。

視差情報生成部１０４は、復元された奥行き画像及び、外部より入力される撮影条件情報に基づいて、符号化を行う視点画像とそれとは異なる視点画像との間の視差情報を生成する。視差情報生成の詳細については後述する。

非基準視点符号化処理部１０５では、復元された基準視点画像と生成された視差情報に基づいて、非基準視点の視点画像を視点間予測符号化方式により圧縮符号化する。視点間予測符号化方式では、符号化対象画像とは異なる視点の画像を用いて視差補償を行い、画像データを圧縮符号化する。なお、非基準視点符号化処理部１０５では、視点内の画像データのみを用いた視点内予測符号化方式を、符号化効率に基づいて選択することもできる。

また、ここでは、非基準視点の視点画像のみを視点間予測符号化方式で符号化する例を挙げるが、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化するようにしてもよいし、双方の視点画像について、符号化効率に基づいて視点間予測符号化方式と視点内予測符号化方式とを切り替えてもよい。画像符号化装置１００は、予測符号化方式を示す情報を画像復号装置側に送信することにより、画像復号装置側での復号は可能である。

撮影条件情報符号化部１０１は、複数視点の視点画像を撮影した際の条件である撮影条件情報を、所定の符号に変換する符号化処理を行う。最終的に、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報の各符号化データは、図示しない符号構成部により連結・並べ替えがなされ、符号化ストリームとして画像符号化装置１００の外部（例えば、図１１を参照して後述する画像復号装置７００）へ出力される。

次に、視差情報生成部１０４の内部処理に関して、図２、図４から図６を参照して詳細に説明する。

図２は、視差情報生成部１０４の内部構成を示す機能ブロック図である。視差情報生成部１０４は、ブロック分割部２０１、代表奥行き値決定部２０２、視差算出部２０３、及び距離情報抽出部２０４より構成される。

ブロック分割部２０１は、入力される奥行き画像を所定のサイズ（例えば、１６×１６画素）に従うブロックに分割する。代表奥行き値決定部２０２は、分割されたブロック毎に奥行き値の代表値を決定する。具体的には、ブロック内の奥行き値の頻度分布（ヒストグラム）を作成し、最も出現頻度の高い奥行き値を抽出して代表値として決定する。

図４に、代表奥行き値の決定処理の概念図を示す。図４（Ｂ）で例示するように、図４（Ａ）で例示する視点画像４０１に対応する奥行き画像４０２が与えられているとする。奥行き画像は、輝度のみのモノクロ画像として表される。輝度が高い（＝奥行き値が大きい）領域ほどカメラからの距離が近いことを意味し、輝度が低い（＝奥行き値が小さい）領域ほどカメラからの距離が遠いことを意味する。この中の分割されたブロック４０３において、奥行き値が図４（Ｃ）で例示する頻度分布４０４のような頻度分布をとる場合、最も出現頻度の高い奥行き値４０５を、ブロック４０３の代表奥行き値として決定する。

なお、奥行き値の代表値を決定する際には、前述のようなヒストグラムに基づく方法の他に、以下の方法に従って決定してもよい。例えば、ブロック内奥行き値の（ａ）中間値；（ｂ）出現頻度を考慮した平均値；（ｃ）カメラからの距離が最も近い値（ブロック内奥行き値の最大値）；（ｄ）カメラからの距離が最も遠い値（ブロック内奥行き値の最小値）；或いは（ｅ）ブロックの中心位置の奥行き値を抽出して代表値として決定してもよい。どの方法を選択するかの基準は、例えば、一番効率の良いものを、符号化及び復号で共通の方式に固定する方法、それぞれの方法に基づいて得られた奥行き代表値を用いて視差予測をした際にもっとも予測誤差の小さい方法を適応的に選択するという方法がある。後者の場合、選択した方法を上記符号化ストリームに付加し、画像復号装置側に与える必要がある。

また、奥行き画像を分割する際のブロックサイズは、前述の１６×１６サイズに限らず、８×８、４×４などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６×８、８×１６、８×４、４×８などのサイズでもよい。これらのサイズは、後述の画像符号化部１０６が採用する符号化対象ブロックのブロックサイズに合わせる方法がある。或いは奥行き画像や対応する視点画像に含まれる被写体の大きさや、要求される圧縮率などに応じて最適なサイズを選択する方法なども可能である。

図２に戻って、視差算出部２０３は、上記奥行き値の代表値と、入力される撮影条件情報に含まれるカメラ間隔及び撮影距離を示す情報とに基づいて、該当ブロックの視差値を算出する。その際、奥行き画像に含まれる奥行き値は、カメラから被写体までの距離そのものではなく、撮影した画像に含まれる距離レンジを所定の数値範囲（例えば０〜２５５）で表したものであるので、撮影条件情報に含まれる撮影時の距離レンジを表す情報（例えば、画像に含まれる被写体に関するカメラからの距離の最小値と最大値で構成される）に基づいて、奥行き値を実際の距離である画像距離に変換し、撮影距離やカメラ間隔などの実距離を示す数値と次元を合わせておく。視差値の算出式は、ｄを視差値、ｌを撮影距離、Ｌをカメラ間隔、Ｚを画像距離（代表値）として、次式の通り定義する。

ｄ ＝（ｌ−Ｚ）／Ｚ × Ｌ ＝（ ｌ／Ｚ −１）× Ｌ （１）
距離情報抽出部２０４は、撮影条件情報の中から、カメラ間距離（Ｌ）と撮影距離（ｌ）に相当する情報を抽出し、視差算出部２０３へ伝送する。なお、撮影条件情報に含まれるカメラの情報（一般的にはカメラパラメータと言う）としては、内部パラメータ（焦点距離、横方向スケールファクタ、縦方向スケールファクタ、画像中心座標、歪み係数）、外部パラメータ（回転行列、併進行列）、及び上記カメラパラメータ以外の情報（最近値と最遠値）が該当し、厳密にはカメラ間距離（Ｌ）はカメラパラメータには含まれないが、上記の併進行列を用いてカメラ間距離を算出することはできる。また、上記最近値及び最遠値は、上述した、奥行き画像を実際の距離の値に変換する処理で用いられる。

ここで、数式（１）の式と各パラメータの意味を説明する。図５は、奥行き値と視差値との関係を示す概念図である。視点すなわちカメラ５０１、５０２と、被写体５０３，５０４とが、図のような位置関係にある場合を想定する。この時、各被写体上の正面の点５０５、５０６は、撮影距離ｌにおける平面５０７上の、ｐｌ１，ｐｒ１及びｐｌ２，ｐｒ２の位置に投影される。平面５０７が観察時のスクリーン面に相当するとみなすと、ｐｌ１とｐｒ１は、被写体の点５０５に関する左視点画像上と右視点画像上の画素の対応点を意味し、同様にｐｌ２とｐｒ２は、被写体の点５０６に関する各視点画像上の画素の対応点を意味する。

そして、２つのカメラ間距離をＬ、カメラの撮影距離をｌ、各被写体の正面の点５０５、５０６までの距離をＺ１，Ｚ２とすると、各被写体に対応する両視点画像間の視差ｄ１，ｄ２と、上記各パラメータとの間には、以下の数式（２），（３）の関係が成り立つ。ここで、距離Ｚ１，Ｚ２は、数式（１）のＺと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。

Ｌ ： Ｚ１ ＝ ｄ１ ： （ ｌ−Ｚ１ ） ・・・（２）
Ｌ ： Ｚ２ ＝ ｄ２ ： （ Ｚ２−ｌ ） ・・・（３）
そして、視差値ｄを、右視点画像の対応点に対する左視点画像の対応点の位置として定義すると、前述の数式（１）の式でｄを得ることができる。最終的に、視差算出部２０３が出力する視差情報は、双方の対応点に基づくベクトルを算出して、それを利用する。

なお、上述のカメラの撮影距離ｌは、平行法撮影の場合、すなわち２つのカメラの光軸が平行の場合には、図６（Ａ）に示すように撮影時にピントを合わせた距離（焦点距離）をｌに相当するとみなし、交差法撮影の場合、すなわち２つのカメラの光軸が前方で交差する場合には、図６（Ｂ）に示すようにカメラから交差点（クロスポイント）までの距離をｌに相当するとみなしてよい。

続いて、画像符号化部１０６について図３を用いて説明する。図３は、画像符号化部１０６の機能構成を示す概略ブロック図である。

画像符号化部１０６は、画像入力部３０１、減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部３０９、選択部３１０、デブロッキング・フィルタ部３１１、フレームメモリ（フレームメモリ部）３１２、動き／視差補償部３１３、動き／視差ベクトル検出部３１４、イントラ予測部３１５、及び視差入力部３１６を含んで構成される。なお、説明のために、画面内予測部３１７と画面間予測部３１８を点線で図示し、画面内予測部３１７はイントラ予測部３１５を含み、画面間予測部３１８はデブロッキング・フィルタ部３１１、フレームメモリ３１２、動き／視差補償部３１３、及び動き／視差ベクトル検出部３１４を含むものとする。

図１において画像符号化部１０６の動作を説明した際には、基準視点の符号化とそれ以外の非基準視点の符号化を明示的に分けて、基準視点符号化処理部１０２の処理と非基準視点符号化処理部１０５の処理としたが、実際にはお互いに共通する処理が多いため、以下では基準視点符号化処理と非基準視点符号化処理を統合した形態について説明を行う。具体的には、前述の基準視点符号化処理部１０２として行う視点内予測符号化方式は、図３の画面内予測部３１７で実施される処理と画面間予測部３１８で実施される処理の一部である同一視点の画像を参照する処理（動き補償）を組み合わせたものである。また、非基準視点符号化処理部１０５で行う視点間予測符号化方式は、画面内予測部３１７で実施される処理と画面間予測部３１８で実施される同一視点の画像を参照する処理（動き補償）及び異なる視点の画像を参照する処理（視差補償）を組み合わせたものである。さらに、画面間予測部３１８で実施される符号化対象の視点と同一視点の画像を参照する処理（動き補償）と異なる視点の画像を参照する処理（視差補償）についても、符号化時に参照する画像が異なるだけで、参照画像を指し示すＩＤ情報（参照視点番号、参照フレーム番号）を用いることで処理を共通化することが可能である。また、各予測部で予測した画像と入力した視点画像の残差成分を符号化する方法も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。

画像入力部３０１は、画像符号化部１０６の外部から入力される符号化対象となる視点画像（基準視点画像、或いは非基準視点画像）を示す画像信号を、予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割する。

画像入力部３０１は、分割した画像ブロック信号を、減算部３０２、画面内予測部３１７の中にあるイントラ予測部３１５及び画面間予測部３１８の内部にある動き／視差ベクトル検出部３１４に出力する。画面内予測部３１７は、符号化処理ブロックより前に処理の完了した同一画面内の情報のみを用いて符号化を行う処理部で内容については後述する。一方、画面間予測部３１８は、符号化対象画像とは異なる、過去に処理した同一視点の視点画像、或いは異なる視点の視点画像の情報を用いて符号化を行う処理部で、内容は後述する。画像入力部３０１は、ブロック位置を順次変えながら、画像フレーム内の全てのブロックが完了し、そして入力される画像が全て終了するまで繰り返して出力する。

なお、画像入力部３０１が、画像信号を分割する際のブロックサイズは、前述の１６×１６サイズに限らず、８×８、４×４などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６×８、８×１６、８×４、４×８などのサイズでもよい。これらのサイズの例は、Ｈ．２６４、ＭＶＣなどの従来方式で用いられた符号化ブロックサイズである。後述する符号化手順に従って、全ブロックサイズの符号化を一通り実施し、最終的に効率の良いものを選択する。なお、ブロックサイズについては上記サイズに限定するものではない。

減算部３０２は、画像入力部３０１から入力した画像ブロック信号から選択部３１０から入力した予測画像ブロック信号を減算して、差分画像ブロック信号を生成する。減算部３０２は、生成した差分画像ブロック信号を直交変換部３０３に出力する。

直交変換部３０３は、減算部３０２から入力した差分画像ブロック信号を直交変換し、種々の周波数特性の強度を示す信号を生成する。直交変換部３０３は、差分画像ブロック信号を直交変換する際に、その差分画像ブロック信号を、例えばＤＣＴ変換（離散コサイン変換；Discrete Cosine Transform）して周波数領域信号（例えば、ＤＣＴ変換を行った場合は、ＤＣＴ係数）を生成する。直交変換部３０３は、差分画像ブロック信号に基づき周波数領域信号を生成することができれば、ＤＣＴ変換に限らず、他の方法（例えば、ＦＦＴ（高速フーリエ変換；Fast Fourier Transform））を用いてもよい。直交変換部３０３は、生成した周波数領域信号に含まれる係数値を、量子化部３０４に出力する。

量子化部３０４は、直交変換部３０３より入力した周波数特性強度を示す係数値を所定の量子化係数にて量子化し、生成した量子化信号（差分画像ブロック符号）を、エントロピー符号化部３０５と逆量子化部３０６に出力する。なお、量子化係数は、外部より与えられる符号量を決めるためのパラメータで、逆量子化部３０６及びエントロピー符号化部３０５においても参照される。

逆量子化部３０６は、量子化部３０４から入力された差分画像符号を、上記量子化係数を用いて量子化部３０４で行った量子化と逆の処理（逆量子化）をして復号周波数領域信号を生成し、逆直交変換部３０７に出力する。

逆直交変換部３０７は、入力された復号周波数領域信号を直交変換部３０３とは逆の処理、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部３０７は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Inverse Fast Fourier Transform））を用いてもよい。逆直交変換部３０７は、生成した復号差分画像ブロック信号を加算部３０８に出力する。

加算部３０８は、選択部３１０から予測画像ブロック信号と逆直交変換部３０７から復号差分画像ブロック信号を入力する。加算部３０８は、予測画像ブロック信号に復号差分画像ブロック信号を加算し、入力画像を符号化・復号した参照画像ブロック信号を生成する（内部デコード）。この参照画像ブロック信号は、画面内予測部３１７及び画面間予測部３１８に出力される。

画面内予測部３１７は、加算部３０８より参照画像ブロック信号と画像入力部３０１より符号化対象画像の画像ブロック信号を入力し、所定の方向に画面内予測した画面内予測画像ブロック信号を予測方式制御部３０９と選択部３１０に出力する。同時に、画面内予測部３１７は、画面内予測画像ブロック信号を生成するために必要な予測の方向を示す情報を、画面内予測符号化情報として予測方式制御部３０９に出力する。画面内予測は、従来方式（例えば、Ｈ．２６４ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ ＪＭ ｖｅｒ． １３．２ Ｅｎｃｏｄｅｒ， ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／， ２００８）の画面内予測方式に従って実施される。

画面間予測部３１８は、加算部３０８より参照画像ブロック信号と画像入力部３０１より符号化対象画像の画像ブロック信号及び視差入力部３１６より視差情報を入力し、画面間予測により生成した画面間予測画像ブロック信号を予測方式制御部３０９と選択部３１０に出力する。同時に、画面間予測部３１８は、生成した画面間予測符号化情報を、予測方式制御部３０９に出力する。画面間予測部３１８については後述する。

視差入力部３１６は、前述の画像入力部３０１に入力される視点画像に対応する視差情報を、視差情報生成部１０４より入力する。入力される視差情報のブロックサイズは画像信号のブロックサイズと同じである。視差入力部３１６は、入力された視差情報を視差ベクトル信号として、動き／視差補償部３１３に出力する。

続いて、予測方式制御部３０９は、入力画像のピクチャの種類（符号化対象画像が予測画像に参照できる画像を識別するための情報で、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどがある。なお、ピクチャの種類は、量子化係数と同様に外部より与えられるパラメータによって決まるもので、従来方式のＭＶＣと同じ方法を利用できる。）及び符号化効率に基づいて、画面内予測部３１７より入力される画面内予測画像ブロック信号とその画面内予測符号化情報、及び画面間予測部３１８より入力される画面間予測画像ブロック信号とその画面間符号化情報に基づいてブロック毎の予測方式が決められ、その予測方式の情報を選択部３１０に出力する。予測方式制御部３０９は、入力画像のピクチャの種類を監視し、入力された符号化対象画像が画面内の情報しか参照できないＩピクチャの場合は画面内予測方式を確定的に選択する。符号化済みの過去のフレーム或いは異なる視点の画像を参照できるＰピクチャや符号化済みの過去及び未来のフレーム（表示順番では未来のフレームではあるが、過去に処理されたフレームの意味）と異なる視点の画像を参照できるＢピクチャの場合には、予測方式制御部３０９は、エントロピー符号化部３０５で行う符号化により生成されるビット数と減算部３０２の原画像との残差から、例えば従来の手法（例えば、Ｈ．２６４ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ ＪＭ ｖｅｒ． １３．２ Ｅｎｃｏｄｅｒ， ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／， ２００８）を用いてラグランジュコストを算出し、画面内予測方式或いは画面間予測方式を決める。

同時に、予測方式制御部３０９は、画面内予測符号化情報若しくは画面間予測符号化情報のうち、上述の方法によって選択された予測方式に対応する符号化情報に、予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部３０５に出力する。

選択部３１０は、予測方式制御部３０９より入力される予測方式の情報に従って、画面内予測部３１７より入力される画面内予測画像ブロック信号、或いは画面間予測部３１８より入力される画面間予測画像ブロック信号を選択して、減算部３０２及び加算部３０８に予測画像ブロック信号を出力する。選択部３１０は、予測方式制御部３０９より入力される予測方式が画面内予測である場合には、画面内予測部３１７より入力される画面内予測画像ブロック信号を選択して出力し、予測方式制御部３０９より入力される予測方式が画面間予測である場合は、画面間予測部３１８より入力される画面間予測画像ブロック信号を選択して出力するものとする。

エントロピー符号化部３０５は、量子化部３０４より入力される差分画像符号と量子化係数、予測方式制御部３０９より入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、例えば可変長符号化（エントロピー符号化）を用いて符号化し、情報量がより圧縮された符号化データを生成する。エントロピー符号化部３０５は、生成した符号化データを画像符号化装置１００の外部（例えば、画像復号装置７００）に出力する。

画面間予測部３１８の詳細について説明する。

デブロッキング・フィルタ部３１１は、加算部３０８より参照画像ブロック信号を入力し、画像の符号化時に発生するブロック歪みを減少させるための、従来の手法（例えば、Ｈ．２６４ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ ＪＭ ｖｅｒ． １３．２ Ｅｎｃｏｄｅｒ， ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／， ２００８）で用いられるＦＩＲフィルタ処理を行う。デブロッキング・フィルタ部３１１は、処理結果（補正ブロック信号）をフレームメモリ３１２に出力する。

フレームメモリ３１２は、デブロッキング・フィルタ部３１１から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ３１２は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のＭＶＣの画像管理方法を利用することもできる。

動き／視差ベクトル検出部３１４は、画像入力部３０１より入力される画像ブロック信号に類似するブロックを、フレームメモリ３１２に蓄積された画像より探し出し（ブロックマッチング）、探し出したブロックを指し示すベクトル情報、視点番号及びフレーム番号を生成する（ベクトル情報は、参照する画像が符号化対象画像と同一視点の場合は動きベクトルとなり、参照する画像が符号化対象画像と異なる視点の場合は視差ベクトルとなる）。動き／視差ベクトル検出部３１４は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す。指標値は、画像信号間の相関性や類似性を示すものであればよい。動き／視差ベクトル検出部３１４は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和（ＳＡＤ；Sum of Absolute Difference）を用いる。入力された視点画像信号から分割されたブロック（例えば、大きさがＮ×Ｎ画素）と参照画像信号のブロックとの間のＳＡＤは次の式で表される。

数式（４）において、Ｉ_ｉｎ（ｉ_０＋ｉ，ｊ_０＋ｊ）は入力画像の座標（ｉ_０＋ｉ，ｊ_０＋ｊ）における輝度値、（ｉ_０，ｊ_０）は当該分割されたブロックの左上端の画素座標を示す。Ｉ_ｒｅｆ（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ＋ｑ）は参照画像の座標（ｉ_０＋ｉ＋ｐ，ｊ_０＋ｊ＋ｑ）における輝度値、（ｐ，ｑ）は当該分割されたブロックの左上端の座標を基準にしたシフト量（動きベクトル）である。

すなわち、動き／視差ベクトル検出部３１４は、ブロックマッチングにおいて、（ｐ，ｑ）毎にＳＡＤ（ｐ，ｑ）を算出し、ＳＡＤ（ｐ，ｑ）を最小とする（ｐ，ｑ）を探し出す。（ｐ，ｑ）は入力された視点画像から当該分割されたブロックから当該参照領域の位置までのベクトル（動き／視差ベクトル）を表す。

動き／視差補償部３１３は、動き／視差ベクトル検出部３１４より動きベクトル或いは視差ベクトルを入力し、さらに視差入力部３１６より視差情報を入力する。動き／視差補償部３１３は、入力された動き／視差ベクトルに基づいて、該当する領域の画像ブロックをフレームメモリ３１２より抽出し、画面間予測画像ブロック信号として、予測方式制御部３０９と選択部３１０に出力する。さらに、動き／視差補償部３１３は、上述のブロックマッチングで算出した動き／視差ベクトルから符号化対象ブロックに隣接する符号化済みブロックで採用された動き／視差ベクトル及び上記視差情報に基づいて生成された予測ベクトルを減算し差分ベクトルを算出する。予測ベクトルの生成方法は後述する。動き／視差補償部３１３は、上記差分ベクトルと参照画像情報（参照視点画像番号、参照フレーム番号）を連結・並べ替えをし、画面間符号化情報として予測方式制御部３０９に出力する。なお、ブロックマッチングで検出された入力画像ブロックと最も類似する領域と上記予測ベクトルが指し示す領域は、少なくとも参照視点画像番号と参照フレーム番号が一致しておく必要がある。

続いて、本発明に係わる予測ベクトルの生成方法について説明する。本発明の予測ベクトルは、図１６に示した従来方式と同様に、符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。但し、隣接ブロックの符号化方式が、符号化対象ブロックの視差補償予測方式と異なるブロックに対しては、図３の視差入力部３１６から入力される視差情報である視差ベクトルを利用する。

従って、図１６に示した例では、隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣにおいて視差補償予測方式とは異なる動き補償方式が採用されているため、視差入力部３１６より該当するブロックの視差情報、すなわち視差ベクトルを入力し、全て置き換えた上で、基準視点画像に対する予測ベクトルを生成する。別の例として、図１７では、隣接ブロックＡ及び隣接ブロックＣに対して、視差入力部３１６より入力する視差情報である視差ベクトルに置き換えて、基準視点画像に対する予測ベクトルを生成する。

なお、予測ベクトルを生成する際に利用する隣接ブロックは、図１６に示すブロックＡ，Ｂ，Ｃの位置のみに限定されるものではなく、その他の隣接ブロックを利用してもよい。図１９を参照しながら、その他の隣接ブロックを利用した予測ベクトルの生成方法の例を説明する。

その他の隣接ブロックを利用する例として、例えば、図１９（Ａ）に示す、隣接ブロックＡ，Ｂ，Ｃに対応するベクトルｍｖ＿ａ〜ｍｖ＿ｃだけでなく、隣接ブロックＤ，Ｅ，Ｆ，Ｇ，Ｈに対応するベクトルｍｖ＿ｄ〜ｍｖ＿ｈも、予測ベクトル生成に使用する候補に加えて予測ベクトルを生成してもよい。例えば、図１９（Ｂ）に示す奥行き画像４１０が符号化対象の視点画像に対応する奥行き画像であり、ブロック４１１が視点画像の符号化対象ブロックに対応する位置の場合、ブロック４１１の周辺で最も視差が近い領域は、隣接ブロックＡ，Ｂ，Ｃに相当するブロック４１２ａ，４１２ｂ，４１２ｃではなく、隣接ブロックＥに相当するブロック４１２ｅである。このような場合は、隣接ブロック４１２ａ〜４１２ｃの視差ベクトルではなく、隣接ブロック４１２ｅの視差ベクトルを利用する方が、符号化対象ブロックに関する予測ベクトル生成の精度（正確度）を高めることができる。或いは、隣接ブロック４１２ａ〜４１２ｃの視差ベクトルに加えて、隣接ブロック４１２ｅの視差ベクトルも予測ベクトル生成に使用する候補に含める方が、予測ベクトル生成の精度を高めることができる。さらに、例えば符号化対象ブロックと隣接ブロックＥ，Ｆ，Ｇ，Ｈに前景の被写体が含まれ、隣接ブロックＡ，Ｂ，Ｃ，Ｄが背景で占められるような画像の場合、隣接ブロックＥ，Ｆ，Ｇ，Ｈの視差の方が隣接ブロックＡ，Ｂ，Ｃ，Ｄの視差よりも符号化対象ブロックに近くなるため、予測ベクトル生成の際に隣接ブロックＥ，Ｆ，Ｇ，Ｈまで予測ベクトル生成に使用する候補に含める方が、予測ベクトル生成の精度を高められる。

隣接ブロックＡ〜Ｈを利用して予測ベクトルを生成する方法は、次の通りである。符号化対象ブロックのアドレスを（ｘ_０，ｙ_０）とすると、視差情報生成部１０４は、対応する奥行き画像において、ブロックアドレス（ｘ_０＋１，ｙ_０＋１）、すなわち図１９（Ａ）におけるブロックＨまで代表奥行き値の決定及び視差算出を行う。そして、動き／視差補償部３１３が、視差入力部３１６を介して、符号化対象ブロックの隣接ブロックＡ〜Ｈに対応する視差情報を入力した時点で、隣接ブロックＡ〜Ｈの視差情報（視差ベクトル）から、水平成分及び垂直成分それぞれの中央値を算出し、符号化対象ブロックの予測ベクトルとする。

また、他の方法として、隣接ブロックＡ〜Ｈの８つの隣接ブロック全てを利用するのではなく、その一部を利用して予測ベクトルを生成してもよい。例えば、上述のような、隣接ブロックとして利用する範囲を隣接ブロックＡ〜Ｃまでとする方法を基本の「モード０」とし、この基本モードに対して、図１９（Ａ）に示すような隣接ブロックＤ，Ｅ，Ｆ，Ｇ，Ｈを利用範囲として順次追加した「モード１」、「モード２」、「モード３」、「モード４」、「モード５」を定義し、このモードを選択するようにしてもよい。また、上記のようなモードではなく、８つの隣接ブロックのどれを利用するかを一つ又は複数決定してもよい。その場合は、例えば、視差情報生成部１０４によって決定されたブロック毎の代表奥行き値を保存しておき、これを動き／視差補償部３１３が参照して、符号化対象ブロックに対応する代表奥行き値に最も近い代表奥行き値を持つ隣接ブロックや、代表奥行き値が近い順に所定数（例えば３）の隣接ブロックを、予測ベクトル生成の際に利用する隣接ブロックとして決定してもよい。

なお、上述のような、予測ベクトルを生成する際（つまり視差ベクトルを予測する際）に利用するブロック範囲をどこまでにするかは、画像符号化／復号の規格として予め決まっている場合などには画像符号化装置１００側で予め決定しておいてもよいし、アプリケーションや、入力画像の解像度やフレームレート等の条件に応じて決定してもよいが、決定した結果は、視差ベクトル予測の際に利用する隣接ブロックの範囲を示す予測範囲指示情報として、符号化画像データと共に伝送する。予測範囲指示情報は、予測符号化情報の一部として伝送してもよい。予測範囲指示情報は、８つの隣接ブロックのうち、どの範囲まで利用するかを示す「モード０」、「モード１」、「モード２」、・・・で構成してもよいし、８つの隣接ブロックのうちのいずれ（単数又は複数）を利用するかを直接示す情報として構成してもよい。

以上のように、動き／視差補償部３１３は、符号化を行う視点画像に関し、視差情報に基づいて異なる視点画像（つまり現符号化対象ではない視点画像）に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、符号化対象画像（符号化対象ブロック）を符号化する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先（ブロック）は異なる視点画像にあるブロック（ブロックマッチングで特定されたブロック）になる。

本方式によれば、符号化対象画像に対応した奥行き画像を用いて視差情報を生成するため、全ての画像ブロックに対して視差情報を得ることができる。また、符号化対象画像と同じ時刻の奥行き画像から算出された視差情報であるため、前述の被写体の動きによる視差ベクトルの時間的な誤差も発生しない。従って、入力される奥行き画像の信頼度が十分高ければ、本方式によって予測ベクトルの精度を向上させることが可能である。また、本方式では、予測に利用できない隣接ブロックの視差ベクトルを置き換える方式であるため、ベクトルの置換えがなされた後は、従来と同じ枠組みで処理することが可能である。また、隣接ブロックの視差ベクトルの水平方向と垂直方向の中央値を用いることができるため、視差ベクトルの突発的な誤差要因（隣接ブロックＡ、隣接ブロックＢ、隣接ブロックＣの視差ベクトルの内、単独で発生する異常ベクトル）を排除することが可能である。

なお、予測ベクトルを生成する際には、前述のような方法の他に、以下の方法に従って決定してもよい。例えば、（ａ）前述の方式では置き換える必要のあるブロックに対応した視差情報を視差入力部３１６より入力して補正を行っているが、必ずしも対応する視差情報で置き換える必要はない。例えば、符号化対象ブロックの奥行き情報から算出された視差情報である視差ベクトルを用いてもよい。或いは（ｂ）上述の置換えによる方式ではなく、常に処理対象ブロックの奥行き情報から算出された視差情報である視差ベクトルを直接予測ベクトルとしてもよい。（ａ）による方式では、周辺ブロック位置より近い、符号化対象ブロックの視差情報を利用できるメリットがある。（ｂ）による方式は、視差入力部３１６から入力する視差情報から直接予測ベクトルを生成するため、上記突発的な誤差要因を抑えることはできなくなるが、前述のような周辺ブロックの視差ベクトルから中央値を算出する必要がなくなり、計算量を削減できるメリットがある。

また、上記予測ベクトルの生成方式を符号化と復号について予め固定にしてもよいし、或いはブロック単位で最適な方式を選択してもよい。ブロック単位で最適な方式を選択する方法では、符号化時に採用した方式をエントロピー符号化部３０５にて、上記他の符号化情報と共に連結し符号化し、復号時にはそれを参照して、予測ベクトルの生成方式を切り替える必要がある。

また、予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロック（予測方式が異なるブロックや他の理由により情報が得られないブロック）に対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、符号化対象ブロックにおける視差情報に基づく情報を用いることができる。
＜画像符号化装置１００のフローチャート＞
次に、本実施形態に係る画像符号化装置１００が行う画像符号化処理について説明する。図７は、画像符号化装置１００が行う画像符号化処理を示すフローチャートである。図１を参照しながら説明する。

まずステップＳ１０１において、画像符号化装置１００は、外部から視点画像とそれに対応する奥行き画像及び撮影条件情報を入力する。その後、ステップＳ１０２に進む。

ステップＳ１０２において、奥行き画像符号化部１０３は、外部より入力した奥行き画像を符号化する。奥行き画像符号化部１０３は、奥行き画像の符号化データを図示しない符号構成部に出力する。同時に奥行き画像符号化部１０３は、奥行き画像の符号化データを復号し、その結果を視差情報生成部１０４に出力する。その後、ステップＳ１０３に進む。

ステップＳ１０３において、視差情報生成部１０４は、外部より入力される撮影条件情報と奥行き画像符号化部１０３より入力される符号化・復号した奥行き画像情報に基づいて視差情報を生成する。視差情報生成部１０４は、生成した視差情報を画像符号化部１０６に出力する。その後、ステップＳ１０４に進む。

ステップＳ１０４において、画像符号化部１０６は、外部より入力される視点画像と視差情報生成部１０４より入力される視差情報に基づいて画像の符号化を行う。画像符号化部１０６は、同時に前述の予測符号化情報及び量子化係数も含めて符号化する。画像符号化部１０６は、画像の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０５に進む。

ステップＳ１０５において、撮影条件情報符号化部１０１は、外部より撮影条件情報を入力し、符号化する。撮影条件情報符号化部１０１は、撮影条件情報の符号化データを図示しない符号構成部に出力する。その後、ステップＳ１０６に進む。

ステップＳ１０６において、図示しない符号構成部は、画像符号化部１０６より画像に関する符号化データ、奥行き画像符号化部１０３より奥行き画像の符号化データ、及び撮影条件情報符号化部１０１より撮影条件情報の符号化データを入力し、符号化データの連結・並べ替えを行い、符号化ストリームとして画像符号化装置１００の外部へ出力する。

上記ステップＳ１０３で実施される視差情報生成とステップＳ１０４で実施される視点画像の符号化について、より詳しく説明する。

まずは、ステップＳ１０３の視差情報生成について、図８及び図２を用いて説明する。

ステップＳ２０１において、視差情報生成部１０４は、画像符号化装置１００の外部より奥行き画像と撮影条件情報を入力する。視差情報生成部１０４は、その内部にあるブロック分割部２０１に奥行き画像を入力し、距離情報抽出部２０４に撮影条件情報を入力する。その後、ステップＳ２０２に進む。

ステップＳ２０２において、ブロック分割部２０１は、奥行き画像を入力し、所定のブロックサイズに奥行き画像を分割する。ブロック分割部２０１は、分割した奥行き画像ブロックを代表奥行き値決定部２０２に出力する。その後、ステップＳ２０３に進む。

ステップＳ２０３において、代表奥行き値決定部２０２は、ブロック分割部２０１より分割された奥行き画像を入力し、前述の奥行き値の代表値を算出する方法に従って代表奥行き値を決定する。代表奥行き値決定部２０２は、算出した代表奥行き値を視差算出部２０３に出力する。その後、ステップＳ２０４に進む。

ステップＳ２０４において、距離情報抽出部２０４は、撮影条件情報を入力し、撮影条件情報の中からカメラ間距離と撮影距離に相当する情報を抽出し、視差算出部２０３へ出力する。その後、ステップＳ２０５に進む。

ステップＳ２０５において、視差算出部２０３は、代表奥行き値決定部２０２より代表奥行き値と距離情報抽出部２０４より視差情報を算出するために必要な撮影条件情報を入力し、上述の視差算出方法に従って視差情報、すなわち視差ベクトルを算出する。視差算出部２０３は、算出した視差情報、すなわち視差ベクトルを視差情報生成部１０４の外部に出力する。

続いて、ステップＳ１０４の視点画像の符号化について、図９及び図３を用いて説明する。

まずステップＳ３０１において、画像符号化部１０６は、外部から視点画像とそれに対応する視差情報を入力する。その後、ステップＳ３０２に進む。

ステップＳ３０２において、画像入力部３０１は、画像符号化部１０６の外部から入力された視点画像である入力画像信号を予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）のブロックに分割して、減算部３０２と画面内予測部３１７及び画面間予測部３１８に出力する。また、視差入力部３１６は、画像入力部３０１に入力された視点画像と同期された視差情報、すなわち視差ベクトルを、画像入力部３０１で実施された画像の分割と同様に分割して、画面間予測部３１８に出力する。

画像符号化部１０６は、ステップＳ３０２〜ステップＳ３１０の処理をフレーム内の画像ブロック毎に繰り返す。次に、ステップＳ３０３とステップＳ３０４に進む。

ステップＳ３０３において、画面内予測部３１７は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号を入力し、画面内予測を実施する。画面内予測部３１７は、生成した画面内予測画像ブロック信号を予測方式制御部３０９と選択部３１０に、画面内予測符号化情報を予測方式制御部３０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック）を入力するものとする。画面内予測部の処理が完了すると、ステップＳ３０５に進む。

ステップＳ３０４において、画面間予測部３１８は、画像入力部３０１から視点画像の画像ブロック信号と加算部３０８より復号（内部デコード）された参照画像ブロック信号及び視差入力部３１６より視差情報を入力し、画面間予測を実施する。画面間予測部３１８は、生成した画面間予測画像ブロック信号を予測方式制御部３０９と選択部３１０に、画面間予測符号化情報を予測方式制御部３０９に出力する。なお、最初の処理において、加算部３０８の処理が完了していない場合には、リセットされた画像ブロック（全ての画素値が０の画像ブロック信号）を入力するものとする。画面間予測部３１８の処理が完了すると、ステップＳ３０５に進む。

ステップＳ３０５において、予測方式制御部３０９は、画面内予測部３１７より画面内予測画像ブロック信号と画面内予測符号化情報、及び画面間予測部３１８より画面間予測画像ブロック信号と画面間予測符号化情報を受取り、前述のラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部３０９は、選択した予測モードの情報を選択部３１０に出力する。予測方式制御部３０９は、選択した予測モードに対応する予測符号化情報に選択した予測モードを識別するための情報を付加して、エントロピー符号化部３０５に出力する。

選択部３１０は、予測方式制御部３０９から入力される予測モード情報に従って、画面内予測部から入力される画面内予測画像ブロック信号、或いは画面間予測部から入力される画面間予測画像ブロック信号を選択して、減算部３０２と加算部３０８に出力する。その後、ステップＳ３０６に進む。

ステップＳ３０６において、減算部３０２は、画像入力部３０１から入力される画像ブロック信号から選択部３１０から入力される予測画像ブロック信号を減算し、差分画像ブロック信号を生成する。減算部３０２は、差分画像ブロック信号を直交変換部３０３に出力する。その後、ステップＳ３０７に進む。

ステップＳ３０７において、直交変換部３０３は、減算部３０２から差分画像ブロック信号を入力し、上述の直交変換を実施する。直交変換部３０３は、直交変換後の信号を量子化部３０４に出力する。量子化部３０４は、直交変換部３０３から入力された信号を、上述の量子化処理を実施し、差分画像符号を生成する。量子化部３０４は、差分画像符号及び量子化係数を、エントロピー符号化部３０５と逆量子化部３０６に出力する。

エントロピー符号化部３０５は、量子化部３０４から入力される差分画像符号と量子化係数及び予測方式制御部３０９から入力される予測符号化情報をパッキング（ｐａｃｋｉｎｇ；詰込）し、可変長符号化（エントロピー符号化）を行い、情報量がより圧縮された符号化データを生成する。エントロピー符号化部３０５は、符号化データを画像符号化装置１００の外部に（例えば、図１１の画像復号装置７００）に出力する。その後、ステップＳ３０８に進む。

ステップＳ３０８において、逆量子化部３０６は、量子化部３０４から差分画像符号を入力し、量子化部３０４で実施した量子化の逆の処理を行う。逆量子化部３０６は、生成された信号を逆直交変換部３０７に出力する。逆直交変換部３０７は、逆量子化部３０６から逆量子化された信号を入力し、直交変換部３０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部３０７は、復号された差分画像ブロック信号を加算部３０８に出力する。その後、ステップＳ３０９に進む。

ステップＳ３０９において、加算部３０８は、逆直交変換部３０７から入力される復号された差分画像ブロック信号に、選択部３１０から入力される予測画像ブロック信号を加算して、入力画像を復号する（参照画像ブロック信号）。加算部３０８は、参照画像ブロック信号を、画面内予測部３１７と画面間予測部３１８に出力する。その後、ステップＳ３１０に進む。

ステップＳ３１０において、画像符号化部１０６が、フレーム内の全ブロック及び全視点画像についてステップＳ３０２〜Ｓ３１０の処理が完了していない場合、処理対象となるブロックを変更してステップＳ３０２に戻る。

全ての処理が完了している場合、終了する。

上述のステップＳ３０３で実施される画面内予測の処理フローは、従来方式であるＨ．２６４或いはＭＶＣの画面内予測の処理ステップと同じでよい。

上述のステップＳ３０４で実施される画面間予測の処理フローについて、図１０及び図３を用いて説明する。

まずステップＳ４０１において、デブロッキング・フィルタ部３１１は、画面間予測部３１８の外部である加算部３０８から参照画像ブロック信号を入力し、前述のＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部３１１は、フィルタ処理後の補正ブロック信号をフレームメモリ３１２に出力する。その後、ステップＳ４０２に進む。

ステップＳ４０２において、フレームメモリ３１２は、デブロッキング・フィルタ部３１１の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップＳ４０３に進む。

ステップＳ４０３において、動き／視差ベクトル検出部３１４は、画像入力部３０１から画像ブロック信号を受取ると、該画像ブロックに類似するブロックを、フレームメモリ３１２に蓄積された参照画像より探し出し（ブロックマッチング）、探し出したブロックを表すベクトル情報（動きベクトル／視差ベクトル）を生成する。動き／視差ベクトル検出部３１４は、検出したベクトル情報を含めた符号化のために必要な情報（参照視点画像番号、参照フレーム番号）を動き／視差補償部３１３に出力する。その後、ステップＳ４０４に進む。

ステップＳ４０４において、動き／視差補償部３１３は、動き／視差ベクトル検出部３１４から符号化のために必要な情報を入力し、該当する予測ブロックをフレームメモリ３１２より抽出する。動き／視差補償部３１３は、フレームメモリ３１２より抽出した予測画像ブロック信号を画面間予測画像ブロック信号として予測方式制御部３０９と選択部３１０に出力する。同時に、動き／視差補償部３１３は、符号化対象ブロックの隣接ブロックのベクトル情報と視差入力部３１６より入力する視差情報である視差ベクトルに基づいて生成した予測ベクトルと動き／視差ベクトル検出部３１４より入力した動き／視差ベクトルとの差分ベクトルを算出する。動き／視差補償部３１３は、算出した差分ベクトル及び予測に必要な情報（参照視点画像番号及び参照フレーム番号）を予測方式制御部３０９に出力する。その後、画面間予測を終了する。

このように、本実施形態によれば、画像符号化装置１００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによる視差補償予測を行うことができる。従って、本実施形態によれば、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、符号化効率を高めることができる。
（実施形態２）＜復号装置＞
図１１は、本発明の一実施形態である画像復号装置の構成例を示す機能ブロック図である。

画像復号装置７００は、撮影条件情報復号部７０１、奥行き画像復号部７０３、視差情報生成部７０４、及び画像復号部７０６を含んで構成される。なお、画像復号部７０６の内部に記載したブロックは、画像復号部７０６の動作を概念的に説明するために利用する。

以下、画像復号装置７００の機能及び動作について説明する。

画像復号装置７００の入力データは、画像復号装置７００の外部（例えば前述の画像符号化装置１００）より伝送された符号化ストリームを入力し、図示しない符号分離部によって分離・抽出された基準視点画像符号、非基準視点画像符号、奥行き画像符号、撮影条件情報符号として与えられる。

基準視点復号処理部７０２は、視点内予測符号化に従う方式により圧縮符号化された符号化データを復号し、基準視点の視点画像を復元する。復元した視点画像は、そのまま表示に使用されると共に、後述する非基準視点の視点画像の復号にも使用される。

奥行き画像復号部７０３は、従来方式であるＨ．２６４方式或いはＭＶＣ方式により圧縮符号化された符号化データを復号し、奥行き画像を復元する。復元した奥行き画像は、前述の復元された視点画像以外の視点の画像を生成・表示するために使用される。以下の説明では、奥行き画像復号部７０２を画像復号装置７００に具備した例を挙げているが、画像符号化装置１００側で生データを送信する場合も想定でき、そのような構成の場合、画像復号装置７００はその生データを受信できればよい。よって、画像復号装置７００に奥行き画像復号部７０３を設けない構成を採用することもできる。

撮影条件情報復号部７０１は、撮影条件情報の符号化データから、撮影時のカメラ間距離と撮影距離を含む情報を復元する。復元した撮影条件情報は、奥行き画像と共に、必要な視点画像を生成・表示するために使用される。視差情報生成部７０４は、復元された奥行き画像及び撮影条件情報に基づいて、復号する視点画像とそれとは異なる視点画像との間の視差情報を生成する。視差情報生成の方法・手順は、前述の画像符号化装置１００における視差情報生成部１０４の処理と同様である。

非基準視点復号処理部７０５は、視点間予測符号化に従う方式により圧縮符号化された符号化データを、復元された基準視点画像と、上記視差情報とに基づいて復号し、非基準視点の視点画像を復元する。最終的に、基準視点画像、非基準視点画像は、そのまま表示用画像として使用され、また、必要に応じて、奥行き画像と撮影条件情報とに基づいて、その他の視点の画像、例えば各視点間の間の画像が表示用に生成される。視点画像の生成処理については、当画像復号装置内で行ってもよいし装置外部で行ってもよい。

また、ここでは、画像符号化装置１００側で基準視点の視点画像を視点内予測符号化方式で符号化し且つ非基準視点の視点画像を視点間予測符号化方式で符号化する例を挙げているため、画像復号装置７００でもそれに合わせた方式で復号する例を挙げている。但し、画像符号化装置１００側で、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化する場合、画像復号装置７００側でも双方の視点画像を視点間予測復号方式で復号すればよい。なお、画像符号化装置１００側で符号化効率に基づいて予測符号化方式を切り替える場合には、画像復号装置７００では予測符号化方式を示す情報（予測符号化情報）を画像符号化装置１００から受信して予測復号方式を切り替えるが、その切り替えは復号対象画像が基準視点の視点画像であるか非基準視点の視点画像であるかに依らず、予測符号化情報に基づき実行すれば済む。

続いて、画像復号部７０６について図１２を用いて説明する。

図１２は、画像復号部７０６の機能構成を示す概略ブロック図である。

画像復号部７０６は、符号化データ入力部８１３、エントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、フレームメモリ８０８、動き／視差補償部８０９、イントラ予測部８１０、画像出力部８１２及び視差入力部８１４を含んで構成される。なお、説明のために、画面内予測部８１６と画面間予測部８１５を点線で図示し、画面内予測部８１６はイントラ予測部８１０を含み、画面間予測部８１５はデブロッキング・フィルタ部８０７、フレームメモリ８０８及び動き／視差補償部８０９を含むものとする。

図１１において画像復号部７０６の動作を説明した際には、基準視点の復号とそれ以外の非基準視点の復号を明示的に分けて、基準視点復号処理部７０２の処理と非基準視点復号処理部７０５の処理としたが、実際にはお互いに共通する処理が多いため、以下では基準視点復号処理と非基準視点復号処理を統合した形態について説明を行う。具体的には、前述の基準視点復号処理部７０２で行う視点内予測復号方式は、図１２の画面内予測部８１６で実施される処理と画面間予測部８１５で実施される処理の一部である同一視点の画像を参照する処理（動き補償）を組み合わせたものである。また、非基準視点復号処理部７０５で行う視点間予測符号化方式は、画面内予測部８１６で実施される処理と画面間予測部８１５で実施される同一視点の画像を参照する処理（動き補償）及び異なる視点の画像を参照する処理（視差補償）を組み合わせたものである。さらに、画面間予測部８１５で実施される処理対象視点と同一視点の画像を参照する処理（動き補償）と異なる視点を参照する処理（視差補償）についても、復号時に参照する画像が異なるだけで、参照画像を指し示すＩＤ情報（参照視点番号、参照フレーム番号）を用いることで処理を共通化することが可能である。また、画像符号化データを復号した残差成分と各予測部で予測した画像を加算して画像を復元処理する処理も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。

符号化データ入力部８１３は、外部（例えば、画像符号化装置１００）から入力された画像符号化データを、処理ブロック単位（例えば１６画素×１６画素）に分割して、エントロピー復号部８０１に出力する。符号化データ入力部８１３は、ブロック位置を順次変えながら、フレーム内のすべてのブロックが完了し、そして入力される符号データが終了するまで繰り返して出力する。

エントロピー復号部８０１は、符号化データ入力部８１３から入力された符号化データを、エントロピー符号化部３０５が行った符号化方法（例えば、可変長符号化）と逆の処理（例えば、可変長復号）であるエントロピー復号して、差分画像符号と量子化係数及び予測符号化情報を抽出する。エントロピー復号部８０１は、差分画像符号と量子化係数を逆量子化部８０２に、予測符号化情報を予測方式制御部８０５に出力する。

逆量子化部８０２は、エントロピー復号部８０１から入力された差分画像符号を、量子化係数を用いて逆量子化して復号周波数領域信号を生成し、逆直交変換部８０３に出力する。

逆直交変換部８０３は、入力された復号周波数領域信号を、例えば逆ＤＣＴ変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部８０３は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆ＤＣＴ変換に限らず、他の方法（例えば、ＩＦＦＴ（高速フーリエ逆変換；Inverse Fast Fourier Transform））を用いてもよい。逆直交変換部８０３は、生成した復号差分画像ブロック信号を加算部８０４に出力する。

予測方式制御部８０５は、エントロピー復号部８０１から入力される予測符号化情報の中から、画像符号化装置１００で採用されたブロック単位の予測方式を取り出す。予測方式は、画面内予測或いは画面間予測である。予測方式制御部８０５は、抽出した予測方式に関する情報を選択部８０６に出力する。また、予測方式制御部８０５は、エントロピー復号部８０１から入力される予測符号化情報の中から符号化情報を取り出し、抽出した予測方式に対応する処理部に符号化情報を出力する。予測方式制御部８０５は、予測方式が画面内予測である場合には、画面内予測部８１６に画面内予測符号化情報として符号化情報を出力する。予測方式制御部８０５は、予測方式が画面間予測である場合には、画面間予測部８１５に画面間予測符号化情報として符号化情報を出力する。

選択部８０６は、予測方式制御部８０５から入力された予測方式に従って、画面内予測部８１６から入力される画面内予測画像ブロック信号、或いは画面間予測部８１５から入力される画面間予測画像ブロック信号を選択する。予測方式が、画面内予測の場合には、画面内予測画像ブロック信号を選択する。予測方式が、画面間予測の場合には、画面間予測画像ブロック信号を選択する。選択部８０６は、選択した予測画像ブロック信号を、加算部８０４に出力する。

加算部８０４は、逆直交変換部８０３から入力した復号差分画像ブロック信号に選択部８０６から入力した予測画像ブロック信号を加算し、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を、画面内予測部８１６と画面間予測部８１５、及び画像出力部８１２に出力する。

画像出力部８１２は、加算部８０４から復号画像ブロック信号を入力し、図示しないフレームメモリに画像の一部として一旦保持する。画像出力部８１２は、表示順にフレームの並び替えを行った後、全ての視点画像が揃った時に、画像復号装置７００の外部に出力する。

続いて、画面内予測部８１６と画面間予測部８１５について説明する。

まず、画面内予測部８１６について説明する。

画面内予測部８１６内のイントラ予測部８１０は、加算部８０４より復号画像ブロック信号と予測方式制御部８０５より画面内予測符号化情報を入力する。イントラ予測部８１０は、画面内予測符号化情報より、符号化時に実施した画面内予測を再現する。なお、画面内予測は上述の従来方式に従って実施できる。イントラ予測部８１０は、生成した予測画像を画面内予測画像ブロック信号として、選択部８０６に出力する。

続いて、画面間予測部８１５の詳細について説明する。

デブロッキング・フィルタ部８０７は、加算部８０４から入力される復号画像ブロック信号に対して、デブロッキング・フィルタ部３１１で行うＦＩＲフィルタと同じ処理を行い、その処理結果（補正ブロック信号）をフレームメモリ８０８に出力する。

フレームメモリ８０８は、デブロッキング・フィルタ部８０７から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ８０８は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のＭＶＣの画像管理方法を利用することもできる。

動き／視差補償部８０９は、予測方式制御部８０５より画面間予測符号化情報を入力し、その中から参照画像情報（参照視点画像番号と参照フレーム番号）と差分ベクトル（動き／視差ベクトルと予測ベクトルの差分ベクトル）を取り出す。動き／視差補償部８０９は、視差入力部８１４から入力した視差情報である視差ベクトルを用いて、前述の動き／視差補償部３１３で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。すなわち、動き／視差補償部８０９は、復号を行う視点画像に関し、視差情報に基づいて異なる視点画像（つまり現復号対象ではない視点画像）に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、復号対象画像（復号対象ブロック）を復号する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先（ブロック）は異なる視点画像にあるブロック（ブロックマッチングで特定されたブロック）になる。

動き／視差補償部８０９は、算出した予測ベクトルに差分ベクトルを加算して、動き／視差ベクトルを再現する。動き／視差補償部８０９は、参照画像情報と動き／視差ベクトルに基づいて、フレームメモリ８０８に蓄積されている画像の中から対象の画像ブロック信号（予測画像ブロック信号）を抽出する。動き／視差補償部８０９は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部８０６に出力する。

また、動き／視差補償部８０９における予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、復号対象ブロックにおける視差情報に基づく情報を用いることができる。

また、予測ベクトルの生成において、隣接する周辺ブロックのどの視差情報を使うか（つまり予測ベクトルの生成に使用するブロック範囲がどの範囲であるか）は、別に画像符号化装置１００側から伝送される予測範囲指示情報を参照し、その指示に従ってベクトルの予測に利用する隣接ブロックを決定してもよい。予測範囲指示情報は、予測符号化情報に含めておき、符号化データ入力部８１３で入力してエントロピー復号部８０１で復号して抽出してもよい。また、画像符号化／復号の規格として予めブロック範囲が決まっている場合には、画像復号装置７００側でもそれに合わせて予めブロック範囲を決めておけばよい。
＜画像復号装置７００のフローチャート＞
次に、本実施形態に係る画像復号装置７００が行う画像復号処理について説明する。図１３は、画像復号装置７００が行う画像復号処理を示すフローチャートである。図１１を参照しながら説明する。

まずステップＳ５０１において、画像復号装置７００は、外部（例えば、画像符号化装置１００）から符号化ストリームを入力し、図示しない符号分離部によって画像符号化データとそれに対応する奥行き画像符号化データ及び撮影条件情報符号化データを分離・抽出する。その後、ステップＳ５０２に進む。

ステップＳ５０２において、奥行き画像復号部７０３は、ステップＳ５０１で分離・抽出された奥行き画像符号化データを復号し、結果を視差情報生成部７０４及び画像復号装置７００の外部に出力する。その後、ステップＳ５０３に進む。

ステップＳ５０３において、撮影条件情報復号部７０１は、ステップＳ５０１で分離・抽出された撮影条件情報符号化データを復号し、結果を視差情報生成部７０４及び画像復号装置７００の外部に出力する。その後、ステップＳ５０４に進む。

ステップＳ５０４において、視差情報生成部７０４は、撮影条件情報復号部７０１より復号された撮影条件情報と奥行き画像復号部７０３より復号された奥行き画像を入力し、視差情報を生成する。視差情報生成部７０４は、結果を画像復号部７０６に出力する。その後、ステップＳ５０５に進む。

ステップＳ５０５において、画像復号部７０６は、ステップＳ５０１で分離・抽出された画像符号化データと視差情報生成部７０４から視差情報を入力し、画像を復号する。画像復号部７０６は、結果を画像復号装置７００の外部に出力する。

上記ステップＳ５０４で実施される視差情報生成処理は、前述のＳ１０３すなわちＳ２０１〜Ｓ２０５の処理と同じである。

続いて、ステップＳ５０５で実施される視点画像の復号について、図１４及び図１２を用いて説明する。

まずステップＳ６０１において、画像復号部７０６は、外部から画像符号化データと対応する視差情報を入力する。その後、ステップＳ６０２に進む。

ステップＳ６０２において、符号化データ入力部８１３は、画像復号部７０６の外部から入力された符号化データを予め定めた大きさ（例えば、垂直方向１６画素×水平方向１６画素）に対応する処理ブロックに分割して、エントロピー復号部８０１に出力する。また、視差入力部８１４は、符号化データ入力部８１３に入力された符号化データと同期した視差情報を画像復号部７０６の外部である視差情報生成部７０４から入力し、符号化データ入力部８１３と同様の処理単位に分割して、画面間予測部８１５に出力する。

画像復号部７０６は、ステップＳ６０２〜ステップＳ６０８の処理をフレーム内の画像ブロック毎に繰り返す。

ステップＳ６０３において、エントロピー復号部８０１は、符号化データ入力部から入力された画像符号化データをエントロピー復号し、差分画像符号と量子化係数、及び予測符号化情報を生成する。エントロピー復号部８０１は、差分画像符号と量子化係数を、逆量子化部８０２に出力し、予測符号化情報を予測方式制御部８０５に出力する。予測方式制御部８０５は、エントロピー復号部８０１から予測符号化情報を入力し、予測方式に関する情報とその予測方式に対応する符号化情報を取り出す。予測方式が、画面内予測の場合には、符号化情報を画面内予測符号化情報として画面内予測部８１６に出力する。予測方式が、画面間予測の場合には、符号化情報を画面間予測符号化情報として画面間予測部８１５に出力する。その後、ステップＳ６０４とステップＳ６０５に進む。

ステップＳ６０４において、画面内予測部８１６内のイントラ予測部８１０は、予測方式制御部８０５から入力される画面内予測符号化情報と加算部８０４から入力される復号画像ブロック信号を入力して、画面内予測処理を実施する。イントラ予測部８１０は、生成された画面内予測画像ブロック信号を選択部８０６に出力する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ６０６に進む。

ステップＳ６０５において、画面間予測部８１５は、予測方式制御部８０５から入力される画面間予測符号化情報と、加算部８０４から入力される復号画像ブロック信号、及び視差入力部８１４から入力される視差情報（すなわち視差ベクトル）に基づいて、画面間予測を実施する。画面間予測部８１５は、生成された画面間予測画像ブロック信号を選択部８０６に出力する。画面間予測の処理については後述する。なお、最初の処理において、加算部８０４の処理が完了していない場合には、リセットされた画像ブロック信号（全ての画素値が０の画像ブロック信号）を入力するものとする。その後、ステップＳ６０６に進む。

ステップＳ６０６において、選択部８０６は、予測方式制御部８０５から出力された予測方式に関する情報を入力し、画面内予測部８１６から入力された画面内予測画像ブロック信号若しくは、画面間予測部８１５から入力された画面間予測画像信号を選択して、加算部８０４に出力する。その後、ステップＳ６０７に進む。

ステップＳ６０７において、逆量子化部８０２は、エントロピー復号部８０１から入力した差分画像符号を、画像符号化部１０６の量子化部３０４で実施した量子化の逆の処理を行う。逆量子化部８０２は、生成された復号周波数領域信号を逆直交変換部８０３に出力する。逆直交変換部８０３は、逆量子化部８０２から逆量子化された復号周波数領域信号を入力し、画像符号化部１０６の直交変換部３０３で実施した直交変換処理の逆直交変換処理を実施し、差分画像（復号差分画像ブロック信号）を復号する。逆直交変換部８０３は、復号された復号差分画像ブロック信号を加算部８０４に出力する。加算部８０４は、逆直交変換部８０３から入力される復号差分画像ブロック信号に選択部８０６から入力される予測画像ブロック信号を加算して、復号画像ブロック信号を生成する。加算部８０４は、復号した復号画像ブロック信号を画像出力部８１２と画面内予測部８１６及び画面間予測部８１５に出力する。その後、ステップＳ６０８に進む。

ステップＳ６０８において、画像出力部８１２は、加算部８０４から入力される復号画像ブロック信号を、画像内の対応する位置に配置させ出力画像生成する。フレーム内の全ブロックについてステップＳ６０２〜Ｓ６０８の処理が完了していない場合、処理対象となるブロックを変更してステップＳ６０２に戻る。

画像出力部８１２は、画像を表示順に並び替えを行い、同一フレームの視点画像を揃えて画像復号装置７００の外部に出力する。

画面間予測部８１５の処理フローについては、図１５及び図１２を用いて説明する。

まずステップＳ７０１において、デブロッキング・フィルタ部８０７は、画面間予測部８１５の外部である加算部８０４から復号画像ブロック信号を入力し、上記符号化時に行ったＦＩＲフィルタ処理を実施する。デブロッキング・フィルタ部８０７は、フィルタ処理後の補正ブロック信号をフレームメモリ８０８に出力する。その後、ステップＳ７０２に進む。

ステップＳ７０２において、フレームメモリ８０８は、デブロッキング・フィルタ部８０７の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップＳ７０３に進む。

ステップＳ７０３において、動き／視差補償部８０９は、予測方式制御部８０５から画面間予測符号化情報を入力し、その中から参照画像情報（参照視点画像番号とフレーム番号）と差分ベクトル（動き／視差ベクトルと予測ベクトルとの差分ベクトル）を取り出す。動き／視差補償部８０９は、視差入力部８１４から入力した視差情報である視差ベクトルを用いて、前述の動き／視差補償部３１３で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。動き／視差補償部８０９は、算出した予測ベクトルに差分ベクトルを加算して、動き／視差ベクトルを生成する。動き／視差補償部８０９は、参照画像情報と動き／視差ベクトルに基づいて、フレームメモリ８０８に蓄積されている画像の中から対象の画像ブロック信号（予測画像ブロック信号）を抽出する。動き／視差補償部８０９は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部８０６に出力する。その後、画面間予測処理を終了する。

このように、本実施形態によれば、画像復号装置７００は、奥行き画像から算出される視差情報（すなわち視差ベクトル）に基づいた予測ベクトルによる視差補償予測を行うことができる。つまり、本実施形態によれば、図１の画像符号化装置１００のようにして予測ベクトルの精度を向上させ符号化効率を高めて符号化されたデータを復号することができる。
（実施形態３）＜ソフトウェア、方法＞
上述した実施形態における画像符号化装置１００、画像復号装置７００の一部、例えば、奥行き画像符号化部１０３の一部、視差情報生成部１０４、撮影条件情報符号化部１０１と画像符号化部１０６内の減算部３０２、直交変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算部３０８、予測方式制御部３０９、選択部３１０、デブロッキング・フィルタ部３１１、動き／視差補償部３１３、動き／視差ベクトル検出部３１４並びにイントラ予測部３１５、及び奥行き画像復号部７０３の一部、視差情報生成部７０４、撮影条件情報復号部７０１と画像復号部７０６内のエントロピー復号部８０１、逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測方式制御部８０５、選択部８０６、デブロッキング・フィルタ部８０７、動き／視差補償部８０９、並びにイントラ予測部８１０をコンピュータで実現するようにしてもよい。

その場合、この制御機能を実現するためのプログラム（画像符号化プログラム及び／又は画像復号プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１００又は画像復号装置７００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、このプログラムは、可搬の記録媒体やネットワークを介して流通させるに限らず、放送波を介して流通させることもできる。

この画像符号化プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラムである。その他の応用例については、画像符号化装置について説明した通りである。

また、上述の画像復号プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラムである。その他の応用例については、画像復号装置について説明した通りである。この画像復号プログラムは、多視点画像の再生ソフトウェアの一部として実装することができる。

また、上述した実施形態における画像符号化装置１００及び画像復号装置７００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置１００及び画像復号装置７００の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

また、本発明は、画像符号化装置、画像復号装置における制御の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの各ステップの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。

この画像符号化方法は、異なる視点から撮影した複数の視点画像を符号化する方法であって、撮影条件情報符号化部が、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有するものとする。その他の応用例については、画像符号化装置について説明した通りである。

また、上述の画像復号方法は、異なる視点から撮影した複数の視点画像を復号する方法であって、撮影条件情報復号部が、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも１つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有するものとする。その他の応用例については、画像復号装置について説明した通りである。

１００…画像符号化装置、１０１…撮影条件情報符号化部、１０２…基準視点符号化処理部、１０３…画像符号化部、１０４…視差情報生成部、１０５…非基準視点符号化処理部、１０６…画像符号化部、２０１…ブロック分割部、２０２…代表奥行き値決定部、２０３…視差算出部、２０４…距離情報抽出部、３０１…画像入力部、３０２…減算部、３０３…直交変換部、３０４…量子化部、３０５…エントロピー符号化部、３０６…逆量子化部、３０７…逆直交変換部、３０８…加算部、３０９…予測方式制御部、３１０…選択部、３１１…デブロッキング・フィルタ部、３１２…フレームメモリ、３１３…動き／視差補償部、３１４…動き／視差ベクトル検出部、３１５…イントラ予測部、３１６…視差入力部、３１７…画面内予測部、３１８…画面間予測部、７００…画像復号装置、７０１…撮影条件情報復号部、７０２…基準視点復号処理部、７０３…画像復号部、７０４…視差情報生成部、７０５…非基準視点復号処理部、７０６…画像復号部、８０１…エントロピー復号部、８０２…逆量子化部、８０３…逆直交変換部、８０３…逆直交変換部、８０４…加算部、８０５…予測方式制御部、８０６…選択部、８０７…デブロッキング・フィルタ部、８０８…フレームメモリ、８０９…動き／視差補償部、８１０…イントラ予測部、８１２…画像出力部、８１３…符号化データ入力部、８１４…視差入力部、８１５…画面間予測部、８１６…画面内予測部。

Claims (4)

1. 異なる視点から撮影した複数の視点画像を符号化する画像符号化方法であって、
   前記複数の視点画像の視差情報を算出するためのパラメータに対応する情報を符号化するステップと、
   前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像を復号するステップと、
   前記奥行き画像と前記情報に基づいて視差情報を生成するステップと、
   符号化を行う視点画像に関して、異なる視点画像に対する符号化対象ブロックの予測ベクトルを、該符号化対象ブロックに隣接する周辺ブロックの視差ベクトルに基づいて生成し、該符号化対象ブロックの予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップと、を備え、
   前記周辺ブロックにおいて、前記符号化対象ブロックの予測ベクトル生成に必要な情報が得られない周辺ブロックは、該周辺ブロックの視差情報に基づいて該周辺ブロックの視差ベクトルが決定されることを特徴とする画像符号化方法。
2. コンピュータに、異なる視点から撮影した複数の視点画像を符号化させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記プログラムは、前記コンピュータに対して、
   前記複数の視点画像の視差情報を算出するためのパラメータに対応する情報を符号化するステップと、
   前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像を復号するステップと、
   前記奥行き画像と前記情報に基づいて視差情報を生成するステップと、
   符号化を行う視点画像に関して、異なる視点画像に対する符号化対象ブロックの予測ベクトルを、該符号化対象ブロックに隣接する周辺ブロックの視差ベクトルに基づいて生成し、該符号化対象ブロックの予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップと、を実行させ、
   前記周辺ブロックにおいて、前記符号化対象ブロックの予測ベクトル生成に必要な情報が得られない周辺ブロックに対して、該周辺ブロックの視差情報に基づいて該周辺ブロックの視差ベクトルを決定させることを特徴とする、前記プログラムを記録したコンピュータ読み取り可能な記録媒体。
3. 異なる視点から撮影した複数の視点画像を復号する画像復号方法であって、
   前記複数の視点画像の視差情報を算出するためのパラメータに対応する情報を復号するステップと、
   前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像を復号するステップと、
   前記奥行き画像と前記情報に基づいて視差情報を生成するステップと、
   復号する視点画像に関して、復号対象ブロックの予測ベクトルを、該復号対象ブロックに隣接する周辺ブロックの視差ベクトルに基づいて生成し、該復号対象ブロックの予測ベクトルを用いて異なる視点画像から視点間予測復号方式によって復号を行うステップと、を備え、
   前記周辺ブロックにおいて、前記復号対象ブロックの予測ベクトル生成に必要な情報が得られない周辺ブロックは、該周辺ブロックの視差情報に基づいて該周辺ブロックの視差ベクトルが決定されることを特徴とする画像復号方法。
4. コンピュータに、異なる視点から撮影した複数の視点画像を復号させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記プログラムは、前記コンピュータに対して、
   前記複数の視点画像の視差情報を算出するためのパラメータに対応する情報を復号するステップと、
   前記複数の視点画像に対応する少なくとも１つ以上の奥行き画像を復号するステップと、
   前記奥行き画像と前記情報に基づいて視差情報を生成するステップと、
   復号する視点画像に関して、復号対象ブロックの予測ベクトルを、該復号対象ブロックに隣接する周辺ブロックの視差ベクトルに基づいて生成し、該復号対象ブロックの予測ベクトルを用いて異なる視点画像から視点間予測復号方式によって復号を行うステップと、を実行させ、
   前記周辺ブロックにおいて、前記復号対象ブロックの予測ベクトル生成に必要な情報が得られない周辺ブロックに対して、該周辺ブロックの視差情報に基づいて該周辺ブロックの視差ベクトルを決定させることを特徴とする、前記プログラムを記録したコンピュータ読み取り可能な記録媒体。