JPWO2012111757A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本技術は、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにする画像処理装置および画像処理方法に関する。解像度部分変換部は、補助画像の視差画像を低解像度化する。部分変換情報生成部は、部分変換情報を生成する。解像度部分変換部により低解像度化された視差画像と、部分変換情報生成部により生成された部分変換情報は、復号装置に伝送される。本技術は、例えば、メガネ無し方式の３Ｄ画像を符号化する符号化装置に適用することができる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにした画像処理装置および画像処理方法に関する。

現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。

しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。

メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

メガネ無し方式の視聴を提供する復号装置は、例えば、２視点の画像から３視点以上の視点（以下では、３視点以上の視点を多視点という）の画像を生成し、表示する。具体的には、符号化装置が、２視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像（デプス画像）を復号装置に伝送する。そして、復号装置は、受信された２視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて２視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。

なお、ワーピング処理とは、所定の視点の視差画像（または画像）の各画素の視差値（または画素値）を、その画素に対応する、仮想視点の視差画像（または画像）上の画素の視差値（または画素値）とする処理である。

また、既存の画像の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。さらに、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。

特開２００８−１８２６６９号公報

ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。

しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理を正確に行うことができなかった。

本技術は、このような状況に鑑みてなされたものであり、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにするものである。

本技術の第１の側面の画像処理装置は、デプス画像を低解像度化する低解像度化部と、前記低解像度化部により低解像度化された前記デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報を生成する生成部と、前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記復元情報とを伝送する伝送部とを備える画像処理装置である。

本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。

本技術の第１の側面においては、デプス画像が低解像度化され、低解像度化された前記デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報が生成され、低解像度化された前記デプス画像と前記復元情報とが伝送される。

本技術の第２の側面の画像処理装置は、低解像度化されたデプス画像である低解像度デプス画像と、前記低解像度デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記復元情報に基づいて、前記低解像度デプス画像を高解像度化する高解像度化部とを備える画像処理装置である。

本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応する。

本技術の第２の側面においては、低解像度化されたデプス画像である低解像度デプス画像と、前記低解像度デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報とが受け取られ、前記復元情報に基づいて、前記低解像度デプス画像が高解像度化される。

なお、第１の側面の画像処理装置および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の画像処理装置および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術の第１の側面によれば、受信側で、デプス画像のワーピング処理を正確に行うことができるように、低解像度化されたデプス画像を送信することができる。

また、本技術の第２の側面によれば、低解像度化されたデプス画像が送信されてくる場合において、デプス画像のワーピング処理を正確に行うことができる。

本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図１の部分低解像度化部の詳細構成例を示すブロック図である。 境界情報の例を示す図である。 補助画像の視差画像の例を示す図である。 部分低解像度化処理後の補助画像の視差画像の例を示す図である。 図１の符号化装置による符号化処理を説明するフローチャートである。 図１の符号化装置による符号化処理を説明するフローチャートである。 図７の部分低解像度化処理の詳細を説明するフローチャートである。 図１の符号化装置に対応する復号装置の構成例を示す図である。 図９の３Ｄ画像生成部の詳細構成例を示すブロック図である。 視差画像高解像度化部による高解像度化後の視差画像の例を示す図である。 全領域が低解像度化された視差画像の例を示す図である。 図１２の視差画像の高解像度化後の視差画像の例を示す図である。 仮想視点の画像の生成を説明する図である。 視差画像のワーピング処理を説明する図である。 低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。 図１３の視差画像と、その視差画像のワーピング処理結果を示す図である。 図９の復号装置による復号処理を説明するフローチャートである。 図１８の多視点画像生成処理の詳細を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図２０の部分可変低解像度化部の詳細構成例を示すブロック図である。 部分可変低解像度化処理を説明する図である。 部分可変低解像度化処理を説明する図である。 図２０の符号化装置の部分可変低解像度化処理を説明するフローチャートである。 図２０の符号化装置に対応する復号装置の構成例を示す図である。 図２５の３Ｄ画像生成部の詳細構成例を示すブロック図である。 図２５の復号装置の多視点画像生成処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 図２８の低解像度化部の詳細構成例を示すブロック図である。 図２９の符号化装置の低解像度化処理を説明するフローチャートである。 図２８の符号化装置に対応する復号装置の構成例を示す図である。 図３１の３Ｄ画像生成部の詳細構成例を示すブロック図である。 図２８の符号化装置の多視点画像生成処理の詳細を説明するフローチャートである。 視差と奥行きについて説明する図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。

＜本明細書におけるデプス画像（視差画像）の説明＞
図３４は、視差と奥行きについて説明する図である。

図３４に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。

・・・（ａ）

なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差画像）とする。

なお、デプス画像（視差画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｂ）において、Ｄ_ｍａｘは、視差ｄの最大値であり、Ｄ_ｍｉｎは、視差ｄの最小値である。最大値Ｄ_ｍａｘと最小値Ｄ_ｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｃ）において、Ｚ_ｆａｒは、奥行きＺの最大値であり、Ｚ_ｎｅａｒは、奥行きＺの最小値である。最大値Ｚ_ｆａｒと最小値Ｚ_ｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差画像）とする。ここでは、デプス画像（視差画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。

なお、デプス画像（視差画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。

＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。

図１の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、部分低解像度化部５４、画像情報生成部５５、互換情報生成部５６、撮影情報生成部５７、視差画像情報生成部５８、エンコーダ５９、および多重化部６０により構成される。

符号化装置５０は、視差画像の視差値が大きく変化する位置である境界位置に隣接する領域以外の領域を低解像度化し、低解像度化されない画素を示す情報である部分変換情報（is_original）を付加して伝送する。

具体的には、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を視点画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５７に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１_ＡＢだけ水平方向に離れた位置で、視点画像Ａ１とは異なる視点のHD画像を視点画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５７に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１_ＡＣだけ撮影部５１Ａとは反対の水平方向に離れた位置で、視点画像Ａ１および視点画像Ｂ１とは異なる視点のHD画像を視点画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５７に供給する。

なお、視点画像Ｂ１と視点画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ｂ１および視点画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１_ＡＢと距離Δｄ１_ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。

画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５６に供給し、互換画像である視点画像Ａ１をそのままエンコーダ５９に供給する。

また、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部５２は、所定の多重化方式に基づいて、補助画像である視点画像Ｂ１および視点画像Ｃ１を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、視点画像Ｂ１および視点画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた視点画像Ｂ１（以下、1/2解像度視点画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた視点画像Ｃ１（以下、1/2解像度視点画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度視点画像Ｂ１および1/2解像度視点画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５９に供給し、補助画像の多重化方式を示す情報を画像情報生成部５５に供給する。

視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、互換画像である視点画像Ａ１の各画素の視差値を表す視差画像Ａ１’を生成し、エンコーダ５９に供給する。

また、視差画像生成部５３は、補助画像である視点画像Ｂ１の各画素の視差値を表す視差画像Ｂ１’と、補助画像である視点画像Ｃ１の各画素の視差値を表す視差画像Ｃ１’を生成し、部分低解像度化部５４に供給する。

部分低解像度化部５４は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、画素単位またはマクロブロック単位で、境界位置を検出する。そして、部分低解像度化部５４は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で、境界位置に隣接する画素であるかどうかを示す情報である境界情報（is_depth_edge）を生成する。なお、マクロブロックとは、符号化の単位である。

また、部分低解像度化部５４は、境界情報に基づいて、視差画像Ｂ１’および視差画像Ｃ１’に対して、境界位置に隣接する領域以外の領域を水平方向に低解像度化する部分低解像度化処理を行う。部分低解像度化部５４は、部分低解像度化処理後の視差画像Ｂ１’および視差画像Ｃ１’をエンコーダ５９に供給する。また、部分低解像度化部５４は、視差画像Ｂ１’および視差画像Ｃ１’の部分変換情報を生成し、視差画像情報生成部５８に供給する。

画像情報生成部５５は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５９に供給する。

互換情報生成部５６は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５９に供給する。

なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。

撮影情報生成部５７は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間の距離（以下、視点間距離という）を検出する。具体的には、撮影情報生成部５７は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１_ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１_ＡＣを視点間距離として検出する。

また、撮影情報生成部５７は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部５７は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５９に供給する。

視差画像情報生成部５８は、部分低解像度化部５４から供給される部分変換情報などの視差画像に関する情報を、視差画像情報として生成し、エンコーダ５９に供給する。

エンコーダ５９は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１は、画像変換部５２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部６０に供給する。

補助用エンコーダ６２は、符号化部として機能し、画像変換部５２からの補助画像の多重化画像、視差画像生成部５３からの互換画像の視差画像Ａ１’、および部分低解像度化部５４からの部分低解像度化処理後の補助画像の視差画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。

また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５５からの画像情報、互換情報生成部５６からの互換情報、撮影情報生成部５７からの撮影情報、および視差画像情報生成部５８からの視差画像情報などを付加する。補助用エンコーダ６２は、その結果得られる符号化ストリームを補助ストリームとして多重化部６０に供給する。

多重化部６０は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部６０は、伝送部として機能し、多重化の結果得られる多重化ストリームを伝送する。

［部分低解像度化部の構成例］
図２は、図１の部分低解像度化部５４の詳細構成例を示すブロック図である。

図２の部分低解像度化部５４は、境界位置検出部８１、境界情報生成部８２、解像度部分変換部８３、および部分変換情報生成部８４により構成される。

部分低解像度化部５４の境界位置検出部８１は、図１の視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出し、検出結果を境界情報生成部８２に供給する。

境界情報生成部８２は、境界位置検出部８１から供給される検出結果に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、解像度部分変換部８３と部分変換情報生成部８４に供給する。

解像度部分変換部８３は、低解像度化部として機能し、境界情報生成部８２から供給される境界情報に基づいて、図１の視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’に対して、水平方向の低解像度化を行う。解像度部分変換部８３は、低解像度化後の視差画像Ｂ１’および視差画像Ｃ１’を図１のエンコーダ５９に供給する。

部分変換情報生成部８４は、生成部として機能し、境界情報生成部８２から供給される境界情報に基づいて部分変換情報を生成して、図１の視差画像情報生成部５８に供給する。

［境界情報の例］
図３は、境界情報の例を示す図である。

なお、図３において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図４および図５においても同様である。

図３の例の視差画像では、図３の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。

画素単位で境界情報が生成される場合、例えば、図３の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。

一方、マクロブロック単位で境界情報が生成される場合、例えば、図３の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック（MB）の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。

［部分低解像度化処理の説明］
図４および図５は、図２の部分低解像度化部５４による部分低解像度化処理を説明する図である。

図４は、視差画像生成部５３により生成される補助画像の視差画像を示しており、図５は、部分低解像度化処理後の補助画像の視差画像を示している。

図４に示すように、補助画像の視差画像が、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なる画像である場合、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。

このような視差画像に対して部分低解像度化処理が行われると、部分低解像度化処理後の視差画像は、図５に示すように、境界位置に隣接する領域以外の領域についてのみ低解像度化が行われた画像となる。

具体的には、図５の例では、バイリニア法により低解像度化が行われている。バイリニア法とは、低解像度化前の視差画像のうちの、水平方向に隣接する2つの画素どうしの一方の視差値を、その2つの画素の視差値の平均値とし、他方の視差値を削除する方法である。従って、全画素に対して低解像度化が行われる場合、例えば、境界位置の左側に隣接する画素と、右側に隣接する画素の視差値の平均値が、その画素の視差値とされ、境界位置の左側に隣接する画素が削除される。しかしながら、部分低解像度化処理では、境界位置に隣接する領域に対して低解像度化が行われないので、図５に示すように、境界位置の右側に隣接する画素の視差値は残される。

なお、図５では、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により削除される画素は、柄が付されない丸で表している。

また、図５の例では、境界情報が画素単位で生成されており、部分低解像度化処理において低解像度化を行わない領域が画素単位で設定されている。従って、部分変換情報は、部分低解像度化処理前の視差画像の各画素に対して、画素単位で生成される。具体的には、境界情報が1である境界位置に隣接する画素の部分変換情報として、低解像度化されない画素を示す1が設定され、その他の画素の部分境界情報として、低解像度化されていない画素を示す0が設定される。

［符号化装置の処理の説明］
図６および図７は、図１の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。

図６のステップＳ１０において、撮影情報生成部５７は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。

ステップＳ１１において、撮影情報生成部５７は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間距離を検出する。

ステップＳ１２において、撮影情報生成部５７は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５９に入力する。

ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５６に供給し、補助画像の多重化方式を画像情報生成部５５に供給する。

ステップＳ１４において、互換情報生成部５６は、画像変換部５２から供給される情報に基づいて、互換画像として視点画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５９に入力する。

ステップＳ１５において、画像情報生成部５５は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５９に入力する。

ステップＳ１６において、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とし、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。

ステップＳ１７において、画像変換部５２は、互換画像である視点画像Ａ１と補助画像の多重化画像をエンコーダ５９に入力する。

図７のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。そして、視差画像生成部５３は、視差画像Ｂ１’および視差画像Ｃ１’を部分低解像度化部５４に供給する。

ステップＳ１９において、部分低解像度化部５４は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’に対して部分低解像度化処理を行う。この部分低解像度化処理の詳細は、後述する図８を参照して説明する。

ステップＳ２０において、視差画像情報生成部５８は、部分低解像度化部５４から供給される部分変換情報などを視差画像情報として生成し、エンコーダ５９に入力する。

ステップＳ２１において、視差画像生成部５３は、互換画像の視差画像Ａ１'をエンコーダ５９に入力する。

ステップＳ２２において、エンコーダ５９の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である視点画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部６０に供給する。

ステップＳ２３において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、視差画像生成部５３からの互換画像の視差画像Ａ１’、および部分低解像度化部５４からの部分低解像度化処理後の補助画像の視差画像を所定の方式で符号化する。

ステップＳ２４において、補助用エンコーダ６２は、ステップＳ２３の処理による符号化の結果得られる符号化画像に、画像情報、互換情報、撮影情報、および視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部６０に供給する。

ステップＳ２５において、多重化部６０は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。

図８は、図７のステップＳ１９の部分低解像度化処理の詳細を説明するフローチャートである。なお、図８では、画素単位で境界情報が生成される場合の部分低解像度化処理について説明する。また、図８の部分低解像度化処理は、視差画像ごとに行われる。

図８のステップＳ４１において、部分低解像度化部５４の境界位置検出部８１と解像度部分変換部８３（図２）は、図１の視差画像生成部５３から供給される視差画像を取得する。

ステップＳ４２において、境界位置検出部８１は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップＳ４２の処理の対象となっていないものの視差値の差分を求める。

ステップＳ４３において、境界位置検出部８１は、ステップＳ４２で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。

ステップＳ４３で視差値の差分が所定の閾値より大きいと判定された場合、境界位置検出部８１は、ステップＳ４２の処理の対象である隣接する2つの画素の間を境界位置として検出したことを表す検出結果を境界情報生成部８２に供給する。そして、ステップＳ４４において、境界情報生成部８２は、ステップＳ４２の処理の対象である隣接する2つの画素の境界情報を1に設定する。

一方、ステップＳ４３で視差値の差分が所定の閾値より大きくはないと判定された場合、境界位置検出部８１は、ステップＳ４２の処理の対象である隣接する2つの画素の間を境界位置として検出していないことを表す検出結果を境界情報生成部８２に供給する。そして、ステップＳ４５において、境界情報生成部８２は、ステップＳ４２の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。

ステップＳ４４またはステップＳ４５の処理後、ステップＳ４６において、境界情報生成部８２は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。

ステップＳ４６で視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップＳ４２に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップＳ４２乃至Ｓ４６の処理が繰り返される。

一方、ステップＳ４６で視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたと判定された場合、境界情報生成部８２は、境界情報を解像度部分変換部８３と部分変換情報生成部８４に供給する。

そして、ステップＳ４７において、解像度部分変換部８３は、境界情報生成部８２から供給される境界情報に基づいて、ステップＳ４１で取得された視差画像に対して低解像度化を行う。具体的には、解像度部分変換部８３は、視差画像のうちの、境界情報が1である画素以外の画素からなる領域を低解像度化する。そして、解像度部分変換部８３は、低解像度化された視差画像をエンコーダ５９に供給する。

ステップＳ４８において、部分変換情報生成部８４は、境界情報生成部８２から供給される境界情報に基づいて部分変換情報を生成する。具体的には、部分変換情報生成部８４は、境界情報が1である画素の部分変換情報として1を生成し、その他の画素の部分変換情報として0を生成する。そして、部分変換情報生成部８４は、生成された部分変換情報を図１の視差画像情報生成部５８に供給する。そして、処理は図７のステップＳ１９に戻り、処理はステップＳ２０に進む。

なお、部分低解像度化部５４は、境界情報をマクロブロック単位で生成する場合、図８の部分低解像度化処理において、ステップＳ４２乃至Ｓ４８の処理をマクロブロック単位で行う。

具体的には、境界位置検出部８１は、ステップＳ４２で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップＳ４３で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ４４で、境界情報生成部８２は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップＳ４５で、境界情報生成部８２は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。

また、解像度部分変換部８３は、ステップＳ４７で、視差画像のうちの境界情報が1であるマクロブロック以外の領域の低解像度化を行い、ステップＳ４８で、部分変換情報生成部８４は、境界情報が1であるマクロブロックの部分変換情報を1に設定する。

以上のように、符号化装置５０は、補助画像の視差画像に対して部分低解像度化処理を行い、その結果得られる視差画像と部分変換情報を送信する。従って、後述する復号装置は、部分変換情報に基づいて、部分低解像度化処理された視差画像を高解像度化することにより、部分低解像度化処理前の視差画像により近い視差画像を得ることができる。よって、復号装置は、部分低解像度化処理前の視差画像により近い視差画像のワーピング処理を行うことができる。その結果、復号装置において、視差画像のワーピング処理を正確に行うことができる。

また、符号化装置５０は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。

さらに、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。

また、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。

［復号装置の構成例］
図９は、図１の符号化装置５０から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図９の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、撮影情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号し、部分変換情報に基づいて補助画像の視差画像を高解像度化し、ワーピング処理を行って多視点の画像を生成する。

具体的には、復号装置１２０の分離部１２１は、受け取り部として機能し、符号化装置５０から送信されてくる多重化ストリームを受け取り、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。

デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる視点画像Ａ１を画像生成部１２７に供給する。

補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２は、復号部として機能し、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および部分低解像度化処理後の補助画像の視差画像を、図１の補助用エンコーダ６２に対応する方式で復号する。

補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および部分低解像度化処理後の補助画像の視差画像を、画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。

画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に供給する。

視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。

画像生成部１２７は、２Ｄ画像生成部１４１と３Ｄ画像生成部１４２により構成される。画像生成部１２７の２Ｄ画像生成部１４１は、視聴者からの２Ｄ画像表示指令に応じて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。

また、３Ｄ画像生成部１４２は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および部分低解像度化処理後の補助画像の視差画像を用いて、画像情報、撮影情報、視差画像情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部１４２は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［３Ｄ画像生成部の詳細構成例］
図１０は、図９の３Ｄ画像生成部１４２の詳細構成例を示すブロック図である。

図１０に示すように、３Ｄ画像生成部１４２は、仮想視点位置決定部１６１、視差画像高解像度化部１６２、視差画像ワーピング処理部１６３、視差画像ワーピング処理部１６４、視点画像ワーピング処理部１６５、視点画像ワーピング処理部１６６、視点画像分離部１６７、視点画像高解像度化部１６８、多視点画像生成部１６９、および多視点画像合成処理部１７０により構成される。

３Ｄ画像生成部１４２の仮想視点位置決定部１６１は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部１６１は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部１６３に供給される視差画像特定情報と、視差画像ワーピング処理部１６４に供給される視差画像特定情報は異なるように生成される。

また、仮想視点位置決定部１６１は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

視差画像高解像度化部１６２は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像の視差画像Ａ１’をそのまま視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

また、視差画像高解像度化部１６２は、高解像度化部として機能し、視差画像情報取得部１２５から供給される視差画像情報に含まれる部分変換情報に基づいて、デコーダ１２２から供給される部分低解像度化処理後の補助画像の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１と視点画像Ｃ１の視差画像を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

視差画像ワーピング処理部１６３は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６１から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報と、仮想視点位置決定部１６１からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像を視点画像ワーピング処理部１６５に供給する。

視差画像ワーピング処理部１６４は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部１６３と同様の処理を行い、その結果生成された各仮想視点の視差画像を、視点画像ワーピング処理部１６６に供給する。

視点画像ワーピング処理部１６５は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部１６５は、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１６８から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域（詳細は後述する）を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６５は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１６９に供給する。

なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。

視点画像ワーピング処理部１６６は、視点画像ワーピング処理部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６５と同様の処理を行う。

視点画像分離部１６７は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１６８に供給する。また、視点画像分離部１６７は、画像情報取得部１２３から供給される画像情報に基づいて、デコーダ１２２から供給される補助画像の多重化画像を分離する。視点画像分離部１６７は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視点画像高解像度化部１６８に供給する。

視点画像高解像度化部１６８は、視点画像分離部１６７から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部１６８は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１６８は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視点画像分離部１６７から供給される視点画像Ａ１を、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６に供給する。

多視点画像生成部１６９は、仮想視点ごとに、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１６９は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７０に供給する。

多視点画像合成処理部１７０は、多視点画像生成部１６９から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、図示せぬ表示装置に表示させる。

［高解像度化の説明］
図１１は、図１０の視差画像高解像度化部１６２による高解像度化を説明する図である。

図５に示した部分低解像度化処理後の視差画像が供給される場合、視差画像高解像度化部１６２は、図１１に示すように、部分変換情報が1である画素を残す。また、視差画像高解像度化部１６２は、例えば、高解像度化後の視差画像の部分変換情報が0である画素の視差値を、その画素に対応する部分低解像度化処理後の視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化する。その結果、高解像度化後の視差画像の視差値は、図４に示した低解像度化前の視差画像の視差値に近い値となる。

これに対して、図４に示した視差画像の全領域がバイリニア法により低解像度化されると、低解像度化された視差画像は、図１２に示すようになる。なお、図１２において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図１２では、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。

そして、図１２の低解像度化された視差画像の全画素に対して、図１１の場合と同様の線形補間による高解像度化が行われると、高解像度化された視差画像は図１３に示すようになり、境界位置に隣接する画素の視差値が、図４の視差画像と異なってしまう。なお、図１２において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。

以上のように、部分低解像度化処理では、低解像度化によって高解像度化後の視差値が低解像度化前の視差値と異なる、境界位置に隣接する領域の視差値が低解像度化されない。従って、部分変換情報に基づいて、部分低解像度化処理後の視差画像を高解像度化することにより、高解像度化後の視差画像を部分低解像度化処理前の視差画像に近づけることができる。よって、部分変換情報は、部分低解像度化処理後の視差画像から部分低解像度化処理前の視差画像を復元するための情報であるといえる。

［仮想視点の画像の生成の説明］
図１４は、図１０の３Ｄ画像生成部１４２による仮想視点の画像の生成を説明する図である。

図１４に示すように、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図１４の例では、視差画像ワーピング処理部１６３は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃１という）を選択している。また、視差画像ワーピング処理部１６４は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃２という）を選択している。

視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行う。これにより、図１４に示すように、例えば、視差画像＃１内の円形の領域が右側に移動し、その円形の領域の左側に、図中黒く塗りつぶされているオクルージョン領域が発生した仮想視点の視差画像＃１が生成される。また、視差画像＃２内の円形の領域が左側に移動し、その円形の領域の右側に、図中黒く塗りつぶされているオクルージョン領域が発生した仮想視点の視差画像＃２が生成される。なお、仮想視点の視差画像＃１内の円形の領域の位置と仮想視点の視差画像＃２内の円形の領域の位置は、同一である。また、オクルージョン領域は、例えば、黒画で表される。

視点画像ワーピング処理部１６５は、仮想視点の視差画像＃１に基づいて、視差画像＃１に対応する視点画像＃１のワーピング処理を行う。図１４の例では、視点画像＃１は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃１は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃１に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。

一方、視点画像ワーピング処理部１６６は、仮想視点の視差画像＃２に基づいて、視差画像＃２に対応する視点画像＃２のワーピング処理を行う。図１４の例では、視点画像＃２は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃２は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃２に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。

多視点画像生成部１６９は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部１６９は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図１４に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。

［視差画像のワーピング処理の説明］
図１５は、視差画像のワーピング処理を説明する図である。

視差画像のワーピング処理では、まず、図１５に示すように、選択された位置t（t_ｘ,t_ｙ,t_ｚ）の視点の視差画像の各画素の位置m（x,y,z）と、位置t'（t'_ｘ,t'_ｙ,t'_ｚ）の仮想視点の視差画像の位置m'（x',y',z'）を、３次元空間を介して対応付ける。

具体的には、以下の式（１）により、位置t（t_ｘ,t_ｙ,t_ｚ）の視点の視差画像の視差値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'_ｘ,t'_ｙ,t'_ｚ）の仮想視点の視差画像の位置m'（x',y',z'）が求められる。

(X,Y,Z)^Ｔ=RA^−１（x,y,1）^ＴZ+（t_ｘ,t_ｙ,t_ｚ）^Ｔ
s（x',y',1）^Ｔ=A’R'^−１[（X,Y,Z）^Ｔ-（t'_ｘ,t'_ｙ,t'_ｚ）^Ｔ]
・・・（１）

なお、式（１）において、Rは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃのワーピング処理用の回転行列であり、以下の式（２）で表される。

なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。

また、式（１）において、Aは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータを含む行列であり、以下の式（３）で表される。

なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。

さらに、式（１）において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。

以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。

図１６および図１７は、図１０の視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４による視差画像のワーピング処理を説明する図である。なお、図１６および図１７において、小さい丸は画素を表し、丸の柄は視差値を表す。

図１６は、符号化装置５０の視差画像生成部５３により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。

図１６の例では、低解像度化される前の視差画像が、図４の視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図１６に示すように、円形の領域が10画素だけ左側に移動する。

また、図１１に示したように、視差画像高解像度化部１６２により高解像度化された視差画像の視差値は、図４の視差画像の視差値に近い値である。従って、図１１の高解像度化された視差画像のワーピング処理の結果得られる仮想視点の視差画像は、図１６の視差画像に近似する。よって、正確に視差画像のワーピング処理が行われたといえる。

これに対して、図１７に示すように、図１３に示した高解像度化された視差画像のワーピング処理が行われる場合、ワーピング処理の結果得られる仮想視点の視差画像では、図１７に示すように、オクルージョン領域に視差値が対応付けられてしまう。

具体的には、例えば、横線が付された丸で表される画素は、本来、図１６に示したように、10画素だけ左側に移動する必要があるが、図１７に示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、本来、視差値が対応付けられないオクルージョン領域に視差値が対応付けられ、仮想視点の画像が破綻する。

［復号装置の処理の説明］
図１８は、図９の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。

図１８のステップＳ６１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。

ステップＳ６２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。

ステップＳ６３において、互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像Ａ１を画像生成部１２７に供給する。

ステップＳ６４において、画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ６４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。

そして、ステップＳ６５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および部分低解像度化処理後の補助画像の視差画像を、図１の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および部分低解像度化処理後の補助画像の視差画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。

ステップＳ６６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ６７において、撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に入力する。

ステップＳ６８において、視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に入力する。ステップＳ６９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に入力する。

ステップＳ７０において、画像生成部１２７の３Ｄ画像生成部１４２は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図１９を参照して説明する。

ステップＳ７１において、３Ｄ画像生成部１４２の多視点画像合成処理部１７０は、ステップＳ７０の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。

一方、ステップＳ６４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ７２において、画像生成部１２７の２Ｄ画像生成部１４１は、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。

図１９は、図１８のステップＳ７０の多視点画像生成処理の詳細を説明するフローチャートである。

図１９のステップＳ９０において、３Ｄ画像生成部１４２の仮想視点位置決定部１６１（図１０）は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６１は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６１は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

ステップＳ９１において、視差画像高解像度化部１６２は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と部分低解像度化処理後の補助画像の視差画像を取得する。

ステップＳ９２において、視差画像高解像度化部１６２は、視差画像情報取得部１２５から供給される視差画像に含まれる部分変換情報に基づいて、ステップＳ９１で取得された部分低解像度化処理後の補助画像の視差画像を高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、補助用デコーダ１３２から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

ステップＳ９３において、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６１からの視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。また、視差画像ワーピング処理部１６４は、視差画像ワーピング処理部１６３と同様の処理を行う。

そして、ステップＳ９４およびＳ９５において、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、選択された視差画像のワーピング処理を行う。

具体的には、ステップＳ９４において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式（１）により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。

そして、ステップＳ９５において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、ステップＳ９４で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップＳ９４で決定された画素の視差値とする。視差画像ワーピング処理部１６３（１６４）は、その結果生成された各仮想視点の視差画像を視点画像ワーピング処理部１６５（１６６）に供給する。

ステップＳ９６において、視点画像分離部１６７は、画像情報取得部１２３から供給される画像情報に基づいて、補助用デコーダ１３２から供給される補助画像の多重化画像を分離する。そして、視点画像分離部１６７は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視差画像高解像度化部１６２に供給する。また、視点画像分離部１６７は、互換情報取得部１２６から供給される互換情報に基づいて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１６８に供給する。

ステップＳ９７において、視点画像高解像度化部１６８は、視点画像分離部１６７から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１をそれぞれ高解像度化する。これにより、視点画像高解像度化部１６８は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１６８は、得られた視点画像Ｂ１および視点画像Ｃ１、並びに、視点画像分離部１６７から供給される視点画像Ａ１を、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６に供給する。

ステップＳ９８において、視点画像ワーピング処理部１６５は、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１６８から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６５は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１６９に供給する。また、視点画像ワーピング処理部１６６は、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６５と同様の処理を行う。

ステップＳ９９において、多視点画像生成部１６９は、仮想視点ごとに、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１６９は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７０に供給する。

ステップＳ１００において、多視点画像合成処理部１７０は、多視点画像生成部１６９から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図１８のステップＳ７０に戻り、処理はステップＳ７１に進む。

以上のように、復号装置１２０は、符号化装置５０から送信されてくる部分低解像度化処理後の視差画像を、部分変換情報に基づいて高解像度化し、ワーピング処理の対象とする。従って、復号装置１２０は、ワーピング処理の対象の視差画像を、部分低解像度化処理前の視差画像に近づけることができる。その結果、視差画像のワーピング処理を正確に行うことができる。

＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図２０は、本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。

図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０の符号化装置２００の構成は、主に、部分低解像度化部５４、視差画像情報生成部５８、エンコーダ５９の代わりに、部分可変低解像度化部２０１、視差画像情報生成部２０２、エンコーダ２０３が設けられている点が図１の構成と異なる。

符号化装置２００は、視差画像の境界位置に隣接する領域を低解像度化せず、その領域以外の領域（以下、境界外領域という）の水平方向の解像度を可変の解像度に低解像度化する部分可変低解像度化処理を行う。また、符号化装置２００は、部分可変低解像度化処理後の視差画像に、部分可変低解像度化処理後の水平方向の解像度を表す情報である解像度情報を付加して伝送する。

具体的には、符号化装置２００の部分可変低解像度化部２０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、マクロブロック単位で境界位置を検出する。そして、部分可変低解像度化部２０１は、マクロブロック単位で検出された境界位置に基づいて、マクロブロック単位で境界情報を生成する。

また、部分可変低解像度化部２０１は、視差画像Ｂ１’に対して、基本となる解像度の、部分可変低解像度化処理前の視差画像の水平方向の解像度に対する割合を表す基本解像度情報としての基本サンプリング係数（base_sampling_factor）を生成する。また、部分可変低解像度化部２０１は、視差画像Ｂ１’と、対応する境界情報とに基づいて、部分可変低解像度化処理後の視差画像の水平方向の解像度の、基本となる解像度に対する割合を表す割合情報としてのサブサンプリング係数（sub_sampling_factor）を、マクロブロック単位で生成する。さらに、部分可変低解像度化部２０１は、部分可変低解像度化処理後の水平方向の解像度が基本となる解像度であるかどうかを表す解像度識別情報としてのサブサンプリングフラグ（is_sub_sample）を、マクロブロック単位で生成する。同様に、部分可変低解像度化部２０１は、視差画像Ｃ１’の基本サンプリング係数、サブサンプリング係数、およびサブサンプリングフラグを生成する。

そして、部分可変低解像度化部２０１は、視差画像Ｂ１’および視差画像Ｃ１’のそれぞれに対して、対応する基本サンプリング係数およびサブサンプリング係数に基づいて、部分可変低解像度化処理を行う。部分可変低解像度化部２０１は、部分可変低解像度化処理後の視差画像Ｂ１’および視差画像Ｃ１’をエンコーダ２０３に供給する。

また、部分可変低解像度化部２０１は、視差画像Ｂ１’および視差画像Ｃ１’のサブサンプリング係数のうち、部分可変低解像度化処理後の水平方向の解像度が基本となる解像度ではない場合のサブサンプリング係数、即ち1以外の値のサブサンプリング係数を選択する。そして、部分可変低解像度化部２０１は、視差画像Ｂ１’および視差画像Ｃ１’の基本サンプリング係数、選択されたサブサンプリング係数、およびサブサンプリングフラグを解像度情報として、視差画像情報生成部２０２に供給する。

このように、部分可変低解像度化部２０１は、部分可変低解像度化処理後の解像度そのものを解像度情報とするのではなく、基本サンプリング係数、1以外のサブサンプリング係数、およびサブサンプリングフラグを解像度情報とする。これにより、部分可変低解像度化処理後の水平方向の解像度が基本となる解像度である場合、解像度情報としてマクロブロック単位で生成される情報が、1ビットのサブサンプリングフラグのみとなるので、解像度情報の情報量を抑制することができる。

視差画像情報生成部２０２は、部分可変低解像度化部２０１から供給される解像度情報などの視差画像に関する情報を、視差画像情報として生成し、エンコーダ２０３に供給する。

エンコーダ２０３は、互換用エンコーダ６１と補助用エンコーダ２１０により構成される。補助用エンコーダ２１０は、符号化部として機能し、画像変換部５２からの補助画像の多重化画像、視差画像生成部５３からの視差画像Ａ１’、および部分可変低解像度化部２０１からの部分可変低解像度化処理後の補助画像の視差画像を所定の方式で符号化する。なお、補助用エンコーダ２１０における符号化方式としては、AVC方式、MVC方式、MPEG2方式などを用いることができる。

また、補助用エンコーダ２１０は、符号化の結果得られる符号化画像に、画像情報生成部５５からの画像情報、互換情報生成部５６からの互換情報、撮影情報生成部５７からの撮影情報、および視差画像情報生成部５８からの視差画像情報などを付加する。なお、このとき、補助用エンコーダ２１０は、解像度情報を分解して付加する。

具体的には、補助用エンコーダ２１０は、符号化画像のスライスレイヤに基本サンプリング係数を記述する。また、補助用エンコーダ２１０は、符号化画像のスライスレイヤ以上にサブサンプリング係数を記述する。さらに、補助用エンコーダ２１０は、マクロブロックレイヤにサブサンプリングフラグを記述する。

補助用エンコーダ２１０は、画像情報、互換情報、撮影情報、および視差画像情報などが付加された符号化画像からなる符号化ストリームを、補助ストリームとして多重化部６０に供給する。

［部分可変低解像度化部の詳細構成例］
図２１は、図２０の部分可変低解像度化部２０１の詳細構成例を示すブロック図である。

図２１の部分可変低解像度化部２０１は、境界位置検出部２１１、境界情報生成部２１２、解像度決定部２１３、解像度部分変換部２１４、および解像度情報生成部２１５により構成される。

部分可変低解像度化部２０１の境界位置検出部２１１は、図２０の視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、マクロブロック単位で境界位置を検出し、検出結果を境界情報生成部２１２に供給する。

境界情報生成部２１２は、境界位置検出部２１１から供給される検出結果に基づいて、マクロブロック単位で境界情報を生成し、解像度決定部２１３と解像度情報生成部２１５に供給する。

解像度決定部２１３は、視差画像Ｂ１’および視差画像Ｃ１’の基本サンプリング係数を生成する。また、解像度決定部２１３は、視差画像Ｂ１’、並びに、対応する境界情報および基本サンプリング係数に基づいて、サブサンプリング係数とサブサンプリングフラグをマクロブロック単位で生成する。同様に、解像度決定部２１３は、視差画像Ｃ１’、並びに、対応する境界情報および基本サンプリング係数に基づいて、サブサンプリング係数とサブサンプリングフラグをマクロブロック単位で生成する。

そして、解像度決定部２１３は、生成された視差画像Ｂ１’および視差画像Ｃ１’の基本サンプリング係数およびサブサンプリング係数を、解像度部分変換部２１４に供給する。また、解像度決定部２１３は、生成された視差画像Ｂ１’および視差画像Ｃ１’の基本サンプリング係数、サブサンプリング係数、およびサブサンプリングフラグを、解像度情報生成部２１５に供給する。

解像度部分変換部２１４は、低解像度化部として機能し、解像度決定部２１３からの基本サンプリング係数およびサブサンプリング係数に基づいて、視差画像Ｂ１’および視差画像Ｃ１’に対して、それぞれ、水平方向の低解像度化を行う。具体的には、解像度部分変換部２１４は、視差画像Ｂ１’および視差画像Ｃ１’の境界位置に隣接する領域を低解像度化せず、境界外領域の水平方向の解像度を基本サンプリング係数とサブサンプリング係数の乗算値倍に低解像度化する。解像度部分変換部２１４は、低解像度化後の視差画像Ｂ１’および視差画像Ｃ１’を図２０のエンコーダ２０３に供給する。

解像度情報生成部２１５は、生成部として機能する。具体的には、解像度情報生成部２１５は、解像度決定部２１３から供給される視差画像Ｂ１’および視差画像Ｃ１’のサブサンプリング係数のうち、1以外の値であるサブサンプリング係数を選択する。そして、解像度情報生成部２１５は、視差画像Ｂ１’および視差画像Ｃ１’の基本サンプリング係数、1以外の値であるサブサンプリング係数、およびサブサンプリングフラグを、解像度情報として生成し、図２０の視差画像情報生成部２０２に供給する。

［部分可変低解像度化処理の説明］
図２２および図２３は、図２１の部分可変低解像度化部２０１による部分可変低解像度化処理を説明する図である。

なお、図２２および図２３において、番号iが付された正方形はi番目のマクロブロックを表している。

図２２の例では、部分可変低解像度化処理の対象の視差画像の水平方向に並ぶ1乃至10番目の全てのマクロブロックが、境界外領域にある。この場合、境界外領域の部分可変低解像度化処理後の水平方向の解像度が、全て部分可変低解像度化処理前の解像度の1/2であるとすると、1乃至10番目のマクロブロックのうちの隣接する2つのマクロブロックから1つのマクロブロックが生成される。その結果、部分可変低解像度化処理後の視差画像のマクロブロックの数は5となる。そして、後述する復号装置において、部分可変低解像度化処理後の視差画像の高解像度化が行われ、高解像度化後のマクロブロックの数は、部分可変低解像度化処理前と同一の10となる。

また、この場合、例えば、基本サンプリング係数が1/2であると、部分可変低解像度化処理後の視差画像の全てのマクロブロックのサブサンプリング係数は1となり、サブサンプリングフラグは、部分可変低解像度化処理後の水平方向の解像度が基本となる解像度であることを表す0となる。従って、解像度情報には、サブサンプリング係数は含まれない。

一方、図２３の例では、部分可変低解像度化処理の対象の視差画像の水平方向に並ぶ1乃至10番目のマクロブロックのうち、3、4，7、および8番目のマクロブロックが、境界位置に隣接する領域を含み、その他のマクロブロックが境界外領域にある。この場合、境界外領域の部分可変低解像度化処理後の水平方向の解像度が、全て部分可変低解像度化処理前の解像度の1/2であるとすると、3、4，7、および8番目のマクロブロック以外のマクロブロックのうちの隣接する2つのマクロブロックから、1つのマクロブロックが生成される。また、境界位置に隣接する領域を含む3、4，7、および8番目のマクロブロックは、そのまま保持される。その結果、部分可変低解像度化処理後の視差画像のマクロブロックの数は7となる。そして、後述する復号装置において、部分可変低解像度化処理後の視差画像のうちの、境界外領域に対応する1,4、および7番目のマクロブロックの高解像度化が行われる。その結果、高解像度化後のマクロブロックの数は、部分可変低解像度化処理前と同一の10となる。

また、この場合、例えば、基本サンプリング係数が1/2であると、部分可変低解像度化処理後の視差画像の2,3，5、および6番目のマクロブロックのサブサンプリング係数は2となる。また、このマクロブロックのサブサンプリングフラグは、部分可変低解像度化処理後の解像度が基本となる解像度ではないことを表す1となる。一方、部分可変低解像度化処理後の視差画像の1,4、および7番目のマクロブロックのサブサンプリング係数は1となり、サブサンプリングフラグは0となる。従って、解像度情報には、1,4、および7番目のマクロブロックのサブサンプリング係数は含まれない。

［符号化装置の処理の説明］
図２０の符号化装置２００の符号化処理は、図７のステップＳ１９の部分低解像度化処理の代わりに部分可変低解像度化処理を行う点、および、ステップＳ２０で生成される視差画像情報が解像度情報からなる点を除いて、図６および図７に示した符号化処理と同様である。従って、部分可変低解像度化処理についてのみ説明する。

図２４は、図２０の符号化装置２００の部分可変低解像度化処理を説明するフローチャートである。なお、図２４の部分可変低解像度化処理は、視差画像ごとに行われる。

図２４のステップＳ１２０において、部分可変低解像度化部２０１の境界位置検出部２１１、解像度決定部２１３、および解像度部分変換部２１４（図２１）は、図２０の視差画像生成部５３から供給される視差画像を取得する。

ステップＳ１２１において、解像度決定部２１３は、基本サンプリング係数を生成し、解像度部分変換部２１４と解像度情報生成部２１５に供給する。以降のステップＳ１２２乃至Ｓ１２８の処理は、マクロブロック単位で行われる。

ステップＳ１２２において、境界位置検出部２１１は、ステップＳ１２１で取得された視差画像の現在の処理対象のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求める。

ステップＳ１２３において、境界位置検出部２１１は、ステップＳ１２２で求められた視差値の差分のうち、少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。ステップＳ１２３で少なくとも1つの視差値の差分が閾値より大きいと判定された場合、境界位置検出部２１１は、境界位置を検出したことを表す検出結果を境界情報生成部２１２に供給する。

そして、ステップＳ１２４において、境界情報生成部２１２は、境界位置検出部２１１から供給される検出結果に基づいて境界情報を1に設定し、解像度決定部２１３に供給する。

ステップＳ１２５において、解像度決定部２１３は、現在の処理対象のマクロブロックのサブサンプリング係数として1/基本サンプリング係数を生成し、サブサンプリングフラグとして1を生成する。即ち、解像度決定部２１３は、現在の処理対象のマクロブロックの部分可変低解像度化処理後の水平方向の解像度を、部分可変低解像度化処理前の水平方向の解像度と同一にする。そして、解像度決定部２１３は、生成されたサブサンプリング係数を解像度部分変換部２１４に供給し、サブサンプリング係数とサブサンプリングフラグを解像度情報生成部２１５に供給して、処理をステップＳ１２８に進める。

一方、ステップＳ１２３で全ての視差値の差分が所定の閾値より大きくはないと判定された場合、境界位置検出部２１１は、境界位置を検出していないことを表す検出結果を境界情報生成部２１２に供給する。

そして、ステップＳ１２６において、境界情報生成部２１２は、境界位置検出部２１１から供給される検出結果に基づいて境界情報を0に設定し、解像度決定部２１３に供給する。

ステップＳ１２７において、解像度決定部２１３は、視差画像の現在の処理対象のマクロブロック内の画素のうちの、同一の視差値に対応する画素の連続数に基づいて、そのマクロブロックのサブサンプリング係数とサブサンプリングフラグを生成する。

具体的には、解像度決定部２１３は、視差画像の現在の処理対象のマクロブロック内の画素のうちの、同一の視差値に対応する画素の連続数が多いほど、そのマクロブロックの部分可変低解像度化処理後の水平方向の解像度として小さい値を決定する。そして、解像度決定部２１３は、決定された解像度の、基本となる解像度に対する割合をサブサンプリング係数として求める。また、解像度決定部２１３は、そのサブサンプリング係数が1である場合、サブサンプリングフラグとして0を生成し、1以外である場合、サブサンプリングフラグとして1を生成する。

そして、解像度決定部２１３は、生成されたサブサンプリング係数を解像度部分変換部２１４に供給し、サブサンプリング係数とサブサンプリングフラグを解像度情報生成部２１５に供給して、処理をステップＳ１２８に進める。

ステップＳ１２８において、解像度部分変換部２１４は、解像度決定部２１３から供給される基本サンプリング係数およびサブサンプリング係数に基づいて、視差画像の現在の処理対象のマクロブロックの低解像度化を行う。そして、解像度部分変換部２１４は、低解像度化後の視差画像をエンコーダ２０３（図２０）に供給する。

ステップＳ１２９において、解像度情報生成部２１５は、解像度決定部２１３から供給される基本サンプリング係数、サブサンプリング係数、およびサンプリングフラグに基づいて、解像度情報を生成する。解像度情報生成部２１５は、生成された解像度情報を視差画像情報生成部２０２（図２０）に供給し、部分可変低解像度化処理を終了する。

以上のように、符号化装置２００は、補助画像の視差画像に対して部分可変低解像度化処理を行う。従って、符号化装置２００は、例えば、部分可変低解像度化処理後の視差画像の境界外領域の水平方向の解像度を、境界外領域内の同一の視差値に対応する画素の連続数が多いほど小さくすることにより、境界外領域に同一の視差値が多い視差画像の情報量を削減することができる。なお、同一の視差値が連続する領域では、解像度が比較的小さくされても高解像度化時の誤差が少ないため、後述する復号装置における高解像度化後の視差画像の画質への影響は少ない。

また、符号化装置２００は、部分可変低解像度化処理後の視差画像とともに解像度情報を送信する。従って、後述する復号装置は、解像度情報に基づいて、部分可変低解像度化処理後の視差画像を高解像度化することにより、部分可変低解像度化処理前の視差画像により近い視差画像を得ることができる。よって、復号装置は、部分可変低解像度化処理前の視差画像により近い視差画像のワーピング処理を行うことができる。その結果、復号装置において、視差画像のワーピング処理を正確に行うことができる。

［復号装置の構成例］
図２５は、図２０の符号化装置２００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図２５に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２５の復号装置２２０の構成は、主に、画像生成部１２７の代わりに画像生成部２２１が設けられている点が図９の構成と異なる。復号装置２２０は、符号化装置２００から送信される多重化ストリームを復号し、解像度情報に基づいて補助画像の視差画像を高解像度化し、ワーピング処理を行って多視点の画像を生成する。

具体的には、復号装置２２０の画像生成部２２１は、２Ｄ画像生成部１４１と３Ｄ画像生成部２４１により構成される。画像生成部２２１の３Ｄ画像生成部２４１は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および部分可変低解像度化処理後の補助画像の視差画像を用いて、画像情報、撮影情報、視差画像情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部２４１は、図９の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［３Ｄ画像生成部の詳細構成例］
図２６は、図２５の３Ｄ画像生成部２４１の詳細構成例を示すブロック図である。

図２６に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２６の３Ｄ画像生成部２４１の構成は、視差画像高解像度化部１６２の代わりに、視差画像高解像度化部２５１が設けられている点が図１０の構成と異なる。

視差画像高解像度化部２５１は、図１０の視差画像高解像度化部１６２と同様に、互換情報取得部１２６からの互換情報に基づいて、デコーダ１２２からの視差画像Ａ１’をそのまま視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

また、視差画像高解像度化部２５１は、高解像度化部として機能し、視差画像情報取得部１２５から供給される視差画像情報に含まれる解像度情報に基づいて、デコーダ１２２から供給される部分可変低解像度化処理後の補助画像の視差画像をそれぞれ高解像度化する。

具体的には、視差画像高解像度化部２５１は、解像度情報のうちのスライス単位で供給される基本サンプリング係数と、スライス以上の単位で供給されるサブサンプリング係数を保持する。また、視差画像高解像度化部２５１は、解像度情報のうちのマクロブロック単位で供給されるサブサンプリングフラグが0である場合、保持している基本サンプリング係数を読み出す。そして、視差画像高解像度化部２５１は、そのサブサンプリングフラグに対応するマクロブロックの解像度を、1/基本サンプリング係数倍に高解像度化する。一方、サブサンプリングフラグが1である場合、保持している基本サンプリング係数とサブサンプリング係数を読み出し、そのサブサンプリングフラグに対応するマクロブロックの解像度を、1/（基本サンプリング係数×サブサンプリング係数）倍に高解像度化する。

なお、部分可変低解像度化処理では、部分低解像度化処理と同様に、低解像度化によって高解像度化後の視差値が低解像度化前の視差値と大きく異なる境界位置に隣接する領域の視差値が低解像度化されない。従って、解像度情報に基づいて部分可変低解像度化処理後の視差画像を高解像度化することにより、高解像度化後の視差画像を部分可変低解像度化処理前の視差画像に近づけることができる。よって、解像度情報は、部分可変低解像度化処理後の視差画像から部分可変低解像度化処理前の視差画像を復元するための情報であるといえる。

視差画像高解像度化部２５１は、高解像度化の結果得られる互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

［復号装置の処理の説明］
図２５の復号装置２２０の復号処理は、図１８のステップＳ７０の多視点画像生成処理を除いて、図１８に示した復号処理と同様であるので、多視点画像生成処理についてのみ説明する。

図２７は、図２５の復号装置２２０の多視点画像生成処理を説明するフローチャートである。

図２７のステップＳ１４０において、３Ｄ画像生成部２４１の仮想視点位置決定部１６１（図２６）は、図１９のステップＳ９０の処理と同様に、視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６１は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６１は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

ステップＳ１４１において、視差画像高解像度化部２５１は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と部分可変低解像度化処理後の補助画像の視差画像を取得する。

ステップＳ１４２において、視差画像高解像度化部２５１は、視差画像情報取得部１２５から供給される視差画像に含まれる解像度情報に基づいて、ステップＳ１４１で取得された部分可変低解像度化処理後の補助画像の視差画像を高解像度化する。これにより、視差画像高解像度化部２５１は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部２５１は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、補助用デコーダ１３２から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

ステップＳ１４３乃至Ｓ１５０の処理は、図１９のステップＳ９３乃至Ｓ１００の処理と同様であるので、説明は省略する。

以上のように、復号装置２２０は、符号化装置２００から送信されてくる部分可変低解像度化処理後の視差画像を、解像度情報に基づいて高解像度化し、ワーピング処理の対象とする。従って、復号装置２２０は、ワーピング処理の対象の視差画像を、部分可変低解像度化処理前の視差画像に近づけることができる。その結果、視差画像のワーピング処理をより正確に行うことができる。

なお、第２実施の形態では、マクロブロック単位で部分可変低解像度化処理後の解像度が決定されたが、サブマクロブロック単位で決定されるようにしてもよい。

また、第１および第２実施の形態では、補助画像の視差画像Ｂ１’および視差画像Ｃ１’は個々に符号化されたが、視差画像Ｂ１’および視差画像Ｃ１’は多重化されて符号化されるようにしてもよい。

＜第３実施の形態＞
［符号化装置の第３実施の形態の構成例］
図２８は、本技術を適用した画像処理装置としての符号化装置の第３実施の形態の構成例を示すブロック図である。

図２８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２８の符号化装置３００の構成は、部分低解像度化部５４、視差画像情報生成部５８、エンコーダ５９の代わりに、低解像度化部３０１、視差画像情報生成部３０２、エンコーダ３０３が設けられている点が図１の構成と異なる。符号化装置３００は、補助画像の視差画像を低解像度化し、低解像度化後の視差画像から低解像度化前の視差画像の境界位置に隣接する領域の視差値を復元するための補間情報を伝送する。

具体的には、符号化装置３００の低解像度化部３０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の水平方向の解像度をそれぞれ1/2倍に低解像度化する。低解像度化部３０１は、図１の部分低解像度化部５４と同様に、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、画素単位またはマクロブロック単位で、境界位置を検出する。そして、低解像度化部３０１は、部分低解像度化部５４と同様に、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成する。

また、低解像度化部３０１は、境界情報、視差画像Ｂ１’、および低解像度化された視差画像Ｂ１’に基づいて、視差画像Ｂ１’の補間情報を生成する。同様に、低解像度化部３０１は、境界情報、視差画像Ｃ１’、および低解像度化された視差画像Ｃ１’に基づいて、視差画像Ｃ１’の補間情報を生成する。補間情報としては、例えば、低解像度化後の視差画像の高解像度化結果と低解像度化前の視差画像の、境界位置に隣接する領域どうしの視差値の差分、低解像度化後の視差画像の高解像度化結果から低解像度化前の視差画像の境界位置に隣接する領域の視差値を求めるための式に用いられる係数等がある。低解像度化部３０１は、低解像度化された視差画像Ｂ１’および視差画像Ｃ１’を所定の多重化方式で多重化し、その結果得られる多重化画像をエンコーダ３０３に供給する。

また、低解像度化部３０１は、視差画像Ｂ１’および視差画像Ｃ１’の補間情報と多重化方式を示す情報を視差画像情報生成部３０２に供給する。

視差画像情報生成部３０２は、低解像度化部３０１から供給される視差画像Ｂ１’および視差画像Ｃ１’の補間情報と多重化方式を示す情報などの視差画像に関する情報を、視差画像情報として生成し、エンコーダ３０３に供給する。

エンコーダ３０３は、互換用エンコーダ６１と補助用エンコーダ３１１により構成される。補助用エンコーダ３１１は、符号化部として機能し、画像変換部５２からの補助画像の多重化画像、視差画像生成部５３からの互換画像の視差画像Ａ１’、および低解像度化部３０１からの補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ３１１における符号化方式としては、AVC方式、MVC方式、MPEG2方式などを用いることができる。

また、補助用エンコーダ３１１は、符号化の結果得られる符号化画像に、画像情報生成部５５からの画像情報、互換情報生成部５６からの互換情報、撮影情報生成部５７からの撮影情報、および視差画像情報生成部３０２からの視差画像情報などを付加する。補助用エンコーダ３１１は、その結果得られる符号化ストリームを補助ストリームとして多重化部６０に供給する。

［低解像度化部の構成例］
図２９は、図２８の低解像度化部３０１の詳細構成例を示すブロック図である。

図２９に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２９の低解像度化部３０１の構成は、解像度部分変換部８３、部分変換情報生成部８４の代わりに、解像度変換部３２１、補間情報生成部３２２が設けられている点、および、多重化部３２３と多重化情報生成部３２４が新たに設けられている点が図２の構成と異なる。

低解像度化部３０１の解像度変換部３２１は、低解像度化部として機能し、図２８の視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の全領域の水平方向の解像度を、それぞれ1/2倍に低解像度化する。解像度変換部３２１は、低解像度化された視差画像Ｂ１’および視差画像Ｃ１’を、補間情報生成部３２２と多重化部３２３に供給する。

補間情報生成部３２２は、生成部として機能する。具体的には、補間情報生成部３２２は、境界情報生成部８２により生成された境界情報、解像度変換部３２１からの低解像度化された視差画像Ｂ１’、および視差画像生成部５３からの視差画像Ｂ１’に基づいて、視差画像Ｂ１’の補間情報を生成する。同様に、補間情報生成部３２２は、境界情報生成部８２により生成された境界情報、解像度変換部３２１からの低解像度化された視差画像Ｃ１’、および視差画像生成部５３からの視差画像Ｃ１’に基づいて、視差画像Ｃ１’の補間情報を生成する。補間情報生成部３２２は、生成された視差画像Ｂ１’および視差画像Ｃ１’の補間情報を図２８の視差画像情報生成部３０２に供給する。

多重化部３２３は、解像度変換部３２１から供給される低解像度化された視差画像Ｂ１’および視差画像Ｃ１’を、多重化情報生成部３２４から供給される所定の多重化方式で多重化し、その結果得られる多重化画像を図２８のエンコーダ３０３に供給する。

多重化情報生成部３２４は、ユーザからの入力等に基づいて、多重化部３２３による多重化の多重化方式を決定する。多重化情報生成部３２４は、決定された多重化方式を多重化部３２３に供給し、その多重化方式を示す情報を視差画像情報生成部３０２に供給する。

［符号化装置の処理の説明］
図２８の符号化装置３００の符号化処理は、図７のステップＳ１９の部分低解像度化処理の代わりに低解像度化処理を行う点、および、ステップＳ２０で生成される視差画像情報が補間情報および多重化方式を示す情報からなる点を除いて、図６および図７に示した符号化処理と同様である。従って、低解像度化処理についてのみ説明する。

図３０は、図２８の符号化装置３００の低解像度化処理を説明するフローチャートである。なお、図２８では、画素単位で境界情報が生成される場合の低解像度化処理について説明する。また、図２８のステップＳ２０１乃至Ｓ２０９の処理は、視差画像ごとに行われる。

図３０のステップＳ２０１において、低解像度化部３０１の境界位置検出部８１と解像度変換部３２１（図２９）は、図２８の視差画像生成部５３から供給される視差画像を取得する。

ステップＳ２０２乃至Ｓ２０６の処理は、図８のステップＳ４２乃至Ｓ４６の処理と同様であるので、説明は省略する。

ステップＳ２０７において、解像度変換部３２１は、ステップＳ２０１で取得された視差画像を低解像度化し、補間情報生成部３２２と多重化部３２３に供給する。

ステップＳ２０８において、補間情報生成部３２２は、境界情報生成部８２から供給される境界情報、解像度変換部３２１から供給される低解像度化された視差画像、およびステップＳ２０１で取得された視差画像に基づいて、補間情報を生成する。

ステップＳ２０９において、多重化情報生成部３２４は、視差画像Ｂ１’および視差画像Ｃ１’の多重化方式を決定する。多重化情報生成部３２４は、その多重化方式を多重化部３２３に供給するとともに、その多重化方式を示す情報を図２８の視差画像情報生成部３０２に供給する。

ステップＳ２１０において、多重化部３２３は、解像度変換部３２１から供給される低解像度化された視差画像Ｂ１’および視差画像Ｃ１’を、多重化情報生成部３２４から供給される多重化方式で多重化する。多重化部３２３は、その結果得られる多重化画像を図２８のエンコーダ３０３に供給し、低解像度化処理は終了する。

以上のように、符号化装置３００は、補助画像の視差画像を低解像度化し、低解像度化された視差画像と補間情報を送信する。従って、後述する復号装置は、補間情報に基づいて、低解像度化された視差画像を高解像度化することにより、低解像度化前の視差画像により近い視差画像を得ることができる。よって、復号装置は、境界情報に基づいて、低解像度化前の視差画像により近い視差画像のワーピング処理を行うことができる。その結果、復号装置において、視差画像のワーピング処理をより正確に行うことができる。

［復号装置の構成例］
図３１は、図２８の符号化装置３００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図３１に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３１の復号装置３５０の構成は、デコーダ１２２、画像生成部１２７の代わりに、デコーダ３５１、画像生成部３５２が設けられている点が図９の構成と異なる。復号装置３５０は、符号化装置３００から送信される多重化ストリームを復号し、補間情報に基づいて補助画像の視差画像を高解像度化し、ワーピング処理を行って多視点の画像を生成する。

具体的には、復号装置３５０のデコーダ３５１は、互換用デコーダ１３１と補助用デコーダ３６１により構成される。補助用デコーダ３６１は、図６の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ３６１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ３６１は、復号部として機能し、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図２８の補助用エンコーダ３１１に対応する方式で復号する。

補助用デコーダ３６１は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部３５２に供給する。また、補助用デコーダ３６１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ３６１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。

画像生成部３５２は、２Ｄ画像生成部１４１と３Ｄ画像生成部３７１により構成される。３Ｄ画像生成部３７１は、デコーダ３５１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部３７１は、図９の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［３Ｄ画像生成部の詳細構成例］
図３２は、図３１の３Ｄ画像生成部３７１の詳細構成例を示すブロック図である。

図３２に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３２の３Ｄ画像生成部３７１の構成は、視差画像高解像度化部１６２の代わりに視差画像高解像度化部３９２が設けられている点、および視差画像分離部３９１が新たに設けられている点が図１０の構成と異なる。

３Ｄ画像生成部３７１の視差画像分離部３９１は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ３５１から供給される互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部３９２に供給する。また、視差画像分離部３９１は、デコーダ３５１から供給される補助画像の視差画像の多重化画像を、視差画像情報取得部１２５から供給される視差画像情報に含まれる多重化方式を示す情報に基づいて分離する。そして、視差画像分離部３９１は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を視差画像高解像度化部３９２に供給する。

視差画像高解像度化部３９２は、視差画像分離部３９１から供給される互換画像の視差画像Ａ１’をそのまま視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

また、視差画像高解像度化部３９２は、高解像度化部として機能し、視差画像情報取得部１２５から供給される視差画像情報に含まれる補間情報に基づいて、視差画像分離部３９１から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。

具体的には、視差画像高解像度化部３９２は、視差画像分離部３９１から供給される視差画像の水平方向の解像度を1/2倍に高解像度化する。そして、視差画像高解像度化部３９２は、補間情報に基づいて、高解像度化された視差画像の、境界位置に隣接する領域の視差値を補正する。これにより、補正後の視差画像の、境界位置に隣接する領域の視差値は、低解像度化前の視差値と同一になる。

視差画像高解像度化部３９２は、高解像度化された視点画像Ｂ１と視点画像Ｃ１の視差画像を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

［復号装置の処理の説明］
図３１の復号装置３５０の復号処理は、図１８のステップＳ７０の多視点画像生成処理を除いて、図１８に示した復号処理と同様であるので、多視点画像生成処理についてのみ説明する。

図３３は、図３１の復号装置３５０の多視点画像生成処理の詳細を説明するフローチャートである。

図３３のステップＳ２３０において、３Ｄ画像生成部３７１の仮想視点位置決定部１６１（図３２）は、図１９のステップＳ９０の処理と同様に、視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６１は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６１は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

ステップＳ２３１において、視差画像分離部３９１は、補助用デコーダ３６１から供給される互換画像の視差画像Ａ１’と補助画像の視差画像の多重化画像を取得する。また、視差画像分離部３９１は、互換情報取得部１２６から供給される互換情報に基づいて、互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部３９２に供給する。

ステップＳ２３２において、視差画像分離部３９１は、視差画像情報取得部１２５から供給される視差画像情報に含まれる多重化方式を示す情報に基づいて、ステップＳ２３１で取得された補助画像の視差画像の多重化画像を分離する。視差画像分離部３９１は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１の視差画像を、視差画像高解像度化部３９２に供給する。

ステップＳ２３３において、視差画像高解像度化部３９２は、視差画像情報取得部１２５から供給される視差画像情報に含まれる補間情報に基づいて、視差画像分離部３９１から供給される補助画像の視差画像を、それぞれ高解像度化する。また、視差画像高解像度化部３９２は、視差画像分離部３９１から供給される互換画像の視差画像Ａ１’をそのまま視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

図３３のステップＳ２３４乃至Ｓ２４１の処理は、図１９のステップＳ９３乃至Ｓ１００の処理と同様であるので、説明は省略する。

以上のように、復号装置３５０は、符号化装置３００から送信されてくる低解像度化された視差画像を、補間情報に基づいて高解像度化し、ワーピング処理の対象とする。従って、復号装置３５０は、ワーピング処理の対象の視差画像を、低解像度化前の視差画像に近づけることができる。その結果、視差画像のワーピング処理をより正確に行うことができる。

なお、補間情報は、低解像度化後の視差画像から、低解像度化前の視差画像の境界位置に隣接する領域の視差値を復元するための情報であってもよい。この場合、視差画像高解像度化部３９２は、境界外領域のみを高解像度化し、境界位置に隣接する領域の高解像度化後の視差値を、低解像度化後の視差値と補間情報に基づいて生成する。

また、第１乃至第３実施の形態では、撮影される視点画像の視点数が3であったが、視点数はこれに限定されない。また、視点間距離は、撮影情報生成部５７により検出されるものとしたが、撮影部５１Ａ乃至５１Ｃから取得されるようにしてもよい。

さらに、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。

また、画像情報、撮影情報、視差画像情報、および互換情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像情報、および互換情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。

また、画像情報、撮影情報、視差画像情報、および互換情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。
＜第４実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。

CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。

これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。

なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。

また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

＜第５実施の形態＞
［テレビジョン装置の構成例］
図３６は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

＜第６実施の形態＞
［携帯電話機の構成例］
図３７は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

＜第７実施の形態＞
［記録再生装置の構成例］
図３８は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、エンコーダ９４３に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、復号側で視差画像のワーピング処理を正確に行うことができるように、低解像度化された視差画像を含む符号化ビットストリームを出力することができる。

＜第８実施の形態＞
［撮像装置の構成例］
図３９は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

５０ 符号化装置， ６０ 多重化部， ６２ 補助用エンコーダ， ８３ 解像度部分変換部， ８４ 部分変換情報生成部， １２０ 復号装置， １２１ 分離部， １２２ デコーダ， １６２ 視差画像高解像度化部， １６３，１６４ 視差画像ワーピング処理部， １６５，１６６ 視点画像ワーピング処理部， ２００ 符号化装置， ２１０ 補助用エンコーダ， ２１４ 解像度部分変換部， ２１５ 解像度情報生成部， ２２０ 復号装置， ２５１ 視差画像高解像度化部， ３００ 符号化装置， ３１１ 補助用エンコーダ， ３２１ 解像度変換部， ３２２ 補間情報生成部， ３５０ 復号装置， ３５１ デコーダ， ３９２ 視差画像高解像度化部

Claims (20)

1. デプス画像を低解像度化する低解像度化部と、
   前記低解像度化部により低解像度化された前記デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報を生成する生成部と、
   前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記復元情報とを伝送する伝送部と
   を備える画像処理装置。
2. 前記低解像度化部は、前記デプス画像の画素値が変化する位置である境界位置に隣接する領域以外の領域である境界外領域を低解像度化し、
   前記生成部は、前記低解像度化部により低解像度化されていない画素を表す情報を、前記復元情報として生成する
   請求項１に記載の画像処理装置。
3. 前記低解像度化部は、前記デプス画像の画素値が変化する位置である境界位置に隣接する領域以外の領域である境界外領域を、可変の解像度に低解像度化し、
   前記生成部は、前記低解像度化部により低解像度化された前記デプス画像の解像度を表す解像度情報を、前記復元情報として生成する
   請求項１に記載の画像処理装置。
4. 前記低解像度化部は、前記境界外領域の前記解像度がその境界外領域の同一の画素値の連続数に応じて変化するように、前記境界外領域を低解像度化する
   請求項３に記載の画像処理装置。
5. 前記解像度情報は、基本となる解像度を表す基本解像度情報と、低解像度化された前記デプス画像の解像度の、前記基本となる解像度に対する割合を表す割合情報と、低解像度化された前記デプス画像の解像度が前記基本となる解像度であるかを表す解像度識別情報とからなる
   請求項３に記載の画像処理装置。
6. 前記低解像度化部により低解像度化された前記デプス画像をブロック単位で符号化する符号化部
   をさらに備え、
   前記生成部は、前記割合情報および前記解像度識別情報を前記ブロック単位で生成し、
   前記伝送部は、前記符号化部により符号化された前記デプス画像と、前記基本解像度情報と、前記割合情報と、前記解像度識別情報とを伝送する
   請求項５に記載の画像処理装置。
7. 前記伝送部は、前記デプス画像の前記ブロックごとに、前記解像度識別情報を伝送する
   請求項６に記載の画像処理装置。
8. 前記低解像度化部は、前記デプス画像の全領域または一部の領域を低解像度化する
   請求項１に記載の画像処理装置。
9. 前記伝送部は、視点画像と、前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記復元情報とを伝送する
   請求項１に記載の画像処理装置。
10. 画像処理装置が、
    デプス画像を低解像度化する低解像度化ステップと、
    前記低解像度化ステップの処理により低解像度化された前記デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報を生成する生成ステップと、
    前記低解像度化ステップの処理により低解像度化された前記デプス画像と、前記生成ステップの処理により生成された前記復元情報とを伝送する伝送ステップと
    を含む画像処理方法。
11. 低解像度化されたデプス画像である低解像度デプス画像と、前記低解像度デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報とを受け取る受け取り部と、
    前記受け取り部により受け取られた前記復元情報に基づいて、前記低解像度デプス画像を高解像度化する高解像度化部と
    を備える画像処理装置。
12. 前記低解像度デプス画像は、前記デプス画像の画素値が変化する位置である境界位置に隣接する領域以外の領域である境界外領域が低解像度化された画像であり、
    前記復元情報は、前記低解像度デプス画像のうちの低解像度化されていない画素を表す情報であり、
    前記高解像度化部は、前記復元情報に基づいて、前記低解像度デプス画像のうちの前記境界外領域を高解像度化する
    請求項１１に記載の画像処理装置。
13. 前記低解像度デプス画像は、前記デプス画像の画素値が変化する位置である境界位置に隣接する領域以外の領域である境界外領域が、可変の解像度に低解像度化された画像であり、
    前記復元情報は、前記低解像度デプス画像の解像度を表す解像度情報である
    請求項１１に記載の画像処理装置。
14. 前記低解像度デプス画像は、前記境界外領域の解像度がその境界外領域の同一の画素値の連続数に応じて変化するように、前記境界外領域が低解像度化された画像である
    請求項１３に記載の画像処理装置。
15. 前記解像度情報は、基本となる解像度を表す基本解像度情報と、前記低解像度デプス画像の解像度の、前記基本となる解像度に対する割合を表す割合情報と、前記低解像度デプス画像の解像度が前記基本となる解像度であるかを表す解像度識別情報とからなる
    請求項１３に記載の画像処理装置。
16. 前記受け取り部により受け取られた前記デプス画像を復号する復号部
    をさらに備え、
    前記受け取り部は、ブロック単位で符号化された前記低解像度デプス画像と、前記基本解像度情報と、前記ブロック単位の前記割合情報と、前記ブロック単位の前記解像度識別情報とを受け取り、
    前記復号部は、前記受け取り部により受け取られた前記低解像度デプス画像を前記ブロック単位で復号し、
    前記高解像度化部は、前記解像度識別情報が、前記低解像度デプス画像の解像度が前記基本となる解像度であることを表す場合、前記基本解像度情報に基づいて、前記復号部により復号された前記低解像度デプス画像を高解像度化し、前記解像度識別情報が、前記低解像度デプス画像の解像度が前記基本となる解像度ではないことを表す場合、前記基本解像度情報と前記割合情報に基づいて、前記復号部により復号された前記低解像度デプス画像を高解像度化する
    請求項１５に記載の画像処理装置。
17. 前記受け取り部は、前記ブロック単位の前記解像度識別情報を受け取る
    請求項１６に記載の画像処理装置。
18. 前記低解像度デプス画像は、前記デプス画像の全領域または一部の領域が低解像度化された画像である
    請求項１１に記載の画像処理装置。
19. 仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記低解像度デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と
    前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像に基づいて、視点画像に対してワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部と
    をさらに備える
    請求項１１に記載の画像処理装置。
20. 画像処理装置が、
    低解像度化されたデプス画像である低解像度デプス画像と、前記低解像度デプス画像から低解像度化前の前記デプス画像を復元する際に用いる復元情報とを受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた前記復元情報に基づいて、前記低解像度デプス画像を高解像度化する高解像度化ステップと
    を含む画像処理方法。

Images