JP2011119906A

JP2011119906A - 画像処理装置および画像処理方法

Info

Publication number: JP2011119906A
Application number: JP2009274538A
Authority: JP
Inventors: Teruhiko Suzuki; 輝彦鈴木; Yoshitomo Takahashi; 良知高橋; Takuya Kitamura; 卓也北村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2011-06-16
Also published as: CN102088599A; US20110128355A1

Abstract

【課題】立体視画像を構成する多視点の画像が多重化されて符号化される場合に、復号時に多視点の画像の組を認識することができるようにする。
【解決手段】LRペアの画像データが符号化されて符号化ストリームが生成される。この符号化ストリームのうち、LRペアのうちのL画像の符号化データには、そのL画像のDPB出力時刻情報が付加され、R画像の符号化データにはDPB出力時刻情報が付加されずに符号化ストリームが伝送される。本発明は、例えば、立体視画像を処理する装置に適用することができる。
【選択図】図７

Description

本発明は、画像処理装置および画像処理方法に関し、特に、立体視画像を構成する多視点の画像が多重化されて符号化される場合に、復号時に多視点の画像の組を認識することができるようにした画像処理装置および画像処理方法に関する。

近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。

例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。

さらに、AVC (MPEG-4 part 10，ISO/IEC 14496-10，ITU-T H.264)符号化方式の標準化も行われている。この標準化は、ITU-TとISO/IECの間で共同で画像符号化方式の標準化を行うためのJVT(Joint Video Team)という団体で進められている。

AVCは、MPEG2やMPEG4と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。AVCは、MPEG2やMPEG4といった従来の符号化方式に比べ、符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

ところで、近年、立体視が可能な立体視画像の撮像技術および表示技術が進歩しているため、上述のような符号化の対象となる画像のコンテンツとして、２次元画像のコンテンツだけでなく、立体視画像のコンテンツも考えられている。立体視画像を構成する多視点の画像の符号化と復号の方法については、例えば、特許文献１に記載されている。

立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点の3D(Dimensional)画像（ステレオ画像）であり、3D画像の画像データは、左眼で観察される画像である左眼画像（以下、L(Left)画像ともいう）の画像データと、右眼で観察される画像である右眼画像（以下、R(Right)画像ともいう）の画像データとからなる。なお、以下では、説明を簡単にするため、立体視画像を構成する多視点の画像の一例として、視点の数が最も少ない２視点の3D画像を用いて説明する。

特開2008-182669号公報

3D画像の符号化データが、3D画像を構成するL画像およびR画像（以下、LRペアという）が時間方向に多重化されてAVC符号化方式で符号化された結果得られるビットストリームである場合、LRペアを構成するL画像とR画像の符号化データには、異なるDPB（Decoded Picture Buffer）出力時刻情報(dpb_output_delay)が付加される。なお、DPB出力時刻情報とは、DPBから復号結果を出力する時刻の情報である。

従って、復号装置では、ビットストリーム内のどの画像の符号化データとどの画像の符号化データがLRペアの符号化データであるのかを認識することができない。よって、立体視画像を表示することは困難である。

本発明は、このような状況に鑑みてなされたものであり、立体視画像を構成する多視点の画像が多重化されて符号化される場合に、復号時に多視点の画像の組を認識することができるようにするものである。

本発明の第１の側面の画像処理装置は、立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化手段と、前記符号化ストリームのうち、前記多視点の画像のうちのいずれか１つの画像の符号化データには、その画像の復号結果の出力時刻を表す出力時刻情報を連結し、その画像以外の画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する伝送手段とを備える画像処理装置である。

本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。

本発明の第１の側面においては、立体視画像を構成する多視点の画像の画像データが符号化されて符号化ストリームが生成され、符号化ストリームのうち、多視点の画像のうちのいずれか１つの画像の符号化データには、その画像の復号結果の出力時刻を表す出力時刻情報が連結され、その画像以外の画像の符号化データには出力時刻情報が連結されずに符号化ストリームが伝送される。

本発明の第２の側面の画像処理装置は、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリームと、その符号化ストリームのうちの、前記多視点の画像のうちのいずれか１つの画像の符号化データに連結された、その画像の復号結果の出力時刻を表す出力時刻情報とを受け取る受け取り手段と、前記受け取り手段により受け取られた前記符号化ストリームを復号して画像データを生成する復号手段と、前記受け取り手段により受け取られた前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する画像の画像データと、前記出力時刻情報に対応しない画像の画像データを、前記多視点の画像の画像データとして出力する出力手段とを備える画像処理装置である。

本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理装置に対応する。

本発明の第２の側面においては、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリームと、その符号化ストリームのうちの、多視点の画像のうちのいずれか１つの画像の符号化データに連結された、その画像の復号結果の出力時刻を表す出力時刻情報とが受け取られ、受け取られた符号化ストリームが復号されて画像データが生成され、受け取られた出力時刻情報に基づいて、復号により生成された、出力時刻情報に対応する画像の画像データと、出力時刻情報に対応しない画像の画像データが、多視点の画像の画像データとして出力される。

なお、第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

本発明の第１の側面によれば、立体視画像を構成する多視点の画像を多重化して符号化した符号化ストリームを復号する装置に、多視点の画像の組を通知し、多視点の画像の組を認識させることができる。

本発明の第２の側面によれば、立体視画像を構成する多視点の画像を多重化して符号化した符号化ストリームを復号する場合に、多視点の画像の組を認識することができる。

本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。図１のビデオ符号化装置の構成例を示すブロック図である。符号化システムにおける撮像タイミングについて説明する図である。符号化システムにおける他の撮像タイミングについて説明する図である。ビデオ合成回路による多重化を説明する図である。図２の符号化回路の構成例を示すブロック図である。ビットストリームの例を説明する図である。 DPB出力時刻情報のシンタックスの例を示す図である。可逆符号化部によるDPB出力時刻情報付加処理を説明するフローチャートである。本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。図１０の合成部から出力される多重化信号を説明する図である。復号システムの構成例を示すブロック図である。図１２のビデオ復号装置の構成例を示すブロック図である。図１３の復号回路の構成例を示すブロック図である。画像並べ替えバッファによるLRペア認識処理を説明するフローチャートである。 DPB出力時刻情報の他の付加方法を説明する図である。コンピュータの一実施の形態の構成例を示すブロック図である。本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。本発明を適用した携帯電話機の主な構成例を示すブロック図である。本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。本発明を適用したカメラの主な構成例を示すブロック図である。

＜一実施の形態＞
［符号化システムの一実施の形態の構成例］
図１は、本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。

図１の符号化システム１０は、左眼用撮像装置１１、右眼用撮像装置１２、およびビデオ符号化装置１３により構成される。

左眼用撮像装置１１は、L画像を撮像する撮像装置であり、右眼用撮像装置１２は、R画像を撮像する撮像装置である。左眼用撮像装置１１から右眼用撮像装置１２には同期信号が入力され、左眼用撮像装置１１と右眼用撮像装置１２は、互いに同期する。左眼用撮像装置１１と右眼用撮像装置１２は、所定の撮像タイミングで撮像を行う。

ビデオ符号化装置１３には、左眼用撮像装置１１により撮像されたL画像の画像信号が入力されるとともに、右眼用撮像装置１２により撮像されたR画像の画像信号が入力される。ビデオ符号化装置１３は、LRペアごとにL画像の画像信号とR画像の画像信号を時間方向に多重化し、その結果得られる多重化信号に対してAVC符号化方式に準拠した符号化を行う。ビデオ符号化装置１３は、符号化の結果得られる符号化ストリームをビットストリームとして出力する。

[ビデオ符号化装置の構成例]
図２は、図１のビデオ符号化装置１３の構成例を示すブロック図である。

図２のビデオ符号化装置１３は、ビデオ合成回路２１と符号化回路２２により構成される。

ビデオ合成回路２１は、LRペアごとに、左眼用撮像装置１１により撮像されたL画像の画像信号と、右眼用撮像装置１２により撮像されたR画像の画像信号を、時間方向に多重化し、その結果得られる多重化信号を符号化回路２２に供給する。

符号化回路２２は、ビデオ合成回路２１から入力される多重化信号を、AVC符号化方式に準拠して符号化する。なお、このとき、符号化回路２２は、LRペアのうちの符号化順が前の画像の符号化データには、DPB出力時刻情報を付加し、後ろの画像の符号化データには、DPB出力時刻情報を付加しない。符号化回路２２は、LRペアのうちの符号化順が前の画像の符号化データにDPB出力時刻情報が付加された符号化ストリームをビットストリームとして出力する。

なお、以下では、LRペアの符号化順が、L画像、R画像の順であるものとして説明する。

[撮像タイミングの説明]
図３および図４は、符号化システム１０における撮像タイミングについて説明する図である。

符号化システム１０において、左眼用撮像装置１１と右眼用撮像装置１２は、図３に示すように、LRペアを同一のタイミングで撮像したり、図４に示すように、LRペアを連続する異なるタイミングで撮像したりする。

[L画像とR画像の多重化の説明]
図５は、ビデオ合成回路２１による多重化を説明する図である。

図３や図４で説明したタイミングで撮像されたL画像の画像信号とR画像の画像信号は、パラレルにビデオ合成回路２１に供給される。ビデオ合成回路２１は、LRペアごとにL画像の画像信号とR画像の画像信号を時間方向に多重化する。これにより、ビデオ合成回路２１から出力される多重化信号は、図５に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。

[符号化回路の構成例]
図６は、図２の符号化回路２２の構成例を示すブロック図である。

符号化回路２２のA／D変換部４１は、ビデオ合成回路２１から供給されるアナログ信号である多重化信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。

画像並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出すことで、符号化回路２２の出力であるビットストリームのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。

画像並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。

演算部４３は、画像並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を減算し、直交変換部４４に供給する。

直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。なお、直交変換部４４で行われる離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であってもよい。また、離散コサイン変換の変換方法として、４×４ブロックサイズで整数係数変換を行う方法が用いられてもよい。

量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。

可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ４７に供給する。

蓄積バッファ４７は、可逆符号化部４６からの符号化データを一時記憶し、所定のレートでビットストリームとして伝送する。

レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。

量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。

逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。

演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ５２に供給する。

フレームメモリ５２は、演算部５１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５３や動き予測／動き補償部５４に供給する。

イントラ予測部５３は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５２に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。

イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５３から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５３から供給される予測画像が減算される。

また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。

一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５４に供給される。

動き予測／動き補償部５４は、フレームメモリ５２から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５４は、フレームメモリ５２からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。

そして、動き予測／動き補償部５４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。なお、動き補償の際のブロックサイズは固定であっても可変であってもよい。

演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。

なお、イントラ予測部５３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部５３から可逆符号化部４６に供給される。また、動き予測／動き補償部５４で得られる動きベクトル、及び、動き予測／動き補償部５４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部５４から可逆符号化部４６に供給される。

さらに、図示せぬ符号化回路２２全体を制御する制御部により生成されたDPB出力時刻情報も、可逆符号化部４６に供給される。

可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。さらに、可逆符号化部４６では、DPB出力時刻情報が、L画像の符号化データに付加される。

[ビットストリームの説明]
図７は、符号化回路２２から出力されるビットストリームの例を説明する図である。

図７に示すように、符号化回路２２では、LRペアごとにL画像の画像データとR画像の画像データが時間方向に多重化されて、L画像、R画像の順に符号化される。そして、符号化の結果得られるL画像の符号化データにだけDBP出力時刻情報が付加され、R画像の符号化データにはDBP出力時刻情報は付加されない。

従って、このようなビットストリームを復号するビデオ復号装置は、DBP出力時刻情報が付加されている符号化データの復号結果をL画像の画像データと認識し、その符号化データの直後に復号されたDBP出力時刻情報が付加されていない符号化データの復号結果を、そのL画像と同一のLRペアを構成するR画像の画像データと認識することができる。即ち、ビデオ復号装置は、LRペアを認識することができる。

例えば、ビデオ復号装置は、図７に示すように、第１番目の画像の符号化データにDPB出力時刻情報が付加されており、第２番目の画像の符号化データにDPB出力時刻情報が付加されていない場合、第１番目の画像の符号化データと第２番目の画像の符号化データを、LRペアの符号化データと認識することができる。その結果、3D画像を表示することができる。

[DPB出力時刻情報のシンタックスの例]
図８は、DPB出力時刻情報のシンタックスの例を示す図である。

図８の上から４段落目がDPB出力時刻情報(dpb_output_delay)である。

[符号化システムの処理の説明]
図９は、符号化システム１０の可逆符号化部４６（図６）によるDPB出力時刻情報付加処理を説明するフローチャートである。このDBP出力時刻情報付加処理は、例えば、可逆符号化部４６が各ピクチャの符号化データを生成したとき、開始される。

図９のステップＳ１１において、可逆符号化部４６は、生成された符号化データがL画像の符号化データであるかどうかを判定する。ステップＳ１１で、生成された符号化データがL画像の符号化データであると判定された場合、ステップＳ１２において、その符号化データに図示せぬ制御部により生成されたDPB出力時刻情報を付加し、処理を終了する。

一方、ステップＳ１１で、生成された符号化データがL画像の符号化データではないと判定された場合、即ち、生成された符号化データがR画像の符号化データである場合、ステップＳ１２の処理は行われず、処理は終了する。即ち、R画像の符号化データにはDPB出力時刻情報が付加されない。

なお、図１の符号化システム１０では、ビデオ合成回路２１がビデオ符号化装置１３に設けられたが、ビデオ符号化装置１３の外部に設けられるようにしてもよい。この場合、左眼用撮像装置１１で撮像されたL画像の画像信号と右眼用撮像装置１２で撮像されたR画像の画像信号がビデオ合成回路２１で多重化され、多重化信号がビデオ符号化装置１３に入力される。

[符号化システムの一実施の形態の他の構成例]
図１０は、本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。

図１０の符号化システム１０は、撮像装置１０１とビデオ符号化装置１０２により構成される。符号化システム１０では、１つの撮像装置１０１でL画像とR画像が撮像され、L画像の画像信号とR画像の画像信号が多重化されてシリアルにビデオ符号化装置１０２に入力される。

具体的には、撮像装置１０１は、撮像部１１１、分岐部１１２、２つの撮像処理部１１３および撮像処理部１１４、並びに合成部１１５により構成される。撮像部１１１は、撮像処理部１１３の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１３に供給する。また、撮像部１１１は、撮像処理部１１４の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１４に供給する。

撮像処理部１１３は、撮像部１１１を制御して、撮像処理部１１４の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１３は、その結果分岐部１１２から供給される画像信号を合成部１１５に供給する。

撮像処理部１１４は、撮像部１１１を制御して、撮像処理部１１３の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１４は、その結果分岐部１１２から供給される画像信号をR画像の画像信号として合成部１１５に供給する。

合成部１１５は、撮像処理部１１３から供給されるL画像の画像信号と撮像処理部１１４から供給されるR画像の画像信号を、LRペアごとに時間方向に多重化してビデオ符号化装置１０２に出力する。

ビデオ符号化装置１０２は、図２の符号化回路２２により構成され、合成部１１５から供給される多重化信号に対して、AVC符号化方式に準拠した符号化を行う。

図１１は、合成部１１５から出力される多重化信号を説明する図である。

合成部１１５では、撮像処理部１１３の制御により撮像されたL画像の画像信号と撮像処理部１１４の制御により撮像されたR画像の画像信号が、LRペアごとに時間方向に多重化される。その結果、合成部１１５から出力される多重化信号は、図１１に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。

[復号システムの構成例]
図１２は、上述した符号化システム１０から出力されたビットストリームを復号する復号システムの構成例を示すブロック図である。

図１２の復号システム２００は、ビデオ復号装置２０１と３Ｄビデオ表示装置２０２により構成される。

ビデオ復号装置２０１は、符号化システム１０から出力されたビットストリームを受け取り、AVC符号化方式に対応する方式で復号する。ビデオ復号装置２０１は、その結果得られるアナログ信号である画像信号を、LRペアごとに3Dビデオ表示装置２０２に出力する。

3Dビデオ表示装置２０２は、ビデオ復号装置２０１からLRペアごとに入力されるL画像の画像信号とR画像の画像信号に基づいて、3D画像を表示する。これにより、ユーザは、立体画像を見ることができる。

なお、3Dビデオ表示装置２０２としては、LRペアを同一のタイミングで表示する表示装置を用いることもできるし、LRペアを連続する異なるタイミングで表示する表示装置を用いることもできる。また、LRペアを連続する異なるタイミングで表示する表示装置としては、L画像とR画像をラインごとに交互にインタリーブし、フィールド単位で交互に表示する表示装置、L画像とR画像をフレームレートの高い画像としてフレーム単位で交互に表示する表示装置などがある。

[ビデオ復号装置の構成例]
図１３は、図１２のビデオ復号装置２０１の構成例を示すブロック図である。

図１３に示すように、ビデオ復号装置２０１は、復号回路２１１、フレームメモリ２１２、画像サイズ変換回路２１３、フレームレート変換回路２１４、D/A(Digital/Analog)変換回路２１５、およびコントローラ２１６により構成される。

復号回路２１１は、符号化システム１０から出力されたビットストリームを受け取り、AVC符号化方式に対応する方式で復号する。復号回路２１１は、ビットストリームに含まれるDPB出力時刻情報に基づいて、復号の結果得られるディジタル信号である画像データから、LRペアの画像データを認識する。また、復号回路２１１は、DPB出力時刻情報に基づいて、復号の結果得られるLRペアの画像データをフレームメモリ２１２に供給する。

フレームメモリ２１２は、復号回路２１１から供給される画像データを記憶する。フレームメモリ２１２は、コントローラ２１６の制御にしたがって、記憶しているL画像の画像データとR画像の画像データをLRペアごとに読み出し、画像サイズ変換回路２１３に出力する。

画像サイズ変換回路２１３は、フレームメモリ２１２から供給されるLRペアの画像データの画像サイズを、それぞれ所定のサイズに拡大または縮小し、フレームレート変換回路２１４に供給する。

フレームレート変換回路２１４は、コントローラ２１６の制御にしたがって、L画像およびR画像のフレームレートが所定のレートになるように、画像サイズ変換回路２１３から供給されるLRペアの画像データの出力タイミングを制御しながら、LRペアの画像データを出力する。

D/A変換回路２１５は、フレームレート変換回路２１４から出力されたLRペアの画像データに対してそれぞれD/A変換を行い、その結果得られるアナログ信号である画像信号を3Dビデオ表示装置２０２に出力する。

コントローラ２１６は、フレームメモリ２１２を制御し、LRペアごとに画像データを読み出させる。また、コントローラ２１６は、フレームレート変換回路２１４を制御し、画像サイズ変換回路２１３から出力されるL画像およびR画像の画像データのフレームレートを所定のフレームレートに変換して出力させる。

[復号回路の構成例]
図１４は、図１３の復号回路２１１の構成例を示すブロック図である。

蓄積バッファ２７１は、符号化システム１０からビットストリームを受け取り、一時記憶する。

可逆符号復号部２７２は、蓄積バッファ２７１からのビットストリームに対して、そのビットストリームのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。

可逆符号復号部２７２で得られる量子化値は、逆量子化部２７３に供給され、イントラ予測モードは、イントラ予測部２７７に供給される。また、可逆符号復号部２７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部２７８に供給される。

さらに、可逆符号復号部２７２は、ビットストリームからDPB出力時刻情報を抽出し、画像並べ替えバッファ２７９に供給する。

逆量子化部２７３、逆直交変換部２７４、演算部２７５、フレームメモリ２７６、イントラ予測部２７７、及び、動き予測／動き補償部２７８は、図６の逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、及び、動き予測／動き補償部５４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。

すなわち、逆量子化部２７３は、可逆符号復号部２７２からの量子化値を、変換係数に逆量子化し、逆直交変換部２７４に供給する。

逆直交変換部２７４は、ビットストリームのフォーマットに基づき、逆量子化部２７３からの変換係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、演算部２７５に供給する。

演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部２７７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部２７８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。

演算部２７５で得られた復号画像は、必要に応じて、フレームメモリ２７６に供給されるとともに、画像並べ替えバッファ２７９に供給される。

フレームメモリ２７６は、演算部２７５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２７７や動き予測／動き補償部２７８に供給する。

イントラ予測部２７７は、演算部２７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ２７６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部２７５に供給する。

すなわち、イントラ予測部２７７は、可逆符号復号部２７２からのイントラ予測モードに従い、演算部２７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２７６に記憶されている画素から予測画像を生成し、演算部２７５に供給する。

一方、動き予測／動き補償部２７８は、演算部２７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部２７５に供給する。

すなわち、動き予測／動き補償部２７８は、可逆符号復号部２７２からのピクチャタイプ等に従い、フレームメモリ２７６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２７８は、フレームメモリ２７６からの参照画像に対して、可逆符号復号部２７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部２７５に供給する。

演算部２７５では、以上のようにして、イントラ予測部２７７、又は、動き予測／動き補償部２７８から供給される予測画像を、逆直交変換部２７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。

画像並べ替えバッファ２７９は、可逆符号復号部２７２からDPB出力時刻情報が供給されるかどうかによって、演算部２７５からのピクチャ（復号画像）の画像データがL画像の画像データであるか、または、R画像の画像データであるかを認識する。また、画像並べ替えバッファ２７９は、演算部２７５からのピクチャの画像データを一時記憶する。

画像並べ替えバッファ２７９は、可逆符号復号部２７２から供給されるDPB出力時刻情報に基づいて、記憶しているピクチャの画像データのうちの、そのDPB出力時刻情報が付加されたL画像のピクチャと、符号化順でそのピクチャの直後のDPB出力時刻情報が付加されていないR画像のピクチャの画像データを順に読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、LRペアごとにフレームメモリ２１２（図１３）に出力する。

ここで、図１４の復号装置において、画像並び替えバッファ２７９、および、フレームメモリ２７６が、DPBに相当する。

[復号回路の処理の説明]
図１５は、復号回路２１１の画像並べ替えバッファ２７９（図１４）によるLRペア認識処理を説明するフローチャートである。このLRペア認識処理は、例えば、演算部２７５から復号の結果得られる各ピクチャの画像データが入力されたとき、開始される。

図１５のステップＳ２１において、画像並べ替えバッファ２７９は、演算部２７５から供給されるピクチャの画像データの復号前の符号化データにDPB出力時刻情報が付加されていたかどうかを判定する。具体的には、画像並べ替えバッファ２７９は、可逆符号復号部２７２からDPB出力時刻情報が供給されたかどうかを判定する。

ステップＳ２１で、符号化データにDPB出力時刻情報が付加されていたと判定された場合、ステップＳ２２において、画像並べ替えバッファ２７９は、演算部２７５から供給された画像データをL画像の画像データと認識し、処理を終了する。

ステップＳ２１で、符号化データにDPB出力時刻情報が付加されていないと判定された場合、ステップＳ２３において、画像並べ替えバッファ２７９は、演算部２７５から供給された画像データをR画像の画像データと認識し、処理を終了する。

以上のようにして認識されたL画像の画像データと、符号化順がその画像データの直後のR画像の画像データは、LRペアの画像データとしてフレームメモリ２１２に出力される。

以上のように、符号化システム１０は、LRペアのうちの符号化順が前のL画像の符号化データにだけDPB出力時刻情報を付加する。従って、復号システム２００は、DPB出力時刻情報が付加された符号化データの復号結果と、その符号化データより後に復号されたDPB出力時刻情報が付加されていない符号化データの復号結果が、LRペアの復号結果であることを認識することができる。その結果、復号システム２００は、3D画像を表示することができる。

なお、上述した説明では、LRペアの符号化順が予め決められているものとしたが、LRペアの符号化順は可変にすることもできる。この場合、例えば、LRペアの符号化順を表す符号化順情報が符号化データに付加され、画像並べ替えバッファ２７９は、DPB出力時刻情報の取得の有無と符号化順情報に基づいて、演算部２７５からのピクチャがL画像のピクチャであるか、R画像のピクチャであるかを認識する。

また、DPB出力時刻情報が付加される画像は、LRペアのうちの符号化順が所定の順位の画像であればよい。即ち、上述した説明のように符号化順が前の画像であってもよいし、後ろの画像であってもよい。符号化順が後ろの画像にDPB出力時刻情報が付加される場合、復号システム２００では、DPB出力時刻情報が付加された符号化データの復号結果と、その符号化データより前に復号されたDPB出力時刻情報が付加されていない符号化データの復号結果が、LRペアの復号結果であると認識される。

[DPB出力時刻情報の他の付加方法]
上述した説明では、DPB出力時刻情報がL画像の符号化データにだけ付加されたが、図１６に示すように、DPB出力時刻情報は、L画像の符号化データとR画像の符号化データの両方に付加されるようにしてもよい。この場合、ビデオ符号化装置は、L画像の符号化データにL画像であることを示すフラグを付加したり、LRペアの符号化データにLRペアであることを示す情報を付加したりすることで、ビデオ復号装置にLRペアを認識させることができる。

なお、本実施の形態では、DPB出力時刻情報や符号化順情報が符号化データに付加(記述)されたが、DPB出力時刻情報や符号化順情報は画像データ(又はビットストリーム)と連結されていればよい。

ここで、「連結」とは、画像データ(又はビットストリーム)とDPB出力時刻情報とが互いにリンクされている状態を指す。従って、連結対象の画像データとDPB出力時刻情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)とDPB出力時刻情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)とDPB出力時刻情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。

[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM６０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送されたり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送されたりすることができる。

コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。

CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。

これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。

なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した符号化システム１０や復号システム２００は、任意の電子機器に適用することができる。以下にその例について説明する。

［テレビジョン受像機の構成例］
図１８は、本発明を適用した復号システムを用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１８のテレビジョン受像機７００は、上述した符号化システム１０で得られるビットストリームを、ディジタル放送の放送信号やコンテンツデータとして取得し、復号システム２００と同様の処理を行って立体視画像を表示する。

テレビジョン受像機７００の地上波チューナ７１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、画像信号を取得し、それをビデオデコーダ７１５に供給する。ビデオデコーダ７１５は、地上波チューナ７１３から供給された映像信号に対してデコード処理を施し、得られたディジタルのコンポーネント信号を映像信号処理回路７１８に供給する。

映像信号処理回路７１８は、ビデオデコーダ７１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路７１９に供給する。

グラフィック生成回路７１９は、表示パネル７２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路７２０に供給する。また、グラフィック生成回路７１９は、ユーザにより項目の選択などに利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路７２０に供給するといった処理も適宜行う。

パネル駆動回路７２０は、グラフィック生成回路７１９から供給されたデータに基づいて表示パネル７２１を駆動し、番組の映像や上述した各種の画面を表示パネル７２１に表示させる。

表示パネル７２１は、パネル駆動回路７２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機７００は、音声A/D（Analog/Digital)変換回路７１４、音声信号処理回路７２２、エコーキャンセル／音声合成回路７２３、音声増幅回路７２４、およびスピーカ７２５も有する。

地上波チューナ７１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ７１３は、取得した音声信号を音声A/D変換回路７１４に供給する。

音声A/D変換回路７１４は、地上波チューナ７１３から供給された音声信号に対してA/D変換処理を施し、得られたディジタルの音声信号を音声信号処理回路７２２に供給する。

音声信号処理回路７２２は、音声A/D変換回路７１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、音声信号処理回路７２２から供給された音声データを音声増幅回路７２４に供給する。

音声増幅回路７２４は、エコーキャンセル／音声合成回路７２３から供給された音声データに対してD/A変換処理、増幅処理を施し、音声を所定の音量に調整してスピーカ７２５から出力させる。

さらに、テレビジョン受像機７００は、デジタルチューナ７１６およびMPEGデコーダ７１７も有する。

デジタルチューナ７１６は、ディジタル放送（地上ディジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）ディジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ７１７に供給する。

MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ７１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路７２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路７１８に供給する。また、MPEGデコーダ７１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU７３２に供給する。

MPEGデコーダ７１７から供給された映像データは、ビデオデコーダ７１５から供給された映像データの場合と同様に、映像信号処理回路７１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路７１９において、生成された映像データ等が適宜重畳され、パネル駆動回路７２０を介して表示パネル７２１に供給され、その画像が表示される。

テレビジョン受像機７００は、このように映像パケットをデコードして表示パネル７２１に画像を表示させる処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、番組のLRペアを認識し、番組の立体視画像を表示することができる。

MPEGデコーダ７１７から供給された音声データは、音声A/D変換回路７１４から供給された音声データの場合と同様に、音声信号処理回路７２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路７２３を介して音声増幅回路７２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ７２５から出力される。

また、テレビジョン受像機７００は、マイクロホン７２６、およびA/D変換回路７２７も有する。

A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、テレビジョン受像機７００のユーザ（ユーザＡ）の音声のデータがA/D変換回路７２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路７２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。

さらに、テレビジョン受像機７００は、音声コーデック７２８、内部バス７２９、SDRAM（Synchronous Dynamic Random Access Memory)７３０、フラッシュメモリ７３１、CPU７３２、USB（Universal Serial Bus) I/F７３３、およびネットワークI/F７３４も有する。

A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データを音声コーデック７２８に供給する。

音声コーデック７２８は、A/D変換回路７２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス７２９を介してネットワークI/F７３４に供給する。

ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F７３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック７２８から供給された音声データを送信する。また、ネットワークI/F７３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子７３５を介して受信し、それを、内部バス７２９を介して音声コーデック７２８に供給する。

音声コーデック７２８は、ネットワークI/F７３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、音声コーデック７２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。

SDRAM７３０は、CPU７３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ７３１は、CPU７３２により実行されるプログラムを記憶する。フラッシュメモリ７３１に記憶されているプログラムは、テレビジョン受像機７００の起動時などの所定のタイミングでCPU７３２により読み出される。フラッシュメモリ７３１には、ディジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ７３１には、CPU７３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ７３１は、例えばCPU７３２の制御により、そのMPEG-TSを、内部バス７２９を介してMPEGデコーダ７１７に供給する。

MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。その結果、例えば、コンテンツデータのLRペアを認識し、コンテンツデータに対応する立体視画像を表示することができる。

以上のようにテレビジョン受像機７００は、立体視画像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ７１７を用いてデコードし、その立体視画像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機７００は、リモートコントローラ７５１から送信される赤外線信号を受光する受光部７３７も有する。

受光部７３７は、リモートコントローラ７５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU７３２に出力する。

CPU７３２は、フラッシュメモリ７３１に記憶されているプログラムを実行し、受光部７３７から供給される制御コードなどに応じてテレビジョン受像機７００の全体の動作を制御する。CPU７３２とテレビジョン受像機７００の各部は、図示せぬ経路を介して接続されている。

USB I/F７３３は、USB端子７３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機７００の外部の機器との間でデータの送受信を行う。ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

［携帯電話機の構成例］
図１９は、本発明を適用した符号化システムおよび復号システムを用いる携帯電話機の主な構成例を示すブロック図である。

図１９の携帯電話機８００は、上述した符号化システム１０と同様の処理を行い、立体視画像を表示するためのビットストリームを得る。また、携帯電話機８００は、上述した符号化システム１０で得られるビットストリームを受信して、復号システム２００と同様の処理を行い、立体視画像を表示する。

図１９の携帯電話機８００は、各部を統括的に制御するようになされた主制御部８５０、電源回路部８５１、操作入力制御部８５２、画像エンコーダ８５３、カメラI/F部８５４、LCD制御部８５５、画像デコーダ８５６、多重分離部８５７、記録再生部８６２、変復調回路部８５８、および音声コーデック８５９を有する。これらは、バス８６０を介して互いに接続されている。

また、携帯電話機８００は、操作キー８１９、CCD（Charge Coupled Devices）カメラ８１６、液晶ディスプレイ８１８、記憶部８２３、送受信回路部８６３、アンテナ８１４、マイクロホン（マイク）８２１、およびスピーカ８１７を有する。

電源回路部８５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機８００を動作可能な状態に起動する。

携帯電話機８００は、CPU、ROMおよびRAM等でなる主制御部８５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機８００は、マイクロホン（マイク）８２１で集音した音声信号を、音声コーデック８５９によってディジタル音声データに変換し、これを変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機８００は、アンテナ８１４で受信した受信信号を送受信回路部８６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部８５８でスペクトラム逆拡散処理し、音声コーデック８５９によってアナログ音声信号に変換する。携帯電話機８００は、その変換して得られたアナログ音声信号をスピーカ８１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機８００は、操作キー８１９の操作によって入力された電子メールのテキストデータを、操作入力制御部８５２において受け付ける。携帯電話機８００は、そのテキストデータを主制御部８５０において処理し、LCD制御部８５５を介して、画像として液晶ディスプレイ８１８に表示させる。

また、携帯電話機８００は、主制御部８５０において、操作入力制御部８５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機８００は、その電子メールデータを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機８００は、復元された電子メールデータを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示する。

なお、携帯電話機８００では、受信した電子メールデータを、記録再生部８６２を介して、記憶部８２３に記憶させることも可能である。

この記憶部８２３は、書き換え可能な任意の記憶媒体である。記憶部８２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機８００は、撮像によりCCDカメラ８１６で画像データを生成する。CCDカメラ８１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部８５４を介して、画像エンコーダ８５３で、AVC符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機８００は、このように撮像により生成された画像データを圧縮符号化する処理として、上述したビデオ符号化装置１３と同様の処理を行う。その結果、復号時に、撮像画像のLRペアを認識し、撮像画像の立体視画像を表示することができる。

携帯電話機８００は、多重分離部８５７において、画像エンコーダ８５３から供給された符号化画像データと、音声コーデック８５９から供給されたディジタル音声データとを、所定の方式で多重化する。携帯電話機８００は、その結果得られる多重化データを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機８００では、CCDカメラ８１６で生成した画像データ等を、画像エンコーダ８５３を介さずに、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機８００は、多重分離部８５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機８００は、画像デコーダ８５６において、符号化画像データを、AVC符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データの立体視画像が液晶ディスプレイ８１８に表示される。

携帯電話機８００は、このように符号化画像データをデコードして液晶ディスプレイ８１８に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、簡易ホームページにリンクされた動画像ファイルに対応する動画像のLRペアを認識し、動画像の立体視画像を表示することができる。

なお、電子メールの場合と同様に、携帯電話機８００では、受信した簡易ホームページ等にリンクされたデータを、記録再生部８６２を介して、記憶部８２３に記憶させることも可能である。

また、携帯電話機８００は、主制御部８５０において、撮像されてCCDカメラ８１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機８００は、赤外線通信部８８１で赤外線により外部の機器と通信することができる。

なお、以上において、携帯電話機８００が、CCDカメラ８１６を用いるように説明したが、このCCDカメラ８１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機８００は、CCDカメラ８１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機８００について説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機８００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機８００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。

［ハードディスクレコーダの構成例］
図２０は、本発明を適用した復号システムを用いるハードディスクレコーダとモニタの主な構成例を示すブロック図である。

図２０のハードディスクレコーダ（HDDレコーダ）９００は、上述した符号化システム１０で得られるビットストリームを、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）等として取得し、内蔵するハードディスクに保存する。そして、ハードディスクレコーダ９００は、ユーザの指示に応じたタイミングで、保存されているビットストリームを用いて復号システム２００と同様の処理を行い、放送波信号の立体視画像をモニタ９６０に表示させる。

ハードディスクレコーダ９００は、受信部９２１、復調部９２２、デマルチプレクサ９２３、オーディオデコーダ９２４、ビデオデコーダ９２５、およびレコーダ制御部９２６を有する。ハードディスクレコーダ９００は、さらに、EPGデータメモリ９２７、プログラムメモリ９２８、ワークメモリ９２９、ディスプレイコンバータ９３０、OSD（On Screen Display）制御部９３１、ディスプレイ制御部９３２、記録再生部９３３、D/Aコンバータ９３４、および通信部９３５を有する。

また、ディスプレイコンバータ９３０は、ビデオエンコーダ９４１を有する。記録再生部９３３は、エンコーダ９５１およびデコーダ９５２を有する。

受信部９２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部９２６に出力する。レコーダ制御部９２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ９２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部９２６は、このとき、ワークメモリ９２９を必要に応じて使用する。

通信部９３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部９３５は、レコーダ制御部９２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部９２２は、チューナより供給された信号を、復調し、デマルチプレクサ９２３に出力する。デマルチプレクサ９２３は、復調部９２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ９２４、ビデオデコーダ９２５、またはレコーダ制御部９２６に出力する。

オーディオデコーダ９２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部９３３に出力する。ビデオデコーダ９２５は、入力されたビデオデータを、AVC符号化方式に対応する方式でデコードし、ディスプレイコンバータ９３０に出力する。レコーダ制御部９２６は、入力されたEPGデータをEPGデータメモリ９２７に供給し、記憶させる。

ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されたビデオデータを、ビデオエンコーダ９４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部９３３に出力する。

また、ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されるビデオデータの画面のサイズを、モニタ９６０のサイズに対応するサイズに変換する。ディスプレイコンバータ９３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ９４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部９３２に出力する。

ディスプレイ制御部９３２は、レコーダ制御部９２６の制御のもと、OSD（On Screen Display）制御部９３１が出力したOSD信号を、ディスプレイコンバータ９３０より入力されたビデオ信号に重畳し、モニタ９６０のディスプレイに出力し、表示させる。

ハードディスクレコーダ９００は、このようにビデオデータをデコードしてモニタ９６０に画像を表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、番組のLRペアを認識し、番組の立体視画像を表示することができる。

モニタ９６０にはまた、オーディオデコーダ９２４が出力したオーディオデータが、D/Aコンバータ９３４によりアナログ信号に変換されて供給されている。モニタ９６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部９３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部９３３は、例えば、オーディオデコーダ９２４より供給されるオーディオデータを、エンコーダ９５１によりMPEG方式でエンコードする。また、記録再生部９３３は、ディスプレイコンバータ９３０のビデオエンコーダ９４１より供給されるビデオデータを、エンコーダ９５１によりAVC符号化方式でエンコードする。

ハードディスクレコーダ９００は、このようにビデオデータをエンコードする処理として、上述したビデオ符号化装置１３と同様の処理を行う。その結果、復号再生時に、番組のLRペアを認識し、番組の立体視画像を表示することができる。

また、記録再生部９３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部９３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部９３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部９３３は、デコーダ９５２によりオーディオデータをMPEG符号化方式に対応する方式でデコードし、ビデオデータをAVC符号化方式に対応する方式でデコードする。記録再生部９３３は、復号したオーディオデータをD/A変換し、モニタ９６０のスピーカに出力する。また、記録再生部９３３は、復号したビデオデータをD/A変換し、モニタ９６０のディスプレイに出力する。

レコーダ制御部９２６は、受信部９２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ９２７から最新のEPGデータを読み出し、それをOSD制御部９３１に供給する。OSD制御部９３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部９３２に出力する。ディスプレイ制御部９３２は、OSD制御部９３１より入力されたビデオデータをモニタ９６０のディスプレイに出力し、表示させる。これにより、モニタ９６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ９００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部９３５は、レコーダ制御部９２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部９２６に供給する。レコーダ制御部９２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部９３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部９２６および記録再生部９３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部９２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ９３０に供給する。ディスプレイコンバータ９３０は、ビデオデコーダ９２５から供給されるビデオデータと同様に、レコーダ制御部９２６から供給されるビデオデータを処理し、ディスプレイ制御部９３２を介してモニタ９６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部９２６が、復号したオーディオデータを、D/Aコンバータ９３４を介してモニタ９６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部９２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ９２７に供給する。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ９００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ９００の場合と同様に、上述した符号化システム１０および復号システム２００を適用することができる。

［カメラの構成例］
図２１は、本発明を適用した符号化システムおよび復号システムを用いるカメラの主な構成例を示すブロック図である。

図２１のカメラ１０００は、符号化システム１０と同様の処理を行い、ビットストリームを得る。また、カメラ１０００は、復号システム２００と同様の処理を行い、そのビットストリームを用いて立体視画像を表示させる。

カメラ１０００のレンズブロック１０１１は、光（すなわち、被写体の映像）を、CCD/CMOS１０１２に入射させる。CCD/CMOS１０１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１０１３に供給する。

カメラ信号処理部１０１３は、CCD/CMOS１０１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１０１４に供給する。画像信号処理部１０１４は、コントローラ１０２１の制御の下、カメラ信号処理部１０１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号に対してエンコーダ１０４１でMVC符号化方式に準拠した符号化を行ったりする。

カメラ１０００は、このように撮像により生成された画像信号を符号化する処理として、上述したビデオ符号化装置１３と同様の処理を行う。その結果、復号時に、撮像画像のLRペアを認識し、撮像画像の立体視画像を表示することができる。

画像信号処理部１０１４は、画像信号を符号化して生成した符号化データを、デコーダ１０１５に供給する。さらに、画像信号処理部１０１４は、オンスクリーンディスプレイ（OSD）１０２０において生成された表示用データを取得し、それをデコーダ１０１５に供給する。

以上の処理において、カメラ信号処理部１０１３は、バス１０１７を介して接続されるDRAM（Dynamic Random Access Memory）１０１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１０１８に保持させる。

デコーダ１０１５は、画像信号処理部１０１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１０１６に供給する。また、デコーダ１０１５は、画像信号処理部１０１４から供給された表示用データをLCD１０１６に供給する。LCD１０１６は、デコーダ１０１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

カメラ１０００は、このように符号化データを復号してLCD１０１６に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、撮像画像のLRペアを認識し、撮像画像の立体視画像を表示することができる。

オンスクリーンディスプレイ１０２０は、コントローラ１０２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１０１７を介して画像信号処理部１０１４に出力する。

コントローラ１０２１は、ユーザが操作部１０２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１０１７を介して、画像信号処理部１０１４、DRAM１０１８、外部インタフェース１０１９、オンスクリーンディスプレイ１０２０、およびメディアドライブ１０２３等を制御する。FLASH ROM１０２４には、コントローラ１０２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５に代わって、DRAM１０１８に記憶されている画像データを符号化したり、DRAM１０１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１０１４やデコーダ１０１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１０２２から画像印刷の開始が指示された場合、コントローラ１０２１は、DRAM１０１８から画像データを読み出し、それを、バス１０１７を介して外部インタフェース１０１９に接続されるプリンタ１０３４に供給して印刷させる。

さらに、例えば、操作部１０２２から画像記録が指示された場合、コントローラ１０２１は、DRAM１０１８から符号化データを読み出し、それを、バス１０１７を介してメディアドライブ１０２３に装着される記録メディア１０３３に供給して記憶させる。

記録メディア１０３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１０３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１０２３と記録メディア１０３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１０１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１０３４と接続される。また、外部インタフェース１０１９には、必要に応じてドライブ１０３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１０３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１０２４にインストールされる。

さらに、外部インタフェース１０１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１０２１は、例えば、操作部１０２２からの指示に従って、DRAM１０１８から符号化データを読み出し、それを外部インタフェース１０１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１０２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１０１９を介して取得し、それをDRAM１０１８に保持させたり、画像信号処理部１０１４に供給したりすることができる。

なお、カメラ１０００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、上述した符号化システム１０および復号システム２００は、上述した装置以外の装置やシステムにも適用可能である。

１０符号化システム，２２符号化回路，４７蓄積バッファ，２００復号システム，２１１復号回路，２７１蓄積バッファ，２７９画像並べ替えバッファ

Claims

立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化手段と、
前記符号化ストリームのうち、前記多視点の画像のうちのいずれか１つの画像の符号化データには、その画像の復号結果の出力時刻を表す出力時刻情報を連結し、その画像以外の画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する伝送手段と
を備える画像処理装置。
前記伝送手段は、前記符号化ストリームのうち、前記多視点の画像のうちの符号化順が最初の画像の符号化データには前記出力時刻情報を連結し、その画像以外の画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
前記伝送手段は、前記符号化ストリームのうち、前記多視点の画像のうちの符号化順が最後の画像の符号化データには前記出力時刻情報を連結し、その画像以外の画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
前記伝送手段は、前記符号化ストリームのうち、前記左画像の符号化データには前記出力時刻情報を連結し、前記右画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
前記伝送手段は、前記符号化ストリームのうち、前記右画像の符号化データには前記出力時刻情報を連結し、前記左画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
前記伝送手段はまた、前記多視点の画像の符号化順を表す符号化順情報を前記符号化ストリームに連結する
請求項１に記載の画像処理装置。
画像処理装置が、
立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化ステップと、
前記符号化ストリームのうち、前記多視点の画像のうちのいずれか１つの画像の符号化データには、その画像の復号結果の出力時刻を表す出力時刻情報を連結し、その画像以外の画像の符号化データには前記出力時刻情報を連結せずに前記符号化ストリームを伝送する伝送ステップと
を含む画像処理方法。
立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリームと、その符号化ストリームのうちの、前記多視点の画像のうちのいずれか１つの画像の符号化データに連結された、その画像の復号結果の出力時刻を表す出力時刻情報とを受け取る受け取り手段と、
前記受け取り手段により受け取られた前記符号化ストリームを復号して画像データを生成する復号手段と、
前記受け取り手段により受け取られた前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する画像の画像データと、前記出力時刻情報に対応しない画像の画像データを、前記多視点の画像の画像データとして出力する出力手段と
を備える画像処理装置。
前記出力時刻情報に対応する画像は、前記多視点の画像のうちの符号化順が最初の画像であり、
前記出力手段は、前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する画像の画像データと、その画像データより符号化順が後ろの前記出力時刻情報に対応しない画像データを、前記多視点の画像の画像データとして出力する
請求項８に記載の画像処理装置。
前記出力時刻情報に対応する画像は、前記多視点の画像のうちの符号化順が最後の画像であり、
前記出力手段は、前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する画像の画像データと、その画像データより符号化順が前の前記出力時刻情報に対応しない画像データを、前記多視点の画像の画像データとして出力する
請求項８に記載の画像処理装置。
前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
前記出力時刻情報に対応する画像は、前記左画像であり、
前記出力手段は、前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する前記左画像の画像データと、前記出力時刻情報に対応しない前記右画像の画像データを、前記多視点の画像の画像データとして出力する
請求項８に記載の画像処理装置。
前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
前記出力時刻情報に対応する画像は、前記右画像であり、
前記出力手段は、前記出力時刻情報に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する前記右画像の画像データと、前記出力時刻情報に対応しない前記左画像の画像データを、前記多視点の画像の画像データとして出力する
請求項８に記載の画像処理装置。
前記受け取り手段は、前記多視点の画像の符号化順を表す符号化順情報も受け取り、
前記出力手段は、前記符号化順情報が表す符号化順に基づいて、前記復号手段により生成された、前記出力時刻情報に対応する画像の画像データと、その画像データより符号化順が前または後ろの前記出力時刻情報に対応しない画像の画像データを、前記多視点の画像の画像データとして出力する
請求項８に記載の画像処理装置。
画像処理装置が、
立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリームと、その符号化ストリームのうちの、前記多視点の画像のうちのいずれか１つの画像の符号化データに連結された、その画像の復号結果の出力時刻を表す出力時刻情報とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化ストリームを復号して画像データを生成する復号ステップと、
前記受け取りステップの処理により受け取られた前記出力時刻情報に基づいて、前記復号ステップの処理により生成された、前記出力時刻情報に対応する画像の画像データと、前記出力時刻情報に対応しない画像の画像データを、前記多視点の画像の画像データとして出力する出力ステップと
を含む画像処理方法。