JP2013051637A - 符号化装置及び符号化方法 - Google Patents

Abstract

【課題】立体映像として表示される主画像及び副画像を効率良く符号化できるようにする。
【解決手段】撮影時のカメラ情報、具体的には、撮像素子のサイズ情報、焦点距離情報、レンズ間距離情報、及び被写体距離情報を用いて左眼用画像と右眼用画像との重複領域及び非重複領域を算出する。そして、符号化する際には、左眼用画像の重複領域及び非重複領域と、右眼用画像の重複領域とをそれぞれを独立して符号化し、２次元画像を表示したい場合に、左眼用画像の重複領域及び非重複領域を復号化できるようにするとともに、３次元画像を表示したい場合に、左眼用画像及び右眼用画像の重複領域を復号化できるようにする。
【選択図】図１

Description

本発明は符号化装置、符号化方法及びプログラムに関し、特に、立体映像に用いられる主画像及び副画像を符号化するために用いて好適な技術に関する。

従来、２眼式立体映像テレビにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像と右眼用画像とを同一画面に合成して表示することにより立体映像として表示することができる。

このような立体映像の表示方式の１つとしては、左眼用画像と右眼用画像とを表示装置において偏光表示し、偏光眼鏡を掛けて立体映像を視聴する方式がある。また、他の表示方式としては、表示装置側でフレーム単位に左眼用画像と右眼用画像とを交互に切り換えて表示するとともに、その切り替えに同期して左右のシャッターを開閉させ、液晶シャッター眼鏡を掛けて立体映像を視聴する眼鏡方式などがある。さらに、表示装置にレンチキュラーレンズや視差バリアーを配置し、裸眼で立体映像を視聴する裸眼方式が一般的に知られている。

一方、このような立体映像を符号化する方法として、一般的に主画像（例えば、左眼用画像）と副画像（例えば、右眼用画像）との差分画像を符号化する方法が知られている。この方法を用いる場合、副画像のみを復号化するためには、先に主画像を復号化する必要があるため、各視点で共通となる画像を生成し、その共通画像との差分画像を符号化する方法が提案されている（例えば、特許文献１参照）。また、立体映像を符号化する方法として、通常の符号化にも用いられるカメラ毎の画像間の動き予測を用いた符号化方法だけでなく、左眼用カメラと、右眼用カメラとの視差を用いた符号化方法が知られている（例えば、特許文献２参照）。

特開２００６−３５２２６１号公報 特開２００８−２１１５０２号公報

２台のカメラを用いて立体映像を撮影する場合、カメラのレンズ間で所定の距離を設けて撮影する。これにより、右眼用カメラと左眼用カメラとの間で、撮像される被写体に対して共通となる重複領域とそれぞれのカメラでしか撮像できない非重複領域とが発生する。立体映像を表示する場合は、重複領域が立体視として有効な領域となる。

一方、非重複領域は、主画像と副画像とで相関性のない画像領域であり、立体映像を視聴する上でチラツキの原因となる領域である。したがって、立体映像を符号化する場合には、このような非重複領域を含めて符号化を行っていたため、非効率である。また、非重複領域が存在することにより他方のカメラで撮影した映像を参照して動きベクトル探索処理を行うなど余分な演算が発生し、非効率である。

本発明は前述の問題点に鑑み、立体映像として表示される主画像及び副画像を効率良く符号化できるようにすることを目的としている。

本発明の符号化装置は、撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出手段と、前記算出手段により算出された重複領域と非重複領域とに分割して、前記主画像と前記副画像とに対して符号化を行う符号化手段とを備えることを特徴とする。

本発明によれば、余分な領域での符号化を不要にして、立体映像として表示される主画像及び副画像を効率良く符号化することができる。

第１の実施形態に係る立体撮像信号記録再生装置の構成例を示すブロック図である。 ２つの撮像部と被写体との距離の関係を示す図である。 第１の実施形態における左眼用画像と右眼用画像と間の重複領域及び符号化領域を示す図である。 第１の実施形態において、記憶媒体に記録される画像ファイル及び管理ファイルの記録例を示す図である。 第１の実施形態において、２次元画像または３次元画像として復号化する領域を説明する図である。 左眼用画像及び右眼用画像をそれぞれ水平方向へ２分の１に縮小する手順を説明する図である。 視差バリアーを設けた場合の両目に映る領域を説明する図である。 第２の実施形態における左眼用画像と右眼用画像と間の重複領域及び符号化領域を示す図である。 第２の実施形態において、記憶媒体に記録される画像ファイル及び管理ファイルの記録例を示す図である。 第２の実施形態において、２次元画像または３次元画像として復号化する領域を説明する図である。 第３の実施形態に係る立体映像符号化装置の構成例を示すブロック図である。 第３の実施形態における左眼用の予測方法決定部の詳細な構成例を示すブロック図である。 ２つのカメラ部と被写体との距離の関係を示す図である。 第３の実施形態における右眼用の予測方法決定部の詳細な構成例を示すブロック図である。 第３の実施形態において、符号化対象ブロックが重複領域である場合の動きベクトルの探索範囲を説明する図である。

以下、本発明の実施形態について図面を参照しながら説明する。また、以下の説明では、左眼用画像を主画像とし、右眼用画像を副画像として説明する。
（第１の実施形態）
図１は、本実施形態に係る立体撮像信号記録再生装置１００の構成例を示すブロック図である。なお、図１に示す符号の末尾ａ及びｂはそれぞれ左眼用、右眼用であることを示しており、互いに同期して動作するものとする。また、左眼用及び右眼用のそれぞれの構成は共通であるため、その説明も共通に行うものとする。

図１において、操作部１０１は、立体撮像信号記録再生装置１００に対するコントローラーであり、ユーザーの操作により操作部１０１から入力される信号に基づいてＣＰＵ１０２は、立体撮像信号記録再生装置１００を構成する各部を制御する。操作部１０１には、記録・再生等を指示する操作キーや、各種設定を行うためのメニュー・ボタンが含まれる。

撮像部１０３ａ（撮像部１０３ｂ）には、光学レンズ、絞り、フォーカス制御及びレンズ駆動部から構成されるレンズ光学系と、レンズ光学系からの光情報を電気信号に変換する撮像素子とが含まれる。さらに、撮像素子によって得られた撮像信号をディジタル信号へ変換するＡ／Ｄ（アナログ・ディジタル変換）が含まれる。

撮像信号処理部１０４ａ（撮像信号処理部１０４ｂ）は、撮像部１０３ａ（撮像部１０３ｂ）からそれぞれ供給されるディジタル信号を記録フォーマットで定義された画面解像度の映像信号へ変換し、映像表示処理部１０５へ供給する。

映像表示処理部１０５は、記録時には、撮像信号処理部１０４ａ（撮像信号処理部１０４ｂ）から供給される映像信号を符号化・復号化処理部１０７ａ（符号化・復号化処理部１０７ｂ）へ供給するとともに、右眼用映像及び左眼用映像を表示部１０６へ供給する。一方、再生時には、符号化・復号化処理部１０７ａ、１０７ｂからそれぞれ供給される右眼用映像及び左眼用映像を表示部１０６へ供給する。

表示部１０６は、映像表示処理部１０５から入力される映像信号を表示するディスプレイである。本実施形態では、液晶シャッター眼鏡を用いたフレームシーケンシャル方式、もしくは視差バリアー又はレンチキュラーレンズを用いた裸眼式の立体映像表示デバイスを用いてもよく、いずれの方式であってもよい。

符号化・復号化処理部１０７ａ（符号化・復号化処理部１０７ｂ）は、記録時には、映像表示処理部１０５から供給される映像信号をＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）方式で符号化し、符号化データを記録再生処理部１０８へ供給する。一方、再生時には、記録再生処理部１０８から供給される符号化データを復号化し、復号化した映像信号を映像表示処理部１０５へ供給する。

記録再生処理部１０８は、記録時には、符号化・復号化処理部１０７ａ、１０７ｂからそれぞれ供給される符号化データを所定のフォーマットに変換し、ハードディスクドライブ、又は不揮発性メモリ等で構成される記憶媒体１０９へ記録する。一方、再生時には、記憶媒体１０９から指定された記録データを読み出し、符号化・復号化処理部１０７ａ、１０７ｂへ供給する。

ここで、本実施形態に係る立体撮像信号記録再生装置１００では、撮影時に得られるカメラ情報として以下の情報が含まれる。具体的には、撮像部１０３ａ、１０３ｂにおける撮像素子のサイズ情報である対角線の長さＬａ、及び焦点距離情報である撮影時の焦点距離Ｌｂが含まれる。さらに、レンズ間距離情報として、撮影位置が異なる２つの撮像部１０３ａ、１０３ｂにおけるレンズ間の基線長Ｌｃ、及び被写体距離情報である撮影時に測定されたレンズから被写体までの距離Ｌｄが含まれる。ＣＰＵ１０２は、これらの情報を用いて撮像部１０３ａ、１０３ｂで撮影された映像に対する重複領域及び非重複領域を算出し、重複領域と非重複領域とを独立した画像として符号化し、記録する。

まず、撮像部１０３ａ、１０３ｂで撮影された映像に対する重複領域の算出方法について説明する。

図２は、本実施形態に係る立体撮像信号記録再生装置１００における撮影時の撮像部１０３ａ、１０３ｂと被写体との距離の関係を示す図である。
図２において、左眼用の撮像部１０３ａに着目し、レンズの中心と撮像素子の対角の両端とを結んだ三角形２０１に対し、撮像素子の対角線の長さＬａ、及び焦点距離Ｌｂを用いて、以下の式（１）により画角の２分の１となる角度θを算出する。
θ＝arctan（Ｌａ／２＊Ｌｂ）・・・・式（１）

次に、算出した画角「θ×２」から、レンズの中心から被写体までの距離で構成される三角形２０２の垂線であるレンズから被写体までの距離Ｌｄを用いて、以下の式（２）により三角形２０２の底辺の長さＬｅを算出する。
Ｌｅ＝２Ｌｄtanθ・・・・式（２）

続いて、左眼用の撮像部１０３ａのレンズの中心から被写体までの距離で構成される三角形２０２と、右眼用の撮像部１０３ｂのレンズの中心から被写体までの距離で構成される三角形２０３の重複領域となる三角形２０４の底辺の長さＬｆを算出する。三角形２０２の底辺の長さＬｅから三角形２０４の底辺の長さＬｆを引いた長さは、左眼用の撮像部１０３ａ及び右眼用の撮像部１０３ｂのレンズ間の距離Ｌｃに等しいため、以下の式（３）により三角形２０４の底辺の長さＬｆが算出される。
Ｌｆ＝Ｌｅ−Ｌｃ・・・・式（３）

以上のように算出した三角形２０４の底辺の長さＬｆと、左眼用の撮像部１０３ａ及び右眼用の撮像部１０３ｂのレンズ間の距離Ｌｃとの比率が、左眼用の撮像部１０３ａ及び右眼用の撮像部１０３ｂで撮影される重複領域と非重複領域との比率となる。

図３（ａ）は、画面上の重複領域及び非重複領域を説明する図である。
算出された重複領域と非重複領域との比率を、記録されている映像の水平画素数Ｈに掛け合わせることにより、以下の式（４）及び式（５）により重複領域の水平画素数Ｈａと非重複領域の水平画素数Ｈｂを算出することができる。この時、重複領域の水平画素数Ｈａは、符号化画素ブロックの単位であるマクロブロックの水平画素数である１６画素単位にアラインメントされる。
Ｈａ＝Ｈ＊Ｌａ／（Ｌａ＋Ｌｂ）・・・・式（４）
Ｈｂ＝Ｈ−Ｈａ・・・・式（５）

ここで、本実施形態の立体撮像信号記録再生装置１００が光学ズームレンズを備えている場合にズーム操作が行われると、焦点距離が変動してしまう。この場合、撮像して得られる左眼用画像と右眼用画像との重複領域及び非重複領域が変動してしまうため、撮影開始時に光学ズームの機能を禁止する。これにより、動画における重複領域及び非重複領域を固定化することも可能である。

ところが、焦点距離が変動したり被写体が移動することによって被写体までの距離が変動したりする場合も考えられる。このような場合には、フレームごとに重複領域を算出すると重複領域が変動しまうことから、重複領域の算出には、画像の先頭のカメラ情報を用いる。また、表示対象となる動画のうち、重複領域が最小となるカメラ情報を予め特定し、そのカメラ情報により重複領域を算出してもよい。

続いて、算出した重複領域及び非重複領域の水平画素数に基づいて個別の領域に分割し、独立した画像として符号化して記録する方法について説明する。図３（ａ）に示す重複領域の水平画素数Ｈａが示す領域が、撮像部１０３ａ及び撮像部１０３ｂの両方で重複して撮影されている領域となり、この部分に関してのみ立体視として有効となる。

図３（ｂ）は、実際に撮像して得られる左眼用画像及び右眼用画像を示す図である。左眼用画像の左端には、非重複領域の水平画素数Ｈｂに相当する非重複領域が存在し、右眼用画像の右端にも同様に、非重複領域の水平画素数Ｈｂに相当する非重複領域が存在する。これらの非重複領域はそれぞれの撮像部でしか撮影されていない領域となるため、立体映像として表示する場合には利用しない画像領域となる。したがって、図３（ｃ）に示すように、画素数Ｈａ×Ｖに相当する重複領域と画素数Ｈｂ×Ｖに相当する非重複領域とを個別の画像として符号化し、記録する。

撮像部１０３ａで撮影された左眼用画像に対しては、符号化・復号化処理部１０７ａにおいて、画素数Ｈｂ×Ｖに相当する非重複領域を画像＃１とし、画素数Ｈａ×Ｖに相当する重複領域を画像＃２として符号化する。一方、撮像部１０３ｂで撮影された右眼用画像に対しては、符号化・復号化処理部１０７ｂにおいて、画素数Ｈａ×Ｖに相当する重複領域のみを画像＃３として符号化する。このように符号化された画像は、３つの画像ファイルと１つの管理ファイルとを一組として記憶媒体１０９へ記録される。

図４（ａ）は、記憶媒体１０９に記録される画像ファイル及び管理ファイルの記録例を示す図である。
図４（ａ）に示すように、ルートディレクトリの直下に、「ｉｍｇ」ディレクトリと「ｍｎｇ」ディレクトリとが置かれており、それぞれ動画像ファイル、管理ファイルが格納される。「ｉｍｇ」ディレクトリ内の"ｍｏｖ＿０００１ａ．ｍｐｇ"ファイル、"ｍｏｖ＿０００１ｂ．ｍｐｇ"ファイル、及び"ｍｏｖ＿０００１ｃ．ｍｐｇ"ファイルは、それぞれ画像＃１、画像＃２、画像＃３を符号化した動画像ファイルである。一方、「ｍｎｇ」ディレクトリ内の"ｍｏｖ＿０００１．ｍｎｇ"ファイルは、動画像ファイルに対する管理情報を記録した管理ファイルであり、２次元画像として表示する場合と３次元画像として表示する場合に必要な管理情報が記録されている。

管理ファイルの内容は、「ＢＬ」、「２Ｄ」及び「３Ｄ」の３つのパラメータで構成されている。「ＢＬ」は、非重複領域となる画像が右側"Ｒ"であるか、左側"Ｌ"であるかの情報、及びその非重複領域の水平方向のマクロブロック数の情報を示している。「２Ｄ」は、左眼用映像を２次元画像として表示する場合に必要な２つのファイルを指している。また、「３Ｄ」は、左眼用映像と右眼用映像とを３次元映像として表示する場合に必要な左眼用映像及び右眼用映像の重複領域の符号化データとなる２つファイルを指している。

図４（ｂ）は、図４（ａ）に示した"ｍｏｖ＿０００１．ｍｎｇ"ファイルの具体的な内容を示す図である。
図４（ｂ）において、「ＢＬ＝"Ｌ"、"４"」は、非重複領域が左側にあり、その水平サイズが４マクロブロック、即ち６４画素であることを示している。２次元画像として表示する場合には、符号化・復号化処理部１０７ａは、図５（ａ）に示すように「２Ｄ」で指している"ｍｏｖ＿０００１ａ．ｍｐｇ"ファイル及び"ｍｏｖ＿０００１ｂ．ｍｐｇ"ファイルを復号化する。そして、映像表示処理部１０５は、これらの復号化した画像を水平方向６４画素の位置から始まる画像として１画面を構成するように表示部１０６に表示する。

左眼用映像と右眼用映像とを３次元画像として表示する場合には、符号化・復号化処理部１０７ａ、１０７ｂはそれぞれ、図５（ｂ）に示す「３Ｄ」で指す"ｍｏｖ＿０００１ｂ．ｍｐｇ"ファイル及び"ｍｏｖ＿０００１ｃ．ｍｐｇ"ファイルを復号化する。映像表示処理部１０５は、非重複領域の水平画素サイズを考慮し、例えば、図５（ｂ）に示すように画面の両端から非重複領域の水平画素数の２分の１ブランク領域を所定色に置き換え、センタリングした表示画像を構成する。そして、このように構成された左眼用画像と右眼用画像とを立体映像表示デバイスに応じた立体映像として合成して表示部１０６に表示する。

例えば、液晶シャッター眼鏡を用いたフレームシーケンシャル方式の表示デバイスを用いる場合は、復号化された左眼用画像と右眼用画像とを２倍のフレーム周波数でフレーム単位に交互に表示する。また、パララックスバリア方式やレンチキュラーレンズ方式で立体映像を表示する表示デバイスを用いる場合は、左眼用画像及び右眼用画像をそれぞれ水平方向へ２分の１に縮小する。そして、水平方向の奇数画素と偶数画素とにそれぞれの縮小した画像を多重合成することにより立体映像を表示する。

図６は、左眼用画像及び右眼用画像をそれぞれ水平方向へ２分の１に縮小する手順を説明する図である。
図６に示すように、左眼用画像については、水平画素数Ｈａを２分の１へ縮小し、右眼用画像についても水平画素数Ｈａを２分の１へ縮小する。そして、このように縮小された左眼用画像を水平方向の偶数画素へ配置し、縮小された右眼用画像を奇数画素へ配置する。さらに、非重複領域の水平画素数Ｈｂの２分の１画素に相当する両端の領域を所定の色で塗り潰す。

また、表示部１０６がパララックスバリア方式やレンチキュラーレンズ方式で立体映像を表示する表示デバイスである場合は、表示デバイスに視差バリアーが設けられている。したがって、図７に示すように右眼には右眼用画像のみが映るようにすることができ、左眼には左眼用画像のみが映るようにすることができるため、立体映像として視聴することができる。

以上のように本実施形態によれば、撮影時のカメラ情報を用いて左眼用画像と右眼用画像との重複領域を算出し、それぞれを独立して符号化するようにした。これにより、立体映像として表示される左眼用画像及び右眼用画像を効率良くかつ正確に符号化することができる。また、立体映像を表示する際には非重複領域を所定の色で置き換えるようにしたので、非重複領域によるチラツキを押さえた立体映像を視聴することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態に係る立体撮像信号記録再生装置の構成は、第１の実施形態で示した図１に示す立体撮像信号記録再生装置１００と同様の構成であるため、説明は省略する。一方、本実施形態では、符号化方式、符号化方法及び記録方法のみが異なっている。また、左眼用画像及び右眼用画像の重複領域及び非重複領域の算出方法も同様であるため、説明は省略する。

本実施形態に係る立体撮像信号記録再生装置１００では、ＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）方式で符号化を行い、算出した左眼用画像及び右眼用画像の重複領域及び非重複領域を個別のスライスに分割して符号化することができる。そこで、左眼用画像及び右眼用画像の重複領域及び非重複領域を個別の領域に分割し、１つの画像としてスライス分割して符号化し、記録する方法について説明する。

図８は、左眼用画像及び右眼用画像の重複領域及び非重複領域を個別の領域に分割し、１つの画像としてスライス分割する手順を説明する図である。
ここで、ＭＰＥＧ−４ＡＶＣ方式では、同じスライスに含まれるマクロブロックの集合をスライスグループと呼び、このスライスグループのタイプが以下に示すように７種類定義されている。
タイプ０：Interleaved
タイプ１：Dispersed
タイプ２：Foreground / Leftover
タイプ３：Box-out
タイプ４：Raster
タイプ５：Wipe
タイプ６：Explicit

本実施形態では、タイプ５（Wipe）を利用することによりマクロブロックを縦に並べることが可能となり、画面領域を左右に分割したスライス構造で符号化することが可能となる。図８に示すように、画素数Ｈａ×Ｖに相当する重複領域と画素数Ｈｂ×Ｖに相当する非重複領域とを個別のスライスとして分割する。

撮像部１０３ａで撮影された左眼用画像に対しては、符号化・復号化処理部１０７ａにおいて、図８に示すように、画素数Ｈｂ×Ｖに相当する非重複領域を画像＃１のスライス＃０とする。そして、画素数Ｈａ×Ｖに相当する重複領域を画像＃１のスライス＃１とする。そして、それぞれのスライスを符号化する。一方、撮像部１０３ｂで撮影された右眼用画像に対しては、符号化・復号化処理部１０７ｂにおいて、画素数Ｈａ×Ｖに相当する重複領域のみを画像＃２として符号化する。このように符号化された画像は、２つの画像ファイルと１つの管理ファイルとを一組として記憶媒体１０９へ記録される。

図９（ａ）は、記憶媒体１０９に記録される画像ファイル及び管理ファイルの記録例を示す図である。
図９（ａ）に示すように、ルートディレクトリの直下に、「ｉｍｇ」ディレクトリと「ｍｎｇ」ディレクトリとが置かれており、それぞれ動画像ファイル、管理ファイルが格納される。「ｉｍｇ」ディレクトリ内の"ｍｏｖ＿０００１ａ．ａｖｃ"ファイル、及び"ｍｏｖ＿０００１ｂ．ａｖｃ"ファイルは、それぞれ画像＃１、画像＃２を符号化した動画像ファイルである。一方、「ｍｎｇ」ディレクトリ内の"ｍｏｖ＿０００１．ｍｎｇ"は、動画像ファイルに対する管理情報を記録した管理ファイルであり、２次元画像として表示する場合及び３次元画像として表示する場合に必要な管理情報が記録されている。

管理ファイルの内容は、「ＳＫ」、「２Ｄ」及び「３Ｄ」の３つのパラメータで構成されている。「ＳＫ」は、非重複領域となるスライス番号と水平方向のマクロブロック数とを示している。「２Ｄ」は、左眼用映像を２次元画像として表示する場合に必要なファイルを指しており、「３Ｄ」は、左眼用映像と右眼用映像とを３次元映像として表示する場合に必要な左眼用映像及び右眼用映像の重複領域の符号化データとなる２つファイルを指している。

図９（ｂ）は、図９（ａ）に示した"ｍｏｖ＿０００１．ｍｎｇ"ファイルの具体的な内容を示す図である。
図９（ｂ）において、「ＳＫ＝"０"、"４"」は、非重複領域はスライス＃０であり、その水平サイズが４マクロブロック、即ち６４画素であることを示している。２次元画像として表示する場合には、符号化・復号化処理部１０７ａは、図１０（ａ）に示すように、「２Ｄ」で指している"ｍｏｖ＿０００１ａ．ａｖｃ"ファイルのスライス＃０及びスライス＃１を復号化する。そして、映像表示処理部１０５は、これらのスライスを合体させて表示部１０６にその画像を表示する。

左眼用映像と右眼用映像とを３次元画像として表示する場合は、符号化・復号化処理部１０７ａ、１０７ｂはそれぞれ、図１０（ｂ）に示す「３Ｄ」で指す"ｍｏｖ＿０００１ａ．ａｖｃ"ファイル及び"ｍｏｖ＿０００１ｂ．ａｖｃ"ファイルを復号化する。このとき、左眼用画像である"ｍｏｖ＿０００１ａ．ａｖｃ"ファイルは、非重複領域を含む画像ファイルであるため、「ＳＫ」に従い、スライス＃０の復号化をスキップし、スライス＃１のみ復号化を行う。そして、映像表示処理部１０５は、図１０（ｂ）に示すように、画面の両端から非重複領域の水平画素数の２分の１に相当するブランクを設け、センタリングした画像を構成する。

一方、右眼用画像である"ｍｏｖ＿０００１ｂ．ａｖｃ"ファイルは、非重複領域を含まないため、復号化した画像を画面の両端から非重複領域の水平画素数の２分の１に相当するブランクを設けて所定色に置き換え、センタリングした画像を構成する。このように構成された左眼用画像と右眼用画像とを表示デバイスに応じた立体映像として合成し、表示部１０６に表示する。

以上のように本実施形態によれば、撮影時のカメラ情報を用いて左眼用画像と右眼用画像との重複領域を算出し、それぞれをスライス分割して符号化するようにした。これにより、立体映像として表示される左眼用画像及び右眼用画像を効率良くかつ正確に符号化することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、カメラ情報から重複領域を算出し、重複領域か非重複領域かによって動き補償の処理方法を切り替える例について説明する。

図１１は、本実施形態に係る立体映像符号化装置１１００の構成例を示すブロック図である。なお、図１１に示す符号の末尾ａ及びｂはそれぞれ左眼用、右眼用であることを示している。
図１１において、カメラ部１１０１ａ（カメラ部１１０１ｂ）は、撮影レンズと、結像した被写体像を光電変換するための撮像素子とを含む。また、撮像素子から読み出したアナログ信号をディジタル信号へ変換するＡ／Ｄ変換部等を含む。さらに、カメラ部１１０１ａ（カメラ部１１０１ｂ）は、変換されたディジタル信号から輝度信号や色差信号を生成して第１のメモリ１１０３ａ（第２のメモリ１１０３ｂ）へ画像データを書き込む。

カメラ制御部１１０２は、カメラ部１１０１ａ、１１０１ｂのズーム等の制御を行い、重複領域算出部１１０４へ撮影時のズーム距離情報や被写体との距離情報等の撮影時のカメラ情報を送る。カメラ情報の内容としては、第１の実施形態と同様である。差分計算部１１０５ａ（差分計算部１１０５ｂ）は、第１のメモリ１１０３ａ（第２のメモリ１１０３ｂ）から画像データを読み出す。そして、予測画像生成部１１１９ａ（予測画像生成部１１１９ｂ）により生成された予測画像データとの差分値を算出して差分値データを生成する。なお、予測画像生成部１１１９ａ、１１１９ｂにおける予測画像データの生成方法については後述する。

直交変換部１１０６ａ（直交変換部１１０６ｂ）は、差分計算部１１０５ａ（差分計算部１１０５ｂ）より出力された画像データと予測画像データとの差分値データを入力する。そして、画素ブロック単位（８×８画素又は、４×４画素ブロック単位）に整数精度離散コサイン変換、及び離散アダマール変換による直交変換処理を行う。量子化部１１０７ａ（量子化部１１０７ｂ）は、直交変換部１１０６ａ（直交変換部１１０６ｂ）により直交変換されたデータに対して量子化処理を行う。

可変長符号化部１１０８ａ（可変長符号化部１１０８ｂ）は、入力された量子化後のデータに対してエントロピー符号化処理を行い、符号化データを符号化データメモリ１１０９に書き込む。エントロピー符号化処理の１つとしては、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）がある。さらには、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）などがある。メモリカード制御部１１１０は、符号化データメモリ１１０９に書き込まれたデータを記録媒体となるメモリカード１１１１に書き込む。

次に、予測画像データを生成する処理について説明する。逆量子化部１１１２ａ（逆量子化部１１１２ｂ）は、量子化部１１０７ａ（量子化部１１０７ｂ）より出力された量子化後のデータに対して逆量子化処理を行う。逆直交変換部１１１３ａ（逆直交変換部１１１３ｂ）は、逆量子化されたデータに対して逆直交変換処理を行う。

加算器１１１４ａ（加算器１１１４ｂ）は、予測画像生成部１１１９ａ（予測画像生成部１１１９ｂ）より出力される予測画像データを入力し、逆直交変換処理されたデータを加算する。そして、加算器１１１４ａ（加算器１１１４ｂ）は、加算したデータを参照画像データとしてデブロッキングフィルタ処理部１１１５ａ（デブロッキングフィルタ処理部１１１５ｂ）及び第３のメモリ１１１６ａ（第４のメモリ１１１６ｂ）へ出力する。

デブロッキングフィルタ処理部１１１５ａ（デブロッキングフィルタ処理部１１１５ｂ）は、デブロッキングフィルタ処理を施し、そのデータを参照画像データとして第５のメモリ１１１７ａ（第６のメモリ１１１７ｂ）へ格納する。このように、第３のメモリ１１１６ａ及び第４のメモリ１１１６ｂには、デブロッキングフィルタ処理前のデータが格納され、第５のメモリ１１１７ａ及び第６のメモリ１１１７ｂには、デブロッキングフィルタ処理後のデータが格納される。

図１２は、左眼用の予測方法決定部１１１８ａの詳細な構成例を示すブロック図である。
図１２に示すように、予測方法決定部１１１８ａは、画面内予測方法決定部１２０１、画面間予測方法決定部１２０２及び予測方法比較部１２１１を有する。

画面内予測方法決定部１２０１では、予測モード選択部１２０６にて選択された予測モードに応じて、画面内予測画像生成部１２０５は、第３のメモリ１１１６ａより参照画像データを読み出し、予測画像データを生成する。そして、画面内差分計算部１２０３は、第１のメモリ１１０３ａより読み出した符号化対象の画像データと、画面内予測画像生成部１２０５にて生成された予測画像データとの差分値を算出する。予測モード比較部１２０４は、画面内差分計算部１２０３にて算出された差分値を基に符号化効率を算出して予測モード毎の符号化効率を比較し、符号化効率の最も高い予測モードを決定する。

画面間予測方法決定部１２０２では、動き探索部１２１０は、第１のメモリ１１０３ａから読み出した符号化対象の画像データと、第５のメモリ１１１７ａから読み出した参照画像データとから動き探索を行い、動きベクトル情報を出力する。画面間予測画像生成部１２０９は、動き探索部１２１０にて出力された動きベクトル情報と、第５のメモリ１１１７ａから読み出した参照画像データとから予測画像データを生成する。

画面間差分計算部１２０７は、第１のメモリ１１０３ａより読み出した符号化対象の画像データと、画面間予測画像生成部１２０９にて生成された予測画像データとから差分値を算出する。このとき、動き探索部１２１０にて、参照画像データの探索位置を変動させながら、画面間差分計算部１２０７にてそれぞれの差分値を算出する。画面間比較部１２０８は、これらの差分値情報より符号化効率を比較して、最適な符号化効率情報と動きベクトルとを算出する。

予測方法比較部１２１１は、符号化対象の画像データがＰピクチャまたはＢピクチャの場合には、画面内予測方法決定部１２０１にて出力された符号化効率情報と、画面間予測方法決定部１２０２にて出力された符号化効率情報とを比較する。そして、最適な符号化方法を決定する。また、符号化対象の画像データがＩピクチャの場合には、画面間予測方法決定部１２０２による処理は行わず、画面内予測方法決定部１２０１の出力値を予測方法決定部１１１８ａより出力する。

図１１の説明に戻り、予測画像生成部１１１９ａでは、予測方法決定部１１１８ａより出力される予測方法に基づき、第３のメモリ１１１６ａまたは第５のメモリ１１１７ａより参照画像データを読み出し、予測画像データを生成する。

重複領域算出部１１０４は、図１３に示すように、左眼用画像領域１３０１と右眼用画像領域１３０２との重複領域１３０３を算出する。算出方法については第１の実施形態と同様である。重複／非重複判定部１１２０は、重複領域算出部１１０４により得られた重複領域の情報に基づき、第２のメモリ１１０３ｂから読み出した符号化対象の画像データの符号化対象ブロックが重複領域であるか否かを判定する。

図１４は、右眼用の予測方法決定部１１１８ｂの詳細な構成例を示すブロック図である。
図１４に示すように、予測方法決定部１１１８ｂは、画面内予測方法決定部１４０１、画面間予測方法決定部１４０２、及び予測方法比較部１４１１を有する。なお、画面内予測方法決定部１４０１は、図１２に示した左眼用の画面内予測方法決定部１２０１と同等の構成である。したがって、予測モード選択部１４０６、画面内予測画像生成部１４０５、画面内差分計算部１４０３及び予測モード比較部１４０４の構成の詳細な説明は省略する。

画面間予測方法決定部１４０２では、動き探索部１４１０は、第２のメモリ１１０３ｂから読み出した符号化対象の画像データと、第６のメモリ１１１７ｂから読み出した参照画像データとから動き探索を行い、動きベクトル情報を出力する。画面間予測画像生成部１４０９は、動き探索部１４１０にて出力された動きベクトル情報と、第６のメモリ１１１７ｂから読み出した参照画像データより予測画像データを生成する。

画面間差分計算部１４０７では、第２のメモリ１１０３ｂより読み出した符号化対象の画像データと、画面間予測画像生成部１４０９にて生成された予測画像データとから差分値を算出する。このとき、動き探索部１４１０にて、参照画像データの探索位置を変えながら、画面間差分計算部１４０７にてそれぞれの差分値を算出する。また、画面間予測方法決定部１４０２では、重複／非重複判定部１１２０による判定の結果、符号化対象ブロックが重複領域である場合には、動き探索部１４１０において以下の制御を行う。

図１５は、動き探索部１４１０における動きベクトルの探索範囲を説明する図である。
ここで、符号化対象ブロックが、右眼用画像領域１３０２内の位置１５０１にある場合に、位置１５０１の領域を中心として、左眼用画像領域１３０１内の領域１５０２を探索範囲として探索処理を行う。また、例えば、位置１５０３のように符号化対象ブロックの位置が、右眼用画像領域１３０２内の端となる場合には、探索範囲を調整して、探索範囲が重複領域１３０３からはみ出ないように領域１５０４を探索範囲として調整する。

このように動き探索部１４１０は、上記探索範囲に対して動き探索を行い、動きベクトル情報を出力する。そして、画面間予測画像生成部１４０９は、動き探索部１４１０にて出力された動きベクトル情報と、第１のメモリ１１０３ａから読み出した参照画像データとから予測画像データを生成する。画面間差分計算部１４０７では、第２のメモリ１１０３ｂより読み出した符号化対象の画像データと、画面間予測画像生成部１４０９にて生成された予測画像データとから差分値を算出する。そして、画面間比較部１４０８にて、差分値情報より符号化効率を比較して、最適な符号化効率情報と動きベクトルとを算出する。

次に、予測方法比較部１４１１は、符号化対象の画像データがＰピクチャまたはＢピクチャの場合には、画面内予測方法決定部１４０１にて出力された符号化効率情報と、画面間予測方法決定部１４０２にて出力された符号化効率情報とを比較する。そして、最適な符号化方法を決定する。一方、符号化対象の画像データがＩピクチャの場合には、画面間予測方法決定部１４０２による処理は行わず、画面内予測方法決定部１４０１の出力値を予測方法決定部１１１８ｂより出力する。

予測画像生成部１１１９ｂは、予測方法決定部１１１８ｂより出力される予測方法に基づき、第４のメモリ１１１６ｂまたは第６のメモリ１１１７ｂより参照画像データを読み出し、予測画像データを生成する。

以上のように画面間予測方法決定部１４０２では、重複／非重複判定部１１２０にて、重複領域と判定された場合には、２種類の予測画像データを生成する。すなわち、第６のメモリ１１１７ｂから読み出した参照画像データから生成した予測画像データと、第１のメモリ１１０３ａから読み出した画像データから生成した予測画像データを生成する。そして、これらの予測画像データのうち、符号化効率のより良い方を選択している。一方、重複領域と判定された場合には、第１のメモリ１１０３ａから読み出した画像データから生成した予測画像データのみを用いてもよい。つまり、重複領域と判定された場合には、左眼用画像と右眼用画像とを用いた動き補償のみを用いることとなる。

以上のように本実施形態によれば、左眼用のカメラ部と右眼用のカメラ部とで撮影された画像の重複領域及び非重複領域の情報を用いて、動き補償の方法を変えるようにした。これにより、探索範囲の最適化するとともに予測方法の最適化を実現し、効率良く動きベクトル算出処理を行うことができる。また、重複領域における動き探索では、重複領域のみで動き探索を行うようにしたので、正確な動き探索を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ ＣＰＵ
１０７ａ、１０７ｂ 符号化・復号化処理部

Claims (13)

1. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出手段と、
   前記算出手段により算出された重複領域と非重複領域とに分割して、前記主画像と前記副画像とに対して符号化を行う符号化手段とを備えることを特徴とする符号化装置。
2. 前記符号化手段は、前記主画像又は前記副画像のいずれか一方の非重複領域に対して符号化を行うことを特徴とする請求項１に記載の符号化装置。
3. 前記符号化手段は、ＭＰＥＧ−４ＡＶＣ方式に従って前記重複領域と前記非重複領域とをスライス分割して符号化することを特徴とする請求項１又は２に記載の符号化装置。
4. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出手段と、
   前記主画像と前記副画像とに対して符号化を行う符号化手段とを備え、
   前記符号化手段は、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出手段により算出された重複領域である場合は、前記副画像を用いた動き補償、または前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とする符号化装置。
5. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出手段と、
   前記主画像と前記副画像とに対して符号化を行う符号化手段とを備え、
   前記符号化手段は、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出手段により算出された重複領域である場合は、前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とする符号化装置。
6. 前記カメラ情報は、撮像素子のサイズ情報、焦点距離情報、レンズ間距離情報、及び被写体距離情報を含むことを特徴とする請求項１〜５の何れか１項に記載の符号化装置。
7. 前記主画像は左眼用画像であり、前記副画像は右眼用画像であることを特徴とする請求項１〜６の何れか１項に記載の符号化装置。
8. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
   前記算出工程において算出された重複領域と非重複領域とに分割して、前記主画像と前記副画像とに対して符号化を行う符号化工程とを備えることを特徴とする符号化方法。
9. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
   前記主画像と前記副画像とに対して符号化を行う符号化工程とを備え、
   前記符号化工程においては、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出工程において算出された重複領域である場合は、前記副画像を用いた動き補償、または前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とする符号化方法。
10. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
    前記主画像と前記副画像とに対して符号化を行う符号化工程とを備え、
    前記符号化工程においては、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出工程において算出された重複領域である場合は、前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とする符号化方法。
11. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
    前記算出工程において算出された重複領域と非重複領域とに分割して、前記主画像と前記副画像とに対して符号化を行う符号化工程とをコンピュータに実行させることを特徴とするプログラム。
12. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
    前記主画像と前記副画像とに対して符号化を行う符号化工程とをコンピュータに実行させ、
    前記符号化工程においては、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出工程において算出された重複領域である場合は、前記副画像を用いた動き補償、または前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とするプログラム。
13. 撮影位置が異なる主画像及び副画像がそれぞれ撮影された時のカメラ情報に基づいて、前記主画像と前記副画像との間で共通に撮像されている重複領域を算出する算出工程と、
    前記主画像と前記副画像とに対して符号化を行う符号化工程とをコンピュータに実行させ、
    前記符号化工程においては、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記算出工程において算出された重複領域である場合は、前記主画像と前記副画像とを用いた前記重複領域における動き補償を行い、前記副画像のＰピクチャまたはＢピクチャにおける符号化対象のブロックが前記重複領域でない場合は、前記副画像を用いた動き補償を行うことを特徴とするプログラム。

Images